[新闻] 华为麒麟980 AI跑分罗生门,安兔兔百口莫辩
刚跨过安兔兔跑分的坎,又跌入安兔兔AI评测的坑。评价君这么形容麒麟980其实并没有什么不恰当的地方。不久前安兔兔官方发布了一款AI测试工具,然而跑分之后有些小伙伴不淡定了,这分数究竟是咋跑出来的?不怪各位有这样的疑惑,今天评价君就稍微解读一下AI测试背后的一些东西,看完也许就知道该如何理解跑分。
废话不说,先来看看被质疑的成绩是怎么回事。从评价君截取的三张图可以看到,小米Note3、红米Note7两款手机获得了超过72000分的成绩,而荣耀Magic2的成绩是62964分。前面两款使用的是骁龙660芯片,因此从这三张图能轻易得出他们胜过麒麟980的结论,焦点自然也就在这了。
评价君顺便挖个坑:各位说骁龙660和骁龙660 AIE是同一款芯片么?这个问题在本文中不讨论。
对于这种现象,安兔兔官方的人自然也是强势回击。大概总结起来就是三点。第一这个成绩和测试标准被海思认可。第二,AI不代表整体性能。第三,NPU没底层支持所以成绩差。评价君对这个回应不发表评论,只顺势说一下不怎么清净甚至暗流涌动的AI竞争。
在很早之前,评价君就多次在介绍AI的文章中引用了另一款软件AI Benchmark的榜单。这是一个相对权威的榜单,测试成绩也都是公开的,各位可以到网上查询。看成绩之余,不知道有没有人注意到很多成绩的右上角都有备注信息?这个备注往往被忽略,但其实相当关键。
评价君随便解释几个对本文可能有用的吧:
1——代表支持浮点AI模型,也就是依赖FP16运算能力,典型的就是华为芯片内置的NPU。
2——代表支持量化AI模型,依赖的是INT8运算能力,典型代表就是高通的Hexagon DSP。
3——代表对前面两者通吃。多说一句,即便通吃,实际使用中也只能二选一。
6——代表使用了Android的NNAPI驱动,AI性能会有30%到50%提升,但系统最低要求是Android 8.1。还敢说升级系统没用?
7——代表使用华为EMUI8.1系统,该系统的BUG会导致长时间待机之后AI性能下降30%,重启之后恢复。(╯‵□′)╯︵┴─┴
所以先解释了三星芯片为什么得分低:Exynos 9810不支持任何AI运算模型,全靠CPU运算,这一点AI Benchmark和安兔兔结论一致。那么接下来问题来了,从上面可以知道AI运算模型有INT8和FP16两种,在方案上就是高通DSP和华为NPU竞争。安兔兔员工说NPU无法被调用所以测不出成绩,AI也无法发挥作用。那真就不能让两大方案一比高低了吗?
答案当然不是。同样作为测试软件的AI Benchmark非常清楚的给出了麒麟980基于FP16模型的AI成绩,并不存在无法调用NPU的问题。同时也能看到,支持NPU和不支持NPU成绩差距相当明显,测试中运算速度会被加快3倍左右。所以同样测试AI性能,安兔兔做不到的项目,AI Benchmark做到了,不愧是爱因斯坦母校的作品。
其实从网友分享的成绩来看,安兔兔对INT8评分的测试还是相当精准的,测试做的相当有技术水平。比如下图中的vivo X23完全可以把前面的骁龙660手机摁在地上摩擦,实际上它可能只是一个骁龙670芯片的机型。
安兔兔AI测试这成绩很好的解释了两者的硬件差异——虽然其他方面比较相近,骁龙670使用了骁龙845同款的Hexagon 685,AI性能向旗舰看齐。同理,也可以看到小米6的AI成绩远不如小米8,也反映了小米6和小米8使用不同DSP产生的性能差距。所以至少在高通系芯片上,安兔兔AI测试相当有参考价值。
AI运算到底是基于INT8还是基于FP16,不光是高通和华为之间的矛盾,也是人工智能模型继续向前推进和发展必须面对的问题,两种方案都有各自的支持者投入大量研发力量促进其进化,以确保获得竞争中的优势。以目前情况看,直接竞争也就不可避免了,测试软件则在其中起到了导向作用。
所以不客气的说,任何评测软件都会有自己对发展趋势的理解和预判。尽管可能让用户觉得软件有倾向性,但只有这样才能发挥出自己最大的价值,这一点放之四海皆准。对于用户来说,也就意味着不能只看一个测试软件的结果,要综合评估。其实跑分除了验证某些猜想之外,跑分对于绝大多数用户而言意义也并不大,看看就好,不要太认真。