以下来自读者大佬刘延总:
手机端侧AI LLM的一些共识与非共识
1、端侧LLM性能瓶颈,不是算力,而是内存速度。
-每生成一个token需要把模型在内存中读出一遍,10-15tops算力即可实现7b 10token/s以上的推理速度,功耗也远低于手游,所以无需担心H端侧。
-目前手机最快大概也就是LPDDR5T,9600MT/S,折合76.8 GB/s,理论最高能实现7b int4 下20 token/s,或14b int4下10token/s的输出。
-存量手机大多内存带宽在40-60GB/s。
2、端侧LLM落地,最大阻碍不是技术能力,是机制。(可能国内是机制,全球来看是手机和应用的生态博弈)
-云端可拦截不合规的胡说八道内容,端侧不能,因此国内手机厂商端侧落地的大模型都不是AGI类,而是文本总结、图像修复类。
3、端侧AI应用,最大阻碍也不是技术能力,是交互——云端也一样
-LLM的交互机制需要文字输入,目前绝大多数手机用户唯一能用到文字输入的地方是评论区骂街,连自己意思都表达不清楚,更别说跟LLM交互。
4、端侧LLM各家技术上不存在绝对的领先落后。
-苹果的3b并非某些测评中表现的那么好,例如,其在MMLU四选一测试中成功的模拟了瞎几把选的概率。
但不重要,从国内技术追赶速度来看,训好一个端侧LLM大约也就是一年左右时间。
国内HMOV都有训好的7b规格的模型,至少从MMLU来看,比苹果强不少,端侧放开可直接上。
5、最大的硬件拉动可能还是DRAM
-更多的离线计算转为实时计算,更复杂的长推理任务,甚至更多的 agent 并行。更不用说模型本身的不断膨胀。当然苹果发表过 LLM in a flash,尽量优化内存的占用,但优化出来的空间一定会被很多的负载吃掉。
因此,这些是苹果LLM的意义所在。而之前三星和Google的Gemini是弱弱联合,毫无影响力。
1、苹果的端侧LLM有望推动机制进化。
2、苹果不管是交互的改进, 还是对用户心智的影响,目前还是独一档的。
3、苹果有望带动用户用LLM。
(完)
联系客服