打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
QPS提升近10倍 百度CTO王海峰首谈文心一言近况
userphoto

2023.04.25 河北

关注

4月23日,有媒体爆料称,百度文心一言启动邀测一个多月时间里,已经迭代了4次,推理性能提升10倍,其中业内首创支持动态插入的分布式推理引擎,推理性能提升了123%。

百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在最近一次采访中谈及文心一言近况,他表示:“文心一言的进步首先是基于百度人工智能四层架构的全栈布局,从芯片、深度学习框架,到大模型,再到应用,实现了层与层反馈,端到端优化。尤其是飞桨和文心一言的联合优化,大幅提升模型训练和推理速度。同时文心一言也建立起人类反馈、奖励模型和策略优化之间的飞轮机制,随着真实用户的反馈越来越多,模型效果越来越好,能力越来越强。

  



有分析人士解读认为,“大模型就仿佛汽车的发动机,光账面上的动力强,参数大是没有用的,要压榨出发动机瞬时最大爆发力(QPS)以及最优的性能表现。深度学习框架就像是生产发动机和变速箱的,可以让发动机整体部件组合更精密、动力更强。自研产品彼此适配度更高,协同会更高效,这可能是效率提升的最根本原因。

据了解,飞桨支撑了文心一言从开发训练到推理部署的流程。例如,在大模型训练上,飞桨的端到端自适应分布式训练技术,通过自动感知硬件环境,多维混合并行策略,异步流水线执行等,支撑了大模型高效训练;在推理部署,飞桨支持大模型高效推理,提供服务化部署能力,包括计算融合、软硬协同的稀疏量化、模型压缩等,提升推理效率,帮助节约算力资源。

IDC《中国深度学习框架和平台市场份额,2022H2》报告显示,百度稳居中国深度学习平台市场综合份额第一,领先优势进一步扩大。中国深度学习开源框架市场形成三强格局,飞桨PaddlePaddle超过谷歌TensorFlow,框架市场前三份额超过80%。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
文心一言是如何炼成的?
百度王海峰:文心加飞桨,翩然赴星河
步步向前,曙光已现:百度的大模型之路
吴文俊人工智能科技进步奖颁出首个特等奖,文心一言背后技术竟是它
文心一言迭代数据曝光,QPS提升10倍,留给大模型创业玩家的涌现时间不多了
百度王海峰:AI创新和发展,进入“深度学习 ”阶段
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服