2. 为什么需要将大数据和 AI 结合
下面通过两个案例，来解释为什么需要大数据与 AI 的联动。
案例 1：知识库检索增强的大模型问答系统
在大模型问答系统中，首先要用到基础模型，然后把目标的文档进行 embedding 化，并将 embedding 化的结果存在向量数据库中。文档的数量可能会非常大，因此 embedding 化时需要批处理的能力。本身基础模型的推理服务也是很耗资源的，当然这也取决于用多大的基础模型，以及如何并行化。产生的所有 embedding 灌入到向量数据库中，在查询时，query 也要经过向量化，然后通过向量检索，把可能跟这个问答有关的知识从向量数据库里面提取出来。这需要非常好的推理服务的性能。
提取出向量后，需要把向量所代表的文档作为 context，再去约束这个大模型，在此基础上做出问答，这样回答的效果就会远远好于自己搜索方式得到的结果，并且是以人的自然语言的方式来回答的。
在上述过程中，既需要有离线的分布式大数据平台去快速产生 embedding，又需要有对大模型训练和服务的 AI 平台，将整个流程连起来，才能构成一个大模型问答系统。
我是一位爱学习的老人！本站主要是些学习体验与分享(其中会引用一些作品的原话并结合我的一生体会与经验加工整理而成！在此一并感谢！如有不妥之处敬请与我联系,我会妥善处理，谢谢！)我写的主要是中老年人各方面应注意的事儿！退休后我希望通过这个平台广交朋友，互助交流，共筑美好生活！！！！！！ 更多文章请参看http://www.zzz818.com赵站长的博客。期待大家的光临与指教哦^0^！欢迎大家转发！
联系客服
