日前，腾讯云发布AI 原生向量数据库Tencent Cloud VectorDB。该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景，是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。
早在今年3月，英伟达 CEO 黄仁勋就在其GTC大会 的主旨演讲 中提到向量数据库，并强调这种数据库在构建专有大型语言模型组织中的重要性。
然而，什么是向量数据库，它是有真本事，还只是昙花一现？
事实上，向量数据库并不是一个新的数据库技术，只是一直以来并没有什么亮眼的技术突破，因此显得有点“籍籍无名”。然而，当向量检索找到典型应用场景，成为普遍需求后，向量数据库的真正价值才日益凸显。
云和恩墨创始人，中国数据库联盟（ACDU） 主席盖国强表示，向量技术和相似度搜索可以回溯到Facebook在2017年开源的Faiss（基于向量的聚类和相似性搜索库），Milvus数据库就是基于Faiss发展而来。目前全球已有的向量数据库产品主要包括 Pinecone、Milvus、Weaviate、Vespa 、Tencent Cloud VectorDB等。
“为什么Facebook早在2017年就能够开源出Faiss？毫无疑问是真实需求推动的关键创新。腾讯推出向量数据库Tencent Cloud VectorDB，也是基于自身场景和业务需求，目的是实现对文本、图片、音视频等海量非结构化数据的高效存储和管理，从而为大模型的训练、学习等提供数据支撑。”盖国强如此说道。
中国人民大学信息学院副教授张延松表示，向量数据库可以看作是一种专用数据库，主要用在AI和机器学习领域。在这些领域，数据通常以向量的形式呈现，可以有效解决文本、图片、音频、视频等非结构化数据存储和查询的难题。
在人工智能时代，目前对非结构化数据进行管理和处理的主流方法是，利用RNN或 Transformer 等嵌入模型（Embedding Model），将非结构化数据的语义内容转化为多维向量，并直接对这些向量进行存储、处理。
“可以说，向量技术的出现为非结构化数据的管理打开了一扇门。从概念上看，向量数据库就是一种能够将数据存储为高维向量的数据库，作为一种数据结构，每个向量都包含多个维度，每个维度代表不同的特征或属性，在保障信息完整的情况下，通过向量嵌入函数精准描写非结构化数据的特征，能够快速完成查询、删除、修改、元数据过滤等操作。因此相较于传统关系型数据库，向量数据库通过使用向量相似度算法，可以快速且精确地进行相似度检索。”盖国强如是说。
如下图所示，在向量的世界里，你可以看到单词“Cat”和一张“猫的图片”距离很近，苹果公司和Google相近，而不是和一个物理的苹果“Apple”在一起。
不过，向量数据库的技术优势并不局限于此：在扩展性方面，向量数据库可以轻松地通过添加更多节点来扩展系统性能；在检索规模方面，向量数据库能够实现低时延高并发检索，据悉腾讯云向量数据库最高支持10亿级向量检索规模，延迟控制在毫秒级，相比传统单机插件式数据库检索规模提升10倍，同时具备百万级每秒查询（QPS）的峰值能力；在兼容性方面，向量数据库不仅支持多种类型和格式的向量数据，还支持多种语言和平台的接口及工具。
向量数据库的技术优势使其更适合在AI场景下应用，能够为AI的开发、增强内容生成的准确性提供重要的技术支撑。进一步来讲，向量数据库也被看作是大语言模型的记忆与灵魂，对于解决大模型的“幻觉”问题至关重要。
由于大模型是基于已有数据训练而得出的，其具有一些典型缺陷特征，例如知识更新不足、提示词工程复杂等。因此，在生成能力上，容易出现“幻觉效应”。
Zilliz 合伙人兼产品负责人郭人通表示，当下“AI 幻觉”是大模型的主要痛点之一，构建知识库是应对此问题的有效方式，向量数据库可以作为知识库的扩展插件为大模型进行知识增强，这也为 LLMs 时代构建数据应用提供了一种新的范式。
“ 业界有一个精准的比喻：'大模型是容易失忆的大脑，向量数据库就是海马体’。这是因为大模型支持的token（指令牌）数总是有限的，其配合RLHF（从人类反馈中强化学习）可以拥有'短暂记忆’，但是'一本正经胡说八道’的情况普遍存在，如果大模型可以具有'长期记忆’，应用范围会很快从通用走向垂直领域。”盖国强如此说道。
向量数据库的出现可以在一定程度上弥补这些不足，通过向量数据库和大模型结合，可以降低大模型训练的成本，提高信息输出的及时性和准确度。最终大模型和向量数据库的结合，会成为一种通用的呈现形态，推动数据库技术走向多样化。
从市场维度上看，尽管大模型带火了向量数据库，多家初创公司受到资本市场青睐，但是其商业化落地和规模化应用的前景仍不明朗：一方面，技术迭代慢，没有新的突破。向量数据库核心技术包括索引、相似度计算、Embedding等，这些技术早已出现，时至今日并没有实现大的创新突破；另一方面，向量数据库并非不可替代，因为向量数据库广受关注也倒逼传统数据库加快原生向量词嵌入和向量搜索引擎的研发和应用。
“尽管向量数据库的未来还不确定，但当下能够确定的是，向量数据库为解决非结构化数据的存算查带来了福音，并找到了场景化的落地应用。”盖国强表示，需求寻找产品，产品也在寻找需求。向量数据库在AI时代找到了规模化应用场景，因而成为当下行业关注的热点，但也会很快趋于理性客观，继续回归到寻找价值创造的道路上来。
那么，何处才是向量数据库的真正归属？对此，盖国强也阐述了自己的理解。他认为，向量数据库应当向不同行业的垂直大模型领域发展，找到更广阔的应用空间。在垂直领域，由于训练数据有限，大模型的知识深度、准确度和时效性亟待增强。通过向量数据库，行业企业通过结合大模型和自有知识、行业Know How（技术诀窍），可以更科学的构建垂直领域的AI能力，并且实现行业分工，加速AI能力的下沉应用。
目前，通用大模型的热潮正逐渐消退，行业企业都在行业大模型上默默耕耘。为了更好地理解行业语义和规范，并执行专业性更强的任务，行业大模型需要对垂直细分领域的数据进行针对性的训练和调优，这将为向量数据库发挥价值真正找到用武之地。
作者：路沙
编辑：高珊珊
监制：刘晶
—End—
联系客服
