AWS工程师辞职创建Tensor Search引擎，即插即用HuggingFace版CLIP模型

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 机器之心

Marqo 是一个多功能且强大的、以用户为中心的搜索引擎，可以集成到任何网站或应用程序中。

不久之前，来自亚马逊的 Tom tomhamer 辞去了软件工程师一职，和其他研究者一起创建并开源了 Tensor Search 引擎 Marqo，其可与用户应用程序、网站和工作流无缝集成。

• 项目地址：https://github.com/marqo-ai/marqo

• Marqo 网站：https://www.marqo.ai/

从 Tom tomhamer 的工作经历看，他已经全职加入了 marqo.ai，并担任联合创始人之一。

至于为什么要做这个项目，tomhamer 表示当我们查看文本句子或短段落时，使用向量语义搜索是不错的选择。不仅如此，向量在进行图像搜索时也做得非常好。遗憾的是，视频、长文本和其他更复杂的数据类型，想要继续使用向量表示就有点困难了。

因此他们设想为语义搜索建立一个搜索引擎，类似于 Solr 或 Elasticsearch，无论你扔给这个搜索引擎什么内容，它都能处理它，并可搜索。

Tensor search 涉及将文档、图像和其他数据转换为 Tensor 的向量集合。将数据表示为张量，这样一来我们能够将查询与文档进行匹配，从而像人类一样理解查询和文档的内容。Tensor search 可以为各种用例提供动力，例如：

• 终端用户的搜索和推荐；

• 多模态搜索（图像 - 图像、文本 - 图像、图像 - 文本）；

• 聊天机器人和问答系统；

• 文本和图像分类。

因此，他们构建了 Marqo，它可以使用向量，也可以在必要时扩展到张量，还允许用户灵活地指定特定的分块策略来构建张量。

由于横向可扩展性，Marqo 提供了非常快的查询时间，即使是对数百万个文档。Marqo 使用类似 CLIP 这样的深度学习算法从图像中提取语义，这意味着它可以轻松地处理图像到图像、图像到文本和文本到图像的搜索模式。

不过 Marqo 仍然是一个正在进行的研究，目前支持：

• DSL 语言查询（包括关键字，范围和布尔查询）；

• 由 NMSLIB 提供的高效近似 knn 搜索；

• Onnx 支持，多 GPU 支持；

• 支持排序。

为了支持图像和文本搜索，Marqo 允许用户即插即用 HuggingFace 版 CLIP 模型。不过 Marqo 还不支持 arm64 架构的 docker-in-docker 后端配置。这意味着如果你有一个 M 系列 Mac，你还需要进行进一步操作。

了解更多内容，请查看原项目。

参考链接：

https://www.linkedin.com/in/tom-hamer-04a6369b/

https://www.reddit.com/r/MachineLearning/comments/xk31n8/p_my_cofounder_and_i_quit_our_engineering_jobs_at/