其他特征向量检索工具

下面列出了几种现有的向量检索工具:

FAISS

FAISS 是 Facebook AI 基于 C++ 语言编写的一款开源、针对多媒体文件相似性搜索的算法库。FAISS 支持开发人员对检索速度、内存使用和检索精度等的优化设置。但它仅仅是一个算法库,并且对开发人员有较高的使用要求。

SPTAG

SPTAG 是由 Microsoft 发布的向量检索算法库,使用基于图的最近邻搜索算法。

SPTAG 的优点是搜索速度快,毫秒内智能搜索数十亿条向量,并且在查询精确度和内存占用上表现佳。但缺点也很明显,其建图时间长,而且每次添加新向量进数据库,必须重新建图。

Hnswlib

Hnswlib 使用基于图的最近邻搜索算法 HNSW (Hierarchical Navigable Small World Graphs),可以同时达到极快的搜索速度和较高的搜索精度,但是内存占用量也很大,同样不适合十亿级或以上的数据量。

ANNOY

ANNOY 是 Spotify 发布的向量检索算法库,使用基于树的最近邻搜索算法。

ANNOY 的搜索速度很快,而且支持多进程读取数据,但由于搜索时会将原数据加载到内存,导致内存占用量很大,因此不适合十亿级或以上的数据量。

结论

综上所述,当前业界针对向量检索的实现中,并没有一个能擅长所有场景的万能算法。同时现有的实现也都还只是算法库,而并非一个系统。随着 AI 应用的大规模落地,提供一个面向海量特征向量检索的数据库系统,已经成为市场对于向量检索服务提出的新需求。

编辑
© 2019 - 2020 Milvus. All rights reserved.