Faiss

需求是,基于句子级别的向量,从海量候选项中挑选最合适的候选。

一般情况下,是求出query的向量,以及所有候选的向量,计算他们之间的相似度,得到top1。

奈何太慢~

1. Faiss

Faiss是一个高效的相似性搜索和稠密向量聚类库。

它包含的算法可以在任意大小的向量集中搜索,只要内存够大向量集就可以多大。

Faiss用C++编写,带有Python/Numpy的完整包装。一些最有用的算法是在GPU上实现的。它是由Facebook人工智能研究所开发的。

包括几种相似性搜索方法,欧几里得距离或点积、余弦相似度等来比较。

img

暂时不适合当前使用场景,之后用到再看


文章作者: 长腿咚咚咚
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 长腿咚咚咚 !
评论
 上一篇
服务编排-微服务与K8S 服务编排-微服务与K8S
1 服务编排1.1 服务编排在微服务体系结构中,可以将应用分解为多个更小颗粒度的服务, 各个服务可以由不同的团队并行独立开发、部署。 当一个系统采用了微服务架构后,原有的业务可能并没有发生变化,但系统已被拆分成了很多新的微服务,与传统架构相
下一篇 
灾难性遗忘问题 灾难性遗忘问题
1 灾难性遗忘1.1 简介连续学习:根据任务A训练模型后,再根据任务B训练模型,此时对任务A进行测试,还可以维持其重要内容 人工神经网络的连续学习出现问题:由于当前的神经网络对于任务A的参数与任务B的参数基本无关,使得当任务B训练完成后,该
2020-11-03
  目录