现状
- 目前知识库RAG系统使用langchain框架搭建
痛点
- langchain更注重于复杂问答系统流程的构建，对于文档向量索引构建、embedding、搜索方面还不够灵活，拓展性不强，模块化抽象做得也还不够，基于可以预测到了后续功能拓展需求，需要寻找一个专精、模块化程度高、拓展性好的框架来做文档的chunk、index和retrieval
langchain vs llamaindex
| langchain | llamaindex | ||
| 优势 | 劣势 | 优势 | 劣势 |
| 大而全，善于处理复杂情况 | 搜索方面弱，模块化程度低 | 开箱即用的chunk、index、retrieval框架 | 处理复杂任务不方便 |
| 和大模型的交互适配得更好 | 上手慢相对一些 | 构建搜索 | 专于搜索，灵活性差 |
逛reddit看到有句总结性的话说的挺好，如下
The primary reason you’d need to work with LlamaIndex is for its optimized indexing and retrieval capabilities. You can build your RAG LLM app using just LangChain, but you’ll benefit from LlamaIndex’s search and retrieval superpowers.
https://www.reddit.com/r/LangChain/comments/17nnclu/langchain_vs_llamaindex/
结论
- 结合使用langchain和llamaindex
- langchain框架利用各种chain、agent等构建复杂应用
- llamaindex框架构建极致的搜索体验和良好的可维护、可拓展性
发表回复