“在我看来,人们容易陷入麻烦的地方在于试图将RAG视为解决搜索问题的解决方案,而不是认识到RAG需要有用的搜索作为其实现的一部分。有效的RAG方法取决于高质量的检索和过滤机制,大规模下能够良好地工作。例如,对于RAG的高层视图,有些人可能认为他们可以用RAG替代他们的搜索技术(例如Elasticsearch),但只有在您的数据集非常小且可以容忍更高的响应延迟时才成立。
“从我的角度来看,挑战在于大多数抄近路的解决方案看起来好像是在处理小数据集,同时让你假装搜索相关性之类的事情不重要,而实际上,当你超越原型阶段时,相关性会显著影响响应质量(无论是文字搜索相关性还是更好调整的 SQL 查询以检索更合适的行)。这会产生一个关于原型如何转化为生产能力的错误期望,带来可预测的后果:低估时间表、生产行为/性能差等。”
lethain.com