即刻App年轻人的同好社区
下载
App内打开
PM贝尔熊.AI时代产品经理
3年前
RAG模式及其局限性

什么是RAG模式?

RAG模式(Retrieval-Augmented Generation)是一种结合了信息检索和文本生成的技术,它利用搜索引擎从大型知识库中检索信息,以辅助语言模型更准确地生成响应用户查询的答案。

RAG模式架构(如图)

1. 用户问题:流程从应用中用户提出的问题开始。
2. 协调器(Orchestrator):作为中间人,协调用户问题与系统答案之间的流程。
3. 查询相关内容(Query for Relevant Content):用户的问题被翻译成搜索查询。
4. 在知识库上检索(Retriever over Knowledge Base):检索器处理搜索查询,在知识库中找到相关信息。
5. 搜索结果:检索到的信息被发送回协调器。
6. 提示 + 知识:协调器用包括原始问题的提示增强搜索结果,这些组合信息被发送到大型语言模型(LLM)。
7. 大语言模型:LLM处理提示和提供的知识,生成适当的响应。
8.答案:这一响应然后被发送回应用程序UX,作为对用户最初问题的回答。

RAG的局限性

- 在RAG模式中,检索、增强和生成由独立的过程管理。每个过程可能交由不同提示LLM来辅助完成。然而,直接与用户互动的生成LLM(Generation LLM)通常最了解回答用户查询所需的内容。负责检索的LLM(Retrieval LLM)可能不会以与生成LLM相同的方式解释用户的意图,提供额外的的信息,这可能妨碍其回应的能力。
- 对于每个问题,检索仅执行一次,没有来自生成LLM的反馈循环。如果检索结果不相关,可能是由于搜索查询或搜索词不理想等因素,生成LLM缺乏纠正这一点的机制,可能会产生幻觉,捏造答案。
- 一旦提供,检索的上下文是不可更改的,也无法扩展。例如,如果研究结果表明需要进一步调查,如检索到的文档提到应该进一步检索的另一个文档,则没有规定这一点。
- RAG模式不支持多步研究查询。
12

来自圈子

圈子图片

人工智能讨论组

477872人已经加入