elvis写了一篇非常详细的文章来介绍 RAG 生态的所有部分，还会添加清晰易懂的参考文献列表以及技术性编程教程帮助提高 RAG 系统的性能。

主要内容来自《大语言模型的检索增强生成：一项调查》这篇论文，我简要总结了一下文章每个部分的内容，感兴趣可以去看原文：

检索增强生成（Retrieval Augmented Generation, RAG）技术，旨在通过结合外部知识源，如数据库，来提升大语言模型（LLMs）的能力。它主要用于解决领域知识的缺失、事实性问题和生成错误。RAG特别适用于那些需要最新知识、又不需针对每个特定任务重复训练LLM的应用场景，比如对话代理和知识密集型任务。

RAG如何工作

RAG通过接收输入的提示信息，从资源如维基百科中检索相关文档，再将这些文档作为上下文来生成回答。这种方法使LLMs能够访问最新的信息，并生成更准确、更可控、更相关的内容。它能及时适应不断变化的信息，这对于LLM来说至关重要，因为它们的知识库本身是静态的。

RAG系统的发展

RAG系统已经从初级阶段（Naive RAG）发展到高级阶段（Advanced RAG）和模块化阶段（Modular RAG），以解决性能、成本和效率的限制。高级RAG通过优化不同阶段，如预检索、检索和检索后处理，来提高检索质量。模块化RAG则通过调整不同的功能模块来适应特定问题的背景，提供了更大的灵活性。

RAG系统的关键组成

检索：包括提升语义表示、对齐查询与文档，以及调整检索器输出以符合LLM的偏好。
生成：涉及将检索到的信息转化为连贯的文本，并在检索后对LLM进行微调。
增强：在生成任务中融合检索到的段落的上下文，包括不同阶段和增强数据源。
RAG与模型微调
RAG适合用于集成新知识，而模型微调则有助于提升模型的性能和效率。这两种方法可以互补，结合提示工程（Prompting Engineering），能够优化LLM在复杂和可扩展应用中的表现。

RAG的评估

RAG系统的评估基于检索到的上下文质量和生成的内容质量。评估指标包括规范化折扣累计增益（NDCG）、命中率、F1值和精确匹配（EM）等。评估重点是上下文的相关性、答案的准确性和相关性，以及抗噪声能力和信息整合能力。

RAG面临的挑战与未来展望

RAG目前面临的挑战包括适应更广泛的上下文窗口、提高对虚假信息的抵抗能力、理解规模化定律，以及开发可投入生产的系统。此外，人们也在关注多模态RAG和为评估制定更细致的标准。

RAG工具

构建RAG系统可以使用包括LangChain和LlamaIndex在内的工具，以及针对不同目的的专业工具。云服务提供商也在提供以RAG为中心的服务，以促进RAG应用的发展。

原文链接：www.promptingguide.ai