没有区别，都是在追求自己想要或者缺失的东西。都是芸芸众生。

刚才捋了一下dify的有趣功能。

1.多模型调试对比：使用不同模型分别对同一任务是进行处理。直接对比结果。
2.LLM负载均衡：应对LLM API服务限流的场景（dify saas版本支持）
3.标记回复：把标记的内容存入向量库，然后开启标记回复的功能，如果命中标记的回复，会进行直接回复，不再走llm。
4.敏感内容审查：设定敏感词然后设定一个安全的回复。

有大量报告编写需要的公司，构建自己的deep research是必要的。closeai的deep research已经证明了这点。
而强大的deepseek模型，让我们看到了自己实现这个事情的希望。

使用的技术无外乎还是rag 和 agent，但是整条链路上还是有非常多的讲究，如何使用武器库的各种武器和配比要进行深度的实验和权衡。

比如；

如何在效率和性能上做配比
如何利用现有资源实现最优的效果
如何最大化利用使用现有数据
现有数据和网络数据如何配比
向量数据库的选型
如何使用现有传统数据库和向量数据库以及图数据库里的知识。
等等

​工具库：
rerank模型，embedding模型 ，colbert
各种向量数据库，Postgres，es
crag，selfrag，hyde， 嵌入分块，树状分块， llm，外部搜索API ，混合检索，爬虫，自建倒排索引
​
​如果吧agentic rag 和 deep research都算做rag的话，那么RAG这事真的是一个艺术。
​

RAG进阶：

ColBERT是一种不同于传统embedding模型也不同于rerank模型的向量检索模型。
之前有提到，embedding是双编码器，rerank是交叉编码器。
ColBert也是双编码器但是其面向的对象是词。普通embedding面向的是句子或段落。
比如
q：["上海","旅行","攻略"]
doc1["南京","吃饭","攻略"]
doc2["上海","旅游","指南"]
q中的词会与doc的词进行相似性比对，然后得到每个doc的MaxSim，进而得出匹配分数。

✅场景和优点：
基于以上的策略colbert的使用效果是介于双编码和交叉编码之间的，所以兼具效率和精度，在比较轻量级的场景下可以单独使用。
colbert还有个优点就是比bm25更加精准，所以也可用来替代bm25（bm25也是基于词进行检索的）

❌慎用：
文档库超10亿（普通双塔）
毫秒级响应（还是用bm25吧）

#AIGC
#AI应用工程师 #AI产品经理
#RAG #ColBERT
#深度学习
图一编码方式
图二各种编码方式对比
图三 MaxSim计算方法

我为啥要在即刻发这种东西。。。

langchain的官推很赞，经常会发些优秀技术贴。

搭建一个deep research
openai的deep research在同类型产品中表现遥遥领先。
但在企业内部也可以构建自己的deep research。把各种内部外部数据作为语料，搭配微调的deepseek开源模型，再构建成workflow，就可以实现一个低配私有版的deep research。
.
图1图2是两种开源实现deep research的架构图。
图3源自本人非常崇拜的@孔某人 的公众号

雷军给了我一种比预期便宜了30w，我就能买得起的错觉。

评价一个AI框架的好坏，除了基本的模型对话 、workflow 、rag 、men、 意图识别外。
还应该看其是否支持分布式处理能力
是否有workflow级别的低成本重试能力
是否支持降级以及llm的自动替换功能
测试集的维护以及专属于Agent的自动化测试能力
再开个脑洞
一些llm主导的简单运维能力，代码修复和验证逻辑。以此来快速处理线上问题。

试试？

为什么需要Rerank
RAG 通过检索外部知识增强生成模型，Rerank 则对检索结果进行精细排序，原理如下图。

- 双编码器：用于快速召回相关文档。
- 交叉编码器：用于对召回结果进行精细排序。

共同作用，提升RAG效果。

不懂评论区问我