一图说明 GPT 等 LLM API 应用原理(包括微软的 Bing Chat 和 Copilot 也是这么做的),重点包括:
- 自家规则/模型、数据库检索的预处理
- 合成 prompt 给 LLM
- 加上合规检查、UI优化、指令合成的后处理
附注:本地矢量数据库可以通过 OpenAI Embedding API 生成,每 1000 个 token 的收费为 $0.0004 (对比 ChatGPT API $0.002 / 1K tokens,仅为5分之一)
#AIHackathon m.okjike.comgithub.comopenai.com