把自己博客和各个软件的笔记内容整合起来做个性化 QA bot,试了两种方式,尝试对比下优劣:
1. 直接使用 openai API fine-tune 自己的模型
优点:文档清晰,整理好自己的数据集,可以很快出模型
缺点:数据隐私性不好;训练费钱,使用更费钱
2. 使用langchain工具链本地fine-tune
优点:模型选择多样,本地可以控制fine-tune过程,数据不出网,安全
缺点:环境配置繁杂,训练费时间
理想方案:是将自己的数据临时挂载在算力平台,平台提供模型和友好的fine-tune控制界面,得到训练后的模型,卸载数据。
有没有满足集成整个理想流程的方案呢?