即刻App年轻人的同好社区
下载
App内打开
Barret李靖
3年前
怎么把一个超长内容喂给 ChatGPT,以 PDF 为例,以下都是纯 JS 开源工具推荐:

1. github.com 能够比较好地解析 pdf 文件,但是解析出来可能是图片?看 2

2. github.com 能够识别包括汉语等 100 种语言,拿到所有的文本,但内容分批可能出现错误截断?看 3

3. github.com 结巴分词,避免将长内容分段的时候,错误截断短语或单词,完成了内容的分批之后看 4

4. github.com OpenAI 的 API 工具包,利用它将内容分批喂投给 ChatGPT,过程中可以考虑 Embeddings:github.com

在将问题提交给 ChatGPT 之前,可以使用 embeddings 将问题与文档中的各个片段进行比较。基于余弦相似度或其他相似度度量,选择与问题最相关的片段进行处理。这样可以减少无关文本的干扰,提高 ChatGPT 回答问题的准确性。
147

来自圈子

圈子图片

AI探索站

101234人已经加入