即刻App年轻人的同好社区
下载
置顶最近上线了一个个人开发的小插件 - HighlightGPT
highlight.jiqiren.ai
它肯定不算特别有用，主要源于我在阅读 ChatGPT 的回答时，对某个术语或者段落不了解想单独提问时，但又不想让回答出现在下轮对话中，而是希望像一个【文档注释】一样出现在侧边栏里，不要打断我的整个阅读节奏。
如果你偶尔用 ChatGPT 时也有这种困扰，那非常希望你可以试试这个插件，它的回答也是通过 ChatGPT 生成的不会增加额外 Token 消耗的成本，同时整个回答也在原本的上下文里。除此之外它也有些额外的小功能：一键划词解释、划词添加到 ChatGPT 的记忆、划词翻译等。
它是一个网页插件，它现在只能在 ChatGPT 网页版里使用，还不能在其他网站里进行划词提问。也因此整个体验和视觉都是和 ChatGPT 一致的，你可能不会觉得它是一个额外的产品。
最后它有一个 Pro 版本需要购买 License，但主要是我为了跑通一下支付流程，所以可以直接输入 twox-friends-123 免费获得，期待有需要的你试试 highlight.jiqiren.ai
highlight.jiqiren.ai
它肯定不算特别有用，主要源于我在阅读 ChatGPT 的回答时，对某个术语或者段落不了解想单独提问时，但又不想让回答出现在下轮对话中，而是希望像一个【文档注释】一样出现在侧边栏里，不要打断我的整个阅读节奏。
如果你偶尔用 ChatGPT 时也有这种困扰，那非常希望你可以试试这个插件，它的回答也是通过 ChatGPT 生成的不会增加额外 Token 消耗的成本，同时整个回答也在原本的上下文里。除此之外它也有些额外的小功能：一键划词解释、划词添加到 ChatGPT 的记忆、划词翻译等。
它是一个网页插件，它现在只能在 ChatGPT 网页版里使用，还不能在其他网站里进行划词提问。也因此整个体验和视觉都是和 ChatGPT 一致的，你可能不会觉得它是一个额外的产品。
最后它有一个 Pro 版本需要购买 License，但主要是我为了跑通一下支付流程，所以可以直接输入 twox-friends-123 免费获得，期待有需要的你试试 highlight.jiqiren.ai
00:53
16 21
给 Codex 写了一个可以更方便预览当前项目文件的插件 Project Lens，虽然能理解为什么 Codex 没做项目文件树预览，但有时候没有真的很抓瞎。
特别我有一个Codex项目文件夹是用来做 Karpathy 推的 LLM Wiki 的，在 Codex 里能很好的维护和提问这个 Wiki ，但是想结构性阅读生成的知识点又要去 Obsidian 有点割裂，于是就搞了这个插件。
要安装的话，直接这个地址发给 Codex 让它安装就行了，怎么用也直接问它。
github.com
特别我有一个Codex项目文件夹是用来做 Karpathy 推的 LLM Wiki 的，在 Codex 里能很好的维护和提问这个 Wiki ，但是想结构性阅读生成的知识点又要去 Obsidian 有点割裂，于是就搞了这个插件。
要安装的话，直接这个地址发给 Codex 让它安装就行了，怎么用也直接问它。
github.com
20 12
大模型的记忆方案，现在本质上大多还是两种方式：一种是最直接的 RAG：先检索，再把相关片段塞进上下文窗口里。另一种是长上下文：干脆把整份文档放进 prompt，让模型每次回答时重新读一遍。这些方式其实都有一个共同点：记忆本身并没有反应在模型参数的更新里，本质就像一个会失忆的人，把自己每天做过的事情记录在一个笔记本上。
之前我尝试把长上下文的对话数据训练到一个 LoRA ，将这个 LoRA 加载到基模后希望基模就能拥有这部分对话的记忆，但实际训练起来，显然这种方式训练 LoRA 来记忆的成本过高了，首先需要根据对话数据生成更泛化的训练数据这一点就需要大模型也来参与，这一步成本就不低。
后来去找相关的研究，发现了 Sakana AI 这个 Doc-to-LoRA ，它用了一种更巧妙的方式：训练了能将文档转换成 LoRA 参数的模型，输入一份文档，这个模型靠一次前向推理就能生成一组 LoRA 权重，然后把这组 LoRA 挂到基模上，这个基模就拥有了这个文档内容的记忆。
本地试了一下它开源的 demo，怎么说呢，如果是拿来直接和塞入上下文比较，那肯定效果差远了。但是如果考虑到我本地电脑性能的原因只选了一个 gemma-2-2b-it 的小模型，以及我之前尝试自己拿上下文数据训练过一个 LoRA ，那么 Sakana AI 这个 Doc-to-LoRA 方式最后的效果、所花费的时间是远远超出我的预期了。
之前我尝试把长上下文的对话数据训练到一个 LoRA ，将这个 LoRA 加载到基模后希望基模就能拥有这部分对话的记忆，但实际训练起来，显然这种方式训练 LoRA 来记忆的成本过高了，首先需要根据对话数据生成更泛化的训练数据这一点就需要大模型也来参与，这一步成本就不低。
后来去找相关的研究，发现了 Sakana AI 这个 Doc-to-LoRA ，它用了一种更巧妙的方式：训练了能将文档转换成 LoRA 参数的模型，输入一份文档，这个模型靠一次前向推理就能生成一组 LoRA 权重，然后把这组 LoRA 挂到基模上，这个基模就拥有了这个文档内容的记忆。
本地试了一下它开源的 demo，怎么说呢，如果是拿来直接和塞入上下文比较，那肯定效果差远了。但是如果考虑到我本地电脑性能的原因只选了一个 gemma-2-2b-it 的小模型，以及我之前尝试自己拿上下文数据训练过一个 LoRA ，那么 Sakana AI 这个 Doc-to-LoRA 方式最后的效果、所花费的时间是远远超出我的预期了。
11 25
Codex 加的这个浏览器真是太妙了，可能本来是为产物预览或者 QA 用的，但是实际上打通了本地文件系统和浏览器里的上下文，对于我来说再加上飞书 CLI 的话，所有工作的上下文都够了。
唯一就是这个内置浏览器值得做得更强大一些，至少要支持打开多个标签页标签页吧。
唯一就是这个内置浏览器值得做得更强大一些，至少要支持打开多个标签页标签页吧。
9 00
1 00
