即刻App年轻人的同好社区
下载
用 Kimi 读论文的工作流。
我平常读 arxiv 上的论文，一般是先把论文链接地址中的 arxiv 改成 arxiw，这样浏览器会自动跳转到 txyz.ai. 一个可以基于文档问答的 AI 工具。然后一边读原文，一边在用 txyz 问问题。
最近仔细读了 Kimi 的文档，有一点印象特别深。
“Kimi Chat 通过创新的网络结构和工程优化，在千亿参数下实现了无损的长程注意力机制， 不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。”
虽然不知道什么是滑动窗口和降采样，但我明白了一点，就是 Kimi 在长上下文中下了很深的功夫，没有走数据上看上去很漂亮的“捷径”方案。(这个文档可以在 Kimi 的首页下载到--关于 Moonshot AI.pdf)
因此我决定直接用 Kimi 读论文，并且在不读原文的情况下，使用中文，弄明白一篇论文的核心内容。
以下是我使用的工作流和提示词，这里以 Apple 发表的《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》为例。
第一步，把论文下载下来，拖到 kimi.moonshot.cn 中，同时发送以下提示词。
提示词：docs.qq.com
提示词的主要目标是总结这篇论文是用什么方式解决了什么问题，并列出核心观点。效果见图一。
第二步，从 What、Why、How 三个方面抽取问题。
What：即哪些概念是不熟悉的，让 Kimi 基于文档回答。
Why：为什么要使用这种策略/方法，好在哪里？
How：具体论文中是怎么实现某种策略/方法的。
提示词设计如下：docs.qq.com
这个提示词对于 What、Why、How 通用，只需更改问题。这里的提示词小技巧来源于 Claude 之前发的两篇博客，进行长文问答时，让模型先针对问题拉取相关引用再回答能提升准确率。且原文引用方便去对照原文校验。
What、Why、How 问题示例见附图。
第三步，针对 Kimi 的回答，重复上述 3W 步骤。
这篇论文技术含量太高，太多专业名词和概念。我其实读不懂，但正好可以用来测试这个工作流是不是可以用中文弄明白这篇论文里的核心内容。我测试下来，还是大致明白了论文的意思：可能手机上跑真正可用的模型的日子不远了。
Kimi 链接（手机也可直接访问使用）：kimi.moonshot.cn
Claude 关于长上下文的 prompt 技巧：
Long context prompting for Claude 2.1: www.anthropic.com
Prompt engineering for Claude's long context window: www.anthropic.com
其实两篇文章的核心思路是一样的。第一篇更像是 Claude 2.1 发布后，被「大海捞针」实验 (m.okjike.com)打脸了，有点挂不住，所以发表的声明。
我平常读 arxiv 上的论文，一般是先把论文链接地址中的 arxiv 改成 arxiw，这样浏览器会自动跳转到 txyz.ai. 一个可以基于文档问答的 AI 工具。然后一边读原文，一边在用 txyz 问问题。
最近仔细读了 Kimi 的文档，有一点印象特别深。
“Kimi Chat 通过创新的网络结构和工程优化，在千亿参数下实现了无损的长程注意力机制， 不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。”
虽然不知道什么是滑动窗口和降采样，但我明白了一点，就是 Kimi 在长上下文中下了很深的功夫，没有走数据上看上去很漂亮的“捷径”方案。(这个文档可以在 Kimi 的首页下载到--关于 Moonshot AI.pdf)
因此我决定直接用 Kimi 读论文，并且在不读原文的情况下，使用中文，弄明白一篇论文的核心内容。
以下是我使用的工作流和提示词，这里以 Apple 发表的《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》为例。
第一步，把论文下载下来，拖到 kimi.moonshot.cn 中，同时发送以下提示词。
提示词：docs.qq.com
提示词的主要目标是总结这篇论文是用什么方式解决了什么问题，并列出核心观点。效果见图一。
第二步，从 What、Why、How 三个方面抽取问题。
What：即哪些概念是不熟悉的，让 Kimi 基于文档回答。
Why：为什么要使用这种策略/方法，好在哪里？
How：具体论文中是怎么实现某种策略/方法的。
提示词设计如下：docs.qq.com
这个提示词对于 What、Why、How 通用，只需更改问题。这里的提示词小技巧来源于 Claude 之前发的两篇博客，进行长文问答时，让模型先针对问题拉取相关引用再回答能提升准确率。且原文引用方便去对照原文校验。
What、Why、How 问题示例见附图。
第三步，针对 Kimi 的回答，重复上述 3W 步骤。
这篇论文技术含量太高，太多专业名词和概念。我其实读不懂，但正好可以用来测试这个工作流是不是可以用中文弄明白这篇论文里的核心内容。我测试下来，还是大致明白了论文的意思：可能手机上跑真正可用的模型的日子不远了。
Kimi 链接（手机也可直接访问使用）：kimi.moonshot.cn
Claude 关于长上下文的 prompt 技巧：
Long context prompting for Claude 2.1: www.anthropic.com
Prompt engineering for Claude's long context window: www.anthropic.com
其实两篇文章的核心思路是一样的。第一篇更像是 Claude 2.1 发布后，被「大海捞针」实验 (m.okjike.com)打脸了，有点挂不住，所以发表的声明。
87 12107
来自圈子
AI探索站
66881人已经加入