给 AI 模型提供解题线索,以提升回复精准度。
这篇论文(
arxiv.org)提出了一种新的提示词技巧,DSP(Directional Stimulus Prompting),我就叫它「灯塔」吧。
核心应用思路就是给 AI 模型提供更多解题线索。如图一的文本总结,我们可以看到,「灯塔」策略在让 AI 总结一段文本的时候,多了一段关键词,并要求 AI 基于这些关键词来总结。
可以看到,在提供了关键词的情况下,AI 模型总结出来的结果,ROUGE 得分更高。 ROUGE(Recall-Oriented Understudy for Gisting Evaluation)是一种用于评估文本摘要质量的指标。通常结果越接近参考答案,得分越高。
图二可以看到更明显的对比。
论文中的线索/关键词是用训练过的模型(SFT/SFT + RL)得出来的,然后和提示词一起提供给 GPT。
我想,哪怕没有这样的模型,我们写提示词的时候,也是可以采取这个思路的。这个和之前写的生成相关知识点以提升 AI 模型回复精确性的思路是很类似的(
m.okjike.com)
只不过,「灯塔」策略里给的不是具体的知识点,而是一些关键词,来引导 AI 模型在回复的时候往关键词的方向靠。
在做类似文本总结的时候,比如要为文章生成一段导读摘要。通常,AI 模型总结出来的摘要有基本信息,有时候比较生硬,有时候不是我想要突出的重点。我在翻译 The Batch 的时候,做摘要,是把翻译后的结果发给 Claude,并让它按照第一人称以原文本的写作风格来总结。
看来,翻译下一期 The Batch 的时候,我可以加上一些关键词来让它总结了。
对于其他类型的任务,这个策略我想也能用得上。思考我想要什么样的输出结果,我预期 AI 模型回复我哪些信息。然后让它基于我要的关键词来回复。
一个感慨:要用好生成式 AI 模型,一方面是要会提问,另一方面就是想办法给它提供有效的数据/信息。像著名的 RAG(Retrieval-Augmented Generation)策略,就是很好的一个例子,可以借助外部信息,甚至是实时的信息来给 AI 模型提供数据。
这也是为啥我除了用 ChatGPT,也常常用 Bard 和 Bing 的原因。谁比搜索引擎更能发挥 RAG 的威力呢?