🤨 神级 Prompt 其实没那么神(刚好算是个合适的话题,蹭蹭热度哈哈)
早上看到卡兹克写的《17 岁高中生写了个神级 Prompt》,说是 claude 用了后,甚至能像素级复刻 Flappy Bird(视觉效果简直无敌),心想还能这样?
——————
💬 我也对比测试了,先说结论:
1. 不少人觉得“神”,其实是 Claude 3.5 sonnet new 神。全球顶级大模型,你不用这段 Prompt 依然也可以生成神级回复
2. 我没法用“神” prompt 复刻出像素级高仿的 flappy bird,神 Prompt 吹的有点过了
👉 你可以再想想,用了以后感觉生成质量好了,到底是:
1. 你对生成结果本身没有预期,对此本身就不了解,只是玩玩而已?
2. 你没用过几次 claude 3.5 sonnet new ,所以不知道裸 claude 本身就已经这么强了?
❓要不,选些你所专业的领域任务,先想好你要什么结果,再试试呢?
🔬以下是我的测试结果:
P1 是文中的宣传效果,P2 是我神 Prompt 实际测试效果,P3 是不用神 Prompt 的直接提示效果
事实证明,不需要额外提示词,Claude 已经足以完美实现游戏机制的复刻。但对复杂视觉元素的设计,不是一段提示词能解决的。
文章应该是进行了选择性宣传。实际想实现这个效果,大概率是需要单独把设计资源链接告诉 AI,让它进行引用的。
——————
不过,对于普通用户来说,如果把这个 prompt 预置在 chatbot 中,确实能在简单场景中是可以用更少的 input ,获得更“好”更长的输出,主要适合:
1. 在用户不熟悉的领域给予思考启发
2. 帮助用户做一些没那么高标准要求的事情
不过说实话,这种场景下,你让 AI “针对 xx,再 step by step 反思优化一下”,也能满足预期了
——————
鼓励大模型进行 CoT 思考确实能获得不一样的输出效果,这是一个很实用的技巧。但目前不存在能够让大模型成为全能专家的通用型 CoT 提示。
如果说,“我觉得这 Prompt 真是神了”,大概率是因为用户本身也不熟悉该任务领域,对生成的结果没有自己的高预期标准。