模型如何运作？
易理解、适配模型运作机制的提示词策略是怎样的？

欢迎阅读交流：
LINK:mp.weixin.qq.com

#prompt #提示词 #LLM

提示方法按功能可归类为：
1.提升推理逻辑能力（COT、SC、LogiCOT、COS、S2A等）
2.减少出错（CoVe、ReAct、R&R等）
3.生成代码、执行（POT、SCOT、COC等）

按优化方式可归类为：
1.上下文学习（少量示例/无示例提示）
2.过程展示（COT、草稿纸提示等）
3.分解（L2M、P&S、TOT、ROT、SOT、等）
4.组装（SC）
5.转换视角（SimTOM、退后一步提示、R&R等）

聚焦每种方法的具体提示词安排，可归纳为：
1.强化背景信息（更客观、全面的任务背景）
2.优化推演路径（更有逻辑、渐进的约束路径）
3.明确目标（更清晰、可衡量的目标）

Ilya 分享的提示词建议：

1. 编写提示词时要清晰准确地沟通。明确陈述任务和描述概念的能力至关重要。
2. 要愿意快速迭代，快速连续地向模型发送许多提示。优秀的提示工程师乐于不断地来回改进。
3. 在设计提示词时，要考虑边缘情况和不寻常的情况。思考你的提示词在非典型情况下可能会如何失败。
4. 用不完美的、真实的用户输入来测试你的提示词。不要假设用户会提供格式完美或语法正确的查询。
5. 仔细阅读和分析模型输出。密切关注模型是否按照预期执行指令。
6. 消除假设，清晰地沟通任务所需的全部信息。系统地分解任务，确保包含所有必要的细节。
7. 在编写提示词时，要思考模型的“心智理论”。考虑模型可能会如何以与预期不同的方式解读你的指令。
8. 使用版本控制，并在处理提示词时跟踪实验。像管理和迭代代码一样对待提示词。
9. 要求模型识别指令中不清晰的部分或歧义。这有助于改进和完善你的提示词。
10. 要精确，不要过于复杂化。目标是清晰的任务描述，而不是构建不必要的抽象。
11. 考虑典型案例和边缘案例之间的平衡。虽然处理边缘案例很重要，但不要忽视主要用例。
12. 思考提示词如何整合到更大的系统中。考虑数据源、延迟和整体系统设计等因素。
13. 不要仅仅依赖写作技巧；提示工程需要清晰的沟通和系统性思维的结合。优秀的写作者不一定是优秀的提示工程师，反之亦然。
14. 当与客户合作时，帮助他们了解用户输入的现实情况。引导他们考虑真实世界的使用模式，而不是理想化的场景。
15. 大量练习查看数据和模型输出。熟悉模型如何响应不同类型的提示词和输入。

可穿戴智能设备，是第一视角的context采集器

感知、处理信息，最终反馈到决策，类似于大脑之外的新皮层。

相对于手机PC，它大大缩短了信息感知抽象到决策的路径。

＂token输出价/token输入价比值＂
比如：
output token $10/M token
input token $2.5/M token
那出入比就是4

GPT的出入比从初期的2到现在的3-4；
Gemini出入比是4；
Claude的出入比是5

该配置使＂长prompt+短输出＂更具成本效益。

事物流向阻力最小的方向。

垄断途径之一是技术＂黑盒＂
外界难以区分关键点，才能建立竞争壁垒。
然而，技术扩散难以避免，壁垒带来的，只是或长或短的时间窗口。
不如从技术扩散周期中受益，建立具有网络效应的商业模式，嵌入市场。

市场结构的组合远比单点稳固。

有一种基础的提示词方法叫做＂少量示例提示（few-shot）＂，还有一种叫做＂零示例提示(zero-shot)＂

零示例并非不示范，而是没有以我们熟悉的方式直接示范。

比如指令：＂把文章转换为markdown格式＂
模型内的归纳头会复制主语后的token序列，将其汇入残差流，强化markdown样式的token序列。

这是一种隐式的示范。

Prompt段落对输出的影响。

影响大小主要取决于它的在prompt中的位置、该段落与任务目标的关联强弱

可以复盘来看：
prompt被分词器处理后，获得＂序列长度×序列数量×隐藏维度＂的矩阵，这里包含未经提取的词级、句级、全局语义信息，做归一化码整齐后进入核心处理流程。

从浅到深层，注意力层做了这些事情：
1.首层倾向获取全局语义信息，表现在注意力分配相对平均，熵值较高，丢失的信息少。模型从词级、句级、全局语义信息获得对推理目标的整体把握
2.从前几层到中层的转变是，对全局关注从＂颗粒尽收＂到＂擒贼先擒王＂，信息是否被关注，取决于它与任务目标的关联性。关联强，在信息汇聚时被强化；关联弱，被遗忘。
3.在关联性的基础上，对于长的prompt，若该段落出现在首尾，天然会获得更多关注度，被记住；若无关能获得的权重依然有限。
4.模型的事实类信息主要储存在FFN，每层输出都将由它提取一次。计算前后的信息汇聚，这被称为残差连接。逐层信息汇聚获得从prompt低级词法、句法特征到高级语法、语义的特征表达。
＂每一层被弱化的信息，则是在更高维度（即下一层）看来无关紧要的信息＂
5.末层的信息提取和首层类似，倾向于对全局信息的关注。
6.下一token预测：这部分由最终线性层完成，预测依据仍然是这个向量矩阵，可以将其理解为一张起伏错落的地图，大家常说的模式匹配，就是根据地图形态的模式，匹配下一token。输出token序列整体风格和倾向由这张地图决定，我们的prompt输入，就是为模型提供清晰的地图，使其在embedding空间找到准确的点（token），逐点相连，形成了通往答案的线路。

回到这个问题，逻辑连接词在关键位置和高关联性时，它对输出的整体影响强；在无关位置，影响力在逐层的降权中被遗忘。

对应到提示词的设计，将精力更多分配在：
＂核心指令、与核心指令高相关性部分＂的清晰表达，这是收益更高的做法。

＂一见钟情＂
碰到心仪对象时，视觉输入触发大脑奖励系统，多巴胺等神经递质迅速释放。
被对方吸引，感觉瞬间爱上对方。

＂情人眼里出西施＂
恋爱早期，前额叶皮层 (PFC) 活动减少，导致判断力下降；多巴胺等神经递质增加，增强对爱人的关注和愉悦感。
表现对爱人过度美化，忽略其缺点，感觉爱人完美无瑕。

＂为伊消得人憔悴＂
处于恋爱期，压力激素（如皮质醇）可能升高，影响睡眠和食欲；血清素水平降低，影响情绪。
出现焦虑、失眠、食欲不振等症状。

长期相处后，多巴胺等神经递质的释放趋于稳定，奖励系统活动减弱；前额叶皮层 (PFC) 活动逐渐恢复，判断力有所提高。大脑对爱人的奖励反应减弱，习惯化产生。
激情减退，但安全感和信任感增加，更加注重共同目标和价值观。
夫妻开始做兄弟。

prompt推理方式的选择：
1.如果已知信息与目标的交叉概念多，中间路径短，直接推理预测

2.如果已知信息与目标交叉概念少，中间路径长，选择思考链推理

2.1如果有可靠的推理路径，使用该路径推理。
2.2如果对推理路径未知，选择COT，由模型自由选择路径。