如何更加高效的做prompt engineer？

【监测】尤为重要。
无论是RAG还是Agent，本质都是组装prompt让大模型理解任务并完成。
非常需要记录每一次【最终组装】发送给LLM的prompt。

✨推荐promptlayer 与 arize phoeniz两个工具

🪐promptlayer 日常手动调试记录很实用
promptlayer.com
从gpt api开始我高频使用到现在的是promptlayer，只是在openai接口上封装了一层埋点，即可记录请求标签/问答/成本/时间等信息。
界面很简洁清晰，可以筛选tag/记录/甚至直接微调，batchrun等。
免费！
缺点：云端服务，可能有隐私问题。公司较小不稳定，经常丢失数据或者更新不及时。

🪐phoenix 工业场景debug/Agent链路监测
github.com
Phoenix 的核心特点是其“notebook”的体验，专为监控模型和大型语言模型应用而设计。很简单的就可以在jupyter notebook里面启动本地页面（不用担心云端服务暴露问题），使用llamaindex或者langchain均可记录。而且Agent更加需要观测每一步发生的问题，它比较好的就是可以直观看到这一个请求的每一步内容。
开源免费！

可以使用下面的链接上手：
docs.llamaindex.ai