最近我在帮助朋友的团队优化他们的大模型工作流。这个团队的主要应用场景是在社交媒体上生成评论。早期,他们的内容库是针对不同行业场景手动编写的评论,质量低且同质化严重。后来,他们改为抓取真实数据,并使用NLP技术对数据进行分类和轻微改写,使评论看起来更自然,但依然难以实现精细化的定制。随着大语言模型的出现,这个问题得到了有效的解决。因此,我们现在看到的许多社交媒体评论并不是真实用户所写,某种程度上可以称之为灰产。当然,平台也在进行类似的内容生成,前不久我还面试了一家头部生活服务公司的产品经理,专门负责这一块的工作。
生成成本的挑战
目前,团队已经成功建立并运行了整个工作流,但随着生成量超过每日百万条,他们需要系统性地降低生成成本,特别是token的支出。我们主要在两个方向上进行尝试。
方向一:选择性价比模型替代部分主力模型
第一个方向是使用“性价比模型”替代部分高成本的“主力模型”,同时利用思维链的方式弥补生成质量的不足。具体来说,可以先让主力模型根据需求生成一系列关键词,再将这些关键词交给性价比模型来生成完整的评论。这样,高性能模型负责规划方向,性价比模型负责具体生成任务。这种方式显著降低了成本,但生成内容的质量有所下降。不过,即便如此,生成内容的质量依然远高于普通用户的语言表达水平,足以满足需求。
在这一方案中,关键在于取舍:如果主要目标是理解需求并把控评论方向,那么可以接受生成内容的语言质量有所降低,从而实现成本的显著降低。
方向二:优化工作流和提示词结构,适配提示词缓存功能
第二个方向是优化工作流和提示词结构,针对支持提示词缓存的服务进一步降低输入成本。提示词的优化和工作流的调整相对来说较为简单,但需要在新模型的选择上投入更多的努力。这包括在实际需求中进行内容生成,并持续进行标注和评估,以适应模型的升级和业务场景的变化。
对于个人开发者来说,这是一个好生意吗?
这个生意看起来似乎适合小团队甚至个人团队,但现实并非如此。虽然AI生成评论的成本并不高,但获取利润的关键并不在于生成技术本身。这种灰色产业链,如果不是由平台自己主导,往往面临巨大的平台博弈成本。比如,创建大量符合平台法规和要求的实名账号,确保账号健康状态,避免账号被降权甚至封禁。这些繁琐而耗时的工作决定了业务最重要的资产——健康账号的质量和规模。因此,负责账号管理和运营的团队规模通常是内容维护团队的三到四倍。
此外,市面上大多数评论维护需求来自小型代理公司的员工和媒体,他们的需求主要是为了数据的合规性和可接受性,而非追求高质量的评论内容。高质量评论的需求主要集中在大型广告代理公司和头部媒体,而个人和小团队面临的首要挑战是如何获得这些客户的渠道和商务能力。
结语
最近我也在尝试开辟新的分享渠道,把自己和团队在AI商业落地方面的经验和信息做一个总结。如果你对AI如何赋能个人成长和副业感兴趣,可以去小红书关注我,账号名还是陈言Linkc-Chen。
(尝试用ChatGPT Canvas写作中)