一个DeepSeek接口的小坑,这个问题是第三方DS的接口不提供缓存,想听下即友的建议!
导致的问题是什么呢?比如说你输入的是长文本或者文章,例如让大模型给你解析《傲慢与偏见》这本书,没有缓存的情况下,你每提一个问题就需要把这本书+问题作为Prompt输入,所以每次请求要消耗更多的Token。
有缓存的情况下,这段大文本可以在多个API调用中重复使用,无需每次都重新处理,仅输入用户消息就可以询问关于这本书的各种问题。
同时,利用缓存可以实现更快的响应速度和提高效率,最重要的是,降低成本,命中缓存的价格通常是直接输入的1/10。
DeepSeek官方的API对所有用户默认开启,但是第三方的DS API不一定提供缓存,比如火山引擎,大家有什么好的建议吗?或者替代方法