周末最后一天简单跑了下 Tinker 的 Quick Start ,一句话总结:就像使用 Huggingface 的 TRL 一样简单,在本地的 jupyter book 上写好代码,看着训练结果在本地输出,但实际训练过程却非常自然的跑在 Tinker 的服务器里,不用担心自己设置的超参会让显存爆炸,还是在让显卡摸鱼,Tinker 会在它的服务器端解决好这些。
除了方便之外,另一个优势就是价格了,这个每百万 Token 的训练价格,让我恍惚了一下以为只是推理的。之前拿来测试的 GSM 8K 这个试题集,跑完一个循环算下来,这里面大多数模型可能都花不了 1 刀。
另一个优势是大多数情况下 Tinker 微调的模型都是用 LoRA 来存储权重变化的,这是因为 ThinkingMachines 一直都比较推崇 LoRA 认为在大多数情况下,LoRA 能够获得和全量微调一样的效果。这样带来的另一个好处是,训练好的 LoRA 所占空间很小 Tinker 基本可以帮你保存在它的服务器端,这样推理的 Router 也可以通过 Tinker 来做了。