论文：Orca 2: Teaching Small Language Models How to Reason
🔗：arxiv.org

大概扫了一遍，印证了之前的一些想法。单纯的 Instruction Tuning 对小模型来说作用不大，原因在于小模型的知识本身就不够，所以，对于小模型想要提升能力，关键在于微调数据的准备——定制的合成数据。

这篇技术文档，提出了 Explanation Tuning 的思路，在 Instruction Tuing 的基础之上进一步丰富数据。得到了超越其他开源模型的效果。