年度第二个最有收获的大模型视频,信息量太大。简单的写一下第一感受,有很多反直觉的地方:
1. 首先也是学到的最重要的一点, 如何科学的做研究。通过对比实验得出结论 + 通过探究模型内部发生了什么得出原理。作者通过 训练GPT2级别的模型复现了很多之前以为 GPT4才能做到的效果,使用控制变量,保证数据,模型参数等的隔离。说起来简单,没有几篇 LLM 的论文能做好控制变量。
2. 微调的能力上限可能比想象的还要低的多,很多复杂的逻辑和推理能力,只能在 pre-train 阶段学习到,fine-tuning 阶段来学习已经来不及了,引发不出模型的能力
3. Train 一个 100m 参数的 Model 适用于专有任务没有想象中那么难, 8张 v100 或 H100, 对于专有任务可能接近 GPT4或超越 GPT4,可能是一些创业公司的未来方向,而不是微调。
4. GPT4 的上限远不止此,更好的数据和 Token 标注格式(少部分垃圾数据都直接影响输出结果)+ 专有任务的合成数据 + 更合适的网络深度 + 更好的 positioning embedding 还会把模型效果再往下推一大步。
5. 未来模型的大小并不需要那么大,可能一个足够好数据及训练方式训过的 70B 模型就足以 cover 所有的人类文本数据的问答了。
6. COT 对于知识处理,非常重要, 如果不采用 COT,模型连一些简单任务都处理不了。比如判断奇偶性,比较数字大小。
7. 模型无法回答 逆向检索的问题,如果训练数据中是 A is B, 模型回答不了 B is A。非常奇怪的一个现象。(难道 GPT类模型只能按训练顺序输出?)
8. COT 是有上限的, 模型在输出前,已经把推理逻辑想好了。不论如何改 Prompt 来追求模型回答一些复杂的多步逻辑推理,可能都是无效的。
9. 我之前还对 GPT 是否是AGI 的实现方向保持怀疑,在看了演示了几个模型自己在输出层之前就学会了动态规划以及复杂数学题的推理拆解后,对于 GPT 能否实现 AGI 又有了一些信心
10. 模型的自我纠正能力不能通过微调来提升,只能通过 pre-train 阶段加入 错误→纠错数据来修正。
以上观点均为个人主观理解。强烈建议看原视频及论文