即刻App年轻人的同好社区
下载
最近ChatGPT的提出引起一些新的关于NLP领域的热潮，今天看到了一篇有关ChatGPT的讨论
其中也引起了我的一些思考。
- 大规模语言预训练模型（LLM）对nlp的改变是彻底的和颠覆性的，几乎所有小的任务比如翻译，GLUE，情感理解，文本摘要。。。。都会被完全改变，成为预训练+finetune（prompt&instruct）的范式。而做这些领域的research的人就会受到比较大的影响。所有的不太偏向某专业领域知识的，单一的子NLP任务都会受到影响，不值得继续钻研下去，因为扩大预训练规模可以暴力的提高效果。
- 更高层次的理解（胡扯）：自然语言任务本身就是一个整体的任务，人类在理解他人，感受情感，阅读，交谈等等所使用都是一个统一的有关语言的智能，既然LLM已经可以很好的模拟这个智能，那基于这个智能上的任所有务都会被很好的解决。
- 可能不会受到太大影响的方向：某些专业领域的nlp的研究会应用，比如医疗，金融领域，这些方向需要大量的专门的领域知识和文本来训练（且数据壁垒高，不容易获得），简单的基于LLM的finetune带来的优化可能不是那么强。比如，chatgpt在回答某些专业知识时，回答的逻辑通顺但是事实完全错误，就是缺乏专业领域知识的表现。
- 此外关于chatgpt的另一个思考，下一步可能需要更进一步提高事实的准确性。我想到的一个方案是预训练模型可能会需要一些可以被解释的无法被训练轻易改动的常识，类似于在任何情况下速度都不会超光速，这类尝试应该通过一些方式（知识图谱）来直接guide模型而不是通过大规模的数据去学习。如何抽取和表征这些常识并且嵌入LLM中也许会是个不错的方向。
- 关于语言模型的general research：如 LLM 的可解释性、训练与提示技巧、模型压缩和加速依然值得继续做下去。
- 关于落地，截止目前据我所知gpt3 和chatgpt都是只提供api没有公开模型，基于api的落地应用缺乏讨论的价值，虽然也许可以玩出很多花样。
其中也引起了我的一些思考。
- 大规模语言预训练模型（LLM）对nlp的改变是彻底的和颠覆性的，几乎所有小的任务比如翻译，GLUE，情感理解，文本摘要。。。。都会被完全改变，成为预训练+finetune（prompt&instruct）的范式。而做这些领域的research的人就会受到比较大的影响。所有的不太偏向某专业领域知识的，单一的子NLP任务都会受到影响，不值得继续钻研下去，因为扩大预训练规模可以暴力的提高效果。
- 更高层次的理解（胡扯）：自然语言任务本身就是一个整体的任务，人类在理解他人，感受情感，阅读，交谈等等所使用都是一个统一的有关语言的智能，既然LLM已经可以很好的模拟这个智能，那基于这个智能上的任所有务都会被很好的解决。
- 可能不会受到太大影响的方向：某些专业领域的nlp的研究会应用，比如医疗，金融领域，这些方向需要大量的专门的领域知识和文本来训练（且数据壁垒高，不容易获得），简单的基于LLM的finetune带来的优化可能不是那么强。比如，chatgpt在回答某些专业知识时，回答的逻辑通顺但是事实完全错误，就是缺乏专业领域知识的表现。
- 此外关于chatgpt的另一个思考，下一步可能需要更进一步提高事实的准确性。我想到的一个方案是预训练模型可能会需要一些可以被解释的无法被训练轻易改动的常识，类似于在任何情况下速度都不会超光速，这类尝试应该通过一些方式（知识图谱）来直接guide模型而不是通过大规模的数据去学习。如何抽取和表征这些常识并且嵌入LLM中也许会是个不错的方向。
- 关于语言模型的general research：如 LLM 的可解释性、训练与提示技巧、模型压缩和加速依然值得继续做下去。
- 关于落地，截止目前据我所知gpt3 和chatgpt都是只提供api没有公开模型，基于api的落地应用缺乏讨论的价值，虽然也许可以玩出很多花样。
1 00
“和平不是呼吁出来的。和平是由一个负责的政府、稳健和平的外交政策、繁荣的民间经济活动、发达的国防工业、勇敢而强大的国防力量缔造的。所以我感谢那些守护我的和平生活的人，不论过去、现在还是将来。我也希望并且确实努力投身参与到建设发展繁荣的民间经济活动中去，仅此而已。”
金叶宸: 🇷🇺🇺🇦冲突发展到这个阶段，我有几句话不吐不快。 1.我不喜爱战争，我也不支持🇷🇺的军事行动，但我更反感和反对🇺🇦政府的各种不负责任做法。🇺🇦政府近年在地缘政治范畴中做的的种种行为，在我看来，早晚卷入任何一场军事冲突都可以说是咎由自取。 2.我厌恶某些国家的霸权主义做法，颜色革命和制造混乱，仿佛这些国家的zf存在，就是为了给这个世界带来伤疤。并且他们无比卑劣，在种下恶果之种后，就隔岸观火。不论是今天的🇺🇦，还是日增一万病患的🇭🇰，背后都是同一批人，令人怀疑这些国家的政客是从地狱里爬出来的恶魔领主，是混乱福音与灾疫的传播者。 3.国际政治军事事件需要关心，当然，观点的发表不是必要的，但对于这些国际事件应当保持关心和了解。大了说，我们是这个世界的一份子，世界的一切是联系的，🇷🇺是我们的邻邦，是联合国安理会五大常任理事国，是有力量能够归零人类文明史的拥核大国。小了说，大国军事冲突，国家经济、贸易、金融市场的影响必然波及我们普通百姓的财产、资产、乃至消费和工作机会，不去了解一下，很难做准确的决策。 而且承平日久没有冲突，你也没什么机会吸收这么多信息，当下是个好机会，之前不了解的，完全有机会了解一下，但不用急着下结论， 毕竟不了解基本事实，下的结论只能是草率和肤浅的。 4.我们都热爱和平，但我们对和平的原因理解很可能不同。有人认为和平是呼吁出来的，而我通读人类的文明史，学到的是，和平是由一个负责的政府、稳健和平的外交政策、繁荣的民间经济活动、发达的国防工业、勇敢而强大的国防力量缔造的。所以我感谢那些守护我的和平生活的人，不论过去、现在还是将来。我也希望并且确实努力投身参与到建设发展繁荣的民间经济活动中去，仅此而已。
1 00
有个想法 训练一个GAN（Generative Adversarial Network），通过可操控的输入来生成的（也是不完全可预测的通过神经网络生成的）NFT， 会有人有兴趣么？
1 20
0 00
