选题相关,翻了几篇关于OpenAI早期历史的外媒长文,顺手整理一下:
1.WIRED《What OpenAI Really Wants》
材料很扎实。有不少早期Alec Radford如何做出GPT-1、以及OpenAI如何逐渐找到方向、收拢资源、押注语言模型的细节。
www.wired.com2、The Atlantic《Does Sam Altman Know What He’s Creating?》
对这点解释比较清楚:为什么「预测下一个词」这么简单的任务,可能让模型顺便学会情绪、语法,甚至更复杂的世界结构。
把情感神经元、Transformer和GPT连成了一条很清楚的思想路线。
www.theatlantic.com3.The New Yorker《Can Sam Altman Be Trusted with the Future?》
叙事挺好的,开头用7000多本未出版小说讲GPT诞生,写得很有画面感。
www.newyorker.com4.The New Yorker《The Next Word —Where will predictive text take us?》
2019年的纽约客文章,挺好玩的。把纽约客的文章喂给GPT-2,然后测试它能不能续写。
开头写法很意识流,还以为自己在看《追忆似水年华》…
www.newyorker.com