即刻App年轻人的同好社区
下载
月之暗面发布的Kim Chat对话产品面向所有用户开放，测试链接：kimi.moonshot.cn
实测下来，百页的综述进行上下文问答也能够一路通绿灯，非常牛逼，实在佩服！（附上一张来自群朋友实测效果）
面对这么一款牛逼产品，很难不对背后团队感到好奇，月之暗面创始人是杨植麟老师（Transformer-XL等流行架构一作，在谷歌大脑待过）。杨老师公司当前主线是走闭源Toc端产品端，今晚读了一篇关于杨老师的采访，记录几点杨老师关于大模型技术路线和toc大模型产品的观点：
1、仅解码Transformer结构（当前大多生成式大模型采用的架构），预训练采用Next Token Prediction（NTP）通过前面单词来预测下一个单词的模式来解决，这种模式是当前的大模型技术主流。
2、在Google训练Transformer过程观察到的现象，也证明采用NTP这条道路是正确的。往这个路径一直走下去，不断地去寻找更高效的缩放（scale）模型的方式，就可以得到一个非常好的结果，能够解决很多以前很难解决的问题，不管是记忆的问题、推理的问题，还是很多常识，甚至是更复杂的多链路问题。
3、做大模型C端超级app，要和C端用户共创AGI，不闭门造车，很大程度上这可能是一个必要的前提条件。这里面核心的一个点是数据，如果不跟用户共创，很难有足够高质量的数据，就没办法知道模型真正被用起来之后会产生什么问题，很难跟用户一起去在很多场景里做更深入的挖掘和优化。
原文链接：mp.weixin.qq.com
实测下来，百页的综述进行上下文问答也能够一路通绿灯，非常牛逼，实在佩服！（附上一张来自群朋友实测效果）
面对这么一款牛逼产品，很难不对背后团队感到好奇，月之暗面创始人是杨植麟老师（Transformer-XL等流行架构一作，在谷歌大脑待过）。杨老师公司当前主线是走闭源Toc端产品端，今晚读了一篇关于杨老师的采访，记录几点杨老师关于大模型技术路线和toc大模型产品的观点：
1、仅解码Transformer结构（当前大多生成式大模型采用的架构），预训练采用Next Token Prediction（NTP）通过前面单词来预测下一个单词的模式来解决，这种模式是当前的大模型技术主流。
2、在Google训练Transformer过程观察到的现象，也证明采用NTP这条道路是正确的。往这个路径一直走下去，不断地去寻找更高效的缩放（scale）模型的方式，就可以得到一个非常好的结果，能够解决很多以前很难解决的问题，不管是记忆的问题、推理的问题，还是很多常识，甚至是更复杂的多链路问题。
3、做大模型C端超级app，要和C端用户共创AGI，不闭门造车，很大程度上这可能是一个必要的前提条件。这里面核心的一个点是数据，如果不跟用户共创，很难有足够高质量的数据，就没办法知道模型真正被用起来之后会产生什么问题，很难跟用户一起去在很多场景里做更深入的挖掘和优化。
原文链接：mp.weixin.qq.com
36 922
来自圈子
AI探索站
67169人已经加入