即刻App年轻人的同好社区
下载
App内打开
小吴老吴
2年前
关于Kimi:

Q:参数量是不是很大?
A:目前参数2000亿左右。

Q:kimi算力侧支持?
A:用的字节火山引擎,目前还是英伟达为主,无论A100、H100、H800,公司很难找英伟达大规模采购。国内云厂商买卡有优势,而且有储备。
公司不太可能私有化一个数据中心,供应链资源很难开拓,而且成本很高。预训练需要1万多张卡,公有云,分配多少显卡不会关注,是以A100作为标准去衡量。
训练的数据量大概4-5T,全是中文。
B端用户不能接入API其实更多是并发处理问题,和算力也有一定关系。云服务运维方面有一些跟不上了。

Q:国产芯片怎么样?
A:生态做的不好。训练卡,开发各种代码、函数调用、英伟达迭代12个版本,国内很难做出一个生态库去对标英伟达。
华为:性能对标A800,软件不好,完全不兼容CUDA。要找一个工程团队给我们改代码,工程成本太高了。

Q:同海外模型相比优劣势?
A:在中文处理能力上,公司kimi领先,语料采集、标注上的把握,我们有天然的优势。如果把语言扩大到其他语言,可能没有什么优势。
交互的拟人性,kimi整体上会比openAI落后10%左右。逻辑推理能力也会落后。
云计算资源如果匹配上的,0.5-1年公司可以追上去。但目前在GPU方面是卡脖子的,差距会越拉越大。
1326

来自圈子

圈子图片

AI探索站

101234人已经加入