之前写的关于算力的文章,因为文章里专业名词有点多,简单总结下。
(一)算力成本,从上游到下游的传导(括号内是示例):
1. 晶圆价格(4nm晶圆 15000$ 每片)
2. 计算卡价格(H100 30000$ 每张)
3. 机器价格(H100机器 2$/h/每H100)
4. Tokens价格(Deepseek R1 16¥/M tokens)
(二)让算力成本下降的各个因素:
1. 芯片制程
1. 制程提升:单位算力功耗下降。
2. 先进制程价格随时间下降:单位算力价格下降。
2. 芯片设计
1. 芯片架构提升:单位晶体管算力提升。
2. 计算软件:算力利用率提升。
3. 模型算法
1. 相同能力的模型,参数量下降。
2. 相同模型,低精度计算效果接近。
(三)另外,文章最后说成本10年下降1000倍还是保守了。主要是模型进步太快了,(相同能力的模型,参数量下降)1年就有10倍。