在Grid随地大小写

表达了无数个焦虑的自己
却不断尝试温暖身边的人
好喜欢他

26了 🎂🎂🎂
虽然和读书的时候一样傻冒一样莽撞像个野猪一样
但感觉自己更包容了
理解自己，包容自己，尊重别人
然后慢慢走慢慢生活
专注的过好每一天就是了

谢谢好朋友的礼物

败了
一个人买了一份二至三人餐
好像吃不完了

买个咖啡给我吓一跳
具身智能给我磨咖啡呢

入职一周认清了团队的牛鬼蛇神
还怼了一个b
爽到啦

我感觉非常蚌埠
感觉脑子全是水
再上一天班我感觉我的脑子都泡发了

怎样做模块化？
- 最近看Nvidia Megatron的代码，感觉很简洁、模块化，像tensor并行、流水线并行几个文件就搞定了，看起来很爽
- 但模块化的一个问题是，本模块简洁，但需要其他模块提供很多函数支撑。比如流水线并行。
需要在组网的时候按照流水线的思路分好多个阶段，设置好input tensor，导致组网里很多交叉的逻辑
- 之前在Baidu就不同，其主推的自动并行，组网简单，标记简单，试图把多种并行策略抽象统一，给用户提供最简单的组网接口，但会导致这个抽象模块极其庞大复杂，不像Megatron看着几个文件搞定了
所以怎么做模块化呢？？？

给爷整乐了

A new start！