有了chatgpt 加速学习的一年
1～2月，零基础做了个组件库，熟悉前端工程化
3月，参加第一个开源项目贡献，感谢二进制哈士奇，这个项目现在有45k star
4月，通宵一晚上，把快速幂学的很彻底而且第二天成功地做ppt演讲，效果还不错～参加了达摩院的训练营，实践了模型微调。
5月，提示工程，langchain 自学，有llm 应用层和agent视野
6月，解析langchain 源码，chatglm本地部署，探索低成本部署推理方式，有几个投来的橄榄枝，但识别了下不大行
7月，实践帮他人本地部署chatglm ，灰度测试等，积累做产品的想法，调研个人开发者各个渠道投放的成本费用收益等基本市场调查，参加青训营后端笔试并通过，加了机器之心的实测群
8月，筹备网易云课堂的课程项目（后来黄了），学习fuyao 大佬的博客，对llm 的理解进化到模型层和可解释层，kaggle 各种工课程学习，然后用xgboost和小伙伴一起三天水了一篇ei会议论文达到毕业要求
9月，做go语言的抖音大项目，熟悉mvc 架构，领域驱动设计redis，kafka 等，参加CAIL ，开始看多模态论文，找了一百多篇经典的。百度的目标检测训练营快速补目标检测的基础知识，对其技术发展有全局的概览，这对我后续的研究也产生很大影响，我也会更重视每项技术的发展脉络。深度接触Chatlaw然后天涯路远。然后有个老板说v100算力随便用给我15k实习，老板还喜欢看书，想跟他学运营和搞钱。
10月，对多模态现在的范式有了准确的概念，持续看论文，一个月把一百多篇看完啦，利用最新的顶会论文idea做的开题答辩，成功想到三种以上的技术方案，解决了好几个关键问题。有大佬免费援助我n✖️4090的算力，呜呜呜感动的死去活来。
11月，通过写论文实践了项目管理，形成包括会议文档，知识库，协作技巧等等在内的各项内容，以及多学科交叉论文协作的sop，从员工视角开始转向管理视角。充分理解了学术会议的整个流程，做了学术报告ppt（嘻嘻，自信的说是能参加比赛拿国奖的那种ppt，让我们汇报的同学有一种当院士的感觉）

嘿嘿希望下个月我能把我毕业论文的第一部分实验做出来然后争取发个二区～
然后搞数据，发顶会～

梦想总是要有的，万一实现了呢～

今天复现一波r1的评测，感觉r1训练代码可以不用vllm 直接用sglang……之前跑通训练代码但是速度很慢，主要制约在生成长度长，获得奖励时间长…………难受的是适配自己模型时vllm 的kv cache报错……那我还是一步步来吧……

枯了，让我把这个search跑跑通吧
还以为meta会直接把搜索出来的超参也开出来呢……不能直接抄答案了

2024年最后一个工作日并最后一天，年终总结：
三个月学的比去年一年都多

前四个月应该是在薅上海ai lab的算力训多模态，搭建数据标注平台，背八股，找实习

五月把毕业论文的技术验证了并且入职实习，开始做多语言tokenizer（家人们谁懂啊面试的时候问我半小时多模态结果来做预训练）
六月处理数据，接着迭代tokenizer，并且因为内存没算好，干爆了两台服务器，其中还有个h800
七月迭代了36版sft（36版数据）🥹听着好像很厉害的样子，但后来去想当时只能说是比较听话执行力强，但是当时并没有真正入门，不过搞了长上下文和大海捞针，钻研了rope的证明然后发现自己学的数学只是九牛一毛🥹
八月开始看大模型基础，正式接触训练动力学2001.08361是刻在dna的数字，并且会改预训练的源码啦～呜呜呜感恩我leader
九月开始跨部门协作，负责跨文化交流的方案制定，技术执行，做了个伪前后端联通的界面（真正的前后端联通12月做出来了嘻嘻）
十月研究o1，刷力扣，然后去秋招晚班撞的头破血流
十一月感谢某四字头部预训练团队的面试邀请，transformer基础又一次深入啦，还和老师学习了很多思路，然后就是论文🥹以及！评测集！从这一刻起我终于实现了八月末的期望：对评测集敏感！（这么想想好像确实是三个月一个飞跃诶）当时有限的时间里初步涉猎了如何判断一个评测集更好，使用什么样的指标等等知识
十二月，初步接触优化算法，作为小洋人证明并走通了最新的模型退火阶段的数据配比搜索，并证明了实验的有效性，迭代了两版数据，比基线提升29.3%，并且最终在1B领域与qwen 2.5一同断层领先其他SLM，（我们只用了1.5T token！）抢到了12月的版号🥰现在正在等待最新一版数据成为新的sota ～当然还有更重要的，系统发展data mixing law，好想投个顶会呀顶会呀顶会呀～

过年放假17天，希望能一口气把毕业论文攒出来鸭！

昨天看到deepseek说要把R1开源，太棒了，幻方，yyds ！

昨天论文里写方法提升性能16.7%保守了，让我改一改～

我要控制住我自己，不能半场开香槟

还有，即刻平安夜送的会员也太暖心啦！

感觉算法岗要求过于全面了……这几天在写请求转发，中转api……搞得都是伪流式……等后面迭代吧，反正我要去糊弄论文了

嗨皮，今天做的实验退火6000步就比minicpm sft 的复杂推理要高了～嗨皮嗨皮

今天把还没有微调过的基线模型部署了一下，喜极而泣，train loss到1.5以下真的让人感到了emergent涌现的产生

现在想想qwen 都压到了1以下，真是太强了

不过我们也可以压到1以下！嘿嘿

哈皮，昨天验证了搜索出的数据配比比基线提升了11%的复杂推理能力，再做做数据康康，感觉应该还能提🤔

哦对有个人说要一起做预训练然后训TTT架构，一起发论文，结果硬件是a800，要求两个月达到Minicpm水平……套了我的预训练数据（这个倒没什么，都是通用的）闹翻了又问我数据配比怎么搞，想疯了他的心，两个月a800*8别说3B了，1B都训不出来

居然还问我：我已经把deepspeed开了为什么计算速度不提……🙄能有为什么flops都卡死了，你能训出来就见鬼了🫠坐等看它三个月后常识推理上不了60，复杂推理上不了10

今天早会分享了一小时之前做的贝叶斯搜索和数据配比与评测结果的相关关系，然后发现我们现在的模型复杂推理能力已经达到1B的sota ，就还感觉挺开心的，等后面再做做o1之类的两篇论文又有了