即刻App年轻人的同好社区
下载
App内打开
punky
528关注3k被关注0夸夸
有朋自远方来,尚能饭否?
punky
14天前
刚看到喜剧之王决赛,喜欢翟佳宁的表演。能感觉到这哥们儿半决赛应该就憋着一口气,挺好的开场结果一个导师/领笑员都没拍灯,还质疑大翟没观点,我都替他气愤,单纯的搞笑就不行吗?你可以有观点,但核心得是搞笑啊。还有说现场女性观众居多,他的段子观众没有代入感,非得代入才能理解笑点?就没点换位思考能力和自嘲能力?观众到底来寻求认同的还是寻求快乐的?
我很不喜欢有类表演,输出一堆观点,“把我想表达的都表达了”,你是表达了,可一点都不好笑啊,把脱口秀节目当播客录了🤷‍♂️
10
punky
2月前
MBTI 的风还是吹到了 AI
10
punky
2月前
记录一下,退出决赛圈🤪
40
punky
2月前
最后一句使得它的软广概率从0.6提升到了0.95
10
punky
3月前
苹果发布会前夜,终于找到了我“丢失”近一个季度的 Apple pencil,竟然藏在了键盘背面的凹槽… 如果不是恰好二者都有吸力,我也不至于一直找不着😭
20
punky
3月前
最近强化学习似乎又热起来了,推荐看《动手学强化学习》快速入门,书写得很紧凑,代码也清晰易读(就是个别依赖老了更新一下就好),个别推导感觉有跳步的地方可以参考王树森视频建立直觉和 CS285 看推导(这种情况不多,记得的只有 TRPO 那章)。一个同事总结得很精辟,强化学习就是原理较复杂,代码很简单,咱码农朋友从代码入手学习是最高效的(不仅限于 RL)

动手学强化学习

12
punky
4月前
Andrej Karpathy 的《Let's reproduce GPT-2 (124M)》视频真是学习 LLM 的至宝,虽然时间有点长(4小时), 但完整跟下来收获巨大,强烈推荐。
如果你和我一样,一步一步地跟着增加、修改代码,而不是拿着最终结果 repo 里的代码去直接运行的话,有个小坑:见图 1,红框中的代码,在原视频中是在 L500 loss.backward() 之前才调用的,但如果这么做的话,会导致 loss & HellaSwag eval 没有视频里的效果好,训练完成后没能超过 OpenAI GPT-2 124M checkpoint,见图 2。
需要像红框中代码一样,model.require_backward_grad_sync 放在 forward pass 之前,就能成功复现出来了,参见图 3(所以要注意 repo 里带有“# added after video”的 comment😅)
211
punky
4月前
“Hot take”,大模型炼丹工程师工种,对应农药英雄类型

infra →战士
research scientist 法师
research engineer 射手
data engineer 游走
infra 向的 research engineer 刺客
22
punky
5月前
榜样👍
10
punky
8月前
51