即刻App年轻人的同好社区
下载
App内打开
芮麟的CoT
71关注909被关注2夸夸
把机器学习倒过来
我们需要更多 Y 类人
芮麟的CoT
1天前
GPT 范式通过压缩更多的采样实现更强的 intelligence ,本质上是贝叶斯路径

Diffusion 范式通过注入噪音来 span 出更大的空间,本质上是玻尔兹曼路径

o1 是通过增加离散的 Token 来模拟这种空间的拓展,但是浅池养不住真龙
智慧不是更大的压缩,智慧是一种想象力
主动注入噪音来获得维度,这些维度解释了异常值背后的本体

DiT 架构,大有可为
当然 diffusion 还是太笨了,人类不愿意做一个随机漫步的傻瓜,我们总是希望找到一个“虫洞”🕳,一个捷径。
00
芮麟的CoT
16天前
To the knowledge to intelligence, rather than to intelligence in knowledge.
00
芮麟的CoT
28天前
Messiness is the feature, not the bug

当我把概念作为一个对象来研究
我必然产生关于对象本质的困惑
本质是不可知的,形态是可验证的

object technology 一样,是 embedding 在一段具体的高维的时空体中的,不认识到这种复杂性,就会产生,为什么我无法获得一种柏拉图式的纯粹理型的苦恼
00
芮麟的CoT
1月前
多层感知机 早在若干年前 就暗示了
其具备通过记忆神经网络的激发模式
来实现“突触可塑” —— 学习能力
现在叫做模型参数权重

这些权重,不仅仅是在进行信息压缩
也是在隐序空间中捕捉本体在观测时紧致化的那些卷曲维度
这些激发的模式,在高维流形中重构了对本体更完整的理解,以至于实现了符号计算无法表征的逻辑
这个逻辑展开过程,也可以在后训练中被视为从高熵状态收敛为低熵路径的推理能力
00
芮麟的CoT
1月前
Language as world
rule-based verifiable reward vs language-based general purpose reward
00
芮麟的CoT
2月前
拉美国家长期处于中等收入陷阱
他们的经济赶超效应来自于他们学习的发达国家
当经济增长到一定程度,学习的规矩会被顶端优势抑制

人也一样,中等精英会陷入成长陷阱
当你在某个行业拿到小结果后唯一的选择就是
自立门户或者断臂重生

但是人们对于安全性的追求远远大于对成长的追求
一个人为了在熟悉的环境中重复可以忍受极端的身体和精神痛苦
00
芮麟的CoT
2月前
人变得有登味儿就是从关注恐惧开始的
00
芮麟的CoT
2月前
模型的幻觉来自于相关性知识推理➕无反思机制
人的幻觉也一样
相关性数据不能直接得出因果性判断
00
芮麟的CoT
2月前
视觉不只是一种感知器
人类对拖拉拽形式的痴迷
源自于对抽象的可操作性需求
从有限元选择到无限元组合
拖拉拽是这个可操作空间的 basis
00