即刻App年轻人的同好社区
下载
App内打开
苦力
915关注750被关注1夸夸
热二定律抵抗者
Web 1.0 的拥趸
Genderfluid 🏳️‍⚧️
苦力
2月前
当你健身只练半边:
00
苦力
7月前
一只野生 Strandbeest 出现了
00:09
00
苦力
8月前
00
苦力
9月前
互联网坏
还是小水草们可爱
00
苦力
9月前
L T T S T O R E . C O M
00
苦力
9月前
UmKA-1 (RS40S) SSTV
妇女节快乐~
00
苦力
11月前
UmKA-1 (RS40S) SSTV
小手台第一次收到这么完整的图
00
苦力
11月前
00
苦力
11月前
牛皮藓大厂
30
苦力
12月前
联想到了一个深度学习领域几年前出现的理论:彩票猜想 lottery ticket hypothesis。

这个猜想认为一个过量参数的全连接网络里存在一个稀疏的子网络(彩票),单独训练后能够达到完整网络训练后的效果。

这是一个已经在数学上被证明的猜想,甚至被证明了一些更强的版本,比如随即初始化网络可以纯靠剪枝无需训练也能达到和完整训练同样甚至更好的效果。

我非常喜欢这个理论,私心里一直觉得这比常规的梯度下降方法更有前景,只可惜没有太多关注。现在看来,和人脑发育竟然这么相像,甚至非常适合在论文里讲成仿生的故事呢(笑

某熊猫桑: 「你之所以成为你,不是因为你大脑里生长出了什么东西,而是因为原有的一些东西被删除了。」

00