即刻App年轻人的同好社区
下载
明天最后一天啦，大家来面基！
ScarletJ: 如果有来云栖大会的小伙伴，来找我们面基玩吧👻
2 00
今天最大的反思：以后上这种会之前一定要减肥！！！相机一拍胖三斤！
20个硬科技项目，100+家投资机构，共筑创新梦想 | 观潮会CHAOS · 2024中国硬科技DemoDay
10 31
我之前和一位教授聊天，他把数据形容成AI时代的“石油”：刚需、稀少又昂贵。我们想改变这个现状，想让数据变成AI时代的“电力”：即需即用，量大管饱。
我们会参加6月6号天使湾“观潮会”demo day，汇报卓印最新的进展，欢迎大家来杭州面基。
m.36kr.com
我们会参加6月6号天使湾“观潮会”demo day，汇报卓印最新的进展，欢迎大家来杭州面基。
m.36kr.com
ScarletJ: 读者问我为啥【筱思萌想】断更了，小竹林也更的如星星之火般少，那当然是因为我这个半吊子作者和小伙伴们去做了个公司🤣🤣🤣。诺，CEO是这个家伙@kevin_大鱼 算法vp是你们熟悉的@P小二 AI之旅十余年，受够了被训练数据制约的苦，不想让自己的AI再困于数据，也想让其他人少受些委屈。 Simulaix，是个模型，更是个方法，label2training data，终有一天，所有做AI的从业者们都可以像用电一样为自己的AI得到训练数据。 terra-1 ，是世界模型，但不是AGI，只认真模拟世界地貌，生成连续数据。我们不做仿真，但真过仿真。 我们的愿景有一点坚定，也有一点中二： better data，better AI， for everyone， for ever。 用更好的数据做更好的AI，为每一个人，直到永远。
7 70
最近接触很多大学教授，聊天过程中发现一个事情：现在的学生真的很卷，为了升学、出国或者毕业找个好工作，真的非常的勤奋。然后就有个想法：也许大学学生群体，是非常优质且ROI很高的企业员工来源。未来校企合作也许会比社招更有吸引力也说不定哦💪
11 20
前几天和朋友聊起一个single channel source separation算法方向的项目，是一个约为手掌大小的设备，可以识在极度嘈杂环境下的分离呼救声，并自动报警。其用的算法确实很强大，可以在离线设备上进行本地实时的解析，并准确识别出掩盖在强背景噪声之下的特定音段。
但是朋友说了一句：这个场景真的需要离线计算吗？第一，哪个类似KTV、舞厅的嘈杂环境没wifi，或者手机信号？第二，如果连手机信号都没有，离线识别成功以后如何报警？这么一想，tmd这个场景是不是一个麦克风+信号传输+云端运算就可以完成了，为啥要费这么大的劲去做离线运算呢。。。
好算法，还得有好场景才行。
然后出于好奇，我又去翻了一翻这方向的论文。22年的AAAI有一篇SFSRNET，已经能把SNR推到22DB的水平了。这个效果真的棒，比我们当年在10DB附件挣扎的效果真的好太多太多了。
技术进步真的不可阻挡，各位AI同路人共勉呀。昨天百岁老人基辛格告诉我们，AI是各个大国都在寻找下一个能够主导世界的东西。所以少年们，为国研究AI的时刻到啦，冲啊。
但是朋友说了一句：这个场景真的需要离线计算吗？第一，哪个类似KTV、舞厅的嘈杂环境没wifi，或者手机信号？第二，如果连手机信号都没有，离线识别成功以后如何报警？这么一想，tmd这个场景是不是一个麦克风+信号传输+云端运算就可以完成了，为啥要费这么大的劲去做离线运算呢。。。
好算法，还得有好场景才行。
然后出于好奇，我又去翻了一翻这方向的论文。22年的AAAI有一篇SFSRNET，已经能把SNR推到22DB的水平了。这个效果真的棒，比我们当年在10DB附件挣扎的效果真的好太多太多了。
技术进步真的不可阻挡，各位AI同路人共勉呀。昨天百岁老人基辛格告诉我们，AI是各个大国都在寻找下一个能够主导世界的东西。所以少年们，为国研究AI的时刻到啦，冲啊。
SFSRNet: Super-resolution for Single-Channel Audio Source Separation | Proceedings of the AAAI Conference on Artificial Intelligence
6 10
关于压缩即智能观点的一些思考：
前几天看了ACL的那篇关于gzip+knn论文，联想起了早些时候看过的这个分享，Jack Rae的Compression for AGI。里面给了一个相当反直觉的公式，|D| = -logPf（D) + |f|，翻译成人话就是模型越大，压缩率越高。
我刚看到这个公式的时候，内心秒变曹操脸：不可能，绝对可能！但是回头想一想，如果我们把LLM理解为是一种发现规律的方法，其表现为类似gzip的无损压缩算法/我们说的“对规律的完美归纳总结”，那这个公式其实挺合理的，即：压缩率约等于模型对规律的发掘以及总结能力。
如果沿着这个观点往下想，人类学习的过程其实也是类似的。就像是在各种智商测试中，往往会给我们三张图片，让我们去猜第四张来证明我们是否聪明那样。这不就是典型的，对训练数据（前三张图片）进行无损压缩训练（归纳总结），然后对第四张图片进行猜测（Next Token Prediction）么？
Emmm，因吹斯汀！
但是吧，个人认为，单凭这个思路很难真正通往AGI。首先，把所有的一切都进行压缩不现实，开销太大了，特别是像素级的去处理图像。而图像信息携带了人类社会中80%+的信息，不可能被忽略。其次，有很多信息在现实中很难被观测和采集。而通过训练缺少这类信息的数据集，是无法通往AGI的。
总结：就算压缩即智能，但是我们需要更多、更好、更全面的信息（数据）。大胆的抛个想法，何不让AI自己来决定学什么东西，并且自己去找（或者创造）这些信息呢？会不会更有意思？（想起了AlphaZero，一会再去看看柯洁和他的世纪之局！）
最后的最后，又想起了Hinton之前说的Mortal Computation，好像又是不一样的观点，这个有空再来讨论吧，看棋去咯。
前几天看了ACL的那篇关于gzip+knn论文，联想起了早些时候看过的这个分享，Jack Rae的Compression for AGI。里面给了一个相当反直觉的公式，|D| = -logPf（D) + |f|，翻译成人话就是模型越大，压缩率越高。
我刚看到这个公式的时候，内心秒变曹操脸：不可能，绝对可能！但是回头想一想，如果我们把LLM理解为是一种发现规律的方法，其表现为类似gzip的无损压缩算法/我们说的“对规律的完美归纳总结”，那这个公式其实挺合理的，即：压缩率约等于模型对规律的发掘以及总结能力。
如果沿着这个观点往下想，人类学习的过程其实也是类似的。就像是在各种智商测试中，往往会给我们三张图片，让我们去猜第四张来证明我们是否聪明那样。这不就是典型的，对训练数据（前三张图片）进行无损压缩训练（归纳总结），然后对第四张图片进行猜测（Next Token Prediction）么？
Emmm，因吹斯汀！
但是吧，个人认为，单凭这个思路很难真正通往AGI。首先，把所有的一切都进行压缩不现实，开销太大了，特别是像素级的去处理图像。而图像信息携带了人类社会中80%+的信息，不可能被忽略。其次，有很多信息在现实中很难被观测和采集。而通过训练缺少这类信息的数据集，是无法通往AGI的。
总结：就算压缩即智能，但是我们需要更多、更好、更全面的信息（数据）。大胆的抛个想法，何不让AI自己来决定学什么东西，并且自己去找（或者创造）这些信息呢？会不会更有意思？（想起了AlphaZero，一会再去看看柯洁和他的世纪之局！）
最后的最后，又想起了Hinton之前说的Mortal Computation，好像又是不一样的观点，这个有空再来讨论吧，看棋去咯。
https://www.youtube.com/watch?v=dO4TPJkeaaU
20 72