即刻App年轻人的同好社区
下载
App内打开
里福摩尔
143关注255被关注0夸夸
嘿!
里福摩尔
24天前

西元Levy: 被誉为AI之父的杰弗里·辛顿于2024年2月19日在牛津大学做了一次题为“Will digital intelligence replace biological intelligence?”(数字智能会取代生物智能吗?)的演讲。https://mp.weixin.qq.com/s/U-aAK4acI3ErqkRKyDwF3Q 可以认为是去年智源大会《放弃永生的凡人计算》的延续,Hinton对于“智能”的理解深度着实令人佩服。 以下评注版内容来自@黄钊hanniman 的AI日报,经授权转发👇🏻 a)视频在这里(https://mp.weixin.qq.com/s/Hhf4jh5Z-NR7_dvKwYUSpw中英字幕,一共54分钟,前37分钟演讲,后面是问答环节);部分内容的文字稿(https://mp.weixin.qq.com/s/R-KDDY0c7MXRPtVve6v6ew可暂时先不看)。 b)两种不同的智能,很精辟的比较: - 生物智能需要先理解怎么学习,然后去推理; - 数字智能由逻辑驱动,必须先知道知识如何表达,然后再学习。 c)辛顿在1985年做的一个小的语言模型,试图统一符号人工智能与心理学上的不同定义。 - 最重要的思想是:通过预测下一词不断生成句子,这些就是知识,而不需要预先储存或者设定。 - 如今Ilya在各种场合依然都在讲述这个思想,这是GPT诞生的源头。 hanniman评注:1985年……快40年了。本质上,这是在认知层面,对世界做一个映射转换(到另一个维度空间)。想想这个事情本身,就过于深邃了…… d)很多人认为大语言模型不是真正的智能(只是基于统计的被高度美化的自动完成机),但辛顿认为,大语言模型既然能够生成“下一个词”,就意味着它已经“学习”到了足够的特征及特征间的关系,意味着它已经理解了。 - 辛顿要表达的是,常规说的“不理解”,是从人的认知视角或框架来看的,但在机器的世界里,它很可能就是已经理解到了。 - 但是至于说,这种在机器在自己的世界里“理解”到了,能否被定义成真正的智能,一,我们人其实难以观察到,二,这是个特别主观的问题。 hanniman评注:这里,原文作者的说法是相对客观清晰的。同意。 e)常规认为”幻觉“是问题,表明LLM不理解自己在说什么。但辛顿认为 - 幻觉正是人类记忆的工作方式(人的大脑也是通过权重来存储知识):我们的回忆实际上是重建事件。我们存储的不是神经活动, 我们存储的是权重,我们使用这些权重和一些记忆线索重建神经活动的模式。 - 近期事件,可以准确地重建。但旧事件,通常会将许多细节弄错,而人可能对此毫不知情、但非常自信。 - 批评神经网络的人,说神经网络实际上不理解任何东西,它们只是在拼凑它们在网上读到的文本,那是因为他不理解它们是如何工作的——他们不是拼凑它们在网上读到的文本,因为它们没有存储任何文本,它们存储这些权重并生成文本。 - 大语言模型的错误不能叫做“幻觉”,而更应被称为“虚谈症”,是指心理学上人类对自己或世界产生的一种虚构、扭曲或误解性的记忆错误。 hanniman评注:关于幻觉,看hinton这段话,是最本质的了。 f)数字计算 vs 人的生物计算 - “不朽性”被认为是计算的基本原则,但是如果放弃或者说放松这个基本原则呢?辛顿认为,数字计算机被设计出来的时候就是被要求按照人的要求运行程序,但是到了AI时代,程序不再被要求按照人的指令精确运行,而是要会“学习”,从案例中学习,这种学习更像是“模糊的正确”。 - 而这,会挑战了非常基本的软硬件解耦原则问题:软件和硬件,是必须解耦,还是可以不解耦? - 放弃了硬件的精确性,所以硬件可用更便宜的方式演化,也只需要很少能源去支持这种计算,因为类似于人脑的模拟计算对能量的要求很低。 - 与“不朽计算”(immortal computation)对应的就是“瞬逝计算”mortal computation”。 - 当计算机系统成为AI时,追求“模糊的正确”更有意义,而模拟计算在这种场景下性能更好,延时更低,功耗更小。 hanniman评注:agree,很多时候,在高维层面,其实不需要在低维(具象)层面,那么精确。比如我有个认知,一件问题(项目),如果把最核心的3件(甚至1件)事最好了,这事基本就成了,其他的不影响成败。 g)“瞬逝计算”mortal computation”面临的挑战: - 如果硬件不工作了,那么与硬件高度耦合的知识就消失了。解决这个问题的最好方法就是所谓的“教师-学生”模式:教师做出如何对于不同输入(问题)得到正确回答的例子,学生不断调整自己的“权重”,以得到跟教师一样的答案,这种方式也叫做“蒸馏”。 - 生物计算的特性是软硬件耦合的,知识会跟随硬件消失,但因为我们生物体(硬件)能够使用的能量有限,所以必须在能量约束下不断进化。数字计算对能量的要求越来越高,也因此失去了自我进化的能力。 h)现在要实现超级智能还很难,因为能源不便宜;但如果未来能源问题解决了,变得很便宜,那数字计算就会超过生物计算、超过人的智能了。 - 在二十年内,数字智能超过生物智能的概率大概是50%。 - 碳基与硅基,到根上,就是对能源的依赖度不同。 - 人工智能会比人类聪明得多,然后我(hinton)认为它可能会掌控一切。 hanniman评注:我个人观点是,在物质层面,总有一天,AI会掌控一切(但可能非常遥远,不是我们这代人所及);而心理层面,人还是要为自己负责。

00
里福摩尔
1年前
除了蓝天,皆是配角
00
里福摩尔
3年前
周深来我们单位里演唱会,随手一拍😹
47
里福摩尔
3年前
#咬一口这座城
寻味顺德——顺德菜最牛逼之处在于,即使抱着极高的期待来吃,依旧会被惊艳到。
Day1 桑拿菜,用米粥锅底蒸非常新鲜的鱼、清远鸡、牛肉。鱼肉嫩,重要的是一点腥味都没有,不用蘸葱姜酱油水可以直接吃。最惊艳的是鸡肉,外形和口感完全不敢相信是鸡肉,鸡皮和瘦肉都做成了Q弹的口感,没有了纤维感,鸡肉下铺了一层番薯和佛手瓜,其鲜甜浸入了鸡肉里,完美。食材被蒸出的油脂和汁水融入粥内,第一次喝这种粥还是觉得非常不错的(不过最爱的还是后来遇到的银记肠粉家的一品艇仔粥)
30
里福摩尔
3年前
日本的高考复读生被称为“浪人”,因为这些学生不属于任何学校,这个称谓过去用于称呼那些没有主人的武士。 ——《日本新中产阶级》
10
里福摩尔
3年前
我种的月季,被这只猫霸占了,喵喵喵
30
里福摩尔
3年前
小米众筹抽奖居然中了,太幸运了吧😁😁
50
里福摩尔
5年前
百事可乐在困境时曾想低价卖给可口可乐遭到了拒绝
腾讯曾想开价100万把QQ卖给新浪也遭到了拒绝

连业内巨头都不能预知与其休戚相关的竞争对手的未来高成长,我等凡夫俗子又如何能够预测那些只调研过几次的所谓成长企业的未来

邱国鹭 《投资中最简单的事》
93
里福摩尔
5年前
2018,李敖与金庸相继去世,网友纷纷缅怀
可李敖却曾这样犀利评价金庸

风流才子李敖犀利点评金庸武侠、钱穆、余光中,窦文涛尴尬,你同意么?

437359
里福摩尔
5年前
《二手时间》 ——阿列克谢耶维奇(白俄)

强烈推荐。
苏联的过去、崩溃和未来是一个有着许多切面的多面体,作者对于这个多面体几乎一言不发,她把镜头对准不同时代,不同阶级,不同民族的切面,让本身零散的多种多样的真相得以结合成一个整体,使得对于这段历史有了立体的感知。最客观的历史学家也许正是这样一言不发,让历史的不同参与者充分发声,深入他们的内心世界。

所以,不说这本书表达了什么,而是为什么读这本书。中国与苏联的思想文化相互影响,有着许多相似的历史片段。如今国势不顺,会出现来自各方的声音试图征服人们,我坚信,读书的一个重要原因在于让自己变得难以被任何声音征服。这本书将自己的侵略性降到最低,只用全面的事实武装读者。

即使有一天你要用鲜血去捍卫些什么,你应该清清楚楚明明白白地知道你捍卫的是什么。
2317