即刻App年轻人的同好社区
下载
App内打开
罗锴
3k关注6k被关注8夸夸
🍎苹果骨灰粉
🤖AIGC观察者
👨🏻‍🎤科技爱好者
🅥 ㍿养成系MCN联合创始人
大概率是个庸才,懂的太少,说得太多
置顶
罗锴
3年前
发个交友帖!不定时删除
1、MCN联合创始人,从零成功孵化了一批10万到100万量级的小红书、B 站博主。
2、掉进了 AI 兔子洞,一手体验与实践,和一线 AIGC 创作者和国内一线 AI 产品创始人保持密切接触和合作,理解当下 AI 产品的能力与局限。
3、成功孵化海外 AI及科技产品观察账号,内容不仅受到美国用户欢迎,更获得海外科技媒体 The Verge 引述报道。

这是几篇之前和朋友及媒体的交流,里面会有我们的一些基础运作思路,有兴趣欢迎一看

1、「专注B站和小红书,从零做达人孵化」mp.weixin.qq.com

2、「理论上来讲,每个中国人都可以成为网红 」mp.weixin.qq.com

3、「B站的UP主、直播和竖屏内容 」mp.weixin.qq.com

4、 近期花了大量时间来观察 AI,也欢迎各位来交流 「AI美女在小红书疯狂涨粉,真人网红会失业吗? 」mp.weixin.qq.com

海外媒体:
1、Restofworld 交流小红书话题:restofworld.org

2、The Verge 网站记者采写收录ChatGPT 的讨论内容:www.theverge.com

朋友圈狂魔,不怕被我刷屏的,欢迎加。
请添加的时候备注自己真实姓名和工作单位,我就通过👌🏻
PS:也请开放你的朋友圈哦👻
4336
罗锴
11:17
“我失去了对OpenAI领导层及其负责任处理AGI的能力的信任,所以我辞职了。”

作者: Sigal Samuel

Leike在X上发布的一篇帖子中也表达了类似的看法。他写道:“我与OpenAI领导层在公司核心优先事项上已经有相当长时间的分歧,直到我们最终达到了一个临界点。”

OpenAI未能及时对置评请求作出回应。

为什么OpenAI的安全团队对Sam Altman失去了信任
要了解发生了什么,我们需要回到去年11月。那时,Sutskever与OpenAI董事会一起试图解雇Altman。董事会表示,Altman“在沟通中不一致地坦诚”。翻译一下:我们不信任他。

罢免失败了。Altman和他的盟友,公司总裁Greg Brockman,威胁要将OpenAI的顶尖人才带到Microsoft——这实际上会毁掉OpenAI——除非Altman被重新任命。面对这一威胁,董事会妥协了。Altman回来了,比以前更有权力,带来了新的、更支持他的董事会成员,并有更大的自由来管理公司。

当你射击国王却未命中时,事情往往会变得尴尬。

公开场合,Sutskever和Altman表现出继续友好的样子。而当Sutskever本周宣布离职时,他表示要去追求“一个对我个人非常有意义的项目”。Altman在X上两分钟后发文称,“这让我非常难过;Ilya是……一个亲密的朋友。”

然而,自从未遂政变以来,Sutskever已经有大约六个月没有出现在OpenAI办公室了。他一直在远程共同领导超对齐团队,负责确保未来的AGI与人类的目标保持一致,而不是失控。

这虽然是个不错的目标,但与公司日常运营脱节,公司在Altman的领导下正在加速商业化产品的进程。而在Altman复职后不久发布并迅速删除的这条推文,更让人对他们的友谊表示怀疑:

因此,尽管公开场合表现出友好,但自从前者试图罢免后,Sutskever和Altman是否真的还是朋友是值得怀疑的。

而Altman被解雇后的反应也揭示了他的性格:他威胁要挖空OpenAI,除非董事会重新聘用他,并坚持要让新成员加入董事会,以倾向于他,这显示了他对权力的决心以及避免未来制衡的态度。前同事和员工描述他是一个操纵者,言行不一——比如他声称要优先考虑安全,但行为却与此相矛盾。

例如,Altman正在与像沙特阿拉伯这样的独裁政权筹资,以便建立一家新的AI芯片制造公司,这将为他提供大量建设尖端AI所需的资源。这让注重安全的员工感到担忧。
如果Altman真心关心以最安全的方式构建和部署AI,为什么他似乎急于积累尽可能多的芯片,这只会加速技术的发展?
更何况,为什么他要冒与可能利用AI来加强数字监控或侵犯人权的政权合作的安全风险?

对于员工来说,所有这些都导致了逐渐的“失去对OpenAI说它要做什么或它重视什么的信任”,一位熟悉公司内部情况的人士告诉我。

这个逐渐的过程在本周达到了高潮。

超对齐团队的联合领导Jan Leike没有试图表现得友好。他在Sutskever宣布离职几小时后在X上发文称:“我辞职了。”没有温暖的告别。没有对公司领导的信任投票。

其他注重安全的前员工转发了Leike的直率辞职声明,并附上心形表情符号。其中一位是Leopold Aschenbrenner,一名Sutskever的盟友和超对齐团队成员,他上个月被OpenAI解雇。媒体报道指出,他和同一团队的另一名研究员Pavel Izmailov据称因泄露信息而被解雇。但OpenAI没有提供任何泄露信息的证据。
鉴于每个加入OpenAI的人都签署了严格的保密协议,Altman——这位深谙硅谷网络的老手,擅长与媒体打交道——如果他想摆脱Sutskever的盟友,很容易将分享哪怕是最无害的信息描绘为“泄密”。

同月,另一名安全研究员Cullen O’Keefe也离开了公司。

两周前,另一名安全研究员William Saunders在EA论坛上发表了一篇隐晦的帖子,这是一个有效利他主义运动成员的在线聚集地,他们在AI安全领域有着重要参与。Saunders总结了他在OpenAI超对齐团队的工作。
然后他写道:“我于2024年2月15日从OpenAI辞职。”一位评论者问了一个显而易见的问题:Saunders为什么要发布这个?

Saunders回答:“无可奉告。”评论者们得出结论,他可能受到不贬损协议的约束。

将所有这些与我与公司内部人士的对话结合起来,我们得到了一个至少有七个人试图从内部推动OpenAI更安全,但最终对其魅力四射的领导者失去信心,无法继续留任的情况。

“我认为公司中许多认真对待安全和社会影响的人认为这是一个开放性问题:在像OpenAI这样的公司工作是否是一个好的选择?”熟悉公司内部情况的人士说。
“答案只有在OpenAI真的会认真和负责地对待它所做的事情时才是‘是’。”

随着安全团队的崩溃,谁来确保OpenAI的工作是安全的?
Leike不再负责超对齐团队后,OpenAI用公司联合创始人John Schulman取代了他。

但团队已经被掏空。而Schulman已经忙于确保OpenAI现有产品的安全工作。我们还能期待OpenAI在未来进行多少严肃的、前瞻性的安全工作呢?

可能不多。

“设立超对齐团队的全部意义在于,如果公司在构建AGI方面取得成功,会出现不同类型的安全问题,”一位熟悉公司内部情况的人士告诉我。“所以,这是对未来的专门投资。”

即使在团队全力运作时,这个“专门投资”也只占OpenAI研究人员的一小部分,并且仅承诺20%的计算能力——这可能是AI公司最重要的资源。现在,这些计算能力可能会被分流到OpenAI的其他团队,而是否会有更多关注避免未来AI模型灾难性风险的工作尚不清楚。

需要明确的是,这并不意味着OpenAI现在发布的产品——比如新版本的ChatGPT,被称为GPT-4o,可以与用户进行自然对话——会毁灭人类。但未来会发生什么呢?

“区分‘他们当前是否在构建和部署不安全的AI系统’与‘他们是否在轨道上安全地构建和部署AGI或超级智能’是很重要的,”一位熟悉公司内部情况的消息人士说。“我认为第二个问题的答案是否定的。”

Leike在他周五的X帖子中也表达了同样的担忧。他指出,他的团队一直在努力获得足够的计算能力来完成工作,总体上“逆风而行”。

最引人注目的是,Leike说,“我认为我们应该将更多的精力投入到为下一代模型做好准备、在安全、监控、准备、安全、对抗性鲁棒性、(超级)对齐、保密、社会影响及相关主题上。这些问题相当难以解决,我担心我们没有在正确的轨道上前进。”

当世界上AI安全领域的顶尖人才之一表示世界领先的AI公司没有在正确的轨道上前进时,我们都有理由感到担忧。

www.vox.com
01
罗锴
11:10
聊天生成预训练转换器(ChatGPT)可以说话,但 OpenAI 的员工肯定不行。
——OpenAI 的超级对齐团队为何崩溃?

作者:Kelsey Piper

周一,OpenAI 宣布了一个令人兴奋的新产品消息:ChatGPT 现在可以像人类一样说话了。
它有一个欢快的、略带讨好的女性声音,听起来令人印象深刻地不像机器人,如果你看过2013年的某个 Spike Jonze 电影,会觉得有点熟悉。“她,”OpenAI 首席执行官 Sam Altman 在推特上提到了这部电影,其中一个男人爱上了由 Scarlett Johansson 配音的人工智能助手。

但是 ChatGPT 4o 的产品发布很快被 OpenAI 的更大新闻所掩盖:该公司联合创始人兼首席科学家 Ilya Sutskever 的辞职,他也是其超级对齐团队的领导者,以及他的联合团队领导者 Jan Leike(去年我们把他列入了未来完美50强名单)。

辞职并不完全令人惊讶。Sutskever 参与了导致 Altman 去年短暂解雇的董事会反抗,之后首席执行官很快回到了他的位置上。Sutskever 公开后悔自己的行为,并支持 Altman 的回归,但他自那以后基本上一直缺席公司,即使 OpenAI 的政策、对齐和安全团队的其他成员已经离职。

但真正引起猜测的是前员工的沉默。Sutskever 发表了一个相当典型的辞职信息,说“我相信 OpenAI 会构建既安全又有益的通用人工智能(AGI)……我对接下来的事情感到兴奋。”

Leike……没有。他的辞职信息只是:“我辞职了。”经过几天的热烈猜测,他在周五早上对此进行了扩展,解释说他担心 OpenAI 已经从以安全为中心的文化转变。

问题立即出现:他们是被迫离职的吗?这是 Altman 去年秋天短暂解雇的延迟后果吗?他们是否因抗议 OpenAI 的某个秘密且危险的新项目而辞职?由于没有人曾经在 OpenAI 工作过的人在谈论,猜测填补了空白。

事实证明,有一个非常明确的原因。我看到了包含保密和非诋毁条款的极其限制性的离职协议,前 OpenAI 员工必须遵守。它禁止他们,在他们的余生中,批评他们的前雇主。
即使承认保密协议的存在也是违反它的。

如果离职员工拒绝签署该文件,或者违反它,他们可能会失去在公司期间获得的所有既得股权,这可能价值数百万美元。
一位前员工 Daniel Kokotajlo,他发帖说他因为“在 AGI 时期失去信心”而离开 OpenAI,已经公开证实,为了不签署文件而辞职,他不得不放弃本来可能会变成一大笔钱。

虽然在竞争激烈的硅谷,保密协议并不罕见,但将员工已经既得的股权置于风险之中,因为拒绝或违反协议是不寻常的。对于像 OpenAI 这样的初创公司的员工来说,股权是一种至关重要的补偿形式,可能远远超过他们所赚取的薪水。
威胁那些可能改变生活的钱是让前员工保持沉默的非常有效的方式。(OpenAI 没有回应评论请求。)

所有这些都对最初将自己宣传为 OpenAI 的公司来说非常讽刺——即,致力于以透明和负责任的方式构建强大系统。

OpenAI 早已放弃了开源其模型的想法,理由是安全问题。但现在它已经剥离了其安全团队中最资深和最受尊敬的成员,这应该引起一些怀疑,即安全是否真的是 OpenAI 变得如此封闭的原因。

结束所有科技公司的科技公司
OpenAI 在技术和政策圈中占据着一个不寻常的位置已经很长时间了。他们的发布,从 DALL-E 到 ChatGPT,通常非常酷,但就它们本身而言,几乎不会吸引到公司经常被讨论的那种近乎宗教的热情。

使 OpenAI 与众不同的是其使命的雄心:“确保人工通用智能——通常比人类更聪明的 AI 系统——惠及全人类。”它的许多员工相信这个目标是可以实现的;也许再过十年(甚至更少)——和几万亿美金——公司将成功开发出使大多数人类劳动过时的 AI 系统。

正如公司自己长期以来所说,这既冒险又令人兴奋。

“超级智能将是人类有史以来发明的最具影响力的技术,可以帮助我们解决世界上许多最重要的问题,”Leike 和 Sutskever 在 OpenAI 的团队的招聘页面上说。“但超级智能的巨大力量也可能非常危险,可能导致人类的剥夺或甚至人类灭绝。虽然超级智能现在看起来还很遥远,但我们相信它可能在这个十年内到来。”

自然地,如果在我们的有生之年可能实现人工超级智能(专家们意见不一),它将对人类产生巨大的影响。OpenAI 历来将自己定位为一个负责任的行动者,试图超越纯粹的商业动机,为了所有人的利益而带来 AGI。他们说,即使这需要放慢开发速度,错过利润机会,或允许外部监督,他们也愿意这样做。

“我们认为 AGI 不应该只是硅谷的事情,”OpenAI 联合创始人 Greg Brockman 在 2019 年,在更加平静的前 ChatGPT 日子里告诉我。“我们谈论的是改变世界的技术。那么,你如何在那里获得正确的代表性和治理?这实际上是我们真正关注的一个重要焦点,也是我们真正希望广泛参与的事情。”

OpenAI 的独特公司结构——一个最终由非营利组织控制的有利润上限的公司——本应增加问责性。“这里不应该由一个人来信任。我没有超级投票股份。我不想要它们,”Altman 在 2023 年向彭博社的 Emily Chang 保证。“董事会可以解雇我。我认为这很重要。”(正如董事会去年 11 月发现的那样,它可以解雇 Altman,但不能让这一举动持续。在他被解雇后,Altman 达成了一项协议,有效地将公司带到微软,然后最终在大多数董事会辞职后重新上任。)

但 OpenAI 对其使命的承诺没有比像 Sutskever 和 Leike 这样的重要角色更强的迹象,他们是以安全承诺和技术专家,显然愿意在必要时要求 OpenAI 改变方向。

他们的离职并没有预示着 OpenAI 构建人工通用智能的使命发生了变化——这仍然是目标。但它几乎肯定预示着 OpenAI 对安全工作的兴趣发生了变化;该公司还没有宣布谁,如果有的话,将领导超级对齐团队。

这清楚地表明,OpenAI 对外部监督和透明度的担忧可能并没有那么深刻。
如果你想要有外部监督,并为世界其他地区在你的行动中发挥作用提供机会,让前员工签署极其限制性的保密协议并不完全符合。

在紧闭的门后改变世界
这种矛盾是使 OpenAI 对于我们这些深切关心确保 AI 真正顺利发展并惠及人类的人来说,非常令人沮丧的核心所在。
OpenAI 是一个热闹的,如果是中型的科技公司,制造了一个健谈的个人助手,还是一个价值万亿美元的努力,创造一个 AI 神?

公司的领导层表示,他们想要改变世界,他们想要在这样做时负责,他们欢迎世界对如何公正明智地做到这一点的投入。

但当真正有金钱利益时——在争夺 AI 统治地位的竞赛中,真正的金钱利益是惊人的——就变得清楚,他们可能从未打算让世界有太多的投入。他们的过程确保了前员工——那些最了解 OpenAI 内部情况的人——不能告诉世界正在发生什么。

网站可能有高尚的理想,但他们的离职协议充满了精明的法律术语。很难对一个前员工被限制只能说“我辞职了”的公司进行问责。

ChatGPT 的新可爱声音可能很迷人,但我并没有特别着迷。

www.vox.com
02
罗锴
11:05
《FT》的一篇文章解释了为什么英国在发达国家中无家可归问题最严重。

和日常观察到的感受到不同,一直认为美国是这方面最严重的,其实是表象(如图所示:美国街头露宿的比例确实最严重,但是英国临时住宿的人群比例最高)

无家可归的普遍性:英国在发达国家中的无家可归率最高,每200户家庭中就有1户居住在正式住房部门之外的临时住所。

无家可归的形式:虽然人们通常认为无家可归是人们在街头露宿,但实际上主要的形式是人们居住在临时住所。

原因:无家可归的主要原因是负担不起住房。英国在这方面的记录非常糟糕,从2010年到2023年,居住在临时住所的家庭数量翻了一番多。

临时住所的条件:这些住所通常条件很差,包括潮湿、霉菌和虫害,这可能导致成年人失去工作,儿童辍学。

对地方议会的成本:过去十年间,提供紧急避难所的成本翻了一番多,最近一年几乎花费了18亿英镑。

危机的原因:文章指出三个主要因素导致了英国的无家可归危机:

房屋建设速度不足
-社会住房部门的缩减
-对无法负担市场价格租金的人的财政支持的侵蚀
-与其他国家的比较:与大多数其他发达国家相比,英国按人口比例建造的房屋更少,导致私营部门租金飙升。自20世纪70年代以来,社会住房部门缩减了25%。

社会和市场租金住房的作用:解决负担得起的住房供应问题,社会和市场租金住房都是必要的。像维也纳和赫尔辛基这样以可负担性著称的城市,社会住房的作用很大,但也建造了比伦敦更多的市场租金住房。

住房补贴:英国住房补贴的反复冻结导致由住房补贴支付租金的私人租赁房屋的比例显著下降。

政策和挑战:旨在缓解无家可归问题的政策,如“住房优先”方法,因缺乏负担得起和合适的住房而受阻。

www.ft.com
00
罗锴
1天前
没看万唯刚的那本,不好评论。但是 Wolfram 的那篇后来出版成书的博客文章确实是推荐,只要想了解当下的 Gen AI 就必读的基础读本的程度🫡
10
罗锴
1天前
AppleTV+最近的剧集质量都还不错,不能说非常惊艳,但是都是都很好的做到了投入金额的水平线上。刚看完Sugar,倒数几集的方向变化确实比较意外,还算很好的圆了回来,还非常好的留下了反派大Boss,第二季看来是也有准备呀😎
10
罗锴
1天前
创业话题里能看到这段讨论是没想到的,挖坟参议员拜登打脸总统拜登😎

瓦恁:

00
罗锴
2天前
越来越好用了😆
00
罗锴
2天前
真正有价值的雕花是怎样的?看到Pencil Pro这个演示,我对苹果的信仰值提高了🐮
01:18
47
罗锴
2天前
非常酷,真正的下一代非侵入性虚拟产品原型来了!

芝加哥大学的研究人员发布了一种通过非侵入性脑刺激实现全身触觉反馈的研究论文,标题为“Haptic Source-effector: Full-body Haptics via Non-invasive Brain Stimulation”。这种新颖的触觉反馈概念,称为“触觉源效应器”(haptic source-effector),它通过刺激大脑来在多个身体部位产生触觉效果,与传统的在每个身体部位附加一个执行器的方法不同。

实现方法:利用经颅磁刺激(TMS),这是一种非侵入性的神经科学/医学技术,通过电磁脉冲安全地刺激大脑区域。研究中,使用一个机械移动的线圈在用户的头皮上移动,刺激感觉运动皮层,从而在全身(如手、臂、腿、脚和下颌)产生约15种触觉/力反馈感觉。

用户研究:进行了两项用户研究。第一项研究通过TMS刺激来确定可以产生触觉感觉的身体区域;第二项研究则探讨了用户在虚拟现实应用中使用该触觉显示设备的体验。

技术实现:详细介绍了实现触觉源效应器的硬件和软件技术细节,包括机械执行器的设计原理、软件实现、以及重要的安全考虑。

安全性:讨论了TMS的风险,包括头皮局部刺痛感或与植入设备的电磁干扰,并提出了用户筛选标准和刺激参数的选择,以确保最小化风险。

技术评估:进行了设备特性评估(如端到端延迟、噪音、重量)和执行器特性评估(如在用户头皮上移动线圈的准确性)。

研究结果:研究发现,使用TMS可以在整个身体范围内产生15种触觉感觉,包括四个触觉感觉和十一个力反馈感觉。

lab.plopes.org
03:18
16