即刻App年轻人的同好社区
下载
App内打开
Mellow.ai
127关注25被关注0夸夸
Mellow.ai
2年前
人最终都会败于自己也没意识到的人格漏洞
00
Mellow.ai
3年前

马丁的面包屑: 观察到一些现象: 1. 除了最早期,最成熟的Jasper这样围绕短文本生成领域的应用,还没有看到太颠覆性的大模型应用 2. 从GPT-4发布后的狂欢,其实是应用上的狂欢,无论HuggingGPT AutoGPT,25人小镇,本质上是一种“玩法”的挖掘。 3. 这种Demo级的产品展现了创意,但是我们知道Demo离最终落地还有非常多要解决的问题,这些问题哪些是可控的只需要堆时间,哪些是不可控的需要基座模型升级目前还看不清楚。 4. 另外我在尝试将他融入我的工作流,帮助有限。我让一些程序员朋友测试Github Copilot,评价上也比较有限 以上信息令我对至关重要的“时机点”有了一些不乐观的怀疑(不否定哈,只是稍微降温一下) 我想问问看到这条消息的人: 1. 你们有真实的应用需求吗?并且每天高频使用。(排除研究、测试、好玩等目的) 2. 如果有,是用于什么? 3. 他确实地改变了你们的工作/生活流程了吗? 4. 因为目前的这个改变,你愿意每个月付出多少钱呢? 我觉得我们需要从信息的狂热稍微抽出来一下,审慎地看一下 我先回答: 1. 有 2. 我会用在英语学习及算法概念查询上,但基本都是偏学习、检索类的 3. 他暂时而言无法进入我的工作流(除了学习方面) 4. 如果让我给钱,20元/月以内是合理的,ChatGPT的20美元/月完全不值得 别只点赞,尽量回答一下(前提你有在用) 网上虽然有各种玩转GPT的文章,但我不相信他们 朋友们让我们真诚地来说一下 中国人不骗中国人

00
Mellow.ai
3年前

Szhans: 推荐李沐讲解克劳德的精华论文这一期 🔗 https://youtu.be/iqX0pgNDon0?si=GaWV8TNT9FTRYUL4 特别适合: - AI 学习者。无论你好奇还是害怕LLM 模型,通过关注原理层面上如何训练的,你就能打破不必要的情绪反应。 - 原理探索。你如果好奇 ChatGPT 为何经常谎话连篇,而Claude 却显得稳重、靠谱。 - 大脑探究者。关注人类智能和 LLM的差异,渴望认识自己,也关注 AI 演化的趋势。 - 生态分析者。渴望通过关注技术的过去,来想象 AI 驱动的未来社会和商业世界。 观看过程,有一些思考和关联启发,先记录一下,后面找机会深入展开: 1️⃣ 你越理解一个复杂事物的诞生和演化路径,越能 明白 LLM 有诸多「有限性」,也更容易理性「预测」它的边界。 2️⃣ 你越掌握原理,越发现 LLMs 并不复杂;这个真知,不仅对抗不必要的恐惧,还能激励创造。相反,如果不去了解,大脑就编造一些「故事」,就会偏听偏信,难以批判性思维。 3️⃣ 为什么 ChatGPT 经常一本正经胡说,而 Claude 没那么「有毒」 ?RLHF(强化学习自回归模型微调)这个概念和实现过程,值得我们多花些时间了解。它也是读懂原理的一个关键脚手架。 4️⃣ 对话体(这个 Co-pliot 模式和界面)有着深刻数据集起源故事,它甚至不是 ChatGPT 的首创,极具想象空间,它是人机交互变革的一个开始。 5️⃣ 尽量减少被媒体轰炸,花时间认真读AI 原理的科普大作(例如梅耶尔的 《AI 3.0》),读书比读文章重要的多。 6️⃣ 焦虑是无法根本解决的,现代社会的运行机制和我们古老的心理本能决定的。要学会与其相处,首先要理解它的复杂性和合理性(进化心理学和神经科学),用行动和真知去安抚情绪。 7️⃣ 认识你自己,变得更加紧迫。认识到潜意识、睡眠、情感和理性的关系、学习是一个什么过程和创造如何提升更为重要。至少目前 AI (主流的自回归模型)都无法和这些生物智能的奇迹相提并论。通过持续的「对比」,我们能更好认识大脑,机器并不可怕。 「Only we understand, will we care」 了不起的珍·古道尔这句警句,可以指向社会与自我认知的很多方面。

00
Mellow.ai
3年前

Diiiii: (接上文2/2) 5. 关于大模型未来的发展。拾象内部的讨论中,有人认为目前的能力可以支持未来5-10年的发展,主要的几个动力来自于: - 单卡算力的提升。受摩尔定律的影响,每18个月翻一番,例如英伟达的产品迭代,从V100到A100到H100。目前的H100只是4纳米的产品,2纳米已经基本ready了。未来的另一个芯片设计思路是3D堆叠,把芯片从二维展开至三维,例如在 CPU 和 GPU 之上直接堆叠 SRAM 和 DRAM 内存,缩短了电流传递路径,降低功耗,以提供更高的带宽和性能。这是用空间换时间的思路(不过我听说似乎散热问题不好解决?) - 分布式集群。仅靠单卡性能的提升,没办法在短期内实现数量级的算力提升,因此必须要借助大规模的分布式算力。谷歌可以5 - 10万张 卡直接连在一起训练,英伟达是 2 万张卡,如果这方面多做一些优化,用集群可以提高3、5倍的算力。“这种大规模的分布式训练,得益于网络的高速互联,现在的核心网能到 800G。800G 到1.6T 的 roadmap 非常明确,两三年后就可以,到 3.2T 肯定也可以做到。 再往上就是看要性能还是成本,大规模的 AI 集群训练是以前没有过的任务,要求 high performance。之前的云计算更多考虑成本而不是performance,因此一些技术没有用。如果只看 performance,10 万颗芯片连起来不会需要很多钱,能用的光互联技术非常多。另外Nvidia 有一个技术叫 Nvidia link,它可以在服务器上或者 pod 里,用比较宽的互联带宽直接把芯片连在一起。所以未来 5 到 10 年内,带宽不断上升没有特别大的问题。但再往后,网络传输的上升如果到了上限,分布式规模就上不去,总算力也就上不去。网络传输随着规模增大,终究有上限,不会无限暴涨。” 然而这方面,国内的差距在逐渐拉大。单卡上,国内现在只能用上之前屯的A100,H100用不了。集群上,卡在 NVlink,不仅是 license,还有硬件设备。即便买到了卡,但是连不起来,也是很大的问题。这也是为什么美国去年会限制芯片出口到中国,它可能也是看到以后 AI 可能都是比较大的集群,所以把中国以后能用的带宽限死了。 除了算力之外,其实GPT4更多是工程上的胜利。Sam Altman说,“我们OpenAI擅长的是赢得很多小胜利,是几百个复杂的环节的提升,例如如何收集数据、如何清洗数据、如何进行训练、如何进行优化等等,将它们相乘,结果带来一个相当大的飞跃。这是一种乘法效应,关键是我们对细节的关注和投入。” 这是一个工匠活,个人认为这点上虽然有差距,但是通过大量的投入和人才的流动,是可以被快速追上的,因此并不是壁垒。从这个角度来看,很难想像OpenAI未来会一家独大。 6. 关于竞争的终局。到底大模型未来的竞争格局会更像是芯片(一家独大)?操作系统(寡头竞争)?云服务或区块链公链(巨头和垂直领域玩家并存)?还是各种AI模型,比如图像和语音识别(充分竞争)? Sam Altman认为,“世界上会有许多AGI,所以我们不必与所有人竞争。我们将贡献一些,其他人也将贡献一些。这些AGI的构建方式、所做的事情和关注的焦点会有所不同,这是好事。”但之前的访谈中,他似乎有认为大模型不会有太多,而创业的机会更多在于“中间层”。 拾象的讨论中有很多不同的意见,有人认为会像是芯片,因为大模型投入太高了,也有人认为会是多寡头格局。“虽然以太坊是最大的公链,但实际上,每个大模型会有自己的生态,也会用自 己的基金,所以有可能是多寡头格局,大家会提出一些自己的优势领域,不论是模型更大,运算效率更高,用更少的数据, 还是能在某个垂类市场,比如阿里就能在商业的场景上做得非常好。 除非有一种情况,模型能力差别非常大,OpenAI 跟大家拉开了一个代际差。” 7. 关于AI是否会让人失业? 关于这一点,Sam Altman是非常乐观的:他认为不会。他提到了自己身边的程序员都乐于和GPT合作,“大多程序员都觉得这非常神奇,‘我的生产力提高了10倍,别把这个功能拿走’”。他还举了国际象棋的例子,“1997年,当俄罗斯国际象棋大师加里·卡斯帕罗夫(Garry Kasparov)输给了人工智能深蓝(Deep Blue)时,有人说大家以后不会再玩国际象棋了,因为永远也赢不了AI了。那是30年前、25年前的事了。但如今,国际象棋比以往任何时候都更受欢迎。顺便说一下,人们不怎么看两个AI之间的对战,尽管这种比赛水平更高。相比AI的比赛,人们对自己的比赛更感兴趣。因此,我认为AI在各个方面都只会让生活变得更好,它可以治愈疾病,增加物质财富。但即使这样,人类仍然渴望戏剧,仍然渴望不完美和缺陷,而这些是AI没有的… 我认为AI的发展会让很多工作消失,每一次技术革命都是如此。客户服务将会消失。但AI将增强许多工作,使它们变得更好、更有趣、更高薪,并且将创造一些我们很难想象的新工作,我们已经开始看到它们的雏形… 有人说,物质变得充裕了,就不会有人想要去工作了。但是人们想要地位,人们想要戏剧,人们想要新事物,人们想要创造,人们想要感到有用。即使在一个生活水平优越到无法想象的世界里,我们也需要找到新的方式来实现这些目标。如果我们可以让更多的人拥有更好的工作,并将工作变成一个更广泛的概念,而不是为了吃饭而必须做的事情,而是一种创造性的表达方式和找到满足和幸福的方式,即使那些工作看起来与今天的工作极为不同。我认为这很好。” 我去查了一下(实际上是问了一下GPT4和Claude,Claude的回答更好),过去30年里,国际象棋的人口确实是在增加的。“在2001年左右,国际象棋的注册会员约为9.5万人;到2021年,这一数字已经增长到了约19.5万人。这意味着在这20年间,FIDE注册会员数量翻了一番,增长了约100%。2000年美国棋协有7个等级段位,一共2600名会员。到2019年,美国棋协有20个等级段位,超过7万名会员,业余棋手数量增长近27倍。美国学生棋联从2000年的约2万学生会员增长到2019年的15万学生会员,增长超过7倍。” 同时,我还查了一下围棋的数据,AlphaGo击败李世石之后的5年里,围棋的人口整体稳定增长,增长幅度可能在10-30%之间。从这个角度来看,Sam Altman说的是有道理的。 木遥在博客中提到了相反的观点。“我们虽然在体能上远远输给了机器,但我们的脑力从来没有输给过机器。而我们一般认为人类的能力不外乎就是体力加脑力,或者我们的肉体加上我们的灵魂。如果你在脑力上也被,至少在很大一部分层面上被机器取代了,这就不只是你被机器取代了一部分的问题,是你必须要严肃地问一问自己,我还剩下什么是机器做不到的?这不是一个很容易的问题。我们必须理解,过去两三百年的现代社会,是被这样一种基本认知所塑造的。人类的价值体现在他的脑力上的价值。一个小孩身体非常好,但是脑子很笨。另外一个小孩身体素质一般,但脑子很好。我们一般认为后者更有出息,但这个认为是哪来的?这并不是自古以来就有,这就是工业革命的产物。工业革命让我们觉得脑力比体力在社会价值的鄙视链上更高,而它更高的唯一原因是它是我们人类的优势的体现。今天我们仍然比AI聪明,但如果AI进一步变得更强大的话,你就没有AI聪明了。那时候,我们人类的价值体现在哪里?如果你还是长得很好看,你是当网红,如果你长得不好看的,你存在的意义是什么… 如果你在过去的时代,你说职场上长得好看的人会被优先提拔,虽然大家知道这可能是真的,但是大家认为他至少不应当如此。你应当提拔是谁的?应当提拔是能干的,聪明的,而不是长得好看的。但是如果你的能干和聪明被AI取代了,你剩下的可能也确实就是好看了… 这是一个非常本质的存在主义的问题。而这个问题我没有好的答案。因为我们人类没有经历过这种时刻,我们人类没有经历过在方方面面所有的维度上都比不过机器的时刻。所以把它叫不叫奇点,我不知道,但它确实是一个崭新的、没有存在过的一个状况… 因为你刚问我什么样的工作仍然不能够被取代… 它会不会能够帮我们叠衣服?你刚用了洗碗机的例子,其实洗碗不是一个好例子,因为洗碗那个东西是碗,碗大不了就打碎了,也就是个碗。我这么说好了,我举一个很简单的现实生活中的例子。你要给小孩换尿布,这个事情什么时候能够让机器来干?我认为不会很近,因为活生生的一个小孩对安全性的要求不是像洗碗机这样的。它虽然是个技术问题,但它不是一个马上就能解决的问题。我觉得它反而比很多我们认为本来遥遥无期的事情 - 比方说让AI写一个长篇小说 - 更难。当然,这是关于未来的判断,很难百分之百的确定。这些东西仍然不能被取代的。那些照顾人的部分,那些在情绪上,在肉体上,在一切人和人交流的意义上所付出的劳动,都仍然是不能被取代的。当然,今天ChatGPT已经可以跟你聊天了,所以你可以跟它倾诉,甚至可以跟它谈恋爱,在某种意义上来说,但是它仍然不能取代你真实人和人之间的care对不对?但它可以取代你在白天上班的时候看起来光鲜的白领。所以,它会非常非常深刻的影响我们整个社会的对价值的排序。我们本来被看作比较低级的所谓的家庭劳动,或者是那些不挣钱的劳动,会变成人类真正的安身立命的东西。而那些传统的被认为是高级的professional的挣钱养家的劳动,我也不知道像什么一样,但是它会逐渐消散掉。 在这一点上,个人更倾向于木遥的意见,甚至更加悲观。前几次的技术革命浪潮中,尽管机器能力提升了,但人类始终是具有相对优势的。但这次的进步,可能会让人类在各个方面都变成“绝对劣势”。想象一下,在拥有无限供应的 20 美元/月本科生的情况下, 企业的组织架构会变成什么样?木遥老师对于人类在体力劳动以及情感沟通上的优势还抱有乐观的希望,但我认为随着机器人+视觉常识的进步,体力劳动上被彻底取代并不是幻想。至于情感上的沟通,按照雷老师的说法,本质上是一种“表演”。很多服务业,如果去掉技能的部分,其实都是表演行业罢了。因此,这确实会是人类亘古以来最大的考验。 8. 关于AI和安全。 Sam Altman认为,保证安全的唯一方法并不是停滞不前,而是尽早试错。“我想说的是,我认为AI杀死人类的可能性是存在的。承认这一点是非常重要的,因为如果我们对此避而不谈,那么我们就不把它当做潜在的风险来对待,也不会付出足够的努力去解决它。我认为我们确实需要发现新的技术来解决这个问题。我认为,解决这样的问题的唯一方法是通过反复迭代学习,尽早发现问题,并限制犯错的次数… 我们确实对此非常担忧,因此在推出前我们进行了尽量多的红蓝方的测试,以找出避免这些问题的方法。然而,我必须强调,全球人类的集体智慧和创造力比所有我们能雇佣的红蓝队成员要大得多,所以我们推出了这个有缺陷的版本,以便让人们可以发现问题,尽早调整。” Elon Musk显然不是这么想的。他认为AI继续发展下去会有失控的风险。指望类似“机器人三定律”的方式来控制一个比自己更加高级的生物是幻想。 只不过,文明的进化是个人意志无法左右的,哪怕是Elon Musk这样的人物。 相关链接: AIGC“尖峰系列” | OpenAI CEO最新访谈,3万字全文详述技术、竞争、恐惧和人类与AI的未来 https://mp.weixin.qq.com/s/nRqz8sUB5J0MXeY8bn1lBg OpenAI 联合创始人、首席科学家 Ilya Sutskever 解读大语言模型的底层逻辑与未来边界 https://mp.weixin.qq.com/s/YFIPrSH01qEBKhlb3oybMg AI狂飙的时代,人还有价值吗? https://mp.weixin.qq.com/s/7H1FrwbQvsh0HD9z90L0wg OpenAI 闭门讨论会V3纪要【GPT-4】 智慧信息的压缩:模型智能的涌现之道 https://mp.weixin.qq.com/s/hQmvltuMlClBonM6UJmtLg 最详细全文翻译!微软 155 页大工程首次揭示 GPT-4 超能力 https://mp.weixin.qq.com/s/XpyMASc2O2m-SOM_FgGSzg https://mp.weixin.qq.com/s/sbDXitgTDZ7jEhOtPe0Llg

00
Mellow.ai
3年前

莫妮卡同学: 这边厢基于Chatgpt的各种应用落地+试图复现chatgpt的努力红红火火,最近关注到的,是美国市场开源生态的繁荣。这篇文章提出了GenOS Index, 梳理了跟LLM相关的超过5700个开源项目还有top 30项目,一些小takeaways: 🔢 构成上,不意外的是大部分44% 项目是infra/tools, 应用大多数都是tools. 25% 是model。 🛞 文生图的model 流行度更高,毕竟模型小,自己host, fine tune 成本都不高。社区活跃肉眼可见,但是从midjourney 的产品和业务表现来看,有社区+数据闭环真是powerful flywheel。一方面,绝大部分end user 不在乎模型开源与否;另一方面,MJ上的用户反馈闭环在很多开源场景也无法实现。不过抛开open vs close 的争论,开源公司的确在打造一个“好产品”上进展太落后了。 👯‍♀️LLM model 的开源项目,目前还不是为了commercial purpose, 但比如LLaMA 周边的研究百花齐放,domain or enterprise 落地门槛降低指日可待。根据现在技术革新的速度,未来1-2年出现基于开源LLM的完整tech stack, end to end app, 或许都指日可待 🌄 infra/tooling 落地的确快。除了最近瞩目的 Langchain, 围绕training, serving 的工具最为繁荣。跟开源LLM的进展相辅相成。但是之前MLOps 很多公司TAM的挑战,未必因为LLM就可以解决(省略1000字)。现在devtools 层出不穷又很趋同,很认同最近看到一篇文章里说的: don't misread immediate momentum and interest for durable value. 现在用户还是 hackers, 谁能跟客户一起尽快成为企业级产品,才是最后的赢家 🇨🇳 惊喜的看到很多中国公司!深刻觉得,虽然foundation model 的能力差距还很大,但是动手能力极强、极其能卷的中国开发者们,并没有慢很多。很多人可能还沉浸在上面说的 immediate momentum 中(毕竟以前devtools 做的太苦),还是希望能看到 visionary founders build for durable value. https://www.decibel.vc/content/launching-the-generative-ai-open-source-genos-index PS 最后这个是认真的吗😂

00