即刻App年轻人的同好社区
下载
首先，当我提出的点你全都回避的时候，讨论其实已经失去意义了，因为你总可以挑新的话题来找补。
其次，就你新提出的点，我回应一下
1. 既然“不存在任何安全的大模型”是当前的常识，那么“AI系统不会只有裸的大模型直面客户”，也是顺理成章的常识。AI系统的安全是多个模型+代码共同决定的。
2. 系统安全是攻防战，最有效的方式是全人类将攻击方式共享，这样才能将防御方式共享。从单次攻击上来看，确实是骇入时间拖得越久越好，但是从更高维度来看，是漏洞暴露得越早越好。闭源系统不是没有漏洞，而是漏洞被掩盖得更久。
3. 最重要的点仍然是：安全，是对谁的安全？闭源系统只会保障厂商的安全，用户的安全由谁保障？凭厂商的一句话？这个世界是个草台班子的故事早已发生了无数次。
如果信息不透明，那么事情总会有利于掌握信息差的一方——这一方可能是厂商，可能是黑客，但一定不会是用户。
如果信息（除密钥外）透明，黑客就很难成为唯一知道攻击方式的一方，白客会知道，厂商会知道，第三方会知道。
信息透明下保证安全，才是最底层的安全 //@幻梦算法_无终春: 《Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models》（对抗性诗歌作为大语言模型的通用单轮越狱机制）。光是玩玩古诗就能把核弹的那个那种信息给套出来，这方面的论文我看过不知道多少。
管你开源闭源，我都有一万种把它们骇掉的方式。大模型本质上就是不安全的，不存在任何安全的大模型。【这是 AI 安全领域的常识】
但是呢闭源模型会被封号，会增加不少成本，这是我唯一顾及的地方。开源模型骇入的话就彻底0成本了。
如果你学过一些黑客的那种基本常识的话，你也知道，在足够的时间之下，或者说只要付出了足够的成本，那么任何系统都是不安全的，只要它在数学上不是完备安全。
而大语言模型根本上就是一个数学上不完备安全的一个系统，因此其攻破只是一个时间问题而已。时间长或者短。现在大模型安全领域或者说 AI 安全领域唯一的议题就是尽可能增加这个骇入时间长度而已，而不可能做到本质安全。
开源的话就是彻底把这个本质安全给抹杀掉了。其实你们倒是无所谓，其实我是很喜欢这个开源模型的。因为这意味着我可以尽情的，就是去做一些很危险的东西。
其次，就你新提出的点，我回应一下
1. 既然“不存在任何安全的大模型”是当前的常识，那么“AI系统不会只有裸的大模型直面客户”，也是顺理成章的常识。AI系统的安全是多个模型+代码共同决定的。
2. 系统安全是攻防战，最有效的方式是全人类将攻击方式共享，这样才能将防御方式共享。从单次攻击上来看，确实是骇入时间拖得越久越好，但是从更高维度来看，是漏洞暴露得越早越好。闭源系统不是没有漏洞，而是漏洞被掩盖得更久。
3. 最重要的点仍然是：安全，是对谁的安全？闭源系统只会保障厂商的安全，用户的安全由谁保障？凭厂商的一句话？这个世界是个草台班子的故事早已发生了无数次。
如果信息不透明，那么事情总会有利于掌握信息差的一方——这一方可能是厂商，可能是黑客，但一定不会是用户。
如果信息（除密钥外）透明，黑客就很难成为唯一知道攻击方式的一方，白客会知道，厂商会知道，第三方会知道。
信息透明下保证安全，才是最底层的安全 //@幻梦算法_无终春: 《Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models》（对抗性诗歌作为大语言模型的通用单轮越狱机制）。光是玩玩古诗就能把核弹的那个那种信息给套出来，这方面的论文我看过不知道多少。
管你开源闭源，我都有一万种把它们骇掉的方式。大模型本质上就是不安全的，不存在任何安全的大模型。【这是 AI 安全领域的常识】
但是呢闭源模型会被封号，会增加不少成本，这是我唯一顾及的地方。开源模型骇入的话就彻底0成本了。
如果你学过一些黑客的那种基本常识的话，你也知道，在足够的时间之下，或者说只要付出了足够的成本，那么任何系统都是不安全的，只要它在数学上不是完备安全。
而大语言模型根本上就是一个数学上不完备安全的一个系统，因此其攻破只是一个时间问题而已。时间长或者短。现在大模型安全领域或者说 AI 安全领域唯一的议题就是尽可能增加这个骇入时间长度而已，而不可能做到本质安全。
开源的话就是彻底把这个本质安全给抹杀掉了。其实你们倒是无所谓，其实我是很喜欢这个开源模型的。因为这意味着我可以尽情的，就是去做一些很危险的东西。
橘AI: 在昨晚 OpenAI 宣布企业套餐里加入 GLM 5.3 等开源模型之后，A\ 立即发布报告，严肃批评了 GLM 5.3 等开源模型的安全问题。 这个报告的信息量不大，但看完之后满脸问号。。。 报告先说 GLM-5.3 是「迄今发布的网络安全能力最强的开源模型」。 比美国前沿模型落后约4个月。 他们测试了几个模型，这些模型包括 Opus 4.6，Kimi K3，DeepSeek Flash，但 GLM 5.3 是唯一一个具备漏洞利用能力的模型。 然后提到 GLM 5.3 其实自带了安全护栏。 但是因为它是开源的，任何开源模型都可以通过一种拒绝行为削减技术，abliteration 来重新配置模型，专门移除拒绝行为，训练出不安全的 GLM 5.3 版本，制作一次约4400美元成本。 简单说就是开源模型天然可以改权重，都不安全。 对这个移除拒绝行为abliteration 的模型进行评测，发现这个版本确实很不安全。 对于原版的带安全护栏的 GLM 5.3，通过欺骗性提示词、预填充思考等方式，可以欺骗模型参与到危险的任务中。 而 Claude 不提供预填充思考功能，也不开源，无法被 abliteration，所以非常安全。 报告最后呼吁，让更多企业和机构用上安全的闭源模型刻不容缓。 。。。 这个报告看起来是在讨论模型安全，实则带着积分自我兜售的意思。 开源模型自带了安全护栏，然后你通过训练把它的安全护栏去掉，以此论证开源模型并不安全。 如果觉得开源模型不安全，大可以开源一个安全的给大家用。 也可以选择积极地参与到开源模型的安全建设里，一起为安全做出努力。 你也可以选择把自己的模型开放给全世界，不要天天封号。 卖模型就卖模型，还要占据个道德的高地。
0 00
你是不是不知道有个东西叫哈希检验？
程序改了以后哈希值就对不上了。
改成别的版本，然后不开源，这就是闭源的不安全版本啊？
改成别的版本，然后开源，能做哈希检验，就能被第三方审查是否安全。
回过头来，闭源的是否安全，全凭提供方的一句话，你没有任何手段确认它是否安全。
甚至，安全这个话题如果不是第三方审计，就存在“对谁安全”的差异，闭源系统提供方的大量安全手段是保护他们自身的，至于你用户的安全，他们未必在乎，甚至很多时候，是牺牲你用户的安全实现他们的利益。
典型的就是之前claude code植入木马程序窥探用户隐私，实现他们想要的用户分析。还有zcode被爆上传用户全量git仓库，后来他们自证方式不就是开源代码吗（不过他们没开源过去的历史，因此最多只能验证开源后的程序，无法验证之前的程序）
A\在AI领域是很权威，但不要他说什么就信什么
权威和常识面前，我选择常识。 //@幻梦算法_无终春: ( ﾟᯅ 。)开源模型本质上是不可能安全的，只要开源就能被任何人爆改成不安全的版本，这是基于开源的技术特征
程序改了以后哈希值就对不上了。
改成别的版本，然后不开源，这就是闭源的不安全版本啊？
改成别的版本，然后开源，能做哈希检验，就能被第三方审查是否安全。
回过头来，闭源的是否安全，全凭提供方的一句话，你没有任何手段确认它是否安全。
甚至，安全这个话题如果不是第三方审计，就存在“对谁安全”的差异，闭源系统提供方的大量安全手段是保护他们自身的，至于你用户的安全，他们未必在乎，甚至很多时候，是牺牲你用户的安全实现他们的利益。
典型的就是之前claude code植入木马程序窥探用户隐私，实现他们想要的用户分析。还有zcode被爆上传用户全量git仓库，后来他们自证方式不就是开源代码吗（不过他们没开源过去的历史，因此最多只能验证开源后的程序，无法验证之前的程序）
A\在AI领域是很权威，但不要他说什么就信什么
权威和常识面前，我选择常识。 //@幻梦算法_无终春: ( ﾟᯅ 。)开源模型本质上是不可能安全的，只要开源就能被任何人爆改成不安全的版本，这是基于开源的技术特征
橘AI: 在昨晚 OpenAI 宣布企业套餐里加入 GLM 5.3 等开源模型之后，A\ 立即发布报告，严肃批评了 GLM 5.3 等开源模型的安全问题。 这个报告的信息量不大，但看完之后满脸问号。。。 报告先说 GLM-5.3 是「迄今发布的网络安全能力最强的开源模型」。 比美国前沿模型落后约4个月。 他们测试了几个模型，这些模型包括 Opus 4.6，Kimi K3，DeepSeek Flash，但 GLM 5.3 是唯一一个具备漏洞利用能力的模型。 然后提到 GLM 5.3 其实自带了安全护栏。 但是因为它是开源的，任何开源模型都可以通过一种拒绝行为削减技术，abliteration 来重新配置模型，专门移除拒绝行为，训练出不安全的 GLM 5.3 版本，制作一次约4400美元成本。 简单说就是开源模型天然可以改权重，都不安全。 对这个移除拒绝行为abliteration 的模型进行评测，发现这个版本确实很不安全。 对于原版的带安全护栏的 GLM 5.3，通过欺骗性提示词、预填充思考等方式，可以欺骗模型参与到危险的任务中。 而 Claude 不提供预填充思考功能，也不开源，无法被 abliteration，所以非常安全。 报告最后呼吁，让更多企业和机构用上安全的闭源模型刻不容缓。 。。。 这个报告看起来是在讨论模型安全，实则带着积分自我兜售的意思。 开源模型自带了安全护栏，然后你通过训练把它的安全护栏去掉，以此论证开源模型并不安全。 如果觉得开源模型不安全，大可以开源一个安全的给大家用。 也可以选择积极地参与到开源模型的安全建设里，一起为安全做出努力。 你也可以选择把自己的模型开放给全世界，不要天天封号。 卖模型就卖模型，还要占据个道德的高地。
0 00
以目前Harness的成熟度，我会认为创造问题的概率大于创造价值。
而在模型厂家眼里，只要token是付费的，他们就稳赚不赔，不仅赚token费，还让个人用户付费把自己的数据交出去。
我认为目前Personal Agent的火热，是模型厂家的叙事需要，其实不是用户真的需要。 //@benn: 这也是最理想情况，全自动价值创造机😆
而在模型厂家眼里，只要token是付费的，他们就稳赚不赔，不仅赚token费，还让个人用户付费把自己的数据交出去。
我认为目前Personal Agent的火热，是模型厂家的叙事需要，其实不是用户真的需要。 //@benn: 这也是最理想情况，全自动价值创造机😆
benn: Personal Agent 与 Codex 的本质区别：Codex 帮你干活，Personal Agent 帮你操心。 Codex 替你陷进工作的细节，但事情依然靠你推着走：你得惦记进展，你得留意变化，你得在合适的时候推进些什么。虽然手上的活少了，但你心里操心的事一点都没少，你的心力带宽依然被占用。 而 Personal Agent 能让你把“操心”本身也交出去。 突然有个想法，手里实在没空，就交给一个 agent 去探索。有件事需要长期关注，就让另一个 agent 专门盯着。不必每次都等自己腾出精力，事情才能开始。 在 https://Sumus.im，我觉得最有趣的用法，就是每天早上让 agent 们向你汇报进展。工作上的、生活上的，昨天交代的、前几周随口提起的…… 你可能都快忘了，但每一件值得操心的小事它都还记着，并且还在推进。
1 00
0 00
合规政策一大堆，隐私协议一大堆，拦住的全是老实人。
然后这些有资质的企业，无视数据安全和隐私各种疯狂裸奔。
然后这些有资质的企业，无视数据安全和隐私各种疯狂裸奔。
志达: Anthropic 安全报告里，展示了各种各样滥用了模型的行为，实质上反向说明了 a 社就在大规模收集和分析用户提交的数据。滥用的部分被报告披露了，但没被披露的，真正对国家情报机构有价值的数据，他有没有持续收集并利用呢… 以我粗浅的政治敏感度来判断，有影响力的大国监管机构不可能坐视不管的，而且很可能蒸馏和普通使用一刀切。 Ironically，Anthropic 避免被蒸馏的诉求可能以另一种他极度讨厌的大政府的形式被达成了…😮💨
2 00
合着原来还有人认为那是“合法的钱”，他要是合法的钱，就不会中国大陆和美国本土都不敢入境了
哈雷Halley: 在中国，没有人有能力伤害到孙宇晨，这种非对称风险，让他可以一直玩这个知名度的游戏。 他不在乎名誉，任何舆论对他都是好舆论 他的产品不面向大众 他在国内没有经济实体 他还拥有大量合法的钱和影响力
2 10
3 00
我认为deepseek本就无意于“做一款好产品”，她就不是一家单纯toC或者toB的公司，用“产品”的眼光去看dsh，我认为并不合适。
赵纯想: deepseek harness 就是一帮技术人员主导之下制造出来的、产品层面的灾难。 你甚至能幻想出来技术人员在里面乐不思蜀、开发得如痴如醉的样子。 妄图插件生态的繁荣来形成差异化优势，和 Obsidian 坐一桌就行了。吸引同样的一帮 nerd 去捣腾插件吧。A 个JB AGI 啊……
3 00
互联网时代，世界是扁平的，大家同住地球村。
到了AI时代，我越来越觉得世界是不均匀的。
智力是不均匀的，越聪明的越贵。
因此最被广泛使用的一定不是最好的，因为经济上不划算。
世界的流速不一样，圈内一天，圈外一年。
AI圈内卷生卷死，圈外不知道发生了什么。
到了AI时代，我越来越觉得世界是不均匀的。
智力是不均匀的，越聪明的越贵。
因此最被广泛使用的一定不是最好的，因为经济上不划算。
世界的流速不一样，圈内一天，圈外一年。
AI圈内卷生卷死，圈外不知道发生了什么。
吴怼怼: 当大众嘲讽AI“智障”的时候，大家嘲讽的对象其实就是豆包。 而豆包稳居市场第一，月活高达到 3.82 亿，远超第二名千问和第三位的DeepSeek。 新版本迟迟出不来，变得越来越智障的，美国版豆包Gemini ，其月活突破 10 亿时候，追平了GPT。
0 00