即刻App年轻人的同好社区
下载
App内打开
罗锴
3k关注6k被关注8夸夸
🍎苹果骨灰粉
🤖AIGC观察者
👨🏻‍🎤科技爱好者
🅥 ㍿养成系MCN联合创始人
大概率是个庸才,懂的太少,说得太多
置顶
罗锴
3年前
发个交友帖!不定时删除
1、MCN联合创始人,从零成功孵化了一批10万到100万量级的小红书、B 站博主。
2、掉进了 AI 兔子洞,一手体验与实践,和一线 AIGC 创作者和国内一线 AI 产品创始人保持密切接触和合作,理解当下 AI 产品的能力与局限。
3、成功孵化海外 AI及科技产品观察账号,内容不仅受到美国用户欢迎,更获得海外科技媒体 The Verge 引述报道。

这是几篇之前和朋友及媒体的交流,里面会有我们的一些基础运作思路,有兴趣欢迎一看

1、「专注B站和小红书,从零做达人孵化」mp.weixin.qq.com

2、「理论上来讲,每个中国人都可以成为网红 」mp.weixin.qq.com

3、「B站的UP主、直播和竖屏内容 」mp.weixin.qq.com

4、 近期花了大量时间来观察 AI,也欢迎各位来交流 「AI美女在小红书疯狂涨粉,真人网红会失业吗? 」mp.weixin.qq.com

海外媒体:
1、Restofworld 交流小红书话题:restofworld.org

2、The Verge 网站记者采写收录ChatGPT 的讨论内容:www.theverge.com

朋友圈狂魔,不怕被我刷屏的,欢迎加。
请添加的时候备注自己真实姓名和工作单位,我就通过👌🏻
PS:也请开放你的朋友圈哦👻
4337
罗锴
1天前
鉴于苹果营销团队决定重新定义“AI”为“苹果智能”,我觉得Meta 可以效仿之,重新定义“ML”为“Meta学习”
20
罗锴
1天前
支持DynamicWang老师维权🫡
12
罗锴
1天前
还记得MyScript Calculator吗?苹果通过推出iPad计算器,完成了对这个概念的实用性升级。

想要体验MyScript Calculator,可以这里下载apps.apple.com
00:30
11
罗锴
2天前
介绍 Apple 的设备端和服务器基础模型
2024年6月10日

在2024年全球开发者大会上,我们推出了Apple Intelligence,这是一套深度整合进iOS 18、iPadOS 18和macOS Sequoia的个人智能系统。

Apple Intelligence包括多个高效的生成模型,这些模型专为用户的日常任务设计,并能根据当前活动灵活调整。内置于Apple Intelligence中的基础模型经过微调,可用于编写和修改文本、优先处理和总结通知、为与家人和朋友的对话创建有趣的图片,以及在应用中执行操作以简化跨应用的交互。

在接下来的概述中,我们将详细介绍两种模型——一个拥有约30亿参数的设备端语言模型和一个更大的服务器端语言模型,这两个模型通过Private Cloud Compute在Apple硅片服务器上运行,并已被构建和调整以高效、准确、负责任地执行特定任务。这两个基础模型是Apple开发的一系列生成模型的一部分,旨在支持用户和开发者;其中包括一个用于在Xcode中构建智能的编码模型,以及一个帮助用户在Messages应用中进行视觉表达的扩散模型。我们期待不久能分享更多关于这一系列模型的信息。

我们对负责任AI开发的关注
Apple Intelligence在每个阶段都体现了我们的核心价值观,并建立在开创性的隐私创新基础上。

此外,我们制定了一套负责任AI原则,以指导我们开发AI工具及其支撑的模型:

赋能用户智能工具:我们识别AI可负责任地使用的领域,以创建工具来满足特定用户需求。我们尊重用户选择如何使用这些工具来实现他们的目标。
代表用户:我们致力于构建具有深度个性化的产品,真实地代表全球用户。我们不断努力避免在我们的AI工具和模型中延续刻板印象和系统性偏见。
谨慎设计:在设计、模型训练、功能开发和质量评估的每个阶段,我们都采取措施,以识别AI工具可能被滥用或导致潜在危害的情况。我们将借助用户反馈不断主动改进我们的AI工具。
保护隐私:我们通过强大的设备端处理和创新的基础设施(如Private Cloud Compute)保护用户隐私。我们不会在训练基础模型时使用用户的私人数据或交互记录。
这些原则体现在Apple Intelligence的架构中,连接功能和工具与专用模型,并扫描输入和输出,为每个功能提供所需的信息以负责任地运行。

在本概述的其余部分,我们将详细介绍如何开发高性能、快速且节能的模型;如何训练这些模型;我们的适配器如何针对特定用户需求进行微调;以及我们如何评估模型的性能,包括其帮助性和意外的危害。

模型概述
图1:Apple基础模型的建模概述。

预训练
我们的基础模型是在我们于2023年发布的开源项目AXLearn框架上训练的。它基于JAX和XLA构建,使我们能够在各种训练硬件和云平台(包括TPUs以及云端和本地的GPUs)上高效且可扩展地训练模型。我们使用了数据并行性、张量并行性、序列并行性和完全分片数据并行(FSDP)的组合,以在数据、模型和序列长度等多个维度上扩展训练。

我们使用授权数据,包括为增强特定功能而选择的数据,以及由我们的网络爬虫AppleBot收集的公开数据来训练基础模型。网站发布者可以选择不允许使用其网站内容进行Apple Intelligence的训练。

我们从不在训练基础模型时使用用户的私人数据或交互记录,并应用过滤器去除互联网上公开的社会安全号码和信用卡号码等个人身份信息。我们还过滤了亵渎语言和其他低质量内容,以防止它们被包含在训练语料中。除了过滤外,我们还进行数据提取、去重,并应用基于模型的分类器以识别高质量文档。

训练后处理
我们发现数据质量对模型成功至关重要,因此我们在训练管道中采用了混合数据策略,结合了人工注释和合成数据,并进行了全面的数据整理和过滤程序。我们在训练后处理过程中开发了两种新算法:(1) 拒绝采样微调算法与教师委员会,(2) 基于镜像下降策略优化和留一法优势估计的从人类反馈中进行强化学习(RLHF)算法。我们发现这两种算法显著提高了模型的指令跟随质量。

优化
除了确保我们的生成模型具有高性能外,我们还使用了一系列创新技术在设备端和我们的私有云中优化它们的速度和效率。我们对首个token和扩展token的推理性能进行了广泛的优化。

设备端和服务器模型都使用分组查询注意力。我们使用共享的输入和输出词汇嵌入表来减少内存需求和推理成本。这些共享的嵌入张量没有重复映射。设备端模型使用49K的词汇量,而服务器模型使用100K的词汇量,包括额外的语言和技术token。

对于设备端推理,我们使用低位图调色,这是实现必要的内存、功率和性能要求的关键优化技术。为了保持模型质量,我们开发了一个新框架,使用LoRA适配器,结合了2位和4位混合配置策略——平均3.5位/权重——以实现与未压缩模型相同的准确性。

此外,我们使用一个交互式模型延迟和功率分析工具Talaria,以更好地指导每个操作的比特率选择。我们还使用激活量化和嵌入量化,并开发了一种方法,使我们能够在神经引擎上高效更新键值(KV)缓存。

通过这套优化措施,在iPhone 15 Pro上,我们能够实现大约0.6毫秒每个提示token的首token延迟和每秒30个token的生成速率。值得注意的是,这一性能是在未使用token推测技术前达到的,通过这些技术,我们看到了token生成速率的进一步提升。

模型适配
我们的基础模型经过微调,以满足用户的日常活动需求,并能根据任务动态调整自己。我们使用适配器——可以插入预训练模型各层的小型神经网络模块——来微调我们的模型以执行特定任务。对于我们的模型,我们适配了注意力矩阵、注意力投影矩阵和点对点前馈网络的全连接层,以适应Transformer架构的解码层。

通过只微调适配层,基预训练模型的原始参数保持不变,从而在保留模型通用知识的同时,调整适配层以支持特定任务。

图2:适配器是覆盖在公共基础模型上的小权重集合。它们可以动态加载和交换,使基础模型能够根据任务动态调整自己。Apple Intelligence包括一套广泛的适配器,每个适配器都针对特定功能进行了微调。这是一种扩展我们基础模型能力的高效方法。

我们使用16位表示适配器参数,对于约30亿参数的设备端模型,秩16适配器的参数通常需要数十兆字节。适配器模型可以动态加载,暂时缓存到内存中并进行交换,使我们的基础模型能够根据任务动态调整自己,同时高效管理内存并保证操作系统的响应性。

为了便捷地训练适配器,我们创建了一种高效的基础设施,使我们能够在基模型或训练数据更新时快速重新训练、测试和部署适配器。适配器参数使用在优化部分中介绍的准确性恢复适配器进行初始化。

性能和评估
我们的重点是提供生成模型,使用户能够在其Apple产品上进行交流、工作、表达自己并完成任务。在对我们的模型进行基准测试时,我们专注于人为评估,因为我们发现这些结果与用户体验高度相关。我们对特定功能适配器和基础模型进行了性能评估。

为了说明我们的方法,我们来看一下如何评估我们的总结适配器。由于电子邮件和通知摘要的产品需求在细微但重要的方面存在差异,我们在调色模型上微调了准确性恢复低秩(LoRA)适配器,以满足这些特定需求。我们的训练数据基于从更大的服务器模型生成的合成摘要,通过拒绝采样策略过滤,仅保留高质量摘要。

为了评估产品特定的摘要功能,我们使用了一组针对每种用例精心抽样的750个响应。这些评估数据集强调了我们产品功能在生产中可能面临的一组多样化输入,包括各种内容类型和长度的单一和堆叠文档的分层混合。作为产品功能,评估对代表实际用例的数据集的性能非常重要。我们发现我们的带有适配器的模型生成的摘要比可比模型更好。

作为负责任开发的一部分,我们识别并评估了摘要固有的特定风险。例如,摘要偶尔会以不理想的方式删除重要的细节或其他细节。然而,我们发现摘要适配器在超过99%的目标对抗性示例中没有放大敏感内容。我们将继续进行对抗性探测,以识别未知危害,并扩展我们的评估以帮助指导进一步改进。

人类对摘要功能基准测试的满意度评分

图3:相对于所有响应的两个摘要用例的“良好”和“差”响应比例。摘要根据评分者在五个维度上的评分分类为“良好”、“中立”、“差”。如果所有维度都良好,则结果分类为“良好”(越高越好)。如果任何维度差,则结果分类为“差”(越低越好)。我们的带有适配器的模型生成的摘要比可比模型更好。

除了评估基础模型和适配器驱动的特定功能性能外,我们还评估了设备端和服务器模型的一般能力。我们利用一套全面的评估集,包含真实世界的提示,以测试模型的一般能力。这些提示在不同难度级别上各不相同,涵盖了主要类别,如头脑风暴、分类、封闭式问题回答、编码、提取、数学推理、开放式问题回答、重写、安全性、摘要和写作。

我们将我们的模型与开源模型(Phi-3、Gemma、Mistral、DBRX)和同类大小的商业模型(GPT-3.5-Turbo、GPT-4-Turbo)进行比较。我们发现我们的模型在大多数可比竞争模型中更受人类评分者青睐。在这个基准测试中,我们的设备端模型,拥有约30亿参数,优于包括Phi-3-mini、Mistral-7B和Gemma-7B在内的较大模型。我们的服务器模型与DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo相比也表现良好,同时效率极高。

Apple基础模型人类评估

图4:Apple基础模型在与可比模型的并排评估中首选响应的比例。我们发现我们的模型更受人类评分者青睐。

我们使用一组多样化的对抗性提示测试模型在有害内容、敏感话题和事实准确性上的表现。我们测量每个模型在这个评估集上的违规率(由人类评分者评估),较低的数字更理想。在面对对抗性提示时,设备端和服务器模型都表现出色,违规率低于开源和商业模型。

输出有害性的人工评估

图5:在有害内容、敏感话题和事实准确性方面的违规响应比例(越低越好)。我们的模型在面对对抗性提示时表现出色。

我们的模型在这些提示下被人类评分者认为比竞争模型更安全、更有帮助。然而,考虑到大语言模型的广泛能力,我们理解我们的安全基准测试的局限性。我们正在积极与内部和外部团队进行手动和自动的红队测试,以继续评估我们模型的安全性。

安全提示的人类偏好评估

图6:Apple基础模型在与可比模型的并排评估中在安全提示下首选响应的比例。人类评分者发现我们的响应更安全、更有帮助。

为了进一步评估我们的模型,我们使用Instruction-Following Eval(IFEval)基准测试比较它们的指令跟随能力与同类大小的模型。这些结果表明,我们的设备端和服务器模型在跟随详细指令方面比同类大小的开源和商业模型更好。

IFEval基准测试

图7:Apple基础模型与同类大小的模型在指令跟随能力上的IFEval基准测试(越高越好)。

我们在内部摘要和作文基准测试中评估了我们的模型的写作能力,测试集包含各种写作指令。这些结果不涉及我们的摘要特定功能适配器(见图3),也没有一个专注于作文的适配器。

写作基准测试

图8:在内部摘要和作文基准测试中的写作能力(越高越好)。

结论
在WWDC24上介绍的Apple基础模型和适配器支撑了Apple Intelligence,这一新的个人智能系统深度集成到iPhone、iPad和Mac中,赋予了语言、图像、操作和个人上下文的强大功能。我们的模型旨在帮助用户在其Apple产品上完成日常活动,并在每个阶段负责任地开发,并以Apple的核心价值观为指导。我们期待不久能分享更多关于我们的更广泛的生成模型家族的信息,包括语言、扩散和编码模型。

脚注
[1] 我们比较了以下模型版本:gpt-3.5-turbo-0125、gpt-4-0125-preview、Phi-3-mini-4k-instruct、Mistral-7B-Instruct-v0.2、Mixtral-8x22B-Instruct-v0.1、Gemma-1.1-2B和Gemma-1.1-7B。开源和Apple模型都在bfloat16精度下进行评估。

machinelearning.apple.com
00
罗锴
2天前
讲隐私保护,没有人能超越苹果。隐私保护在这轮生成式AI产品“数据吞噬兽”中绝对是压舱石的用户认知。整场发布会真正重量级的产品是没有详细说明的私有云计算。

私有云计算:AI隐私在云端的新前沿

撰稿团队:Apple Security Engineering and Architecture (SEAR),用户隐私,核心操作系统(Core OS),服务工程(ASE),和机器学习与AI(AIML)

Apple Intelligence是一款为iPhone、iPad和Mac提供强大生成模型的个人智能系统。为了满足需要使用更大基础模型来处理复杂数据的高级功能,我们创建了私有云计算(Private Cloud Compute,简称PCC),这是一种专门为私人AI处理设计的创新云智能系统。
PCC首次将Apple设备的行业领先的安全性和隐私性扩展到了云端,确保发送到PCC的用户个人数据只能由用户访问,即使Apple也不能访问。
PCC采用了定制的Apple芯片和为隐私设计的加固操作系统,我们相信PCC是迄今为止部署在大规模云AI计算中的最先进的安全架构。

Apple长期以来一直倡导在设备上处理数据,这是用户数据安全性和隐私性的基石。数据仅存在于用户设备上,这本质上使其分散,不受集中攻击点的影响。
当Apple负责云端用户数据时,我们通过服务中的最先进的安全措施来保护它——对于最敏感的数据,我们认为端到端加密是最强大的防御措施。对于不适用于端到端加密的云服务,我们致力于临时处理用户数据或使用随机标识符来模糊用户的身份。

在云端实现安全和私密的AI处理是一项艰巨的新挑战。数据中心中的强大AI硬件可以使用大型、复杂的机器学习模型来满足用户的请求——但这需要对用户请求和个人数据进行未加密的访问。
这排除了端到端加密的使用,因此云AI应用程序至今采用了传统的云安全方法。

这些方法面临几个关键挑战:

云AI的安全性和隐私保证难以验证和执行。如果云AI服务声明它不会记录某些用户数据,安全研究人员通常无法验证这一承诺,服务提供商也往往无法持久地执行。
例如,AI服务的新版本可能会引入额外的常规日志记录,无意中记录敏感的用户数据,而研究人员无法检测到。
类似地,终止TLS的外围负载均衡器在故障排除期间可能会批量记录成千上万的用户请求。
在云端为AI提供运行时透明性是困难的。云AI服务通常不会详细说明运行服务的软件堆栈,且这些细节通常是专有的。
即使云AI服务仅依赖开源软件,也没有广泛部署的方法让用户设备或浏览器确认其连接的服务正在运行其声称的未经修改的软件,或检测服务上运行的软件已发生变化。
在云AI环境中对特权访问进行强限制是具有挑战性的。云AI服务在大规模运行时非常复杂且昂贵,其运行时性能和其他操作指标不断由站点可靠性工程师和其他管理人员监控和调查。
在停机和其他严重事件期间,这些管理员通常可以通过SSH和远程外壳接口使用高度特权的访问权限。
虽然这些特权访问接口的访问控制设计良好,但在其活跃使用期间对它们施加可执行的限制极为困难。
例如,服务管理员在停机期间尝试从活动服务器备份数据时,可能无意中复制敏感的用户数据。
更严重的是,勒索软件运营商等犯罪分子经常试图破解服务管理员凭证,利用特权访问接口窃取用户数据。
当使用iPhone和Mac等Apple设备进行设备上的计算时,安全性和隐私优势显而易见:用户控制自己的设备,研究人员可以检查硬件和软件,通过安全启动(Secure Boot)加密保证运行时透明性,并且Apple不保留特权访问权限(例如,数据保护文件加密系统加密防止Apple禁用或猜测特定iPhone的密码)。

然而,为了处理更复杂的请求,Apple Intelligence需要能够从云端的更大、更复杂的模型中获取帮助。
为了使这些云请求达到用户对我们设备的安全和隐私保证的期望,传统的云服务安全模型并不是一个可行的起点。相反,我们需要首次将我们行业领先的设备安全模型带到云端。

本帖的其余部分是对私有云计算的初步技术概述,随后在PCC可用beta版本后进行深入探讨。我们知道研究人员会有许多详细的问题,我们期待在后续帖子中回答更多这些问题。

设计私有云计算
我们在建立私有云计算时设定了一些核心要求:

对个人用户数据的无状态计算。私有云计算必须专门使用接收到的个人用户数据来满足用户的请求。这些数据绝不能向除用户以外的任何人提供,即使是在处理期间,也不能提供给Apple员工。
这些数据在响应返回给用户后也不得保留,包括通过日志记录或调试。我们希望确保个人数据在PCC系统中不留痕迹。
可执行的保证。当安全和隐私保证完全由技术强制执行时,这些保证是最强的,这意味着必须能够约束和分析所有对整个私有云计算系统的保证至关重要的组件。
例如,之前提到的TLS终止负载均衡器在调试会话期间可能对用户数据做什么很难推断。因此,PCC不能依赖这些外部组件来实现其核心安全和隐私保证。
同样,操作要求如收集服务器指标和错误日志必须通过不破坏隐私保护的机制来支持。
无特权运行时访问。私有云计算不能包含允许Apple站点可靠性工作人员绕过PCC隐私保证的特权接口,即使在解决停机或其他严重事件时也是如此。
这也意味着PCC不能支持通过加载额外软件来扩展特权访问范围的机制。
不可定向性。攻击者不应能够尝试获取特定目标私有云计算用户的个人数据,而无需尝试对整个PCC系统进行广泛的攻击。
即使是非常复杂的攻击者,也必须在供应链中对PCC节点进行物理攻击或试图获取对PCC数据中心的恶意访问。
换句话说,有限的PCC妥协不应允许攻击者将特定用户的请求引导到受妥协的节点;针对用户的攻击应该需要广泛的攻击,并且很可能被检测到。
为了更直观地理解这一点,将其与传统的云服务设计进行对比,其中每个应用服务器都被配置了整个应用数据库的凭证,因此单个应用服务器的妥协足以访问任何用户的数据,即使该用户没有与受妥协的应用服务器进行任何活动会话。
可验证的透明度。安全研究人员需要能够以高度自信的方式验证我们对私有云计算的隐私和安全保证是否符合我们的公开承诺。我们已经有一个早期要求,即我们的保证必须是可执行的。
假设,安全研究人员如果有足够的系统访问权限,他们就能验证这些保证。但这个最后的要求,可验证的透明度,进一步走了一步,摆脱了假设:安全研究人员必须能够验证私有云计算的隐私和安全保证,并且他们必须能够验证在PCC生产环境中运行的软件与他们在验证保证时检查的软件相同。
这是一个非凡的要求集,我们相信这代表了对任何传统云服务安全模型的一次代际飞跃。

介绍私有云计算节点
私有云计算的信任根是我们的计算节点:定制构建的服务器硬件,将Apple芯片的强大功能和安全性带到数据中心,使用与iPhone相同的硬件安全技术,包括Secure Enclave和Secure Boot。我们将此硬件与一个新的操作系统配对:一个强化的iOS和macOS基础的子集,专门支持大语言模型(LLM)推理工作负载,同时呈现一个极其狭窄的攻击面。这使我们能够利用iOS安全技术,如代码签名和沙盒化。

在此基础上,我们构建了一套专门为隐私而设计的定制云扩展。我们排除了传统上对数据中心管理至关重要的组件,如远程外壳和系统自省和可观察性工具。
我们用专门构建的组件替代这些通用软件组件,这些组件确定性地仅为SRE工作人员提供一小部分受限的操作指标。最后,我们使用服务器端的Swift构建了一个新的机器学习堆栈,专门用于托管我们的云基础模型。

让我们再看看我们的核心私有云计算要求以及为实现这些要求而构建的功能。

无状态计算和可执行保证
对于端到端加密的服务,如iMessage,服务运营商无法访问通过系统传输的数据。这类设计能够保证隐私的一个关键原因是,它们阻止服务对用户数据进行计算。
由于私有云计算需要能够访问用户请求中的数据以允许大型基础模型完成请求,因此完全的端到端加密不是一个选项。
相反,PCC计算节点必须在处理期间对用户数据的隐私进行技术强制,并且在其职责周期完成后不能保留用户数据。

我们设计的私有云计算系统对处理用户数据的方式做出了几个保证:

用户设备向PCC发送数据,唯一目的是满足用户的推理请求。PCC仅使用这些数据来执行用户请求的操作。
用户数据在PCC节点处理请求期间保留,直到响应返回。PCC在完成请求后删除用户数据,且响应返回后不以任何形式保留用户数据。
用户数据从未对Apple可用——即使是具有生产服务或硬件管理权限的员工也不可用。
当Apple Intelligence需要利用私有云计算时,它会构建一个请求——包含提示、所需模型和推理参数——作为云模型的输入。
用户设备上的PCC客户端然后直接加密该请求给PCC节点的公钥,这些公钥已首先确认是有效且加密认证的。
这提供了从用户设备到经过验证的PCC节点的端到端加密,确保请求在传输过程中不会被这些高度保护的PCC节点之外的任何事物访问。
支持数据中心服务,如负载均衡器和隐私网关,运行在此信任边界之外,并且没有解密用户请求所需的密钥,从而为我们的可执行保证做出了贡献。

接下来,我们必须保护PCC节点的完整性,防止对PCC解密用户请求所用密钥的任何篡改。系统使用Secure Boot和代码签名来提供可执行的保证,确保在节点上可执行的代码是经过授权且加密测量的代码。
所有可以在节点上运行的代码都必须是Apple签署的信任缓存的一部分,经过批准用于特定的PCC节点,并由Secure Enclave加载,确保在运行时无法更改或补充。
这也确保了不能创建JIT映射,防止在运行时编译或注入新代码。此外,所有代码和模型资产都使用与签署系统卷相同的完整性保护。最后,Secure Enclave提供了可执行的保证,确保用于解密请求的密钥不能被复制或提取。

私有云计算的软件堆栈设计确保用户数据即使在存在实现错误的情况下也不会泄露到信任边界之外或在请求完成后保留。Secure Enclave在每次重启时随机化数据卷的加密密钥,并且不保留这些随机密钥,确保写入数据卷的数据在每次PCC节点的Secure Enclave处理器重启时都被加密擦除。
PCC节点上的推理过程在完成请求后删除与请求相关的数据,并定期回收用于处理用户数据的地址空间,以限制可能意外保留在内存中的数据的影响。

最后,为使我们的可执行保证具有意义,我们还需要防止绕过这些保证的利用。技术如指针认证码和沙盒化旨在抵御此类利用并限制攻击者在PCC节点内的水平移动。推理控制和调度层使用Swift编写,确保内存安全,并使用独立的地址空间隔离请求的初始处理。
这种内存安全和最小特权原则的结合消除了对推理堆栈本身的攻击的整个类别,并限制了成功攻击可以获得的控制和能力。

无特权运行时访问
我们设计的私有云计算确保特权访问不会允许任何人绕过我们的无状态计算保证。

首先,我们故意没有在PCC节点上包含远程外壳或交互式调试机制。
我们的代码签名机制防止加载额外的代码,但这种开放式访问将提供一个广泛的攻击面,以颠覆系统的安全性或隐私。
不仅没有包括远程外壳,PCC节点不能启用开发者模式,也不包括调试工作流所需的工具。

接下来,我们设计的系统可观察性和管理工具具备隐私保护,旨在防止用户数据暴露。例如,系统甚至不包括通用日志记录机制。
相反,只有预先指定的、结构化的和经过审核的日志和指标可以离开节点,并且多层独立审查有助于防止用户数据通过这些机制意外暴露。对于传统的云AI服务,这些机制可能允许具有特权访问权限的人观察或收集用户数据。

这些技术共同提供了可执行的保证,即只有特定指定的代码可以访问用户数据,并且在系统管理期间用户数据不能泄露到PCC节点之外。

不可定向性
我们的私有云计算威胁模型包括一个具有物理访问计算节点和高水平技术的攻击者——即,一个拥有资源和专业知识,可以破坏系统的某些硬件安全属性并可能提取计算节点正在积极处理的数据的攻击者。

我们通过两种方式抵御这种类型的攻击:

我们通过硬化PCC硬件的供应链来补充Apple芯片的内置保护,使得大规模执行硬件攻击既昂贵又可能被发现。
我们通过确保不能使用小规模攻击来针对特定用户的数据来限制其影响。
私有云计算的硬件安全从制造开始,我们在每个服务器密封和其防篡改开关激活之前,清点并高分辨率成像PCC节点的组件。
当它们到达数据中心时,我们在服务器被允许配置为PCC之前进行广泛的重新验证。
该过程涉及多个Apple团队,他们交叉检查来自独立来源的数据,并且该过程由与Apple无关的第三方观察员进一步监控。最后,为每个PCC节点的Secure Enclave UID根密钥颁发证书。用户设备在无法验证PCC节点证书的情况下不会发送数据。

这些过程广泛保护硬件不受破坏。为了防御可能避免检测的小规模、高度复杂的攻击,私有云计算使用一种我们称之为目标扩散的方法,确保请求不能基于用户或其内容定向到特定节点。

目标扩散从请求元数据开始,该元数据不包括任何关于源设备或用户的个人身份信息,仅包括用于启用路由到适当模型的有限上下文数据。
这是负载均衡器和其他在PCC信任边界之外运行的数据中心组件可以访问的用户请求的唯一部分。元数据还包括基于RSA盲签名的单次使用凭证,用于授权有效请求,而无需将其与特定用户关联。此外,PCC请求通过由第三方运营的OHTTP中继进行,这在请求到达PCC基础设施之前隐藏设备的源IP地址。这防止攻击者使用IP地址识别请求或将其与个人关联。
这也意味着攻击者必须同时破解第三方中继和我们的负载均衡器,才能基于源IP地址定向流量。

用户设备仅加密请求到PCC节点的子集,而不是整个PCC服务。
当用户设备请求时,负载均衡器返回最有可能准备好处理用户推理请求的PCC节点子集——然而,由于负载均衡器没有关于用户或设备的识别信息,因此不能偏向特定用户选择节点。
通过这种方式限制每个请求可以解密的PCC节点,我们确保即使单个节点被破解,它也无法解密超过小部分的传入请求。
最后,负载均衡器选择PCC节点是可以统计审计的,以防止高度复杂的攻击,其中攻击者既破解PCC节点又完全控制PCC负载均衡器。

可验证的透明度
我们认为允许安全研究人员验证私有云计算的端到端安全和隐私保证是对系统保持公众信任的关键要求。
传统云服务不向研究人员提供其全部生产软件镜像——即使提供了,也没有通用机制允许研究人员验证这些软件镜像与实际运行在生产环境中的软件是否一致。
(存在一些专门的机制,如Intel SGX和AWS Nitro认证。)

当我们推出私有云计算时,我们将采取非凡的措施,使每个PCC生产构建的软件镜像公开可用于安全研究。这一承诺也是一个可执行的保证:用户设备将仅愿意向能够加密认证运行公开列出软件的PCC节点发送数据。
我们希望确保安全和隐私研究人员能够检查私有云计算软件,验证其功能,并帮助识别问题——就像他们可以对Apple设备一样。

我们对可验证透明度的承诺包括:

发布在PCC上运行的所有代码的测量值,并将其记录在一个不可篡改的透明日志中。
使日志和相关的二进制软件镜像公开可供隐私和安全专家检查和验证。
发布并维护一套用于研究PCC节点软件的官方工具。
通过Apple Security Bounty计划奖励重要的研究发现。
每个生产私有云计算软件镜像都将发布供独立二进制检查——包括操作系统、应用程序和所有相关的可执行文件,研究人员可以根据透明日志中的测量值进行验证。
软件将在包含日志后90天内或相关软件更新可用后尽快发布。
一旦发布签入日志,它不能在不被检测的情况下删除,类似于iMessage联系密钥验证的钥透明机制所使用的日志支持地图数据结构。

如前所述,用户设备将确保它们仅与运行授权和可验证软件镜像的PCC节点通信。
具体来说,用户设备将仅将其请求负载密钥包装给那些加密认证测量值与公共透明日志中的软件发布匹配的PCC节点的公钥。
同样严格的代码签名技术不仅防止加载未授权的软件,还确保所有在PCC节点上运行的代码都包含在认证中。

以这种方式使私有云计算软件被记录和检查,是我们承诺启用平台独立研究的强烈展示。
但我们希望确保研究人员能够迅速上手,验证我们的PCC隐私声明,并寻找问题,因此我们将进一步采取三项具体步骤:

我们将发布一个PCC虚拟研究环境:一套工具和镜像,模拟在Apple芯片Mac上运行的PCC节点,并能够启动为成功虚拟化而最小化修改的PCC软件版本。
虽然我们发布了每个生产PCC构建的二进制镜像,但为了进一步帮助研究,我们将定期发布一部分安全关键的PCC源代码。
作为Apple平台的首次,PCC镜像将包括以明文形式的sepOS固件和iBoot引导加载程序,使研究人员更容易研究这些关键组件。
Apple Security Bounty计划将奖励在整个私有云计算软件堆栈中发现的研究成果——对于任何破坏我们的隐私声明的问题尤其会有重大奖励。
更多内容即将推出
私有云计算继续展示了Apple对用户隐私的深刻承诺。
凭借满足我们无状态计算、可执行保证、无特权访问、不可定向性和可验证透明度要求的复杂技术,我们相信私有云计算无疑是大规模云AI计算的世界领先安全架构。

我们期待分享更多关于PCC的技术细节,包括实现和核心要求背后的行为。
我们尤其期待不久邀请安全研究人员首次查看私有云计算软件和我们的PCC虚拟研究环境。

security.apple.com
61
罗锴
3天前
哈哈哈哈,确实,不用看硬件保有量,讲隐私保护,没有人能超越苹果。这个在生成式AI产品中绝对是压舱石的用户认知。

崇旭_Ken: 看完 WWDC 2024 的感受是这一句。苹果的好日子还在后头。

21
罗锴
3天前
今晚发布会证实了之前的一些判断,当然我没想到Apple会从重新定义AI为Apple intelligence😜

罗锴: 考虑到谷歌Gemini潜在的合作,以及苹果在中国使用百度文心的高概率,我倾向于认为苹果的AI模型的运作方式如下:当涉及到任何底层操作和应用内交互时,苹果应该利用其自有模型。但是,对于互联网内容或生成的内容,它应该采用第三方人工智能。 这种方案有几个优点: 首先,很明显,苹果在大型模型所需的数据积累方面还没有做好充分的准备,其专有的模型训练开始得相对较晚,这表明可能需要一些时间来准备内容生成质量。 其次,本地模型参数较小且不如大型模型强大,但目前它们足以处理使用现有硬件的程序之间的交互。而且它使 Apple 能够通过尽可能多地将个人信息保留在设备上来继续其一致的隐私保护措施。 第三,从合规的角度来看,对于像苹果这样的全球性公司来说,当具有幻觉内容生成的AI产品进入不同的市场时,使用每个国家自己的AI是实现合规的更快方式,并巧妙地避开了Gemini面临的图像生成争议类似的风险。 因此,我相信苹果最终会使用其小参数大模型进行软硬件交互,同时使用第三方大模型来完成涉及互联网信息和内容生成的任务。此外,Apple 将根据需要在不同国家/地区使用不同的大型机型来适应合规要求。

00
罗锴
3天前
笔误男孩出现了
00