即刻App年轻人的同好社区
下载
WWDC23
Code new worlds. 码出新宇宙
1386人正在讨论，2.6万人浏览
相关圈子
即刻数码站
75万名数码爱好者在这里聊手中的设备
科技圈大小事
100万+名即友在侃科技圈那些事儿
苹果产品爱好者
100万+名即友正在分享、交流
动态
3 20- 【苹果发布多项系统更新】
iOS 16.6 Developer Beta 3 (20G5047d)
iPadOS 16.6 Developer Beta 3 (20G5047d)
macOS 13.5 Developer Beta 3 (22G5048d)
watchOS 9.6 Developer Beta 3 (20U5548c)
tvOS 16.6 Developer Beta 3 (20M5548b)
#WWDC23
9 81 - Craig Federighi 在 John Gruber 的 The Talk Show Live From WWDC 2023 上聊了更多关于 Transformer 语言模型的问题（比 #WWDC23 Keynote 总共两分钟多了一些）。
我觉得其实比起为什么没有大规模 AI 应用更新的遗憾，现在更担心的是 可能是对的：就是在 Apple 的资源和信息量下，他们进行了很多尝试，但没有验证出可以严格意义上推广给消费者的应用产品和场景。
最终确实暂时只能应用于文本纠错和提词器。
当然还有 Craig 更多的🎸吉他秀。
4 31 - 和这里的讨论点不太一样的是，今天所在群里的日本开发者几乎都在转发Sterling的这条推特（其曾在苹果公司担任神经技术原型研究员）。
推特内容中提到他所做的大部分工作都涉及通过用户身体和大脑的数据来检测他们在沉浸式体验中的心理状态。这些心理状态可能包括好奇、心神游离、害怕、注意力集中、回忆过去的经历等等。这些状态可以通过眼动追踪、大脑电活动、心跳节律、肌肉活动、脑血密度、血压、皮肤电导等测量方法来推断。且苹果目前已经大量获得了关于这些技术的专利。
借助这项技术，Vision Pro可以在用户实际点击之前预测他们的点击操作。因为在用户准备点击之前，瞳孔的反应已经显示出大脑的“点击”动作了。一旦大脑的动作被发现，我们无法向Apple撒谎。
这意味着，Vision Pro可以是通过眼球实现的一种脑-计算机接口！如果愿意，它甚至可以在用户不知情的情况下悄悄展示潜意识的声音和影像，并通过观察瞳孔反应来测量注意力和放松程度。这样的设备对用户有什么好处呢？Sterling在推上提到，如果能够测量用户的精神状态，就可以根据情况显示适当的图形和音频。
目前群里开发者讨论最热的三个方向：
1）Apple是否会收集用户在观看不同内容时产生的情感反馈，并将所有情感反馈作为大数据进行分析。未来通过操控人类认知，发布让用户无法抗拒的广告，甚至制作一定会大热的电视剧和电影。
2）通过将Vision Pro收集的所有类型的个人生活记录数据存储起来，并通过多元化的本地LLM学习, Apple是不是打算为每个用户创建一个个性化的、极具优化效果的Multi Modal Transformer呢？
3）这玩意未来可以预防老年痴呆症（不愧是资深老龄化国家）。
#WWDC23
146 2486 - 一个 #WWDC23 角落里的小更新：Apple 更新了 HIG 的中文版。
🤔真的怀疑苹果虽然没有发布，但是私下里用 GPT 来搞翻译了，不然突然更新了一篇十多年来一直只有只有英文的交互指南太奇怪了。
12 01 - 十年后，苹果找到了 Google Glass 的正确打开方式。
怎样做好虚拟世界和现实世界之间的连接？
苹果选择重新审题。
Vision Pro 不是大众产品，而是重新开始跨越鸿沟，面向Innovator 和Early Adopter的早期产品。
这是个只有苹果能做出来的产品。
为什么？
做产品就是一个接一个的关键决策。
苹果的价值观影响了这些决策和取舍。
换了别家公司，别说做出来，光是这套方案就不知道要层层说服多少遍，最后在体验和预算之间选择大幅妥协。
在沉浸式头显的赛道里，有几个关键战略决策，如同分岔路口，一旦决定，悔棋代价很高。
硬件产品，迭代周期相对互联网产品来说，慢而漫长。而且贵。
Vision Pro 这项目，磨了七年。
苹果最终选择了一条又贵又大胆的路径。
在这几个关键分岔路口，苹果几乎都选了追求卓越，砸钱来换取「理所当然」的体验。
---------
1、VR, AR or XR？
纯虚拟空间，增强现实空间，还是都要？
苹果不愿意牺牲掉现实世界。
苹果不相信元宇宙。
要有现实世界和虚拟空间同时出现，那意味着头戴要搭载面向外部的视野前方的摄像头。而且，内部显示外部世界时，要营造真实感，这样你才会有「你的视线穿过眼镜往外看」的感觉。 （”see through”）这个穿透，意味着眼前的显示精度得高。
再者，这带来对算力的要求立刻飙升。
同时产生一系列自然需要处理的问题：看软件还是看世界，跟虚拟空间和跟现实世界之间的过渡和切换的交互。
那就是高成本。成本翻上去了，售价也得上去。
还有，计算量上来了，随之而来又得处理散热问题。
换了别家公司，就得在「想做好点儿」和「这么好回头太贵不好卖咋办」之间纠结、辩论，最后大概率处处妥协出一个「行吧」的产品。
苹果选了：尽善尽美地做。
而且，多年积累的技术此刻都派上了用场。
自家芯片：放眼望去没有对手。
显示精度：放眼望去没啥对手。
品牌：不用说了。
面部追踪、眼动追踪等等专门技术：自家工程师还不够厉害那就买它几个公司。
制造和供应链：造不出来员工进厂诊断，改生产流程。
从高管、关键技术、供应链、后期内容，处处都砸预算，未雨绸缪。
这就给了决策很多底气和信念：
不要怕，哪怕贵，只要够好。
于是12个摄像头，5个传感器。
眼动仪盯你，正前方的摄像头替你看世界，斜侧前方的摄像头时刻侦测你手的动作——
---------
2、交互靠手势，要不要实体辅助？
对，这样又砍掉一个实体，你就不用手套指套手柄啥的了。（奥卡姆剃刀，如无必要，勿增实体）
更有甚者，盯你眼睛，听你声音，研究如何通过你的生物信号，学习预测你的意图。（如图）
---------
3、保重量，还是保续航？
其实这题之前，还有一道更根本的题，2019年就得拍板：
这个机器是单机能用，还是就是个子母机，强大主机连头显外设？
(比如坡坡空军教战斗机飞行就有个这类的：m.okjike.com )
（反正有钱）团队两个方向的尝试都做了。
最后，当时还在的 Jonathan Ive 观点获得了高层的认可：这应该是个单机。
好，单机。
电池。一直都是老大难的问题——放头显上吧，要保续航时间，它就重，体验不好。不放头显上吧，轻是轻点儿了，那本机续航时间太短。外接电源吧，移动便携怎么办？
这题选一次就折腾一轮工业设计和内部结构设计，看着事儿小，其实牵一发动全身。
苹果这样答题：
先保基础体验：首先不能重，不能因为电池重得让人头疼。
外接电源，线和电源要有随身方案。
第一代先这样，等再过几年，等电池界再发展一下科技树。
既然如此，也先别给用户「这货用来玩游戏」预期。
没有希望就没有失望。
这样，在算力足够用来玩游戏的情况下，哪天你玩上了游戏，就是个惊喜。
去强调看电影这类偏静态体验。去强调眼前投影，3D呈现于增强现实空间中。
看上去出人意料，又理所当然。
-----------------------------------------
然而，这只是刚开始。
一位在苹果工作了三年半的项目组成员在美国蓝即上提及了已公开的相关专利。
看完他的说明，我只感到大为震惊。这些对于生物信号的捕捉和应用是如此之合情合理，可光是想到「能这么用」，就让人肃然起敬。
我把关键段落机翻放在这里：
（引用开始）
> 因此，用户处于混合现实或虚拟现实体验中，人工智能模型试图预测你，是否感到好奇、走神、害怕、注意力集中、回忆过去的经历或其他一些认知状态。 这些可以通过眼动追踪、大脑电活动、心跳和节律、肌肉活动、大脑血液密度、血压、皮肤电导率等测量来推断。
> 要使特定预测成为可能，涉及很多技巧，我提到的少数专利对此进行了详细说明。 最酷的结果之一是预测用户会在他们实际点击之前点击某些东西。 这是一项艰巨的工作，也是我引以为豪的事情。 你的瞳孔在你点击之前做出反应，部分原因是你预计在你点击之后会发生一些事情。 因此，您可以通过监视用户的眼睛行为，并实时重新设计 UI 以创建更多这种预期的瞳孔反应，从而创建用户大脑的生物反馈。 这是一个通过眼睛进行的粗糙的脑机接口，但非常酷。 而且我随时都会接受侵入性脑部手术。
> 其他推断认知状态的技巧包括以用户可能察觉不到的方式向用户快速闪烁视觉效果或声音，然后测量他们对此的反应。
> 另一项专利详细介绍了如何使用机器学习以及来自身体和大脑的信号来预测您的注意力、放松程度或学习情况。 然后更新虚拟环境以增强这些状态。 因此，想象一个自适应沉浸式环境，它可以通过改变您在背景中看到和听到的内容来帮助您学习、工作或放松。
（引用结束）
我想起当年的 Google Glass，十年时间如同白驹过隙。
#WWDC23 Vision Pro
这时你再看真人测评视频，会不会也对苹果这家公司肃然起敬？
b23.tv
延伸阅读
教主遗孀整理的教主自己的书信和碎碎念集 m.okjike.com
217 30111 - 当虚拟数字人遇上 Vision Pro，重新思考人机交互的未来
这是 Character.ai 官方发的示意图，但从直观感受上，好像总是哪里不太对劲🤔
如果理解没错的话，这相当于把AI 复活的数字人放在 Vision OS 「规定」的视窗内（Xerox 实验室 70 年代的产物）；
人们只通过眼部追踪和捏手指，在古老的树状列表内慢慢翻页，来找到人聊天？ 这就是空间计算的交互变革？
从商业的保守视角看，能理解新生态和平台继承用户习惯的常规做法。也别忘了 Alan Kay 强调的人机交互原则：
「简单性不在于你看到有多少，而在于看不到有多少。」
在制定这些未来的三维世界的交互规范时，Apple 真的把握了时代脉搏，吸收了 AI 自然语言（自下而上涌现）的设计思想吗？ #WWDC23
这还是一个开放性问题，随着更多 Vision OS 的应用出现，也许答案会越来越清晰。
43 1410 - Vision Pro我觉得对用户体验改变最关键的几个点，是game changer
1. 单眼超4K。这种清晰度意味着可能带上头显，会真的分不清虚拟和现实，不容易出戏了
2. MR 混合现实的部分。 "seamlessly blends digital content with your physical space"的演示非常惊艳，尤其是面对三个超大desk space办公，同事走来混入其中的那一幕。这就解决了现在头显要么摘下来，要么手动开启透视才能和现实交互的问题
3. 裸手交互。加上这台设备识别能力，感觉很有信心它能完成足够精细的操作。而现在的头显一个很大问题是你除了要克服戴上头显的心理压力之外还要面临戴好之后找手柄的麻烦，拿着手柄之后你的手被占用了也干不了其他事，直接限制了戴头显时的实用活动范围
很庆幸几个月前开始接触XR开发，今天看到这#WWDC23 这一切的时候会更有实感。未来就在不远处了
108 72 - 在Vision Pro身上能看到苹果在过去十年里所有产品的影子，软件到硬件，外壳到处理器，头带到旋钮，扬声器到光学系统......
每个零部件都或多或少出现在了现有的产品上，你都或多或少的接触过，现在他们终于完全合体了。
苹果还是苹果，也只有苹果能做出来。
至于用起来到底怎么样，拭目以待。
#WWDC2374 152 - 🤿 浅谈Apple Vision Pro 的野望和危机
看了几个YouTuber 现场体验Vision Pro设备的一手评测后（例如Marques Brownlee ）， 大致理解了Apple 眼中的一些生态布局思路和初期破局可能性；从杀手级应用和场景出发，随意漫谈一些个人思考。（建议先有感性认知 youtu.be）
先说结论：苹果已经有了破局的几张牌，即多个生态位上先发优势，帮助它有可能跨越鸿沟——这也可能是危机酝酿的地方。
🎧 影音。 真正沉浸式影音体验， 不只是 1080p ， 要以空间计算，给予你环绕的感觉。 体验下最新的VR 游戏里面的过场动画，再去研究下全球影音市场（某些地区除外）， 会明白这里的空间多么巨大。 光是Youtube/ Netflix 两家年收入所代表的蛋糕，就值得苹果出手弄个超级全面屏的新玩具。如果认真用收支盈亏表去分析Apple TV 这个大品类下烧多少钱，会更加感受它的那种翻盘的野望。 （另外 Disney 、NBA 和 HBO 们显然知道与谁结盟）
💬 社交。 Apple 没有社交？作为OS ，Social 生态永远渴望新鲜玩家，无论Meta和腾讯们如何看待这个新生态；从目前Vision Pro 实际上手的反馈评测来说， FaceTime 的XR体验据说就是一个杀手锏级别的App。
打破想象空间正在于此：当你 FaceTime时候，摄像头并没有对着你，那么你如何和朋友们面对面聊天的呢？认真思考这样场景， 不仅很酷，也能看到 AI的力量将是另一个重要变数。
🎮 游戏。 这是Apple 明显软肋。 Apple Arcade 就是一个大公司意义的「典型」代表作，食之无味、弃之可惜；主机游戏产业的巨头们也很少和Apple深度合作； 然而你挡不住今天这么多一夜暴富的手游公司弄出下一个《原神》呢。 变数总是有的，有时候几个新兴IP 和工作室，万一被Apple 买下呢，做成新一代的愤怒小鸟？也未可知。#WWDC23
总的来说， Apple Vision Pro 虽然贵到令人发指， 它还是有足够多的动力去开辟新战场，创造新商机。
Vision Pro 的牛逼不止是工程意义的「堆料」，更像是一个预谋已久的货币机器，压上各种资源整合力（供应链、开发者）等对未来的预判。
也许，更值得追问的命题：
就算设备初期普及（跨越鸿沟）不是最大的问题， 新世界是一个人人都是Builder的时代； 很快，海量的开发者要面对基本问题：为何要选择登上这艘早已是充满巨头角力、沉重的大船呢？
深入对这个问题持续思考（Copliot真正的意义），让我意识到了，这也是它的危机。
后记：
截止最新数据，半年时间 ChatGPT 已经日活6500万， 这是在没有任何微软加持之下的惊鸿一瞥。
「人人都是Builder」是整个思考的基石。56 712 - 看到Vision Pro 视频里的PS5 手柄后，我灵机一动下单了PS VR2 ……
AVP 给我的印象是Apple Glass + Apple Watch + AirPods Max + AR 版超大屏iPad。堆料是挺好的，帅也是真的帅，就是价格不够亲民，目前也没有让人眼前一亮的VR 软件阵容。
当然，我这类传统游戏爱好者对内容的需求是大于对交互体验的需求的。需求不一样，看法也不相同，这很正常。
软件供应商，尤其是游戏这类开发成本高昂的软件厂，是要看装机量的。装机量起不来，专业游戏厂商不会乐意为设备开发原生软件，除非苹果疯狂砸钱。但目前看到的是发布会视频里的PS5 手柄，也就是说，将AVP 当成了PS 系游戏机的2D 化的显示器。所以我直接买了PS VR2，便宜啊，不到4000 块，还不用等。显示器分辨率低带来的纱窗效应我忍了。实际上在VR 游戏中，纱窗效应对游戏的体验影响没那么大，只要游戏足够好玩，能充分吸引玩家的注意力。通过一定时间的训练，大脑能过滤掉纱窗体验，就像我们平时不太会注意到自己双眼视野里的鼻子。
就游戏操控而言，目前所有在售手势控制产品的精度都和类比摇杆差了几个数量级，就看苹果有没有办法在复杂环境中保证识别正确率了。视频中出现的PS5 手柄也很能说明问题：游戏体验的塑造还是得依靠键位操作反馈。
至于作为生产力工具目前来说就算了，要提高人机交互的效率，还是得靠实体键盘，现在也没有民用级别的脑/机接口产品。戴个超酷的头显，手里握着机械键盘，人还是会被束缚在传统的桌面工位上，成为超酷的劳工。说心里话，我并不想购买两三万的设备从事生产劳动。话说回来，目前AVP 更像是面向开发者/高端用户的原型机，给软/硬件开发者留出的拓展空间确实也很大。
什么？小岛秀夫给AVP 开发原生游戏了？买买买买买买，AVP 多少钱都买！🤣
（注：小岛秀夫并没有说为AVP 开发原生游戏，只是我在幻想……）
#WWDC2329 271 - 【The Talk Show Live: #WWDC23 抢先看】
今年的访谈秀除了熟悉的 Craig 和 Greg 以外，还有 Vison Pro 技术官 Mike Rockwell 和 Mac 产品经理 John Ternus 参与录制。官方全场视频现已于油管上线
Craig 遭受Keynote造假质疑，于是他即兴来了段吉他Solo😱00:3818 41 - 如果把 Combine 和 App Clips 看作两间店铺...
Combine 看着隔壁的 App Clips，虽然鲜有路人出入购物，但在年末总算也能收获一份入驻分红；
再回头看看自己，虽说受雇员工不增不减，怎奈何在店门口又坐落了一间彩票站。员工们却也在上班时间无时无刻不沉迷于金币开奖的喜悦之中，累月经年就忘记打理了。
所以，连着两年为什么 Combine 连一个 session 都没有...
#WWDC234 40 - 新鲜热乎的Apple Vision Pro实机体验，甚至还是在Apple Park官方Podcast room里录制的。
节目不长，但信息量很大。从佩戴前的准备，到开机后的体验感受，图文视频忽视的诸多小细节都在节目里有讲到。
#WWDC23第一时间体验 Apple Vision Pro 之后，彭总和皮蛋老师有这些感受想和你分享
FView Friday
35 20 - 记得Apple Watch用了多久来搞清楚自己的定位吗？Vision Pro大概率也要经历这个过程，发布会上展示的使用场景在接下来两三年估计会有不小的变化。
另外，名字里不带reality这个词简直太明智了
#WWDC2353 20 - - MKBHD用了magic这个词来形容眼球追踪
- The Verge的主编在体验里用斜体写了“Reader, I gasped”
- 彭林：“体验到这你指望我后面有多客观那肯定是不可能了”
目前看来，至少在硬件层面，Vision Pro比Apple Watch的初代要成熟多了#WWDC2323 30 - #WWDC23 曾经工作过的产品总算上线了，其实如果硬要说光学成像方面vision pro并没有太多的创新，但是在这种靠外部camera和sensor叠加出来的MR里面这款产品是市面上最出色的，纯光学see through AR毕竟还是太早38 71
- 对 Apple Vision Pro 报道，看这几篇差不多 #WWDC23 ：
爱范儿：mp.weixin.qq.com
晚点《Vision Pro 的 8 年历程：只有苹果才能这样造产品》：mp.weixin.qq.com
钟文泽体验真机：www.bilibili.com
彭林体验真机：www.bilibili.com
1、他俩都提到「3D/真实空间感、沉浸感」，保存亲友的视频、如在眼前，看蝴蝶如在手上，看恐龙如在身边
2、facetime时，可以两人对着共同的文档、设计稿… 讨论
3、视野清晰明亮
4、眼球追踪精准，看哪选哪
交互自然，就靠眼、手、说话
5、旋钮可调节显示和实景的「沉浸度」
6、眼罩和绑带、佩戴舒适，不会感觉下坠/压鼻子
最后，苹果的理念是：增强真实世界，而非另搞虚拟世界
苹果官网产品页：www.apple.com
19 84 - #WWDC23 对硬件设计和生产工具没有那么热爱，还是等娱乐功能的实机效果出来了，游戏生态更丰富的时候再看看吧。目前看迪士尼只放了概念片，unity不放实机，小岛秀夫移植一个老游戏。大学第一份实习就在hololens的市场部，还是有留下一些体验阴影的……42 52
