播客笔记@泓君Jane（注：核心内容是通过prompt引导Claude生成，经过我的校对和编辑）

1、目前AI大模型在机器人产业中的实际应用价值如何？

1）AI技术并不是机器人公司当前主要关注点，核心还是要能够解决客户的实际需求并商业化。如手术机器人等高精度要求的机器人，更需要控制技术，AI技术反而可能带来不确定性。

2）真正采用AI技术的机器人公司并不多，多集中在机器视觉方面，主要用于识别和抓取，总体智能程度不高，离通用机器人还比较远。

3）AI大模型对机器人产业的实际应用价值还有限，离规模化应用还有较长时间。但也有一定的正面影响：

- 可以使机器人通过自然语言与人交流，理解人的意图和需求；
- 可以提供大量预训练数据，通过微调应用于不同场景，减少数据采集需求；
- 可以增强机器人执行新任务的能力，提高准确率。

4）谷歌推出的PaLM-E、RT1、SayCan展示了大模型在机器人中的应用潜力：

- PaLM-E，实现机器人任务的语言理解与生成，通过语言与视觉实现任务分解和路径规划；
- RT1，可根据已完成任务生成机器人新任务的动作规划，实现一定通用性；
- SayCan，实现基于语言的人机交互，让机器人理解人的意图与需求。

5）大模型目前主要应用于软件层面，价值点在人机交互、数据增强、策略学习等。而机器人最难的部分在于物理执行，需要软硬件的整合与测试，背后依赖海量的训练数据，但现实世界的数据远不及互联网数据丰富，这也是通用机器人难以实现的关键原因之一。

2、当前机器人产业的核心难点？

1）技术难点：感知、路径规划和执行三大技术环节各有难度，综合起来难度更大，导致机器人准确性难以提高，影响规模化应用。以分拣机器人为例：

- 感知难度：如何准确判断未知物体的姿态，以及训练未覆盖的已知物体姿态。这涉及到识别物体的形状、方位姿势(pose)等；

- 路径规划难度：如何根据物体实际抓取位置，智能调整移动路径，避免碰撞或损坏物品和容器。这需要考虑许多变化因素；

- 执行难度：如何设置足够的安全条件，确保物体最终放置位置正确，避免损坏物品或容器。这涉及到力度控制、精度要求等。

2）商业难点：难以找到有效的商业模式和盈利方式，导致难以规模化，这又会反过来制约技术发展，形成恶性循环。满足每个客户需求需要投入大量资源，但准确性、易用性、客户成本难以保证。

- 准确率：受限于当前技术，也取决于具体项目难易程度，以及工程师如何解决难题和处理技术难以覆盖的长尾问题，未来AI技术的通用性和对未知场景的处理能力，将是决定机器人准确性的最关键所在；

- 易用性：机器人工作过程中容易出现问题，需要人工维护和介入，会增加客户成本，影响客户满意度；

- 客户成本：机器人成本高于人工成本，难以给客户带来明显的成本节约，这会制约客户采用机器人的意愿。

3、相比现实世界，使用模拟世界进行数据收集的优劣势？

1）采用模拟世界训练机器人AI的优势：易收集数据、可控场景、低成本等。

2）但模拟世界无法完全代表真实环境，这被称为“模拟-真实鸿沟”。要让训练好的AI在真实世界发挥作用，需要大量真实数据进行调整。

3) 模拟与真实测试都很重要。模拟可解决前期问题，真实测试验证后期效果。许多机器人公司先在模拟器训练，再进行现实世界测试，两者数据都很宝贵。

4) 模拟的方向未来需要增加物理建模与动力学仿真（例如考虑机械臂与环境的相互作用、传感器受力变化等），这需要大量算力支持，Nvidia仍然具有领先优势。

4、谷歌的机器人业务的发展历程？

1）2013年，谷歌收购了11家机器人公司（包括波士顿动力），试图整合不同机器人技术，但面临技术难度大和商业化难的双重挑战。

2）2014年，谷歌机器人项目负责人Andy Rubin离职，使得整合计划变得不清晰，项目发展受阻。

3）2015年，谷歌重组，成立母公司Alphabet，机器人项目难以确定归属，加大了财务压力，造成更大困难。

4） 虽然经历多年发展，但谷歌机器人技术流传情况不明，最终形成了Everyday Robots和Intrinsic两个机器人分支，前者关注通用机器人，后者关注机器人操作系统和工业机器人。

5）2023年1月谷歌的大规模裁员中，上述两个机器人分支被波及，其中Everyday Robots部分员工被并入侧重研究的Robotics at Google，项目存续艰难。

6）谷歌机器人业务发展历经收购整合、项目负责人离职、公司重组等过程，面临技术难度大和商业困难的双重挑战，最终形成两个机器人分支，但总体发展过程较为曲折，项目存续情况也不太确定，与谷歌的公司文化（不怕收购但也不怕关闭项目）也有一定关系。