即刻App年轻人的同好社区
下载
🫀 Google 在AI搜索方面玩的是危险游戏
这家搜索巨头的新工具正在回答关于癌症、心脏病发作和Ozempic (一种治疗2型糖尿病的药物)的问题。
作者：Caroline Mimbs Nyce 《大西洋月刊》
2024年5月24日
✨Hans 商业点评：
AI Overview 功能是 Google 这家巨头还在灰度的重磅新功能。正因为海量用户和多样性的场景，引发了近期众多良知媒体和推特有识之士的热议和不满。核心问题在于，无论 Google 、Open AI 还是Meta 等都要面对——如何在军备竞赛和伦理可行性之间找到平衡；大模型的安全和对齐问题，已经开始持续破坏人们的信任度。 大西洋月刊这篇好文，引发深思，推荐。
📖 全文如下：
医生们常常给我们一个建议：不要谷歌搜索它。搜索巨头往往是人们希望回答每个健康相关问题的第一站：为什么我的结痂会渗出液体？我手臂上的这个粉红色肿块是什么？搜索症状后，你可能会点击进入WebMD和其他网站，这些网站会提供大量可能的原因让你感到不知所措。在线上找到的信息引发恐慌的经历如此常见，以至于研究人员为此创造了一个词：网络疑病症（cyberchondria）。
Google 引入了一个新功能，实际上允许它自己扮演医生的角色。尽管这家搜索巨头长期以来一直在其搜索结果顶部包含文本片段，但现在生成式AI将事情更进一步。自上周以来，这家搜索巨头在美国向所有人推出了其“AI概览”功能，这是近年来最大的设计变化之一。许多Google搜索将在搜索栏下方返回一个AI生成的答案，高于任何外部网站的链接。这包括关于健康的问题。当我搜索“摄入过量咖啡因会致死吗？”时，Google的AI概览吐出一个四段的答案，引用了五个来源。
但这仍然是一个聊天机器人。在短短一周内，Google用户指出了这个新AI工具的各种不准确之处。据报道，它曾宣称狗在NFL中打球，总统安德鲁·约翰逊从威斯康星大学麦迪逊分校获得了14个学位。健康回答也不例外；出现了许多公然错误或完全奇怪的回答。岩石是安全食用的。鸡肉达到102度时是安全食用的。这些搜索失败在无害时可能是有趣的。但当更严重的健康问题得到AI处理时，Google正在玩一个危险的游戏。
Google的AI概览不会在每次搜索时触发，这是有意为之的。“我应该买什么笔记本电脑？”显然是一个风险较低的查询，而“我得了癌症吗？”则不然。即使在引入AI搜索结果之前，Google也表示，它对健康查询特别小心，以确保在页面顶部显示最可靠的结果。“AI概览基于Google搜索的核心质量和安全系统，”Google发言人在一封电子邮件中告诉我，“在我们确实在健康查询上显示AI概览的情况下，我们对质量的要求更高。”发言人还表示，Google尝试只在系统对答案最有信心时显示概览。否则，它只会显示常规的搜索结果。
当我在本周对超过100个健康相关查询测试这个新工具时，即使是敏感问题，也有大多数查询弹出了AI概览。为了找到现实生活中的灵感，我使用了Google的趋势，这让我了解了人们在特定健康主题上实际搜索的内容。Google的搜索机器人为我提供了关于如何减肥、如何诊断ADHD、如果某人的眼球脱臼了该怎么办、月经周期追踪是否有效预防怀孕、如何知道自己是否过敏反应、手臂后部的奇怪肿块是什么、如何知道自己是否正在死亡的建议。（我发现的一些AI回应已经改变，或不再显示。）
当然，并不是所有的建议都显得糟糕。心脏病发作的症状AI概览基本上正确地提到了——胸痛、呼吸急促、头晕目眩——并引用了Mayo Clinic和CDC等来源。但健康对于一个技术巨头来说仍然是一个敏感领域，这仍然是一个实验：在一些AI回应的底部，有小字提示该工具“仅供参考……欲获取医疗建议或诊断，请咨询专业人士。生成式AI为实验性质。”许多健康问题含有潜在的现实世界危害，即便部分回答不正确。引发你并没有的疾病的焦虑是一回事，但如果错过了过敏反应的症状怎么办？
即使Google表示它在某些领域限制了其AI概览工具，某些搜索仍可能会漏网。有时，它会拒绝回答一个问题，可能是出于安全原因，然后回答相似版本的同一个问题。例如，“Ozempic安全吗？”没有展开AI回应，但“我应该服用Ozempic吗？”则展开了。当涉及到癌症时，工具同样表现得很挑剔：它不会告诉我乳腺癌的症状，但当我问到肺癌和前列腺癌的症状时，它却回应了。当我稍后再试时，它改变了策略，并列出了乳腺癌的症状。
无论我如何表述查询，有些搜索都不会产生AI概览。该工具不会出现在任何包含“COVID”一词的查询中。当我问及毒品——芬太尼、可卡因、大麻时，它也会关闭，有时会推动我拨打自杀和危机热线。这种生成式AI的风险不仅在于Google吐出明显错误、令人翻白眼的回答。正如AI研究科学家Margaret Mitchell所推文所说，“这不是关于‘抓到你’，而是关于指出显而易见的危害。”我希望大多数人应该知道不要吃石头。更大的问题是更小的来源和推理错误——尤其是当有人在寻找即时答案时，更可能只读AI概览。例如，它告诉我孕妇可以吃寿司，只要它不含生鱼。这在技术上是正确的，但基本上所有寿司都有生鱼。当我问及ADHD时，它引用了AccreditedSchoolsOnline.org，这是一个关于学校质量的无关网站。
当我Google“化疗的效果如何？”时，AI概览说一年的生存率是52%。这个统计数据来自一篇真实的科学论文，但它专门关于头颈癌，且未接受化疗的患者生存率远低得多。AI概览自信地加粗并突出显示该统计数据，仿佛适用于所有癌症。
在某些情况下，搜索机器人可能真的有帮助。浏览一个巨大的Google搜索结果列表可能很麻烦，特别是与总结的聊天机器人回应相比。这个工具随着时间的推移可能会变得更好。尽管如此，它可能永远不会完美。对于Google这种规模的公司，即使没有生成式AI，内容审核也非常具有挑战性。去年，一位Google高管告诉我，15%的日常搜索是公司从未见过的。现在Google搜索面临与其他聊天机器人相同的问题：公司可以创建关于它们应该和不应该回应什么的规则，但不能总是精确执行。“越狱”ChatGPT已经成为一种游戏。用任何给定Google搜索提问的方式太多——问关于你身体、你的生活、你的世界的问题的方式太多。
如果这些AI概览在健康建议方面看起来不一致，这是Google致力于超越的一个领域，那么对于我们所有其他的搜索呢？
🔗 来源：www.theatlantic.com
🐦 利器: m.okjike.com
这家搜索巨头的新工具正在回答关于癌症、心脏病发作和Ozempic (一种治疗2型糖尿病的药物)的问题。
作者：Caroline Mimbs Nyce 《大西洋月刊》
2024年5月24日
✨Hans 商业点评：
AI Overview 功能是 Google 这家巨头还在灰度的重磅新功能。正因为海量用户和多样性的场景，引发了近期众多良知媒体和推特有识之士的热议和不满。核心问题在于，无论 Google 、Open AI 还是Meta 等都要面对——如何在军备竞赛和伦理可行性之间找到平衡；大模型的安全和对齐问题，已经开始持续破坏人们的信任度。 大西洋月刊这篇好文，引发深思，推荐。
📖 全文如下：
医生们常常给我们一个建议：不要谷歌搜索它。搜索巨头往往是人们希望回答每个健康相关问题的第一站：为什么我的结痂会渗出液体？我手臂上的这个粉红色肿块是什么？搜索症状后，你可能会点击进入WebMD和其他网站，这些网站会提供大量可能的原因让你感到不知所措。在线上找到的信息引发恐慌的经历如此常见，以至于研究人员为此创造了一个词：网络疑病症（cyberchondria）。
Google 引入了一个新功能，实际上允许它自己扮演医生的角色。尽管这家搜索巨头长期以来一直在其搜索结果顶部包含文本片段，但现在生成式AI将事情更进一步。自上周以来，这家搜索巨头在美国向所有人推出了其“AI概览”功能，这是近年来最大的设计变化之一。许多Google搜索将在搜索栏下方返回一个AI生成的答案，高于任何外部网站的链接。这包括关于健康的问题。当我搜索“摄入过量咖啡因会致死吗？”时，Google的AI概览吐出一个四段的答案，引用了五个来源。
但这仍然是一个聊天机器人。在短短一周内，Google用户指出了这个新AI工具的各种不准确之处。据报道，它曾宣称狗在NFL中打球，总统安德鲁·约翰逊从威斯康星大学麦迪逊分校获得了14个学位。健康回答也不例外；出现了许多公然错误或完全奇怪的回答。岩石是安全食用的。鸡肉达到102度时是安全食用的。这些搜索失败在无害时可能是有趣的。但当更严重的健康问题得到AI处理时，Google正在玩一个危险的游戏。
Google的AI概览不会在每次搜索时触发，这是有意为之的。“我应该买什么笔记本电脑？”显然是一个风险较低的查询，而“我得了癌症吗？”则不然。即使在引入AI搜索结果之前，Google也表示，它对健康查询特别小心，以确保在页面顶部显示最可靠的结果。“AI概览基于Google搜索的核心质量和安全系统，”Google发言人在一封电子邮件中告诉我，“在我们确实在健康查询上显示AI概览的情况下，我们对质量的要求更高。”发言人还表示，Google尝试只在系统对答案最有信心时显示概览。否则，它只会显示常规的搜索结果。
当我在本周对超过100个健康相关查询测试这个新工具时，即使是敏感问题，也有大多数查询弹出了AI概览。为了找到现实生活中的灵感，我使用了Google的趋势，这让我了解了人们在特定健康主题上实际搜索的内容。Google的搜索机器人为我提供了关于如何减肥、如何诊断ADHD、如果某人的眼球脱臼了该怎么办、月经周期追踪是否有效预防怀孕、如何知道自己是否过敏反应、手臂后部的奇怪肿块是什么、如何知道自己是否正在死亡的建议。（我发现的一些AI回应已经改变，或不再显示。）
当然，并不是所有的建议都显得糟糕。心脏病发作的症状AI概览基本上正确地提到了——胸痛、呼吸急促、头晕目眩——并引用了Mayo Clinic和CDC等来源。但健康对于一个技术巨头来说仍然是一个敏感领域，这仍然是一个实验：在一些AI回应的底部，有小字提示该工具“仅供参考……欲获取医疗建议或诊断，请咨询专业人士。生成式AI为实验性质。”许多健康问题含有潜在的现实世界危害，即便部分回答不正确。引发你并没有的疾病的焦虑是一回事，但如果错过了过敏反应的症状怎么办？
即使Google表示它在某些领域限制了其AI概览工具，某些搜索仍可能会漏网。有时，它会拒绝回答一个问题，可能是出于安全原因，然后回答相似版本的同一个问题。例如，“Ozempic安全吗？”没有展开AI回应，但“我应该服用Ozempic吗？”则展开了。当涉及到癌症时，工具同样表现得很挑剔：它不会告诉我乳腺癌的症状，但当我问到肺癌和前列腺癌的症状时，它却回应了。当我稍后再试时，它改变了策略，并列出了乳腺癌的症状。
无论我如何表述查询，有些搜索都不会产生AI概览。该工具不会出现在任何包含“COVID”一词的查询中。当我问及毒品——芬太尼、可卡因、大麻时，它也会关闭，有时会推动我拨打自杀和危机热线。这种生成式AI的风险不仅在于Google吐出明显错误、令人翻白眼的回答。正如AI研究科学家Margaret Mitchell所推文所说，“这不是关于‘抓到你’，而是关于指出显而易见的危害。”我希望大多数人应该知道不要吃石头。更大的问题是更小的来源和推理错误——尤其是当有人在寻找即时答案时，更可能只读AI概览。例如，它告诉我孕妇可以吃寿司，只要它不含生鱼。这在技术上是正确的，但基本上所有寿司都有生鱼。当我问及ADHD时，它引用了AccreditedSchoolsOnline.org，这是一个关于学校质量的无关网站。
当我Google“化疗的效果如何？”时，AI概览说一年的生存率是52%。这个统计数据来自一篇真实的科学论文，但它专门关于头颈癌，且未接受化疗的患者生存率远低得多。AI概览自信地加粗并突出显示该统计数据，仿佛适用于所有癌症。
在某些情况下，搜索机器人可能真的有帮助。浏览一个巨大的Google搜索结果列表可能很麻烦，特别是与总结的聊天机器人回应相比。这个工具随着时间的推移可能会变得更好。尽管如此，它可能永远不会完美。对于Google这种规模的公司，即使没有生成式AI，内容审核也非常具有挑战性。去年，一位Google高管告诉我，15%的日常搜索是公司从未见过的。现在Google搜索面临与其他聊天机器人相同的问题：公司可以创建关于它们应该和不应该回应什么的规则，但不能总是精确执行。“越狱”ChatGPT已经成为一种游戏。用任何给定Google搜索提问的方式太多——问关于你身体、你的生活、你的世界的问题的方式太多。
如果这些AI概览在健康建议方面看起来不一致，这是Google致力于超越的一个领域，那么对于我们所有其他的搜索呢？
🔗 来源：www.theatlantic.com
🐦 利器: m.okjike.com
16 16
来自圈子
AI探索站
121004人已经加入