谷歌憋不住了开大了，发布四个🐂🍺项目！

- 原生多模态输入输出的 Gemini2.0
- 实时多模态沟通助手 Project Astra 的进展
- Project Mariner 浏览器类贾维斯助手
- Jules：代码开发助理

## Gemini 2.0
更好的性能：Gemini 2.0 Flash 比 1.5 Pro 更强大，同时仍然提供开发人员期望的 Flash 速度和效率。它还在关键基准测试中改进了多模式、文本、代码、视频、空间理解和推理性能。

原生多模态输出：Gemini 2.0 Flash 生成包含文本、音频和图像的集成响应 - 所有这些都通过单个 API 调用实现。这些新的输出模式可供早期测试人员使用，预计明年将更广泛地推出。

原生工具使用：Gemini 2.0 已经接受过训练使用工具-这是构建代理体验的基本能力。它可以本地调用工具，如 Google 搜索和代码执行，以及通过函数调用调用自定义第三方函数。

多模态实时API：开发人员现在可以使用来自摄像头或屏幕的音频和视频流输入构建实时的多模态应用程序。支持自然对话模式，如中断和语音活动检测。

## Project Astra

更好的对话：Project Astra 现在具有以多种语言和混合语言交流的能力，更好地理解口音和不常见的词语。

新工具使用：使用 Gemini 2.0，Project Astra 可以使用 Google 搜索、Lens 和地图，使其在您的日常生活中更加有用。

更好的记忆：我们提高了项目 Astra 的记忆能力，确保您可以控制。它现在具有最长 10 分钟的会话记忆，并能够记住与它过去的更多对话

改进的延迟：通过新的流媒体功能和本地音频理解，代理可以在大约人类对话的延迟下理解语言。

## Project Mariner

它能够理解和推理浏览器屏幕上的信息，包括像素和网页元素，如文本、代码、图像和表单，然后通过实验性的 Chrome 扩展使用该信息来完成任务。

在对 WebVoyager 基准进行评估时，该基准测试代理在端到端真实世界网络任务上的表现，Project Mariner 作为单一代理设置取得了 83.5%的最新成果。

值得信赖的测试人员现在开始使用实验性的 Chrome 扩展程序来测试 Project Mariner

## Jules

一款实验性的 AI 驱动代码代理，直接集成到 GitHub 工作流程中。它可以在开发人员的指导和监督下处理问题，制定计划并执行

详细信息：blog.google