Google DeepMind 发布 Genie 4 世界模型，支持实时音频和模拟中交互控制

Google DeepMind 于周二以研究预览形式发布了最新世界模型 Genie 4。该模型可生成迄今照片级真实感最强、交互性最高的世界，允许用户在模拟过程中输入提示词来改变场景。该模型还会生成与模拟世界相匹配的实时音频，包括音乐、环境噪声和交互式对话。

Genie 4 的发布发生在 AI 视频初创公司 Runway 发布其第二款世界模型 GWM Worlds 2 的几个月后。这是一款可玩的模型，能够动态响应用户输入并包含音频生成。与此同时，世界模型行业正开始整合。Fei-Fei Li 的 World Labs 正被 AMD 收购，Amazon 正洽谈收购 Decart，而 Rivian 刚刚收购了 Third Dimension，将仿真能力纳入内部，用于自动驾驶测试。 

Genie 4 是 Google 为在竞争激烈的领域保持领先而采取的最新举措。 

Google 略早于一年多前以研究预览形式发布了其上一代产品 Genie 3。除了具备高得多的照片级真实感并配备音频外，Genie 4 还支持自由形式的编辑，例如实时改变天气或摄像机角度，或添加新的人物或物体。它最多可持续保持两分钟的场景一致性，是上一代产品上限的两倍，并提供更佳的物理效果和更符合真人特征的角色。 

Google 的 AI 模型 Gemini 也与 Genie 4 进行了更紧密的集成，由其充当导演，负责规划步骤和检查帧，而 Genie 则负责生成画面。在一项与 Gemini Robotics 相关的研究实验中，Gemini 4 Argon 模型将任务分解为多个步骤，再由 Genie 4 对这些步骤进行实时模拟。该实验展示了一种可能的方法：在机器人场景于现实世界中发生之前，先在仿真中对其进行测试。

“未来我们会越来越多地看到这类混合世界模型，其中 Gemini 负责编写代码和文本，而 Genie 则实时摄取这些内容，并以不同抽象层级模拟现实。”Google 研究主管 Tejas Kulkarni 在简报会上表示。 

与其他世界模型一样，其宣传的商业应用场景包括游戏、交互式学习和机器人技术。交互式学习的一个设想性例子是进入一幅历史场景画作，并与画中人物就画面所描绘的事件进行交谈。

但“可信测试者”——即最先获得 Google 前沿产品访问权限的人——正在指出一种可能的新用途：制作电影原型。

“实时这一特性在那些需要于创意领域保持心流状态的场景中尤其有价值。”Google DeepMind 工程师 Diego Rivas 在新闻简报会上表示。“例如在构思阶段、分镜阶段——任何你有点需要快速构思的时候。”

Google 还提供 Veo，这是一款 AI 视频生成模型，可根据文本、图像或视频提示生成带有内置同步音频的高清片段——这款工具在 电影制作者中越来越受欢迎。 

Rivas 补充称，用户最终可以依靠 Gemini Omni——一款能够从图像、音频和文本生成视频的多模态大语言模型——将这些原型转化为创意资产。不过他表示，这些能力仍有很长的路要走。  

在整个简报过程中，Rivas 强调，Genie 4 仍处于早期阶段，最终的端到端产品体验尚不明朗。团队也承认 Genie 4 仍存在缺口：模拟运行时间越长，细节和物体越容易发生漂移；他们也还没有完全弄清楚如何确保音频准确，以及世界内文字清晰可辨。 

Genie 4 目前已作为研究预览版向可信测试者开放。未来几周，该模型将在 Project Genie 中向 Google AI Ultra 订阅者推出；Project Genie 是 Google 的 AI 工具，可根据文字或图像提示生成互动世界。该模型还将向 Gemini API 和 Google AI Studio 的早期访问合作伙伴推出。

当您通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Rebecca Bellan 是 TechCrunch 的高级记者，关注塑造人工智能的商业、政策和新兴趋势。她的作品还曾发表于 Forbes、Bloomberg、The Atlantic、The Daily Beast 等刊物。

您可以发送邮件至 [email protected]，或通过 Signal 上的加密消息联系 rebeccabellan.491，以联系 Rebecca 或核实其外联活动。

查看个人简介