作者 / Lindsey Lanquist
在今年的 Google I/O 大会上,我们推出了全新 Omni 系列的首款模型: Gemini Omni Flash。Omni 让视频创作和编辑变得如同对话般轻松。您可以通过文本、图像、视频或音频参考素材生成高质量视频,甚至还能编辑自己的视频。由于 Omni 将对物理规律的直观理解与 Gemini 的现实世界知识相结合,它能够生成更加逼真自然的内容。
Gemini Omni Flash https://deepmind.google/models/gemini-omni/
如同对话般轻松 https://deepmind.google/models/gemini-omni/prompt-guide/
最近,我们已向开发者开放了 Omni,开发者也已经将其应用于各种项目中。以下是一些让我们眼前一亮的精彩演示。
向开发者开放了 Omni https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-flash-nano-banana-2-lite/
切换角度和视角
Omni 让视频编辑变得无比轻松。您可以随意调整镜头角度、切换环境并应用具有电影质感的变焦效果,所有操作都不会影响您原有场景的连贯性。
Omni https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni/
开发者 Leon Lin 充分利用了这一能力,从大约 20 个不同视角拍摄了一位站在城市中央的女性。您可以从各种能想象到的角度看到她: 有近景,也有远景;有正面,也有侧面;有俯拍,也有仰拍。有些镜头不断推进,有些则保持静止。背景也随之切换: 她时而站在人行道上,时而站在斑马线上或城市街道中,周围穿梭着行人、汽车和有轨电车,身后则是一栋栋风格各异的建筑。
重塑周围的世界
Omni 可以让您改变视频中的情节,创造出原本不可能亲自拍摄的画面。您可以编辑动作或替换不同物体,而 Omni 依然能够保持场景的连贯与统一。
以开发者 Carlos Santana 制作的这段视频为例,他仅凭语音指令就改变了户外场景: 将光线从白天切换到夜晚,添加了阴云密布的天空与淅沥的雨声,把树叶变成橙色,还让地面覆盖上积雪。
赋予日常物品生命
借助 Google Flow 中的 Omni,您可以将草图转化为逼真的视频,并通过涂鸦引导各个元素的移动方式。您还可以决定这些手绘元素是否要成为最终作品的一部分。
Google Flow https://flow.google/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content
例如,开发者 Pan 利用涂鸦,趣味十足地赋予日常物品全新的形态: 柠檬变成了在海洋中上下起伏的潜水艇;一杯浓缩咖啡变成了载着某人穿越天空的热气球;两根辣椒组成了一条沉睡的龙,被惊醒时还会喷火;一根火柴被重新塑造成火箭飞船;而一把剪刀则变成了一条正在寻找食物、令人毛骨悚然的鲨鱼。
尝试不同风格或视觉效果
想知道在采用完全不同的美学风格后,您的视频是什么样子吗?借助 Omni,您可以改变风格、添加特效,创作出符合自己构想的作品。您可以输入参考素材来定义想要的视觉效果,也可以直接用自然语言描述您的需求。Omni 会将这些元素融合在一起,生成风格统一的视频片段。
开发者 Jerrod Lew 使用 Google Flow 中的 Omni 进行了测试: 他将一段女性沿街行走的视频渲染成四种不同的动画风格。原始片段可以在真人实拍、动漫、黏土动画等风格之间流畅切换,同时始终保持女性自然向前行走的动作,不会出现中断。
将创意变为现实
Hyperagent 团队使用 Omni,通过视频将三个不同的概念可视化。他们在一段空旷公园的视频中叠加景观设计,制作出改造前后的设计方案;通过一位讲解业务仪表盘的动画教授将数据拟人化;还用一个角色逐项清空任务的视频,为待办事项列表增添了游戏化体验。
Omni 将知识与创造力相结合,帮助您打造符合现实世界逻辑的场景。您可以在 Gemini 应用、Google Flow、Google AI Studio、Gemini API 或 Gemini Enterprise Agent Platform 中体验 Omni。也欢迎您持续关注 "谷歌开发者" 微信公众号,及时了解更多开发技术和产品更新等资讯动态。
Gemini 应用 http://gemini.google/
Google Flow http://flow.google/
Google AI Studio https://aistudio.google.com/prompts/new_chat
Gemini API https://ai.google.dev/gemini-api/docs/omni