阅读,与值得关注的内容Readance

将奇思妙想变为现实|Gemini Omni 创意实践分享

作者 / Lindsey Lanquist


在今年的 Google I/O 大会上,我们推出了全新 Omni 系列的首款模型: Gemini Omni Flash。Omni 让视频创作和编辑变得如同对话般轻松。您可以通过文本、图像、视频或音频参考素材生成高质量视频,甚至还能编辑自己的视频。由于 Omni 将对物理规律的直观理解与 Gemini 的现实世界知识相结合,它能够生成更加逼真自然的内容。


  • Gemini Omni Flash
    https://deepmind.google/models/gemini-omni/
  • 如同对话般轻松
    https://deepmind.google/models/gemini-omni/prompt-guide/


最近,我们已向开发者开放了 Omni,开发者也已经将其应用于各种项目中。以下是一些让我们眼前一亮的精彩演示。


  • 向开发者开放了 Omni
    https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-flash-nano-banana-2-lite/



切换角度和视角


Omni 让视频编辑变得无比轻松。您可以随意调整镜头角度、切换环境并应用具有电影质感的变焦效果,所有操作都不会影响您原有场景的连贯性。


  • Omni
    https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni/


开发者 Leon Lin 充分利用了这一能力,从大约 20 个不同视角拍摄了一位站在城市中央的女性。您可以从各种能想象到的角度看到她: 有近景,也有远景;有正面,也有侧面;有俯拍,也有仰拍。有些镜头不断推进,有些则保持静止。背景也随之切换: 她时而站在人行道上,时而站在斑马线上或城市街道中,周围穿梭着行人、汽车和有轨电车,身后则是一栋栋风格各异的建筑。

已关注
关注
重播 分享
观看更多
    谷歌开发者

    0/0

    00:00/00:10
    进度条,百分之0
    00:00
    /
    00:10
    00:10
    全屏

    倍速播放中
    您的浏览器不支持 video 标签

    继续观看

    将奇思妙想变为现实|Gemini Omni 创意实践分享

    原创
    ,
    将奇思妙想变为现实|Gemini Omni 创意实践分享
    谷歌开发者
    已同步到看一看写下你的评论



    重塑周围的世界


    Omni 可以让您改变视频中的情节,创造出原本不可能亲自拍摄的画面。您可以编辑动作或替换不同物体,而 Omni 依然能够保持场景的连贯与统一。


    以开发者 Carlos Santana 制作的这段视频为例,他仅凭语音指令就改变了户外场景: 将光线从白天切换到夜晚,添加了阴云密布的天空与淅沥的雨声,把树叶变成橙色,还让地面覆盖上积雪。

    已关注
    关注
    重播 分享
    观看更多
      谷歌开发者

      0/0

      00:00/00:09
      进度条,百分之0
      00:00
      /
      00:09
      00:09
      全屏

      倍速播放中
      您的浏览器不支持 video 标签

      继续观看

      将奇思妙想变为现实|Gemini Omni 创意实践分享

      转载
      ,
      将奇思妙想变为现实|Gemini Omni 创意实践分享
      谷歌开发者
      已同步到看一看写下你的评论



      赋予日常物品生命


      借助 Google Flow 中的 Omni,您可以将草图转化为逼真的视频,并通过涂鸦引导各个元素的移动方式。您还可以决定这些手绘元素是否要成为最终作品的一部分。


      • Google Flow
        https://flow.google/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content


      例如,开发者 Pan 利用涂鸦,趣味十足地赋予日常物品全新的形态: 柠檬变成了在海洋中上下起伏的潜水艇;一杯浓缩咖啡变成了载着某人穿越天空的热气球;两根辣椒组成了一条沉睡的龙,被惊醒时还会喷火;一根火柴被重新塑造成火箭飞船;而一把剪刀则变成了一条正在寻找食物、令人毛骨悚然的鲨鱼。

      已关注
      关注
      重播 分享
      观看更多
        谷歌开发者

        0/0

        00:00/00:45
        进度条,百分之0
        00:00
        /
        00:45
        00:45
        全屏

        倍速播放中
        您的浏览器不支持 video 标签

        继续观看

        将奇思妙想变为现实|Gemini Omni 创意实践分享

        原创
        ,
        将奇思妙想变为现实|Gemini Omni 创意实践分享
        谷歌开发者
        已同步到看一看写下你的评论



        尝试不同风格或视觉效果


        想知道在采用完全不同的美学风格后,您的视频是什么样子吗?借助 Omni,您可以改变风格、添加特效,创作出符合自己构想的作品。您可以输入参考素材来定义想要的视觉效果,也可以直接用自然语言描述您的需求。Omni 会将这些元素融合在一起,生成风格统一的视频片段。


        开发者 Jerrod Lew 使用 Google Flow 中的 Omni 进行了测试: 他将一段女性沿街行走的视频渲染成四种不同的动画风格。原始片段可以在真人实拍、动漫、黏土动画等风格之间流畅切换,同时始终保持女性自然向前行走的动作,不会出现中断。

        已关注
        关注
        重播 分享
        观看更多
          谷歌开发者

          0/0

          00:00/00:08
          进度条,百分之0
          00:00
          /
          00:08
          00:08
          全屏

          倍速播放中
          您的浏览器不支持 video 标签

          继续观看

          将奇思妙想变为现实|Gemini Omni 创意实践分享

          转载
          ,
          将奇思妙想变为现实|Gemini Omni 创意实践分享
          谷歌开发者
          已同步到看一看写下你的评论



          将创意变为现实


          Hyperagent 团队使用 Omni,通过视频将三个不同的概念可视化。他们在一段空旷公园的视频中叠加景观设计,制作出改造前后的设计方案;通过一位讲解业务仪表盘的动画教授将数据拟人化;还用一个角色逐项清空任务的视频,为待办事项列表增添了游戏化体验。

          已关注
          关注
          重播 分享
          观看更多
            谷歌开发者

            0/0

            00:00/00:06
            进度条,百分之0
            00:00
            /
            00:06
            00:06
            全屏

            倍速播放中
            您的浏览器不支持 video 标签

            继续观看

            将奇思妙想变为现实|Gemini Omni 创意实践分享

            转载
            ,
            将奇思妙想变为现实|Gemini Omni 创意实践分享
            谷歌开发者
            已同步到看一看写下你的评论

            已关注
            关注
            重播 分享
            观看更多
              谷歌开发者

              0/0

              00:00/00:18
              进度条,百分之0
              00:00
              /
              00:18
              00:18
              全屏

              倍速播放中
              您的浏览器不支持 video 标签

              继续观看

              将奇思妙想变为现实|Gemini Omni 创意实践分享

              原创
              ,
              将奇思妙想变为现实|Gemini Omni 创意实践分享
              谷歌开发者
              已同步到看一看写下你的评论

              已关注
              关注
              重播 分享
              观看更多
                谷歌开发者

                0/0

                00:00/00:07
                进度条,百分之0
                00:00
                /
                00:07
                00:07
                全屏

                倍速播放中
                您的浏览器不支持 video 标签

                继续观看

                将奇思妙想变为现实|Gemini Omni 创意实践分享

                转载
                ,
                将奇思妙想变为现实|Gemini Omni 创意实践分享
                谷歌开发者
                已同步到看一看写下你的评论

                Omni 将知识与创造力相结合,帮助您打造符合现实世界逻辑的场景。您可以在 Gemini 应用Google FlowGoogle AI StudioGemini API 或 Gemini Enterprise Agent Platform 中体验 Omni。也欢迎您持续关注 "谷歌开发者" 微信公众号,及时了解更多开发技术和产品更新等资讯动态。


                • Gemini 应用
                  http://gemini.google/
                • Google Flow
                  http://flow.google/
                • Google AI Studio
                  https://aistudio.google.com/prompts/new_chat
                • Gemini API
                  https://ai.google.dev/gemini-api/docs/omni





                图片
                图片
                图片

                前往微信阅读全文

                内容来自公众号,可前往微信查看原文。

                查看作者的更多文章 →