极客BIM设计工坊公众号文章

Noiz AI 开源 HelixWorld:画面和空间声音随视角实时生成

HelixWorld 把视频、空间声音和用户移动放进同一条实时生成链。

极客BIM设计工坊

公众号 · 436 篇文章

已关注
关注
重播 分享 赞
观看更多
    极客BIM设计工坊

    0/0

    00:00/00:37
    进度条,百分之0
    00:00
    /
    00:37
    00:37
    全屏

    倍速播放中
    您的浏览器不支持 video 标签

    继续观看

    Noiz AI 开源 HelixWorld:画面和空间声音随视角实时生成

    转载
    ,
    Noiz AI 开源 HelixWorld:画面和空间声音随视角实时生成
    极客BIM设计工坊
    已同步到看一看写下你的评论

    HelixWorld 1.0 把视频、立体声和用户移动放进同一个实时生成循环。公开预览版支持浏览器探索,开源代码则把运行门槛落到了 Linux、CUDA 和大显存 GPU。

    24 FPS

    官方演示规格。

    48 kHz

    双声道音频。

    80 GB

    推荐显存。

    图片 

    原帖视频片段:用户在多个生成场景中移动、转向,并通过提示词面板改变场景描述。

    从“看视频”变成“走进视频”。

    Noiz AI 发布 HelixWorld 1.0,并同时给出 GitHub 仓库和浏览器 Demo。帖子列出的交互方式很具体:用 WASD 移动,用方向键转动视角,在探索过程中修改提示词。用户可以沿着生成路径继续行动,而不只观看固定时长的片段。

    视频画面里,用户先看到带有 “Stage” 字样的场景选择界面,随后进入第一人称视角。画面下方保留键盘控制区,中央提示框显示场景描述,右下角有 “Send” 按钮。这个界面把“生成什么”和“怎么移动”放在同一条操作链里。

    图片 

    视频关键帧:场景选择界面中央显示 “Stage”,周围排列多个缩略图。

    模型如何绑定视觉与声场。

    GitHub README 将 HelixWorld 定义为实时交互式音视频世界模型。它的输入包括一张图像和提示词,用户向前走或转身时,画面与声音同步更新。项目把音频生成放进交互链路,空间声场会随着摄像机方向变化。

    仓库给出的机制线索包括连续的 6-DoF 摄像机位姿。

    视频分支使用 Projective Relative Positional Encoding,把视角变化编码进生成过程。

    跨模态注意力负责把视觉几何和声学特征绑定起来。视角改变后,模型同时重算眼前的画面和耳边的声音方向。

    官方展示的第一人称场景包括罗马竞技场里的两只老虎,以及暴雨淹没的城市街道。画面中的控制键、提示词文本和场景变化共同说明,这套系统的重点落在“可探索”三个字上。

    图片 

    视频关键帧:第一人称画面中出现两只老虎,左下和右下分别显示移动与视角控制键。

    开源了代码,门槛仍在硬件。

    HelixWorld 的公开仓库采用 Apache 2.0 许可证,并提供 Preview v1 的安装和推理入口。

    README 写明,预览版面向 Linux、Python 3.11 和 CUDA 12.x。项目推荐使用带 80GB 显存的 NVIDIA GPU。

    项目给出的单卡示例是 NVIDIA H800,768×512、24 FPS 下的实时因子为 0.77,包含视频与音频解码。

    这组条件决定了它当前更适合研究者、图形开发者和有 GPU 资源的团队。普通用户可以先在 helixworld.org 体验交互流程。

    想在本地运行 Preview v1,需要准备 CUDA 环境、模型文件和约 70GB 的运行显存。浏览器 Demo 降低了体验门槛,开源推理链仍保留硬件门槛。

    图片 

    视频关键帧:暴雨中的城市街道出现积水、车辆和倒伏的树木,画面下方仍保留移动控制区。

    它把生成模型的输出单位改成了一段可继续行动的空间。

    传统视频生成更容易被理解为“给出一段片段”;HelixWorld 的公开演示把输入、动作、视角和声音连成了连续过程。

    对做游戏原型、沉浸式叙事或交互式视觉实验的人来说,先看的指标也随之变化。

    场景要保持结构,转向时声音要跟随空间变化,提示词修改后系统还要继续响应。

    目前公开材料已经展示了交互入口、代码和预览模型,也给出了本地运行条件。它还没有因此变成可直接替代游戏引擎、资产制作和工程部署的完整工具链。

    公开演示已经让生成内容承担“可移动、可转向、可听见”的空间关系。


    SOURCES。

    Noiz AI X 发布帖。

    HelixWorld GitHub README。

    HelixWorld 官方 Demo。

    前往微信阅读全文

    内容来自公众号,可前往微信查看原文。

    查看作者的更多文章 →订阅更新、RSS 与阅读指南 →