魔搭ModelScope社区公众号文章

DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

DMAD团队开源MiniMax-H3四步音视频生成模型：通过对抗蒸馏将50步推理压缩至4步，支持8GB显存消费级显卡流畅运行，大幅降低高质量音视频生成门槛。

科技与互联网
魔搭ModelScope社区

公众号 · 51 篇文章

查看主页 →
已关注
关注
重播 分享 赞
观看更多
    魔搭ModelScope社区

    0/0

    00:00/00:05
    进度条，百分之0
    00:00
    /
    00:05
    00:05
    全屏

    倍速播放中
    您的浏览器不支持 video 标签

    继续观看

    DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

    转载
    ,
    DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡
    魔搭ModelScope社区
    已同步到看一看写下你的评论

    01

    引言
    DMAD 项目团队开源了用于联合音视频生成的 MiniMax-H3 4 步学生模型，同时发布面向图像、视频和音视频的少步蒸馏方法、训练与推理代码。

    在 MiniMax-H3-33B 上，DMAD 将 50 步教师模型蒸馏为 4 步学生模型，减少生成过程中的去噪迭代次数，而不是将模型参数压缩为小模型。

    该方法通过 critic（判别器）直接学习指导学生更新的分布差异，省去持续拟合学生分布的辅助扩散模型，并在 ImageNet、SDXL、Wan2.1 与 MiniMax-H3 上验证。

    开源版本支持 1344×768 视频与 32 kHz 原生立体声音频，并提供 8 GB 显存消费级显卡可用的约 5 秒 ComfyUI 工作流。
    已关注
    关注
    重播 分享 赞
    观看更多
      魔搭ModelScope社区

      0/0

      00:00/01:05
      进度条，百分之0
      00:00
      /
      01:05
      01:05
      全屏

      倍速播放中
      您的浏览器不支持 video 标签

      继续观看

      DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

      转载
      ,
      DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡
      魔搭ModelScope社区
      已同步到看一看写下你的评论

      开源地址：
      • 代码仓库：
        https://github.com/Yzmblog/DMAD
      • 模型链接：
        https://modelscope.cn/models/ZhengmingYu-Community/DMAD
      • 项目主页与完整样例：
        https://yzmblog.github.io/projects/DMAD/
      • 论文链接：
        https://arxiv.org/abs/2610.02188
      02

      效果展示

      折纸龙飞越纸山

      纸龙展开棱角分明的双翼，飞越一座座折纸山峰。该样例由 MiniMax-H3-33B 的 DMAD 4 步学生模型生成，属于联合音视频生成。

      “Paper comes to life”样例的四个关键帧：
      图片
      已关注
      关注
      重播 分享 赞
      观看更多
        魔搭ModelScope社区

        0/0

        00:00/00:05
        进度条，百分之0
        00:00
        /
        00:05
        00:05
        全屏

        倍速播放中
        您的浏览器不支持 video 标签

        继续观看

        DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

        转载
        ,
        DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡
        魔搭ModelScope社区
        已同步到看一看写下你的评论

        松鼠走出照片

        手把松果放在照片旁，松鼠从纸上的树洞探出身，伸爪触碰松果。该样例由 MiniMax-H3-33B 的 DMAD 4 步学生模型生成，以照片与立体角色的互动组织动作序列。

        “A story comes to life”样例的四个关键帧：
        图片
        已关注
        关注
        重播 分享 赞
        观看更多
          魔搭ModelScope社区

          0/0

          00:00/00:05
          进度条，百分之0
          00:00
          /
          00:05
          00:05
          全屏

          倍速播放中
          您的浏览器不支持 video 标签

          继续观看

          DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

          转载
          ,
          DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡
          魔搭ModelScope社区
          已同步到看一看写下你的评论

          壁画前的街头交谈

          壁画前，两名男子交谈，年轻人转头露出笑容。MiniMax-H3-33B 4 步音视频样例的官方提示词同时指定人物对白、城市环境声与背景音乐。

          “Street conversation”样例的四个关键帧：
          图片
          已关注
          关注
          重播 分享 赞
          观看更多
            魔搭ModelScope社区

            0/0

            00:00/00:05
            进度条，百分之0
            00:00
            /
            00:05
            00:05
            全屏

            倍速播放中
            您的浏览器不支持 video 标签

            继续观看

            DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

            转载
            ,
            DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡
            魔搭ModelScope社区
            已同步到看一看写下你的评论

            霓虹街道上的双犬

            萨摩耶与金毛穿过霓虹街道，蓝紫色灯光映在毛发与路面上。该样例使用 Wan2.1-T2V-14B 的 DMAD 4 步学生模型，属于文生视频，不含生成音轨。

            官网“After dark”样例的四个关键帧：
            图片
            已关注
            关注
            重播 分享 赞
            观看更多
              魔搭ModelScope社区

              0/0

              00:00/00:05
              进度条，百分之0
              00:00
              /
              00:05
              00:05
              全屏

              倍速播放中
              您的浏览器不支持 video 标签

              继续观看

              DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡

              转载
              ,
              DMAD 开源：4 步生成有声视频的 MiniMax-H3 学生模型，支持 8GB 显存的消费级显卡
              魔搭ModelScope社区
              已同步到看一看写下你的评论

              03

              模型框架
              DMAD（Distribution Matching as Adversarial Distillation，基于对抗蒸馏的分布匹配）解决的是扩散模型需要多次串行去噪的问题。它不要求学生逐条复现教师的采样轨迹，而是让少步学生生成的样本分布接近目标分布；

              MiniMax-H3 版本沿用 33B 基座并通过 LoRA 训练，主要减少采样步数，而非压缩模型参数规模。
              图片

              从分别估计两个分数到直接学习分布差异

              DMD 的学生更新依赖目标分布与学生分布的 score（对数密度梯度）之差：教师提供目标 score，另一个辅助扩散模型持续追踪学生分布。DMAD 改为训练二分类判别器，区分目标样本和学生样本。

              在理想最优判别器条件下，其 logit 等于两种分布的对数密度比；固定该判别器，对输入求梯度便能得到同一个 score 差，形成局部生成器更新方向上的等价。直观上，前者先估计两条路线再求差，后者直接学习该往哪儿修正，因此不再需要辅助 score 拟合。

              共享骨干、双头监督

              两个判别头共享特征骨干：教师头区分教师样本与学生样本，真实数据头区分真实样本与学生样本。判别器用二元交叉熵训练，学生则用两个 logit 的加权线性损失更新；更新学生时冻结判别器参数，但保留经过其输入的反向梯度。教师头和真实数据头承担不同监督目标，不是分别处理音频、视频的两个分支。

              按噪声区间动态分配教师监督

              教师样本与真实数据的差异并不在所有噪声水平上相同。DMAD 使用真实数据头在两类样本上的平均 logit 差作为经验信号，以衰减系数 0.99 的指数移动平均追踪各噪声区间；差距较小的区间获得更高教师权重。权重归一化后参与学生损失，但统计量和权重不参与反向传播。

              离线教师样本，减少在线蒸馏负担

              教师仅提供预生成并缓存的样本，训练时无需在线调用教师，也不再拟合学生 score。论文采用每次学生更新对应 1 次判别器更新，DMD2 对比配置为 5 次。在 4 张 H200、MiniMax-H3-33B rank-128 LoRA 配置下，每次学生更新及关联判别器更新耗时从 818.1 秒降至 233.3 秒，约为 3.51 倍训练更新加速。
              04

              模型使用

              环境与显存配置

              命令行推理按官方仓库使用 Python 3.12、CUDA 12.6 与固定版本的 PyTorch 和 Diffusers，需准备支持 CUDA 的 NVIDIA 显卡。低显存方案通过权重卸载与分块计算控制显存占用，并会使用较多系统内存；

              ComfyUI 低显存工作流明确推荐 64 GB 系统内存。命令行所需基础模型文件约 170 GB，需预留足够磁盘空间；使用前请按基础模型页要求阅读并接受相应许可。
              使用方式
              显存配置
              视频长度
              ComfyUI 工作流
              8GB
              约5秒
              ComfyUI 工作流
              16GB及以上
              约15秒
              命令行低显存推理
              8GB
              约5秒
              命令行低显存推理
              12GB及以上
              约15秒
              以上配置均对应 1344×768 有声视频。低显存配置会使用较多系统内存，实际生成耗时取决于显卡、存储和具体设置；4 步描述的是去噪步数，不代表 4 秒完成生成。

              安装环境

              以下命令在 DMAD 仓库根目录运行。requirements.txt 已固定相关依赖；modelscope-hub 提供下载模型所用的 modelscope 命令。
              git clone https://github.com/Yzmblog/DMAD.git
              cd DMAD
               
              conda create -n dmad_h3 python=3.12 -y
              conda activate dmad_h3
               
              python -m pip install \
               torch==2.11.0 torchvision==0.26.0 torchaudio==2.11.0 \
               --index-url https://download.pytorch.org/whl/cu126
               
              python -m pip install -r requirements.txt
              python -m pip install -U modelscope-hub

              从魔搭下载模型

              先下载 MiniMax-H3 命令行推理所需的基础模型，再下载 DMAD 的 4 步 LoRA。下面排除了本次命令行示例不使用的 FL2VA、Ref2VA 和 transformer_ref 分区。
              modelscope download MiniMax/MiniMax-H3 \
                --local-dir ./models/MiniMax-H3 \
                --exclude "FL2VA/*" "Ref2VA/*" "transformer_ref/*"
               
              modelscope download ZhengmingYu-Community/DMAD \
                --local-dir ./ckpt \
                --include "minimax_h3/dmad_minimax_h3_4step_lora_critic.safetensors"

              8 GB 显存生成约 5 秒有声视频

              先使用仓库提供的提示词跑通样例。下面采用 4 步、固定种子和 124 帧，在 24 fps 下约为 5.2 秒，并启用 8 GB 低显存配置。
              python inference.py \
                --model-dir ./models/MiniMax-H3 \
                --lora ./ckpt/minimax_h3/dmad_minimax_h3_4step_lora_critic.safetensors \
                --prompt-file prompts/dmad_sweater.txt \
                --steps 4 --seed 42 \
                --height 768 --width 1344 --num-frames 124 \
                --low-vram 8 \
                --output-dir ./outputs/dmad_5s
              输出目录包含有声视频 0000.mp4、提示词 0000.txt 和运行参数 settings.json。跑通后，可以在命令中换成自己的提示词文件。

              12 GB 显存生成约 15 秒视频

              使用至少 12 GB 显存时，将帧数设为 362，并启用 12 GB 低显存配置。其余设置保持 4 步与 1344×768，输出约 15.1 秒有声视频。
              python inference.py \
                --model-dir ./models/MiniMax-H3 \
                --lora ./ckpt/minimax_h3/dmad_minimax_h3_4step_lora_critic.safetensors \
                --prompt-file prompts/dmad_sweater.txt \
                --steps 4 --seed 42 \
                --height 768 --width 1344 --num-frames 362 \
                --low-vram 12 \
                --output-dir ./outputs/dmad_15s

              ComfyUI 工作流

              如果习惯用 ComfyUI，可以使用现有 ComfyUI 环境，导入仓库中的 comfyui/workflows/dmad_h3_4step_5s_8gb_guitar.json。项目也提供嵌入了工作流的示例 MP4，可直接拖入 ComfyUI。按工作流中的链接下载基础模型，并通过 ComfyUI Manager 安装 H3-Optimizations 节点包。

              ComfyUI 使用专用格式的 LoRA。例如，下面从魔搭下载 full_critic 的 ComfyUI 版本，下载后将文件放入 ComfyUI/models/loras/。
              modelscope download ZhengmingYu-Community/DMAD \
                --local-dir ./ckpt \
                --include "minimax_h3/dmad_minimax_h3_4step_full_critic_comfyui.safetensors"
              DMAD 的 8 GB ComfyUI 工作流，4 步生成约 5 秒、1344×768 有声视频：
              图片
              ComfyUI 工作流与配置说明
              https://github.com/Yzmblog/DMAD/tree/main/comfyui

              点击 阅读原文，即可跳转 DMAD 魔搭模型链接~




              👇点击关注ModelScope公众号获取
              更多技术信息~



              前往微信阅读全文

              内容来自公众号，可前往微信查看原文。

              查看作者的更多文章 →订阅更新、RSS 与阅读指南 →