我想生成一段视频,要求说起来并不复杂:开头和结尾要落在指定画面上,中间的人物、外观又得参考另一张图。真正连起工作流才发现,能做首尾帧、能做参考图,并不代表我手里的那套节点能方便地把两种要求一起交给模型。

这轮已经尝试过视频生成,留下了节点和工作流文件;统一参数下的耗时与效果对比还没整理出来。

先把实验室电脑接到手边

机房里有一台带 RTX 5090 的电脑,我通过 Tailscale 和 SSH 远程访问它,在那台机器上本地部署 MiniMax H3 Base,继续做生成实验。远程入口本身也折腾了一轮:桌面会话、双层 NAT、IPv6,以及连接到底走中继还是直连,分别是不同的问题。

这部分单独写在把学校机房的 5090 接回直连里。网络先通,后面的工作流才有一个能访问的运行环境;但网络直连并不能直接说明模型生成速度。

远程工作站的 Tailscale 设备列表,网络地址已打码
远程访问的基础设施记录。设备在线状态不代表视频生成结果或推理性能。

导演台能做很多事,但我卡在输入条件上

我先用的是 ComfyUI MiniMax H3 Director。它把镜头和生成流程收进导演台,比从零拼所有节点方便。我也保留了文生视频、首尾帧和参考生成等工作流,逐步尝试这些入口。

但我的需求不是只让画面动起来。首帧规定从哪里开始,尾帧规定在哪里结束,参考图还要提供人物或外观信息。当时用到的导演台配置没有满足我把这些条件同时放进去的需求,所以我继续找能混合输入的开源节点。这里说的是我当时的使用情况,不是说导演台的所有版本都做不到。

用 Hybrid Cond 组织混合输入

AI 概念插画:首帧、人物参考和尾帧三块影像板,汇合到一段胶片
首帧、参考图与尾帧,共同约束一段视频。AI 概念插画,非本次工作流的输出截图。

本地装过的另一套节点叫 MiniMax H3 Hybrid Cond,节点名称是 MiniMax H3 Hybrid Cond (R2V + I2V)。它把参考生成和首尾帧条件放进同一套 conditioning,正好对应我想试的路线。

它的输入分得很清楚:

  • first_frame 和 last_frame 提供开始与结束的关键帧。
  • ref_image_1、ref_image_2 提供参考图。
  • H3 的视频 VAE、音频 VAE 和匹配的文本编码器参与后续生成链路。

安装目录里也保留了 MiniMax_H3_Hybrid_Cond_Reference_Ready.json,以及 Director 和 Easy 的工作流文件。这轮工作基于已有开源节点,主要是组织输入、调整工作流并尝试生成,没有训练模型或自行开发这些节点。

混合条件解决的是“怎样同时把要求送进去”。至于生成画面是否真的保住了人物外观、是否自然地走到尾帧,还得看具体结果,不能因为节点连接成功就认为这些要求全部满足了。

用同一组素材比较条件组合

对这个需求,节点提供混合输入只是起点。入口是否暴露参数、节点怎样组织条件、模型能否遵守条件,需要分别检查;仅换一个工作流,未必就能改善输出。

目前本地可以核对到节点和工作流文件;机房 5090 上当次运行的模型版本、完整日志和视频作品还需要归档。因此这里不写显存占用、单段耗时或成功率,也不把工作流存在当成当前服务器仍可运行的证明。

下一轮我想把输入素材、工作流 JSON、模型版本、生成参数和输出视频放在一起,再比较“只用首尾帧”“只用参考图”和“混合条件”的差别。这样才能更具体地回答:多加一种条件,究竟改善了哪一部分,又牺牲了什么。