有了第一张图，视频的基本风格就定下来了，接下来就是最关键的运镜环节了。综合考量了制作需求、效果以及成本等因素后，我们最终选择了目前“图生视频”中相对简单可控的方法——利用现成视频工具，依靠一张图、一句话来生成 360°镜头。

为了画面的可控性，我们选择了“文生图——图生视频”的思路：增加一个中间环节，以确保最终画面的调性。如果需要控制角色，这种思路也可能效果更好。首先，我们借助目前 stable diffusion 里面超强的图像生成模型——Flux，通过输入提示词和提供参考图生成理想的电影感画面。

Runway 则在近期上线了视频生视频（video to video）的转绘功能。能够根据提示词改变用户上传视频的场景、风格，并保留视频的主体框架。

今年的全民健身日，我们使用 ComfyUI 让十款甜品、饮料开始了自己的“运动表演”。这套开源工作流的本质是对运动视频进行抠像后，再根据物体形态、场景两种参考图对抠像视频进行视频转绘。在全国生态日，我们使用开源技术 Liveportrait，把人的面部表情“移植”到了小动物身上，完成了一次野生动物的“街头采访”。

当前大多数视频工具一次最长能做 10-12 秒的视频，但 AI 未必能在短时间内完成复杂的镜头调度。为此，我们可以结合AI视频工具的“拓展延长”功能，将 360°的镜头分成几个小部分（比如 180°、270°）一步步实现。

比如，AI 并不能很好地理解，什么是“跳皮筋”。我们用“跳皮筋”的提示词描述直接生成图片，会出现语义理解偏差。最终，我们给 AI 喂经过高清修复、PS 处理后的正确照片，让 AI 图片里面的人物动作和姿态更加接近理想效果。

在 9 月 22 日举行的 Runway Meetup Shanghai 创作者分享会上，AI Talk 创始人汗青表示，“AI 没问题，我建议有一些局部调整：视频的困境在于，不同于互联网和移动时代，AI 视频尚未等到一个适配其特性的新媒介”。

AI 技术的不断发展，也推动了 AI 视频也开始往影视领域开始探索。快手可灵 AI 联手李少红、贾樟柯、俞白眉等 9 位知名导演，尝试制作 AIGC 电影短片。而 Runway CEO 在接受专访时放言，“明年或将见证首部 AI 主导创作的电影诞生，并赢得奥斯卡奖。”

除了这些闭源工具推出的彩蛋功能，开源社区中也有很多对 AI 视频形式的探索，比如用运动视频驱动植物跳舞、用人物肖像视频驱动小动物说话等。

值得一提的是，以上操作思路都是我们基于 9 月中旬的调研得出的。但 AI 的发展实在太快了，截至 10 月 21 日，各大视频工具的功能又做了很多的迭代升级。海螺推出了“图生视频”功能，既梦开启了 S2.0 和 P2.0版本的内测......使得 360°旋转镜头的制作有了更多的可能性。

在此之际，澎湃新闻对齐 Lab 栏目上线了首部以马兰基地“核二代”为原型的 AI 非虚构微电影《马兰花开》。影片前 40 秒除航拍镜头使用垫图外，其余画面均使用前沿 AI 技术生成，实现了影视级的画面效果，AI 辅助完成了包括 360°旋转镜头等在内的多个复杂运镜。

王者荣耀官网入口登录在 Sora 被调侃为“期货”的 8 个月里，国内外已经涌现出了一批可圈可点的 AI 视频大模型和工具产品，各家轮流登上 AI 视频王座。目前，MiniMax 海螺和快手可灵等国产 AI 产品，凭借高质量、稳定性、影视级的特性，在海外迅速走红。

信达证券在今年 7 月发布的一份研报中指出，AI 视频行业的风险因素包括：AI 底层大模型发展、AI 视频技术迭代和 AI 视频产品付费渗透率提升均不及预期。

在构思《马兰开花》的故事时，我们抛弃了用 AI 视频来还原历史事件的创作方向，一方面是因为公开的资料有限，生成 AI 视频缺乏依据；另一方面，AI 视频在细节还原的准确性上还存在不足，在重要的历史事件中容易造成误读和偏差。

以 360°旋转镜头为例，大致有两种思路，最直接的就是“文生视频”，我们在最初的尝试里，体验了这种路径的效果：生成画面也挺有味道的，但是不是我们想要的。

在视频生成中也有同样的问题，直接输入“跳皮筋”的提示词，AI 反馈的是活蹦乱跳的小孩、奇怪飘起的扬沙……我们只好退而求其次，用简化提示词的方式，让小孩原地轻轻跳一跳、动一动，完成跳皮筋的动势。

AI 视频产品的升级迭代，往往伴随着“尝鲜”式的挤兑体验和漫长排队，反而会给用户带来负面的体验。从主流 AI 视频工具近年来的迭代变化来看，还并没有出现真正改变游戏规则的模型和产品。

随着 AI 视频产品逐渐进入“祛魅”期，许多主流 AI 视频产品的热度也出现了下滑的趋势。流量分析工具 Similarweb 的数据显示，Luma AI 于 9 月初上线了 1.6 版本，但当月访问量环比下降了 38.49%。作为全球 AI 视频的第一梯队产品，Luma AI 每月的访问量大约只有 ChatGPT 的 1/413。

除了正儿八经的影视化方向，AI 视频现在还能做很多开脑洞的效果。对于没有任何影视后期制作经验的人来说，AI 确实能花小钱办大事。

而对于新闻机构从业者来说，AI 视频创作的主要顾虑是新闻真实性和 AI 虚构能力之间存在一定的矛盾。但如果用到非虚构领域，就能让 AI 肆意发挥他的创意。

最近一口气上线了 10 种 AI 影视特效，包括溶解、挤压、消失、爆炸等。推特上的一位可视化爱好者，用 AI 特效实现了真·用手抠图，给人一种打破次元壁的感觉。

虽然 AI 视频已经具备影视化能力，但在细节的表现上仍旧充满难题。在制作《马兰花开》的过程中，最让我们崩溃和头疼的，莫过于小孩跳皮筋和数飞机这两个画面。

汗青还强调，许多人觉得 AI 视频能降本增效，但看视频的人其实并不关心。在微短剧、短视频、直播当道的今天，AI 视频靠什么去获得受众的注意力，是 AI 视频创作者值得去深思的问题。