1. 为什么要在本地搭一套AI短剧生产流水线聊到AI短剧很多人第一反应是打开某个在线工具输入一段提示词等几分钟出一条视频。这种方式做单条内容没问题但如果你想批量产出、想控制每一帧的画面风格、想反复迭代同一组角色和场景在线工具的算力排队、模型限制、素材隐私问题就会一个接一个冒出来。我自己从2024年开始折腾AI视频生成到2025年底彻底把整套流程搬到了本地原因很直接可控、可复用、可批量。本地部署AI短剧工厂核心思路是把整条链路拆成四个独立模块——剧本与分镜生成、关键帧图像生成、视频片段合成、后期剪辑与拼接。每个模块跑在自己机器上模块之间用文件或者API通信。这样做的好处是任何一个环节出问题你可以单独替换不用推倒重来。比如你今天觉得图像模型出图不好看换一个就是明天觉得配音不对味单独调TTS就行。这套方案适合谁三类人一是做短剧账号矩阵的运营者需要每天稳定产出多条内容二是想深入研究AI视频生成管线的技术爱好者三是有一定硬件基础、不想被在线平台按次收费卡脖子的独立创作者。如果你只有一台核显笔记本说实话跑起来会比较吃力但也不是完全不能玩后面我会讲低配方案。关键词里提到的OpenClaw、ComfyUI、FFmpeg正好对应这条流水线的三个关键节点OpenClaw负责编排和调度ComfyUI负责图像与视频生成FFmpeg负责最后的拼接与格式处理。再加上一个本地大语言模型比如DeepSeek或者Ollama跑的其他模型来写剧本和分镜整条链路就闭环了。注意本地部署不等于零成本。时间成本、硬件成本、调试成本都要算进去。如果你只是偶尔做一两条视频在线工具可能更划算。但如果你要长期做、批量做本地部署的边际成本几乎为零这才是它真正的价值。2. 硬件选型与基础环境搭建2.1 硬件配置怎么选才不浪费钱本地跑AI短剧最吃资源的是图像和视频生成环节。我实测下来显卡显存是第一瓶颈其次是内存和硬盘速度。下面这张表是我用过的几套配置的实际表现供你参考配置档位显卡显存内存生成一条30秒短剧耗时适合场景入门级RTX 3060 12G12GB32GB约25-40分钟单人学习、低频产出进阶级RTX 4070 Ti Super16GB64GB约12-20分钟小团队日常产出专业级RTX 4090 / 509024GB128GB约5-10分钟批量矩阵运营低配替代无独显纯CPU-32GB2小时以上仅测试流程显存为什么这么关键因为ComfyUI跑图像生成时模型权重、中间特征图、VAE解码器都要塞进显存。12GB能跑SDXL级别的模型但如果你要跑视频生成模型比如SVD、CogVideoX16GB起步才比较稳。24GB的话基本可以同时加载多个模型做并行处理。硬盘方面强烈建议用NVMe SSD而且至少留出500GB空间。模型文件动辄几个GB到几十个GB加上生成的中间帧、视频片段空间消耗非常快。我用的是2TB NVMe专门放模型和输出系统盘另算。实操心得如果你现在还没买机器别急着上顶配。先用现有设备把流程跑通确认自己真的能坚持做下去再根据瓶颈升级。我见过太多人一上来买4090结果跑了三天就吃灰了。2.2 系统环境与驱动准备操作系统我推荐Ubuntu 22.04 LTS或者Windows 11 WSL2。纯Windows也能跑但很多AI工具链在Linux下兼容性更好尤其是涉及到CUDA加速和FFmpeg硬件编码的时候。如果你用WindowsWSL2是必须的但要注意WSL2的显卡直通需要较新的驱动版本。驱动安装顺序很重要先装显卡驱动再装CUDA Toolkit最后装cuDNN。顺序错了会出现各种奇怪的报错。NVIDIA驱动建议用官方.run文件安装比系统自带的包管理版本更可控。CUDA版本选择上目前主流AI框架对CUDA 12.x支持最好别贪新上13.x很多预编译包还没跟上。Python环境用Miniconda管理别用系统自带的Python。每个项目建独立环境避免依赖冲突。我一般会建一个专门的环境叫aidrama里面装ComfyUI、FFmpeg-python、以及调用本地大模型的客户端库。conda create -n aidrama python3.11 conda activate aidrama pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121FFmpeg的安装有个坑系统包管理装的FFmpeg往往不带NVIDIA硬件编码支持。如果你要用GPU加速视频编码需要自己编译或者找带NVENC的构建版本。Linux下可以用ffmpeg -hwaccels检查是否支持cuda。Windows下推荐用gyan.dev的full build里面包含了大部分常用编码器。2.3 OpenClaw的部署与WSL2环境验证OpenClaw在这套流水线里扮演的是任务编排器的角色。你可以把它理解成一个调度中心负责按顺序调用各个模块先让大模型写剧本再把分镜描述传给ComfyUI生成图像接着调用视频生成模型最后触发FFmpeg做拼接。安装OpenClaw本身不复杂官方有一键脚本。但关键词里提到了openclaw could not safely verify the wsl2 environment这个报错我实际遇到过。原因是WSL2的某些系统调用被安全策略拦截了导致OpenClaw无法确认环境是否满足运行条件。解决办法有两个一是升级WSL2内核到最新版二是在OpenClaw配置里手动跳过环境验证。# 升级WSL2内核Windows PowerShell wsl --update wsl --shutdown # 重新进入WSL后检查内核版本 uname -r如果还是报错可以编辑OpenClaw的配置文件找到environment_check相关字段把strict_mode设为false。但要注意跳过验证意味着你可能在环境不完整的情况下运行后续出问题要自己排查。Mac用户安装OpenClaw相对简单因为macOS的Unix环境比较标准。但Mac的显卡是Apple Silicon跑CUDA相关的AI模型需要走MPS后端性能不如NVIDIA显卡。如果你用Mac建议只把OpenClaw当调度器图像和视频生成放到另一台有NVIDIA显卡的机器上通过局域网通信。注意OpenClaw卸载时记得清理它创建的临时文件和数据库否则残留的缓存可能导致重新安装时出现端口冲突。卸载命令一般在安装目录下有uninstall.sh手动删的话要检查~/.openclaw和/tmp/openclaw两个目录。3. ComfyUI工作流从文字到画面的核心引擎3.1 ComfyUI安装与秋叶整合包的选择ComfyUI是这套流水线里最核心的图像生成工具。它的优势在于节点式工作流你可以把整个生成过程拆成一个个节点每个节点负责一个具体操作节点之间用连线表示数据流向。这种设计的好处是极度灵活坏处是新手看到一堆节点会懵。安装方式有两种手动安装和秋叶整合包。手动安装适合想深入理解每个组件的人秋叶整合包适合想快速上手的人。我两种都用过现在主力环境是手动安装因为整合包更新有时滞后而且里面预装的插件不一定都是我需要的。秋叶整合包2026 v10版本我测试过开箱即用程度很高内置了常用的自定义节点、模型管理器和中文界面。如果你是第一次接触ComfyUI我建议先用整合包把流程跑通等熟悉了再考虑手动搭建。# 手动安装ComfyUI的基本步骤 git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt python main.py --listen 0.0.0.0 --port 8188启动后浏览器打开http://localhost:8188就能看到界面。--listen 0.0.0.0是为了让局域网内其他机器也能访问方便你把生成任务分发到不同设备。3.2 短剧图像生成的工作流设计做AI短剧图像生成不是一张一张出而是按分镜批量出。一个30秒的短剧大概需要15-25个镜头每个镜头可能需要2-4张候选图。所以工作流的设计目标是输入一组分镜描述输出一组风格一致的图像。我的工作流大致是这样的文本编码 → 基础模型采样 → 精修模型采样 → 面部修复 → 放大 → 保存。中间会插入ControlNet来控制构图插入IP-Adapter来保持角色一致性。角色一致性是短剧的命门如果每个镜头里主角长得都不一样观众立刻出戏。保持角色一致性的常用手段有三种一是用IP-Adapter传入角色参考图二是用LoRA微调角色特征三是用固定的随机种子加详细的角色描述。我一般组合使用先用LoRA锁定大致特征再用IP-Adapter做微调最后固定种子保证稳定性。工作流文件可以保存为JSON然后在OpenClaw里通过API调用。ComfyUI的API接口是/promptPOST一个包含工作流节点信息的JSON过去它就会排队执行。你可以用Python写个简单的封装import requests import json def generate_image(workflow_path, prompt_text): with open(workflow_path, r) as f: workflow json.load(f) # 修改工作流中的文本输入节点 workflow[6][inputs][text] prompt_text response requests.post( http://localhost:8188/prompt, json{prompt: workflow} ) return response.json()3.3 视频生成模型的接入与参数调优图像生成之后下一步是把静态图变成动态视频。目前本地能跑的视频生成模型有几个选择SVDStable Video Diffusion、CogVideoX、以及一些基于AnimateDiff的方案。SVD对显存要求相对低14GB左右能跑CogVideoX效果更好但吃显存建议24GB起步。视频生成的关键参数是帧数、帧率和运动强度。帧数决定视频长度帧率决定流畅度运动强度决定画面变化幅度。短剧一般用24fps或30fps运动强度不宜过高否则画面容易崩。我通常设置运动强度在0.3-0.5之间具体看镜头内容。实操心得视频生成模型对输入图像的质量非常敏感。如果输入图有噪点或者构图奇怪生成的视频会放大这些问题。所以前期图像生成阶段一定要把好关宁可多花时间筛选也不要拿一张勉强能看的图去生成视频。ComfyUI里接入视频生成模型需要安装对应的自定义节点。比如CogVideoX有专门的ComfyUI节点包安装后在工作流里添加视频采样节点即可。参数调优是个体力活建议先用短片段比如8帧快速测试不同参数组合找到合适的再跑完整长度。4. FFmpeg后期处理拼接、转场与音频合成4.1 FFmpeg在短剧流水线中的角色FFmpeg是整套流水线的最后一环也是很多人容易忽视的一环。它的工作包括把分散的视频片段按顺序拼接、添加转场效果、混入背景音乐和配音、调整输出格式和码率。这些操作看起来简单但实际做起来有很多细节。先说拼接。FFmpeg拼接视频有两种方式concat协议和concat滤镜。前者要求所有片段的编码参数完全一致速度快但不灵活后者可以处理参数不一致的片段但需要重新编码速度慢。我的做法是前期生成时就统一参数后期用concat协议拼接速度最快。# 创建拼接列表文件 file scene_01.mp4 file scene_02.mp4 file scene_03.mp4 # 执行拼接 ffmpeg -f concat -safe 0 -i filelist.txt -c copy output.mp4-c copy表示不重新编码直接复制流。这要求所有片段的编码格式、分辨率、帧率完全一致。如果有一项不一致拼接就会失败或者出现画面异常。4.2 音频处理与口型同步的实操方案短剧没有声音就是哑剧。音频处理包括配音生成、背景音乐、音效三个部分。配音可以用本地TTS模型生成比如ChatTTS或者CosyVoice它们都能在本地跑。背景音乐和音效需要自己准备素材库注意版权问题商用的话建议用免版税音乐。口型同步是AI短剧的一个难点。目前本地能跑的方案有Wav2Lip和SadTalker效果都还可以但对硬件有一定要求。Wav2Lip相对轻量主要做口型区域的重绘SadTalker会生成整个头部的运动效果更自然但更吃资源。我的做法是如果镜头是正面近景用Wav2Lip做口型同步如果是中远景或者侧面口型不明显直接跳过这一步用配音加画面切换来掩盖。这样能省下大量计算时间。# Wav2Lip基本用法 python inference.py \ --checkpoint_path wav2lip_gan.pth \ --face scene_01.mp4 \ --audio voice_01.wav \ --outfile scene_01_synced.mp4音频混合用FFmpeg的amix滤镜可以同时混入多条音轨。注意控制各条音轨的音量配音一般在-6dB到-3dB背景音乐在-20dB到-15dB音效根据场景调整。4.3 输出格式与平台适配不同平台对视频格式的要求不一样。竖屏短剧一般是1080x1920分辨率9:16比例H.264编码码率8-12Mbps。如果你要发多个平台建议输出一个高质量母版然后用FFmpeg批量转码成各平台需要的规格。# 竖屏1080x1920输出 ffmpeg -i input.mp4 \ -vf scale1080:1920:force_original_aspect_ratiodecrease,pad1080:1920:(ow-iw)/2:(oh-ih)/2 \ -c:v libx264 -preset slow -crf 18 \ -c:a aac -b:a 192k \ output_vertical.mp4force_original_aspect_ratiodecrease加pad的组合可以保证画面不变形同时填满目标分辨率。-crf 18是质量参数数值越小质量越高18基本是视觉无损的水平。注意如果你用NVIDIA显卡可以把libx264换成h264_nvenc来启用硬件编码速度能快3-5倍。但硬件编码的质量略低于软件编码建议母版用软件编码批量转码用硬件编码。5. 本地大模型与OpenClaw的联动编排5.1 本地大模型选型DeepSeek与Ollama剧本和分镜生成需要一个靠谱的本地大语言模型。目前本地部署效果比较好的有DeepSeek系列、Qwen系列、以及Llama系列。DeepSeek在中文理解和创意写作上表现突出适合写短剧剧本。Ollama是一个本地模型运行框架可以方便地拉取和运行各种开源模型。# 用Ollama拉取并运行DeepSeek模型 ollama pull deepseek-r1:14b ollama run deepseek-r1:14b模型大小根据你的显存来选。14B参数量的模型在FP16精度下大约需要28GB显存量化到4bit后大约7GB。如果你显存不够可以用量化版本效果损失在可接受范围内。写短剧剧本的提示词需要精心设计。我一般会给模型一个结构化的模板包括角色设定、场景描述、对话风格、每集时长、分镜数量。让模型按固定格式输出方便后续程序解析。5.2 OpenClaw编排逻辑与任务调度OpenClaw的核心价值在于把各个模块串起来形成自动化流水线。你可以定义一个任务链第一步调用大模型生成剧本和分镜JSON第二步解析JSON并逐个调用ComfyUI生成图像第三步调用视频生成模型第四步调用FFmpeg拼接第五步输出成片。OpenClaw支持多种触发方式手动触发、定时触发、文件监听触发。我一般用文件监听往指定目录扔一个剧本大纲文件OpenClaw自动开始处理处理完把成片放到输出目录。这样我只需要写大纲剩下的全自动。# OpenClaw任务配置示例 tasks: - name: generate_script type: llm model: deepseek-r1:14b prompt_file: prompts/script_template.txt output: workspace/script.json - name: generate_images type: comfyui workflow: workflows/drama_scene.json input: workspace/script.json output: workspace/images/ - name: generate_videos type: comfyui workflow: workflows/video_gen.json input: workspace/images/ output: workspace/videos/ - name: assemble type: ffmpeg input: workspace/videos/ output: workspace/final.mp4这个配置的意思是先跑剧本生成再跑图像生成再跑视频生成最后拼接。每个任务的输出是下一个任务的输入形成数据流。5.3 提示词工程短剧整套提示词的设计方法短剧提示词和普通AI绘画提示词不一样它需要跨镜头保持一致性。我的做法是建立一个“角色卡”和“场景卡”系统。角色卡里定义角色的外貌特征、服装、发型、常用表情场景卡里定义环境的光线、色调、风格。每个分镜的提示词由“角色卡 场景卡 镜头描述”拼接而成。比如一个角色卡可能是这样的角色名林小雨 外貌25岁女性黑色长直发鹅蛋脸大眼睛皮肤白皙 服装白色衬衫深蓝色西装外套 风格都市职场写实风格柔和光线场景卡场景现代办公室 光线下午自然光从窗户照入 色调暖色调轻微胶片感分镜描述镜头中景林小雨坐在办公桌前低头看文件表情专注三者拼接后传给ComfyUI就能生成风格一致的图像。这套方法的关键是卡片要足够详细但不要互相矛盾。如果角色卡说黑发分镜描述说金发模型就会混乱。实操心得提示词里的权重分配很重要。角色特征权重给高一些比如1.2-1.4场景特征权重中等1.0镜头描述权重正常1.0。这样能保证角色特征不被场景淹没。ComfyUI里可以用(关键词:权重)的语法来控制。6. 常见问题排查与性能优化实录6.1 部署阶段的高频报错与解决本地部署AI短剧流水线报错是家常便饭。我整理了几个最常遇到的坑和解决办法报错信息可能原因解决办法CUDA out of memory显存不足降低batch size用更小的模型开启梯度检查点OpenClaw WSL2验证失败WSL2内核过旧或安全策略拦截升级WSL2内核或关闭严格验证模式ComfyUI节点缺失自定义节点未安装通过ComfyUI Manager安装缺失节点FFmpeg拼接失败片段编码参数不一致统一所有片段的编码参数或用concat滤镜重新编码模型加载卡住模型文件损坏或路径错误检查文件完整性确认路径无中文和空格生成图像全黑VAE不匹配或精度问题更换VAE尝试fp32精度CUDA out of memory是最常见的。解决办法优先级先降分辨率再降batch size再换量化模型最后才考虑升级硬件。很多时候不是显存真的不够而是碎片化导致的大块显存分配失败。可以在启动ComfyUI时加--lowvram参数它会优化显存使用策略。6.2 生成质量不稳定的排查思路生成质量不稳定表现为同一组提示词有时出图很好有时出图很崩。原因通常有三个随机种子、模型精度、提示词歧义。随机种子是最大变量。固定种子可以保证可复现但也会限制多样性。我的做法是先用随机种子跑一批选出好的记下种子然后用固定种子微调提示词。这样既能探索又能收敛。模型精度方面FP16有时候会出现数值不稳定导致出图异常。如果遇到间歇性的崩图可以试试FP32但速度会慢一些。另外不同版本的模型文件质量差异很大建议从官方渠道下载别用来路不明的模型。提示词歧义是指描述不够具体模型自由发挥。比如“一个漂亮的女孩”就太模糊模型每次理解都不一样。改成“25岁亚洲女性黑色长直发鹅蛋脸穿白色衬衫”就具体多了。6.3 性能优化让流水线跑得更快性能优化分几个层面模型层面、工作流层面、硬件层面。模型层面用量化模型是最直接的提速手段。4bit量化能让显存占用降到原来的四分之一速度提升30%-50%质量损失在可接受范围内。另外用蒸馏版模型比如SDXL Turbo、LCM能把采样步数从20-30步降到4-8步速度提升非常明显。工作流层面减少不必要的节点。有些工作流里塞了十几个后处理节点每个都吃时间。我一般只保留必要的文本编码、采样、VAE解码、保存。面部修复和放大按需开启不是每个镜头都需要。硬件层面确保显卡跑在PCIe 4.0 x16上。有些主板第二个显卡插槽是x8甚至x4带宽减半会拖慢模型加载速度。另外内存频率和容量也会影响尤其是当显存不够需要内存交换的时候。# 监控GPU使用情况 nvidia-smi -l 1 # 监控内存和CPU htop我习惯在跑批量任务的时候开着nvidia-smi -l 1实时看显存和GPU利用率。如果GPU利用率长期低于50%说明瓶颈在CPU或者IO如果显存接近满载说明需要降模型或者降分辨率。实操心得批量生成的时候别把所有任务一次性全扔进去。ComfyUI的队列机制是串行的扔太多任务反而不好管理。我一般分批跑每批10-20个镜头跑完检查一遍没问题再跑下一批。这样出问题能及时止损不会浪费一晚上的电。7. 从单条测试到批量生产的进阶路线7.1 先跑通一条完整短剧新手最容易犯的错误是一上来就追求全自动批量生产。结果每个环节都出问题排查起来像一团乱麻。我的建议是先用一条30秒的短剧手动跑通全流程。从写剧本、生成图像、生成视频、配音、拼接每一步都亲手操作一遍记录下每个环节的耗时和问题。这条测试短剧不用追求质量重点是验证流程可行性。你可能会发现某个模型加载特别慢、某个参数设置不对、某个环节的输出格式不匹配。这些问题在单条测试时暴露出来比批量生产时才发现要好得多。我第一条测试短剧花了整整一个周末生成出来的东西惨不忍睹但流程跑通了。第二个周末优化参数质量明显提升。第三个周末才开始批量。这个节奏我觉得比较合理。7.2 建立素材库与模板体系当流程跑通后下一步是建立可复用的素材库和模板。素材库包括角色卡、场景卡、常用提示词片段、背景音乐、音效、转场预设。模板包括ComfyUI工作流模板、OpenClaw任务配置模板、FFmpeg命令模板。有了这些新做一条短剧的时候只需要写一个新的剧本大纲选择对应的角色卡和场景卡剩下的交给流水线。我的素材库现在有30多个角色卡、50多个场景卡基本覆盖了都市、古装、悬疑几个常用题材。模板体系的关键是参数化。比如FFmpeg拼接命令把输入目录、输出路径、分辨率、码率都做成变量用的时候填进去就行。OpenClaw的任务配置也一样把模型名称、工作流路径、输出目录做成可配置项。7.3 批量生产的质量控制批量生产最大的挑战是质量控制。机器生成的东西质量参差不齐。我的做法是设置自动筛选规则加人工抽检。自动筛选规则包括图像清晰度低于阈值就丢弃、视频运动幅度过大就丢弃、音频和视频时长不匹配就报警。这些规则可以用Python脚本实现在流水线里加一个质检节点。人工抽检是每天随机抽几条成片看一遍发现问题就回溯到对应环节调整参数。我一般早上抽检前一天晚上的产出花15-20分钟能发现大部分系统性问题。注意批量生产不要追求100%自动化。完全无人值守的流水线一旦某个环节参数漂移可能一晚上产出几百条废片。保留人工抽检环节虽然麻烦一点但能避免大翻车。8. 一些踩坑之后的个人体会这套本地AI短剧流水线我折腾了大半年从最初的一堆报错到现在基本稳定日产10-20条中间踩的坑不计其数。最大的体会是别追求一步到位小步快跑才是正道。每次只改一个变量改完跑一条测试确认没问题再继续。同时改三个参数出了问题你都不知道是哪个引起的。另一个体会是文档和笔记比什么都重要。每个模型的版本、每个工作流的参数、每个报错的解决办法我都记在一个Markdown文件里。好记性不如烂笔头尤其是隔了几周再回来调的时候没有笔记根本想不起来当时怎么解决的。最后说一个容易被忽视的点散热。批量跑视频生成的时候显卡满载运行几个小时机箱温度能到70度以上。散热不好的话显卡会降频速度直接砍半。我后来加了三个机箱风扇换了更好的硅脂温度降了10度速度稳定多了。这个投入比升级显卡划算得多。