人脸一致性是 AI 图片和视频创作里最容易被卡住的环节。很多人在文生图工作流里反复抽卡靠固定 seed 和提示词碰运气偶尔能出一张相似的脸但换一个角度、换一个场景人物立刻“变脸”。真正稳定的做法是先用 Z-Image-Turbo 这类生成基础模型配合少量人像图片做一次 LoRA 训练把目标人物的面部特征固化成一个轻量权重文件之后在推理阶段加载这个权重用触发词控制出图。Z-Image-Turbo 的特点是出图速度快、画面质感好Turbo 版本的推理耗时明显更短训练后验证效果时能省下大量等待时间配合合格的数据集和训练参数人像可以做到既逼真又保持较好的身份一致性。接下来的内容按“概念 - 环境 - 数据 - 参数 - 训练 - 验收 - 排错 - 清单”的顺序展开。适合第一次接触模型训练、之前主要使用 ComfyUI 或 diffusers 等工具生成图片的读者。学完之后你能独立完成一个人像 LoRA 的训练流程并学会用固定测试提示词判断训练结果是否合格。1. 先理解 Z-Image-Turbo、LoRA 与人物一致性的关系1.1 Z-Image-Turbo 解决的是“出图快”不是“认识这个人”Z-Image-Turbo 属于图像生成基础模型擅长把文本描述转成高质量画面尤其是人像的光影、皮肤质感和构图整体观感比较接近专业摄影。Turbo 版本的核心优势通常体现在采样步数更少单张图片的推理耗时低于常规版本。做训练实验时这个优势会被放大每改一次提示词、每调一次 LoRA 强度都要重新出图出图快意味着同一个晚上能完成更多轮“训练-验证-调整”的循环。需要先纠正一个常见误区基础模型再强它也不认识你的目标人物。模型知道“一位年轻女性”通常长什么样但不知道“某一位具体的人”长什么样。要让模型稳定生成某个特定人物的脸必须让模型在训练阶段反复接触这个人物的多张照片并把照片里的共同面部特征绑定到一个可识别的文本标识上。这套绑定关系就是人像一致性训练的底层逻辑。1.2 LoRA 是“动小手术”的训练方式LoRA 的全称是 Low-Rank Adaptation低秩适配。通俗理解是冻结大模型的绝大部分参数只训练一组规模很小的低秩矩阵把它插入到模型的关键层中从而改变模型的输出行为。这个设计对人像训练非常合适训练成本低。不需要多卡集群个人电脑上的单块显卡就有机会完成。训练产物小。训练结束后得到的是一个通常只有几十 MB 的 safetensors 文件而不是完整模型副本。可组合。可以同时加载“人像 LoRA”和“风格 LoRA”在一个画面里叠加多组能力。可回退。LoRA 文件只是附加权重随时可以卸载不影响基础模型本身。人物一致性之所以能靠 LoRA 实现原因是训练时模型被反复告知当提示词里出现触发词时画面主人物应该带有训练图片里的人脸特征。训练完成后这个绑定关系就写进了 LoRA 权重里。推理时只要加载它并在提示词中保留触发词就能稳定复现目标人物的面容。1.3 训练人像前先想清楚应用场景不同场景对训练要求差别很大。如果是做个人写真集图片风格可以相对统一如果要做 AI 短剧或口播数字人素材人物需要在不同场景、不同表情、不同机位下都稳定这就要求数据集必须覆盖足够多的角度和表情。训练前建议先用几句话写下目标要生成什么类型画面、人物会在哪些场景出现、是否需要多表情多角度。这个目标会直接影响后面的数据挑选和测试提示词设计也能避免训练到一半才发现方向不对。2. 环境准备把显卡、软件栈和基础模型先跑通2.1 硬件要求显存是第一道门槛Z-Image-Turbo 人像 LoRA 训练不是重负载任务但也不是零门槛任务。常见配置下单卡 16GB 到 24GB 显存可以比较从容地训练 1024 分辨率8GB 显存需要缩小分辨率或依赖更强的显存优化容易中途失败不建议新手用最低配做第一次训练。项目最低建议推荐配置说明显卡显存12GB16GB 及以上显存决定能否跑 1024 分辨率内存32GB32GB 以上数据集很小内存压力不大硬盘50GB 空闲100GB 空闲基础模型加训练产出需要空间操作系统Windows 10 / LinuxUbuntu 22.04Linux 环境训练更稳定CUDA11.812.1需要和 PyTorch 版本匹配如果只是想先验证流程可以把训练分辨率临时降到 768 或 512跑几十步确认端到端链路能通再换正式数据和分辨率训练。学习环境优先跑通流程正式环境再追求效果两者不要混在一起调参。2.2 软件栈安装建议新建独立虚拟环境避免和已有项目互相污染依赖。下面以 Python 3.10 和 PyTorch 2.x 为例conda create -n ztrain python3.10 -y conda activate ztrain pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install diffusers transformers accelerate peft safetensors如果你使用的训练框架来自某个开源仓库通常还需要按仓库里的 requirements.txt 再补依赖pip install -r requirements.txtPyTorch 的 CUDA 版本要和显卡驱动兼容。安装后可以用下面命令确认 CUDA 是否可用python -c import torch; print(torch.cuda.is_available()); print(torch.__version__)输出为 True说明环境正常。如果输出 False优先检查驱动版本和 PyTorch 的 CUDA 版本是否匹配而不是急着重装。2.3 基础模型先验证再训练Z-Image-Turbo 的模型文件一般以 diffusers 目录结构或单文件权重的方式发布。下载后不要直接进入训练先用一段最小推理代码验证模型能加载、能出图。以常见的 diffusers 加载方式为例from diffusers import DiffusionPipeline import torch pipe DiffusionPipeline.from_pretrained( ./models/Z-Image-Turbo, torch_dtypetorch.bfloat16 ).to(cuda) image pipe( prompta portrait photo of a young woman, natural light, num_inference_steps8, ).images[0] image.save(smoke_test.png)如果你的环境里已经装了对应的 ComfyUI 节点也可以在 ComfyUI 里直接加载基础模型出一张图验证。这一步的目的不是测画质而是确认权重路径、依赖版本、显存占用都正常避免训练出问题后分不清是训练代码的问题还是模型加载的问题。3. 人像数据集整理100 张杂图不如 30 张精图3.1 图片数量和挑选标准LoRA 训练的常识是“重质不重量”。人像训练一般 20 到 40 张高质量图片就足够。数量不是越多越好超过 100 张且重复度高时反而容易把模型训练得只会记住某一组固定姿势。挑选图片时按以下标准检查图片清晰人脸区域没有明显模糊或虚焦。人脸占比适中最好覆盖不同景别既有正面近景也有半身和中景。光线多样室内、室外、自然光、人造光都可以有但单张图片本身要曝光正常。表情多样正面微笑、中性表情、侧脸、是否戴眼镜等信息最好都有覆盖。避免美颜过重、滤镜过重、贴纸遮挡、多人同框的图片。适合作为训练图不适合作为训练图对焦准确的人像近景严重模糊或低分辨率截图多角度、多表情覆盖全部同一角度同一表情光线自然、肤色正常重度美颜滤镜、磨皮过度单人脸部完整可见多人合影或脸部大面积遮挡景别丰富近景/半身/中景人物全身占满但脸部区域很小注意如果训练对象是真实存在的个人无论是自己还是他人都应先确认授权。生成他人肖像并用于公开内容前尤其要明确使用边界和合规要求。3.2 统一裁剪与目录结构训练框架通常要求图片分辨率一致。最常见做法是把所有训练图统一裁剪成 1024x1024 的方形图。这里给出一个简单的 Python 预处理脚本使用 PIL 完成中心裁剪和缩放from PIL import Image import os src_dir raw_images out_dir dataset/images os.makedirs(out_dir, exist_okTrue) for name in sorted(os.listdir(src_dir)): if not name.lower().endswith((.jpg, .jpeg, .png)): continue img Image.open(os.path.join(src_dir, name)).convert(RGB) w, h img.size side min(w, h) # 从图片中心切一个方形区域 img img.crop(((w - side) // 2, (h - side) // 2, (w - side) // 2 side, (h - side) // 2 side)) img img.resize((1024, 1024), Image.LANCZOS) img.save(os.path.join(out_dir, name)) print(done)这段脚本做的事情是读取原始图片从中心切出方形区域再缩放到 1024x1024。如果人脸不在图片中心也可能需要先手动把人脸区域裁剪出来再缩放。脚本只是示例实际项目要结合自己的图片尺寸和训练分辨率调整。统一分辨率有两个目的一是让训练框架能按固定张量形状处理数据二是避免模型学到“不同图片里的脸部尺度不一致”这个错误信息。数据集目录常见结构 Z-Image-Turbo与LoRA实战：稳定人像一致性训练指南
人脸一致性是 AI 图片和视频创作里最容易被卡住的环节。很多人在文生图工作流里反复抽卡靠固定 seed 和提示词碰运气偶尔能出一张相似的脸但换一个角度、换一个场景人物立刻“变脸”。真正稳定的做法是先用 Z-Image-Turbo 这类生成基础模型配合少量人像图片做一次 LoRA 训练把目标人物的面部特征固化成一个轻量权重文件之后在推理阶段加载这个权重用触发词控制出图。Z-Image-Turbo 的特点是出图速度快、画面质感好Turbo 版本的推理耗时明显更短训练后验证效果时能省下大量等待时间配合合格的数据集和训练参数人像可以做到既逼真又保持较好的身份一致性。接下来的内容按“概念 - 环境 - 数据 - 参数 - 训练 - 验收 - 排错 - 清单”的顺序展开。适合第一次接触模型训练、之前主要使用 ComfyUI 或 diffusers 等工具生成图片的读者。学完之后你能独立完成一个人像 LoRA 的训练流程并学会用固定测试提示词判断训练结果是否合格。1. 先理解 Z-Image-Turbo、LoRA 与人物一致性的关系1.1 Z-Image-Turbo 解决的是“出图快”不是“认识这个人”Z-Image-Turbo 属于图像生成基础模型擅长把文本描述转成高质量画面尤其是人像的光影、皮肤质感和构图整体观感比较接近专业摄影。Turbo 版本的核心优势通常体现在采样步数更少单张图片的推理耗时低于常规版本。做训练实验时这个优势会被放大每改一次提示词、每调一次 LoRA 强度都要重新出图出图快意味着同一个晚上能完成更多轮“训练-验证-调整”的循环。需要先纠正一个常见误区基础模型再强它也不认识你的目标人物。模型知道“一位年轻女性”通常长什么样但不知道“某一位具体的人”长什么样。要让模型稳定生成某个特定人物的脸必须让模型在训练阶段反复接触这个人物的多张照片并把照片里的共同面部特征绑定到一个可识别的文本标识上。这套绑定关系就是人像一致性训练的底层逻辑。1.2 LoRA 是“动小手术”的训练方式LoRA 的全称是 Low-Rank Adaptation低秩适配。通俗理解是冻结大模型的绝大部分参数只训练一组规模很小的低秩矩阵把它插入到模型的关键层中从而改变模型的输出行为。这个设计对人像训练非常合适训练成本低。不需要多卡集群个人电脑上的单块显卡就有机会完成。训练产物小。训练结束后得到的是一个通常只有几十 MB 的 safetensors 文件而不是完整模型副本。可组合。可以同时加载“人像 LoRA”和“风格 LoRA”在一个画面里叠加多组能力。可回退。LoRA 文件只是附加权重随时可以卸载不影响基础模型本身。人物一致性之所以能靠 LoRA 实现原因是训练时模型被反复告知当提示词里出现触发词时画面主人物应该带有训练图片里的人脸特征。训练完成后这个绑定关系就写进了 LoRA 权重里。推理时只要加载它并在提示词中保留触发词就能稳定复现目标人物的面容。1.3 训练人像前先想清楚应用场景不同场景对训练要求差别很大。如果是做个人写真集图片风格可以相对统一如果要做 AI 短剧或口播数字人素材人物需要在不同场景、不同表情、不同机位下都稳定这就要求数据集必须覆盖足够多的角度和表情。训练前建议先用几句话写下目标要生成什么类型画面、人物会在哪些场景出现、是否需要多表情多角度。这个目标会直接影响后面的数据挑选和测试提示词设计也能避免训练到一半才发现方向不对。2. 环境准备把显卡、软件栈和基础模型先跑通2.1 硬件要求显存是第一道门槛Z-Image-Turbo 人像 LoRA 训练不是重负载任务但也不是零门槛任务。常见配置下单卡 16GB 到 24GB 显存可以比较从容地训练 1024 分辨率8GB 显存需要缩小分辨率或依赖更强的显存优化容易中途失败不建议新手用最低配做第一次训练。项目最低建议推荐配置说明显卡显存12GB16GB 及以上显存决定能否跑 1024 分辨率内存32GB32GB 以上数据集很小内存压力不大硬盘50GB 空闲100GB 空闲基础模型加训练产出需要空间操作系统Windows 10 / LinuxUbuntu 22.04Linux 环境训练更稳定CUDA11.812.1需要和 PyTorch 版本匹配如果只是想先验证流程可以把训练分辨率临时降到 768 或 512跑几十步确认端到端链路能通再换正式数据和分辨率训练。学习环境优先跑通流程正式环境再追求效果两者不要混在一起调参。2.2 软件栈安装建议新建独立虚拟环境避免和已有项目互相污染依赖。下面以 Python 3.10 和 PyTorch 2.x 为例conda create -n ztrain python3.10 -y conda activate ztrain pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install diffusers transformers accelerate peft safetensors如果你使用的训练框架来自某个开源仓库通常还需要按仓库里的 requirements.txt 再补依赖pip install -r requirements.txtPyTorch 的 CUDA 版本要和显卡驱动兼容。安装后可以用下面命令确认 CUDA 是否可用python -c import torch; print(torch.cuda.is_available()); print(torch.__version__)输出为 True说明环境正常。如果输出 False优先检查驱动版本和 PyTorch 的 CUDA 版本是否匹配而不是急着重装。2.3 基础模型先验证再训练Z-Image-Turbo 的模型文件一般以 diffusers 目录结构或单文件权重的方式发布。下载后不要直接进入训练先用一段最小推理代码验证模型能加载、能出图。以常见的 diffusers 加载方式为例from diffusers import DiffusionPipeline import torch pipe DiffusionPipeline.from_pretrained( ./models/Z-Image-Turbo, torch_dtypetorch.bfloat16 ).to(cuda) image pipe( prompta portrait photo of a young woman, natural light, num_inference_steps8, ).images[0] image.save(smoke_test.png)如果你的环境里已经装了对应的 ComfyUI 节点也可以在 ComfyUI 里直接加载基础模型出一张图验证。这一步的目的不是测画质而是确认权重路径、依赖版本、显存占用都正常避免训练出问题后分不清是训练代码的问题还是模型加载的问题。3. 人像数据集整理100 张杂图不如 30 张精图3.1 图片数量和挑选标准LoRA 训练的常识是“重质不重量”。人像训练一般 20 到 40 张高质量图片就足够。数量不是越多越好超过 100 张且重复度高时反而容易把模型训练得只会记住某一组固定姿势。挑选图片时按以下标准检查图片清晰人脸区域没有明显模糊或虚焦。人脸占比适中最好覆盖不同景别既有正面近景也有半身和中景。光线多样室内、室外、自然光、人造光都可以有但单张图片本身要曝光正常。表情多样正面微笑、中性表情、侧脸、是否戴眼镜等信息最好都有覆盖。避免美颜过重、滤镜过重、贴纸遮挡、多人同框的图片。适合作为训练图不适合作为训练图对焦准确的人像近景严重模糊或低分辨率截图多角度、多表情覆盖全部同一角度同一表情光线自然、肤色正常重度美颜滤镜、磨皮过度单人脸部完整可见多人合影或脸部大面积遮挡景别丰富近景/半身/中景人物全身占满但脸部区域很小注意如果训练对象是真实存在的个人无论是自己还是他人都应先确认授权。生成他人肖像并用于公开内容前尤其要明确使用边界和合规要求。3.2 统一裁剪与目录结构训练框架通常要求图片分辨率一致。最常见做法是把所有训练图统一裁剪成 1024x1024 的方形图。这里给出一个简单的 Python 预处理脚本使用 PIL 完成中心裁剪和缩放from PIL import Image import os src_dir raw_images out_dir dataset/images os.makedirs(out_dir, exist_okTrue) for name in sorted(os.listdir(src_dir)): if not name.lower().endswith((.jpg, .jpeg, .png)): continue img Image.open(os.path.join(src_dir, name)).convert(RGB) w, h img.size side min(w, h) # 从图片中心切一个方形区域 img img.crop(((w - side) // 2, (h - side) // 2, (w - side) // 2 side, (h - side) // 2 side)) img img.resize((1024, 1024), Image.LANCZOS) img.save(os.path.join(out_dir, name)) print(done)这段脚本做的事情是读取原始图片从中心切出方形区域再缩放到 1024x1024。如果人脸不在图片中心也可能需要先手动把人脸区域裁剪出来再缩放。脚本只是示例实际项目要结合自己的图片尺寸和训练分辨率调整。统一分辨率有两个目的一是让训练框架能按固定张量形状处理数据二是避免模型学到“不同图片里的脸部尺度不一致”这个错误信息。数据集目录常见结构