十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

第一个Kolors文生图工作流:ComfyUI-Kolors-MZ从零到出图,12个节点逐个讲透

第一个Kolors文生图工作流:ComfyUI-Kolors-MZ从零到出图,12个节点逐个讲透 第一个Kolors文生图工作流ComfyUI-Kolors-MZ从零到出图12个节点逐个讲透【免费下载链接】ComfyUI-Kolors-MZKolors的ComfyUI原生采样器实现(Kolors ComfyUI Native Sampler Implementation)项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Kolors-MZ这篇文章带你用ComfyUI-Kolors-MZKolors 的 ComfyUI 原生采样器插件完成第一个Kolors 文生图工作流从插件安装、模型下载到 12 个节点逐个拆解、KSampler 参数调优全程无需写代码跟着做就能在 ComfyUI 里稳定出 Kolors 的图。 Kolors是什么ComfyUI-Kolors-MZ解决了什么问题Kolors 是快手可灵开源的文生图大模型基于 SDXL 架构但用ChatGLM3作为中文文本编码器对中文提示词的理解能力远超原生 SDXL。问题在于ComfyUI 原生无法识别 Kolors 的模型结构。ComfyUI-Kolors-MZ 通过钩子机制hook_comfyui_kolors_v2.py把 Kolors 的 UNet 配置注入 ComfyUI 的模型检测流程让 Kolors直接走 ComfyUI 原生采样管线——不需要自定义采样器代码工作流里用的全是标准节点。✅ 插件的核心能力一览原生采样KSampler 直接可用不用 wrapper 节点中文编码器内置 ChatGLM3 加载与编码节点支持 4bit/8bit 量化生态扩展配套 ControlNet、局部重绘、IPAdapter/FaceID 全套节点 安装步骤3分钟装好 ComfyUI-Kolors-MZ 插件打开终端进入 ComfyUI 的自定义节点目录执行仅此处涉及仓库地址cd ComfyUI/custom_nodes git clone https://gitcode.com/gh_mirrors/co/ComfyUI-Kolors-MZ python main.py然后重启 ComfyUI。之后在节点搜索栏输入MinusZone就能看到本插件的全部节点它们统一归类在MinusZone - Kolors分类下节点注册见init.py。 模型下载3类Kolors模型该放哪个文件夹Kolors 文生图需要 3 个文件存放位置非常关键模型存放位置作用Kolors UNetdiffusion_pytorch_model.fp16.safetensorsmodels/unet/文生图主模型ChatGLM3chatglm3-fp16.safetensorsmodels/LLM/中文文本编码器SDXL VAEmodels/vae/潜空间解码成图片UNet 放错位置的坑Kolors 的 UNet 有两种用法——放在models/unet/就用MZ_KolorsUNETLoaderV2加载放在models/checkpoints/则用MZ_KolorsCheckpointLoaderSimple加载。不确定就两种都试一下官方 FAQ 原话。 工作流总览第一个Kolors文生图的12个节点基础文生图工作流如下图工作流 JSON 就嵌在 PNG 里直接把这张图拖进 ComfyUI 画布即可导入整条工作流在基础 9 节点之上加上 3 个可选的进阶开关节点就是完整的12 节点版Kolors 文生图工作流阶段节点作用① 加载模型1-3UNET加载 / VAE加载 / ChatGLM3加载把3个模型送进内存② 文本编码4-6正向/负向 TextEncodeV2 / Embeds2Conditioning中文提示词 → 条件向量③ 进阶开关7-8ApplyCUDAGenerator / ApplySDXLSamplingSettings种子复现、调度器微调④ 生成出图9-12空Latent / K采样器 / VAE解码 / 预览图像噪声 → 图片 阶段一节点1~3把三类模型加载进来节点1MinusZone - KolorsUNETLoaderV2Kolors主模型加载器从models/unet/加载 Kolors 主模型。它和普通 UNET Loader 的区别在于内部会临时套用 Kolors 专用配置context_dim: 2048、adm_in_channels: 5632等并在 UNet 中注入encoder_hid_proj线性层把 ChatGLM3 的 4096 维编码压缩到 2048 维供注意力层使用实现逻辑见 mz_kolors_core.py 与 hook_comfyui_kolors_v2.py。节点2VAE LoaderComfyUI标准节点选择models/vae/下的SDXL VAE。Kolors 沿用 SDXL 的 VAE这一步和普通 SDXL 工作流完全一样。节点3MinusZone - ChatGLM3Loader中文文本编码器从models/LLM/加载 ChatGLM3 的 safetensors 文件配置来自 configs/text_encoder_config.json模型实现内置在 chatglm3/ 目录中。显存紧张选4bit/8bit 量化版文件名含4bit/8bit会自动触发量化加载4bit 需额外pip install cpm_kernels报RuntimeError: Only Tensors of floating point dtype...换 fp16 版本✍️ 阶段二节点4~6把中文提示词变成模型能懂的条件节点4 5MinusZone - ChatGLM3TextEncodeV2正向 负向同一节点用两次一次接正向提示词比如画着樱花的女孩红色外套城市夜景一次接负向提示词比如低质量变形模糊。输出标准的 CONDITIONING 条件直接喂给 KSampler。V2 相比旧版ChatGLM3TextEncode的改进不再需要单独拉一根hid_proj线旧版见 mz_kolors_legacy.py投影逻辑已并入 UNet连线更干净。 小技巧提示词里写{选项A|选项B}会每次随机二选一方便批量探索构图随机逻辑见 mz_kolors_core.py。节点6可选MinusZone - ChatGLM3Embeds2Conditioning面向2048 高分辨率场景一次输出 positive/negative 两路条件并携带width / height / crop_w / crop_h / target_width / target_height尺寸信息让模型更准确地理解目标比例。普通 1024 出图可以跳过这个节点。 阶段三节点7~8两个进阶开关可选但推荐节点7MinusZone - ApplyCUDAGenerator同种子同图Kolors 官方实现与 ComfyUI 默认的 CPU 噪声生成有细微差异会导致同种子不同图。这个节点把噪声生成切换到 CUDA 生成器实现跨实现种子级复现原理见 mz_kolors_core.py。做对比测试、风格微调时非常有用。节点8MinusZone - ApplySDXLSamplingSettings调度器微调把采样调度器参数切回 SDXL 官方设定linear beta、1000 步标度。默认 Kolors 参数1100 步标度下效果就不错此节点属于口味级调节不接也不会出错。下图是官方同种子对比测试工作流含 MZ-V2 完整 12 节点布局与 Wrapper 方案对照可拖入画布直接体验 阶段四节点9~12一键出图节点9Empty Latent空潜空间决定画面尺寸。推荐 1024×1024方形或 960×1280竖版批次大小 1。注意这里的分辨率会参与 Kolors 的尺寸条件编码比例别偏离 1:1 / 3:4 / 4:3 太远。节点10KSamplerK采样器——出图核心所有条件在此汇合正向/负向条件 模型 Latent执行去噪采样。节点11VAE DecodeVAE解码把去噪后的 Latent 解码成像素图像。节点12Preview Image预览图像在画布上实时预览出图结果。 Kolors文生图KSampler参数速查表参数推荐值说明随机种子固定或随机配合节点7可跨端复现步数20~2520 步已足够25 步细节更稳CFG4~75~6 为佳偏低更自然偏高更听话但易过饱和采样器ddimpp_2m_sde_gpu/ddim_uniform官方工作流默认搭配调度器karras与上面采样器搭配降噪1.00文生图固定 1.0 常见问题5个报错及快速修复报错/现象快速修复模型加载失败、类型检测不到UNet 在unet/目录用 V2 加载器在checkpoints/用MZ_KolorsCheckpointLoaderSimplename round_up is not defined执行pip install -U cpm_kernelsmodule comfy.model_detection has no attribute...把 ComfyUI 本体更新到最新版Only Tensors of floating point dtype...ChatGLM3 换 fp16 版本ChatGLMModel object has no attribute transformer检查models/LLM/里模型文件是否下载完整 进阶方向出图之后的三大扩展跑通基础文生图后ComfyUI-Kolors-MZ 还为 Kolors 补全了整条创作链路示例工作流同样内嵌在 PNG 里拖入画布即可使用① ControlNet 结构控制深度/Canny/姿态用MZ_KolorsControlNetLoader加载官方 Kolors ControlNet再接MZ_KolorsControlNetPatch注入 Kolors 专用的编码器投影即可控制构图和姿势② 局部重绘 Inpainting加载 Kolors-Inpainting 模型到models/unet/配合 VAE 编码与蒙版即可精准修改局部如换衣服、换背景出图时采样器换ddim_uniform效果更好③ IPAdapter / FaceID 参考生图借助 ComfyUI_IPAdapter_plus 的 Kolors 适配节点实现以图生图、参考构图甚至人脸一致 小结ComfyUI-Kolors-MZ 让 Kolors 以原生采样方式接入 ComfyUI12 个节点即可从零出图记住三步装插件 → 模型放对文件夹unet/、LLM/、vae/→ 拖入工作流图KSampler 记住20~25 步 CFG 5~6 karras基本不会翻车出图只是起点ControlNet、局部重绘、IPAdapter/FaceID 工作流都在 examples/ 目录中拖图即用【免费下载链接】ComfyUI-Kolors-MZKolors的ComfyUI原生采样器实现(Kolors ComfyUI Native Sampler Implementation)项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Kolors-MZ创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表