StoryDiffusion本地生成角色一致多格漫画的开源方案与快速上手教程【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusionStoryDiffusion 是一个获得 NeurIPS 2024 Spotlight 的开源图像生成项目。它的核心是一致性自注意力机制可以让同一个角色在整组生成图中保持外观不变从而用一张参考照片加若干条文本描述产出多格漫画或连贯的故事图像序列。为什么角色一致性是图像生成的难题用普通扩散模型制作漫画、绘本或故事图序列时每生成一张新图角色的长相和服饰都会变化往往需要逐格手动重画或反复调整提示词。StoryDiffusion 针对的就是这个问题一致自注意力模块让注意力信息在长序列内流动角色就能在多帧画面中稳定出现。整个流程被简化为三步准备角色参考图、逐格填写文本描述、点击生成。它能做什么依赖哪些条件角色一致图像序列该模块可热插拔兼容所有基于 SD1.5 和 SDXL 的图像扩散模型要求至少提供 3 条文本描述建议 5 到 6 条以获得更合理的版面布局。漫画自动排版多格画面自动拼成整页每格附带文字说明结果会自动保存到results文件夹。PhotoMaker 角色参考可基于真人照片指定角色面部并支持两人同框的场景。多种艺术风格界面可直接切换风格模板定义在utils/style_template.py默认为日系动漫风。两阶段长视频生成先生成一致图像序列再由运动预测器在压缩语义空间推断帧间运动不过视频模型的源码与权重尚未公开目前可实际使用的是图像部分。基础模型与参数统一在config/models.yaml中管理模型文件会在首次运行时自动下载。安装与启动步骤克隆仓库git clone https://gitcode.com/GitHub_Trending/st/StoryDiffusion创建 Python 3.10 环境并安装依赖要求 Python ≥ 3.8、PyTorch ≥ 2.0conda create --name storydiffusion python3.10pip install -r requirements.txt启动低显存 Gradio 界面官方在 24GB 显存、30GB 内存的机器上测试通过20GB 以上显存可稳定运行python gradio_app_sdxl_specific_id_low_vram.py打开浏览器页面上传参考图、逐格填写文本描述、选择风格后生成。也可以直接运行Comic_Generation.ipynb以笔记本方式逐步实验参数历史版本脚本保留在oldversion/目录。实际产出效果下图是 StoryDiffusion 生成的一组多格漫画同一位红发戴眼镜的角色在多格中保持一致画面从家中读报、沿林间小路行走到发现宝藏小屋每格下方带有英文说明文字。适用人群与需要注意的边界比较适合的使用者漫画、绘本创作者需要固定角色批量出图内容生产者为某个固定形象制作一组故事图序列教育工作者制作教学材料或儿童故事。需要注意的限制显存要求不低低显存版本也按 24GB 显存测试显存较小的机器可能无法运行首次运行需下载多个模型权重生成过程本身也较慢文本描述数量和质量直接影响排版效果不要少于 3 条参考照片质量会直接影响角色一致性视频生成部分尚未完整开源暂不可用。下一步阅读方向update.md版本更新历史与待办事项config/models.yaml基础模型与参数配置utils/pipeline.py与utils/model.py生成流程与模型加载源码适合做二次开发Comic_Generation.ipynb分步实验布局与风格参数。【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 StoryDiffusion：本地生成角色一致多格漫画的开源方案与快速上手教程
StoryDiffusion本地生成角色一致多格漫画的开源方案与快速上手教程【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusionStoryDiffusion 是一个获得 NeurIPS 2024 Spotlight 的开源图像生成项目。它的核心是一致性自注意力机制可以让同一个角色在整组生成图中保持外观不变从而用一张参考照片加若干条文本描述产出多格漫画或连贯的故事图像序列。为什么角色一致性是图像生成的难题用普通扩散模型制作漫画、绘本或故事图序列时每生成一张新图角色的长相和服饰都会变化往往需要逐格手动重画或反复调整提示词。StoryDiffusion 针对的就是这个问题一致自注意力模块让注意力信息在长序列内流动角色就能在多帧画面中稳定出现。整个流程被简化为三步准备角色参考图、逐格填写文本描述、点击生成。它能做什么依赖哪些条件角色一致图像序列该模块可热插拔兼容所有基于 SD1.5 和 SDXL 的图像扩散模型要求至少提供 3 条文本描述建议 5 到 6 条以获得更合理的版面布局。漫画自动排版多格画面自动拼成整页每格附带文字说明结果会自动保存到results文件夹。PhotoMaker 角色参考可基于真人照片指定角色面部并支持两人同框的场景。多种艺术风格界面可直接切换风格模板定义在utils/style_template.py默认为日系动漫风。两阶段长视频生成先生成一致图像序列再由运动预测器在压缩语义空间推断帧间运动不过视频模型的源码与权重尚未公开目前可实际使用的是图像部分。基础模型与参数统一在config/models.yaml中管理模型文件会在首次运行时自动下载。安装与启动步骤克隆仓库git clone https://gitcode.com/GitHub_Trending/st/StoryDiffusion创建 Python 3.10 环境并安装依赖要求 Python ≥ 3.8、PyTorch ≥ 2.0conda create --name storydiffusion python3.10pip install -r requirements.txt启动低显存 Gradio 界面官方在 24GB 显存、30GB 内存的机器上测试通过20GB 以上显存可稳定运行python gradio_app_sdxl_specific_id_low_vram.py打开浏览器页面上传参考图、逐格填写文本描述、选择风格后生成。也可以直接运行Comic_Generation.ipynb以笔记本方式逐步实验参数历史版本脚本保留在oldversion/目录。实际产出效果下图是 StoryDiffusion 生成的一组多格漫画同一位红发戴眼镜的角色在多格中保持一致画面从家中读报、沿林间小路行走到发现宝藏小屋每格下方带有英文说明文字。适用人群与需要注意的边界比较适合的使用者漫画、绘本创作者需要固定角色批量出图内容生产者为某个固定形象制作一组故事图序列教育工作者制作教学材料或儿童故事。需要注意的限制显存要求不低低显存版本也按 24GB 显存测试显存较小的机器可能无法运行首次运行需下载多个模型权重生成过程本身也较慢文本描述数量和质量直接影响排版效果不要少于 3 条参考照片质量会直接影响角色一致性视频生成部分尚未完整开源暂不可用。下一步阅读方向update.md版本更新历史与待办事项config/models.yaml基础模型与参数配置utils/pipeline.py与utils/model.py生成流程与模型加载源码适合做二次开发Comic_Generation.ipynb分步实验布局与风格参数。【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考