Stability AI generative-models 实战从一段视频生成4D新视角视频先跑通第一个结果再判断【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-modelsStability AI 的 generative-models 是一套视频到4D生成的推理与训练代码库SV4D 2.0 接收 12 帧输入视频输出 576x576 的 48 帧12 帧 x 4 相机视角新视角视频仓库同时包含 SVD、SV3D、SDXL 的推理脚本和 YAML 训练配置。它适合想拿一段实拍或合成视频做新视角合成、4D 资产重建或想改造扩散模型组件做实验的开发者。谁适合用它适合做视频到4D生成SV4D 2.0 以 12 帧、576x576 视频为条件一次采样生成 48 帧12 帧 x 4 视角21 帧长视频通过自回归滚动生成README 明确它对真实背景视频的泛化比初代 SV4D 好且不再依赖 SV3D 生成的首帧参考多视图。做单图到轨道视频SV3D_u 单图生成 21 帧绕轨视频SV3d_p 额外支持指定 21 个elevations_deg/azimuths_deg角度序列即相机轨迹你自己给见 scripts/sampling/simple_video_sample.py。做文本到图像或图生视频SDXL-Turbo 走 Streamlit 演示scripts/demo/turbo.pySVD 出 14 帧 576x1024SVD-XT 微调后出 25 帧。想改模型组件做实验YAML 驱动装配denoiser、损失加权、sigma 采样互不耦合核心模型类是sgm/models/diffusion.py里的DiffusionEngine条件统一走GeneralConditionersgm/modules/encoders/modules.py。不适合没有像样 CUDA 显卡的simple_video_sample_4d2.py默认encoding_t8、decoding_t4脚本注释写明这是显存大头需要 GPU。要生产级 API 服务的仓库定位为研究用途推理入口是 Streamlit 页面和命令行脚本不是服务框架。只想开箱出图、不想碰配置文件的训练侧要自己改configs/example_training/下的配置非 toy 数据集需要按USER:注释修改数据路径latent 模型还要替换 VAE 的CKPT_PATH占位符。许可证SDXL 权重采用 CreativeML Open RAIL-M见 model_licenses/SV3D/SVD/SV4D 权重各自带独立许可文件商用前对照 model_licenses/LICENSE-SV3D。30秒理解原理把模型想象成一个会连拍 360 度的摄影师你给它一段正面拍摄的视频它按时间帧 x 相机视角的网格补齐其余角度的画面且保证物体在运动过程中各帧不穿模、不变形。SV4D 2.0 的网格是 12 帧 x 4 视角长视频靠自回归——每生成 12 帧就拿上一批结果当下一批的条件继续滚README 的 QUICKSTART 一节。上图演示 SV3D 从单张图像生成绕轨新视角视频同一物体在不同相机角度下连续成帧网格里的每个格子对应某一时刻的某一视角。配置层只需知道装配逻辑scripts/sampling/configs/sv4d2.yaml 里每个target:指向一个类ckpt_path指向权重conditioner_config列出条件嵌入器改组件就改这些字段。如何跑通第一个4D视频结果第 1 步克隆并装环境官方只测过 python3.10git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models python3.10 -m venv .generativemodels source .generativemodels/bin/activate pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install .你会看到依赖装完、sgm包导入不报错。torch 的 whl 地址按你的 CUDA 版本换装错版本后面报 import 错误。第 2 步下载权重到checkpoints/huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints你会在checkpoints/下得到sv4d2.safetensors这一步是脚本默认读取的路径少它直接报文件找不到。第 3 步用仓库自带素材跑 21 帧视频python scripts/sampling/simple_video_sample_4d2.py \ --input_path assets/sv4d_videos/camel.gif \ --output_folder outputs默认num_steps50跑完后outputs/里生成新视角视频5 路视角输入视角 4 个新视角各一段。想看效果对照仓库里的示例输出上图是 SV4D 2.0 的输出拼格同一移动物体在多个相机视角下的 4D 新视角合成结果这就是你要跑出来的东西。容易卡住的3个地方1. 权重找不到ckpt_path指向的文件不存在现象加载时直接报文件缺失。原因scripts/sampling/configs/sv4d2.yaml 第 11 行写死ckpt_path: checkpoints/sv4d2.safetensors且脚本按文件名区分模型变体。解法把权重重命名为sv4d2.safetensors放进checkpoints/想用 8 视角模型就下sv4d2_8views.safetensors并加--model_path checkpoints/sv4d2_8views.safetensors。2. 显存爆掉CUDA OOM现象默认参数跑几十帧视频时torch.cuda.OutOfMemoryError。原因默认encoding_t8、decoding_t4是显存大头scripts/sampling/simple_video_sample_4d2.py 的注释写明。解法--encoding_t1 --decoding_t1再不行降分辨率--img_size512。先别急着改步数这两个参数才是显存杠杆降num_steps只省时间不省显存。3. Python 版本不对import 或依赖冲突现象transformers、tokenizers等装出解析冲突。原因README 注明tested under python3.10其他版本可能遇到版本冲突requirements/pt2.txt 里numpy2.1、transformers4.19.1等版本是配套锁死的。解法强制用 3.10 重建虚拟环境python3.10 -m venv .generativemodels。下一步做什么只有一张图时先试 SV3D_p 单图轨道视频验证你对相机角度的控制python scripts/sampling/simple_video_sample.py --input_path 你的图片.png \ --version sv3d_p --elevations_deg 30.021 个角度的动态轨迹则给--elevations_deg和--azimuths_deg各传一个 21 元素列表azimuth 需在 0 到 360 内升序。想改模型行为从 scripts/sampling/configs/sv4d2.yaml 读起重点看conditioner_config的emb_models列表和 denoiser 的sigma_min/sigma_max/rho取值训练侧入口是python main.py --base config1.yaml config2.yaml配置从左到右合并、后者覆盖前者。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Stability AI generative-models 实战：从一段视频生成4D新视角视频，先跑通第一个结果再判断
Stability AI generative-models 实战从一段视频生成4D新视角视频先跑通第一个结果再判断【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-modelsStability AI 的 generative-models 是一套视频到4D生成的推理与训练代码库SV4D 2.0 接收 12 帧输入视频输出 576x576 的 48 帧12 帧 x 4 相机视角新视角视频仓库同时包含 SVD、SV3D、SDXL 的推理脚本和 YAML 训练配置。它适合想拿一段实拍或合成视频做新视角合成、4D 资产重建或想改造扩散模型组件做实验的开发者。谁适合用它适合做视频到4D生成SV4D 2.0 以 12 帧、576x576 视频为条件一次采样生成 48 帧12 帧 x 4 视角21 帧长视频通过自回归滚动生成README 明确它对真实背景视频的泛化比初代 SV4D 好且不再依赖 SV3D 生成的首帧参考多视图。做单图到轨道视频SV3D_u 单图生成 21 帧绕轨视频SV3d_p 额外支持指定 21 个elevations_deg/azimuths_deg角度序列即相机轨迹你自己给见 scripts/sampling/simple_video_sample.py。做文本到图像或图生视频SDXL-Turbo 走 Streamlit 演示scripts/demo/turbo.pySVD 出 14 帧 576x1024SVD-XT 微调后出 25 帧。想改模型组件做实验YAML 驱动装配denoiser、损失加权、sigma 采样互不耦合核心模型类是sgm/models/diffusion.py里的DiffusionEngine条件统一走GeneralConditionersgm/modules/encoders/modules.py。不适合没有像样 CUDA 显卡的simple_video_sample_4d2.py默认encoding_t8、decoding_t4脚本注释写明这是显存大头需要 GPU。要生产级 API 服务的仓库定位为研究用途推理入口是 Streamlit 页面和命令行脚本不是服务框架。只想开箱出图、不想碰配置文件的训练侧要自己改configs/example_training/下的配置非 toy 数据集需要按USER:注释修改数据路径latent 模型还要替换 VAE 的CKPT_PATH占位符。许可证SDXL 权重采用 CreativeML Open RAIL-M见 model_licenses/SV3D/SVD/SV4D 权重各自带独立许可文件商用前对照 model_licenses/LICENSE-SV3D。30秒理解原理把模型想象成一个会连拍 360 度的摄影师你给它一段正面拍摄的视频它按时间帧 x 相机视角的网格补齐其余角度的画面且保证物体在运动过程中各帧不穿模、不变形。SV4D 2.0 的网格是 12 帧 x 4 视角长视频靠自回归——每生成 12 帧就拿上一批结果当下一批的条件继续滚README 的 QUICKSTART 一节。上图演示 SV3D 从单张图像生成绕轨新视角视频同一物体在不同相机角度下连续成帧网格里的每个格子对应某一时刻的某一视角。配置层只需知道装配逻辑scripts/sampling/configs/sv4d2.yaml 里每个target:指向一个类ckpt_path指向权重conditioner_config列出条件嵌入器改组件就改这些字段。如何跑通第一个4D视频结果第 1 步克隆并装环境官方只测过 python3.10git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models python3.10 -m venv .generativemodels source .generativemodels/bin/activate pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install .你会看到依赖装完、sgm包导入不报错。torch 的 whl 地址按你的 CUDA 版本换装错版本后面报 import 错误。第 2 步下载权重到checkpoints/huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints你会在checkpoints/下得到sv4d2.safetensors这一步是脚本默认读取的路径少它直接报文件找不到。第 3 步用仓库自带素材跑 21 帧视频python scripts/sampling/simple_video_sample_4d2.py \ --input_path assets/sv4d_videos/camel.gif \ --output_folder outputs默认num_steps50跑完后outputs/里生成新视角视频5 路视角输入视角 4 个新视角各一段。想看效果对照仓库里的示例输出上图是 SV4D 2.0 的输出拼格同一移动物体在多个相机视角下的 4D 新视角合成结果这就是你要跑出来的东西。容易卡住的3个地方1. 权重找不到ckpt_path指向的文件不存在现象加载时直接报文件缺失。原因scripts/sampling/configs/sv4d2.yaml 第 11 行写死ckpt_path: checkpoints/sv4d2.safetensors且脚本按文件名区分模型变体。解法把权重重命名为sv4d2.safetensors放进checkpoints/想用 8 视角模型就下sv4d2_8views.safetensors并加--model_path checkpoints/sv4d2_8views.safetensors。2. 显存爆掉CUDA OOM现象默认参数跑几十帧视频时torch.cuda.OutOfMemoryError。原因默认encoding_t8、decoding_t4是显存大头scripts/sampling/simple_video_sample_4d2.py 的注释写明。解法--encoding_t1 --decoding_t1再不行降分辨率--img_size512。先别急着改步数这两个参数才是显存杠杆降num_steps只省时间不省显存。3. Python 版本不对import 或依赖冲突现象transformers、tokenizers等装出解析冲突。原因README 注明tested under python3.10其他版本可能遇到版本冲突requirements/pt2.txt 里numpy2.1、transformers4.19.1等版本是配套锁死的。解法强制用 3.10 重建虚拟环境python3.10 -m venv .generativemodels。下一步做什么只有一张图时先试 SV3D_p 单图轨道视频验证你对相机角度的控制python scripts/sampling/simple_video_sample.py --input_path 你的图片.png \ --version sv3d_p --elevations_deg 30.021 个角度的动态轨迹则给--elevations_deg和--azimuths_deg各传一个 21 元素列表azimuth 需在 0 到 360 内升序。想改模型行为从 scripts/sampling/configs/sv4d2.yaml 读起重点看conditioner_config的emb_models列表和 denoiser 的sigma_min/sigma_max/rho取值训练侧入口是python main.py --base config1.yaml config2.yaml配置从左到右合并、后者覆盖前者。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考