World Labs 发布世界模型 Atlas这是一个面向空间智能的多模态自回归扩散 Transformer 模型。很多开发者看到这则消息的第一反应是世界模型到底解决了什么问题Atlas 和现有的视频生成模型、3D 重建管线、多模态大模型有什么区别自回归和扩散 Transformer 为什么会被组合到同一个框架里。这篇文章会把 Atlas 拆成四层来理解第一层是它要解决的“空间智能”任务第二层是它背后的多模态数据处理逻辑第三层是自回归加扩散 Transformer 的架构设计动机第四层是这类模型从研究原型走向工程部署时真正会遇到的配置、显存、推理和评估问题。读完你会得到一个可以写进简历项目描述、研究笔记或技术方案里的完整判断框架。1. 先理解世界模型和空间智能Atlas 在解决什么问题1.1 从大语言模型到世界模型任务重心发生了什么变化大语言模型的核心能力是理解离散符号序列。给它一段文本它预测下一个 token给它一段代码它补全剩余逻辑。这类模型擅长处理“已经被人为编码过的信息”但对物理世界的连续状态、物体之间的遮挡关系、摄像机移动后的视角变化、动作执行后的空间变化并没有天然的建模能力。世界模型的目标正好相反。它不再只预测下一个单词而是预测下一个“世界状态”。给定当前观察到的画面、用户输入的一段指令、或者一个动作序列世界模型需要回答的问题是接下来画面会变成什么样物体移动到哪个位置光线和遮挡关系如何变化这个场景在三维空间中是否自洽。Atlas 把这个目标落实到了“空间智能”上。所谓空间智能通俗说就是模型能够理解场景中物体的位置、大小、朝向、遮挡、深度和前后关系并且能基于这些信息生成符合物理规律的新视角或新内容。它不仅是“识别出画面里有一张桌子”而是知道桌子相对镜头的距离、它被其他物体遮挡了多少、从另一个角度看过去它会是什么样。1.2 Atlas 在技术定位上属于哪一类模型从标题可以看出Atlas 的完整定位是“多模态自回归扩散 Transformer”。拆开来看多模态输入不止文本还包括图像、视频、用户画布、掩码、深度信息或动作信号。自回归生成过程按顺序进行逐步预测下一段内容而不是一次全部生成。扩散通过去噪过程生成连续信号比如像素级画面而不是直接输出离散 token。Transformer负责多模态特征之间的交互和长距离依赖建模是整个网络的主干。这类模型的典型工作方式是把输入模态编码成统一表示用自回归的方式逐步决定生成内容的顺序用扩散模型在每一步完成高质量的连续信号生成。Atlas 名字本身带有的“地图集”含义也暗示了它是对空间信息进行系统建模和生成。这里要特别注意不要把 Atlas 理解成“又一个视频生成模型”。视频生成模型通常只关注像素层面的时序一致性和画质Atlas 关注的是空间关系的一致性视频或图像只是它输出空间推理结果的一种载体。1.3 空间智能为什么不能靠单纯扩大视频生成模型解决如果只在大量视频上训练一个更大的扩散模型模型可以学会生成看起来连续的画面但很难保证生成内容在空间上正确。比如从正面看到桌上有杯子绕到背面时杯子应该被桌子挡住一部分推一下杯子它的位置和影子应该按物理规律变化。这些关系不是像素统计规律能完全覆盖的需要模型建立对三维结构和物理状态的内部表征。空间智能的关键在“推理”而不是“渲染”。Atlas 的设计目标是在生成视频或图像之前先让模型建立对场景空间结构的理解再基于这个理解去生成不同视角、不同动作后的结果。这也是为什么它采用多模态输入用户可以用文本描述意图用图像给定场景用掩码指定区域用深度图提供空间约束模型把这些信号统一处理后输出空间一致的生成结果。2. Atlas 的技术核心多模态输入、自回归生成与扩散 Transformer 的分工2.1 多模态输入到底包含什么这里列一下 Atlas 类世界模型常见的数据输入类型方便后续工程设计和复现时对照输入模态典型数据形式提供的信息编码方式文本指令字符串描述生成任务意图文本编码器映射为 embedding参考图像RGB 图像指定场景外观和物体布局图像编码器提取视觉特征视频片段连续帧序列提供时序和运动上下文视频编码器或逐帧编码深度图单通道深度值提供几何深度先验与图像特征融合用户掩码二值或软掩码指定生成或编辑区域作为条件分支输入摄像机参数内外参矩阵提供视角和投影关系通过位置编码或 MLP 映射实际训练和推理时这些模态不一定全部出现。Atlas 的一个设计重点是通过交叉注意力或统一 token 序列把不同模态的特征映射到同一个 Transformer 可以处理的表示空间里。这样模型既能做“文本生成图像”“图像生成视频”也能做“多视角生成”“场景编辑”这类跨模态空间任务。2.2 为什么要在同一框架里同时使用自回归和扩散先说扩散模型。扩散模型擅长生成连续的、高细节的信号比如图像和视频帧。它的训练方式是给原始数据逐步加噪让模型学会去噪推理时从一个随机噪声开始通过多步去噪得到结果。它是当前图像和视频生成质量最好的方法之一但它不擅长做长序列的结构化决策容易在长时间生成中累积误差。再说自回归模型。自回归模型擅长按顺序生成离散序列语言模型是典型代表。它的优势是能够用前面的预测结果作为后面预测的条件天然适合逐步决策但它生成连续图像时通常需要把图像离散化成 token这个量化过程会损失细节。Atlas 把它们组合起来思路很直接先生成空间和结构层面的“计划”再在每个计划步骤上使用扩散模型渲染高质量内容。学术上这种思路可以理解为多阶段生成自回归阶段决定高层的空间结构扩散阶段负责高保真的视觉生成。工程上这样做还能降低单次生成的计算压力因为扩散模型不需要一次性从头生成整个长视频而是按自回归阶段拆好的片段逐步生成。2.3 Atlas 中 Transformer 主干的角色Transformer 在 Atlas 里不是简单的特征提取器而是多模态信息的汇聚器和自回归决策的执行器。一个典型流程可以这样看文本、图像、深度等模态经过各自编码器得到特征序列。这些特征序列通过线性投影和位置编码被统一到同一个 token 空间。Transformer 主体对这些 token 进行多层自注意力和交叉注意力处理让不同模态的信息充分交互。每个自回归步骤Transformer 输出下一段的“条件表示”这个表示送入扩散解码器扩散解码器基于它去噪生成图像或视频帧。生成的帧作为下一轮的输入上下文模型继续预测下一段内容。这种结构的好处是不同模态之间不需要人为设计复杂的融合规则注意力机制会自动决定模型在预测当前内容时更依赖文本、图像还是深度信息。注意理解 Atlas 的关键不是背住它的参数量和发布消息而是理解它把空间关系建模、自回归决策、扩散渲染三件事拆分到了不同模块里。这也是世界模型和传统生成模型最根本的架构差异。3. 技术落地视角如果要复现或部署 Atlas 类模型需要准备什么原版 Atlas 的完整训练代码和权重是否全部开放取决于发布方的具体开源策略。但从工程角度看即使只能拿到推理代码、示例脚本或部分预训练权重我们也能搭建一个最小可用的 Atlas 类推理 Demo。下面按照工程落地的顺序来设计。3.1 硬件与基础环境要求世界模型的推理比传统大语言模型更吃显存因为扩散模型需要在连续空间里维护多步去噪状态而且多模态编码器会同时占住显存。一个偏向现实的配置参考如下项目学习环境推荐部署环境GPU单张 NVIDIA RTX 4090 或 A100 40G多卡 A100/H100建议 80G 显存显存至少 24GB至少 80GB 或分布式推理内存32GB 以上128GB 以上存储模型权重可能占用 20-100GBSSD预留充足空间操作系统Ubuntu 20.04/22.04生产服务器 Linux 发行版CUDACUDA 11.8 或 12.1与 PyTorch 版本匹配的 CUDAPython3.103.10如果你只有 16GB 显存不意味着完全无法运行。可以通过以下方式压缩资源占用使用 4-bit 或 8-bit 量化加载权重。限制最大生成分辨率降低扩散模型的空间尺寸。减少扩散去噪步数例如从 50 步减少到 20 步。使用 CPU offload把不活跃的编码器权重临时移到内存。但要注意显存不足直接调小分辨率会影响空间推理质量量化可能让扩散阶段出现明显画质损失。建议以“能跑通”为目标做配置不是以“达到最佳生成效果”为目标。3.2 依赖安装顺序推荐按以下顺序安装依赖避免出现 CUDA、PyTorch、diffusers 版本之间的冲突# 1. 创建独立虚拟环境 conda create -n atlas_demo python3.10 -y conda activate atlas_demo # 2. 安装符合本地 CUDA 版本的 PyTorch # 如果 CUDA 是 12.1 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 3. 安装常用生成和视觉库 pip install diffusers transformers accelerate safetensors # 4. 安装图像和视频处理工具 pip install opencv-python pillow imageio imageio-ffmpeg # 5. 安装可视化调试工具 pip install matplotlib tensorboard安装完成后验证 PyTorch 是否能正确调用 GPUpython -c import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))这里最常见的坑是 PyTorch 版本与 CUDA 版本不匹配。许多开发者安装了 CPU 版 PyTorch之后报错一直指向显存不足或算子不存在浪费大量排查时间。建议在安装依赖的第一步就检查torch.cuda.is_available()是否返回True。3.3 一个最小推理流程的代码结构假设我们手上有 Atlas 的推理权重或与 Atlas 架构类似的 Multi-Modal Autoregressive Diffusion Transformer 实现一个最小推理流程可以设计为import torch import torchvision.transforms as T from PIL import Image from transformers import AutoTokenizer, AutoProcessor from diffusers import DiffusionPipeline # 模型和处理器路径按实际下载位置修改 model_path ./models/atlas-local # 加载多模态处理器负责文本和图像输入预处理 processor AutoProcessor.from_pretrained(model_path, trust_remote_codeTrue) # 加载世界模型 pipeline pipeline DiffusionPipeline.from_pretrained( model_path, torch_dtypetorch.float16, trust_remote_codeTrue, ) pipeline pipeline.to(cuda) # 准备输入一段文本指令 一张参考图像 instruction 将桌子上的蓝色杯子移动到左侧并生成移动后的场景新视角。 source_image Image.open(./assets/room.png).convert(RGB) source_image source_image.resize((512, 512)) # 编码多模态输入 inputs processor( text[instruction], images[source_image], return_tensorspt, ).to(cuda) # 自回归生成 with torch.no_grad(): generated pipeline.generate( **inputs, height512, width512, num_inference_steps30, autoregressive_steps4, guidance_scale7.5, seed42, ) # 保存输出帧序列 for i, frame in enumerate(generated.frames[0]): frame.save(f./outputs/atlas_result_step_{i}.png)这段代码虽然基于假设接口编写但它体现了 Atlas 类模型的核心调用思路先统一编码多模态输入再做自回归生成最后通过扩散解码输出连续画面。需要特别留意几个参数autoregressive_steps4决定模型分成几步去生成整个结果。值越大模型每一步生成的内容越少空间推理更精细但耗时越长。num_inference_steps30扩散模型在每一步内去噪的步数。步数太少画面会粗糙步数太多推理时间明显增加。guidance_scale控制生成内容对输入条件的遵循程度。值过低可能导致生成的画面偏离指令值过高则可能出现色彩过饱和或伪影。seed设置固定种子可以让结果可复现方便对比不同提示词下的空间推理效果。3.4 处理不同输入模态时的数据预处理要点多模态输入是 Atlas 的核心特色但每个模态都有各自的预处理要求文本输入需要经过 tokenizer 转成 input_ids 和 attention_mask。图像输入需要缩放、归一化。常见方案是短边缩放后中心裁剪到模型训练尺寸再除以 255 并以 ImageNet 均值方差归一化。深度图输入深度值通常需要归一化到某个范围比如 0 到 1 或 -1 到 1不能直接使用原始毫米值。掩码输入二值掩码用 0/1 表示即可转成 float 张量。软掩码要确保类型为 float32 而不是 uint8。视频输入采样帧率要固定通常从视频中均匀抽帧不能忽多忽少。如果输入预处理参数与模型训练时不一致最常见的现象是模型不报错但生成结果明显偏离预期例如物体位置错乱、视角不连续或画面整体出现灰蒙蒙的雾感。4. 关键参数解释与调优思路4.1 世界模型生成参数速查表参数含义常见默认值调小的影响调大的影响推荐场景autoregressive_steps自回归分段数4每段生成内容更多空间推理性弱生成更精细耗时增加场景编辑、多视角生成建议 4-8num_inference_steps每段扩散去噪步数30生成快但画质下降画质提升但推理慢快速预览用 20正式生成用 50guidance_scale条件遵循强度7.5生成更自由但易偏离指令更贴近指令但易过曝文本指令较模糊时调大height / width生成分辨率512显存低生成快细节增加显存暴涨依据显卡显存决定先跑通再调高seed随机种子无结果不可复现固定后可复现调试和对比实验必须固定batch_size一次生成的样本数1显存占用低吞吐提升但显存压力大默认 1视频批处理时谨慎调大4.2 自回归步数和扩散步数要配合调整很多刚接触世界模型的人会直接把num_inference_steps调很大觉得画面会更清晰却忽略了autoregressive_steps才是决定空间推理粒度的主要参数。一个更合理的调参顺序是先固定num_inference_steps30。从autoregressive_steps2开始逐渐增加到 8观察生成结果在多视角一致性和物体位置稳定性上的变化。确定合适的自回归步数后再调整扩散步数来优化画面细节。最后调整guidance_scale观察条件遵循和画质之间的平衡。如果生成结果出现“物体闪烁”“位置跳变”“视角不连贯”这类问题优先加autoregressive_steps如果出现“画面模糊”“细节纹理不清晰”优先加num_inference_steps。4.3 显存不足时的梯度裁剪方案推理阶段不存在梯度但加载多模态权重和中间激活值会占用大量显存。显存不足时有以下处置优先级优先级方案代价说明1降低生成分辨率细节下降对显存影响最直接2使用torch.float16推理略微精度损失通常视觉可接受3降低autoregressive_steps空间推理质量下降会直接影响核心效果4使用 CPU offload推理速度明显变慢适合超低显存环境5模型量化加载画质可能劣化需要关注扩散模型的量化稳定性注意不要一上来就使用量化世界模型里的扩散解码器对量化非常敏感。先尝试 float16 和降低分辨率通常能解决大多数显存不足问题。5. 运行验证如何判断模型真的具备空间智能5.1 输出为什么不能只看生成画面漂不漂亮生成一张好看但不正确的图像在世界模型任务里没有价值。判断 Atlas 类模型是否成功要设计能够验证空间推理能力的测试任务而不是只观察生成画面的分辨率。推荐使用以下三类验证任务任务一多视角一致性输入一张正面房间图要求模型生成从右侧 45 度角看到的画面。检查生成的画面中物体的相对位置是否符合透视变化例如原本被前景物体遮挡的物体是否按预期暴露出来。桌面物体的前后遮挡顺序是否与视角变化对应。场景中的墙壁、地板交线是否保持空间自洽。任务二空间编辑输入一张室内场景图加上文本指令“将沙发旁边的小桌子移动到窗户下方”。检查沙发和窗户是否保持原有位置。新生成的桌子是否出现在准确位置。地板阴影、光照方向是否随着物体移动做了合理调整。任务三动态预测输入一段短视频的前几帧模型基于前序帧预测后一帧。检查目标物体运动方向是否合理。物体被遮挡后再出现时形状和纹理是否保持一致。摄像机移动时背景是否稳定有没有发生空间扭曲。5.2 量化评估指标的选型肉眼观察主观性强需要配合自动指标。世界模型常用的自动评估指标包括指标衡量内容直接可观察的意义PSNR生成帧与真实帧的像素级差异数值越高越接近真实图像SSIM结构相似度衡量亮度、对比度和结构保持程度LPIPS感知相似度更符合人类视觉感知对纹理更敏感FID生成分布与真实分布的差异衡量整体画质和多样性深度误差指标生成结果的深度图与真实深度图差异直接衡量空间几何准确性姿态估计一致性生成帧中物体姿态与标注姿态是否一致验证空间关系推理对于 Atlas 这种空间智能模型建议增加深度误差和姿态一致性指标不能只看 FID。一个空间关系全部错乱的生成视频也可能有接近的 FID 分数。5.3 日志记录与中间状态可视化调试世界模型时必须记录足够多的中间状态。推荐记录以下信息{ input_id: test_001, text_instruction: 将桌子上的蓝色杯子移动到左侧, seed: 42, guidance_scale: 7.5, num_inference_steps: 30, autoregressive_steps: 4, resolution: 512x512, generated_frames: 8, gpu_peak_memory_mb: 38656, total_inference_seconds: 42.8 }保存这类结构化日志的用途有两个。一是复现问题时能精准还原环境参数二是对比不同参数组合时不需要肉眼重新看所有生成视频直接查表就能判断哪组配置更值得继续测试。建议把生成的第 1 帧、中间帧和最后一帧分别保存发生错误时能快速定位问题出现在自回归的哪个阶段。5.4 一个可执行的验证清单发布到博客或项目文档时可以给出这样一份 Atlas 验证清单检查 GPU 是否可用torch.cuda.is_available()为 True。使用固定 seed 生成一组基线结果。至少执行三个验证任务多视角一致性、空间编辑、动态预测。同时保存 RGB 输出、深度输出和掩码输出便于比对空间一致性。统计峰值显存和平均推理时长。将生成结果与真实数据一起可视化不能用生成样本单独展示。对比两个不同autoregressive_steps的结果验证空间推理能力差异。6. 常见问题与排错路径6.1 显存溢出CUDA out of memory现象torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 512.00 MiB可能原因生成分辨率过高。自回归步数过多中间缓存累积。同时加载多个模态编码器权重。没有使用 float16。PyTorch 与 CUDA 版本不匹配导致显存占用异常虚高。排查顺序先查看当前显存占用nvidia-smi确认是否有其他进程占住显存。将生成分辨率从 512 降到 256观察是否恢复可用。开启torch.float16推理。使用pipeline.enable_model_cpu_offload()将非活跃模块卸载到 CPU。检查是否在循环中重复调用生成导致多个中间结果同时驻留显存。预防建议设置 PyTorch 显存分配策略减少碎片影响import os os.environ[PYTORCH_CUDA_ALLOC_CONF] max_split_size_mb:2566.2 生成画面与输入文本完全不对应现象输入“把杯子移到左边”模型生成了一张没有任何杯子或没有任何移动效果的图像。可能原因guidance_scale设置过低模型没有充分参考文本条件。文本指令与图像内容关联性不强编码器没有把跨模态信息对齐。图像预处理尺寸与训练不一致视觉特征严重失真。模型权重没有正确加载随机初始化权重被当作预训练权重使用。检查方式将guidance_scale从 7.5 提升到 10 或 12观察条件遵循程度是否提升。重现原始 README 中的官方示例指令排除指令本身的问题。打印输入图像的张量形状和值范围检查归一化是否正确。用分类模型或相似度模型检查输入图像编码特征是否合理。6.3 视频序列出现物体闪烁和位置跳变现象连续两帧之间桌子上的杯子突然从左边跳到右边或者形体发生明显变形。可能原因autoregressive_steps过少模型在一步内生成大量帧帧间一致性难以保证。输入视频帧率不一致前序帧的运动信息被破坏。扩散模型每步从独立噪声采样导致帧间的随机变化太大。解决方案增加autoregressive_steps让模型逐小段生成。固定每一步扩散过程的随机种子让相邻帧共享初始噪声。保证输入视频是均匀抽帧例如每秒取 8 帧不要忽快忽慢。预防建议在自回归生成过程中每生成完一段把输出作为下一段的上下文重新编码而不是只保存最后几帧的特征。这样可以显著减少长序列的空间漂移。6.4 多模态编码器报 shape mismatch现象RuntimeError: The size of tensor a (256) must match the size of tensor b (257) at non-singleton dimension 3可能原因图像输入尺寸在某个维度上数量为奇数导致下采样时 shape 不匹配。文本 token 过长超出模型最大位置编码。深度图通道数与模型预期不一致例如模型预期 1 通道但输入了 3 通道。排查方式打印每个输入模态的张量 shape逐一与模型配置文件中的expected_shape对比。将图像长边缩放到能被 16 整除的数值例如 512、544、576。检查文本 token 数量print(inputs[input_ids].shape)。如果报错在 4 维张量上优先检查图像输入如果报错在 2 维张量上优先检查文本输入。推荐图像预处理函数import torchvision.transforms as T def preprocess_image(pil_image, target_size512): # 先将短边缩放到目标尺寸再中心裁剪避免形状不一致 transform T.Compose([ T.Resize(target_size, interpolationT.InterpolationMode.BICUBIC), T.CenterCrop(target_size), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) return transform(pil_image.convert(RGB))7. 最佳实践与扩展方向7.1 学习阶段应该练什么如果你正在学习世界模型或 Atlas 相关技术不建议一上来就追求复现完整模型。更实际的学习路径是先跑通一个普通文生图模型掌握扩散模型的推理流程。再跑通一个图生视频模型理解视频帧之间的时序一致性。然后实现一个简单多模态融合模块把 CLIP 图像特征和文本特征拼接到同一个 Transformer 输入序列里。最后再尝试加载 Atlas 或同类世界模型的推理权重理解自回归阶段与扩散阶段的衔接方式。每一步都要写清输入输出维度。维度打通了架构理解也就到位了。7.2 生产环境部署世界模型需要补哪些工程能力学习环境跑通推理只是第一步。生产环境落地还需要考虑工程能力说明推理服务化使用 vLLM、Triton 或 FastAPI 封装统一推理接口显存动态调度根据请求并发量控制 batch size 和分辨率多模态输入校验对图像大小、深度图范围、文本长度做前置校验结果缓存相同输入参数组合直接返回缓存结果降低 GPU 压力日志与监控记录显存峰值、推理耗时、失败率、生成结果哈希回滚机制保存多版本权重新权重效果异常时能快速切回旧版本安全审核生成内容入库前进行合规检查其中最关键的是接口层统一。世界模型的输入五花八门但对外暴露的 API 建议统一为{ instruction: 将桌子上的杯子移到窗台, image_url: https://example.com/images/room.png, depth_map_url: https://example.com/depth/room_depth.png, mask_url: https://example.com/mask/object.png, params: { height: 512, width: 512, num_inference_steps: 30, autoregressive_steps: 4, guidance_scale: 7.5 } }后端根据 URL 拉取图片后统一走processor预处理避免不同客户端传来各种尺寸和格式的裸数据。7.3 面向世界模型的数据集设计建议空间智能模型的训练数据比语言模型更复杂。如果你是做研究或训练自己的小规模世界模型数据集至少包含以下层级原始视频或图像序列。多视角拍摄的同一场景数据。摄像机内外参标注。物体级别的掩码和轨迹标注。深度图或点云数据。文本指令标注例如对场景编辑和动作预测的自然语言描述。没有这些空间标注模型再大也只能学到像素生成学不到空间智能。7.4 值得重点研究的三个扩展方向方向一动态世界状态压缩当前世界模型生成时会把每个历史帧都保留下来作为上下文这对计算和显存都不友好。未来可以研究如何将已经生成的世界状态压缩成语义 token用少量 token 表示空间结构减少自回归阶段的上下文长度。方向二长时序因果一致性Atlas 的扩散解码器在每一小段生成时各有随机性。要保证长时间生成中物体不漂移、不突变需要引入更细粒度的因果约束机制。目前还没有通用解法值得长期跟踪。方向三世界模型与传统渲染引擎的融合传统游戏引擎中的光线追踪、物理引擎能提供准确的空间约束世界模型则能提供开放场景的生成能力。把两者结合用世界模型生成场景布局再用渲染引擎保证物理正确性是空间智能走向产品化的一个现实路径。8. 最后一件事对 Atlas 的合理预期Atlas 所代表的世界模型方向最大的价值不是又一个生成画质更高的模型而是把生成模型的目标从“像素预测”推进到了“空间关系预测”。视频生成、图像编辑、3D 重建、机器人操作这些看似不同的任务底层共享同一个能力需求模型必须知道物体在哪里、视角移动后会看到什么、动作执行后场景如何变化。从工程角度看开发者现在可以做的事包括跑通 Atlass 或同类模型的推理流程设计空间一致性验证方案整理多模态输入的预处理规范积累显存优化和推理加速经验。这些能力在下一波空间智能应用爆发时会非常值钱。从学习角度看建议把 Atlas 当成一个理解框架而不是一个闭卷知识点。去画一张图把文本编码器、图像编码器、自回归 Transformer、扩散解码器之间的数据流和维度关系写清楚比记忆模型参数量有意义得多。下一步如果你打算深入这个方向可以从文生视频模型和多视角生成模型两个方向同时入手前者帮你理解生成流程后者帮你理解空间一致性。两条线合在一起就是通往世界模型核心机制的路径。