Easy-Vibe 多模态模型VLM原理精讲从像素到 Token 的完整翻译链路【免费下载链接】easy-vibe vibe coding 101The first course for AI-native product builders.项目地址: https://gitcode.com/GitHub_Trending/ea/easy-vibe本文是 Easy-Vibe 课程「AI 附录 · 人工智能基础」体系的一部分前置知识见 大语言模型入门全量目录见 附录索引。针对docs/es-es/appendix/8-artificial-intelligence/multimodal-models.md展开无需计算机视觉背景通过切块 → 摊平 → 翻译 → 拼装 → 训练五步主线讲透 GPT-4V、Qwen-VL、LLaVA、InternVL 等模型看懂图片的底层原理读完即可建立起对多模态大模型VLM工作原理的完整心智模型。0. 引言给大脑装上眼睛在 大语言模型入门 中我们已知LLM 本质上是一个被关在黑盒子里、只能通过文字更准确说是 Token ID来了解世界的大脑。多模态大模型VLMVision-Language Model的出现相当于给这个大脑装上了一双眼睛。但这并不容易因为两种信号天生不通大脑LLM只懂文字——准确说是 Token ID 序列眼睛摄像头看到的是像素——RGB 颜色数值。因此VLM 的核心任务只有一句话把像素信号翻译成文字信号让 LLM 觉得看图就像读文章一样简单。整个翻译过程可以拆成三步先把图片变成单词视觉分词再做跨物种翻译投影对齐最后完成合体三段式架构。下面逐一展开。1. 第一步把图片变成单词Visual Tokenization想象你在电话里向朋友描述一幅拼图你不可能一口气说完必须一块一块地描述。计算机看图也是同样的道理。既然 LLM 处理文本时会把句子拆解成一个一个的词元Token那么想让 LLM 读懂图片最直观的方法就是把图片也变成类似 Token 的形式——这就是视觉流形切片Patchify的出发点把一张完整的二维图片像切豆腐一样切成一个个固定网格的小方块Patch。原始图片 一篇完整的文章图片切块Patch 文章里的一个单词Token1.1 切块Patchify—— 制作视觉单词在工程实践中图片通常按照固定尺寸例如16 × 16 或 14 × 14 像素进行无重叠切分。以常见的224 × 224 像素输入图为例224 ÷ 14 16 → 切分成 16 × 16 个 Patch 224 ÷ 16 14 → 切分成 14 × 14 个 Patch一张 224 × 224 的输入图按 14 × 14 的窗口切分后会得到14 × 14 196 个独立的图像方块。通过这一步原本连续完整的二维像素阵列就被物理切割成了 196 个离散的视觉单词。1.2 序列化Flatten—— 排成一句话完成切块后我们手头是一个 14 × 14 的二维方阵。然而无论是传统 Transformer 还是现代 LLM底层架构大多只接受一维的序列输入从左到右排成一排的线性数据结构。因此必须做两步操作拍扁摊平Flatten把多行的图像块首尾相接将二维矩阵拍扁成一条只有前后顺序的一维长轴特征拉伸Projection这 196 个方块目前还只是红绿蓝像素堆叠的生肉需要用一个小型神经网络通常是全连接层对每个方块处理把它们分别压缩转换为固定长度的特征向量例如长度为 768 的数字列表。经过这一步一张图片才真正变成了一串**视觉单词序列Visual Token Sequence**可以像文本 Token 一样送入模型。2. 第二步跨物种翻译Projection此时图片虽然已变成一维连续的视觉单词序列但对最终的 LLM 而言它依然是一串不可读的乱码。原因在于特征空间不同——双方语言不通视觉编码器如 ViT提取的是空间像素特征只能告诉你这是由很多弯曲黑色线条组成的东西这里有大片红色LLM 内部理解的是深层语义特征例如概念层面的猫树木危险。在这两种截然不同的话语体系之间需要架设一座桥梁也就是我们的跨模态翻译官Projector投射器 / 适配器。2.1 翻译官的作用特征隐空间对齐Latent Space AlignmentProjector 的学术本质是特征隐空间的对齐Latent Space Alignment作用类似现实中的同声传译员输入SourceViT 吐出的视觉特征侧重几何、颜色、纹理规律等连续的高维特征表示处理TranslationProjector 利用一个神经网络结构可能是几层简单的线性变换层也可能是复杂的注意力层在训练过程中找到两种语言之间的数学对应关系输出Target输出完全符合 LLM 口味和预期的LLM 语言由图片特征转换而来的等价文本嵌入 Token让图像获得可以对话的意义。经过这层翻译过滤大模型会惊喜地发现传进来的这段数字串不就是我平时读的那些带描述性质的单词组合吗从而顺理成章地将图片特征与自然语言共同处理。2.2 不同的翻译流派为了让特征对齐这道翻译工序更快更准学术界和工业界演化出了三种极具代表性的连接方案流派做法特点代表直译派Linear Projection仅用一层或数层多层感知机MLP / 线性投影层做直接的数学矩阵变换透传信息损耗极低保留图像原汁原味的细节但会把成百上千个视觉词元毫无保留地塞给语言模型导致后续计算量暴增LLaVA 系列意译派Q-Former / Resampler中间引入一个具备抽象总结能力的小型侦察兵网络先全盘理解一遍图片提纯出几十个高度凝缩的核心要点信息高度精简提纯、Token 少大幅节省 LLM 推理算力但可能在提纯时丢失原始图片边缘极其细微的观察线索BLIP-2Gemini部分机制类似折中派C-Abstractor / Pooling借助卷积池化或局部区域重整把相邻的 2 × 2 或更大像素块压缩打包合并重组为一个完整的表达元合理压缩词元长度上限同时依然保留部分相互依存的局部空间感Qwen-VL-Max3. 第三步合体The Architecture有了零件和对接标准主流的多模态视觉语言模型基本遵循统一的三段式架构特征感知的眼睛Vision Encoder · 视觉编码器功能作为图片输入的第一道关卡负责看图并抽象出高维视觉特征选型大多数厂商不会从零训练眼睛而是直接复用在数亿张「图像-文本配对」数据上预训练好的成熟组件如 OpenAI 的CLIP 模型视觉塔、Google 的SigLIP 模型类比生物体高度特化的视网膜感光细胞区域。信号转换的视神经Projector · 模态投射器功能对接编码器和语言基座负责信号维度的压缩、打通和多模态语义翻译选型这是整个多模态系统后续训练的重中之重。它自身的参数量通常不大相对 LLM 而言但决定了文字和图片之间能否心意相通类比负责将电信号转换传递到大脑皮层的视觉神经中枢。认知引擎大脑LLM Backbone · 语言模型基座功能承担最终的观察、常识调用、深度逻辑推理以及拟人化答复的生成选型通常采用业内领先的开源大语言模型作为挂载点如Qwen、Llama 3、Vicuna等类比具备世界知识库的大脑语言与决策中枢对视神经传来的加工后信号做出高阶思维判读。4. 学会看两阶段训练法则Two-Stage Training身体各部分缝合完毕后刚组装好的 VLM 实际上处于类似新生儿的**失明与混乱状态**——新增的视神经Projector是一张白纸里面全是无意义的随机数值。科学界为此总结了一套高效的两阶段训练法则。阶段一认物Feature Alignment · 特征对齐预训练本阶段的核心任务是让随机初始化的 Projector 建立初步的跨模态映射关系过程很像教婴儿用认知闪卡强行记单词训练输入大批量往往上亿张包含单个突出主体的极简配对图文例如白底猫的照片目标输出附带简短的标签词汇例如一只橘猫优化目标强制 Projector 学会通过矩阵变换让这只猫对应的视觉特征经翻译后与自然语言中猫的词元向量尽可能重合对齐参数控制Freeze Strategy为防止破坏原有模型的能力本阶段研究人员会重度冻结Freeze眼睛ViT和大脑LLM的几十上百亿参数只开启视神经Projector本身的几百万参数训练。阶段二对话Visual Instruction Tuning · 视觉指令微调第一阶段只能让模型变成报菜名式的认字机第二阶段的任务是激发它的高级智能让它真正能根据上下文解答图文结合的复杂指令训练输入精心设计的高质量问答训练对例如一张复杂的城市交通全景图目标输出用户提问图片左下角那个骑白色自行车的男人有没有戴头盔助手回答没有他头上什么都没戴这在城市里是很危险的行为优化目标让大模型不仅能接收视觉线索还能结合以往的文明常识积淀将文本逻辑与多模态表征彻底融会贯通并做出推理参数控制Freeze Strategy此时视神经已基本调通一般会继续冻结一部分视觉编码器底层权重同时彻底解冻 LLM 和 Projector或采用LoRA配置进行全局大规模的联合反向传播调校。5. 进阶技巧看得更清Advanced Tricks以上架构支撑起了最初的多模态范式但第一代 VLM 有一个基础硬伤——近视眼视力先天不足早期视觉编码器 ViT 因历史设计原因只能处理224 × 224 或 336 × 336这种极低分辨率的方寸小图。好比通过一台模糊低质的几十万像素复古摄像头观察世界图中稍微小一点的文字牌匾等细节全糊成一团像素大脑再聪明也是巧妇难为无米之炊。为攻克低清病症前沿模型厂商如 Qwen-VL 团队、LLaVA-NeXT采用了两种精妙的工程手段5.1 动态高分辨率切分布局Dynamic High-Resolution Mapping直接输入大图会显存爆满粗暴缩小又会丢光细节破局之道是局部特写 全局鸟瞰的双视角策略整体概览先把巨大的高清原图直接缩小压到336 × 336送进眼睛看一遍让模型掌握画面的总体宏观布局天空在哪地面在哪切片放大看把高清原图切成好几十个独立的、336 × 336 的无损局部特写切块Slice逐一审视与空间回拼让视觉引擎逐个用放大镜扫描这些无损切面收集高清细节随后 Projector 像拼图一样把这些细节块的语义与初始的全局语境相互缝合。这就像你用手机给报纸全景拍一张照看版面全貌再贴近报纸连续拍几十张段落特写最后拼出完整信息。5.2 换个天生的大眼睛Scaling the Vision Encoder另一种暴力美学路线既然原始眼睛基因有缺陷就从头炼制一颗超级眼睛。以开源模型InternVL为经典代表它摒弃了常用的小规格视觉模型从零开始耗费海量资源训练了参数量高达几十亿的罕见超巨型视觉编码器如InternViT-6B60 亿参数作为前置基座。凭借极强的数据吸收能力它天生原生支持高分辨率无缝输入像哈勃空间望远镜一样直接实现一览无遗的高清视觉感知大幅降低了切图拼图带来的复杂工程开销和特征错位风险。6. 总结多模态大模型VLM并没有什么魔法它只做了一件事把图像这种外语翻译成文本这种母语然后喂给 LLM。理解这一点就理解了 VLM 的一切。这条像素 → Patch → 向量 → 对齐 → 拼接 → 推理的链路正是 GPT-4V、Qwen-VL、LLaVA、InternVL 等模型在工程实现上共同的骨架。7. 名词速查表Glossary名词全称解释VLMVision-Language Model多模态大模型。能看懂图的 GPT。ViTVision Transformer视觉模型。VLM 的眼睛负责把像素变成向量。Patch-图像块。图片被切成的小方块相当于视觉单词。Projector-投射器 / 翻译官。连接眼睛和大脑的桥梁。Alignment-对齐。让图像特征和文本特征在同一个空间里互相听得懂。【免费下载链接】easy-vibe vibe coding 101The first course for AI-native product builders.项目地址: https://gitcode.com/GitHub_Trending/ea/easy-vibe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Easy-Vibe 多模态模型（VLM）原理精讲：从像素到 Token 的完整翻译链路
Easy-Vibe 多模态模型VLM原理精讲从像素到 Token 的完整翻译链路【免费下载链接】easy-vibe vibe coding 101The first course for AI-native product builders.项目地址: https://gitcode.com/GitHub_Trending/ea/easy-vibe本文是 Easy-Vibe 课程「AI 附录 · 人工智能基础」体系的一部分前置知识见 大语言模型入门全量目录见 附录索引。针对docs/es-es/appendix/8-artificial-intelligence/multimodal-models.md展开无需计算机视觉背景通过切块 → 摊平 → 翻译 → 拼装 → 训练五步主线讲透 GPT-4V、Qwen-VL、LLaVA、InternVL 等模型看懂图片的底层原理读完即可建立起对多模态大模型VLM工作原理的完整心智模型。0. 引言给大脑装上眼睛在 大语言模型入门 中我们已知LLM 本质上是一个被关在黑盒子里、只能通过文字更准确说是 Token ID来了解世界的大脑。多模态大模型VLMVision-Language Model的出现相当于给这个大脑装上了一双眼睛。但这并不容易因为两种信号天生不通大脑LLM只懂文字——准确说是 Token ID 序列眼睛摄像头看到的是像素——RGB 颜色数值。因此VLM 的核心任务只有一句话把像素信号翻译成文字信号让 LLM 觉得看图就像读文章一样简单。整个翻译过程可以拆成三步先把图片变成单词视觉分词再做跨物种翻译投影对齐最后完成合体三段式架构。下面逐一展开。1. 第一步把图片变成单词Visual Tokenization想象你在电话里向朋友描述一幅拼图你不可能一口气说完必须一块一块地描述。计算机看图也是同样的道理。既然 LLM 处理文本时会把句子拆解成一个一个的词元Token那么想让 LLM 读懂图片最直观的方法就是把图片也变成类似 Token 的形式——这就是视觉流形切片Patchify的出发点把一张完整的二维图片像切豆腐一样切成一个个固定网格的小方块Patch。原始图片 一篇完整的文章图片切块Patch 文章里的一个单词Token1.1 切块Patchify—— 制作视觉单词在工程实践中图片通常按照固定尺寸例如16 × 16 或 14 × 14 像素进行无重叠切分。以常见的224 × 224 像素输入图为例224 ÷ 14 16 → 切分成 16 × 16 个 Patch 224 ÷ 16 14 → 切分成 14 × 14 个 Patch一张 224 × 224 的输入图按 14 × 14 的窗口切分后会得到14 × 14 196 个独立的图像方块。通过这一步原本连续完整的二维像素阵列就被物理切割成了 196 个离散的视觉单词。1.2 序列化Flatten—— 排成一句话完成切块后我们手头是一个 14 × 14 的二维方阵。然而无论是传统 Transformer 还是现代 LLM底层架构大多只接受一维的序列输入从左到右排成一排的线性数据结构。因此必须做两步操作拍扁摊平Flatten把多行的图像块首尾相接将二维矩阵拍扁成一条只有前后顺序的一维长轴特征拉伸Projection这 196 个方块目前还只是红绿蓝像素堆叠的生肉需要用一个小型神经网络通常是全连接层对每个方块处理把它们分别压缩转换为固定长度的特征向量例如长度为 768 的数字列表。经过这一步一张图片才真正变成了一串**视觉单词序列Visual Token Sequence**可以像文本 Token 一样送入模型。2. 第二步跨物种翻译Projection此时图片虽然已变成一维连续的视觉单词序列但对最终的 LLM 而言它依然是一串不可读的乱码。原因在于特征空间不同——双方语言不通视觉编码器如 ViT提取的是空间像素特征只能告诉你这是由很多弯曲黑色线条组成的东西这里有大片红色LLM 内部理解的是深层语义特征例如概念层面的猫树木危险。在这两种截然不同的话语体系之间需要架设一座桥梁也就是我们的跨模态翻译官Projector投射器 / 适配器。2.1 翻译官的作用特征隐空间对齐Latent Space AlignmentProjector 的学术本质是特征隐空间的对齐Latent Space Alignment作用类似现实中的同声传译员输入SourceViT 吐出的视觉特征侧重几何、颜色、纹理规律等连续的高维特征表示处理TranslationProjector 利用一个神经网络结构可能是几层简单的线性变换层也可能是复杂的注意力层在训练过程中找到两种语言之间的数学对应关系输出Target输出完全符合 LLM 口味和预期的LLM 语言由图片特征转换而来的等价文本嵌入 Token让图像获得可以对话的意义。经过这层翻译过滤大模型会惊喜地发现传进来的这段数字串不就是我平时读的那些带描述性质的单词组合吗从而顺理成章地将图片特征与自然语言共同处理。2.2 不同的翻译流派为了让特征对齐这道翻译工序更快更准学术界和工业界演化出了三种极具代表性的连接方案流派做法特点代表直译派Linear Projection仅用一层或数层多层感知机MLP / 线性投影层做直接的数学矩阵变换透传信息损耗极低保留图像原汁原味的细节但会把成百上千个视觉词元毫无保留地塞给语言模型导致后续计算量暴增LLaVA 系列意译派Q-Former / Resampler中间引入一个具备抽象总结能力的小型侦察兵网络先全盘理解一遍图片提纯出几十个高度凝缩的核心要点信息高度精简提纯、Token 少大幅节省 LLM 推理算力但可能在提纯时丢失原始图片边缘极其细微的观察线索BLIP-2Gemini部分机制类似折中派C-Abstractor / Pooling借助卷积池化或局部区域重整把相邻的 2 × 2 或更大像素块压缩打包合并重组为一个完整的表达元合理压缩词元长度上限同时依然保留部分相互依存的局部空间感Qwen-VL-Max3. 第三步合体The Architecture有了零件和对接标准主流的多模态视觉语言模型基本遵循统一的三段式架构特征感知的眼睛Vision Encoder · 视觉编码器功能作为图片输入的第一道关卡负责看图并抽象出高维视觉特征选型大多数厂商不会从零训练眼睛而是直接复用在数亿张「图像-文本配对」数据上预训练好的成熟组件如 OpenAI 的CLIP 模型视觉塔、Google 的SigLIP 模型类比生物体高度特化的视网膜感光细胞区域。信号转换的视神经Projector · 模态投射器功能对接编码器和语言基座负责信号维度的压缩、打通和多模态语义翻译选型这是整个多模态系统后续训练的重中之重。它自身的参数量通常不大相对 LLM 而言但决定了文字和图片之间能否心意相通类比负责将电信号转换传递到大脑皮层的视觉神经中枢。认知引擎大脑LLM Backbone · 语言模型基座功能承担最终的观察、常识调用、深度逻辑推理以及拟人化答复的生成选型通常采用业内领先的开源大语言模型作为挂载点如Qwen、Llama 3、Vicuna等类比具备世界知识库的大脑语言与决策中枢对视神经传来的加工后信号做出高阶思维判读。4. 学会看两阶段训练法则Two-Stage Training身体各部分缝合完毕后刚组装好的 VLM 实际上处于类似新生儿的**失明与混乱状态**——新增的视神经Projector是一张白纸里面全是无意义的随机数值。科学界为此总结了一套高效的两阶段训练法则。阶段一认物Feature Alignment · 特征对齐预训练本阶段的核心任务是让随机初始化的 Projector 建立初步的跨模态映射关系过程很像教婴儿用认知闪卡强行记单词训练输入大批量往往上亿张包含单个突出主体的极简配对图文例如白底猫的照片目标输出附带简短的标签词汇例如一只橘猫优化目标强制 Projector 学会通过矩阵变换让这只猫对应的视觉特征经翻译后与自然语言中猫的词元向量尽可能重合对齐参数控制Freeze Strategy为防止破坏原有模型的能力本阶段研究人员会重度冻结Freeze眼睛ViT和大脑LLM的几十上百亿参数只开启视神经Projector本身的几百万参数训练。阶段二对话Visual Instruction Tuning · 视觉指令微调第一阶段只能让模型变成报菜名式的认字机第二阶段的任务是激发它的高级智能让它真正能根据上下文解答图文结合的复杂指令训练输入精心设计的高质量问答训练对例如一张复杂的城市交通全景图目标输出用户提问图片左下角那个骑白色自行车的男人有没有戴头盔助手回答没有他头上什么都没戴这在城市里是很危险的行为优化目标让大模型不仅能接收视觉线索还能结合以往的文明常识积淀将文本逻辑与多模态表征彻底融会贯通并做出推理参数控制Freeze Strategy此时视神经已基本调通一般会继续冻结一部分视觉编码器底层权重同时彻底解冻 LLM 和 Projector或采用LoRA配置进行全局大规模的联合反向传播调校。5. 进阶技巧看得更清Advanced Tricks以上架构支撑起了最初的多模态范式但第一代 VLM 有一个基础硬伤——近视眼视力先天不足早期视觉编码器 ViT 因历史设计原因只能处理224 × 224 或 336 × 336这种极低分辨率的方寸小图。好比通过一台模糊低质的几十万像素复古摄像头观察世界图中稍微小一点的文字牌匾等细节全糊成一团像素大脑再聪明也是巧妇难为无米之炊。为攻克低清病症前沿模型厂商如 Qwen-VL 团队、LLaVA-NeXT采用了两种精妙的工程手段5.1 动态高分辨率切分布局Dynamic High-Resolution Mapping直接输入大图会显存爆满粗暴缩小又会丢光细节破局之道是局部特写 全局鸟瞰的双视角策略整体概览先把巨大的高清原图直接缩小压到336 × 336送进眼睛看一遍让模型掌握画面的总体宏观布局天空在哪地面在哪切片放大看把高清原图切成好几十个独立的、336 × 336 的无损局部特写切块Slice逐一审视与空间回拼让视觉引擎逐个用放大镜扫描这些无损切面收集高清细节随后 Projector 像拼图一样把这些细节块的语义与初始的全局语境相互缝合。这就像你用手机给报纸全景拍一张照看版面全貌再贴近报纸连续拍几十张段落特写最后拼出完整信息。5.2 换个天生的大眼睛Scaling the Vision Encoder另一种暴力美学路线既然原始眼睛基因有缺陷就从头炼制一颗超级眼睛。以开源模型InternVL为经典代表它摒弃了常用的小规格视觉模型从零开始耗费海量资源训练了参数量高达几十亿的罕见超巨型视觉编码器如InternViT-6B60 亿参数作为前置基座。凭借极强的数据吸收能力它天生原生支持高分辨率无缝输入像哈勃空间望远镜一样直接实现一览无遗的高清视觉感知大幅降低了切图拼图带来的复杂工程开销和特征错位风险。6. 总结多模态大模型VLM并没有什么魔法它只做了一件事把图像这种外语翻译成文本这种母语然后喂给 LLM。理解这一点就理解了 VLM 的一切。这条像素 → Patch → 向量 → 对齐 → 拼接 → 推理的链路正是 GPT-4V、Qwen-VL、LLaVA、InternVL 等模型在工程实现上共同的骨架。7. 名词速查表Glossary名词全称解释VLMVision-Language Model多模态大模型。能看懂图的 GPT。ViTVision Transformer视觉模型。VLM 的眼睛负责把像素变成向量。Patch-图像块。图片被切成的小方块相当于视觉单词。Projector-投射器 / 翻译官。连接眼睛和大脑的桥梁。Alignment-对齐。让图像特征和文本特征在同一个空间里互相听得懂。【免费下载链接】easy-vibe vibe coding 101The first course for AI-native product builders.项目地址: https://gitcode.com/GitHub_Trending/ea/easy-vibe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考