如何快速上手 Llama ModelsMeta 开源大语言模型的完整部署与选型指南【免费下载链接】llama-modelsUtilities intended for use with Llama models.项目地址: https://gitcode.com/GitHub_Trending/ll/llama-modelsMeta Llama Models 是官方发布的开源大语言模型工具集覆盖从 Llama 2 到 Llama 4 的全系列模型。它不只是一个权重仓库内置的llama-model命令行帮你下载和校验模型原生推理脚本让你用最少代码跑通多卡对话生成FP8/Int4 量化则让大模型塞进更少的 GPU。无论你是第一次接触 Llama 的开发者还是想给生产环境选型这份指南都会告诉你下一步该敲什么命令。5 分钟跑通安装、下载、生成第一段回复整个流程分三步装工具、下权重、跑脚本。注意 Llama 权重不是公开直链第一步要先到 Meta Llama 官网接受许可证审批通过后邮件会给你一个带签名的下载链接。# 1. 安装 CLI 与基础依赖Python 3.10 pip install llama-models # 2. 查看可下载模型记下 Model ID llama-model list llama-model list --show-all # 含历史版本 # 3. 下载权重按提示粘贴邮件里的签名 URL llama-model download --source meta --model-id Llama-4-Scout-17B-16E-Instruct权重默认落到~/.llama/checkpoints/模型ID目录。链接 24 小时后失效、且限次下载遇到403: Forbidden说明链接过期重新申请一份即可。跑推理前还要装 PyTorch 扩展依赖源码方式安装再调用仓库内置脚本# 在仓库根目录执行 pip install .[torch] NGPUS4 CHECKPOINT_DIR~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct PYTHONPATH$(git rev-parse --show-toplevel) \ torchrun --nproc_per_node$NGPUS \ -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \ --world_size $NGPUSLlama 4 系列以 bf16 全精度推理至少要 4 张 GPU脚本里chat_completion对应 Instruct 对话模型Base 预训练模型则换成models.llama4.scripts.completion。示例脚本位于 models/llama4/scripts/Llama 3 的对应脚本在 models/llama3/scripts/。如果已经拿到 Hugging Face 访问权限也可以直接huggingface-cli download拉取original文件夹里的原生权重不必走 CLI。模型矩阵速查哪个版本适合你七个家族的官方参数一览来源仓库 README 与模型卡版本发布日期规模上下文Tokenizer一句话定位Llama 22023-077B / 13B / 70B4KSentencepiece历史版本研究对比用Llama 32024-048B / 70B8KTikToken8K 短上下文场景Llama 3.12024-078B / 70B / 405B128KTikToken超长上下文 旗舰参数Llama 3.22024-091B / 3B128KTikToken端侧轻量模型Llama 3.2-Vision2024-0911B / 90B128KTikToken首个视觉模型Llama 3.32024-1270B128KTikToken70B 档位的调优版Llama 4 Scout2025-0417B 激活 / 109B 总参数16 专家10MTikTokenMoE 原生多模态约 40T tokens 训练Llama 4 Maverick2025-0417B 激活 / 400B 总参数128 专家1MTikTokenMoE 旗舰约 22T tokens 训练知识截止 2024 年 8 月选型直觉很简单要最强文本/视觉理解选 Maverick显存有限但想体验原生多模态选 Scout纯文本长文档处理 Llama 3.1 128K 系列足够端侧部署看 Llama 3.2 的 1B/3B。Llama 4 官方声明支持 12 种语言阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语、越南语且官方测试支持单次最多 5 张输入图像。技术亮点拆解MoE、量化与早期融合多模态这一节不讲有什么只讲三个值得看的为什么。MoE总参数 400B但每次只算 17B。Llama 4 用混合专家架构把 FFN 拆成多个专家每个 token 只路由到少量专家由top_k控制实现见 models/llama4/ 的MoE模块。好处很直接Maverick 拥有 Llama 3.1 405B 级别的知识容量MMLU 85.5 vs 85.2推理成本却接近一个 17B 稠密模型。MoE 层与稠密层按interleave_moe_layer_step交替排布而不是堆在尾部避免专家层之间的特征断层。量化官方自己实现了 FP8/Int4而不是让你找第三方。权重量化逻辑集中在 models/quantize_impls.pyFP8 按行做 scaleInt4 以 128 为一组做 group 量化并打包成 8 位字节。推理时靠 FBGEMM 提供高效算子这就是torch依赖里锁定fbgemm-gpu-genai1.1.2的原因。实测硬件账单Llama-4-Scout bf16 要 4 张 80GB GPUfp8_mixed降到 2 张int4_mixed单张 80GB 就能跑。原生多模态图像 token 和文本 token 从第一层就混在一起。Llama 4 采用早期融合early fusion视觉编码器输出直接进同一个 Transformer而不是外挂一个视觉塔。Llama 3.2-Vision 则是另一条路线——文本层之间插入 Cross Attention Layer 来读取图像 token仓库里连测试素材都给你备好了models/llama4/scripts/chat_completion.py 会加载 models/resources/pasta.jpeg 和一张狗图让模型写一首把两张图联系起来的俳句——跑通后这是验证多模态链路最快的方式。部署与调优按场景抄配置单卡80GB跑 Llama 4 Scout。结论开 Int4 混合量化精度损失很小显存从 4 卡降到 1 卡。MODEint4_mixed # 或 fp8_mixed NGPUS1 # fp8_mixed 时改为 2 CHECKPOINT_DIR~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct PYTHONPATH$(git rev-parse --show-toplevel) \ torchrun --nproc_per_node$NGPUS \ -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \ --world_size $NGPUS \ --quantization-mode $MODE两种模式的区别fp8_mixed部分权重用 FP8、激活保持 bfloat16int4_mixed部分权重用 Int4、激活 bfloat16。权重本身是 FP8 预量化发布的Maverick 有官方 FP8 权重可放进单台 H100 DGX 主机--quantization-mode控制的是推理时的在线量化路径。多卡 bf16 满血推理。Llama 4 走 Fairscale 张量并行把每层线性层切成列并行/行并行分到各卡torchrun --nproc_per_node指定卡数即可checkpoint 分片会自动 reshard 匹配当前 world size。生成参数在脚本里可调默认temperature0.6、top_p0.9、max_seq_len4096长文档场景把max_seq_len调大时注意 Llama 4 内置了注意力温度调优attn_temperature_tuning专为超长上下文设计你不用自己调 RoPE。端侧 / 显存紧张。别硬上 Llama 4Llama 3.2 的 1B/3B 配 128K 上下文才是为小设备准备的档位或者用 Llama 3.2-Vision 11B 覆盖轻量视觉需求。选型与避坑先回答这 5 个问题要不要这个仓库如果你只是调 API 或想跑微调官方建议直接用 Hugging Face 的 transformers 权重Llama4ForConditionalGeneration这个仓库的定位是原生推理 下载校验 量化参考实现。需要更灵活的推理后端其他推理引擎、批处理服务时官方指向了 Llama Stack 工具集。权重放哪、怎么删默认~/.llama/checkpoints/用llama-model verify-download校验完整性llama-model remove -m MODEL_ID删除llama-model describe -m MODEL_ID看模型详情。常见报错对照403: Forbidden→ 签名链接过期或下载次数用尽重新去官网申请启动时提示无高效 FP8/INT4 算子 →fbgemm-gpu-genai没装好重装pip install .[torch]no checkpoint files found in dir→ checkpoint 目录里找不到.pth分片检查CHECKPOINT_DIR是否指向完整模型目录Llama 4 单卡 OOM → 换int4_mixed或确认你的卡是 80GB 规格许可别忽略。每个模型目录各有独立许可证models/llama4/LICENSE、models/llama4/USE_POLICY.mdLlama 4 用的是 Community License商业使用前先读一遍。安全侧官方提供了模型卡、安全微调数据和 Llama Guard 等系统级防护方案生产部署建议按模型 防护层整体设计。下一步行动清单先到 Meta Llama 官网接受许可拿到签名 URLpip install llama-models后执行llama-model download建议从 Scout 开始4 卡 bf16 或单卡 Int4 即可跑通用models.llama4.scripts.chat_completion跑通第一段回复确认多模态素材pasta.jpeg 狗图输出正常按上面的场景表选定部署形态把--quantization-mode和NGPUS固化成你自己的启动脚本读一遍 models/llama4/MODEL_CARD.md把 12 种支持语言和最多 5 张输入图像的官方测试边界写进你的验收标准。这个仓库的价值不在又一个模型下载站而在把权重、Tokenizer、MoE 参考实现、量化算子和安全政策放在同一个可审计的代码库里。跑通第一段回复只是开始真正的工作是把量化、并行度和安全策略这三件事按你的硬件预算调到位。【免费下载链接】llama-modelsUtilities intended for use with Llama models.项目地址: https://gitcode.com/GitHub_Trending/ll/llama-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何快速上手 Llama Models：Meta 开源大语言模型的完整部署与选型指南
如何快速上手 Llama ModelsMeta 开源大语言模型的完整部署与选型指南【免费下载链接】llama-modelsUtilities intended for use with Llama models.项目地址: https://gitcode.com/GitHub_Trending/ll/llama-modelsMeta Llama Models 是官方发布的开源大语言模型工具集覆盖从 Llama 2 到 Llama 4 的全系列模型。它不只是一个权重仓库内置的llama-model命令行帮你下载和校验模型原生推理脚本让你用最少代码跑通多卡对话生成FP8/Int4 量化则让大模型塞进更少的 GPU。无论你是第一次接触 Llama 的开发者还是想给生产环境选型这份指南都会告诉你下一步该敲什么命令。5 分钟跑通安装、下载、生成第一段回复整个流程分三步装工具、下权重、跑脚本。注意 Llama 权重不是公开直链第一步要先到 Meta Llama 官网接受许可证审批通过后邮件会给你一个带签名的下载链接。# 1. 安装 CLI 与基础依赖Python 3.10 pip install llama-models # 2. 查看可下载模型记下 Model ID llama-model list llama-model list --show-all # 含历史版本 # 3. 下载权重按提示粘贴邮件里的签名 URL llama-model download --source meta --model-id Llama-4-Scout-17B-16E-Instruct权重默认落到~/.llama/checkpoints/模型ID目录。链接 24 小时后失效、且限次下载遇到403: Forbidden说明链接过期重新申请一份即可。跑推理前还要装 PyTorch 扩展依赖源码方式安装再调用仓库内置脚本# 在仓库根目录执行 pip install .[torch] NGPUS4 CHECKPOINT_DIR~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct PYTHONPATH$(git rev-parse --show-toplevel) \ torchrun --nproc_per_node$NGPUS \ -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \ --world_size $NGPUSLlama 4 系列以 bf16 全精度推理至少要 4 张 GPU脚本里chat_completion对应 Instruct 对话模型Base 预训练模型则换成models.llama4.scripts.completion。示例脚本位于 models/llama4/scripts/Llama 3 的对应脚本在 models/llama3/scripts/。如果已经拿到 Hugging Face 访问权限也可以直接huggingface-cli download拉取original文件夹里的原生权重不必走 CLI。模型矩阵速查哪个版本适合你七个家族的官方参数一览来源仓库 README 与模型卡版本发布日期规模上下文Tokenizer一句话定位Llama 22023-077B / 13B / 70B4KSentencepiece历史版本研究对比用Llama 32024-048B / 70B8KTikToken8K 短上下文场景Llama 3.12024-078B / 70B / 405B128KTikToken超长上下文 旗舰参数Llama 3.22024-091B / 3B128KTikToken端侧轻量模型Llama 3.2-Vision2024-0911B / 90B128KTikToken首个视觉模型Llama 3.32024-1270B128KTikToken70B 档位的调优版Llama 4 Scout2025-0417B 激活 / 109B 总参数16 专家10MTikTokenMoE 原生多模态约 40T tokens 训练Llama 4 Maverick2025-0417B 激活 / 400B 总参数128 专家1MTikTokenMoE 旗舰约 22T tokens 训练知识截止 2024 年 8 月选型直觉很简单要最强文本/视觉理解选 Maverick显存有限但想体验原生多模态选 Scout纯文本长文档处理 Llama 3.1 128K 系列足够端侧部署看 Llama 3.2 的 1B/3B。Llama 4 官方声明支持 12 种语言阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语、越南语且官方测试支持单次最多 5 张输入图像。技术亮点拆解MoE、量化与早期融合多模态这一节不讲有什么只讲三个值得看的为什么。MoE总参数 400B但每次只算 17B。Llama 4 用混合专家架构把 FFN 拆成多个专家每个 token 只路由到少量专家由top_k控制实现见 models/llama4/ 的MoE模块。好处很直接Maverick 拥有 Llama 3.1 405B 级别的知识容量MMLU 85.5 vs 85.2推理成本却接近一个 17B 稠密模型。MoE 层与稠密层按interleave_moe_layer_step交替排布而不是堆在尾部避免专家层之间的特征断层。量化官方自己实现了 FP8/Int4而不是让你找第三方。权重量化逻辑集中在 models/quantize_impls.pyFP8 按行做 scaleInt4 以 128 为一组做 group 量化并打包成 8 位字节。推理时靠 FBGEMM 提供高效算子这就是torch依赖里锁定fbgemm-gpu-genai1.1.2的原因。实测硬件账单Llama-4-Scout bf16 要 4 张 80GB GPUfp8_mixed降到 2 张int4_mixed单张 80GB 就能跑。原生多模态图像 token 和文本 token 从第一层就混在一起。Llama 4 采用早期融合early fusion视觉编码器输出直接进同一个 Transformer而不是外挂一个视觉塔。Llama 3.2-Vision 则是另一条路线——文本层之间插入 Cross Attention Layer 来读取图像 token仓库里连测试素材都给你备好了models/llama4/scripts/chat_completion.py 会加载 models/resources/pasta.jpeg 和一张狗图让模型写一首把两张图联系起来的俳句——跑通后这是验证多模态链路最快的方式。部署与调优按场景抄配置单卡80GB跑 Llama 4 Scout。结论开 Int4 混合量化精度损失很小显存从 4 卡降到 1 卡。MODEint4_mixed # 或 fp8_mixed NGPUS1 # fp8_mixed 时改为 2 CHECKPOINT_DIR~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct PYTHONPATH$(git rev-parse --show-toplevel) \ torchrun --nproc_per_node$NGPUS \ -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \ --world_size $NGPUS \ --quantization-mode $MODE两种模式的区别fp8_mixed部分权重用 FP8、激活保持 bfloat16int4_mixed部分权重用 Int4、激活 bfloat16。权重本身是 FP8 预量化发布的Maverick 有官方 FP8 权重可放进单台 H100 DGX 主机--quantization-mode控制的是推理时的在线量化路径。多卡 bf16 满血推理。Llama 4 走 Fairscale 张量并行把每层线性层切成列并行/行并行分到各卡torchrun --nproc_per_node指定卡数即可checkpoint 分片会自动 reshard 匹配当前 world size。生成参数在脚本里可调默认temperature0.6、top_p0.9、max_seq_len4096长文档场景把max_seq_len调大时注意 Llama 4 内置了注意力温度调优attn_temperature_tuning专为超长上下文设计你不用自己调 RoPE。端侧 / 显存紧张。别硬上 Llama 4Llama 3.2 的 1B/3B 配 128K 上下文才是为小设备准备的档位或者用 Llama 3.2-Vision 11B 覆盖轻量视觉需求。选型与避坑先回答这 5 个问题要不要这个仓库如果你只是调 API 或想跑微调官方建议直接用 Hugging Face 的 transformers 权重Llama4ForConditionalGeneration这个仓库的定位是原生推理 下载校验 量化参考实现。需要更灵活的推理后端其他推理引擎、批处理服务时官方指向了 Llama Stack 工具集。权重放哪、怎么删默认~/.llama/checkpoints/用llama-model verify-download校验完整性llama-model remove -m MODEL_ID删除llama-model describe -m MODEL_ID看模型详情。常见报错对照403: Forbidden→ 签名链接过期或下载次数用尽重新去官网申请启动时提示无高效 FP8/INT4 算子 →fbgemm-gpu-genai没装好重装pip install .[torch]no checkpoint files found in dir→ checkpoint 目录里找不到.pth分片检查CHECKPOINT_DIR是否指向完整模型目录Llama 4 单卡 OOM → 换int4_mixed或确认你的卡是 80GB 规格许可别忽略。每个模型目录各有独立许可证models/llama4/LICENSE、models/llama4/USE_POLICY.mdLlama 4 用的是 Community License商业使用前先读一遍。安全侧官方提供了模型卡、安全微调数据和 Llama Guard 等系统级防护方案生产部署建议按模型 防护层整体设计。下一步行动清单先到 Meta Llama 官网接受许可拿到签名 URLpip install llama-models后执行llama-model download建议从 Scout 开始4 卡 bf16 或单卡 Int4 即可跑通用models.llama4.scripts.chat_completion跑通第一段回复确认多模态素材pasta.jpeg 狗图输出正常按上面的场景表选定部署形态把--quantization-mode和NGPUS固化成你自己的启动脚本读一遍 models/llama4/MODEL_CARD.md把 12 种支持语言和最多 5 张输入图像的官方测试边界写进你的验收标准。这个仓库的价值不在又一个模型下载站而在把权重、Tokenizer、MoE 参考实现、量化算子和安全政策放在同一个可审计的代码库里。跑通第一段回复只是开始真正的工作是把量化、并行度和安全策略这三件事按你的硬件预算调到位。【免费下载链接】llama-modelsUtilities intended for use with Llama models.项目地址: https://gitcode.com/GitHub_Trending/ll/llama-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考