LocalAI 本地部署一条 Docker 命令跑起多模态 AI 服务【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源 AI 引擎让你在本机运行 LLM、视觉、语音、图像、视频等各类模型无需 GPU。它采用模块化后端设计核心只有一个轻量服务llama.cpp、vLLM、whisper.cpp、MLX 等推理引擎按需用独立镜像拉取只装你真正用到的部分并且提供与 OpenAI、Anthropic 完全兼容的 API。它是什么 / 解决什么问题LocalAI 定位是本地私有的 AI 后端你在自己的机器上跑模型数据和推理全部留在本机同时对外提供一套兼容主流大模型 API 的接口可以直接替换掉代码里的 OpenAI 调用。传统做法用 LocalAI申请云端 API Key按 token 付费本地运行推理零调用费数据上传到第三方服务器 数据不离开你的设备部署一整套 Python 环境一条 Docker 命令启动只支持单一模态文本、语音、图像、视频同一套 API快速上手4 步完成 LocalAI 安装与首次运行启动容器。有 GPU 的机器可加--gpus all选用对应镜像纯 CPU 机器用下面这条即可docker run -ti --name local-ai -p 8080:8080 localai/localai:latest加载模型。在宿主机终端执行local-ai run llama-3.2-1b-instruct:q4_k_m它会从模型库拉取配置和权重并自动下载匹配的推理后端。打开 WebUI。浏览器访问http://localhost:8080能看到聊天界面、模型库和运行时设置页面。验证 API。用curl http://localhost:8080/readyz确认服务就绪之后任何支持自定义 base URL 的 OpenAI 客户端都能直连。macOS 用户可以直接下载官方 DMG 桌面客户端Launcher启动后模型存放在~/.localai/models省去手动敲命令的步骤。核心功能亮点模型库一键安装WebUI 的 Models 页面分 Explore 和 Installed 两个视图Explore 里浏览官方策展的模型库、对比下载体积与预估显存一键安装Installed 里查看每个模型的运行、空闲、已禁用状态可停止、改配置、看后端日志或删除。模型也可以从 Hugging Face、Ollama、OCI 仓库按地址导入。模块化后端按需拉取LocalAI 支持 60 多个后端覆盖 llama.cpp、vLLM、whisper.cpp、diffusers、MLX 等引擎硬件上支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 乃至纯 CPU。每个后端都是独立构件只在模型需要时自动拉取——你装一个模型不会连带下载一堆用不上的引擎还能用local-ai backends list/install/uninstall单独管理。内置 Agent 与终端助手服务内置自主 Agent支持工具调用、RAG、MCP 协议和技能扩展回答时会自动做 RAG 来源引用。另有终端 Agent在另一个 shell 里启动它就能提问、读本地文件、执行命令所有改变状态的操作都会先征求你的批准。多用户与 API 兼容支持 API Key 认证、用户配额和基于角色的访问控制还能按 Key 和按用户统计用量适合小团队共享一台部署。接口层兼容 OpenAI、Anthropic、ElevenLabs 三套 API覆盖文本、工具调用、Realtime 语音等端点。适合谁 / 典型用法独立开发者想给项目加 AI 能力又不想把代码、数据发到云端。克隆仓库 https://link.gitcode.com/i/02e287bfd058f3104750104651d99198 后本地部署把应用的 base URL 指到localhost:8080即可。内容创作者在本地生成配图、把文案转成多语言配音。同一服务里切换图像生成和 TTS 模型不用维护两套环境。小团队在内网跑一台 LocalAI 替代付费 API用 API Key 给每个成员分配独立配额用量可逐 Key 统计。实用技巧与避坑⚙️选对量化版本1–3B 模型约 1–3 GB7–13B 约 4–8 GB显存不够就选q4_k_m之类的量化变体模型库会给出预估显存红色标记代表可能装不下。磁盘空间留 2–3 倍余量下载和解压都需要临时空间SSD 上体验明显更好。改模型存放位置默认在./modelsDocker 挂载后通常是宿主机./models用环境变量LOCALAI_MODELS_PATH或--models-path可以挪到别的分区避免占满主目录。排查问题先看这三个curl http://localhost:8080/readyz看服务状态、curl http://localhost:8080/v1/models看已加载模型、local-ai run --log-leveldebug开调试日志容器部署直接docker logs local-ai。觉得比 llama.cpp 慢默认开启了 mirostat 采样在模型配置里设mirostat: 0可关闭吞吐会明显提升。常见问题没有 GPU 能用吗可以LocalAI 明确支持纯 CPU 运行。CPU 上建议从 1–3B 的小模型起步图像和视频生成这类任务没有 GPU 会比较慢。我能直接拿现有 OpenAI 代码接入吗可以。只要客户端支持自定义 base URL把它指向http://localhost:8080就行接口按 OpenAI 格式实现工具调用、流式输出都兼容。模型从哪里来存在哪最方便的是 WebUI 里的模型库按名字一键安装也可以指定 Hugging Face 上的任意 GGUF。默认存放位置是工作目录下的./modelsLauncher 客户端则是~/.localai/models。下载完模型后能完全离线吗可以。后端镜像和模型权重都拉到本地后推理全程在本地完成不需要网络。能多人同时用一台服务吗可以。内置 API Key 认证、按用户配额和用量统计配合多用户认证即可安全共享。写在最后LocalAI 把跑一个 AI 服务压缩成一条 Docker 命令加一次模型安装而多模态、Agent、多用户这些能力开箱就有。想深入了解建议从这两处开始官方文档docs/核心服务源码core/模型配置库gallery/【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LocalAI 本地部署：一条 Docker 命令跑起多模态 AI 服务
LocalAI 本地部署一条 Docker 命令跑起多模态 AI 服务【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源 AI 引擎让你在本机运行 LLM、视觉、语音、图像、视频等各类模型无需 GPU。它采用模块化后端设计核心只有一个轻量服务llama.cpp、vLLM、whisper.cpp、MLX 等推理引擎按需用独立镜像拉取只装你真正用到的部分并且提供与 OpenAI、Anthropic 完全兼容的 API。它是什么 / 解决什么问题LocalAI 定位是本地私有的 AI 后端你在自己的机器上跑模型数据和推理全部留在本机同时对外提供一套兼容主流大模型 API 的接口可以直接替换掉代码里的 OpenAI 调用。传统做法用 LocalAI申请云端 API Key按 token 付费本地运行推理零调用费数据上传到第三方服务器 数据不离开你的设备部署一整套 Python 环境一条 Docker 命令启动只支持单一模态文本、语音、图像、视频同一套 API快速上手4 步完成 LocalAI 安装与首次运行启动容器。有 GPU 的机器可加--gpus all选用对应镜像纯 CPU 机器用下面这条即可docker run -ti --name local-ai -p 8080:8080 localai/localai:latest加载模型。在宿主机终端执行local-ai run llama-3.2-1b-instruct:q4_k_m它会从模型库拉取配置和权重并自动下载匹配的推理后端。打开 WebUI。浏览器访问http://localhost:8080能看到聊天界面、模型库和运行时设置页面。验证 API。用curl http://localhost:8080/readyz确认服务就绪之后任何支持自定义 base URL 的 OpenAI 客户端都能直连。macOS 用户可以直接下载官方 DMG 桌面客户端Launcher启动后模型存放在~/.localai/models省去手动敲命令的步骤。核心功能亮点模型库一键安装WebUI 的 Models 页面分 Explore 和 Installed 两个视图Explore 里浏览官方策展的模型库、对比下载体积与预估显存一键安装Installed 里查看每个模型的运行、空闲、已禁用状态可停止、改配置、看后端日志或删除。模型也可以从 Hugging Face、Ollama、OCI 仓库按地址导入。模块化后端按需拉取LocalAI 支持 60 多个后端覆盖 llama.cpp、vLLM、whisper.cpp、diffusers、MLX 等引擎硬件上支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 乃至纯 CPU。每个后端都是独立构件只在模型需要时自动拉取——你装一个模型不会连带下载一堆用不上的引擎还能用local-ai backends list/install/uninstall单独管理。内置 Agent 与终端助手服务内置自主 Agent支持工具调用、RAG、MCP 协议和技能扩展回答时会自动做 RAG 来源引用。另有终端 Agent在另一个 shell 里启动它就能提问、读本地文件、执行命令所有改变状态的操作都会先征求你的批准。多用户与 API 兼容支持 API Key 认证、用户配额和基于角色的访问控制还能按 Key 和按用户统计用量适合小团队共享一台部署。接口层兼容 OpenAI、Anthropic、ElevenLabs 三套 API覆盖文本、工具调用、Realtime 语音等端点。适合谁 / 典型用法独立开发者想给项目加 AI 能力又不想把代码、数据发到云端。克隆仓库 https://link.gitcode.com/i/02e287bfd058f3104750104651d99198 后本地部署把应用的 base URL 指到localhost:8080即可。内容创作者在本地生成配图、把文案转成多语言配音。同一服务里切换图像生成和 TTS 模型不用维护两套环境。小团队在内网跑一台 LocalAI 替代付费 API用 API Key 给每个成员分配独立配额用量可逐 Key 统计。实用技巧与避坑⚙️选对量化版本1–3B 模型约 1–3 GB7–13B 约 4–8 GB显存不够就选q4_k_m之类的量化变体模型库会给出预估显存红色标记代表可能装不下。磁盘空间留 2–3 倍余量下载和解压都需要临时空间SSD 上体验明显更好。改模型存放位置默认在./modelsDocker 挂载后通常是宿主机./models用环境变量LOCALAI_MODELS_PATH或--models-path可以挪到别的分区避免占满主目录。排查问题先看这三个curl http://localhost:8080/readyz看服务状态、curl http://localhost:8080/v1/models看已加载模型、local-ai run --log-leveldebug开调试日志容器部署直接docker logs local-ai。觉得比 llama.cpp 慢默认开启了 mirostat 采样在模型配置里设mirostat: 0可关闭吞吐会明显提升。常见问题没有 GPU 能用吗可以LocalAI 明确支持纯 CPU 运行。CPU 上建议从 1–3B 的小模型起步图像和视频生成这类任务没有 GPU 会比较慢。我能直接拿现有 OpenAI 代码接入吗可以。只要客户端支持自定义 base URL把它指向http://localhost:8080就行接口按 OpenAI 格式实现工具调用、流式输出都兼容。模型从哪里来存在哪最方便的是 WebUI 里的模型库按名字一键安装也可以指定 Hugging Face 上的任意 GGUF。默认存放位置是工作目录下的./modelsLauncher 客户端则是~/.localai/models。下载完模型后能完全离线吗可以。后端镜像和模型权重都拉到本地后推理全程在本地完成不需要网络。能多人同时用一台服务吗可以。内置 API Key 认证、按用户配额和用量统计配合多用户认证即可安全共享。写在最后LocalAI 把跑一个 AI 服务压缩成一条 Docker 命令加一次模型安装而多模态、Agent、多用户这些能力开箱就有。想深入了解建议从这两处开始官方文档docs/核心服务源码core/模型配置库gallery/【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考