Self-LLM 教程通用前置AutoDL 云 GPU 开放端口与 SSH 端口映射到本地实战【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llmAutoDL 是国内常用的云 GPU 租用平台Self-LLM 仓库中绝大多数模型教程FastAPI 部署、Streamlit/Gradio WebDemo、LangChain 知识库助手等都建立在同一个前提之上把运行在云端服务器上的服务端口映射到本地浏览器访问。本篇文章以仓库文档 02-AutoDL开放端口.md 为骨架完整讲解 AutoDL「自定义服务」端口映射的入口、SSH 命令参数含义、验证访问与常见排错掌握后即可无缝衔接仓库内任一模型的部署教程。为什么需要「开放端口」云端服务与本地访问之间的桥梁Self-LLM 的模型部署流程通常分两步先在 AutoDL 云服务器上启动服务如 FastAPI、Streamlit、Gradio再在本地浏览器中访问界面。但云端进程监听的是服务器自身的端口如6006、7860本地浏览器无法直接访问因此必须建立一条「本地 → 云端」的转发通道。这一步骤在本仓库中被反复引用例如Gemma2 FastApi 部署调用 中明确写道「点击自定义服务开启 AutoDL 开放端口」「有些区域的机器需要配置 AutoDL 开放端口配置方法写在本项目中 General-Setting 目录首次使用请参考该文档」Baichuan2 FastApi 部署调用、ChatGLM3 FastApi 部署调用 等大量文档都注释着「用 6006 端口可以将 autodl 的端口映射到本地从而在本地使用 api」ChatGLM3 chat 教程 则指出「将 autodl 的端口映射到本地的 http://localhost:6006 即可看到 demo 界面」。可见端口映射是贯穿整个仓库的通用前置能力本文所述方法只演示一次即可复用到后续所有模型部署场景。从原理上看AutoDL 的「开放端口」本质是SSH 本地端口转发Local Port Forwarding在本机执行一条 ssh 命令通过 SSH 加密隧道把云服务器上的某个端口「搬运」到本地的localhost:6006。由于整条链路都封装在 SSH 会话中无需在云服务器安全组额外开放公网端口安全且配置简单。操作入口实例列表中的「自定义服务」首先在 AutoDL 控制台进入实例列表找到状态为「运行中」的 GPU 实例在其「操作」列中可以找到「自定义服务」按钮点击后即弹出端口映射指引弹窗如下图所示。点击后弹出的「提示」弹窗包含完整操作说明默认展示 Windows 与 Linux/Mac 两个标签页并给出可直接复制的 SSH 命令需要注意弹窗中的平台提示http/https 服务仅对企业认证后的用户开放。若你的账号未完成企业认证部分区域可能无法使用该功能需先完成认证后再操作。按本地系统执行端口转发命令弹窗中根据本地操作系统给出对应操作方式本地系统操作工具操作方式WindowsPowerShell在 PowerShell 中粘贴执行 SSH 命令Linux / Mac终端Terminal在终端中粘贴执行 SSH 命令仓库 02-AutoDL开放端口.md 所附的主流程图完整展示了从点击入口到输入密码的整个链路以 Linux/Mac 为例核心命令形如ssh -CNg -L 6006:127.0.0.1:6006 rootconnect.beijing.aetcloud.com -p 55102命令中每一个参数都值得理解-C启用压缩传输降低远程 Web 界面的传输开销-N不执行远程命令仅建立端口转发隧道映射场景的标配参数-g允许远程主机连接到本地的转发端口增强穿透能力可选-L 6006:127.0.0.1:6006本地端口转发的核心含义为「将本机 6006 端口收到的流量经隧道转发到云服务器的 127.0.0.1:6006 端口」rootconnect.beijing.aetcloud.comAutoDL 为你分配的登录账号与连接域名不同实例/区域各不相同-p 55102SSH 服务端口通常不是默认的 22务必以弹窗给出的实际端口为准。从仓库截图可以看出不同实例的连接地址与端口是动态分配的例如 General-Setting 主图 中为connect.beijing.aetcloud.com -p 55102而 Gemma2 教程截图 中为connect.yza1.seetacloud.com -p 54773。因此不要照抄命令中的地址与端口每次都以弹窗展示的为准直接点击命令右侧的「复制」按钮即可。执行命令后按提示操作首次连接若询问yes/no输入yes回车输入实例的 SSH 密码可点击「显示」核对密码正确时回车后终端无任何输出属于正常现象说明隧道已建立若出现Permission denied多半是密码粘贴失败或密码有误重新粘贴密码后再试。验证映射结果并访问本地服务隧道建立成功后即可在本地浏览器打开弹窗提示的地址http://localhost:6006此时浏览器访问的虽然是本地地址实际流量已经通过 SSH 隧道直达云服务器上运行的服务。仓库中的典型用法是FastAPI 服务部署在 6006 端口后直接访问http://localhost:6006调用 APIStreamlit WebDemo 启动后在终端按照autodl的指示将端口映射到本地再打开http://localhost:6006/查看聊天界面参见 BaiChuan WebDemo、BlueLM WebDemo 等教程。非 6006 端口的映射方法与本仓库通用场景虽然仓库文档以 6006 端口作为默认演示但方法完全通用只需修改-L参数中的两个端口号即可。例如知识库类教程中 Gradio 默认运行在 7860 端口ChatGLM3 接入 LangChain 搭建知识库助手 中说明「默认会在 7860 端口运行」此时将映射命令改为ssh -CNg -L 7860:127.0.0.1:7860 rootconnect.你的区域域名 -p 你的端口同时-L的本地端口也可以自由更换以避开本机端口冲突例如本地 6006 已被占用时可写为-L 8080:127.0.0.1:6006随后通过http://localhost:8080访问云服务器的 6006 服务。规则始终是「左侧为本机端口右侧为云服务器端口」。下表汇总了本仓库中常见的端口映射场景场景云端服务端口本地访问地址FastAPI 接口部署6006http://localhost:6006Streamlit WebDemo8501 或 6006http://localhost:6006/Gradio 知识库助手7860http://localhost:7860注意事项与常见问题排查结合仓库文档与平台提示总结以下要点连接地址不固定AutoDL 的 SSH 域名与-p端口随实例、区域动态分配必须以当前弹窗显示为准直接复制命令最稳妥企业认证限制弹窗明确提示 http/https 服务仅对企业认证后的用户开放未认证账号可能无法使用该能力Permission denied优先检查密码是否完整粘贴粘贴可能带多余空格其次确认是否选择了正确的实例终端无输出即成功SSH 隧道建立后不返回任何信息属正常现象不要误以为卡死而中断会话本机端口冲突若localhost:6006被本地其他程序占用改用-L 8080:127.0.0.1:6006之类的本地端口错开即可用完及时关闭隧道会保持 SSH 会话常驻服务使用完毕后按CtrlC断开即可。延伸阅读端口映射解决了「服务跑在云端、界面开在本地」的问题而部署前还需要完成环境准备与模型下载可继续阅读 General-Setting 目录下的配套文档01-pip、conda换源.md配置国内镜像源加速依赖安装03-模型下载.md通过 huggingface-cli、ModelScope、git-lfs 等方式获取模型权重04-IssuePRupdate.md参与仓库协作的规范说明。掌握本文的端口映射方法后即可回到 Gemma2 部署教程、Baichuan2 部署教程 等任意模型教程完成从「云端起服务」到「本地打开界面」的完整闭环。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Self-LLM 教程通用前置：AutoDL 云 GPU 开放端口与 SSH 端口映射到本地实战
Self-LLM 教程通用前置AutoDL 云 GPU 开放端口与 SSH 端口映射到本地实战【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llmAutoDL 是国内常用的云 GPU 租用平台Self-LLM 仓库中绝大多数模型教程FastAPI 部署、Streamlit/Gradio WebDemo、LangChain 知识库助手等都建立在同一个前提之上把运行在云端服务器上的服务端口映射到本地浏览器访问。本篇文章以仓库文档 02-AutoDL开放端口.md 为骨架完整讲解 AutoDL「自定义服务」端口映射的入口、SSH 命令参数含义、验证访问与常见排错掌握后即可无缝衔接仓库内任一模型的部署教程。为什么需要「开放端口」云端服务与本地访问之间的桥梁Self-LLM 的模型部署流程通常分两步先在 AutoDL 云服务器上启动服务如 FastAPI、Streamlit、Gradio再在本地浏览器中访问界面。但云端进程监听的是服务器自身的端口如6006、7860本地浏览器无法直接访问因此必须建立一条「本地 → 云端」的转发通道。这一步骤在本仓库中被反复引用例如Gemma2 FastApi 部署调用 中明确写道「点击自定义服务开启 AutoDL 开放端口」「有些区域的机器需要配置 AutoDL 开放端口配置方法写在本项目中 General-Setting 目录首次使用请参考该文档」Baichuan2 FastApi 部署调用、ChatGLM3 FastApi 部署调用 等大量文档都注释着「用 6006 端口可以将 autodl 的端口映射到本地从而在本地使用 api」ChatGLM3 chat 教程 则指出「将 autodl 的端口映射到本地的 http://localhost:6006 即可看到 demo 界面」。可见端口映射是贯穿整个仓库的通用前置能力本文所述方法只演示一次即可复用到后续所有模型部署场景。从原理上看AutoDL 的「开放端口」本质是SSH 本地端口转发Local Port Forwarding在本机执行一条 ssh 命令通过 SSH 加密隧道把云服务器上的某个端口「搬运」到本地的localhost:6006。由于整条链路都封装在 SSH 会话中无需在云服务器安全组额外开放公网端口安全且配置简单。操作入口实例列表中的「自定义服务」首先在 AutoDL 控制台进入实例列表找到状态为「运行中」的 GPU 实例在其「操作」列中可以找到「自定义服务」按钮点击后即弹出端口映射指引弹窗如下图所示。点击后弹出的「提示」弹窗包含完整操作说明默认展示 Windows 与 Linux/Mac 两个标签页并给出可直接复制的 SSH 命令需要注意弹窗中的平台提示http/https 服务仅对企业认证后的用户开放。若你的账号未完成企业认证部分区域可能无法使用该功能需先完成认证后再操作。按本地系统执行端口转发命令弹窗中根据本地操作系统给出对应操作方式本地系统操作工具操作方式WindowsPowerShell在 PowerShell 中粘贴执行 SSH 命令Linux / Mac终端Terminal在终端中粘贴执行 SSH 命令仓库 02-AutoDL开放端口.md 所附的主流程图完整展示了从点击入口到输入密码的整个链路以 Linux/Mac 为例核心命令形如ssh -CNg -L 6006:127.0.0.1:6006 rootconnect.beijing.aetcloud.com -p 55102命令中每一个参数都值得理解-C启用压缩传输降低远程 Web 界面的传输开销-N不执行远程命令仅建立端口转发隧道映射场景的标配参数-g允许远程主机连接到本地的转发端口增强穿透能力可选-L 6006:127.0.0.1:6006本地端口转发的核心含义为「将本机 6006 端口收到的流量经隧道转发到云服务器的 127.0.0.1:6006 端口」rootconnect.beijing.aetcloud.comAutoDL 为你分配的登录账号与连接域名不同实例/区域各不相同-p 55102SSH 服务端口通常不是默认的 22务必以弹窗给出的实际端口为准。从仓库截图可以看出不同实例的连接地址与端口是动态分配的例如 General-Setting 主图 中为connect.beijing.aetcloud.com -p 55102而 Gemma2 教程截图 中为connect.yza1.seetacloud.com -p 54773。因此不要照抄命令中的地址与端口每次都以弹窗展示的为准直接点击命令右侧的「复制」按钮即可。执行命令后按提示操作首次连接若询问yes/no输入yes回车输入实例的 SSH 密码可点击「显示」核对密码正确时回车后终端无任何输出属于正常现象说明隧道已建立若出现Permission denied多半是密码粘贴失败或密码有误重新粘贴密码后再试。验证映射结果并访问本地服务隧道建立成功后即可在本地浏览器打开弹窗提示的地址http://localhost:6006此时浏览器访问的虽然是本地地址实际流量已经通过 SSH 隧道直达云服务器上运行的服务。仓库中的典型用法是FastAPI 服务部署在 6006 端口后直接访问http://localhost:6006调用 APIStreamlit WebDemo 启动后在终端按照autodl的指示将端口映射到本地再打开http://localhost:6006/查看聊天界面参见 BaiChuan WebDemo、BlueLM WebDemo 等教程。非 6006 端口的映射方法与本仓库通用场景虽然仓库文档以 6006 端口作为默认演示但方法完全通用只需修改-L参数中的两个端口号即可。例如知识库类教程中 Gradio 默认运行在 7860 端口ChatGLM3 接入 LangChain 搭建知识库助手 中说明「默认会在 7860 端口运行」此时将映射命令改为ssh -CNg -L 7860:127.0.0.1:7860 rootconnect.你的区域域名 -p 你的端口同时-L的本地端口也可以自由更换以避开本机端口冲突例如本地 6006 已被占用时可写为-L 8080:127.0.0.1:6006随后通过http://localhost:8080访问云服务器的 6006 服务。规则始终是「左侧为本机端口右侧为云服务器端口」。下表汇总了本仓库中常见的端口映射场景场景云端服务端口本地访问地址FastAPI 接口部署6006http://localhost:6006Streamlit WebDemo8501 或 6006http://localhost:6006/Gradio 知识库助手7860http://localhost:7860注意事项与常见问题排查结合仓库文档与平台提示总结以下要点连接地址不固定AutoDL 的 SSH 域名与-p端口随实例、区域动态分配必须以当前弹窗显示为准直接复制命令最稳妥企业认证限制弹窗明确提示 http/https 服务仅对企业认证后的用户开放未认证账号可能无法使用该能力Permission denied优先检查密码是否完整粘贴粘贴可能带多余空格其次确认是否选择了正确的实例终端无输出即成功SSH 隧道建立后不返回任何信息属正常现象不要误以为卡死而中断会话本机端口冲突若localhost:6006被本地其他程序占用改用-L 8080:127.0.0.1:6006之类的本地端口错开即可用完及时关闭隧道会保持 SSH 会话常驻服务使用完毕后按CtrlC断开即可。延伸阅读端口映射解决了「服务跑在云端、界面开在本地」的问题而部署前还需要完成环境准备与模型下载可继续阅读 General-Setting 目录下的配套文档01-pip、conda换源.md配置国内镜像源加速依赖安装03-模型下载.md通过 huggingface-cli、ModelScope、git-lfs 等方式获取模型权重04-IssuePRupdate.md参与仓库协作的规范说明。掌握本文的端口映射方法后即可回到 Gemma2 部署教程、Baichuan2 部署教程 等任意模型教程完成从「云端起服务」到「本地打开界面」的完整闭环。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考