先交代一下背景过去这段时间我被大模型微调和多模态项目的算力账单折腾得够呛索性花了一个月时间把国内主流的GPU租赁平台挨个试了一遍。从按小时计费的公共云GPU实例到充值送代金券的容器租用平台再到能一台台真机验收的算力超市前前后后跑了不下十家。这篇文章就当作我的比价与避坑记录给正准备租GPU跑训练、推理或部署的朋友一个参考。我对比的核心指标很直接价格、卡型真实性能、环境交付体验、数据存储策略和售后响应速度。为了不让测试数据失真我在每个平台都跑了统一的PyTorch训练脚本和推理压测并记录了从下单到能跑起YOLOv8或Ollama推理模型的全过程时间。读完这篇文章你应该能知道自己该选哪个平台、该买哪种卡型、该怎么避开那些看似便宜实际血贵的坑。1. 租GPU之前先把需求算清楚1.1 训练和推理对卡的需求完全不同很多朋友一上来就问我“租什么卡好”这个问题其实没法直接回答因为训练和推理的资源消耗逻辑是完全两回事。训练大模型时显卡主要吃显存容量和持续吞吐能力整个训练过程往往持续几小时甚至几天对卡的稳定性要求极高而推理任务通常只吃单次延迟和并发能力对显存要求相对低更看重单卡性能和调度框架。举个例子微调一个7B参数的模型如果用FP16精度光权重就要占14GB显存加上梯度和优化器状态一张24GB的4090勉强能跑但很吃力最稳的是上48GB的L40S或80GB的A100/H800。反过来如果只是用Ollama部署一个量化后的7B模型做推理一张16GB显存的卡就够用甚至用CPU也能凑合但速度会差很多。我用一张表把几类常见任务的显卡需求整理了一下任务类型典型场景显存需求推荐卡型计价模式建议大模型微调LoRA/QLoRA训练7B~14B模型24GB~80GB4090/A100/H800包月或包周全量训练预训练或全参微调80GBA100/H800集群包月多卡推理部署Ollama/vLLM部署量化模型8GB~24GB3080Ti/4090/L40S按时计费数据处理视频转码/向量化8GB~16GB3080/3090按时计费我的实际经验是跑一次性训练任务优先选包周或包月套餐单价虽然看着高但平摊到实际可用时长上反而比按时计费划算如果是快速验证代码、跑推理服务按时计费灵活很多用完就释放不心疼。1.2 按小时租和包月租真实差距比想象中大很多平台贴着“0.98元/小时起”的标语点进去才发现是限量款。真正面向生产级AI任务的主流卡型按时租的价格通常在2-5元/小时之间。看起来不贵但一次微调跑两三天账单就直奔四位数了。我算过一笔账一块4090按4元/小时算每天连续跑18小时留点时间排查问题一个月下来就是2160元。看起来比整机划算但这是纯裸机价格没算存储、带宽和镜像占用的费用。包月套餐的模式一般有两种。一种是固定机器池直接租赁一个月六千到一万多不等适合长期跑业务的人另一种是充值送代金券比如充1000送800这类平台通常还附带一些免费存储额度和公共镜像综合算下来跑频繁任务更省钱但要注意代金券通常有有效期和使用门槛不是所有卡型都能用。我还发现一个规律越专业的平台越敢把价格明细拆开。开机费用多少、存储费用多少、带宽费用多少一目了然。而那些全靠“限时折扣”“秒杀价”吸引眼球的平台往往在停机后仍产生存储费用甚至有些平台退款审核能拖两三周这些隐性成本一定要提前算进去。1.3 不差钱也要看“卡的真实性能”同样的卡型不同平台的调度策略和散热策略会导致实际性能差出一大截。我在不同平台都跑过同一份YOLOv8训练测试用相同batch size和epoch数有的平台4090跑完一小时有的平台跑了快一个半小时才结束。这个差异主要来自三方面一是vGPU虚拟化是否共享了算力二是物理卡是否被超频使用或散热不足三是平台是否对某些卡型做了抢占式调度。为此我在每个平台下单后做的第一件事不是急着跑训练而是先跑一遍nvidia-smi和一个小型矩阵运算基准确认拿到的是完整物理卡显存和算力都没有缩水。具体操作在后面实操章节会详细说。总之不要只看卡名字要看真实交付的算力。2. 平台对比我实测了这些国内GPU租赁平台2.1 代金券模式与充值模式的利弊这一个月我接触的平台大致可以分为三类公共云厂商的GPU实例、第三方AI算力租赁平台、以及提供裸机租用的IDC机房渠道。公共云厂商胜在生态全、网络好但价格往往最贵而且入门操作复杂VPC、安全组、镜像仓库这些概念就让不少新手头疼。第三方算力平台价格灵活、交付简单是大多数个人开发者和中小团队的主力选择。IDC机房渠道适合批量租卡的情况起租门槛高动辄十卡起步个人用户基本用不上。在第三方平台上代金券和充值是两种主要商业模式。代金券模式的本质是平台用优惠锁定用户的预付金额通常充得越多折扣越大。这种模式对长期有算力需求的人很友好但我提醒一句代金券一般不会覆盖所有产品线热门卡型经常不支持抵扣或者需要再加价才能用下单前一定要看清规则。充值模式则相对简单充多少用多少偶尔有平台做活动赠送金额但总体优惠空间不大。我的建议是第一次尝试某平台时先用微信群或客服渠道要个少量体验券或者充个最低额度跑一单测试确认卡型真实、带宽够、技术支持靠谱后再考虑大额充值。别一上来就冲大几千平台跑路或服务质量下降的例子不是没有。2.2 卡型选型与实测速度记录我这次主要测了四张卡RTX 3080Ti、RTX 4090、NVIDIA L40S和NVIDIA A100 80G。测试项目包括PyTorch矩阵训练、YOLOv8训练基准、Ollama加载7B模型推理速度和vLLM批量推理吞吐。先看数据卡型显存YOLOv8训练一个epoch耗时Ollama 7B推理tokens/s平台挂牌价区间元/时RTX 3080Ti12GB约42秒18-221.2-2.0RTX 409024GB约28秒30-383.5-5.0L40S48GB约22秒35-458.0-13.0A100 80G80GB约18秒40-5512.0-20.0光看数据4090性价比最高这也是目前第三方平台最热门的卡型。但有个隐患4090在机房环境下的长时间稳定性不如专业计算卡某些平台不限制功耗墙跑满负载时机箱温度高得离谱甚至出现过训练中途掉卡的情况。而L40S和A100虽然贵但是专业DCU设计7x24小时高负载运行很少出幺蛾子。对于语言模型推理A100的优势在中高并发场景才能体现出来。个人测试单路请求时4090和A100差距并不大但并发请求一多A100的NVLink和更大带宽优势就显现了。如果是面向生产环境的应用别省这个钱如果是自己写代码做实验4090已经够用。2.3 预置镜像和驱动环境体验平台好不好用镜像市场是关键的体验分水岭。有平台预置好了PyTorch、TensorFlow、Ollama等常用环境开机即用省掉了大半天的装环境时间。也有平台只给你一张干净的系统盘驱动、CUDA、Python环境全部自己配配置半天是常有的事。我强烈建议新手优先选预置镜像丰富的平台。我之前在一个镜像很少的平台租了一台机器光是装NVIDIA驱动就折腾了三个小时。先是在CentOS 7.9上编译驱动报错换了Ubuntu镜像又遇到内核头文件版本对不上的问题最后还是靠平台客服远程帮我搞定的。这件事让我深刻认识到租GPU主要目的是跑算法不是练运维没必要和自己过不去。另外还要关注平台是否有“镜像保存”功能。有些任务需要特定的CUDA版本或Python依赖每次重开机都要重新配环境如果平台支持把当前环境保存为私有镜像那后续启动新实例就是分钟级的事强烈建议用起来。3. 核心实操全流程从下单到跑起你的第一个模型3.1 下单前必须确认的3个细节第一确认你选的卡型在目标平台上是否有库存。很多平台的官网库存和实际可用库存是不同步的热门卡型经常显示有货下单后却要排队等两三天。这个信息可以通过平台在线客服或QQ群问一下也可以看平台有没有“实时库存”的页面。第二确认计费模式。有些平台按整点计费哪怕你用了10分钟也按1小时收有些平台支持按分钟计费适合跑短任务的场景。第三确认数据盘和系统盘的关系。很多平台默认只给你一个几十GB的系统盘训练数据根本放不下加一块数据盘往往要额外收费下单前看清楚价格明细里包含多少存储空间。下单形态上也有些差异。部分平台采用“租用实例”模式就像云服务器一样点两下就能启动另一部分平台采用“提交工单”模式需要填写需求和期望卡型等平台方人工分配资源这种模式适合批量租卡或特殊卡型需求个人用户不太推荐响应太慢。3.2 新实例开机后做的第一件事跑全套检测新实例开机后我建议按照下面这个顺序走一遍全部通过再开始干活查看显卡是否被正确识别nvidia-smi重点看显卡型号、显存大小、驱动版本和CUDA版本是否正常。检查物理卡还是虚拟卡看nvidia-smi输出中是否有MIG多实例GPU字样或者用nvidia-smi -L确认GPU UUID。MIG切出来的虚拟卡算力有限如果你的任务是训练这种卡并不理想。测试算力是否达标跑一个矩阵乘法基准对比相同卡型的参考分数差距超过15%就说明有问题。查看系统盘和数据盘空间df -h确认数据盘挂载路径和剩余空间别等下载数据集时才发现磁盘满了。顺手测试网络带宽用curl -o /dev/null下载一个测试文件观察速度是否能满足数据需求。有些平台内网带宽不错但公网出口带宽很小下载Hugging Face模型能急死人。我遇到过最坑的一次是平台把一块3080Ti伪装成3090对外租。nvidia-smi显示的型号被修改过直到我跑占用显存超过12GB的任务报OOM才意识到这卡不对劲。所以跑完nvidia-smi之后一定要实际跑一次吃显存的任务验证一下。3.3 PyTorch与CUDA版本搭配的黄金组合GPGPU环境最让人头疼的就是版本兼容问题。根据我踩坑总结出来的经验推荐以下组合方案显卡驱动版本CUDA版本PyTorch安装命令535.xx及以上12.1pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121545.xx及以上12.4pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124525.xx及以下11.8pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118判断驱动版本对应哪个CUDA版本直接看nvidia-smi顶部显示。如果你的驱动版本较老就会出现“驱动不支持该CUDA版本”的报错这时候不需要升级驱动只需要安装对应低版本的PyTorch即可。另外我建议优先用平台预置的PyTorch镜像版本之间都验证过兼容性比自己解决依赖省事得多。如果是租A100/H800这类高性能卡跑大模型建议直接用PyTorch官方容器镜像。官方镜像里已经编译好了CUDA、cuDNN和NCCL对于多卡训练场景还有额外的集合通信优化比自己搭建环境训练速度快5%-10%不是吹的。3.4 Ollama跑起来手把手部署一个推理服务现在很多朋友用Ollama在租来的GPU上部署大模型推理服务操作确实简单。但我在平台实测中发现Ollama默认情况下不一定会把模型加载到GPU这与驱动、CUDA、容器环境都有关联。安装Ollama很简单一条命令就好。启动服务后先验证它是否能用GPUollama serve ollama run llama3:8b如果出现“no GPU”或推理速度很慢就要手动检查两处。一是检查是否有/dev/nvidia0等设备节点存在容器内没有挂载显卡设备肯定不行二是确认当前用户有没有权限访问GPU设备ls -la /dev/nvidia*看看权限没有权限就加进video组。在大多数平台的标准Ubuntu镜像中Ollama只要装了NVIDIA Container Toolkit就能自动识别GPU。并发请求上Ollama默认配置比较保守单模型并发很低。如果是要对外提供服务建议在启动命令里加OLLAMA_NUM_PARALLEL4以及OLLAMA_MAX_LOADED_MODELS1这些环境变量能显著提高吞吐。实测在4090上部署7B Q4量化模型并发4的条件下单token生成速度能稳定在25-35 tokens/s满足一般Demo场景完全没问题。3.5 微调实操用租来的GPU跑一次LoRA训练比推理更典型的需求就是微调。我以用LoRA微调一个中文对话模型为例说说在租来的GPU上怎么高效跑通。算算显存7B模型FP16权重约占14GBLoRA加进去大概多占用1-2GB显存再加上激活值、优化器状态24GB的4090勉强够用。如果是14B模型就得用L40S或A100了。训练前把batch size调小一点gradient accumulation设大一点能显著降低显存压力。训练脚本方面微调用到的库是PEFT和transformers。在租来的机器上只需要pip install peft transformers datasets accelerate bitsandbytes如果要更进一步用QLoRA也就是4bit量化做微调24GB显存甚至可以跑14B模型。bitsandbytes库对CUDA版本很敏感装之前确认好版本匹配即可。我实测在4090上用QLoRA微调7B模型大概每小时能处理6000-8000个训练样本一块卡跑一个下午基本能出一个效果还不错的LoRA适配器。4. 账单拆解一次真实微调任务花了我多少钱4.1 完整成本核算我在一个第三方平台上用一张4090跑了一次7B模型的LoRA微调数据量约5万条训练了6个epoch全程约9小时。账单明细大致如下项目单价用量小计4090实例4.5元/时9小时40.5元数据盘SSD0.1元/GB/天200GB7天14元公网带宽0.8元/GB下载数据模型约15GB12元私有镜像存储0.05元/GB/天8GB7天2.8元合计69.3元这只是训练过程的费用还没算前期环境调试和后期模型推理验证的时间。如果算上这些总费用至少在150元左右。对比公共云平台同类配置这个价格算是比较经济的。如果任务更重比如要训练14B模型则需要更换L40S甚至A100。L40S按12元/时算同样跑9小时就是108元但显存翻倍意味着可以做更大的batch size训练效率也提高了实际总成本可能反而不会多很多。这就是为什么我建议按总任务成本而不是单卡时薪来选平台。4.2 对比自己买卡的性价比这可能是很多人最关心的问题到底是租卡合适还是买一台GPU服务器更划算我拿4090举个例子。一块全新4090显卡市场价在1.3-1.6万元搭配整机配件CPU、主板、电源、硬盘、机箱整机预算大概在2.5-3万元。按每月租金2000-2500元来算买一台整机的钱相当于租一年的费用。如果你的任务强度不是特别稳定每个月有效使用GPU的时间少于200小时那租卡明显划算如果几乎每天都要跑任务哪怕偶尔空闲自购整机也值得考虑。不过自购整机还有几个隐性成本经常被忽略一是散热和噪音4090满载时风噪惊人在家办公很难适应二是耗电量一块4090满载功耗450W加上其他硬件每小时耗电约0.6度一天跑20小时就超过10度电一个月电费又加几百块三是硬件淘汰速度AI硬件迭代快4090性能虽然强悍但过两年可能就不够用了二手折价让人心疼。综合来看我给自己定的策略是日常高频试验用包月租卡长尾低频任务用按时租卡真正要长期稳定跑的服务再考虑自购硬件。这也是很多AI创业团队的常规操作。4.3 几个价格上容易踩坑的细节关于价格有几个本人亲身踩过的坑必须展开总结一下低价引流实际价格翻倍。部分平台标出超低价格但点进去发现只针对某一种冷门卡型热门卡完全看不到这个价位。隐藏费用。停机不释放机器存储费用照收镜像超过免费额度后自动计费流量用超后按较高单价结算。下单前务必看清“费用说明”板块。代金券限制。代金券标注“限时”“限卡型”“不可叠加”实际使用范围很小充钱之前先找客服确认清楚。区域资源差异。同一平台不同可用区的价格可能差出30%而且热门区域经常售罄如果任务不要求低延迟可以选择冷门区域省一笔钱。发票问题。公司报销的朋友注意部分第三方平台不提供增值税专用发票只能开普通发票或收据这对企业用户影响很大下单前先问清楚。5. 常见问题速查与避坑经验5.1 新手上路最容易遇到问题我把这一个月在平台和群里看到的高频问题整理成了一张速查表方便大家对照排除问题现象可能原因解决方案nvidia-smi看不到显卡驱动未装或未挂载设备重装匹配驱动确认容器有--gpus all参数PyTorch报CUDA不可用CUDA版本与驱动不匹配使用torch.cuda.is_available()检查按驱动版本安装对应PyTorch训练速度远低于预期卡被虚拟化或共享跑基准测试对比同卡型参考分数Ollama识别不到GPU未安装NVIDIA Container Toolkit安装并配置nvidia-ctkruntime模型加载到一半OOM显存不足或batch size过大换更高显存卡型或减小batch size、开启梯度累积数据下载一直卡住公网带宽限制使用平台内网中转存储或提前上传数据集到对象存储SSH频繁断连平台设置了闲置超时使用tmux或screen保持会话部分平台可关闭自动断开其中“训练速度远低于预期”最常见也最让人恼火。我建议大家在每个平台都保留一个基准测试记录换平台换卡型时能快速对比。我自己写了个简单的PyTorch矩阵大小测试脚本几秒就能跑完看到结果异常可以直接找客服反馈。5.2 独家避坑技巧平台客服和售后那些事租GPU的体验很大程度取决于平台的客服水平。我总结了几条识别平台是否靠谱的经验有实时在线客服的平台处理问题的效率普遍高于只靠工单系统沟通的平台。遇到装环境卡壳、网络异常这类问题能实时沟通和排队等工单回的是两种体验。平台是否有用户群群里是否有官方技术人员活跃。活跃的群不仅能解决问题还能了解到一些平台资源变动和优惠信息。跑训练到一半发现问题能及时止损吗部分平台在实例运行中无法直接调整配置遇到问题只能销毁重买。下单前确认好是否支持无损升配或换机。另外数据安全不能忽视。训练数据涉及业务隐私的朋友一定要选择提供“数据盘加密”功能的平台。有些平台在实例释放后数据盘并不会立即物理销毁存在数据残留风险。我的习惯是重要数据上传前先压缩加密上传到对象存储使用临时密钥实例用完后手动删除数据盘快照再提交释放工单。5.3 多卡训练和长时间任务的管理建议如果任务量很大需要多卡并行或者跑好几天有几个建议值得听一下其实最推荐的做法是如果你判断未来三个月以上都有稳定的算力需求就不要频繁换平台。把环境封装成镜像数据统一放到一个平台的对象存储里固化工作流这样才能把精力花在算法本身而不是不停折腾环境。我见过太多人每周换平台每次都要重新配置环境时间成本远超省下的那点差价。对于长时间训练任务记得用好tmux或screen。这个习惯在深度学习和GPU运维里几乎是必需的。我自己通常在租好机器后第一件事就是建一个tmux会话所有训练命令都挂在这个会话里面跑这样即使断网或者SSH会话断开任务也不会中断重连后还能看到完整日志。多卡训练时还要注意卡间的通信方式。同一台物理机上多卡用PCIe互联速度还不错跨机器的多卡训练依赖InfiniBand或RoCE网络很多平台并不支持强行做分布式训练可能效率极低。租多卡之前先问清楚平台是否支持RDMA以及卡间互联的实际带宽规格。5.4 我最终还在用的方案不比不知道比完发现根本没有“完美的平台”只有“最适合当前需求的平台”。我的最终决策是平时写代码做实验选预置环境最丰富、按小时计费灵活的头部第三方平台优先用4090。做大模型微调或批量训练切换到支持包周包月的平台预充值拿折扣并锁定存储和带宽费用。涉及生产环境推理服务选公共云厂商的GPU节点稳定性、SLA和运维支持最靠谱贵一点但值得。这个选择组合也是我目前给身边朋友的通用建议。大家可以根据自己的预算、任务类型、技术能力去做调整。如果拿不准就用最少的钱先测一单跑通流程再说不要一开始就把大量预算押在一个没试过的平台上。6. 写在最后一个月实测的几点心得6.1 算力比价的本质是匹配需求一个月跑下来最深的体会是算力比价其实是在比“需求匹配度”而不只是比价格表上的数字。一台便宜但不停出问题的机器再低的价格也是亏钱一台贵的机器但能稳定跑完你要的实验花的每一分钱都值。预算有限的个人开发者先把任务类型理清楚再去看平台预算充足的团队则应该把技术支持响应速度和SLA条款放在比价之前。6.2 建立一个自己的基准测试集最后想分享一个小技巧。为了不每次换平台都从零开始评估我维护了一个自己的基准测试集包含三个固定任务一个小型PyTorch CNN训练、一次YOLOv8单轮训练以及一次Ollama 7B模型推理压测。任何新平台、新卡型我都能在十几分钟内跑完整个基准集并记录到表格里。这样积累几个月后你会有一份非常宝贵的个人数据库知道哪家平台哪张卡性价比最高、哪张卡在哪个时段最稳定。我把这个数据分享给群里的朋友后大家一致认为这个方法比看任何评测文章都靠谱。这就是我这次比价之旅沉淀下来的最实用成果分享给正在算力海洋里漂着的你。