《算力江湖·通义千问》第二集：模型可以免费下载，为什么企业反而更需要GPU？

导读：很多人第一次接触开源大模型的时候，都会产生一种错觉：模型都免费了，那AI这件事是不是就便宜了？千问的模型权重可以下载，代码可以下载，教程网上一大堆，看起来跟装个软件差不多。可等你真正把模型下载回来，准备在自己的电脑上跑，第一盆冷水马上就浇下来了：显存不够。再换一台机器，还是不够。模型再大一点……

模型免费不等于运行成本为零 #

很多人第一次接触开源大模型的时候，都会产生一种错觉：模型都免费了，那AI这件事是不是就便宜了？千问的模型权重可以下载，代码可以下载，教程网上一大堆，看起来跟装个软件差不多。可等你真正把模型下载回来，准备在自己的电脑上跑，第一盆冷水马上就浇下来了：显存不够。再换一台机器，还是不够。模型再大一点，别说训练了，连加载都加载不进去。这个时候很多人才明白，大模型最贵的东西，可能根本不是模型本身，而是模型下面那一层看不见的算力。

我做服务器二十多年，对这种变化感受特别明显。以前我们给高校科研团队配机器，老师最常问的是CPU多少核、内存多大、硬盘够不够。GPU当然也有人要，但很多时候还是某个专业、某个算法团队的特殊需求。大模型出来以后，问题一下变了。现在经常有人直接问我：“强哥，我要本地跑千问，得要多大显存？”“70B模型几张卡能跑？”“几十个人同时用，一台工作站够不够？”你会发现，大模型把GPU从一个专业计算部件，硬生生推成了整套AI基础设施的核心。

部署大模型首先要解决显存容量 #

为什么会这样？其实可以把大模型想成一本特别厚的书。模型参数就是书里的内容，GPU显存就像你的办公桌。书只有几十页，小桌子也能摊开；书变成几十亿、几百亿参数以后，你的桌子太小，书根本放不下。就算用了量化，把“书”压缩了一遍，也只是让它占的地方小一点，不代表不用占地方。所以大家今天讨论大模型服务器，为什么老盯着24GB、48GB、80GB、96GB显存？因为很多任务首先不是问“算得快不快”，而是问一句特别现实的话：装不装得下。

而且这里还有一个特别容易被普通用户忽略的问题：训练和推理是两回事。训练一个真正的大基础模型，需要大量GPU组成集群，让几百张、几千张甚至更多GPU一起工作，高速网络把它们连起来，后面还有存储、内存、电力和散热。但很多高校和企业其实并不会自己从零训练一个千问，它们更多做的是本地推理、知识库、微调、行业应用。这听起来好像算力要求低了，可推理有另外一个特点：它不是算一次就完了，而是每天都得算。一个用户问一句，GPU算一次；一百个人同时问，就是一百份任务；如果再变成Agent，一件事情可能连续调用模型很多次。模型上线以后，GPU不是下班了，而是从“训练车间”搬进了“营业大厅”。

从本地推理到多用户并发 #

千问这几年的演进特别能说明这个问题。到了2026年，Qwen已经发展到Qwen3.8，官方同时开放了27B这种相对容易部署的模型，也开放了总参数达到2.4万亿、每次激活约950亿参数的MoE旗舰模型。27B模型经过量化可以进入高端个人设备，但当任务转向更高精度、多用户并发和长时间运行时，仍需要更大的显存与持续算力；2.4万亿总参数、每次激活约950亿参数的旗舰模型，更需要服务器级基础设施支撑。模型能力越往上走，背后的显存、带宽和计算资源就越像一个无底洞。

这里还有一个很有意思的变化。以前很多客户买服务器，是先有一套软件，再按照软件要求去配硬件。现在大模型时代经常反过来：先看我手里有多少显存，再决定我能跑多大的模型。一张GPU不够，就上两张；两张还不够，就上四张；个人或者小团队可以放一台静音GPU工作站在办公室，科研团队开始考虑多GPU服务器，再往上就是GPU集群和智算中心。所以你会发现，所谓“大模型热”，最后一路传导下来，变成了GPU、内存、NVMe SSD、高速网络、交换机、机柜、电源和散热的一整条需求链。

阿里自己其实比谁都清楚，大模型最后拼的不只是算法。2025年2月，阿里宣布未来三年至少投入3800亿元人民币建设AI和云基础设施，这个数字甚至超过它过去十年在云和AI基础设施上的总投入。到了2026年，阿里仍然在强调全栈AI能力，从基础设施、云平台一直做到模型和应用。换句话说，阿里一边在造千问，一边也在给千问修更大的“电厂和高速公路”。

算力投资已经成为大模型竞争的一部分 #

阿里自己比谁都清楚，大模型最后拼的不只是算法。2025年2月，阿里宣布未来三年至少投入3800亿元建设AI和云基础设施，这一规模超过其过去十年在云和AI基础设施上的投入总和。到了2026年，阿里仍在继续强化从基础设施、云平台到模型和应用的全栈AI能力。换句话说，阿里一边在造千问，一边也在给千问修更大的“电厂和高速公路”。

如此大规模投入背后，是模型调用正在转化为真实的云和算力消费。阿里披露的2026财年第四季度数据显示，云智能集团外部收入同比增长40%，AI相关产品需求已经成为云业务增长的重要驱动力。大模型不再只是实验室里比参数的比赛，而是在持续改变计算基础设施的采购与使用方式。

而这还只是故事的一半。我们花这么多钱买GPU、建机房、扩数据中心，总不能最后只是为了让AI陪我们聊天。真正决定这一轮算力投资值不值得的，是这些模型到底能不能进入真实工作，能不能产生价值。真正决定这轮算力投资价值的，是模型能否进入实际工作并持续产生业务价值。