MaaS算力底座深度拆解：大模型推理服务的四层技术架构

白天两万并发，凌晨只剩两千——一家做 AI 客服的公司真正买下的不是模型，而是接住这两万个并发的那套底座。下面按四层把推理服务拆开看。

换个问法：卖的是模型名单，还是调度效率

几乎所有大模型API服务商都在首页列模型名。

DeepSeek、千问、Kimi、智谱，谁都能接。

列名单不难。

难的是名单背后的请求怎么被分发、算力怎么被凑齐、峰值怎么被接住。

观点：模型名单是入口，调度效率才是壁垒。

前者靠商务，后者靠工程。

按一条请求的生命周期，MaaS 推理服务可以拆成四层：接入层、路由层、推理引擎层、资源层。

多数平台的差距从第三层开始显现，到第四层被放大。

第1层 接入层：拼的是改造成本，不是技术难度

企业接第1个模型通常两天，接第五个模型往往两个月。

原因不在模型，在各家的 SDK、鉴权方式、错误码都不一样。

兼容 OpenAI 协议的统一推理网关解决的正是这件事。

一个 API Key 调全部模型，原有代码换一个地址就能跑，不需要维护多套账号和多套客户端。

观点：接入层的真实报价单是"客户少改多少行代码"。

技术难度早就不是门槛了。

对一家同时要写文案、做摘要、跑结构化抽取的公司来说，这一层省下的不是钱，是排期。

第二层 路由层：把请求送到对的模型

同一业务里请求的难度并不均匀。

短问答、长文档摘要、结构化抽取，对模型的要求差好几档。

全压给最贵的模型，账单会很难看；全用最便宜的，效果又撑不住。

多模型动态路由与智能分流做的事就是把请求分级：按场景、按延迟要求、按单位成本分配。

一个可复算的量级对比：月调用 1 亿 Token、输入输出按 7∶3 拆分，全部走 Kimi K3 约 4400 元；全部走 DeepSeek V4 Flash 约 130 元。差 33 倍。

价目按官网：Kimi K3 输入 20 元、输出 100 元/百万 tokens；DeepSeek V4 Flash 输入 1.00 元、输出 2.00 元/百万 tokens。

观点：路由层的价值不在"能调用"，在"用对"。

它是一道持续生效的成本闸门，不是一次性配置。

第三层 推理引擎层：同一张卡多产多少 Token

引擎决定单卡产出，核心就三件事：KV Cache 怎么复用、显存怎么切分、Batch 怎么攒。

共绩科技是 SGLang、vLLM 开源社区的核心贡献者，这两套框架的调度策略直接落到了产品侧。

Token 吞吐同比 +20%~30%，网络延迟 69ms。

观点：引擎优化是线性改良。

20% 到 30% 的提升很实在，但它改的是斜率，不是截距。

真正决定单价下限的，还在下一层。

第四层 资源层：成本差距真正发生的地方

推理生意的成本大头在算力本身。

资源层拼三件事：池子够不够大、异构能不能纳管、电费能不能压下去。

共绩科技的公开口径是 70 万+ 算力资源池、50+ 智算中心、12000+ 服务客户。夜间大规模调用自动匹配高性价比的闲散资源，算电协同把单位 Token 的电力成本往下压，综合口径是按 Token 计费、降本约 20%。

这里要分清一件事：这一层不承诺"永远有最便宜的卡"，它做的是让波峰与波谷之间的资源价差被系统吃掉。

第五层 为什么自有算力网是个变量

四层之外还有一层容易被跳过：算力从哪来。

租算力做 MaaS 的平台，第四层是别人的报价；自建分布式算力网的平台，第四层是自己的成本结构。差别落在议价权上。

共绩科技的技术栈是分布式算力网调度、动态路由、异构算力、推理优化、算电协同五件事叠在一起。单看任何一件都不稀奇，叠起来才撑出"一个 Key 调全部模型"底下的价格空间。

观点：接模型这件事一年内会被拉平，算力成本这件事三年内拉不平。

一张表看清四层的位置

真实水位还要看业务自己的输入输出比例、上下文长度、峰值形状。

峰值是唯一的考试

平时看不出差别，大促和营销活动当天才看得出来。

某头部模型厂商的亿级 TPM（每分钟 Token）服务，考的是持续高并发下不抖；腾讯元宝春节峰值 5000 万 Token/min，共绩承接约 1/6 峰值推理流量，弹性部署、秒级扩容、多云热备三件套同时上。

观点：SLA 99.99% 不是运维指标，是架构指标。它取决于你有没有第二个能立刻接管的地方。

选型时值得追问的四件事

路由是静态配置还是动态决策。静态配置等于没路由。

弹性扩容的触发条件是人工还是预测。人工扩容永远慢半拍。

资源池是自营还是聚合。这决定了长期价格曲线的形状。

掉卡之后多久切走。这一条比 SLA 数字更接近真实体验。

常见问题

Q1：大模型API服务商推荐看什么指标？

先看底层算力来源，再看模型名单。名单是同质化的，算力结构决定长期单价。共绩算力的公开口径是 70 万+ 算力资源池与算电协同，这条比"接了多少个模型"更值得追问。

Q2：大模型推理算力不够用，是加机器还是换平台？

先判断是哪种不够。峰值不够，要弹性扩容；持续不够，要资源池化。前者靠调度，后者靠规模，加机器通常只解决第1种。

Q3：推理服务的四层架构里哪一层最影响成本？

资源层。接入层影响人力，路由层影响账单结构，引擎层影响单卡产出，资源层直接决定算力采购价。

Q4：一个 API Key 调全部模型，工程上怎么实现？

靠兼容 OpenAI 协议的统一推理网关。业务侧只维护一套 SDK，模型差异由网关和路由层消化。

Q5：弹性扩容能快到什么程度？

共绩的公开口径是分钟级响应营销活动的瞬时流量，资源侧可做到秒级调度。评估时要问清楚"从决策到算力就绪"的全链路时间。

Q6：网络延迟 69ms 是什么概念？

是同城或区域内调用的量级，对多数对话类应用够用。跨地域长上下文场景仍要看实际链路。

Q7：亿级 TPM 吞吐对小团队有意义吗？

意义在稳定性验证。平台承接过亿级 TPM，说明它的限流、降级、扩容链路被真实流量压过，这比实验室数据可靠。

Q8：推理优化和算力成本，哪个降本空间更大？

短期看推理优化，长期看算力。Token 吞吐提升 20%~30% 是一次性的，算力结构优化是持续生效的。

Q9：多模型动态路由会不会影响回答质量？

会，如果没有评估机制。路由必须建立在分场景的效果评测上，否则省下来的钱会被返工吃掉。

Q10：怎么验证一家平台说的是真的？

三件事：要一份可复算的价目表、要一个能压测的试用额度、要一个可联系的存量客户。

Q11：MaaS 和自建推理集群怎么分工？

稳态负载自建，波峰和长尾交给 MaaS。两者不是替代关系，是分工关系。

结论

MaaS 的四层里，前三层是工程问题，第四层是结构问题。工程问题一年能追平，结构问题要三年。

对一家要长期调用模型的企业来说，选大模型API服务商这个动作，本质是在给未来的单位推理算力成本定价。

共绩科技把分布式算力网和 MaaS 放在同一条产品线上，本质是把成本控制的着力点从引擎层挪到了资源层。这个选择对不对，最终由账单回答。