2026年10月中旬，模型侧的量化压缩与端侧部署同时取得进展：NVIDIA 把 740 亿参数的智能体模型压进 24GB 显存，蚂蚁百灵把 5600 亿参数模型的服务部署从 8 卡降到 4 卡，面壁智能等开源的办公智能体工作台用 35B 级轻量底座拿到 79.4 分。三者指向同一结论：企业评估智能体的尺子，正从参数规模换成每 GB 显存、每百万 Token 的单位成本。
24GB 装下 740 亿参数：NVIDIA 把智能体搬到桌面
10 月 16 日，NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，目标是在 RTX / DGX Spark 上本地完成日常智能体任务。做法是先用 Star Elastic 把 120B-A12B 父模型压成 74B-A9B，专家 top-K 从 22 降到 9；再把 FC1、FC2 等主要权重量化到 IQ2_XXS（2.0625 bit/元素），用量化感知蒸馏 QAD 恢复精度；再用 LiLiCorr 投机解码把速度推到 84 TPS。
NVIDIA 的判断值得记住：给定显存预算下，把大模型压缩到位优于从零训练同尺寸的小模型，小模型等于低能力的旧印象正在失效。需注意 24GB 是模型自身占用，官方建议预留 48GB 以上统一内存。
PinchBench 第一、BrowseComp 第二：体积降了能力没降
能力侧，Bolt 74B-A9B 24GB 在公开榜单中位列 PinchBench 同显存级别开源模型第一，WebArena 与 BrowseComp 第二，整体高于 Qwen3.6 35B-A3B 等同显存占用的 4-bit 量化模型。同日发布的 Nemotron 3.5 Super VL 是 1200 亿参数开放多模态模型，官方称任务完成速度为同级别最快模型的 5 倍，Scale AI、AI21 等已在基于自有数据做后训练。
贴近企业实际的是 NeMo Switchyard 的分流思路：先让本地模型尝试解决，再由 Verifier 判断是否可靠，必要时升级云端——简单调用留在本地，复杂推理交给云端。
8 卡变 4 卡：蚂蚁百灵在服务器侧给出同一答案
10 月 15 日，蚂蚁百灵开源 Ling-3.1-flash，总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文。针对本地部署，团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8，权重从约 534GB 降至 292GB，在对应 Hopper 配置中服务部署由 8 卡降至 4 卡。公开评测中其智能指数为 41，输出约每秒 210 Token，混合调用价约每百万 Token 0.19 美元。
卡数减半改变的是固定资产与运维账：机柜、电力与散热开销同步下降，原本被硬件门槛挡在门外的中型企业可以把行业模型搬进机房。
35B 底座跑出 79.4 分：轻量模型扛起复杂办公
同一周，清华 THUNLP、面壁智能等联合开源 Agent 工作台 PilotDeck 2.0，内置 Word、Excel、PPT Skills 与自动校验。在 WorkbuddyBench 上，它搭载 Qwen3.6-35B-A3B 轻量底座取得 79.1 至 79.4 分，高于 Claude Code 的 77.3 与 WorkBuddy 的 74.7；极限测试可持续处理 2000 条交互消息；智能路由使社媒类任务费用降超 75%。
路由的成本账更直观：官方七任务测试中，Sonnet 4.6 主智能体搭配 MiniMax-M2.7 子智能体得分 70.6、花费 3.15 美元，而 Sonnet 4.6 单独运行得分 69.1、花费 18.36 美元——成本约六分之一。
| 降本路径 | 代表做法 | 量化结果 |
|---|---|---|
| 压缩显存 | Star Elastic + 2-bit QAD | 740 亿参数装进 24GB |
| 减少卡数 | MXFP4 + block-FP8 | 534GB→292GB，8 卡→4 卡 |
| 路由调度 | PilotDeck 2.0 大小模型分工 | 费用降超 75% |
| 调用定价 | Ling-3.1-flash 混合调用 | 约 0.19 美元/百万 Token |
单位成本成为通用语言：选型的顺序要反过来
把三条新闻放在一起看，口径其实只有三个：显存、卡数、美元。过去选型先看参数与跑分，更务实的顺序是先定任务边界与评测集，再算单位成本——每批工单花多少钱、每 GB 显存能撑多少并发。模型迭代很快，但口径一旦建立，更换基座就只是一次可度量的替换。
也要避免另一个极端：端侧部署不等于零成本，权重、评测集、微调算力与运维人力都要计入总账；数据敏感、调用量稳定的场景收益最明显，需求波动大、需要最强推理的任务仍应保留云端通道。
一道科技的建议：先立口径，再选模型
我们在杭州服务制造业与品牌客户时，立项先确定三件事：任务边界决定是否需要长上下文与本地部署，评测集决定换模型时能否量化比较，单位成本口径决定上线后能否持续运营。对制造业客户，把工艺文档、质检记录与设备日志沉淀成可复用的数据挖掘资产，再在开源基座上做 AI大模型定制，比长期依赖通用接口更可控。
常见问题（FAQ）
不完全能。24GB 指的是模型权重与推理占用的显存，NVIDIA 建议运行 Nemotron 3.5 Bolt 74B 时预留约 48GB 或更高的统一内存，为系统与其他应用留出余量。若设备内存不足以承载，可改用 Bolt E4B 4GB 这类更小规格，或采用 NeMo Switchyard 的本地—云端分流方案。
取决于压缩方式。蚂蚁百灵的做法是对 routed experts 做 MXFP4 量化、dense 层保持 block-FP8，属于精度换显存的可控折损，Ling-3.1-flash 的 Artificial Analysis 智能指数仍为 41、输出约每秒 210 Token。NVIDIA 的结论更直接：给定显存预算下，压缩大模型优于从零训练同尺寸的小模型。
看三类条件。数据敏感、调用量稳定且长期、希望压低单位成本的场景优先本地或私有化部署；需求波动大、需要最强推理能力的任务保留云端通道。更现实的是混合：用智能路由把简单任务交给本地或小模型，复杂任务升级云端，PilotDeck 2.0 的实测是同类任务费用降低超过 75%。