“数据不出设备”成为企业AI采购新刚需：40TOPS消费级PC跑起本地大模型，27B在信通院MCP专项测试超越千亿参数

一天之内两条消息：本地大模型开始“能办公”了

9月14日，新华财经、21世纪经济报道等媒体集中报道了同一趋势：随着云端大模型不断抬高智能上限，本地大模型的智能水平也在持续提升，结合智能体正加速融入办公场景。两条产品线给出了具体坐标。

第一条来自元空智能。这家由北京大学科学智能学院孵化的团队在9月初发布自研本地大模型Boxer，以及基于此的AI办公平台和AI科研平台。发布会现场实测显示，在一台40TOPS算力的消费级PC上，对话延迟接近真人交流，运行内存占用约8GB。Boxer基于阿里千问的Qwen3.5-35B-A3B后训练而来。元空智能联合创始人宁鲲鹏透露，团队2023年就发布了AI产品ChatExcel，已积累数百万用户。

第二条来自原点星辉。其发布的StartLux-V1.0-27B-Preview以Qwen3.6-27B为基座模型，面向工具调用与通用智能体场景进行后训练加强。关键指标是：在工信部中国信息通信研究院可信AI大模型基准测试的MCP（模型上下文协议）专项测试中，综合性能超越多款千亿参数大模型。对智能体而言，MCP能力直接决定工具调用的稳定性，这项测试的含金量高于通用跑分。

为什么是现在：三条技术曲线同时下探

更小的模型何以承担更多办公任务？原点星辉CTO郭权玮给出的解释是三条曲线的叠加红利。

模型本身越来越高效

Qwen3.5-35B-A3B这类架构采用混合专家与低激活参数设计，标称35B但实际激活仅3B，推理开销远小于同规模的稠密模型。后训练进一步把通用能力收敛到工具调用、长程规划等具体任务上，单位参数的有效智能显著提升。

消费级硬件越来越强

40TOPS的算力在两年前还是独立加速卡的门槛，如今已是轻薄本NPU的常规配置。硬件门槛下降，意味着本地部署从“需要采购服务器”变成“用现有办公机即可试点”，采购决策链条大幅缩短。

推理与智能体系统越来越成熟

量化、KV Cache优化、投机解码等推理工程手段的普及，让端侧运行长上下文会话成为常态。郭权玮的判断是：本地不再只是一个部署选择，而会成为下一代智能越来越自然的形态。

真正的驱动力不是性能，而是“数据不出设备”

技术可行只是前提，商业上的推力来自企业侧的顾虑。中国惠普副总裁、个人信息产品事业部总经理周信宏指出，对企业用户而言，使用云端大模型的最大风险是企业数据、经验被“蒸馏”——模型厂商可能从调用中习得企业的业务know-how。

元空智能创始人逄大嵬的表述更直接：企业级AI的竞争不在于模型大小，而在于数据是否出设备、成本、使用稳定性，而这正是本地大模型和端侧AI的产业机会。出于隐私和保密要求，不少企业用户对本地大模型存在刚性需求，这种趋势已被硬件厂商和中小AI团队视为新的商业机遇。元空的Boxer 27B/35B模型已预装惠普全系电脑，是这一判断的直接体现。

维度	云端大模型	本地大模型
数据边界	数据出企业网络，依赖厂商合规承诺	数据不出设备，物理隔离
成本结构	按token持续计费，用量随业务线性增长	一次性硬件投入，边际成本趋零
智能上限	持续领先，长尾任务更强	受参数与硬件约束
稳定性	受网络与服务可用性影响，存在静默升级	离线可用，版本完全可控
适配场景	通用问答、复杂推理、跨部门知识	高频重复、强合规、工艺数据密集

企业该怎么选：三条判断线

第一，按数据敏感度切分而不是按部门切分。同一个部门内部，客户名单、报价模型、工艺参数属于必须留域的数据；行业常识、公开标准、通用文案则完全可以走云端。把任务按数据敏感度分类，比按部门一刀切更贴近风险实际。

第二，按任务边界选择模型规格。高频、低复杂度、边界清晰的任务——表单识别、报表生成、设备点检记录归档——是本地小模型最经济的落点；低频、需要跨领域推理的任务仍应交给云端旗舰。混合路由是未来两年的主流架构。

第三，本地化不等于零门槛。本地模型要真正可用，前提是企業数据被整理成模型能高效利用的语料。工艺参数散落在MES、ERP、SCADA与纸质台账中，未经清洗就做后训练，效果往往不如预期。这正是数据挖掘与AI大模型定制的核心价值——先建统一语义层，再谈模型规格。

对预算有限的中小企业而言，从一台预装本地模型的办公机开始试点、验证单点ROI后再横向扩展，通常比一次性上马私有化集群更稳妥。杭州及长三角地区成熟的软件外包与本地化服务能力，也能帮助企业以较低成本完成这一验证周期。一道科技长期为制造与政企客户提供AI大模型定制、数据挖掘与软件外包服务，若您正在评估本地化部署路径，欢迎了解我们的服务或查看更多行业分析。

常见问题（FAQ）

本地大模型现在的能力边界在哪里？能替代云端吗？+

现阶段是互补而非替代。40TOPS消费级PC已能让27B至35B级别模型以接近真人交流的延迟运行，在信通院MCP专项测试等工具调用指标上甚至超越部分千亿参数模型，足以覆盖表单识别、报表生成、设备点检归档等高频重复任务。但在跨领域复杂推理、超长上下文、最新知识覆盖上，云端旗舰仍明显领先。合理架构是混合路由：按数据敏感度与任务复杂度分流，敏感且边界清晰的任务走本地，开放且复杂的任务走云端。

“数据被蒸馏”具体指什么风险？企业该如何防范？+

指企业在调用云端大模型时，输入的业务数据、工艺参数、客户信息可能被模型厂商用于后续训练，导致企业多年积累的know-how以模型能力的形式外溢。中国惠普副总裁周信宏明确将其列为企业使用云端大模型的最大风险。防范手段包括：核心数据不出设备、对上传内容做脱敏与切片、在合同中约定训练使用条款、对强合规场景采用私有化或本地部署。对制造业的工艺配方与政企的客户数据，这些措施通常是硬性要求。

中小企业上本地大模型，最小可行起步方案是什么？+

建议从单场景验证开始：选一个高频、边界清晰、数据敏感的任务（如合同要素提取、质检记录归档），在一台预装本地模型的办公机上跑通，用准确率、人工复核率、单位任务耗时三个指标对比原有流程。验证通过后再扩展到相邻场景或增加终端。这个路径的优势是投入可控、ROI可测，避免在统一语义层尚未建立时就投入私有化集群。数据治理是前置条件，工艺与业务数据未清洗整理，本地模型的效果会大打折扣。