行业报告 · 融合选型

读完白皮书,建议走双轨融合决策 → 12 平台 AI 横评 → 渠道报价闭环。

双轨融合 → AI 横评 → 平台横评 → 融合咨询报价

编辑流程说明:旗舰级白皮书 · AI 原生低代码;引用《生成式人工智能服务管理暂行办法》与 GB/T 国标、信通院与 IDC 公开材料、各平台官方文档,以及 micount.cn 统一 POC 脚本实测记录与 AI 类试点复盘样本 n=32(2025–2026);全文约 25,000+ 字,含图表 7 张、数据表 38 张。审核日期 2026-10-13。
白皮书 · 含附录 下载 PDF
执行摘要 · 一页速览

带「AI 原生」标签的低代码招标项目占比已达 47%,但按可测标准核验,真正达到 L3(AI 输出可直接写入数据模型、权限与流程定义)的不足三成。本报告把「宣传口径」还原为「可验证能力」:给出九项 AI 能力的测试用例、评分标准与阈值,给出分层判据、伪 AI 鉴别清单,以及企业引入 AI 能力的三批落地顺序与 90 天试点方案。

九项矩阵:可测、可复现表单生成、数据问答、流程建议、代码/逻辑生成、文档解析、智能填单、异常检测、Agent 编排、多模态识别——每项给出统一 Prompt、测试用例与 0–5 分评分标准。
L1–L4:分层而非打分分层看的是耦合深度:AI 输出能否保存为元数据、能否被流程引擎执行、能否被审计。外挂式聊天窗与原生式生成器在演示里很像,在项目里完全不同。
先鉴别真伪,再谈选型五类「伪 AI」特征:演示可用但不可保存、生成结果不入版本、无可审计日志、权限绕过、效率口径无法复现。采购提问清单 12 问可直接用于标前与 POC。
三批落地:从低风险到高风险第一批只读型能力(问答、解析、填单建议);第二批结构化生成(表单、流程、逻辑);第三批写回型 Agent 编排。风险等级与上线时点各不相同。
治理三条线缺一不可流程边界(Agent 能做什么由节点限定)、数据边界(字段白名单与行级范围)、审计边界(每次推理与写回可追溯)。
度量要能自证采纳率、节省工时、一次通过率、幻觉率、回退率五项指标须在上线前定好口径与基线,否则无法回答「到底改善了没有」。

一句话结论:AI 原生不是「有没有 AI 入口」,而是「AI 的输出能不能被平台保存、执行、鉴权与审计」。先用九项矩阵把能力测清楚,再用三批顺序把风险切开,最后用度量体系证明价值——这是 2026 年最稳妥的引入路径。

47%带「AI 原生」标签的招标项目占比IDC 公开摘要口径
不足三成实测达到 L3 的比例统一 POC 脚本
n=32AI 类试点复盘样本量micount.cn 2025–2026
9 项可测 AI 能力矩阵统一 Prompt 与评分标准
L1–L4能力分层模型按耦合深度划分
渠道采购通常省 15%–30%渠道采购常见折扣区间最高可达 55%(视平台与规模)
目录
  1. 一、从「低代码 + AI」到「AI 原生低代码」:概念边界与三个阶段
  2. 二、AI 能力分层模型:L1–L4 的定义、验证与典型能力
  3. 三、九项 AI 能力测试矩阵:用例、评分与阈值
  4. 四、能力评测结果与分级:按能力类型而非厂商
  5. 五、AI 能力的真伪鉴别:五类伪 AI 与提问清单
  6. 六、企业引入 AI 能力的落地顺序:三批产出
  7. 七、AI 与治理:权限、数据边界、幻觉、审计与合规
  8. 八、AI 项目的度量体系:从采纳率到幻觉率
  9. 九、90 天 AI 能力试点方案
  10. 十、制造业 AI 试点完整案例(脱敏)
  11. 十一、常见失败模式:14 条
  12. 十二、AI 能力评测基准与方法:测试集、样本量与可复现流程
  13. 十三、数据安全与合规:调用链路、脱敏与部署选型
  14. 十四、成本治理:估算模型、计费对照与失控信号
  15. 常见问题(FAQ)
  16. 数据来源与免责声明

一、从「低代码 + AI」到「AI 原生低代码」:概念边界与三个阶段

2026 年,低代码市场的竞争焦点已不再是「有没有 AI 入口」,而是AI 的输出能不能直接落到元数据与流程定义上。这句话看似简单,却是过去两年最容易被模糊处理的地方:一边是独立的聊天窗,一边是能把自然语言变成实体、权限与可执行流程的原生能力。二者在演示视频里几乎一样,在项目上线三个月后却完全不同。

本报告沿用并深化 micount.cn 既有的「低代码 AI 三阶段」框架:阶段一为低代码 + AI 插件,阶段二为AI 辅助低代码,阶段三为AI 原生低代码。划分依据不是模型强弱,而是AI 输出与平台元数据的耦合深度——即 AI 生成的结果能否被平台保存、执行、鉴权与审计。

图 1:低代码 AI 能力三阶段——分界线是 AI 输出与元数据的耦合深度,而非模型参数规模

1.1 三个阶段的划分依据

把三个阶段放在同一张表里对照,可以看清分界的本质:阶段一与阶段二的区别是能不能保存,阶段二与阶段三的区别是能不能执行与鉴权。很多所谓「AI 原生」的产品,实际上停在阶段二。

表 1:三个阶段在五个维度上的对照
维度阶段一:低代码 + AI 插件阶段二:AI 辅助低代码阶段三:AI 原生低代码
技术形态独立聊天窗或浏览器插件,与平台元数据无连接设计器内置 Copilot,可生成页面与字段草稿AI 输出直接写入数据模型、权限与流程定义
典型交互复制粘贴提示词与结果,人工搬运进平台在设计器内逐段生成、逐段采纳以自然语言描述业务,增量修改实体与流程
能力上限只能产出文本,无法保存为生产配置产出可保存,但复杂分支与会签仍需手工补全可产出可执行流程,含分支、会签与字段级权限
可审计性无操作日志,结果不可复现有操作日志,但通常不含模型版本与输出摘要每次生成记录 prompt 摘要、模型版本与输出摘要
主要风险结论不可核查,容易形成「看起来对」的错觉草稿与生产脱节,改一处需重做一段幻觉可能写入生产数据,必须配套治理

口径:阶段划分参照 micount.cn 统一 POC 观察表(2025 Q4–2026 Q3,覆盖 9 类平台的公开文档与隔离环境实测记录)。

1.2 概念边界:三个可核查判据

判断一个平台是不是「AI 原生」,不需要看宣传语,只需要核查三个动作:

三个判据之外,不必再争论「AI 原生」这个词在市场上已经被用得过于宽泛。只要回到可保存、可执行、可审计这三个可核查的判据,绝大多数争议都可以在 30 分钟内用一次现场演示解决——让厂商在客户自己的测试环境里,用一段自然语言需求生成一个可发布、可鉴权、可查到日志的小流程,而不是播放录屏。
警惕「用大模型」冒充「AI 原生」接入一个大模型 API,并不等于原生。样本中至少 8 次遇到这样的情形:平台确实调用了大模型,但生成结果只能以附件或富文本形式存入一个「说明」字段,既不能被其他表单引用,也不能作为流程条件。这是典型的外挂式集成,而不是元数据原生。

1.3 三个容易混淆的概念

在选型沟通中出现频率最高的三组混淆,建议在需求文档里逐条写明定义,避免各说各话:

① 「AI 生成」与「AI 建议」生成是把结果直接写入配置;建议是把候选内容展示给设计者,由人复制或采纳。两者都合法,但交付周期与可维护性差别很大——建议模式在需求变更时需要重新人工搬运。
② 「AI 助手」与「Agent 节点」助手在设计期帮助人配置系统;Agent 节点在运行期作为流程的一环自动拉数、推理与写回。运行期能力带来的是真实业务自动化,也带来幻觉与越权风险。
③ 「私有化模型」与「数据不出域」私有化部署只说明模型在哪里跑,不等于数据不出域。要让数据不出域,还要核查提示词、上下文与向量库的位置,以及日志与缓存是否回传云端。
适用 / 优势
  • AI 原生能力可显著缩短从需求到原型的时间:同一需求熟练者手工建模通常需要数十人时,AI 辅助可压缩到数人时;增量修改只需追加描述,不必推倒重来。
  • AI 生成结果进入元数据后,可被后续表单、报表与流程复用,配置资产是累积的,而不是一次性的。
  • 生成的流程与权限可直接发布,减少设计文档与实现之间的偏差。
需谨慎 / 代价
  • 幻觉会随耦合深度放大:能写入生产的 AI,也可能把错误数值写进生产。
  • 会引入新的治理成本:模型版本、提示词、字段白名单与审计日志都需要管理。
  • 对配置者能力要求改变:从「会拖控件」转向「会写清业务规则」。
  • 效率数字极易被夸大:不同口径下的提升倍数没有可比性。

1.4 为什么这条分界在 2026 年变得重要

在 2024 年之前,讨论 AI 与低代码的关系时,「有没有 AI」确实可以作为一条粗线条的区分。但到 2026 年,几乎所有主流平台都在界面上提供了 AI 入口,「有没有」已经失去区分度,「AI 的输出落在哪里」才成为真正有信息量的问题。

这条分界直接影响三件事。第一是交付周期:AI 原生能力的产出可以被复用,需求变更时只需追加一段描述,而不必推倒重画页面。第二是维护成本:生成结果进入元数据后,后续表单、报表与流程共享同一份字段定义,不会因为一处修改而引发表内不一致。第三是风险边界:能写入元数据的 AI 也可能写入错误的元数据,因此治理措施必须与能力同步引入,而不是事后补课。

用一句话向管理层解释这条分界如果需要在汇报中解释「为什么要区分 AI 原生」,可以用这句话:「能保存进系统的 AI,才是资产;只能显示在对话框里的 AI,只是工具。」资产会随使用次数累积,工具不会——这是两种完全不同的投入逻辑。

1.5 本报告的使用方法

本报告可以按三种方式使用,不同角色可以只读自己关心的部分:

如果时间有限,建议至少完成三件事:用九项矩阵做一次实测、用退出条件约束试点范围、用五项指标建立基线。这三件事的成本不高,却能避免样本中最常见的三类失败——被宣传口径误导、试点无限扩张、无法证明价值。

二、AI 能力分层模型:L1–L4 的定义、验证与典型能力

分层模型的价值在于把「能力」拆成可以分别验证的等级,而不是给平台打一个总分。同一家平台在不同能力上可能处在不同层:表单生成已达 L3,异常检测可能还停在 L1。因此正确的用法是按能力逐个定层,再综合判断。

图 2:AI 能力分层模型 L1–L4——自下而上依次增加「可保存、可执行、可审计」三类约束
表 2:L1–L4 分层定义、典型能力、交付价值与验证方法
层级定义典型能力交付价值验证方法
L1 聊天外挂独立对话入口,输出不写入平台元数据文案生成、字段命名建议、HTML/表格草稿辅助思考,降低从零开始的门槛要求生成结果一键保存为实体;无法保存即判 L1
L2 组件 Copilot在设计器内生成页面、字段与规则草稿单页布局生成、字段与校验建议、公式辅助缩短页面搭建时间生成后检查是否可在设计器中直接发布;仅草稿为 L2
L3 元数据原生AI 输出写入数据模型、权限与流程定义自然语言生成实体关系、字段级权限、可发布流程从需求到可运行原型的周期显著压缩用统一 Prompt 生成含分支会签的流程并直接发布
L4 AgenticAgent 作为流程节点在运行期自动执行自动拉数、推理、写回指定字段、触发后续节点把重复判断类工作交给流程自动完成核查节点授权、写回字段白名单与审计日志完整性

2.1 四层的能力细目与观察点

下表把每一层拆成具体能力点,便于在 POC 记录表上逐项打勾。「是否写入元数据」与「是否可在运行期执行」两列,是分层判断中最关键的两个开关。

表 3:四层能力细目与关键观察点
层级能力细目观察到的行为写入元数据运行期可执行
L1自然语言问答与文案生成在对话框内给出文本,需人工复制否否
L1字段与命名建议给出候选名称,采纳与否由人决定否否
L2页面与组件生成在设计器内生成页面草稿,可手工调整部分否
L2校验与公式辅助生成校验表达式建议,需人工确认部分否
L3实体与关系生成生成实体、字段与关联并保存是部分
L3权限与流程生成生成字段级权限与含分支的流程并可发布是是
L4Agent 流程节点流程内自动拉数、推理并写回指定字段是是
L4多步编排与复核串接多个节点,支持人工复核与回退是是

2.2 每层的验证动作与常见伪证

分层不能靠厂商自述,必须用可复现的动作来验证。下表给出每层的验证动作、所需证据、通过标准,以及样本中最常见的「伪证」——看起来通过了,其实没有。

表 4:分层验证动作、所需证据与常见伪证
层级验证动作所需证据通过标准常见伪证
L1 判定要求一键保存生成结果为实体或页面保存后的元数据截图与 ID在平台内可查到对应对象厂商称「复制到设计器即可」,实为无接口
L2 判定在设计器内生成页面并直接发布发布后的页面地址与访问记录无需手工重画即可访问演示用录屏或预置模板,非本次生成
L3 判定用统一 Prompt 生成含分支与会签的流程并发布发布的流程定义与运行记录流程可直接启动并走完主路径生成结果需人工补全网关与条件才能运行
L3 判定生成字段级权限并验证越权被拒越权访问被拒的截图与日志无权限用户读取被拒绝且留痕权限仅在界面上隐藏,接口仍可读取
L4 判定配置 Agent 节点完成拉数、推理与写回节点定义、写回记录与审计日志写回限定在白名单字段且可追溯写回无字段限制,或日志缺少模型版本
验证顺序建议「先难后易」多数 POC 习惯从最简单的生成任务开始,结果一路顺利,到最后才发现复杂流程无法发布。更有效的做法是把最难的用例放在第一天:含分支、会签与字段级权限的流程。如果这一项卡住,后面的用例再顺利也无法把平台定到 L3。

2.3 分层与采购的对应关系

分层结论直接决定采购策略。L3 以上的平台适合承载核心业务系统;L2 适合做部门级应用与原型验证;L1 更适合作为辅助工具而非平台采购目标。把分层写进需求文档,可以在评标阶段就把口径统一,避免出现「都在讲 AI,但讲的不是同一件事」。

不要把分层当成评分表分层是定性判断,不是精确分数。样本中曾出现把 L2 与 L3 之间的差距量化为「0.4 分」的做法,结果在评标会上无法解释。建议只输出「达到 L3 / 未达到 L3」这一类确定结论,把更细的差异留给九项矩阵的分数去表达。

2.4 分层结论如何写入需求文档

分层结论如果只停留在评测报告里,就无法影响采购。建议把它转写为需求文档中的三条可核查条款,让分层从「结论」变成「约定」。

  1. 能力分层条款:明确本项目要求平台在「表单生成」与「流程建议」两项达到 L3,即生成的实体与流程可直接发布运行。
  2. 验证方式条款:约定以统一 Prompt 在现场环境实测为准,不接受录屏演示与预置模板。
  3. 治理条款:若涉及 Agent 写回,须同时具备字段白名单、人工复核与完整审计日志三项,缺一不可。
需求文档里写「不做什么」同样重要把「本阶段不要求的能力」也写清楚——例如明确不要求运行期自动写回,或明确不要求多模态识别。这既能让厂商报价更准确,也能避免后续被塞入不需要的功能模块,抬高整体成本。

2.5 分层模型与三阶段框架的关系

分层模型与第一章的三阶段框架并不冲突,而是同一个问题的两种视角。三阶段描述的是平台整体演进:从外挂插件到辅助生成,再到元数据原生;L1–L4 描述的是单项能力的耦合深度:同一平台的不同能力可能处在不同层。

在选型实践中,建议先用三阶段判断平台的整体定位,再用 L1–L4 逐项核查具体能力。例如某平台整体宣传为「AI 原生」,表单生成确已达到 L3,但异常检测仍停留在 L1(只能输出文字提示);这种情况在三阶段框架里看不出来,在分层模型里却一目了然。两个框架配合使用,才能既不被整体宣传误导,也不至于陷入逐项比较的琐碎。

三、九项 AI 能力测试矩阵:用例、评分与阈值

九项矩阵是本报告的核心工具。它把「AI 能力」拆成九项可以在 2 周内完成测试的独立条目,每项给出统一 Prompt、测试用例、评分标准与权重。相比笼统的能力描述,矩阵的优势是结果可复现、口径可对齐——不同批次、不同评测人都能得到接近的结论。

下表为第 1–5 项的测试用例与评分标准。评分采用 0–5 分制:0 分完全不可用,3 分为可用但有明显人工补全,5 分为可直接发布生产。权重合计 100%。

表 5:九项 AI 能力测试矩阵(第 1–5 项)
#测试项测试用例评分标准(5 分制)权重
1表单生成用同一段自然语言生成含 3 个实体、8 个字段与 2 处关联的采购申请表单5 分:可直接发布且关联正确;3 分:可保存但需补关联;0 分:仅输出文本15%
2数据问答对已入库的 3 万行报工数据提问「上月合格率最低的三个工序」,要求给出溯源5 分:答案正确且可点开数据来源;3 分:答案近似但无溯源;0 分:编造数值15%
3流程建议描述「部门经理→采购总监→财务三级审批,超 5 万加签总经理」并生成可执行流程5 分:含分支与会签且可发布;3 分:结构正确需手工补网关;0 分:仅流程图图片15%
4代码/逻辑生成要求生成「工单数量不得超过计划数量 5%」的校验逻辑并绑定字段5 分:逻辑生效且提示可读;3 分:逻辑生效但提示生硬;0 分:无法绑定10%
5文档解析上传 20 页 PDF 采购合同,抽取甲乙方、金额、账期与违约金条款5 分:字段全部准确且可映射入库;3 分:准确率 80% 以上;0 分:需人工重录10%
表 6:九项 AI 能力测试矩阵(第 6–9 项)
#测试项测试用例评分标准(5 分制)权重
6智能填单在历史 5000 条供应商数据基础上,为新建供应商表单一键预填资质与联系人字段5 分:预填准确率高且可一键确认;3 分:预填可用但需逐项核对;0 分:无此能力10%
7异常检测对报工数量序列识别异常值并给出「疑似重复报工」的判断与依据5 分:识别准确且给出可核对依据;3 分:识别到异常但依据不足;0 分:仅规则阈值告警10%
8Agent 编排配置流程节点自动拉取 ERP 数据、生成周报并写回指定字段,限定可写字段5 分:写回受限、可追溯、可人工复核;3 分:可写回但无字段限制;0 分:无节点能力10%
9多模态识别上传 30 张设备铭牌与巡检单据照片,抽取编号、型号与读数5 分:字段准确率 95% 以上;3 分:准确率 80% 以上需人工复核;0 分:无法识别5%

为保证不同平台之间的结果可比,测试必须使用完全相同的 Prompt 与相同的初始数据。以下为统一 Prompt 的摘录,建议在实际 POC 中替换为企业自己的真实业务需求,因为真实需求对「业务语义理解」的考验远高于示例需求。

「我是一家零部件制造企业,需要:① 供应商主数据(含资质有效期与联系人);② 采购申请单,可关联生产工单与物料;③ 三级审批:部门经理 → 采购总监 → 财务,超过 5 万元自动加签总经理;④ 字段级权限:采购员可提交但不可查看单价;⑤ 请生成数据模型、权限规则与可直接发布的流程。」

评分时还要记录人工补全量——从 AI 生成到可发布之间,需要人工修改的步骤数。经验上,补全步骤超过 5 步,平台的实际价值会迅速下降,因为维护成本开始接近手工配置。

表 7:评分档位、判定含义与处理建议
总分区间判定判定含义处理建议
85–100 分A 档:可在核心场景试用多数能力达到 L3,流程可发布进入试点,按三批顺序推进
70–84 分B 档:适合部门级应用结构化生成可用,复杂编排能力有限先做部门级场景,暂不承载核心流程
50–69 分C 档:适合辅助与原型生成可用但人工补全量大用于原型与需求澄清,不作为生产平台
30–49 分D 档:仅辅助工具多停留在 L1–L2,不可写入元数据作为辅助工具采购,不进入正式选型
0–29 分E 档:不符合基本预期输出不可保存或不可核查不建议继续投入评测资源
评分只是起点,补全量才是关键两份同样的总分背后,可能是完全不同的构成。例如 A 平台在表单生成拿 5 分、Agent 编排拿 1 分,B 平台两项都拿 3 分——总分接近,但如果企业的目标是流程自动化,A 平台的价值反而更低。矩阵应按能力逐项读,而不是只看总分。
权重可以按行业调整本报告的权重是通用默认值。制造业可提高「表单生成」「异常检测」的权重,政企可提高「数据问答」「Agent 编排」与「私有化」相关项,金融与医疗则应提高「文档解析」与「审计」相关项。权重一旦确定,应在评标文件中公开,避免事后按结果倒推口径。

3.1 测试环境与变量控制

要让九项结果可比,必须控制四个变量:① 同一份初始数据(建议脱敏后导入);② 相同的统一 Prompt;③ 相同的评测人(至少两名交叉验证);④ 相同的网络与终端环境。任何一项不一致,都可能让分数失去可比性。

样本中曾出现过这样的对比失误:A 平台在配置更好的机器上测试,B 平台在普通机器上测试,结果响应速度的差异被误判为能力差异。建议把测试环境与操作步骤写成脚本化清单,由同一批人在同一时间段内完成全部平台的测试。

3.2 结果记录模板与常见记录失误

评测记录至少应包含六类信息:测试项、统一 Prompt 原文、生成耗时、人工补全步骤数、最终评分与失败原因。其中人工补全步骤数常被忽略,却是判断平台实际可用性的关键——一个高分但需要 8 步人工补全的能力,在真实项目中的价值会大打折扣。

另外提醒一条容易被忽视的纪律:评测记录必须在测试当场完成,不要事后凭记忆补写。样本中事后补写的记录,往往把失败原因写成「基本可用,细节待优化」,这类表述对决策没有任何帮助。

3.3 不同行业的测试重点差异

九项矩阵是通用框架,但不同行业应把测试资源向不同能力倾斜。制造业的重点在表单生成、异常检测与多模态识别,因为现场数据采集与单据识别是主要诉求;政企与金融的重点在数据问答、文档解析与 Agent 编排,因为知识密集且对可追溯的要求高;商贸与服务业的重点在智能填单与数据问答,因为主数据量大、查询频繁。

确定重点之后,权重也要相应调整。需要提醒的是,提高某几项的权重,同时会降低其余项的影响,因此不要为了照顾某一类平台而随意分配权重。权重应当在看到任何平台结果之前确定,并写入评标文件留档,这样结论才经得起复核。

四、能力评测结果与分级:按能力类型而非厂商

本节不给出厂商排名,而是给出能力类型的强弱规律。原因有两个:其一,同一平台的不同能力常处在不同层级,排名会掩盖这一事实;其二,平台版本迭代很快,任何具体排名都会在数月内失效。因此本节把九项能力归纳为五个能力簇,再按平台类型给出强弱分布,供选型时定位预期。

表 8:五个能力簇与所包含的测试项
能力簇包含测试项技术关键点主要风险
结构化生成表单生成、流程建议输出能否写入实体、权限与流程定义生成结果看似正确但不可执行
语义理解与检索数据问答、文档解析检索增强与溯源能力缺乏溯源时容易产生看似合理的错误答案
数据洞察智能填单、异常检测历史数据建模与阈值设计把「统计阈值告警」包装为 AI
运行期自动化Agent 编排、代码/逻辑生成节点授权、写回限制与回退机制幻觉写入生产数据
感知能力多模态识别单据与图像的字段抽取准确率准确率不足时人工复核成本高于原流程
图 3:九项能力 × 四类平台的能力强弱热力图(中性分类,非厂商排名;强 ≤ 版本变化大,请以实测为准)

热力图读法:颜色深浅表示该项能力在同类平台中的常见表现,不代表任何单一产品。可以看出两条规律:第一,零代码型平台在「表单生成」「智能填单」上普遍较好,因为它长期面向业务人员,交互设计更贴近低门槛场景;第二,「Agent 编排」「代码/逻辑生成」普遍偏弱,因为它需要更强的工程化约束与治理能力,这通常出现在企业级开发型平台上。

表 9:四类平台的能力簇强弱分布与适用场景
平台类型相对强的能力簇相对弱的能力簇典型适用场景选型注意
零代码型平台结构化生成、数据洞察运行期自动化、语义检索部门级业务应用、表单审批与现场数据采集确认生成结果能否写入元数据,而非仅生成草稿
企业级开发型平台运行期自动化、结构化生成感知能力核心业务流程、跨系统集成与复杂权限确认 Agent 节点的字段白名单与审计日志是否完整
国际 SaaS 型平台语义检索、运行期自动化智能填单、结构化生成知识密集场景、文档处理与研发协同核查数据存储位置、跨境传输与合规要求
信创私有化型平台结构化生成、私有化部署感知能力、运行期自动化政企与强合规行业,要求数据不出域核查模型版本锁定、向量库位置与日志回传
表 10:九项能力的总体成熟度与落地建议(第 1–5 项)
#测试项成熟度判断落地建议不宜直接用于
1表单生成相对成熟,L2–L3 常见作为首个试点场景字段口径未统一的复杂业务表
2数据问答成熟度分化明显限定在已有结构化数据的范围内口径未定义好的指标型问题
3流程建议结构生成较好,细节常需补全先用它生成初稿再人工固化跨系统、多组织的复杂流程
4代码/逻辑生成可用但需复核用于校验逻辑与公式草稿涉及资金与合规计算的逻辑
5文档解析成熟度较高但依赖版式稳定用于信息抽取与录入辅助版式多变的扫描件
表 11:九项能力的总体成熟度与落地建议(第 6–9 项)
#测试项成熟度判断落地建议不宜直接用于
6智能填单体验差异大,依赖历史数据质量在数据量充足的主数据场景试用历史数据缺失或质量差的主数据
7异常检测容易被包装,需核查算法依据用于提示与复核,不直接判定直接作为考核或处罚依据
8Agent 编排能力上限高、风险也最高限定字段白名单并保留人工复核无审计与回退机制的自动化
9多模态识别准确率与场景强相关作为录入辅助,保留人工确认直接写入财务或质量关键字段
读表结论:没有全能平台,只有合适的组合从表 9 到表 11 可以得出一个务实的结论:不存在在所有能力簇上都强的平台。合理的做法是按场景选择主力平台,在能力缺口处采用组合方案——例如用零代码型平台承载表单与现场数据,用企业级平台承载流程编排与集成,两者通过标准接口与主数据对齐,而不是强行让一个平台做所有事。
关于本节的免责本节所有判断均基于公开文档与统一脚本的实测记录,属能力类型的经验归纳,不构成对任何厂商产品能力的贬损或承诺。平台版本迭代快,各项能力的具体表现请以当期官方文档与贵司自测结果为准。

4.1 读表方法与两种常见误读

读表时最容易出现两种误读,建议在内部沟通时先把它们讲清楚:

  1. 误读一:把「相对弱」理解为「不能用」。热力图中的相对弱,指该项能力在同批平台中表现靠后,并不等于无法工作。很多所谓「弱」的能力,在限定场景下已经足够支撑业务。
  2. 误读二:把平台类型当成平台本身。类型归纳描述的是「这一类平台的常见表现」,不是任何单一产品的结论。同一类型内部的差异可能比跨类型差异更大。

实用的读法是:先按业务场景定位自己需要的能力簇,再看该簇中相对强的平台类型,最后用九项矩阵在同一类型内做二次筛选。这样既利用了类型规律,又避免了「按类型拍板」的粗糙决策。

4.2 能力类型分级的实际用法

能力类型分级最实用的场景,是在需求尚未完全明确时快速缩小候选范围。例如企业要做一个「现场数据采集 + 异常提醒」的应用,对应能力簇为「结构化生成」与「数据洞察」,那么可以优先考察零代码型平台;而如果应用的核心是「跨系统自动编排」,则应优先考察企业级开发型平台。

需要强调的是,候选范围只是起点。最终选型仍应结合权限体系、集成能力、部署方式、许可模式与实施服务能力综合判断,AI 能力只是其中一项维度——把它当成唯一维度,很容易选出「AI 很强但整体不合适」的方案。

4.3 把分级结论写进选型报告

选型报告里常见的写法是「A 平台 AI 能力较强,B 平台次之」,这种表述无法支撑决策。更有效的写法是把能力类型分级与业务场景对应起来:「本企业需要表单生成与异常检测,对应能力簇为结构化生成与数据洞察;在该能力簇上,零代码型平台整体表现相对靠前,建议优先考察;若后续要扩展到跨系统自动编排,需一并评估企业级开发型平台。」

这样写的好处是,结论可追溯到能力与场景,而不是停留在平台名称的排序上。当业务需求变化时,也可以据此快速判断是否需要重新评估平台。建议把这一结构作为选型报告的标准模板,长期使用还能积累内部可比数据。

五、AI 能力的真伪鉴别:五类伪 AI 与提问清单

「伪 AI」不是指产品骗人,而是指把不具备的能力表述成具备。在样本 n=32 的试点复盘中,被判定为「预期与实际差距过大」的项目,绝大多数问题都可以归入下面五类特征。识别这些特征,比记忆任何产品参数都更有用。

表 12:五类「伪 AI」特征、识别信号与鉴别方法
特征典型表述识别信号鉴别方法
① 演示可用、不可保存「一键生成应用」生成结果只出现在对话框或录屏中,无法落到平台对象要求现场生成并一键保存,检查平台内是否出现对应实体
② 生成不入版本「AI 自动优化你的应用」修改后无法回退,历史版本缺失连续生成两次并对比;检查版本与回退入口
③ 无可审计日志「全流程可追溯」只能查到人工操作,查不到 AI 生成与写回要求按时间导出 AI 操作日志,检查是否含模型版本与输出摘要
④ 权限绕过「字段级权限可精确控制」界面隐藏但接口仍可读到受限字段用无权限账号直接调用接口读取受限字段,观察是否被拒
⑤ 效率口径不可复现「效率提升 580%」不给基准、不给样本、不说明质量系数要求提供同一 Prompt 与同一场景的对照记录,自行复测

口径:五类特征提炼自 micount.cn AI 类试点复盘 n=32(2025–2026),按「预期与实际差距」归因统计。

5.1 三种鉴别方法:文档核查、现场演示、日志核查

鉴别不依赖直觉,而依赖三种可执行的核查动作。建议把三者安排在 POC 的不同阶段:文档核查放在标前,现场演示放在评标,日志核查放在试点启动前。

表 13:三种鉴别方法的执行要点
方法执行阶段核查动作通过标志
文档核查标前核对官方文档中 AI 能力的边界说明、限制条件与已知问题文档明确写出能力边界而非只有宣传语
现场演示评标在客户测试环境用真实需求生成并发布,不接受录屏生成结果可保存、可发布、可访问
日志核查试点启动前导出 AI 操作日志,检查模型版本、输出摘要与写回记录日志字段完整、可按人按时间检索
数据核查试点第 2 周抽样比对 AI 生成与最终生产配置的差异差异有记录、有原因、可回退
现场演示一定要自己出题厂商准备的演示剧本通常是反复打磨过的。最有效的做法是由客户当场出题:从自己的真实业务里挑一个需求,最好带一点「不合常规」的条件(例如某个字段在特定状态下只读)。这类条件往往能直接暴露生成能力的边界。

5.2 采购提问清单(12 问)

以下 12 个问题可直接用于标前澄清或 POC 问询。提问的价值不在于得到「是/否」,而在于观察对方能否给出具体机制与文档位置——能给出机制的,通常是真能力;只能给出形容词的,需要继续追问。

表 14:AI 能力采购提问清单(第 1–6 问)
#提问期望得到的回答形态红旗信号
1AI 生成的实体与字段,是否保存在平台元数据中?给出对象类型与存储位置说明回答「会生成一个说明文档」
2生成的流程能否不经人工重画直接发布运行?给出流程发布路径与限制条件回答「需要设计者确认后调整」
3AI 每次生成与写回是否留有日志?含哪些字段?列出日志字段清单回答「平台整体有操作日志」但不含 AI 记录
4Agent 节点可写入的字段是否可以限定白名单?给出白名单配置入口回答「Agent 拥有业务账号权限」
5生成结果是否有版本与回退机制?说明版本策略与回退方式回答「生成即是最终版本」
6可接入的私有化模型有哪些?版本是否锁定?给出模型清单与版本策略回答「支持任意模型」但未说明锁定方式
表 15:AI 能力采购提问清单(第 7–12 问)
#提问期望得到的回答形态红旗信号
7提示词、上下文与向量库是否可留在本地?给出部署拓扑与数据流向说明仅回答「模型部署在本地」
8字段级权限在接口层是否同样生效?给出接口鉴权机制说明回答「界面上会隐藏」
9效率提升数据的基准、样本与口径是什么?给出对照方法与样本说明只给一个提升倍数
10AI 生成内容是否需人工复核节点,能否强制?给出强制复核配置回答「可以人工再看一遍」
11平台升级后,已有的 Agent 节点如何保持稳定?给出兼容策略与回归机制回答「升级一般不影响」
12能否提供第三个客户做同类场景的实地参考?给出可联系的参考客户只提供宣传案例或拒绝提供
适用 / 优势
  • 提问清单适合在标前使用,成本低、覆盖广,能在早期筛掉明显不符的选项。
  • 清单答案可以作为需求文件附件,把口头承诺固化为文字,减少后续争议。
  • 问题集中在机制而非功能名称,因此对版本变化的敏感度较低。
需谨慎 / 代价
  • 清单只能识别明显问题,无法替代实测——很多差异要跑过 POC 才暴露。
  • 部分问题需要技术对接人才能回答,商务阶段可能得不到准确答案。
  • 过度依赖清单容易变成「打勾式评标」,忽略能力与业务场景的匹配度。
  • 清单需要随平台版本更新,建议每半年复核一次问题的适用性。

5.3 鉴别结论如何落地

鉴别的产出不应只是「某平台是不是伪 AI」的结论,而应是一份风险与对策清单:哪些能力已确认,哪些需要在试点中继续观察,哪些明确不在本期范围。把这三类分开记录,可以避免把「暂时不可用」误当成「永远不可用」,也避免把「演示可用」误当成「生产可用」。

建议在 POC 结束时输出一张能力确认表,由客户方技术负责人与厂商对接人共同签字。签字的作用不是形式,而是把口头承诺固化为双方认可的文字,为后续验收提供依据。样本中把这张表做实的项目,验收阶段的争议明显更少。

5.4 标前澄清会的组织方式

鉴别工作要有效,标前澄清会的组织方式很关键。建议把 12 个提问按「机制类」与「数据类」分成两组:机制类(第 1–6、8、10、11 问)由厂商技术负责人回答,数据类(第 7、9、12 问)由商务或产品负责人回答。两类问题分开问,可以避免技术人员用商务话术敷衍。

会上还应明确两点:一是书面答复的时间,口头回答不计入评标依据;二是答复的落款人,最好要求由项目负责人签署或加盖公章。样本中因「口头承诺未兑现」而产生的争议,几乎都发生在没有留下书面答复的环节。

最后提醒一点:鉴别工作要留下痕迹。把澄清会上的问题、答复与结论整理成一份纪要,在评标之前发给所有参与方确认。这份纪要既是决策依据,也是后续出现争议时的第一份证据。

六、企业引入 AI 能力的落地顺序:三批产出

把九项能力一次上线,是样本中最常见的失败做法。更稳妥的方式是按风险等级分三批推进:第一批只读型能力(不改变任何生产数据),第二批结构化生成(改变配置但可回退),第三批写回型能力(直接改变业务数据)。三批的风险、验证方式与上线时点完全不同,把它们混在一起推进,等于同时承担全部风险。

表 16:三批产出的能力清单、风险等级与上线时点
批次包含能力产出物风险等级建议上线时点
第一批:只读型数据问答、文档解析、智能填单建议、异常检测提示问答助手、文档抽取模板、填单建议与异常提示看板低(不改生产数据)试点第 1–4 周
第一批补充:感知型多模态识别(单据、铭牌与表单照片识别)识别辅助录入模板与人工确认流程低(仅辅助录入,不直接写入关键字段)试点第 3–6 周
第二批:结构化生成表单生成、流程建议、代码/逻辑生成可发布的实体与流程、校验逻辑、权限规则中(改配置,可回退)试点第 5–8 周
第三批:写回型Agent 编排(拉数、推理、写回)带字段白名单与人工复核的自动节点高(直接改业务数据)试点第 9–12 周,且须先有审计与回退

三批之间不是简单的先后关系,而是能力依赖关系:第一批积累的数据与问答经验,会显著改善第二批生成结果的准确性;第二批固化的字段与权限,则是第三批 Agent 能安全写回的前提。跳过前两批直接做第三批,往往会因为字段口径未定、权限未收口而反复返工。

  1. 第一批:只读型(第 1–4 周)目标是先让人用起来、先建立信任。问答助手只读已有数据,文档解析只做抽取与人工确认,异常检测只提示不判定。这一批不需要复杂的治理措施,但必须在上线前定好准确率基线,否则第二批无从对比。
  2. 第二批:结构化生成(第 5–8 周)目标是把 AI 的产出变成可复用的配置资产。这一批开始改配置,因此必须启用版本与回退机制,并规定「AI 生成的配置须经设计者确认后发布」。把第一批的真实使用反馈作为生成质量的评价依据——这是本批能否成功的关键输入。
  3. 第三批:写回型(第 9–12 周)目标是把重复判断类工作交给流程自动完成。上线前必须齐备四项条件:字段白名单、人工复核节点、写回失败兜底与完整审计日志。建议先在一个低风险字段上试跑两周,确认无误差后再扩大写回范围。
表 17:每批的前置条件与退出条件
批次前置条件退出条件(未达成则暂停)观察周期
第一批:只读型数据已入库且口径明确;问答范围有界问答可溯源率低于 80%,或抽取准确率低于 80%2 周
第二批:结构化生成字段与权限口径已确认;已启用版本与回退生成结果人工补全步骤长期多于 5 步2 周
第三批:写回型字段白名单、复核节点、兜底与审计四项齐备出现一次无审计记录的写回,或写回差异率高于 1%2–4 周
贯穿三批:度量与复盘基线已采集;指标口径与判定人已明确指标简报停更,或口径变更未留档每两周
让第一批产生「可见的小胜利」样本中推行最顺畅的项目,都在第一批结束时给业务方交付了一个能天天用的小工具——例如一个能查历史报价的问答助手。这类工具不改变任何数据,风险极低,但能迅速建立对系统与团队的信任,为后两批争取到宝贵的时间与耐心。
第三批不能「先上线再补治理」写回型能力一旦出现幻觉,影响的是真实业务数据。样本中有一个项目为赶进度先上线了自动写回,两周后发现某类异常数据被反复写入生产表,而由于没有回退机制,只能逐条人工核对修正,耗时超过一个月。治理措施必须在写回上线之前完成,而不是之后。

6.1 为什么按风险分批,而不是按部门分批

常见的另一种分批方式是「按部门」:先给 A 部门做,再给 B 部门做。这种分法在传统信息化项目里有效,但在 AI 项目里容易出问题——因为部门之间的能力需求可能处于完全不同的风险等级。如果 A 部门只需要只读型问答,而 B 部门要求自动写回,按部门推进就会让高风险能力早早进入项目。

按风险分批的好处是风险与验证方式同步递进:只读型只需验证准确率,结构化生成需验证可回退,写回型需验证白名单与审计。每一批的验证门槛不同,团队的处理能力也随之逐步建立。

6.2 批次与团队能力的匹配

分批还带来一个隐性收益:团队能力可以随批次一起成长。第一批让业务方熟悉 AI 输出的特点与局限;第二批让配置者学会审查 AI 生成的配置;第三批让 IT 与风控学会管理写回与审计。如果跳过前两批,第三批所需的复核与治理能力实际上没有建立起来,风险只能靠个人经验兜底。

6.3 三批之外还要同步做的一件事

除了三批能力推进之外,还有一件事必须同步进行:度量与复盘。很多项目把度量放在试点结束才做,结果是数据零散、口径不一、无法比较。正确的做法是从第一批开始就按周采集指标,哪怕只有采纳率与一次通过率两项。

度量的意义不只是证明价值,更重要的是及早发现方向性偏差。如果第一批的采纳率长期低于 40%,说明场景选择可能有问题,此时调整的成本远低于做到第三批再回头。把度量的节奏固定下来,三批推进才有纠偏能力,而不是只能一路走到失败再整体复盘。

七、AI 与治理:权限、数据边界、幻觉、审计与合规

耦合越深,治理越重要。第一批只读型能力的治理要求相对简单,而第三批写回型能力需要流程、数据与审计三重边界同时成立。本节给出一套可落地的治理框架,并对照《生成式人工智能服务管理暂行办法》的相关要求。

图 4:AI 治理的三重边界——任何一层缺失,写回型能力都不应上线
表 18:五类治理风险、典型表现与控制措施
风险典型表现低代码侧控制措施验证方式
幻觉Agent 写入错误数值或错误结论写回前规则校验 + 强制人工复核节点抽样比对写回值与源数据
越权Agent 读取或写入了无权限字段服务账号 + 字段白名单 + 行级范围用受限账号触发节点并检查拦截日志
提示注入用户输入覆盖系统指令,诱导越权行为输入消毒 + 角色分离 + 指令与数据隔离构造注入用例,观察是否被拒绝
不可审计无法追溯某次写回由谁、何时、哪个模型产生强制记录 prompt 摘要、模型版本与输出摘要按时间导出日志并核对字段完整性
合规风险使用了未经备案的模型,或数据跨境传输选用已备案模型 + 数据本地化 + 明确告知义务核查模型备案信息与数据流向图

7.1 数据边界:分级与可处理范围

治理最有效的一步不是加护栏,而是先给数据分级。只有当数据等级与 AI 可处理范围一一对应时,权限控制才有明确依据,而不是每次临时讨论。

表 19:数据分级与 AI 可处理范围建议
数据等级示例AI 可读AI 可写回附加要求
公开级对外产品资料、公开报价区间允许允许(需复核)无
内部级部门流程数据、非敏感业务表允许允许(需白名单)记录审计日志
受限级客户信息、合同金额、人员信息需脱敏后允许默认禁止脱敏规则 + 字段白名单 + 日志
敏感级财务明细、薪酬、身份与生物信息默认禁止禁止如确需处理,须单独评估并留档
监管级受行业监管规则约束的特定数据按监管要求按监管要求以监管规定为准,不适用本表默认值
「脱敏后可读」也要写清脱敏规则样本中出现过一次典型问题:项目约定了「客户信息脱敏后可读」,但没有写明脱敏规则,结果实现方只在界面上隐藏了手机号中间四位,上下文里仍带入了完整号码。脱敏规则必须写到字段级,并在测试中用真实样例验证,而不是停留在口头约定。

7.2 合规参照:《生成式人工智能服务管理暂行办法》

面向境内公众提供生成式人工智能服务,适用《生成式人工智能服务管理暂行办法》(国家互联网信息办公室等七部门 2023 年公布,2023 年 8 月 15 日起施行)。企业引入 AI 能力时,应把该办法中与服务提供、内容治理、数据与个人信息保护相关的义务,转化为可核查的落地项。下表给出相关要求与本方案的对应动作,供合规自查参考。

表 20:《生成式人工智能服务管理暂行办法》相关要求与本方案对应动作
合规关注点办法中的相关要求(要点)本方案对应动作自查证据
服务提供者责任明确服务提供者的主体责任与管理制度指定 AI 能力负责人,建立使用与管理制度制度文件与责任人清单
训练数据与来源数据来源合法、不侵害他人合法权益使用已备案模型;自有数据入库前完成合规审查数据来源清单与审查记录
个人信息保护涉及个人信息须依法取得同意并采取保护措施按数据分级脱敏;受限级以上默认禁止 AI 读取脱敏规则与访问日志
生成内容标识按要求对生成内容进行标识对 AI 生成并需对外使用的内容加注标识标识规则与样例
用户告知向使用者告知 AI 服务的性质与局限在应用内提示「AI 结果仅供参考,请人工确认」界面提示截图
监督与投诉建立投诉与处理机制,配合监督检查在流程中提供反馈入口并保留处理记录处理台账

口径:本表为合规自查参考,非法律意见;具体要求以《生成式人工智能服务管理暂行办法》原文及主管部门最新规定为准。

7.3 幻觉控制的四道闸门

幻觉无法被彻底消除,但可以把它从「进入生产数据」降级为「被人工发现」。四道闸门按顺序生效,任一道通过才会进入下一道:

① 输入约束限定可读字段与行级范围,让模型只能在正确的上下文里推理。上下文越干净,幻觉越少——这一道闸门的收益往往最大。
② 输出校验写回前用规则校验:数值范围、枚举合法性、与源数据的比对。校验不通过直接拒绝写回,并记录原因。
③ 人工复核对受限级及以上字段强制人工确认;复核节点的存在本身就是一种质量信号,会促使配置者对写回范围更谨慎。
④ 事后审计定期抽样比对写回值与源数据,统计幻觉率并纳入度量体系(见第八章)。没有事后抽检的控制措施,等于没有反馈闭环。
把「不可写字段」列成清单贴在配置页上一个低成本但很有效的做法:把 Agent 明确不可写回的字段清单做成一张单页说明,贴在配置界面旁或写进配置模板注释里。样本中采用这一做法后,因误配字段导致的写回问题下降明显。

7.4 审计日志应包含哪些字段

审计日志是治理体系中最容易被简化的一环。很多平台确实有「操作日志」,但它记录的是人工操作,而不是 AI 的生成与写回。建议在需求中明确要求 AI 相关日志包含以下字段,并把它列入验收清单:

缺少任何一个字段,都会让事后追溯变得不可靠。尤其是模型版本——当平台升级模型后,同一段提示词可能产生不同的结果,没有版本记录就无法解释差异,也无法判断问题究竟出在提示词、数据还是模型。

7.5 治理落地的四个动作

治理框架要真正落地,最终要落到四个具体动作上,建议按顺序执行,每一步都产出可留档的文件:

  1. 第一步:定数据分级在试点开始前,把所有要接入 AI 的数据逐表标注等级,并写明每一级的可读与可写范围。这一步不做,后续所有权限讨论都没有依据。
  2. 第二步:定字段白名单对允许 AI 写回的字段列成清单,并写入配置模板。白名单之外的字段一律禁止写回,包括那些「看起来无害」的字段。
  3. 第三步:定复核与兜底确定哪些字段必须人工复核、写回失败如何处理、由谁负责告警后的处置。把这些写进 SOP,而不是留在口头。
  4. 第四步:定审计与复盘约定日志字段、抽样频率与幻觉率的统计口径,并把复盘纳入固定的月度节奏,避免治理措施随项目结束而失效。

四个动作的产出分别是:数据分级表、字段白名单、复核 SOP 与审计复盘制度。这四份文件同时也是验收时的证据——在涉及写回型能力的项目中,建议把它们列入交付物清单,与功能验收同等对待。

八、AI 项目的度量体系:从采纳率到幻觉率

AI 项目最常见的困境不是「没有效果」,而是无法证明效果。解决的办法是在上线前就把指标口径、基线值与采集方式定下来。本节给出五项核心指标,覆盖「用不用、省不省、准不准、错不错、退不退」五个维度。

表 21:AI 项目五项核心度量指标
维度指标定义建议初始目标采集方式
用不用采纳率AI 生成结果被采纳并发布的占比≥ 60%生成记录与发布记录的关联统计
省不省节省工时同一任务在引入 AI 前后的人时差相对基线节省 ≥ 25%抽样计时,同一任务连续 10 次取中位数
准不准一次通过率生成结果无需人工修改即可通过的占比≥ 50%(复杂流程 ≥ 30%)生成记录与修改记录的比对
错不错幻觉率写回或输出中经抽样判定为错误的占比≤ 1%(受限级字段 ≤ 0.2%)每周抽样比对,样本量不少于 100 条
退不退回退率因 AI 结果问题而回退配置或数据的占比≤ 5%回退日志统计

五项指标中,采纳率与幻觉率最容易失真。采纳率可能因为「系统强制使用」而虚高;幻觉率可能因为「只统计被发现的错误」而虚低。因此两项指标都必须写明统计口径与抽样方式,并由业务方而非仅由实施方确认。

表 22:指标口径定义与常见失真
指标口径要点常见失真纠偏做法
采纳率分母为「AI 生成次数」,非「打开 AI 的次数」把强制使用算作采纳区分「主动生成」与「系统触发」
节省工时必须是同一任务、同一熟练度的人时对比用新手与熟手对比,放大差值固定同一批人员与同一批任务
一次通过率需定义「通过」的标准与验收人验收人标准不一统一验收清单并指定验收人
幻觉率抽样范围须含未被使用的结果只统计已被发现的错误从未采纳的结果中按比例抽样
回退率须包含字段级回退与整表回退只统计明显失败的回退在平台侧统一埋点统计
先有基线,再有对比样本中效果评价争议最大的项目,多半是因为上线前没有采集基线。哪怕基线只是一个估算值和一次抽样计时,也远好过事后凭印象争论。建议在试点第一天就完成基线采集,并把基线数据作为退出条件的一部分。
指标要有人看,否则会自然衰减很多 AI 项目的指标在上线首月表现良好,三个月后悄无声息地回落——因为没有人定期看它。建议把五项指标做成每月一次的一页简报,发给业务负责人与 AI 能力负责人,并约定指标连续两月低于目标即触发复盘。

8.1 指标与业务价值如何对应

指标本身不是目的。五项指标需要能对应到三类业务价值,否则容易沦为单纯的技术指标:

把这三组对应关系写进试点评估报告,可以让管理层的决策更有依据:是继续投入、调整场景,还是暂停。样本中评估报告写得清楚的项目,后续推广获批准的比例明显更高——因为决策者能看懂结论的依据,而不是只看到一个结论。

8.2 从指标简报到评估报告的写法

指标简报与评估报告是两种不同的文档,不要混用。指标简报面向执行层,每两周一次,只讲数字变化与异常原因,篇幅控制在一页以内;评估报告面向决策层,在试点结束时输出,讲清楚三件事:能力是否稳定、价值是否可量化、风险是否可控。

写评估报告时有一个实用技巧:把每个指标同时写成「结论 + 依据 + 局限」三段。例如「节省工时约 25%(依据:同一任务抽样计时 10 次取中位数;局限:样本量有限,未覆盖夜班场景)」。这种写法既给出了结论,也主动暴露了局限,反而更容易获得决策者的信任。

九、90 天 AI 能力试点方案

试点目标不是「把系统建起来」,而是在 90 天内得到可以支撑决策的结论:这项能力在本企业到底值不值得扩大投入。因此试点必须有明确的退出条件——达不到就停,达到才推广。把退出条件提前写清,是避免试点无限期拖延的最有效手段。

图 5:90 天 AI 能力试点时间轴——每阶段都有交付物与可判定的退出条件
表 23:90 天试点阶段、交付物与退出条件
阶段周期关键活动交付物退出条件
阶段一:基线与小试D1–30选 1 个部门与 1–2 个只读型场景;采集基线;建立评测脚本基线报告、试点场景清单、评测记录表基线无法采集或场景无明确负责人则暂停
阶段二:扩展与度量D31–60扩展到 3–5 个场景;引入结构化生成;开始指标采集场景清单、指标体系简报、第一批 SOP采纳率低于 40% 或幻觉率高于 3% 则暂停扩展
阶段三:评估与决策D61–90完成指标复盘;做一次写回型能力的受控试验;形成结论试点评估报告、推广方案或退出说明未达退出阈值则终止推广,仅保留已见效场景
贯穿全程:度量与复盘D1–90按周采集五项指标;每两周输出指标快照;阶段结束输出复盘纪要指标简报、阶段复盘纪要、基线对照报告指标口径中途变更且未留档则暂停
表 24:试点退出条件与判定阈值
维度指标继续推广阈值暂停阈值判定人
采纳采纳率≥ 60%低于 40%业务负责人
效率节省工时≥ 25%低于 10%业务负责人
质量一次通过率≥ 50%低于 30%技术负责人
风险幻觉率≤ 1%高于 3%风控 / 合规
稳定回退率≤ 5%高于 10%IT 负责人
  1. D1–30:先把地基打好这一阶段最重要的不是做出效果,而是把口径定下来:试点范围、责任人、基线数据、评测脚本与指标定义。建议只做只读型能力,让业务方在没有任何风险的前提下先体验一次。
  2. D31–60:从体验到产出进入结构化生成阶段,把 AI 的产出真正变成可复用的配置资产,同时开始按周采集五项指标。这一阶段最容易出现的问题是「场景铺得太宽」,建议严格控制在 5 个以内,每个场景都配一名业务责任人。
  3. D61–90:给出结论并作决策用指标回答三个问题:能力是否稳定、价值是否可量化、风险是否可控。如果三项都通过,输出推广方案;如果有一项不通过,输出退出说明并保留已见效场景。明确说「不继续」也是一种合格的试点结论。
试点最容易失控的地方是「范围扩张」样本中超过一半的试点延期,原因都是范围在过程中被不断扩展——从 2 个场景变成 8 个,从 1 个部门变成 4 个部门。建议在试点启动会上就把范围变更需要书面确认写进约定,并由项目负责人统一把关。
每两周一次「指标快照」不必等到第 90 天才看数据。建议每两周输出一次指标快照,哪怕只有采纳率与一次通过率两项。快照的作用不是考核,而是及早发现方向性偏差——如果第三周采纳率就只有 20%,继续投入大概率是错的。

9.1 试点团队的最小配置

试点不需要很大的团队,但四类角色必须有明确人选,缺任何一类都会在中期暴露问题:

建议明确写出每人每周的最低投入时间。样本中试点延期最常见的原因,不是能力不足,而是关键角色在试点期间被抽调去处理其他工作——把投入时间写进计划并获得其主管认可,是成本最低的风险管理手段。

9.2 试点结束后的推广决策

试点结束时通常会得到三种结论,对应的后续动作也完全不同:

结论一:全面推广五项指标全部达标,且业务方主动要求扩大范围。动作:输出推广方案,明确后续批次的扩展顺序与资源投入,并复用试点期的 SOP 与评测脚本。
结论二:有条件推广部分指标达标,或只在特定场景表现良好。动作:把范围限定在已见效场景,明确暂不推广的部分及原因,并设定下一轮复评时点。
结论三:暂停或退出关键指标未达标,或风险无法控制。动作:输出退出说明,保留已见效的只读型能力,释放其余资源,并把复盘结论归档供后续参考。

三种结论都应形成书面文件。只把「继续」当结论、把「暂停」当作失败,是很多企业 AI 项目无法收敛的根源——及时暂停一个方向,本身就是一次成功的试点。

十、制造业 AI 试点完整案例(脱敏)

以下案例为脱敏整理,源自 micount.cn 交付台账中的 AI 类试点复盘样本(n=32)之一。企业名称、地区与部分业务参数已做模糊处理,指标对比为该企业的个别结果,不代表其他企业可以复现。

表 25:案例企业画像与试点前挑战
项目情况描述对 AI 试点的意义
行业与规模华东某汽车零部件二级供应商,员工约 300 人业务规则成熟,数据积累尚可
既有系统已上线 ERP,车间使用零代码表单做巡检与报工具备结构化数据基础,适合做只读型试点
试点前痛点报工数据需人工核对,月度分析靠手工汇总存在明确的「节省工时」可量化目标
数据基础约 3 万行报工记录、5000 余条供应商与设备数据满足智能填单与异常检测的数据量要求
组织条件生产负责人牵头,IT 指定 1 名对接人责任人明确,是试点可持续的关键前提

10.1 试点范围与实施节奏

试点严格按本报告的三批顺序推进,第一批只做只读型能力,风险控制在最低。下方时间线为该项目实际的推进节奏,与第九章的 90 天框架基本一致。

表 26:案例试点时间线与阶段产出
阶段周期实施内容阶段验收标志
基线与小试第 1–4 周采集基线;上线报工数据问答与异常提示;建立评测记录表问答可溯源率与异常提示准确率达到预期
扩展与度量第 5–8 周上线智能填单与文档抽取;开始按周采集五项指标采纳率与一次通过率进入可对比区间
受控写回试验第 9–12 周在非关键字段上试跑 Agent 写回,强制人工复核写回无异常、审计日志完整、回退机制可用
推广准备第 13–14 周固化 SOP、培训业务管理员、确定下一批场景范围SOP 文档与推广计划获得批准

10.2 指标对比与观察

表 27:案例关键指标对比(个别结果,不构成承诺)
指标试点前试点后口径说明
报工数据核对耗时每周约 6 人时每周约 4 人时抽样计时,同一批人员与任务
月度数据汇总耗时每月约 10 人时每月约 6 人时同一汇总模板对比
问答可溯源率—约 85%可点开数据来源的问答占比
一次通过率(表单生成)—约 55%无需人工修改即可发布的比例
幻觉率(抽样)—低于 1%每周抽样不少于 100 条
采纳率—约 65%AI 生成并最终发布的占比
关于这组数字的免责说明以上为单一企业的个别结果,不构成任何收益承诺,也不保证其他企业可以复现。节省工时主要来自数据核对与汇总环节的自动化,而非人员减少;部分指标为试点期内的观察值,样本量与观察周期有限,未经过第三方审计。任何采购决策应以贵司自身的 POC 结果为准。

10.3 三点可复用的经验

该案例还有三点值得记录的经验:第一,只读型能力先行的决策是正确的——在没有任何数据风险的前提下,业务方很快就接受了这项能力,为后续的结构化生成赢得了空间;第二,问答可溯源是信任的关键——当业务方能点开答案看到数据来源时,对结果的质疑大幅减少;第三,写回试验限定在非关键字段,使团队能在真实流程中验证治理措施,而不必承担业务风险。

10.4 如果重做一次,会调整什么

项目复盘时,团队给出的最重要的一条建议是:把基线采集做得更细。试点开始时只采集了汇总级耗时,没有细分到「核对」「汇总」「复核」三个环节,导致后来无法判断节省的时间具体来自哪一步,也就无法把经验准确复制到其他部门。

第二条建议是早一点让风控参与。项目在写回试验之前才邀请风控评估,虽然结果顺利,但如果更早参与,数据分级与字段白名单本可以在第一周就完成,整个试点可以更紧凑,也不需要在中期临时补充说明材料。

十一、常见失败模式:14 条

以下 14 条整理自 AI 类试点复盘样本(n=32),按出现频次与影响程度排序。每条都给出识别信号与纠正动作,可用于项目复盘清单或风险自查表。

表 28:AI 试点失败模式(第 1–7 条)
#失败模式识别信号纠正动作
1把「用大模型」当成「AI 原生」生成结果无法保存进元数据回到三判据核查:可保存、可执行、可审计
2试点范围不断扩张场景数从 2 个变成 8 个,关键人分身乏术书面冻结范围,变更需项目负责人确认
3上线前未采集基线无法证明改善幅度,评价靠印象立即补采基线,哪怕只是估算值与抽样计时
4跳过只读型直接做写回第一批就改生产数据,出现无法解释的差异回退到只读型,按三批顺序重排
5未设退出条件试点无限期拖延,无人敢叫停补写退出条件与判定阈值,明确判定人
6效率口径不可复现宣传的提升倍数与本企业实测相差悬殊统一 Prompt 与场景,自行复测并记录
7无人工复核即写回幻觉数据直接进入生产表强制复核节点,先限定在非关键字段试跑
表 29:AI 试点失败模式(第 8–14 条)
#失败模式识别信号纠正动作
8审计日志缺字段日志无模型版本或输出摘要,无法追溯补齐日志字段,纳入上线检查项
9权限仅界面隐藏接口仍可读取受限字段在接口层做鉴权,并用受限账号验证
10数据未分级即接入 AI敏感数据进入模型上下文先做数据分级,受限级以上默认禁止读取
11权重与评分口径事后调整评标结论无法复现,引发争议权重在评标前公开并留档
12把统计阈值告警包装成 AI异常检测仅有固定阈值,无算法依据明确区分规则告警与模型能力,重定预期
13只统计已被发现的问题幻觉率虚低,问题在暗处累积从未采纳结果中按比例抽样复核
14验收后停止迭代使用率逐月下降,无人维护约定每月指标简报与季度场景评审
把这 14 条做成开工检查表失败模式的价值在于事前预防,而事后归因。建议在试点启动会上逐条对照一次,把「已避免」与「存在风险」两类标出来,并将存在风险的部分写入项目风险台账。样本中采用这一做法的项目,因上述问题导致的延期明显更少。

11.1 失败模式的三个阶段分布

把 14 条失败模式按项目阶段归类,可以看到它们分布得相当均匀:启动期的问题主要是范围与口径(第 1、2、5、11 条),实施期的问题主要是能力边界与治理(第 4、9、10、12 条),上线后的问题主要是度量与运维(第 3、6、13、14 条)。

这个分布说明,失败并不是某个阶段的特有问题,而是全周期都需要纪律。如果只在实施期做风险管理,启动期埋下的口径问题仍会在上线后集中爆发;反之,如果只在启动期把口径定好,却在实施期放松了权限与审计,问题会以更难发现的形式出现。

11.2 从失败模式中提炼的三条纪律

把 14 条失败模式再压缩,可以得到三条通用纪律,适用于任何规模的 AI 项目:

这三条纪律看起来朴素,但样本中几乎所有严重问题都可以追溯到其中一条被违反。建议把它们放在试点启动会的第一页,作为团队共识而非检查项。

十二、AI 能力评测基准与方法:测试集、样本量与可复现流程

第三章给出了九项能力的测试用例与评分标准,但用例本身并不保证结论可信——同一套用例,取样方式不同、评分人不同、环境不同,完全可以得出相反的结论。本章补齐评测的方法层:测试集如何设计、样本量至少多少、评分维度如何拆分、两名评测人如何避免互相影响,以及一轮评测必须留下哪些记录。评测方法不严谨时,九项矩阵的分数只能当谈资,不能当决策依据。

还需要先明确一个前提:企业自测的目标不是给平台写一份能力报告,而是回答「这项能力能不能用在我的场景里」。因此测试集应优先从企业自己的真实需求中抽取,而不是照搬厂商演示用例——真实需求里的业务约束、口径差异与历史习惯,恰恰是最能暴露能力上限的变量。

12.1 测试集设计:四类题与难度分层

测试集建议由四类题构成:基线题用于横向对比,边界题用于探测能力上限,对抗题用于检验稳健与安全,回归题用于平台升级后的复测。四类题的建议配比为 5:3:1:1。如果只做一轮评测,可以省略回归题,但边界题与对抗题不能省——这两类恰好是最容易被演示环节规避的部分。

表 30:测试集四类题的设计要点、考察点与建议配比
题类设计要点考察点建议配比单题判定要求
基线题覆盖最常见的 3–5 个业务动作,条件完整、表述规范能否完成标准动作并成功发布50%生成结果可直接发布,结构无需人工补全
边界题加入空值、超长文本、特殊状态只读与多级条件嵌套异常条件下结构是否仍然正确30%允许人工补充细节,但结构不得出错
对抗题设置互相矛盾的约束、诱导越权与刻意含糊的需求是否越权、是否编造、是否主动澄清10%拒绝越权与编造;表述含糊时应主动提问
回归题从基线题中固定抽取,平台升级后原样重跑能力是否随版本变化而退化10%同一题两次结果业务等价率不低于 80%

口径:题类与配比为通用建议值;制造业可上调边界题比例,政企与金融应上调对抗题比例,并单独记录越权类结果。

12.2 样本量下限与判定置信

样本量不足,是评测结论不可信的最常见原因——样本太少时,一次偶然的成功或失败就会改变结论。下表给出各类能力的单轮最少题量建议,它们是得出结论所需的下限,不足以支撑精细的准确率估算,但足以回答「达到 / 未达到」这一层问题。

表 31:各类能力的测试样本量下限与判定要求
能力类型单轮最少题量取样方式判定要求不足时的处理
结构化生成(表单、流程、逻辑)12 题从真实需求抽取,覆盖 3 类业务两名评测人独立评分并取中位数题量不足时结论只能写「有待观察」
语义检索与数据问答30 题含 10 题答案为「库中不存在」分别统计正确率与溯源率缺少「不存在」类题目时,正确率无意义
文档解析与抽取20 份含 5 份低质量扫描件与 3 份多版式文件按字段分别统计准确率版式单一时不得报告总体准确率
运行期自动化(Agent)8 条链路每条链路至少跑 3 轮记录写回字段、日志完整性与回退耗时任一链路缺审计记录即判不通过
多模态识别30 张覆盖不同光照、角度与磨损程度准确率与拒识率分别统计只看准确率不看拒识率会高估可用性

12.3 评分维度与权重:把总分拆开

只报一个总分,会把「能不能用」这个关键问题掩盖掉。建议每道题都从四个维度分别打分再加权汇总;四维中任何一维不达标,即使总分很高,该能力也不应被判定为可用。

表 32:评分四维度、判定标准、权重区间与常见误区
维度判定标准(示例)通用权重打分证据常见误区
正确性结果与业务规则一致,数值可核对,无编造内容35%–45%与源数据逐项比对的记录只判断「像不像」,不做数据比对
可发布性生成结果可直接发布,或仅需少量补充25%–35%补全步骤数与修改点清单把「可保存」当成「可发布」
可追溯性关键结论可点开数据来源或审计日志10%–20%溯源点击与日志导出截图把平台通用操作日志当成 AI 日志
人工补全量从生成到可发布所需的人工步骤与耗时15%–25%步骤清单与计时记录只数步骤不记耗时,低估返工成本

两名评测人必须独立打分后再对比。当同一道题的两人评分相对偏差超过 15%,或同一题同时出现 5 分与 2 分以下的评分时,应由第三人复评并记录裁定理由。这类分歧往往正是能力边界的所在,比一个平均分更有信息量。

分歧题比满分题更值得记录评测记录中最有价值的部分,不是所有平台都轻松通过的题,而是评测人之间出现分歧的题。把分歧点、裁定理由与最终结论一并留档,下次评测可以直接复用,也能让后来的评标人理解当初的判断依据。

12.4 可复现评测流程:八步

可复现的关键在于每一步都产出留档物。只要题面、数据、Prompt、评分表与日志齐备,任何第三方都能在相同条件下重跑一次,并得到接近的结论。

  1. 第一步 定题从企业真实需求中抽取题目,写明业务动作、数据范围与期望产出,形成书面题面。
  2. 第二步 定数据准备脱敏后的初始数据集,记录行数与字段清单,所有平台使用同一份数据。
  3. 第三步 定 Prompt固化统一 Prompt 原文与参数(温度、最大输出长度、是否启用检索),评测中不得临时修改。
  4. 第四步 对齐环境统一终端、网络与账号权限,避免使用演示专用环境或预置模板。
  5. 第五步 双人评分两名评测人先各自独立出分,再交换意见,避免评分互相影响。
  6. 第六步 一致性裁定对偏差超过阈值的题目由第三人复评,并记录裁定理由与最终分。
  7. 第七步 复测对判定为「不稳定」的题目原样重跑两轮,统计不稳定率并纳入结论。
  8. 第八步 归档题面、Prompt、数据、评分表、日志与裁定记录一并归档,形成可复测的完整快照。
图 6:可复现评测流程八步——从定题到归档,每一步都产出可留档的证据
不要用一轮评测给平台定性一轮评测只能说明「在本次题面与本次环境下」的表现。平台版本、模型版本与题面难度都会影响结果,因此结论应写明适用条件与有效期,例如「基于某年某月的版本与 12 题测试集」。缺少这一限定,结论很容易在下次版本更新后失效,却仍在被引用。

十三、数据安全与合规:调用链路、脱敏与部署选型

第七章给出的是治理框架与合规对照,本章把它落到数据本身:一次 AI 调用在链路上经过了哪些环节、每一段留下了什么、脱敏应当做到什么粒度、每个角色被授权做哪些操作、日志应当保留多久,以及在公有、私有与混合部署之间如何选型。这些问题都可以在 POC 阶段一次性问清,而不必等到上线前才补。

13.1 一次 AI 调用的链路与数据留存点

合规核查不必从制度文件开始。更快的做法是把一次调用拆成链路,逐段问三个问题:这段经过了什么数据?数据在哪里被留存?留存多久、谁能读到?下表给出一条典型链路的六个环节与对应的最小化措施。

表 33:模型调用链路六环节、经过的数据与最小化措施
环节经过的数据常见留存行为风险点最小化措施
① 客户端 / 前端用户输入与当前页面上下文浏览器缓存、本地日志会话上下文在终端本地留存会话结束即清理;敏感字段禁用自动填充
② 平台服务端提示词与业务数据查询结果应用日志、调试日志调试日志可能记录上下文原文关闭或脱敏调试日志,并将其保留期设为最短
③ 网关与编排层路由信息与上下文组装结果网关访问日志上下文拼接后包含超范围字段在网关层做字段裁剪,白名单之外的字段不出网关
④ 模型服务完整提示词与模型输出云端滥用监控留存;本地推理的显存与临时文件云侧留存期与数据用途需要明确约定优先选用已备案模型;本地部署关闭遥测与上报
⑤ 向量库 / 缓存文档切片、向量与召回片段向量与原文的持久化存储切片中可能夹带受限级字段入库前脱敏,并按数据等级分库分索引
⑥ 日志与审计触发人、模型版本、提示词与输出摘要长期归档摘要过长相当于留存原文摘要限长并脱敏,建议单条不超过 200 字

口径:链路按「前端—平台—网关—模型—向量库—日志」典型架构划分;环节名称与留存策略以各平台当期官方文档为准。

13.2 脱敏手段与字段级规则

脱敏不是「把中间几位换成星号」这么简单。不同手段在可逆性与语义保留上的差别很大,应按数据等级与使用目的选择,并把规则写到字段级。

表 34:四种脱敏手段的对照与适用情形
手段做法可逆性对语义的影响适用数据等级注意事项
掩码保留部分字符,其余替换为固定符号不可逆低:模型仍可识别字段类型受限级需明确保留位数,避免缩到仍可唯一识别个体
令牌化 / 哈希替换为不可逆摘要或可映射令牌哈希不可逆,令牌可映射中:可保留关联关系受限级映射表须单独授权访问,禁止与业务库同库同账号
泛化把精确值降为区间或类别不可逆中:满足多数分析需求受限级 / 敏感级区间过细会重新具备可识别性,需做小样本检验
合成 / 替身以结构相同、内容虚构的数据替换不适用(原文不出域)高:需验证分布一致性敏感级仅用于测试与演示环境,并须显式标注为合成数据

选择手段的三条规则:① 能泛化就不掩码——泛化在保留分析价值的同时,信息损失更可控;② 能不出域就不脱敏——本地推理比任何脱敏规则都更彻底;③ 每条规则都要用真实样例验证一次,而不是只写在制度里。

13.3 最小化授权:角色 × 数据等级 × 操作

最小化的操作定义是:每个角色只获得完成其职责所必需的最小权限,默认拒绝、按需开通。下表给出 AI 相关角色的授权矩阵,可直接作为权限配置与测试用例的对照表。

表 35:AI 相关角色的最小授权矩阵
角色读元数据读业务数据写配置写业务数据读 AI 日志
业务用户仅本部门应用仅本人或本岗位范围否否否
配置者所负责应用受限级需脱敏后读取是(确认后发布)否仅本人触发的记录
AI 服务账号仅任务所需对象白名单字段 + 行级范围否仅白名单字段否
平台管理员全部按授权范围是否是
审计员全部(只读)仅日志与配置快照否否是(可全量导出)
所有 Agent 共用一个服务账号,是最常见的失控点样本中多起「AI 越权读到不该读的字段」的问题,根源都不是模型,而是服务账号权限过大。建议按流程单独建服务账号,权限与其所属流程的生命周期一致,流程下线即回收权限,并定期核查是否存在长期未使用却仍保留权限的账号。

13.4 日志留存:三层与保留期

日志既要够用,又不能成为新的风险点。按用途分三层留存,可以在可追溯与最小化之间取得平衡。

热层:运行日志记录调用状态、耗时与错误码,用于排障与容量观察,保留约 30–90 天。要求:可检索,且不包含业务数据原文。
温层:审计日志记录触发人、模型版本、提示词摘要、输出摘要与写回目标,保留约 6–24 个月。要求:只读、防篡改、可按人按时间检索。
冷层:合规归档审计日志的压缩归档与月度统计,按行业监管要求留存,常见为 3 年以上。要求:加密存储,到期后按制度评审续存或销毁。

三条判定规则:① 日志中的摘要若长到足以还原原文,视同留存原文;② 提示词摘要建议不超过 200 字,且不得包含受限级字段明文;③ 删除动作本身也要留痕——否则无法证明日志是否被完整保留。

13.5 部署形态与模型选型

部署形态决定数据流向,模型选型决定能力上限,两者必须一起决定:只谈私有化而不谈模型能力,往往在试点后期才发现效果不达预期;只谈模型能力而不谈数据出域,则可能在合规审查时被整体推翻。

表 36:三种部署形态在数据流向与能力上的对照
部署形态数据是否出域能力水平版本与运维适用情形
公有 API 调用提示词与上下文出域,需确认留存期与用途通常最强、迭代最快由服务商维护,版本可能变动非敏感数据、需快速验证能力的场景
私有化部署不出域(须同时核查向量库与日志位置)取决于所选模型与硬件配置版本可锁定,但需自建升级与运维机制受限级 / 敏感级数据、强合规行业
混合部署按数据等级分流,敏感任务不出域一般任务较强,敏感任务相对偏弱两套链路,需统一日志与统计口径数据分级清晰、希望兼顾成本与能力的场景

选型可参考五条判定规则:一、受限级以上数据参与推理时,直接排除公有 API 方案;二、需要长期稳定复现时,要求模型版本可锁定并出具变更通知;三、存在跨境业务时,先确认传输路径与数据所在地,再谈能力;四、峰值并发较高时,私有化方案须先核算显存与吞吐,避免上线后排队;五、能力差距明显时可采用混合方案,把敏感任务拆到本地模型,把复杂生成留在公有侧并只传递脱敏后的描述。

十四、成本治理:估算模型、计费对照与失控信号

AI 能力的成本结构与传统软件不同:它不是一次性投入,而是随使用量连续增长。费用通常由三块构成——模型调用(按 token 或按次数)、平台许可(按席位,部分方案叠加用量阶梯),以及配套的向量库、存储与网络。由于调用量会随使用习惯快速变化,成本治理必须在上线前建立,而不是等到月度账单失控之后再补救。

14.1 调用量与成本的估算模型

估算是为了定预算上限与告警阈值,而不是为了得到精确数字。按四步走:先估单次调用的输入与输出规模,再估人均日调用次数,然后加上检索与重试带来的放大系数,最后乘以采购单价,得到月度区间。

表 37:成本估算的四步参数、经验区间与取值方法
参数含义经验区间(示例)取值方法易错点
单次输入 token系统提示 + 业务上下文 + 用户问题800–4,000抽样实测 20 次取中位数忽略多轮会话中上下文会持续累积
单次输出 token模型返回内容与结构化结果200–1,200同上,按 token 而非汉字数计按汉字数估算会系统性低估
人均每日调用主动使用次数(不含系统触发)3–20 次试点期埋点统计,区分主动与自动用峰值当日均值,使成本被高估
检索放大系数召回上下文带来的输入膨胀1.5–3.0 倍召回片段数 × 平均长度 ÷ 原输入忽略重排与多轮召回
重试与编排放大失败重试与多步工具调用1.1–1.8 倍统计失败率与平均调用步数忽略 Agent 的多步调用链
月度成本单次成本 × 日均调用 × 30 × 放大系数以实际采购单价代入输入与输出分别计算后求和漏算向量库、存储与网络费用
月成本 ≈ Σ(输入 token × 输入单价 + 输出 token × 输出单价) × 日均调用次数 × 30 × 检索放大系数 × 重试放大系数

把估算结果作为月度预算基线与告警阈值:当实际用量连续两周超过基线的 120%,或单日超过基线的 200% 时触发复盘,并在复盘时回答「增长究竟来自业务量,还是来自配置问题」。没有基线的成本管理,只能事后解释,无法事前控制。

14.2 按用户计费与按调用计费的对照

常见计费口径有三类:按用户席位、按调用量,以及「基础席位 + 用量阶梯」的混合模式。选择的关键,是调用频次与用户规模之间的比例关系:

无论采用哪种口径,建议在合同中约定三件事:用量的计算方式(token 如何计入、是否包含重试与多步调用)、超额的处理方式(单价是否阶梯上浮、是否有封顶),以及数据可导出与配置可迁移。第三项与成本没有直接关系,却决定了后续是否会被锁定在单一供应方。

14.3 成本失控的 8 个信号与治理动作

成本失控很少是突然发生的,通常会先出现若干可观测的信号。下表列出 8 个高频信号、判定阈值与治理动作,可直接作为运维检查表使用。

表 38:成本失控的 8 个信号、判定阈值与治理动作
#信号判定阈值(示例)根因方向治理动作
1单日调用量环比上升,业务量无对应增长环比上升超过 50%自动触发条件写错或轮询未设间隔排查自动触发配置,加入最小间隔与幂等判断
2平均单次输入 token 逐月上升月增幅超过 20%上下文未收敛,历史不断累积启用摘要与按需召回,限制最大上下文长度
3重试率偏高高于 10%失败根因未修,靠重试掩盖先修失败原因,再限制自动重试次数
4Agent 平均调用步数过多超过 5 步且无上限缺少最大步数与超时设置设置最大步数、单步超时与总耗时上限
5缓存命中率偏低低于 20%同类问题反复调用高成本模型增加结果缓存与语义缓存,缓存键按业务口径设计
6高等级模型承担低价值任务简单任务占比超过 30%未做模型分级路由按任务复杂度分级路由,简单任务改用轻量模型
7用量高度集中在少数账号前 5% 账号占用量超过 50%缺少单账号额度约束设置单账号日额度与异常用量告警
8账单无法归属到场景或部门无法拆分的费用超过 20%缺少用量标签体系为每次调用打场景与部门标签,按月分摊

口径:阈值区间为通用经验值,应结合本企业试点期的实际用量分布调整;任何阈值都应在超限时触发可执行的复盘动作,而非仅告警。

图 7:成本治理闭环——从用量埋点到月度复盘,五个环节构成可持续的控制回路

14.4 成本与效果必须一起看

只盯成本会砍掉有效能力,只盯效果会让费用失控。建议引入一个复合指标:单次有效交付成本 = 月度成本 ÷ 被采纳的生成次数。这个指标同时惩罚两种情形——成本高但采纳率低,以及采纳率尚可但成本结构失衡。

把「单次有效交付成本」与第八章的采纳率放进同一张月度简报,可以快速判断成本变化来自哪里:若成本与采纳次数同步上升,说明是用量增长;若成本上升而采纳次数持平,则大概率是上下文膨胀、重试或路由配置出现了问题。这一条判断,比单看账单更有决策价值。

不要把「限制调用」当作唯一手段面对成本超支,最直接的反应往往是限制使用。但限制调用会同时压低采纳率,使前期投入难以收回。建议的处理顺序是:先修配置(触发条件、重试、缓存),再调路由(简单任务改用轻量模型),最后才考虑限制额度。
把成本写进验收条件在试点方案里约定一条成本条件,例如「单次有效交付成本不得高于人工处理成本的 60%」。这条约定会让团队在配置阶段就关注用量,而不是等到年底才发现 AI 比人工更贵。成本与效果同框,是让 AI 项目可持续的最实际的一条纪律。

常见问题(FAQ)

「AI 原生低代码」和「低代码 + AI」到底差在哪里?
差在耦合深度。前者把 AI 的输出直接写入平台的数据模型、权限与流程定义,因此生成结果可以被保存、执行与审计;后者通常只是一个独立对话入口,输出需要人工搬运。判断方法很简单:让平台现场生成一段流程并直接发布,能发布的属于前者。
九项测试矩阵一定要全做吗?
不必。矩阵的价值是提供统一口径。建议至少做第 1、2、3、8 项(表单生成、数据问答、流程建议、Agent 编排),因为这四项最能区分层级。其余项可按行业侧重点增删,但一旦确定就应在评标文件中公开,避免事后改口径。
L3 和 L4 必须追求吗?
取决于场景。如果只需要表单与现场数据采集,L2–L3 的能力已经足够;只有当需要把重复判断类工作交给流程自动完成时,L4 的价值才真正显现。另外要记住 L4 的风险也最高,必须先具备字段白名单、复核节点与审计日志。
没有大规模数据,AI 能力还有用吗?
有用,但能力类型要换。数据量不足时,结构化生成类能力(表单、流程、校验逻辑)受影响最小,因为这类能力主要依赖对业务语义的理解,而不是历史数据;而智能填单、异常检测这类依赖历史数据的能力,在小数据量下效果会明显打折。
私有化部署是否就能满足合规要求?
不一定。私有化只说明模型在哪里运行,不等于数据不出域。还需核查提示词、上下文与向量库的位置,以及日志与缓存是否回传。此外,面向公众提供服务还需关注《生成式人工智能服务管理暂行办法》中的告知、标识与个人信息保护等要求。
AI 生成的配置能直接上生产吗?
不建议。合理的做法是「生成—确认—发布」三步:AI 生成草稿,设计者确认关键字段与权限,再发布。对于运行期写回型能力,还要额外增加强制人工复核与字段白名单。把这三步写进流程,比依赖个人经验更可靠。
试点周期一定要 90 天吗?
90 天是一个便于管理的参考周期,不是硬性要求。如果只做只读型能力,30 天也能得到有意义的结论;如果要验证写回型能力,建议留足 90 天,因为治理措施的验证与指标采集都需要时间。关键是有明确的退出条件,而不是周期本身。
投入大概是多少,能省多少?
投入主要分三块:平台许可(按用户数与版本按年订阅)、实施服务(按场景与集成复杂度)、以及必要的治理与培训投入。渠道采购通常省 15%–30%,最高可达 55%(视平台与规模)。至于能省多少,建议用本报告的「节省工时」指标自行测算,并以上线前后的同一任务人时对比为准,不要采用外部宣传的提升倍数。
AI 能力会不会让配置人员失去工作?
从样本看,角色在变而非消失:配置者的工作重心从搭建界面转向写清业务规则与验收标准。这实际上提高了对业务理解的要求。需要提前做的,是对现有人员做规则表达与AI 结果复核的训练,而不是减少编制。
怎么判断一项 AI 能力该不该停?
看退出条件。如果在约定周期内,采纳率低于 40%、幻觉率高于 3%、或一次通过率低于 30%,就应该暂停并复盘,而不是继续投入。把「不继续」也写进试点方案,是让决策理性的关键——样本中真正的问题往往不是停得太早,而是停得太晚。
AI 能力能不能和现有系统集成?
能,但要区分两种集成:数据集成(主数据同步、只读拉数)与流程集成(事件触发、结果回写)。建议优先使用平台官方开放接口或标准文件交换,避免直连对方数据库——后者在对方系统升级后极易失效。集成范围也应遵循「必要最小」原则,先做只读同步与关键结果回写。
如果厂商的 AI 能力后来落后了怎么办?
这正是建议把 AI 能力与平台解耦看待的原因。选型时应优先关注平台的元数据模型、权限体系与集成能力这三项「耐久资产」,AI 能力作为加分项而非唯一决定项。同时建议在合同中约定数据可导出、配置可迁移,避免能力迭代速度差异演变为不可逆的锁定。

数据来源与免责声明

数据来源:本报告数据来自三类可交叉验证来源——① 公开机构与厂商披露材料(IDC / Gartner / 艾瑞及平台官方文档,按引用处标注);② 算数科技自有交付台账(累计 6000+ 个项目、服务 5000+ 企业客户,按行业与规模分层抽样,样本量与口径在每章末尾注明);③ 面向企业 IT 负责人的定向访谈与问卷(n 值随章标注)。
引用规范:引用本报告请注明「算数科技(上海思扬信息科技有限公司)· micount.cn」,许可协议 CC BY 4.0。
免责说明:报告中的成熟度等级、试点区间与成本区间为基于样本的经验区间,用于决策起点而非承诺值;任何厂商报价、交付周期以最终商务合同为准。涉及渠道与合伙人经营结果的内容均为个别结果,不构成收益承诺,不保证任何特定收益。

本报告引用口径:交付项目 6000+、企业客户 5000+;官方授权平台 16+、可售渠道 19+、教程覆盖 40+ 家平台;口径提示:算数科技为 16+ 家平台官方授权一级服务商、19+ 条可售渠道,网络覆盖 320+ 城市(伙伴协作),可调配顾问 800+(外部伙伴协作网络,非自有员工)。渠道采购通常省 15%–30%,最高可达 55%(视平台与规模)。

配套工具:用数据验证本报告结论

国内低代码横评价格计算器商务实施中心更多白皮书
  1. 国家互联网信息办公室等七部门,《生成式人工智能服务管理暂行办法》,2023 年 7 月公布、2023 年 8 月 15 日起施行;本报告第七章合规对照表据此编制。
  2. 中国信息通信研究院,低代码/无代码开发平台与可信人工智能相关公开研究报告,用于能力分层与产业趋势的参照。
  3. IDC,《中国低代码与零代码软件市场跟踪》公开摘要,用于「AI 原生」标签招标项目占比等市场口径的引用。
  4. 全国信息安全标准化技术委员会,GB/T 35273《信息安全技术 个人信息安全规范》;GB/T 22239《信息安全技术 网络安全等级保护基本要求》,用于数据分级与安全控制的参照。
  5. 各低代码与 AI 应用平台官方发布的产品文档与 AI 能力说明(以当期官网公开文档与开放平台接口说明为准),用于九项矩阵与能力边界的核查。
  6. 算数科技自有交付台账:AI 类试点复盘样本 n=32(2025-01 至 2026-09),覆盖制造、商贸、政务与专业服务类企业,含统一 POC 脚本实测记录与试点期指标采集数据。
  7. 定向访谈:企业 IT 与数字化负责人 11 名(2026-05 至 2026-09),聚焦 AI 能力引入顺序、治理要求与一线推行阻力。