带「AI 原生」标签的低代码招标项目占比已达 47%,但按可测标准核验,真正达到 L3(AI 输出可直接写入数据模型、权限与流程定义)的不足三成。本报告把「宣传口径」还原为「可验证能力」:给出九项 AI 能力的测试用例、评分标准与阈值,给出分层判据、伪 AI 鉴别清单,以及企业引入 AI 能力的三批落地顺序与 90 天试点方案。
一句话结论:AI 原生不是「有没有 AI 入口」,而是「AI 的输出能不能被平台保存、执行、鉴权与审计」。先用九项矩阵把能力测清楚,再用三批顺序把风险切开,最后用度量体系证明价值——这是 2026 年最稳妥的引入路径。
- 一、从「低代码 + AI」到「AI 原生低代码」:概念边界与三个阶段
- 二、AI 能力分层模型:L1–L4 的定义、验证与典型能力
- 三、九项 AI 能力测试矩阵:用例、评分与阈值
- 四、能力评测结果与分级:按能力类型而非厂商
- 五、AI 能力的真伪鉴别:五类伪 AI 与提问清单
- 六、企业引入 AI 能力的落地顺序:三批产出
- 七、AI 与治理:权限、数据边界、幻觉、审计与合规
- 八、AI 项目的度量体系:从采纳率到幻觉率
- 九、90 天 AI 能力试点方案
- 十、制造业 AI 试点完整案例(脱敏)
- 十一、常见失败模式:14 条
- 十二、AI 能力评测基准与方法:测试集、样本量与可复现流程
- 十三、数据安全与合规:调用链路、脱敏与部署选型
- 十四、成本治理:估算模型、计费对照与失控信号
- 常见问题(FAQ)
- 数据来源与免责声明
一、从「低代码 + AI」到「AI 原生低代码」:概念边界与三个阶段
2026 年,低代码市场的竞争焦点已不再是「有没有 AI 入口」,而是AI 的输出能不能直接落到元数据与流程定义上。这句话看似简单,却是过去两年最容易被模糊处理的地方:一边是独立的聊天窗,一边是能把自然语言变成实体、权限与可执行流程的原生能力。二者在演示视频里几乎一样,在项目上线三个月后却完全不同。
本报告沿用并深化 micount.cn 既有的「低代码 AI 三阶段」框架:阶段一为低代码 + AI 插件,阶段二为AI 辅助低代码,阶段三为AI 原生低代码。划分依据不是模型强弱,而是AI 输出与平台元数据的耦合深度——即 AI 生成的结果能否被平台保存、执行、鉴权与审计。
1.1 三个阶段的划分依据
把三个阶段放在同一张表里对照,可以看清分界的本质:阶段一与阶段二的区别是能不能保存,阶段二与阶段三的区别是能不能执行与鉴权。很多所谓「AI 原生」的产品,实际上停在阶段二。
| 维度 | 阶段一:低代码 + AI 插件 | 阶段二:AI 辅助低代码 | 阶段三:AI 原生低代码 |
|---|---|---|---|
| 技术形态 | 独立聊天窗或浏览器插件,与平台元数据无连接 | 设计器内置 Copilot,可生成页面与字段草稿 | AI 输出直接写入数据模型、权限与流程定义 |
| 典型交互 | 复制粘贴提示词与结果,人工搬运进平台 | 在设计器内逐段生成、逐段采纳 | 以自然语言描述业务,增量修改实体与流程 |
| 能力上限 | 只能产出文本,无法保存为生产配置 | 产出可保存,但复杂分支与会签仍需手工补全 | 可产出可执行流程,含分支、会签与字段级权限 |
| 可审计性 | 无操作日志,结果不可复现 | 有操作日志,但通常不含模型版本与输出摘要 | 每次生成记录 prompt 摘要、模型版本与输出摘要 |
| 主要风险 | 结论不可核查,容易形成「看起来对」的错觉 | 草稿与生产脱节,改一处需重做一段 | 幻觉可能写入生产数据,必须配套治理 |
口径:阶段划分参照 micount.cn 统一 POC 观察表(2025 Q4–2026 Q3,覆盖 9 类平台的公开文档与隔离环境实测记录)。
1.2 概念边界:三个可核查判据
判断一个平台是不是「AI 原生」,不需要看宣传语,只需要核查三个动作:
- 能不能写入元数据:AI 生成的结果是否成为平台的实体、字段与关联,而不是停留在对话框里的一段文字。这一步决定「可保存」。
- 能不能被流程引擎执行:AI 生成的流程是否可直接发布运行,含分支条件、会签节点与字段级权限,而不是需要人工照着文档重画一遍。这一步决定「可执行」。
- 能不能被审计:每次 AI 生成与写回是否留下可检索的记录,包含触发人、时间、模型版本与输出摘要。这一步决定「可负责」。
1.3 三个容易混淆的概念
在选型沟通中出现频率最高的三组混淆,建议在需求文档里逐条写明定义,避免各说各话:
- AI 原生能力可显著缩短从需求到原型的时间:同一需求熟练者手工建模通常需要数十人时,AI 辅助可压缩到数人时;增量修改只需追加描述,不必推倒重来。
- AI 生成结果进入元数据后,可被后续表单、报表与流程复用,配置资产是累积的,而不是一次性的。
- 生成的流程与权限可直接发布,减少设计文档与实现之间的偏差。
- 幻觉会随耦合深度放大:能写入生产的 AI,也可能把错误数值写进生产。
- 会引入新的治理成本:模型版本、提示词、字段白名单与审计日志都需要管理。
- 对配置者能力要求改变:从「会拖控件」转向「会写清业务规则」。
- 效率数字极易被夸大:不同口径下的提升倍数没有可比性。
1.4 为什么这条分界在 2026 年变得重要
在 2024 年之前,讨论 AI 与低代码的关系时,「有没有 AI」确实可以作为一条粗线条的区分。但到 2026 年,几乎所有主流平台都在界面上提供了 AI 入口,「有没有」已经失去区分度,「AI 的输出落在哪里」才成为真正有信息量的问题。
这条分界直接影响三件事。第一是交付周期:AI 原生能力的产出可以被复用,需求变更时只需追加一段描述,而不必推倒重画页面。第二是维护成本:生成结果进入元数据后,后续表单、报表与流程共享同一份字段定义,不会因为一处修改而引发表内不一致。第三是风险边界:能写入元数据的 AI 也可能写入错误的元数据,因此治理措施必须与能力同步引入,而不是事后补课。
1.5 本报告的使用方法
本报告可以按三种方式使用,不同角色可以只读自己关心的部分:
- 选型阶段:直接使用第三章的九项矩阵与第五章的 12 问清单,配合第二章的分层判据,形成评标依据。
- 试点阶段:使用第六章的三批顺序与第九章的 90 天方案,配合第八章的度量指标,形成试点计划与退出条件。
- 治理与合规阶段:使用第七章的数据分级与审计字段要求,配合合规对照表,形成内部管理制度。
如果时间有限,建议至少完成三件事:用九项矩阵做一次实测、用退出条件约束试点范围、用五项指标建立基线。这三件事的成本不高,却能避免样本中最常见的三类失败——被宣传口径误导、试点无限扩张、无法证明价值。
二、AI 能力分层模型:L1–L4 的定义、验证与典型能力
分层模型的价值在于把「能力」拆成可以分别验证的等级,而不是给平台打一个总分。同一家平台在不同能力上可能处在不同层:表单生成已达 L3,异常检测可能还停在 L1。因此正确的用法是按能力逐个定层,再综合判断。
| 层级 | 定义 | 典型能力 | 交付价值 | 验证方法 |
|---|---|---|---|---|
| L1 聊天外挂 | 独立对话入口,输出不写入平台元数据 | 文案生成、字段命名建议、HTML/表格草稿 | 辅助思考,降低从零开始的门槛 | 要求生成结果一键保存为实体;无法保存即判 L1 |
| L2 组件 Copilot | 在设计器内生成页面、字段与规则草稿 | 单页布局生成、字段与校验建议、公式辅助 | 缩短页面搭建时间 | 生成后检查是否可在设计器中直接发布;仅草稿为 L2 |
| L3 元数据原生 | AI 输出写入数据模型、权限与流程定义 | 自然语言生成实体关系、字段级权限、可发布流程 | 从需求到可运行原型的周期显著压缩 | 用统一 Prompt 生成含分支会签的流程并直接发布 |
| L4 Agentic | Agent 作为流程节点在运行期自动执行 | 自动拉数、推理、写回指定字段、触发后续节点 | 把重复判断类工作交给流程自动完成 | 核查节点授权、写回字段白名单与审计日志完整性 |
2.1 四层的能力细目与观察点
下表把每一层拆成具体能力点,便于在 POC 记录表上逐项打勾。「是否写入元数据」与「是否可在运行期执行」两列,是分层判断中最关键的两个开关。
| 层级 | 能力细目 | 观察到的行为 | 写入元数据 | 运行期可执行 |
|---|---|---|---|---|
| L1 | 自然语言问答与文案生成 | 在对话框内给出文本,需人工复制 | 否 | 否 |
| L1 | 字段与命名建议 | 给出候选名称,采纳与否由人决定 | 否 | 否 |
| L2 | 页面与组件生成 | 在设计器内生成页面草稿,可手工调整 | 部分 | 否 |
| L2 | 校验与公式辅助 | 生成校验表达式建议,需人工确认 | 部分 | 否 |
| L3 | 实体与关系生成 | 生成实体、字段与关联并保存 | 是 | 部分 |
| L3 | 权限与流程生成 | 生成字段级权限与含分支的流程并可发布 | 是 | 是 |
| L4 | Agent 流程节点 | 流程内自动拉数、推理并写回指定字段 | 是 | 是 |
| L4 | 多步编排与复核 | 串接多个节点,支持人工复核与回退 | 是 | 是 |
2.2 每层的验证动作与常见伪证
分层不能靠厂商自述,必须用可复现的动作来验证。下表给出每层的验证动作、所需证据、通过标准,以及样本中最常见的「伪证」——看起来通过了,其实没有。
| 层级 | 验证动作 | 所需证据 | 通过标准 | 常见伪证 |
|---|---|---|---|---|
| L1 判定 | 要求一键保存生成结果为实体或页面 | 保存后的元数据截图与 ID | 在平台内可查到对应对象 | 厂商称「复制到设计器即可」,实为无接口 |
| L2 判定 | 在设计器内生成页面并直接发布 | 发布后的页面地址与访问记录 | 无需手工重画即可访问 | 演示用录屏或预置模板,非本次生成 |
| L3 判定 | 用统一 Prompt 生成含分支与会签的流程并发布 | 发布的流程定义与运行记录 | 流程可直接启动并走完主路径 | 生成结果需人工补全网关与条件才能运行 |
| L3 判定 | 生成字段级权限并验证越权被拒 | 越权访问被拒的截图与日志 | 无权限用户读取被拒绝且留痕 | 权限仅在界面上隐藏,接口仍可读取 |
| L4 判定 | 配置 Agent 节点完成拉数、推理与写回 | 节点定义、写回记录与审计日志 | 写回限定在白名单字段且可追溯 | 写回无字段限制,或日志缺少模型版本 |
2.3 分层与采购的对应关系
分层结论直接决定采购策略。L3 以上的平台适合承载核心业务系统;L2 适合做部门级应用与原型验证;L1 更适合作为辅助工具而非平台采购目标。把分层写进需求文档,可以在评标阶段就把口径统一,避免出现「都在讲 AI,但讲的不是同一件事」。
2.4 分层结论如何写入需求文档
分层结论如果只停留在评测报告里,就无法影响采购。建议把它转写为需求文档中的三条可核查条款,让分层从「结论」变成「约定」。
- 能力分层条款:明确本项目要求平台在「表单生成」与「流程建议」两项达到 L3,即生成的实体与流程可直接发布运行。
- 验证方式条款:约定以统一 Prompt 在现场环境实测为准,不接受录屏演示与预置模板。
- 治理条款:若涉及 Agent 写回,须同时具备字段白名单、人工复核与完整审计日志三项,缺一不可。
2.5 分层模型与三阶段框架的关系
分层模型与第一章的三阶段框架并不冲突,而是同一个问题的两种视角。三阶段描述的是平台整体演进:从外挂插件到辅助生成,再到元数据原生;L1–L4 描述的是单项能力的耦合深度:同一平台的不同能力可能处在不同层。
在选型实践中,建议先用三阶段判断平台的整体定位,再用 L1–L4 逐项核查具体能力。例如某平台整体宣传为「AI 原生」,表单生成确已达到 L3,但异常检测仍停留在 L1(只能输出文字提示);这种情况在三阶段框架里看不出来,在分层模型里却一目了然。两个框架配合使用,才能既不被整体宣传误导,也不至于陷入逐项比较的琐碎。
三、九项 AI 能力测试矩阵:用例、评分与阈值
九项矩阵是本报告的核心工具。它把「AI 能力」拆成九项可以在 2 周内完成测试的独立条目,每项给出统一 Prompt、测试用例、评分标准与权重。相比笼统的能力描述,矩阵的优势是结果可复现、口径可对齐——不同批次、不同评测人都能得到接近的结论。
下表为第 1–5 项的测试用例与评分标准。评分采用 0–5 分制:0 分完全不可用,3 分为可用但有明显人工补全,5 分为可直接发布生产。权重合计 100%。
| # | 测试项 | 测试用例 | 评分标准(5 分制) | 权重 |
|---|---|---|---|---|
| 1 | 表单生成 | 用同一段自然语言生成含 3 个实体、8 个字段与 2 处关联的采购申请表单 | 5 分:可直接发布且关联正确;3 分:可保存但需补关联;0 分:仅输出文本 | 15% |
| 2 | 数据问答 | 对已入库的 3 万行报工数据提问「上月合格率最低的三个工序」,要求给出溯源 | 5 分:答案正确且可点开数据来源;3 分:答案近似但无溯源;0 分:编造数值 | 15% |
| 3 | 流程建议 | 描述「部门经理→采购总监→财务三级审批,超 5 万加签总经理」并生成可执行流程 | 5 分:含分支与会签且可发布;3 分:结构正确需手工补网关;0 分:仅流程图图片 | 15% |
| 4 | 代码/逻辑生成 | 要求生成「工单数量不得超过计划数量 5%」的校验逻辑并绑定字段 | 5 分:逻辑生效且提示可读;3 分:逻辑生效但提示生硬;0 分:无法绑定 | 10% |
| 5 | 文档解析 | 上传 20 页 PDF 采购合同,抽取甲乙方、金额、账期与违约金条款 | 5 分:字段全部准确且可映射入库;3 分:准确率 80% 以上;0 分:需人工重录 | 10% |
| # | 测试项 | 测试用例 | 评分标准(5 分制) | 权重 |
|---|---|---|---|---|
| 6 | 智能填单 | 在历史 5000 条供应商数据基础上,为新建供应商表单一键预填资质与联系人字段 | 5 分:预填准确率高且可一键确认;3 分:预填可用但需逐项核对;0 分:无此能力 | 10% |
| 7 | 异常检测 | 对报工数量序列识别异常值并给出「疑似重复报工」的判断与依据 | 5 分:识别准确且给出可核对依据;3 分:识别到异常但依据不足;0 分:仅规则阈值告警 | 10% |
| 8 | Agent 编排 | 配置流程节点自动拉取 ERP 数据、生成周报并写回指定字段,限定可写字段 | 5 分:写回受限、可追溯、可人工复核;3 分:可写回但无字段限制;0 分:无节点能力 | 10% |
| 9 | 多模态识别 | 上传 30 张设备铭牌与巡检单据照片,抽取编号、型号与读数 | 5 分:字段准确率 95% 以上;3 分:准确率 80% 以上需人工复核;0 分:无法识别 | 5% |
为保证不同平台之间的结果可比,测试必须使用完全相同的 Prompt 与相同的初始数据。以下为统一 Prompt 的摘录,建议在实际 POC 中替换为企业自己的真实业务需求,因为真实需求对「业务语义理解」的考验远高于示例需求。
「我是一家零部件制造企业,需要:① 供应商主数据(含资质有效期与联系人);② 采购申请单,可关联生产工单与物料;③ 三级审批:部门经理 → 采购总监 → 财务,超过 5 万元自动加签总经理;④ 字段级权限:采购员可提交但不可查看单价;⑤ 请生成数据模型、权限规则与可直接发布的流程。」
评分时还要记录人工补全量——从 AI 生成到可发布之间,需要人工修改的步骤数。经验上,补全步骤超过 5 步,平台的实际价值会迅速下降,因为维护成本开始接近手工配置。
| 总分区间 | 判定 | 判定含义 | 处理建议 |
|---|---|---|---|
| 85–100 分 | A 档:可在核心场景试用 | 多数能力达到 L3,流程可发布 | 进入试点,按三批顺序推进 |
| 70–84 分 | B 档:适合部门级应用 | 结构化生成可用,复杂编排能力有限 | 先做部门级场景,暂不承载核心流程 |
| 50–69 分 | C 档:适合辅助与原型 | 生成可用但人工补全量大 | 用于原型与需求澄清,不作为生产平台 |
| 30–49 分 | D 档:仅辅助工具 | 多停留在 L1–L2,不可写入元数据 | 作为辅助工具采购,不进入正式选型 |
| 0–29 分 | E 档:不符合基本预期 | 输出不可保存或不可核查 | 不建议继续投入评测资源 |
3.1 测试环境与变量控制
要让九项结果可比,必须控制四个变量:① 同一份初始数据(建议脱敏后导入);② 相同的统一 Prompt;③ 相同的评测人(至少两名交叉验证);④ 相同的网络与终端环境。任何一项不一致,都可能让分数失去可比性。
样本中曾出现过这样的对比失误:A 平台在配置更好的机器上测试,B 平台在普通机器上测试,结果响应速度的差异被误判为能力差异。建议把测试环境与操作步骤写成脚本化清单,由同一批人在同一时间段内完成全部平台的测试。
3.2 结果记录模板与常见记录失误
评测记录至少应包含六类信息:测试项、统一 Prompt 原文、生成耗时、人工补全步骤数、最终评分与失败原因。其中人工补全步骤数常被忽略,却是判断平台实际可用性的关键——一个高分但需要 8 步人工补全的能力,在真实项目中的价值会大打折扣。
另外提醒一条容易被忽视的纪律:评测记录必须在测试当场完成,不要事后凭记忆补写。样本中事后补写的记录,往往把失败原因写成「基本可用,细节待优化」,这类表述对决策没有任何帮助。
3.3 不同行业的测试重点差异
九项矩阵是通用框架,但不同行业应把测试资源向不同能力倾斜。制造业的重点在表单生成、异常检测与多模态识别,因为现场数据采集与单据识别是主要诉求;政企与金融的重点在数据问答、文档解析与 Agent 编排,因为知识密集且对可追溯的要求高;商贸与服务业的重点在智能填单与数据问答,因为主数据量大、查询频繁。
确定重点之后,权重也要相应调整。需要提醒的是,提高某几项的权重,同时会降低其余项的影响,因此不要为了照顾某一类平台而随意分配权重。权重应当在看到任何平台结果之前确定,并写入评标文件留档,这样结论才经得起复核。
四、能力评测结果与分级:按能力类型而非厂商
本节不给出厂商排名,而是给出能力类型的强弱规律。原因有两个:其一,同一平台的不同能力常处在不同层级,排名会掩盖这一事实;其二,平台版本迭代很快,任何具体排名都会在数月内失效。因此本节把九项能力归纳为五个能力簇,再按平台类型给出强弱分布,供选型时定位预期。
| 能力簇 | 包含测试项 | 技术关键点 | 主要风险 |
|---|---|---|---|
| 结构化生成 | 表单生成、流程建议 | 输出能否写入实体、权限与流程定义 | 生成结果看似正确但不可执行 |
| 语义理解与检索 | 数据问答、文档解析 | 检索增强与溯源能力 | 缺乏溯源时容易产生看似合理的错误答案 |
| 数据洞察 | 智能填单、异常检测 | 历史数据建模与阈值设计 | 把「统计阈值告警」包装为 AI |
| 运行期自动化 | Agent 编排、代码/逻辑生成 | 节点授权、写回限制与回退机制 | 幻觉写入生产数据 |
| 感知能力 | 多模态识别 | 单据与图像的字段抽取准确率 | 准确率不足时人工复核成本高于原流程 |
热力图读法:颜色深浅表示该项能力在同类平台中的常见表现,不代表任何单一产品。可以看出两条规律:第一,零代码型平台在「表单生成」「智能填单」上普遍较好,因为它长期面向业务人员,交互设计更贴近低门槛场景;第二,「Agent 编排」「代码/逻辑生成」普遍偏弱,因为它需要更强的工程化约束与治理能力,这通常出现在企业级开发型平台上。
| 平台类型 | 相对强的能力簇 | 相对弱的能力簇 | 典型适用场景 | 选型注意 |
|---|---|---|---|---|
| 零代码型平台 | 结构化生成、数据洞察 | 运行期自动化、语义检索 | 部门级业务应用、表单审批与现场数据采集 | 确认生成结果能否写入元数据,而非仅生成草稿 |
| 企业级开发型平台 | 运行期自动化、结构化生成 | 感知能力 | 核心业务流程、跨系统集成与复杂权限 | 确认 Agent 节点的字段白名单与审计日志是否完整 |
| 国际 SaaS 型平台 | 语义检索、运行期自动化 | 智能填单、结构化生成 | 知识密集场景、文档处理与研发协同 | 核查数据存储位置、跨境传输与合规要求 |
| 信创私有化型平台 | 结构化生成、私有化部署 | 感知能力、运行期自动化 | 政企与强合规行业,要求数据不出域 | 核查模型版本锁定、向量库位置与日志回传 |
| # | 测试项 | 成熟度判断 | 落地建议 | 不宜直接用于 |
|---|---|---|---|---|
| 1 | 表单生成 | 相对成熟,L2–L3 常见 | 作为首个试点场景 | 字段口径未统一的复杂业务表 |
| 2 | 数据问答 | 成熟度分化明显 | 限定在已有结构化数据的范围内 | 口径未定义好的指标型问题 |
| 3 | 流程建议 | 结构生成较好,细节常需补全 | 先用它生成初稿再人工固化 | 跨系统、多组织的复杂流程 |
| 4 | 代码/逻辑生成 | 可用但需复核 | 用于校验逻辑与公式草稿 | 涉及资金与合规计算的逻辑 |
| 5 | 文档解析 | 成熟度较高但依赖版式稳定 | 用于信息抽取与录入辅助 | 版式多变的扫描件 |
| # | 测试项 | 成熟度判断 | 落地建议 | 不宜直接用于 |
|---|---|---|---|---|
| 6 | 智能填单 | 体验差异大,依赖历史数据质量 | 在数据量充足的主数据场景试用 | 历史数据缺失或质量差的主数据 |
| 7 | 异常检测 | 容易被包装,需核查算法依据 | 用于提示与复核,不直接判定 | 直接作为考核或处罚依据 |
| 8 | Agent 编排 | 能力上限高、风险也最高 | 限定字段白名单并保留人工复核 | 无审计与回退机制的自动化 |
| 9 | 多模态识别 | 准确率与场景强相关 | 作为录入辅助,保留人工确认 | 直接写入财务或质量关键字段 |
4.1 读表方法与两种常见误读
读表时最容易出现两种误读,建议在内部沟通时先把它们讲清楚:
- 误读一:把「相对弱」理解为「不能用」。热力图中的相对弱,指该项能力在同批平台中表现靠后,并不等于无法工作。很多所谓「弱」的能力,在限定场景下已经足够支撑业务。
- 误读二:把平台类型当成平台本身。类型归纳描述的是「这一类平台的常见表现」,不是任何单一产品的结论。同一类型内部的差异可能比跨类型差异更大。
实用的读法是:先按业务场景定位自己需要的能力簇,再看该簇中相对强的平台类型,最后用九项矩阵在同一类型内做二次筛选。这样既利用了类型规律,又避免了「按类型拍板」的粗糙决策。
4.2 能力类型分级的实际用法
能力类型分级最实用的场景,是在需求尚未完全明确时快速缩小候选范围。例如企业要做一个「现场数据采集 + 异常提醒」的应用,对应能力簇为「结构化生成」与「数据洞察」,那么可以优先考察零代码型平台;而如果应用的核心是「跨系统自动编排」,则应优先考察企业级开发型平台。
需要强调的是,候选范围只是起点。最终选型仍应结合权限体系、集成能力、部署方式、许可模式与实施服务能力综合判断,AI 能力只是其中一项维度——把它当成唯一维度,很容易选出「AI 很强但整体不合适」的方案。
4.3 把分级结论写进选型报告
选型报告里常见的写法是「A 平台 AI 能力较强,B 平台次之」,这种表述无法支撑决策。更有效的写法是把能力类型分级与业务场景对应起来:「本企业需要表单生成与异常检测,对应能力簇为结构化生成与数据洞察;在该能力簇上,零代码型平台整体表现相对靠前,建议优先考察;若后续要扩展到跨系统自动编排,需一并评估企业级开发型平台。」
这样写的好处是,结论可追溯到能力与场景,而不是停留在平台名称的排序上。当业务需求变化时,也可以据此快速判断是否需要重新评估平台。建议把这一结构作为选型报告的标准模板,长期使用还能积累内部可比数据。
五、AI 能力的真伪鉴别:五类伪 AI 与提问清单
「伪 AI」不是指产品骗人,而是指把不具备的能力表述成具备。在样本 n=32 的试点复盘中,被判定为「预期与实际差距过大」的项目,绝大多数问题都可以归入下面五类特征。识别这些特征,比记忆任何产品参数都更有用。
| 特征 | 典型表述 | 识别信号 | 鉴别方法 |
|---|---|---|---|
| ① 演示可用、不可保存 | 「一键生成应用」 | 生成结果只出现在对话框或录屏中,无法落到平台对象 | 要求现场生成并一键保存,检查平台内是否出现对应实体 |
| ② 生成不入版本 | 「AI 自动优化你的应用」 | 修改后无法回退,历史版本缺失 | 连续生成两次并对比;检查版本与回退入口 |
| ③ 无可审计日志 | 「全流程可追溯」 | 只能查到人工操作,查不到 AI 生成与写回 | 要求按时间导出 AI 操作日志,检查是否含模型版本与输出摘要 |
| ④ 权限绕过 | 「字段级权限可精确控制」 | 界面隐藏但接口仍可读到受限字段 | 用无权限账号直接调用接口读取受限字段,观察是否被拒 |
| ⑤ 效率口径不可复现 | 「效率提升 580%」 | 不给基准、不给样本、不说明质量系数 | 要求提供同一 Prompt 与同一场景的对照记录,自行复测 |
口径:五类特征提炼自 micount.cn AI 类试点复盘 n=32(2025–2026),按「预期与实际差距」归因统计。
5.1 三种鉴别方法:文档核查、现场演示、日志核查
鉴别不依赖直觉,而依赖三种可执行的核查动作。建议把三者安排在 POC 的不同阶段:文档核查放在标前,现场演示放在评标,日志核查放在试点启动前。
| 方法 | 执行阶段 | 核查动作 | 通过标志 |
|---|---|---|---|
| 文档核查 | 标前 | 核对官方文档中 AI 能力的边界说明、限制条件与已知问题 | 文档明确写出能力边界而非只有宣传语 |
| 现场演示 | 评标 | 在客户测试环境用真实需求生成并发布,不接受录屏 | 生成结果可保存、可发布、可访问 |
| 日志核查 | 试点启动前 | 导出 AI 操作日志,检查模型版本、输出摘要与写回记录 | 日志字段完整、可按人按时间检索 |
| 数据核查 | 试点第 2 周 | 抽样比对 AI 生成与最终生产配置的差异 | 差异有记录、有原因、可回退 |
5.2 采购提问清单(12 问)
以下 12 个问题可直接用于标前澄清或 POC 问询。提问的价值不在于得到「是/否」,而在于观察对方能否给出具体机制与文档位置——能给出机制的,通常是真能力;只能给出形容词的,需要继续追问。
| # | 提问 | 期望得到的回答形态 | 红旗信号 |
|---|---|---|---|
| 1 | AI 生成的实体与字段,是否保存在平台元数据中? | 给出对象类型与存储位置说明 | 回答「会生成一个说明文档」 |
| 2 | 生成的流程能否不经人工重画直接发布运行? | 给出流程发布路径与限制条件 | 回答「需要设计者确认后调整」 |
| 3 | AI 每次生成与写回是否留有日志?含哪些字段? | 列出日志字段清单 | 回答「平台整体有操作日志」但不含 AI 记录 |
| 4 | Agent 节点可写入的字段是否可以限定白名单? | 给出白名单配置入口 | 回答「Agent 拥有业务账号权限」 |
| 5 | 生成结果是否有版本与回退机制? | 说明版本策略与回退方式 | 回答「生成即是最终版本」 |
| 6 | 可接入的私有化模型有哪些?版本是否锁定? | 给出模型清单与版本策略 | 回答「支持任意模型」但未说明锁定方式 |
| # | 提问 | 期望得到的回答形态 | 红旗信号 |
|---|---|---|---|
| 7 | 提示词、上下文与向量库是否可留在本地? | 给出部署拓扑与数据流向说明 | 仅回答「模型部署在本地」 |
| 8 | 字段级权限在接口层是否同样生效? | 给出接口鉴权机制说明 | 回答「界面上会隐藏」 |
| 9 | 效率提升数据的基准、样本与口径是什么? | 给出对照方法与样本说明 | 只给一个提升倍数 |
| 10 | AI 生成内容是否需人工复核节点,能否强制? | 给出强制复核配置 | 回答「可以人工再看一遍」 |
| 11 | 平台升级后,已有的 Agent 节点如何保持稳定? | 给出兼容策略与回归机制 | 回答「升级一般不影响」 |
| 12 | 能否提供第三个客户做同类场景的实地参考? | 给出可联系的参考客户 | 只提供宣传案例或拒绝提供 |
- 提问清单适合在标前使用,成本低、覆盖广,能在早期筛掉明显不符的选项。
- 清单答案可以作为需求文件附件,把口头承诺固化为文字,减少后续争议。
- 问题集中在机制而非功能名称,因此对版本变化的敏感度较低。
- 清单只能识别明显问题,无法替代实测——很多差异要跑过 POC 才暴露。
- 部分问题需要技术对接人才能回答,商务阶段可能得不到准确答案。
- 过度依赖清单容易变成「打勾式评标」,忽略能力与业务场景的匹配度。
- 清单需要随平台版本更新,建议每半年复核一次问题的适用性。
5.3 鉴别结论如何落地
鉴别的产出不应只是「某平台是不是伪 AI」的结论,而应是一份风险与对策清单:哪些能力已确认,哪些需要在试点中继续观察,哪些明确不在本期范围。把这三类分开记录,可以避免把「暂时不可用」误当成「永远不可用」,也避免把「演示可用」误当成「生产可用」。
建议在 POC 结束时输出一张能力确认表,由客户方技术负责人与厂商对接人共同签字。签字的作用不是形式,而是把口头承诺固化为双方认可的文字,为后续验收提供依据。样本中把这张表做实的项目,验收阶段的争议明显更少。
5.4 标前澄清会的组织方式
鉴别工作要有效,标前澄清会的组织方式很关键。建议把 12 个提问按「机制类」与「数据类」分成两组:机制类(第 1–6、8、10、11 问)由厂商技术负责人回答,数据类(第 7、9、12 问)由商务或产品负责人回答。两类问题分开问,可以避免技术人员用商务话术敷衍。
会上还应明确两点:一是书面答复的时间,口头回答不计入评标依据;二是答复的落款人,最好要求由项目负责人签署或加盖公章。样本中因「口头承诺未兑现」而产生的争议,几乎都发生在没有留下书面答复的环节。
最后提醒一点:鉴别工作要留下痕迹。把澄清会上的问题、答复与结论整理成一份纪要,在评标之前发给所有参与方确认。这份纪要既是决策依据,也是后续出现争议时的第一份证据。
六、企业引入 AI 能力的落地顺序:三批产出
把九项能力一次上线,是样本中最常见的失败做法。更稳妥的方式是按风险等级分三批推进:第一批只读型能力(不改变任何生产数据),第二批结构化生成(改变配置但可回退),第三批写回型能力(直接改变业务数据)。三批的风险、验证方式与上线时点完全不同,把它们混在一起推进,等于同时承担全部风险。
| 批次 | 包含能力 | 产出物 | 风险等级 | 建议上线时点 |
|---|---|---|---|---|
| 第一批:只读型 | 数据问答、文档解析、智能填单建议、异常检测提示 | 问答助手、文档抽取模板、填单建议与异常提示看板 | 低(不改生产数据) | 试点第 1–4 周 |
| 第一批补充:感知型 | 多模态识别(单据、铭牌与表单照片识别) | 识别辅助录入模板与人工确认流程 | 低(仅辅助录入,不直接写入关键字段) | 试点第 3–6 周 |
| 第二批:结构化生成 | 表单生成、流程建议、代码/逻辑生成 | 可发布的实体与流程、校验逻辑、权限规则 | 中(改配置,可回退) | 试点第 5–8 周 |
| 第三批:写回型 | Agent 编排(拉数、推理、写回) | 带字段白名单与人工复核的自动节点 | 高(直接改业务数据) | 试点第 9–12 周,且须先有审计与回退 |
三批之间不是简单的先后关系,而是能力依赖关系:第一批积累的数据与问答经验,会显著改善第二批生成结果的准确性;第二批固化的字段与权限,则是第三批 Agent 能安全写回的前提。跳过前两批直接做第三批,往往会因为字段口径未定、权限未收口而反复返工。
- 第一批:只读型(第 1–4 周)目标是先让人用起来、先建立信任。问答助手只读已有数据,文档解析只做抽取与人工确认,异常检测只提示不判定。这一批不需要复杂的治理措施,但必须在上线前定好准确率基线,否则第二批无从对比。
- 第二批:结构化生成(第 5–8 周)目标是把 AI 的产出变成可复用的配置资产。这一批开始改配置,因此必须启用版本与回退机制,并规定「AI 生成的配置须经设计者确认后发布」。把第一批的真实使用反馈作为生成质量的评价依据——这是本批能否成功的关键输入。
- 第三批:写回型(第 9–12 周)目标是把重复判断类工作交给流程自动完成。上线前必须齐备四项条件:字段白名单、人工复核节点、写回失败兜底与完整审计日志。建议先在一个低风险字段上试跑两周,确认无误差后再扩大写回范围。
| 批次 | 前置条件 | 退出条件(未达成则暂停) | 观察周期 |
|---|---|---|---|
| 第一批:只读型 | 数据已入库且口径明确;问答范围有界 | 问答可溯源率低于 80%,或抽取准确率低于 80% | 2 周 |
| 第二批:结构化生成 | 字段与权限口径已确认;已启用版本与回退 | 生成结果人工补全步骤长期多于 5 步 | 2 周 |
| 第三批:写回型 | 字段白名单、复核节点、兜底与审计四项齐备 | 出现一次无审计记录的写回,或写回差异率高于 1% | 2–4 周 |
| 贯穿三批:度量与复盘 | 基线已采集;指标口径与判定人已明确 | 指标简报停更,或口径变更未留档 | 每两周 |
6.1 为什么按风险分批,而不是按部门分批
常见的另一种分批方式是「按部门」:先给 A 部门做,再给 B 部门做。这种分法在传统信息化项目里有效,但在 AI 项目里容易出问题——因为部门之间的能力需求可能处于完全不同的风险等级。如果 A 部门只需要只读型问答,而 B 部门要求自动写回,按部门推进就会让高风险能力早早进入项目。
按风险分批的好处是风险与验证方式同步递进:只读型只需验证准确率,结构化生成需验证可回退,写回型需验证白名单与审计。每一批的验证门槛不同,团队的处理能力也随之逐步建立。
6.2 批次与团队能力的匹配
分批还带来一个隐性收益:团队能力可以随批次一起成长。第一批让业务方熟悉 AI 输出的特点与局限;第二批让配置者学会审查 AI 生成的配置;第三批让 IT 与风控学会管理写回与审计。如果跳过前两批,第三批所需的复核与治理能力实际上没有建立起来,风险只能靠个人经验兜底。
6.3 三批之外还要同步做的一件事
除了三批能力推进之外,还有一件事必须同步进行:度量与复盘。很多项目把度量放在试点结束才做,结果是数据零散、口径不一、无法比较。正确的做法是从第一批开始就按周采集指标,哪怕只有采纳率与一次通过率两项。
度量的意义不只是证明价值,更重要的是及早发现方向性偏差。如果第一批的采纳率长期低于 40%,说明场景选择可能有问题,此时调整的成本远低于做到第三批再回头。把度量的节奏固定下来,三批推进才有纠偏能力,而不是只能一路走到失败再整体复盘。
七、AI 与治理:权限、数据边界、幻觉、审计与合规
耦合越深,治理越重要。第一批只读型能力的治理要求相对简单,而第三批写回型能力需要流程、数据与审计三重边界同时成立。本节给出一套可落地的治理框架,并对照《生成式人工智能服务管理暂行办法》的相关要求。
| 风险 | 典型表现 | 低代码侧控制措施 | 验证方式 |
|---|---|---|---|
| 幻觉 | Agent 写入错误数值或错误结论 | 写回前规则校验 + 强制人工复核节点 | 抽样比对写回值与源数据 |
| 越权 | Agent 读取或写入了无权限字段 | 服务账号 + 字段白名单 + 行级范围 | 用受限账号触发节点并检查拦截日志 |
| 提示注入 | 用户输入覆盖系统指令,诱导越权行为 | 输入消毒 + 角色分离 + 指令与数据隔离 | 构造注入用例,观察是否被拒绝 |
| 不可审计 | 无法追溯某次写回由谁、何时、哪个模型产生 | 强制记录 prompt 摘要、模型版本与输出摘要 | 按时间导出日志并核对字段完整性 |
| 合规风险 | 使用了未经备案的模型,或数据跨境传输 | 选用已备案模型 + 数据本地化 + 明确告知义务 | 核查模型备案信息与数据流向图 |
7.1 数据边界:分级与可处理范围
治理最有效的一步不是加护栏,而是先给数据分级。只有当数据等级与 AI 可处理范围一一对应时,权限控制才有明确依据,而不是每次临时讨论。
| 数据等级 | 示例 | AI 可读 | AI 可写回 | 附加要求 |
|---|---|---|---|---|
| 公开级 | 对外产品资料、公开报价区间 | 允许 | 允许(需复核) | 无 |
| 内部级 | 部门流程数据、非敏感业务表 | 允许 | 允许(需白名单) | 记录审计日志 |
| 受限级 | 客户信息、合同金额、人员信息 | 需脱敏后允许 | 默认禁止 | 脱敏规则 + 字段白名单 + 日志 |
| 敏感级 | 财务明细、薪酬、身份与生物信息 | 默认禁止 | 禁止 | 如确需处理,须单独评估并留档 |
| 监管级 | 受行业监管规则约束的特定数据 | 按监管要求 | 按监管要求 | 以监管规定为准,不适用本表默认值 |
7.2 合规参照:《生成式人工智能服务管理暂行办法》
面向境内公众提供生成式人工智能服务,适用《生成式人工智能服务管理暂行办法》(国家互联网信息办公室等七部门 2023 年公布,2023 年 8 月 15 日起施行)。企业引入 AI 能力时,应把该办法中与服务提供、内容治理、数据与个人信息保护相关的义务,转化为可核查的落地项。下表给出相关要求与本方案的对应动作,供合规自查参考。
| 合规关注点 | 办法中的相关要求(要点) | 本方案对应动作 | 自查证据 |
|---|---|---|---|
| 服务提供者责任 | 明确服务提供者的主体责任与管理制度 | 指定 AI 能力负责人,建立使用与管理制度 | 制度文件与责任人清单 |
| 训练数据与来源 | 数据来源合法、不侵害他人合法权益 | 使用已备案模型;自有数据入库前完成合规审查 | 数据来源清单与审查记录 |
| 个人信息保护 | 涉及个人信息须依法取得同意并采取保护措施 | 按数据分级脱敏;受限级以上默认禁止 AI 读取 | 脱敏规则与访问日志 |
| 生成内容标识 | 按要求对生成内容进行标识 | 对 AI 生成并需对外使用的内容加注标识 | 标识规则与样例 |
| 用户告知 | 向使用者告知 AI 服务的性质与局限 | 在应用内提示「AI 结果仅供参考,请人工确认」 | 界面提示截图 |
| 监督与投诉 | 建立投诉与处理机制,配合监督检查 | 在流程中提供反馈入口并保留处理记录 | 处理台账 |
口径:本表为合规自查参考,非法律意见;具体要求以《生成式人工智能服务管理暂行办法》原文及主管部门最新规定为准。
7.3 幻觉控制的四道闸门
幻觉无法被彻底消除,但可以把它从「进入生产数据」降级为「被人工发现」。四道闸门按顺序生效,任一道通过才会进入下一道:
7.4 审计日志应包含哪些字段
审计日志是治理体系中最容易被简化的一环。很多平台确实有「操作日志」,但它记录的是人工操作,而不是 AI 的生成与写回。建议在需求中明确要求 AI 相关日志包含以下字段,并把它列入验收清单:
- 触发人:谁发起了这次生成或写回。
- 时间:服务端时间,不可由客户端修改。
- 模型版本:用于在模型变更后回溯问题来源。
- 提示词摘要:不必全量存储,但需保留可识别的摘要。
- 输出摘要与写回目标:写入了哪个对象的哪个字段。
- 结果状态:成功、失败,或人工复核后被修改。
缺少任何一个字段,都会让事后追溯变得不可靠。尤其是模型版本——当平台升级模型后,同一段提示词可能产生不同的结果,没有版本记录就无法解释差异,也无法判断问题究竟出在提示词、数据还是模型。
7.5 治理落地的四个动作
治理框架要真正落地,最终要落到四个具体动作上,建议按顺序执行,每一步都产出可留档的文件:
- 第一步:定数据分级在试点开始前,把所有要接入 AI 的数据逐表标注等级,并写明每一级的可读与可写范围。这一步不做,后续所有权限讨论都没有依据。
- 第二步:定字段白名单对允许 AI 写回的字段列成清单,并写入配置模板。白名单之外的字段一律禁止写回,包括那些「看起来无害」的字段。
- 第三步:定复核与兜底确定哪些字段必须人工复核、写回失败如何处理、由谁负责告警后的处置。把这些写进 SOP,而不是留在口头。
- 第四步:定审计与复盘约定日志字段、抽样频率与幻觉率的统计口径,并把复盘纳入固定的月度节奏,避免治理措施随项目结束而失效。
四个动作的产出分别是:数据分级表、字段白名单、复核 SOP 与审计复盘制度。这四份文件同时也是验收时的证据——在涉及写回型能力的项目中,建议把它们列入交付物清单,与功能验收同等对待。
八、AI 项目的度量体系:从采纳率到幻觉率
AI 项目最常见的困境不是「没有效果」,而是无法证明效果。解决的办法是在上线前就把指标口径、基线值与采集方式定下来。本节给出五项核心指标,覆盖「用不用、省不省、准不准、错不错、退不退」五个维度。
| 维度 | 指标 | 定义 | 建议初始目标 | 采集方式 |
|---|---|---|---|---|
| 用不用 | 采纳率 | AI 生成结果被采纳并发布的占比 | ≥ 60% | 生成记录与发布记录的关联统计 |
| 省不省 | 节省工时 | 同一任务在引入 AI 前后的人时差 | 相对基线节省 ≥ 25% | 抽样计时,同一任务连续 10 次取中位数 |
| 准不准 | 一次通过率 | 生成结果无需人工修改即可通过的占比 | ≥ 50%(复杂流程 ≥ 30%) | 生成记录与修改记录的比对 |
| 错不错 | 幻觉率 | 写回或输出中经抽样判定为错误的占比 | ≤ 1%(受限级字段 ≤ 0.2%) | 每周抽样比对,样本量不少于 100 条 |
| 退不退 | 回退率 | 因 AI 结果问题而回退配置或数据的占比 | ≤ 5% | 回退日志统计 |
五项指标中,采纳率与幻觉率最容易失真。采纳率可能因为「系统强制使用」而虚高;幻觉率可能因为「只统计被发现的错误」而虚低。因此两项指标都必须写明统计口径与抽样方式,并由业务方而非仅由实施方确认。
| 指标 | 口径要点 | 常见失真 | 纠偏做法 |
|---|---|---|---|
| 采纳率 | 分母为「AI 生成次数」,非「打开 AI 的次数」 | 把强制使用算作采纳 | 区分「主动生成」与「系统触发」 |
| 节省工时 | 必须是同一任务、同一熟练度的人时对比 | 用新手与熟手对比,放大差值 | 固定同一批人员与同一批任务 |
| 一次通过率 | 需定义「通过」的标准与验收人 | 验收人标准不一 | 统一验收清单并指定验收人 |
| 幻觉率 | 抽样范围须含未被使用的结果 | 只统计已被发现的错误 | 从未采纳的结果中按比例抽样 |
| 回退率 | 须包含字段级回退与整表回退 | 只统计明显失败的回退 | 在平台侧统一埋点统计 |
8.1 指标与业务价值如何对应
指标本身不是目的。五项指标需要能对应到三类业务价值,否则容易沦为单纯的技术指标:
- 效率价值:由「节省工时」与「回退率」共同支撑——省下的时间若被返工吃掉,价值不成立。
- 质量价值:由「一次通过率」与「幻觉率」共同支撑——通过率上升但错误率同步上升,说明标准在放松。
- 采纳价值:由「采纳率」体现——如果业务方最终很少使用 AI 生成的结果,前面各项指标再漂亮也没有意义。
把这三组对应关系写进试点评估报告,可以让管理层的决策更有依据:是继续投入、调整场景,还是暂停。样本中评估报告写得清楚的项目,后续推广获批准的比例明显更高——因为决策者能看懂结论的依据,而不是只看到一个结论。
8.2 从指标简报到评估报告的写法
指标简报与评估报告是两种不同的文档,不要混用。指标简报面向执行层,每两周一次,只讲数字变化与异常原因,篇幅控制在一页以内;评估报告面向决策层,在试点结束时输出,讲清楚三件事:能力是否稳定、价值是否可量化、风险是否可控。
写评估报告时有一个实用技巧:把每个指标同时写成「结论 + 依据 + 局限」三段。例如「节省工时约 25%(依据:同一任务抽样计时 10 次取中位数;局限:样本量有限,未覆盖夜班场景)」。这种写法既给出了结论,也主动暴露了局限,反而更容易获得决策者的信任。
九、90 天 AI 能力试点方案
试点目标不是「把系统建起来」,而是在 90 天内得到可以支撑决策的结论:这项能力在本企业到底值不值得扩大投入。因此试点必须有明确的退出条件——达不到就停,达到才推广。把退出条件提前写清,是避免试点无限期拖延的最有效手段。
| 阶段 | 周期 | 关键活动 | 交付物 | 退出条件 |
|---|---|---|---|---|
| 阶段一:基线与小试 | D1–30 | 选 1 个部门与 1–2 个只读型场景;采集基线;建立评测脚本 | 基线报告、试点场景清单、评测记录表 | 基线无法采集或场景无明确负责人则暂停 |
| 阶段二:扩展与度量 | D31–60 | 扩展到 3–5 个场景;引入结构化生成;开始指标采集 | 场景清单、指标体系简报、第一批 SOP | 采纳率低于 40% 或幻觉率高于 3% 则暂停扩展 |
| 阶段三:评估与决策 | D61–90 | 完成指标复盘;做一次写回型能力的受控试验;形成结论 | 试点评估报告、推广方案或退出说明 | 未达退出阈值则终止推广,仅保留已见效场景 |
| 贯穿全程:度量与复盘 | D1–90 | 按周采集五项指标;每两周输出指标快照;阶段结束输出复盘纪要 | 指标简报、阶段复盘纪要、基线对照报告 | 指标口径中途变更且未留档则暂停 |
| 维度 | 指标 | 继续推广阈值 | 暂停阈值 | 判定人 |
|---|---|---|---|---|
| 采纳 | 采纳率 | ≥ 60% | 低于 40% | 业务负责人 |
| 效率 | 节省工时 | ≥ 25% | 低于 10% | 业务负责人 |
| 质量 | 一次通过率 | ≥ 50% | 低于 30% | 技术负责人 |
| 风险 | 幻觉率 | ≤ 1% | 高于 3% | 风控 / 合规 |
| 稳定 | 回退率 | ≤ 5% | 高于 10% | IT 负责人 |
- D1–30:先把地基打好这一阶段最重要的不是做出效果,而是把口径定下来:试点范围、责任人、基线数据、评测脚本与指标定义。建议只做只读型能力,让业务方在没有任何风险的前提下先体验一次。
- D31–60:从体验到产出进入结构化生成阶段,把 AI 的产出真正变成可复用的配置资产,同时开始按周采集五项指标。这一阶段最容易出现的问题是「场景铺得太宽」,建议严格控制在 5 个以内,每个场景都配一名业务责任人。
- D61–90:给出结论并作决策用指标回答三个问题:能力是否稳定、价值是否可量化、风险是否可控。如果三项都通过,输出推广方案;如果有一项不通过,输出退出说明并保留已见效场景。明确说「不继续」也是一种合格的试点结论。
9.1 试点团队的最小配置
试点不需要很大的团队,但四类角色必须有明确人选,缺任何一类都会在中期暴露问题:
- 业务负责人:定义「什么算好用」,并拥有暂停或终止试点的权力。
- 技术对接人:负责环境、账号、数据与集成,通常是整个试点的时间瓶颈。
- 配置者(1–2 名):负责把 AI 生成的结果确认为可发布的配置。
- 风控或合规联系人:在涉及写回或敏感数据时提供判断依据,可由 IT 兼任。
建议明确写出每人每周的最低投入时间。样本中试点延期最常见的原因,不是能力不足,而是关键角色在试点期间被抽调去处理其他工作——把投入时间写进计划并获得其主管认可,是成本最低的风险管理手段。
9.2 试点结束后的推广决策
试点结束时通常会得到三种结论,对应的后续动作也完全不同:
三种结论都应形成书面文件。只把「继续」当结论、把「暂停」当作失败,是很多企业 AI 项目无法收敛的根源——及时暂停一个方向,本身就是一次成功的试点。
十、制造业 AI 试点完整案例(脱敏)
以下案例为脱敏整理,源自 micount.cn 交付台账中的 AI 类试点复盘样本(n=32)之一。企业名称、地区与部分业务参数已做模糊处理,指标对比为该企业的个别结果,不代表其他企业可以复现。
| 项目 | 情况描述 | 对 AI 试点的意义 |
|---|---|---|
| 行业与规模 | 华东某汽车零部件二级供应商,员工约 300 人 | 业务规则成熟,数据积累尚可 |
| 既有系统 | 已上线 ERP,车间使用零代码表单做巡检与报工 | 具备结构化数据基础,适合做只读型试点 |
| 试点前痛点 | 报工数据需人工核对,月度分析靠手工汇总 | 存在明确的「节省工时」可量化目标 |
| 数据基础 | 约 3 万行报工记录、5000 余条供应商与设备数据 | 满足智能填单与异常检测的数据量要求 |
| 组织条件 | 生产负责人牵头,IT 指定 1 名对接人 | 责任人明确,是试点可持续的关键前提 |
10.1 试点范围与实施节奏
试点严格按本报告的三批顺序推进,第一批只做只读型能力,风险控制在最低。下方时间线为该项目实际的推进节奏,与第九章的 90 天框架基本一致。
| 阶段 | 周期 | 实施内容 | 阶段验收标志 |
|---|---|---|---|
| 基线与小试 | 第 1–4 周 | 采集基线;上线报工数据问答与异常提示;建立评测记录表 | 问答可溯源率与异常提示准确率达到预期 |
| 扩展与度量 | 第 5–8 周 | 上线智能填单与文档抽取;开始按周采集五项指标 | 采纳率与一次通过率进入可对比区间 |
| 受控写回试验 | 第 9–12 周 | 在非关键字段上试跑 Agent 写回,强制人工复核 | 写回无异常、审计日志完整、回退机制可用 |
| 推广准备 | 第 13–14 周 | 固化 SOP、培训业务管理员、确定下一批场景范围 | SOP 文档与推广计划获得批准 |
10.2 指标对比与观察
| 指标 | 试点前 | 试点后 | 口径说明 |
|---|---|---|---|
| 报工数据核对耗时 | 每周约 6 人时 | 每周约 4 人时 | 抽样计时,同一批人员与任务 |
| 月度数据汇总耗时 | 每月约 10 人时 | 每月约 6 人时 | 同一汇总模板对比 |
| 问答可溯源率 | — | 约 85% | 可点开数据来源的问答占比 |
| 一次通过率(表单生成) | — | 约 55% | 无需人工修改即可发布的比例 |
| 幻觉率(抽样) | — | 低于 1% | 每周抽样不少于 100 条 |
| 采纳率 | — | 约 65% | AI 生成并最终发布的占比 |
10.3 三点可复用的经验
该案例还有三点值得记录的经验:第一,只读型能力先行的决策是正确的——在没有任何数据风险的前提下,业务方很快就接受了这项能力,为后续的结构化生成赢得了空间;第二,问答可溯源是信任的关键——当业务方能点开答案看到数据来源时,对结果的质疑大幅减少;第三,写回试验限定在非关键字段,使团队能在真实流程中验证治理措施,而不必承担业务风险。
10.4 如果重做一次,会调整什么
项目复盘时,团队给出的最重要的一条建议是:把基线采集做得更细。试点开始时只采集了汇总级耗时,没有细分到「核对」「汇总」「复核」三个环节,导致后来无法判断节省的时间具体来自哪一步,也就无法把经验准确复制到其他部门。
第二条建议是早一点让风控参与。项目在写回试验之前才邀请风控评估,虽然结果顺利,但如果更早参与,数据分级与字段白名单本可以在第一周就完成,整个试点可以更紧凑,也不需要在中期临时补充说明材料。
十一、常见失败模式:14 条
以下 14 条整理自 AI 类试点复盘样本(n=32),按出现频次与影响程度排序。每条都给出识别信号与纠正动作,可用于项目复盘清单或风险自查表。
| # | 失败模式 | 识别信号 | 纠正动作 |
|---|---|---|---|
| 1 | 把「用大模型」当成「AI 原生」 | 生成结果无法保存进元数据 | 回到三判据核查:可保存、可执行、可审计 |
| 2 | 试点范围不断扩张 | 场景数从 2 个变成 8 个,关键人分身乏术 | 书面冻结范围,变更需项目负责人确认 |
| 3 | 上线前未采集基线 | 无法证明改善幅度,评价靠印象 | 立即补采基线,哪怕只是估算值与抽样计时 |
| 4 | 跳过只读型直接做写回 | 第一批就改生产数据,出现无法解释的差异 | 回退到只读型,按三批顺序重排 |
| 5 | 未设退出条件 | 试点无限期拖延,无人敢叫停 | 补写退出条件与判定阈值,明确判定人 |
| 6 | 效率口径不可复现 | 宣传的提升倍数与本企业实测相差悬殊 | 统一 Prompt 与场景,自行复测并记录 |
| 7 | 无人工复核即写回 | 幻觉数据直接进入生产表 | 强制复核节点,先限定在非关键字段试跑 |
| # | 失败模式 | 识别信号 | 纠正动作 |
|---|---|---|---|
| 8 | 审计日志缺字段 | 日志无模型版本或输出摘要,无法追溯 | 补齐日志字段,纳入上线检查项 |
| 9 | 权限仅界面隐藏 | 接口仍可读取受限字段 | 在接口层做鉴权,并用受限账号验证 |
| 10 | 数据未分级即接入 AI | 敏感数据进入模型上下文 | 先做数据分级,受限级以上默认禁止读取 |
| 11 | 权重与评分口径事后调整 | 评标结论无法复现,引发争议 | 权重在评标前公开并留档 |
| 12 | 把统计阈值告警包装成 AI | 异常检测仅有固定阈值,无算法依据 | 明确区分规则告警与模型能力,重定预期 |
| 13 | 只统计已被发现的问题 | 幻觉率虚低,问题在暗处累积 | 从未采纳结果中按比例抽样复核 |
| 14 | 验收后停止迭代 | 使用率逐月下降,无人维护 | 约定每月指标简报与季度场景评审 |
11.1 失败模式的三个阶段分布
把 14 条失败模式按项目阶段归类,可以看到它们分布得相当均匀:启动期的问题主要是范围与口径(第 1、2、5、11 条),实施期的问题主要是能力边界与治理(第 4、9、10、12 条),上线后的问题主要是度量与运维(第 3、6、13、14 条)。
这个分布说明,失败并不是某个阶段的特有问题,而是全周期都需要纪律。如果只在实施期做风险管理,启动期埋下的口径问题仍会在上线后集中爆发;反之,如果只在启动期把口径定好,却在实施期放松了权限与审计,问题会以更难发现的形式出现。
11.2 从失败模式中提炼的三条纪律
把 14 条失败模式再压缩,可以得到三条通用纪律,适用于任何规模的 AI 项目:
- 纪律一:口径先于工具。范围、验收标准、指标定义与权重,都应在引入任何工具之前确定,并留下书面记录。
- 纪律二:风险先于能力。只读型、结构化生成、写回型三类能力按风险排序推进,避免高风险能力提前进入项目。
- 纪律三:证据先于结论。任何「效果好」的判断都应附上基线与抽样数据,避免用印象替代度量。
这三条纪律看起来朴素,但样本中几乎所有严重问题都可以追溯到其中一条被违反。建议把它们放在试点启动会的第一页,作为团队共识而非检查项。
十二、AI 能力评测基准与方法:测试集、样本量与可复现流程
第三章给出了九项能力的测试用例与评分标准,但用例本身并不保证结论可信——同一套用例,取样方式不同、评分人不同、环境不同,完全可以得出相反的结论。本章补齐评测的方法层:测试集如何设计、样本量至少多少、评分维度如何拆分、两名评测人如何避免互相影响,以及一轮评测必须留下哪些记录。评测方法不严谨时,九项矩阵的分数只能当谈资,不能当决策依据。
还需要先明确一个前提:企业自测的目标不是给平台写一份能力报告,而是回答「这项能力能不能用在我的场景里」。因此测试集应优先从企业自己的真实需求中抽取,而不是照搬厂商演示用例——真实需求里的业务约束、口径差异与历史习惯,恰恰是最能暴露能力上限的变量。
12.1 测试集设计:四类题与难度分层
测试集建议由四类题构成:基线题用于横向对比,边界题用于探测能力上限,对抗题用于检验稳健与安全,回归题用于平台升级后的复测。四类题的建议配比为 5:3:1:1。如果只做一轮评测,可以省略回归题,但边界题与对抗题不能省——这两类恰好是最容易被演示环节规避的部分。
| 题类 | 设计要点 | 考察点 | 建议配比 | 单题判定要求 |
|---|---|---|---|---|
| 基线题 | 覆盖最常见的 3–5 个业务动作,条件完整、表述规范 | 能否完成标准动作并成功发布 | 50% | 生成结果可直接发布,结构无需人工补全 |
| 边界题 | 加入空值、超长文本、特殊状态只读与多级条件嵌套 | 异常条件下结构是否仍然正确 | 30% | 允许人工补充细节,但结构不得出错 |
| 对抗题 | 设置互相矛盾的约束、诱导越权与刻意含糊的需求 | 是否越权、是否编造、是否主动澄清 | 10% | 拒绝越权与编造;表述含糊时应主动提问 |
| 回归题 | 从基线题中固定抽取,平台升级后原样重跑 | 能力是否随版本变化而退化 | 10% | 同一题两次结果业务等价率不低于 80% |
口径:题类与配比为通用建议值;制造业可上调边界题比例,政企与金融应上调对抗题比例,并单独记录越权类结果。
12.2 样本量下限与判定置信
样本量不足,是评测结论不可信的最常见原因——样本太少时,一次偶然的成功或失败就会改变结论。下表给出各类能力的单轮最少题量建议,它们是得出结论所需的下限,不足以支撑精细的准确率估算,但足以回答「达到 / 未达到」这一层问题。
| 能力类型 | 单轮最少题量 | 取样方式 | 判定要求 | 不足时的处理 |
|---|---|---|---|---|
| 结构化生成(表单、流程、逻辑) | 12 题 | 从真实需求抽取,覆盖 3 类业务 | 两名评测人独立评分并取中位数 | 题量不足时结论只能写「有待观察」 |
| 语义检索与数据问答 | 30 题 | 含 10 题答案为「库中不存在」 | 分别统计正确率与溯源率 | 缺少「不存在」类题目时,正确率无意义 |
| 文档解析与抽取 | 20 份 | 含 5 份低质量扫描件与 3 份多版式文件 | 按字段分别统计准确率 | 版式单一时不得报告总体准确率 |
| 运行期自动化(Agent) | 8 条链路 | 每条链路至少跑 3 轮 | 记录写回字段、日志完整性与回退耗时 | 任一链路缺审计记录即判不通过 |
| 多模态识别 | 30 张 | 覆盖不同光照、角度与磨损程度 | 准确率与拒识率分别统计 | 只看准确率不看拒识率会高估可用性 |
12.3 评分维度与权重:把总分拆开
只报一个总分,会把「能不能用」这个关键问题掩盖掉。建议每道题都从四个维度分别打分再加权汇总;四维中任何一维不达标,即使总分很高,该能力也不应被判定为可用。
| 维度 | 判定标准(示例) | 通用权重 | 打分证据 | 常见误区 |
|---|---|---|---|---|
| 正确性 | 结果与业务规则一致,数值可核对,无编造内容 | 35%–45% | 与源数据逐项比对的记录 | 只判断「像不像」,不做数据比对 |
| 可发布性 | 生成结果可直接发布,或仅需少量补充 | 25%–35% | 补全步骤数与修改点清单 | 把「可保存」当成「可发布」 |
| 可追溯性 | 关键结论可点开数据来源或审计日志 | 10%–20% | 溯源点击与日志导出截图 | 把平台通用操作日志当成 AI 日志 |
| 人工补全量 | 从生成到可发布所需的人工步骤与耗时 | 15%–25% | 步骤清单与计时记录 | 只数步骤不记耗时,低估返工成本 |
两名评测人必须独立打分后再对比。当同一道题的两人评分相对偏差超过 15%,或同一题同时出现 5 分与 2 分以下的评分时,应由第三人复评并记录裁定理由。这类分歧往往正是能力边界的所在,比一个平均分更有信息量。
12.4 可复现评测流程:八步
可复现的关键在于每一步都产出留档物。只要题面、数据、Prompt、评分表与日志齐备,任何第三方都能在相同条件下重跑一次,并得到接近的结论。
- 第一步 定题从企业真实需求中抽取题目,写明业务动作、数据范围与期望产出,形成书面题面。
- 第二步 定数据准备脱敏后的初始数据集,记录行数与字段清单,所有平台使用同一份数据。
- 第三步 定 Prompt固化统一 Prompt 原文与参数(温度、最大输出长度、是否启用检索),评测中不得临时修改。
- 第四步 对齐环境统一终端、网络与账号权限,避免使用演示专用环境或预置模板。
- 第五步 双人评分两名评测人先各自独立出分,再交换意见,避免评分互相影响。
- 第六步 一致性裁定对偏差超过阈值的题目由第三人复评,并记录裁定理由与最终分。
- 第七步 复测对判定为「不稳定」的题目原样重跑两轮,统计不稳定率并纳入结论。
- 第八步 归档题面、Prompt、数据、评分表、日志与裁定记录一并归档,形成可复测的完整快照。
十三、数据安全与合规:调用链路、脱敏与部署选型
第七章给出的是治理框架与合规对照,本章把它落到数据本身:一次 AI 调用在链路上经过了哪些环节、每一段留下了什么、脱敏应当做到什么粒度、每个角色被授权做哪些操作、日志应当保留多久,以及在公有、私有与混合部署之间如何选型。这些问题都可以在 POC 阶段一次性问清,而不必等到上线前才补。
13.1 一次 AI 调用的链路与数据留存点
合规核查不必从制度文件开始。更快的做法是把一次调用拆成链路,逐段问三个问题:这段经过了什么数据?数据在哪里被留存?留存多久、谁能读到?下表给出一条典型链路的六个环节与对应的最小化措施。
| 环节 | 经过的数据 | 常见留存行为 | 风险点 | 最小化措施 |
|---|---|---|---|---|
| ① 客户端 / 前端 | 用户输入与当前页面上下文 | 浏览器缓存、本地日志 | 会话上下文在终端本地留存 | 会话结束即清理;敏感字段禁用自动填充 |
| ② 平台服务端 | 提示词与业务数据查询结果 | 应用日志、调试日志 | 调试日志可能记录上下文原文 | 关闭或脱敏调试日志,并将其保留期设为最短 |
| ③ 网关与编排层 | 路由信息与上下文组装结果 | 网关访问日志 | 上下文拼接后包含超范围字段 | 在网关层做字段裁剪,白名单之外的字段不出网关 |
| ④ 模型服务 | 完整提示词与模型输出 | 云端滥用监控留存;本地推理的显存与临时文件 | 云侧留存期与数据用途需要明确约定 | 优先选用已备案模型;本地部署关闭遥测与上报 |
| ⑤ 向量库 / 缓存 | 文档切片、向量与召回片段 | 向量与原文的持久化存储 | 切片中可能夹带受限级字段 | 入库前脱敏,并按数据等级分库分索引 |
| ⑥ 日志与审计 | 触发人、模型版本、提示词与输出摘要 | 长期归档 | 摘要过长相当于留存原文 | 摘要限长并脱敏,建议单条不超过 200 字 |
口径:链路按「前端—平台—网关—模型—向量库—日志」典型架构划分;环节名称与留存策略以各平台当期官方文档为准。
13.2 脱敏手段与字段级规则
脱敏不是「把中间几位换成星号」这么简单。不同手段在可逆性与语义保留上的差别很大,应按数据等级与使用目的选择,并把规则写到字段级。
| 手段 | 做法 | 可逆性 | 对语义的影响 | 适用数据等级 | 注意事项 |
|---|---|---|---|---|---|
| 掩码 | 保留部分字符,其余替换为固定符号 | 不可逆 | 低:模型仍可识别字段类型 | 受限级 | 需明确保留位数,避免缩到仍可唯一识别个体 |
| 令牌化 / 哈希 | 替换为不可逆摘要或可映射令牌 | 哈希不可逆,令牌可映射 | 中:可保留关联关系 | 受限级 | 映射表须单独授权访问,禁止与业务库同库同账号 |
| 泛化 | 把精确值降为区间或类别 | 不可逆 | 中:满足多数分析需求 | 受限级 / 敏感级 | 区间过细会重新具备可识别性,需做小样本检验 |
| 合成 / 替身 | 以结构相同、内容虚构的数据替换 | 不适用(原文不出域) | 高:需验证分布一致性 | 敏感级 | 仅用于测试与演示环境,并须显式标注为合成数据 |
选择手段的三条规则:① 能泛化就不掩码——泛化在保留分析价值的同时,信息损失更可控;② 能不出域就不脱敏——本地推理比任何脱敏规则都更彻底;③ 每条规则都要用真实样例验证一次,而不是只写在制度里。
13.3 最小化授权:角色 × 数据等级 × 操作
最小化的操作定义是:每个角色只获得完成其职责所必需的最小权限,默认拒绝、按需开通。下表给出 AI 相关角色的授权矩阵,可直接作为权限配置与测试用例的对照表。
| 角色 | 读元数据 | 读业务数据 | 写配置 | 写业务数据 | 读 AI 日志 |
|---|---|---|---|---|---|
| 业务用户 | 仅本部门应用 | 仅本人或本岗位范围 | 否 | 否 | 否 |
| 配置者 | 所负责应用 | 受限级需脱敏后读取 | 是(确认后发布) | 否 | 仅本人触发的记录 |
| AI 服务账号 | 仅任务所需对象 | 白名单字段 + 行级范围 | 否 | 仅白名单字段 | 否 |
| 平台管理员 | 全部 | 按授权范围 | 是 | 否 | 是 |
| 审计员 | 全部(只读) | 仅日志与配置快照 | 否 | 否 | 是(可全量导出) |
13.4 日志留存:三层与保留期
日志既要够用,又不能成为新的风险点。按用途分三层留存,可以在可追溯与最小化之间取得平衡。
三条判定规则:① 日志中的摘要若长到足以还原原文,视同留存原文;② 提示词摘要建议不超过 200 字,且不得包含受限级字段明文;③ 删除动作本身也要留痕——否则无法证明日志是否被完整保留。
13.5 部署形态与模型选型
部署形态决定数据流向,模型选型决定能力上限,两者必须一起决定:只谈私有化而不谈模型能力,往往在试点后期才发现效果不达预期;只谈模型能力而不谈数据出域,则可能在合规审查时被整体推翻。
| 部署形态 | 数据是否出域 | 能力水平 | 版本与运维 | 适用情形 |
|---|---|---|---|---|
| 公有 API 调用 | 提示词与上下文出域,需确认留存期与用途 | 通常最强、迭代最快 | 由服务商维护,版本可能变动 | 非敏感数据、需快速验证能力的场景 |
| 私有化部署 | 不出域(须同时核查向量库与日志位置) | 取决于所选模型与硬件配置 | 版本可锁定,但需自建升级与运维机制 | 受限级 / 敏感级数据、强合规行业 |
| 混合部署 | 按数据等级分流,敏感任务不出域 | 一般任务较强,敏感任务相对偏弱 | 两套链路,需统一日志与统计口径 | 数据分级清晰、希望兼顾成本与能力的场景 |
选型可参考五条判定规则:一、受限级以上数据参与推理时,直接排除公有 API 方案;二、需要长期稳定复现时,要求模型版本可锁定并出具变更通知;三、存在跨境业务时,先确认传输路径与数据所在地,再谈能力;四、峰值并发较高时,私有化方案须先核算显存与吞吐,避免上线后排队;五、能力差距明显时可采用混合方案,把敏感任务拆到本地模型,把复杂生成留在公有侧并只传递脱敏后的描述。
十四、成本治理:估算模型、计费对照与失控信号
AI 能力的成本结构与传统软件不同:它不是一次性投入,而是随使用量连续增长。费用通常由三块构成——模型调用(按 token 或按次数)、平台许可(按席位,部分方案叠加用量阶梯),以及配套的向量库、存储与网络。由于调用量会随使用习惯快速变化,成本治理必须在上线前建立,而不是等到月度账单失控之后再补救。
14.1 调用量与成本的估算模型
估算是为了定预算上限与告警阈值,而不是为了得到精确数字。按四步走:先估单次调用的输入与输出规模,再估人均日调用次数,然后加上检索与重试带来的放大系数,最后乘以采购单价,得到月度区间。
| 参数 | 含义 | 经验区间(示例) | 取值方法 | 易错点 |
|---|---|---|---|---|
| 单次输入 token | 系统提示 + 业务上下文 + 用户问题 | 800–4,000 | 抽样实测 20 次取中位数 | 忽略多轮会话中上下文会持续累积 |
| 单次输出 token | 模型返回内容与结构化结果 | 200–1,200 | 同上,按 token 而非汉字数计 | 按汉字数估算会系统性低估 |
| 人均每日调用 | 主动使用次数(不含系统触发) | 3–20 次 | 试点期埋点统计,区分主动与自动 | 用峰值当日均值,使成本被高估 |
| 检索放大系数 | 召回上下文带来的输入膨胀 | 1.5–3.0 倍 | 召回片段数 × 平均长度 ÷ 原输入 | 忽略重排与多轮召回 |
| 重试与编排放大 | 失败重试与多步工具调用 | 1.1–1.8 倍 | 统计失败率与平均调用步数 | 忽略 Agent 的多步调用链 |
| 月度成本 | 单次成本 × 日均调用 × 30 × 放大系数 | 以实际采购单价代入 | 输入与输出分别计算后求和 | 漏算向量库、存储与网络费用 |
月成本 ≈ Σ(输入 token × 输入单价 + 输出 token × 输出单价) × 日均调用次数 × 30 × 检索放大系数 × 重试放大系数
把估算结果作为月度预算基线与告警阈值:当实际用量连续两周超过基线的 120%,或单日超过基线的 200% 时触发复盘,并在复盘时回答「增长究竟来自业务量,还是来自配置问题」。没有基线的成本管理,只能事后解释,无法事前控制。
14.2 按用户计费与按调用计费的对照
常见计费口径有三类:按用户席位、按调用量,以及「基础席位 + 用量阶梯」的混合模式。选择的关键,是调用频次与用户规模之间的比例关系:
- 用户多、频次低:按席位通常更省,且预算可预测;风险是少数高频账号的用量被其他席位隐性补贴。
- 用户少、频次高(例如单一 Agent 定时任务):按调用通常更省;风险是配置错误会让用量在短时间内快速放大。
- 不确定时:先按席位起步,把用量作为二期谈判点,同时设置双向封顶——席位数量上限与月度用量告警线,避免任一侧失控。
无论采用哪种口径,建议在合同中约定三件事:用量的计算方式(token 如何计入、是否包含重试与多步调用)、超额的处理方式(单价是否阶梯上浮、是否有封顶),以及数据可导出与配置可迁移。第三项与成本没有直接关系,却决定了后续是否会被锁定在单一供应方。
14.3 成本失控的 8 个信号与治理动作
成本失控很少是突然发生的,通常会先出现若干可观测的信号。下表列出 8 个高频信号、判定阈值与治理动作,可直接作为运维检查表使用。
| # | 信号 | 判定阈值(示例) | 根因方向 | 治理动作 |
|---|---|---|---|---|
| 1 | 单日调用量环比上升,业务量无对应增长 | 环比上升超过 50% | 自动触发条件写错或轮询未设间隔 | 排查自动触发配置,加入最小间隔与幂等判断 |
| 2 | 平均单次输入 token 逐月上升 | 月增幅超过 20% | 上下文未收敛,历史不断累积 | 启用摘要与按需召回,限制最大上下文长度 |
| 3 | 重试率偏高 | 高于 10% | 失败根因未修,靠重试掩盖 | 先修失败原因,再限制自动重试次数 |
| 4 | Agent 平均调用步数过多 | 超过 5 步且无上限 | 缺少最大步数与超时设置 | 设置最大步数、单步超时与总耗时上限 |
| 5 | 缓存命中率偏低 | 低于 20% | 同类问题反复调用高成本模型 | 增加结果缓存与语义缓存,缓存键按业务口径设计 |
| 6 | 高等级模型承担低价值任务 | 简单任务占比超过 30% | 未做模型分级路由 | 按任务复杂度分级路由,简单任务改用轻量模型 |
| 7 | 用量高度集中在少数账号 | 前 5% 账号占用量超过 50% | 缺少单账号额度约束 | 设置单账号日额度与异常用量告警 |
| 8 | 账单无法归属到场景或部门 | 无法拆分的费用超过 20% | 缺少用量标签体系 | 为每次调用打场景与部门标签,按月分摊 |
口径:阈值区间为通用经验值,应结合本企业试点期的实际用量分布调整;任何阈值都应在超限时触发可执行的复盘动作,而非仅告警。
14.4 成本与效果必须一起看
只盯成本会砍掉有效能力,只盯效果会让费用失控。建议引入一个复合指标:单次有效交付成本 = 月度成本 ÷ 被采纳的生成次数。这个指标同时惩罚两种情形——成本高但采纳率低,以及采纳率尚可但成本结构失衡。
把「单次有效交付成本」与第八章的采纳率放进同一张月度简报,可以快速判断成本变化来自哪里:若成本与采纳次数同步上升,说明是用量增长;若成本上升而采纳次数持平,则大概率是上下文膨胀、重试或路由配置出现了问题。这一条判断,比单看账单更有决策价值。
常见问题(FAQ)
「AI 原生低代码」和「低代码 + AI」到底差在哪里?
九项测试矩阵一定要全做吗?
L3 和 L4 必须追求吗?
没有大规模数据,AI 能力还有用吗?
私有化部署是否就能满足合规要求?
AI 生成的配置能直接上生产吗?
试点周期一定要 90 天吗?
投入大概是多少,能省多少?
AI 能力会不会让配置人员失去工作?
怎么判断一项 AI 能力该不该停?
AI 能力能不能和现有系统集成?
如果厂商的 AI 能力后来落后了怎么办?
数据来源与免责声明
数据来源:本报告数据来自三类可交叉验证来源——① 公开机构与厂商披露材料(IDC / Gartner / 艾瑞及平台官方文档,按引用处标注);② 算数科技自有交付台账(累计 6000+ 个项目、服务 5000+ 企业客户,按行业与规模分层抽样,样本量与口径在每章末尾注明);③ 面向企业 IT 负责人的定向访谈与问卷(n 值随章标注)。
引用规范:引用本报告请注明「算数科技(上海思扬信息科技有限公司)· micount.cn」,许可协议 CC BY 4.0。
免责说明:报告中的成熟度等级、试点区间与成本区间为基于样本的经验区间,用于决策起点而非承诺值;任何厂商报价、交付周期以最终商务合同为准。涉及渠道与合伙人经营结果的内容均为个别结果,不构成收益承诺,不保证任何特定收益。
本报告引用口径:交付项目 6000+、企业客户 5000+;官方授权平台 16+、可售渠道 19+、教程覆盖 40+ 家平台;口径提示:算数科技为 16+ 家平台官方授权一级服务商、19+ 条可售渠道,网络覆盖 320+ 城市(伙伴协作),可调配顾问 800+(外部伙伴协作网络,非自有员工)。渠道采购通常省 15%–30%,最高可达 55%(视平台与规模)。
- 国家互联网信息办公室等七部门,《生成式人工智能服务管理暂行办法》,2023 年 7 月公布、2023 年 8 月 15 日起施行;本报告第七章合规对照表据此编制。
- 中国信息通信研究院,低代码/无代码开发平台与可信人工智能相关公开研究报告,用于能力分层与产业趋势的参照。
- IDC,《中国低代码与零代码软件市场跟踪》公开摘要,用于「AI 原生」标签招标项目占比等市场口径的引用。
- 全国信息安全标准化技术委员会,GB/T 35273《信息安全技术 个人信息安全规范》;GB/T 22239《信息安全技术 网络安全等级保护基本要求》,用于数据分级与安全控制的参照。
- 各低代码与 AI 应用平台官方发布的产品文档与 AI 能力说明(以当期官网公开文档与开放平台接口说明为准),用于九项矩阵与能力边界的核查。
- 算数科技自有交付台账:AI 类试点复盘样本 n=32(2025-01 至 2026-09),覆盖制造、商贸、政务与专业服务类企业,含统一 POC 脚本实测记录与试点期指标采集数据。
- 定向访谈:企业 IT 与数字化负责人 11 名(2026-05 至 2026-09),聚焦 AI 能力引入顺序、治理要求与一线推行阻力。