企业 AI Agent 进入生产前的安全与评估清单

Agent 能够选择工具并执行多步骤任务，因此它的生产风险不仅来自回答错误，还包括调用了错误工具、使用了过高权限、泄露敏感数据或在异常状态下持续执行。上线前应使用结构化清单验证业务和技术边界。

先定义业务成功，而不是只测试模型效果

明确 Agent 要改善的业务指标，例如处理时间、人工步骤、一次解决率、检索命中或报告完成时间。模型输出“看起来不错”不能作为上线标准。

列出 Agent 可读取、创建、修改和删除的对象。优先使用只读、测试环境和专用账号，并将权限限制到特定客户、项目或数据范围。高风险权限应有独立批准。

对外发送、写入生产系统、删除记录、付款、合同承诺和敏感数据访问应设置确认。确认界面需要展示 Agent 准备执行的动作、对象和依据，而不是只提供“是否继续”。

检查知识库、会话历史、用户上传、系统返回和工具结果是否可能混入不应访问的数据。不同用户、部门、客户和项目之间需要权限隔离。

测试 Prompt 注入、恶意文档、超长输入、缺失字段、冲突指令、工具超时、API 错误和重复请求。系统应能够拒绝、停止、重试或升级给人工，而不是无限继续。

为关键步骤定义超时、最大重试、幂等、防重复写入、撤销和补偿操作。人工接管时应获得完整上下文和已执行动作。

记录用户请求、检索来源、模型决策、工具参数、工具结果、人工确认和最终输出，同时避免在日志中长期保存不必要的敏感信息。

评估集应包含正常、边界、失败和高风险样本，并记录期望结果。每次模型、Prompt、知识或工具变更后重新运行，避免更新后悄悄退化。

上线后跟踪成功率、人工介入、延迟、Token 和工具成本、失败原因及业务反馈。Agent 是持续运营的系统，不是一次性交付脚本。

兰忆网络的企业 Agent 集成、安全与运营服务覆盖系统连接、最小权限、人工审批、日志、监控和回退，也可先通过AI 场景诊断确定试点边界。