系统与流程
架构、流程与风险台账
系统架构、核心时序与分析报告,以及项目全周期的风险问题台账。
系统架构与关键流程
风险问题台账
| 风险 | 概率 | 影响 | 预警信号 | 应对方案 | 状态 |
|---|---|---|---|---|---|
| 生成式回答随机性 | 5 | 4 | 同问题单次结果波动 | 核心问题每引擎重复 3 次;高风险问题 5 次;固定可固定参数 | 已纳入机制 |
| API 采样与消费者端体验不完全一致 | 4 | 4 | 客户将标准化采样误解为所有真实用户结果 | 报告明确「标准化采样结果」口径并展示限制 | 已明确口径 |
| 模型 / 搜索版本变化导致前后不可完全比较 | 4 | 4 | 复检时 model_id 或搜索机制变化 | 记录实际版本;报告标记可比性;基线 / 复检尽量保持参数一致 | 已纳入机制 |
| 第三方 AI 引擎 / API 不稳定 | 4 | 4 | 失败率上升、响应超时 | 重试、补采、partial_success、状态记录;成功样本不覆盖 | 已纳入机制 |
| 大模型计算或结构化输出错误 | 3 | 5 | 比例不一致、字段缺失、格式错误 | 后端 Metric Service / Tool 统一计算;Schema 校验;人工确认点 | 已纳入机制 |
| 引用证据误判 | 3 | 5 | 把主题相关 / 相似页面写成直接引用 | E1–E4 证据分级 + 人工复核;直接引用与语义相关分开 | 已纳入机制 |
| 品牌事实库过期 | 3 | 5 | Creator 生成过期参数 / 价格 / 认证 | 事实有效期、来源、版本、人工确认;缺失事实不编造 | 持续治理 |
| 外部 UGC 数据授权 / 合规风险 | 3 | 5 | 要求抓取未授权平台或绕过限制 | MVP 不依赖全量 UGC;用户上传 / 商业接口优先;逐平台评估 | 已控制 |
| 内容发布后未被收录 / 引用 | 4 | 3 | 14 / 28 天复检无直接引用 | 不承诺固定时间或必然收录;扩大周期 / 渠道并按关联等级解释 | 已明确边界 |
| 策略效果被过度归因 | 4 | 4 | 把指标上涨直接归因于某条内容 | Tracker 输出 A / B / C / D / U 关联等级,不输出未经验证因果 | 已明确边界 |
| Prompt Injection / 越权工具调用 | 2 | 5 | 外部内容诱导模型调用高权限工具 | 外部内容隔离、结构化工具参数、最小权限、敏感操作审核 | 设计约束 |
| 成本与时延超预期 | 3 | 3 | 采样量扩大、P95 上升、单项目成本上升 | 分层模型、缓存、筛选分析、成本看板、并发 / 预算控制 | 持续观察 |
| 提示注入(Prompt Injection) | 3 | 5 | 外部内容出现指令性文本、工具被诱导调用 | 外部内容一律当数据;工具参数结构化;最小权限;敏感操作二次确认 | 已纳入机制 |
| 敏感信息泄露 | 3 | 5 | 输出出现内部配置、客户数据或凭证 | 输出过滤与脱敏;上下文最小化;密钥不进入提示词 | 已纳入机制 |
| 输出未校验直接使用 | 3 | 4 | 生成内容未经审核即入库或发布 | 输出先过 Schema 与事实校验;关键动作人工确认 | 已控制 |
| 智能体权限过大(Excessive Agency) | 3 | 5 | Agent 可直接发布、删除或对外发送 | 以只读为主;写操作需人工批准;工具按最小权限授予 | 已控制 |
| 系统提示词泄露 | 2 | 3 | 通过诱导提问拿到 system prompt | 敏感信息不放进提示词;输出过滤 | 设计约束 |
| 向量与嵌入弱点 | 2 | 4 | 检索命中不相关或越权内容 | 向量库权限隔离;检索结果按权限过滤 | 设计约束 |
| 数据与知识库被污染 | 2 | 5 | 事实库或语料被写入错误信息 | 事实库需来源与版本;写入需审核 | 持续治理 |
| 模型与依赖供应链风险 | 2 | 4 | 第三方模型或依赖版本变更、停服 | 记录版本与来源;准备可替换模型;接口降级 | 持续观察 |