Skip to content

用模型的稳定能力设计产品

第一部 · 模型能力与边界 · 第1章

撰写日期:2026-08-31(整理自 2026-07-10 的实践)

结论

AI 产品设计的起点不是“模型理论上能做什么”,而是“模型在目标场景中能否稳定做到”。产品核心路径只能依赖稳定能力;边界能力需要被限制、验证或安排在可恢复的支线里。

好的 AI 产品设计,一半是在决定使用模型的哪些能力,另一半是在决定哪些能力不能直接暴露给用户。

1. 先画能力线

对每一项能力,不按演示效果判断,而按真实任务中的稳定性分三档:

能力状态产品处理
稳定做到可以进入核心路径
偶尔做到增加结构约束、确认和回退
当前做不到不承诺,或明确交还给人

这条线会随模型、数据和任务变化,所以必须通过代表性样本持续重画,不能把一次成功当成能力已经成立。

2. 用交互结构吸收不确定性

早期角色类产品用短会话、角色切换和自然重置,避开长期记忆与上下文漂移;今天同样的思想可以用于长任务和工具调用:

  • 用分步确认缩小一次行动的爆炸半径;
  • 用草稿、预览和可撤销状态承接不稳定生成;
  • 用显式重试与恢复点替代“从头再来”;
  • 把不可逆操作放到确定性执行层和人工确认之后;
  • 让系统能说明不确定、缺少什么以及下一步怎么办。

限制没有消失,只是被放进了用户可以理解和控制的结构里。

3. 不要把平台事实写成永恒规律

上下文窗口、工具调用成功率、模型速度和多模态能力都会变化。Playbook 应保留判断方法,而不是把某个版本的参数固化成长期结论:

  1. 用真实任务集测量,而不是引用发布会能力;
  2. 记录失败类型和恢复成本,不只记录平均成功率;
  3. 区分模型限制、平台限制和应用设计缺陷;
  4. 参数变化时重跑验证,结论变化时更新文章。

4. 产品经理真正要决定的事

模型能力表本身不是产品策略。真正需要决定的是:

  • 哪些错误用户可以发现并修正;
  • 哪些错误会产生外部副作用;
  • 哪些步骤必须可验证、可回退;
  • 哪些承诺应该留给未来,而不是现在写进产品。

模型会持续变强,但“把不确定能力包装成可靠体验”会一直是产品工作。

相关

MIT License