Appearance
用模型的稳定能力设计产品
第一部 · 模型能力与边界 · 第1章
撰写日期:2026-08-31(整理自 2026-07-10 的实践)
结论
AI 产品设计的起点不是“模型理论上能做什么”,而是“模型在目标场景中能否稳定做到”。产品核心路径只能依赖稳定能力;边界能力需要被限制、验证或安排在可恢复的支线里。
好的 AI 产品设计,一半是在决定使用模型的哪些能力,另一半是在决定哪些能力不能直接暴露给用户。
1. 先画能力线
对每一项能力,不按演示效果判断,而按真实任务中的稳定性分三档:
| 能力状态 | 产品处理 |
|---|---|
| 稳定做到 | 可以进入核心路径 |
| 偶尔做到 | 增加结构约束、确认和回退 |
| 当前做不到 | 不承诺,或明确交还给人 |
这条线会随模型、数据和任务变化,所以必须通过代表性样本持续重画,不能把一次成功当成能力已经成立。
2. 用交互结构吸收不确定性
早期角色类产品用短会话、角色切换和自然重置,避开长期记忆与上下文漂移;今天同样的思想可以用于长任务和工具调用:
- 用分步确认缩小一次行动的爆炸半径;
- 用草稿、预览和可撤销状态承接不稳定生成;
- 用显式重试与恢复点替代“从头再来”;
- 把不可逆操作放到确定性执行层和人工确认之后;
- 让系统能说明不确定、缺少什么以及下一步怎么办。
限制没有消失,只是被放进了用户可以理解和控制的结构里。
3. 不要把平台事实写成永恒规律
上下文窗口、工具调用成功率、模型速度和多模态能力都会变化。Playbook 应保留判断方法,而不是把某个版本的参数固化成长期结论:
- 用真实任务集测量,而不是引用发布会能力;
- 记录失败类型和恢复成本,不只记录平均成功率;
- 区分模型限制、平台限制和应用设计缺陷;
- 参数变化时重跑验证,结论变化时更新文章。
4. 产品经理真正要决定的事
模型能力表本身不是产品策略。真正需要决定的是:
- 哪些错误用户可以发现并修正;
- 哪些错误会产生外部副作用;
- 哪些步骤必须可验证、可回退;
- 哪些承诺应该留给未来,而不是现在写进产品。
模型会持续变强,但“把不确定能力包装成可靠体验”会一直是产品工作。