Thoughts on AI

Product Notes / 2026年9月28日

为什么我越来越在意 AI 产品的可控性?

能力越强,产品越需要让人知道它正在做什么、为什么这样做,以及如何停下来。

5 min readYibo

刚开始使用生成式 AI 时,最令人兴奋的是「它居然能做」。

但当能力进入真实工作,兴奋会迅速让位给另一个问题:我能不能控制它?

控制不是把每一步都交回给人。真正有用的控制包括:

  • 在开始前知道它会做什么;
  • 在过程中知道它正在做什么;
  • 在结束时知道它做了什么;
  • 在出错时知道如何停止和恢复。

可解释不等于可控制

一段事后解释可以帮助理解,但不能替代权限、状态和操作边界。

比如,模型可以解释为什么修改了某个文件,但如果修改前没有确认、修改后没有 diff,解释本身并不能降低风险。

产品应该把控制设计进默认路径

可回退、可预览、可暂停、可审计,这些能力不应该藏在高级设置里。

如果一个 AI 产品需要用户先成为专家,才能安全地使用它,那么它仍然停留在工具演示阶段。

好的可控性不会让产品显得笨重。它只是让强大能力有了可以被信任的外壳。