结论先放这儿:AI 认知能力的边界,不在它答不上来的时候,而在它答得特别顺、你却看不出错的时候。想判断一个任务能不能交给它,看三组数据就够了——不知道时的编造倾向……
结论先放这儿:AI 认知能力的边界,不在它答不上来的时候,而在它答得特别顺、你却看不出错的时候。想判断一个任务能不能交给它,看三组数据就够了——不知道时的编造倾向、长文档里中间信息的召回率、多步推理的衰减幅度。这三条基本决定了它适合干什么、不适合干什么。
什么是 AI 认知?它真正擅长的到底是什么?
AI 认知说白了就是模型对语言和知识的处理能力,底层是概率预测,不是像人那样先理解再回答。你问它一句话,它算的是下一个词最可能是什么,一个词接一个词往下写。这个机制决定了它在语言组织上很强,在事实判断上很弱。
它擅长的是重组,不是发现
把乱糟糟的会议记录整理成条目、把技术文档翻译成客户看得懂的说法、把十个方案的共同点抽出来,这类活它做得又快又稳。因为这些活儿的答案本来就藏在材料里,它只是换个说法搬出来。我见过用得好的人,几乎都把它当「整理工」,而不是当「顾问」。
它不擅长的是说出「我不知道」
人遇到不会的问题会说不会,模型倾向于给你一个像模像样的答案。原因也简单:训练时它见到的文本绝大多数都带着答案,它没学过怎么体面地认输。这一点后面还会细说。
三组数据,看清 AI 认知的真实边界
下面这三组,一组比一组扎心。它们不是要否定 AI,是让你知道什么时候该信它、什么时候必须自己上手。
第一组:不知道的时候,它照样答
2023 年纽约出过一个挺出名的案子。一位律师用 ChatGPT 查判例,交上去的文书里有一部分判例根本不存在,法官查完直接开了罚单,罚了五千美元。这件事说明的不是律师懒,而是模型的默认行为就是「补全」——你问它要案例,它就给你案例,不管真有没有。
判断一段 AI 输出靠不靠谱,更有帮助的一招是追问一句:这个结论你有把握吗,没把握就直接说不知道。很多时候它会当场改口,把刚才那段话收回去一半。
第二组:长材料里,中间那段最容易被漏掉
斯坦福有研究团队做过一个实验,把关键信息放在长文档的不同位置,让模型去找。结果很一致:放在开头和结尾的,模型找得到;放在中间偏后位置的,召回率明显往下掉。这个现象后来被叫做「Lost in the Middle」。
放到实际工作里就是:你丢给它一份五十页的合同,问一个答案藏在第二十几页的问题,它很可能答得头头是道,却漏掉最关键的条款。不是它不想答,是那个位置它本来就容易忽略。
第三组:步骤一多,准确率就往下掉
单步问题它答得挺好,一旦要连着推五六步,每步就算有九成把握,乘起来也只剩五成多。这种衰减在数学题、多条件筛选、跨文件核对上特别明显。我的经验是,超过三步的逻辑链,让它一步一步写出来,你在中间卡一道,比直接要最终答案靠谱得多。
为什么我们总是高估 AI 的认知能力?
它太会说话了。语法通顺、结构清楚、语气笃定,这三点凑在一起,人脑会自动判定「这人懂」。偏偏这三样正是它最拿手的,跟懂不懂没有关系。
你看到的演示,大多是挑过的
公开案例通常是跑了很多遍、挑出更稳妥的一次给你看。真实使用时,同一个问题问三遍,可能给你三个不一样的答案。这不是它不稳定,是它本来就这样。用之前多问两遍,看它前后说法一致不一致,比什么都管用。
把语言流畅当成了逻辑正确
语言流畅和逻辑正确,在现实里经常是分开的。有人说话磕磕巴巴但结论对,有人口若悬河但全是错的,AI 大多数时候是后者。养成一个习惯:读它的答案时先找具体数字、具体来源、具体条件,这三样都没有,就当草稿看。
那到底该怎么用?三条能落地的做法
不用把 AI 想得太玄,也别一棍子打死。我的建议是按活儿分类,而不是按信不信分类。
- 让它做整理和改写:会议记录、周报、翻译、格式转换、把长文缩成要点。这类活儿对事实准确性要求低,对语言组织要求高,正好是它的强项。
- 关键事实必须回到原始出处:涉及金额、法条、医学建议、合同条款,一律去原文核一遍。核一遍的成本,比出错之后收拾的成本低太多。
- 长文档提问,把问题写在材料后面:别问「这份合同有没有坑」,改成把合同贴上去,最后写「请只根据上面内容,找出关于违约金的条款,找不到就说找不到」。
常见问题
AI 认知能力会不会很快追上人?
在某些窄任务上它已经超过了,比如标准化的阅读理解题。但「知道自己不知道」这件事,目前还没有哪家能稳定做到。这两者之间的差距,就是你现在必须自己兜底的部分。
那我还值得花时间学怎么用吗?
值得,但方向要改。别学怎么把问题问得更花哨,学怎么把任务拆小、怎么给它限定材料范围、怎么验证输出。这三样学会了,出错率能降一大截。
下一步建议很具体:今天挑一件你手头正在做的活儿,按上面三条走一遍。先让它整理,再自己核事实,最后把问题贴到材料末尾重问一次。跑完这一轮,你对它的边界就有手感了,比看十篇分析都管用。



微信扫一扫
还没有评论呢,快来抢沙发~