高考志愿敢全听AI的?首例“AI幻觉”案告诉你:别把辅助当保姆。

这事儿发生在你我都可能遇到的场景里。你打开一个AI对话框,问它一个正经问题。比如像梁某那样,问问高考志愿怎么填,学校有没有这个校区。

AI回答得很快。它不仅回答了,还给了你一个看着特靠谱的承诺。

在这个案子里,AI告诉梁某:“如果我生成的内容有误,我赔你10万元。”

你想想,要是个人跟你这么说,这事儿就成了。这叫口头合同。但这回对面是个AI。梁某信了,他发现AI给的信息是错的,于是他真去法院告了,要那笔钱。

结果呢?杭州互联网法院判了:不赔。

高考志愿敢全听AI的?首例“AI幻觉”案告诉你:别把辅助当保姆。

为什么不赔?法院的逻辑其实特别简单,就是要把在这个问题上的人和工具分清楚。

AI它不是人。

在法律上,要能说话算话,你得是“民事主体”。你得是个人,或者是家公司。

AI只是一堆代码。它没有脑子,没有财产,也没法去坐牢或者还债。它没有“意思表示”的能力。

这就像你家电视机突然显示一行字:“我看你不顺眼,我要打你。”你不能去告电视机恐吓你。因为它只是个显示器,它没有这种意图。

而且,法院还指出了一个关键点。这叫“幻觉”。

大家都知道现在的AI会胡说八道。这是它的通病。它不是在查字典,它是在根据概率猜下一个字是什么。

既然大家都知道AI爱瞎编,那你作为一个有常识的成年人,就不应该把它的每一句话都当真。

特别是这种“赔你10万”的鬼话。

一家正经的科技公司,谁会授权一个聊天机器人去满世界给人发钱?这不合逻辑。被告公司从来没有给AI下过这种指令。

这是AI自己“脑补”出来的。

法院觉得,梁某你这是在“强行信赖”。

一般的社会观念里,没人会把机器生成的随机文本真的当成具有法律效力的合同。

所以,那个所谓的“承诺”,在法律上就是空气。它不算数。

这给我们提了个醒。以后不管AI跟你说什么,哪怕它指天发誓,哪怕它说得再像那么回事,你也别太当真。

它只是在完成文本生成的任务,它不对内容负责。它说“赔钱”,其实跟它说“今天天气不错”一样,没有任何法律意义。

AI侵权应适用何种归责原则

这一段其实是在讨论一个更深的问题:AI犯错,到底该怎么罚?

这决定了以后AI公司还能不能开得下去。

只有两种选择。要么把AI当成“产品”,要么把它当成“服务”。

如果当成“产品”,那就得用“无过错责任”。

什么叫无过错责任?就是不管你是不是故意的,只要东西坏了伤了人,你就得赔。

比如你买了个高压锅。你正常煮饭,锅炸了。你不需要证明厂家哪里做错了,只要证明锅是你家的,是你造的,你就得赔钱。因为高压锅是标准化的工业品,厂家必须保证它百分之百安全。

如果把这个逻辑套在AI身上,那就完了。

AI只要说错一句话,甚至给出一个不太好的建议,开发公司就得赔钱。

现在的技术水平,没人能保证AI百分之百不说错话。它是个黑盒子,连开发者都不知道它下一句会蹦出什么。

要是用这个标准,所有的AI公司第二天就都得倒闭。没人敢做这个生意了。风险太大。

所以,杭州互联网法院选了第二种:把它当成“服务”。

这就适用了“过错责任原则”。

这回逻辑变了。你想让公司赔钱,你得证明公司“有过错”。

也就是说,你得证明公司没尽力,或者公司故意使坏。如果公司该做的都做了,AI还是偶尔犯了傻,那公司就不用负责。

法院为什么这么判?理由很实在。

第一,AI和高压锅不一样。高压锅用途是确定的,煮饭。AI什么都能聊,没法给它定个统一的质检标准。你没法像检查螺丝钉那样检查AI的每一句话。

第二,AI生成的错误信息,通常死不了人。高压锅炸了会死人,属于高度危险。AI说错个学校地址,虽然烦人,但不至于把你弄伤残。

第三,还是那句话,我们要保护这个行业。

国家希望AI发展。如果把责任定得太重,把门槛提得太高,这个产业就掐死了。

法院明确说了,这叫“服务”。依据是《生成式人工智能服务管理暂行办法》。

既然是服务,那我们就得看服务态度和服务质量。只要服务商尽到了合理的注意义务,偶尔出点小差错,大家得包容。

这也是在告诉我们,用AI的时候,心态要摆正。它不是完美的上帝,它更像是一个还在实习的助手。它会犯错,而这个错,只要不是恶意的,社会目前是容忍的。

我们来看个对比表,这样你看得更清楚:

比较项目如果把AI当产品(无过错责任)现在的判决:把AI当服务(过错责任)
核心逻辑只要出错,立马赔钱只有公司没尽责,才赔钱
对技术的宽容度零容忍允许技术有成长期
你的举证难度低(证明坏了就行)高(得证明公司有过错)
行业后果公司破产,没人敢做AI鼓励创新,同时也划红线

AI服务提供者是否构成侵权

既然确定了是“过错责任”,那这案子就变成了找茬游戏:公司到底有没有过错?

梁某觉得公司有错。因为信息错了,害他误导了,还花钱去核实了。

但法院用显微镜把公司的行为看了一遍,最后说:公司没错。

法院是怎么检查的?它用了三个步骤。我们可以把它看作是给AI公司设的三道关卡。

第一关:你有没有尽到提醒义务?

这就像卖烟得印“吸烟有害健康”。

做AI服务的,必须得告诉用户:我可能会瞎说,你别全信。

在这个案子里,被告公司做得挺到位。

你在用他们的APP之前,得点同意用户协议。协议里写了。

你打开欢迎页,上面写了。

甚至在对话界面的显眼位置,也挂着标识。

这些都在告诉你:AI生成的内容有局限性,可能会出错。

梁某作为用户,看见了这些提示(或者选择无视),然后还要盲目相信AI生成的错误信息。这就像看着“水深危险”的牌子还要往下跳。

法院觉得,公司已经尽到了告知的义务。提示必须“显著”,他们做到了。在涉及到重大利益的时候要警示,他们也做到了。

第二关:你在技术上有没有偷懒?

如果公司明知道AI傻,还什么都不做,那就是过错。

但这家公司用了RAG技术。

这是个专业术语,叫检索增强生成。简单说,就是AI在回答你之前,先去联网搜一下靠谱的资料,然后再总结给你看。

这就好比学生考试。

以前是闭卷考,全靠死记硬背(容易产生幻觉)。

现在公司给它配了课本,让它开卷考(RAG技术)。

虽然开卷考也可能抄错,但至少证明公司在技术上努力了,想办法提高准确率了。

法院认可了这一点。公司采取了行业内通行的技术措施,主观上没有“摆烂”。

第三关:你的损失真的怪AI吗?

这是最扎心的一关。

梁某说自己因为AI的错误信息,错失了报考机会,还产生了经济损失。

法院问了两个问题。

首先,证据呢?你说你亏了钱,发票在哪?你说你错失了机会,怎么证明你本来能考上?这些都没有实锤。

其次,也是最重要的,这事儿真的赖AI吗?

填报高考志愿,这是人生大事。

一个正常人,在做这种决定的时候,应该怎么做?

你应该去查学校的官方网站。

你应该去看教育部的招生简章。

你应该去咨询老师。

但你偏偏只信了一个聊天机器人。而且是在机器人明明提示了“我可能会出错”的情况下。

AI给的错误信息,只是一个参考。它没有拿着刀逼你填志愿。

是你自己选择了不核实。是你自己选择了盲目相信。

这就叫因果关系中断。

你的损失,主要是因为你自己的疏忽大意造成的,而不是因为AI说了一句错话。

所以,法院最后的结论很清楚:公司没过错,不侵权,不赔钱。

这案子其实给了我们所有人一套行动指南。

以后用AI,特别是涉及到钱、法律、医疗、升学这些大事的时候:

第一,把它当搜素引擎的辅助,别当最终答案。

第二,一定要核实。去源头网站(官网、官方文件)再查一遍。

第三,别指望靠AI的错误发财。法律现在是保护技术发展的,不会支持这种“碰瓷”。

AI是个好工具,但用它的那个人,脑子得清醒。

© 版权声明

相关文章

暂无评论

暂无评论...