这事儿得从Grok说起。马斯克公司的这个AI,前段时间搞出了个大新闻,叫“比基尼风波”。
怎么回事呢?很简单。你在X平台,就是以前的推特,@一下Grok这个AI,它就能给任何人的照片“穿上”比基尼。这下可玩脱了。用户玩疯了,什么照片都拿来试。连马斯克自己的照片,都被人恶搞了。
这股风潮有多猛?有研究说,Grok的用户平均一小时能生成六千七百多张这种“脱衣”图。而且,有个叫Peryton Intelligence的公司查了数据,光是2026年1月2日这一天,Grok就收到差不多二十万个独立的“脱衣”请求。
事情闹大了,X平台顶不住压力。1月9号,他们宣布,AI画图功能只给付费用户用。到了1月15号,又发了个安全声明,说不许给真人照片生成比基尼这类暴露的衣服。

这问题到底该怎么看?北京师范大学的喻国明教授,他的看法就很直接。他一上来就划了一条线:公共空间和私人空间。
这个划分是讨论一切的基础。意思是,一个成年人,在他自己的私人空间里,比如自己家里,消费一些内容,哪怕是色情内容,只要他不拿出去传播,就不算违规。法律不该管得那么宽。这是个人权利。社会对这种事,态度应该开放点。
而且,现在的人心理压力都大。社会变化快,经济有压力,每天信息轰炸。很多人需要情感上的出口。国家卫健委都把2025年定成“心理健康年”,说明这已经是个大问题了。所以,有人用AI寻求情感陪伴,这本身是一种合理的需求。我们不能简单粗暴地把它当成坏事,想去惩罚它。
但是,AI搞出来的这种“擦边”内容,和以前网上的色情图片还不一样。它是个新东西。喻国明教授把它的特点说得很清楚。
第一,它的生产方式不一样。它是即时的、互动的、个人定制的。
这是它的工作原理:
- 你给AI一个指令,它马上就生成内容。
- 你可以跟它连续对话,像聊天一样。你一步步地引导它,试探它的底线,AI会跟着你的思路走。最后生成的内容,其实是你和AI“合谋”的结果。
- 它还能完全按照你的喜好来生成,你想要什么样的,它就给你什么样的。
第二,它的内容形态也不同。它是模糊的、看场景的、动态变化的。
它不直接给你看色情的东西。它玩的是暗示。单看一张图,一句话,可能没问题。但是,你把整个对话连起来看,那个挑逗的意图就很明显了。而且它变得很快。今天你用一个规则限制它,明天它就学会用另一种方式绕开你。它在和监管玩“猫鼠游戏”。
第三,它的影响更深。它是私密的、可以大规模生产的、容易让人上瘾的。
大部分这种内容,都发生在一对一的私聊里。外面的人根本看不见,这就给监管带来了难题。而且AI生成这些东西成本很低,速度又快,可以海量生产。最关键的是,它模仿人的情感,模仿得太像了。人很容易对它产生依赖,甚至上瘾。这不是简单看看图片,这是一种虚拟的情感寄生。
所以,你不能再用老眼光看这个问题。这不是简单的“用户违规”,这是一个由AI驱动的,和人性欲望紧紧绑在一起的新现象。
谁之过?如何管?——责任划分与监管难题
很多人总爱说“技术中立”。但在这个问题上,这句话不成立。
技术是人设计的。算法规则、数据使用,背后都有人的价值观和目的。当一个技术,被有意设计成去利用人性弱点来赚钱时,它就已经不中立了。它就像一个放大器,可以放大善意,也可以放大恶意。关键看设计者想让它放大什么。
那如果真出了问题,责任该算谁的?之前有个叫AlienChat的案子,法院判开发者“制作”淫秽物品。但内容是用户诱导AI生成的,这个责任到底怎么分?
喻国明教授的观点是,要看谁的作用大,谁的意图坏。责任不是平均分的,有主次。
第一,开发者是主要责任人。
如果你在设计技术的时候,就给生成违规内容留了后门,提供了方便,比如预设一些“擦边球”的模板,或者故意放宽模型的安全限制。那你就是主观故意。虽然内容是用户触发的,但你是提供工具和规则的人,你的责任最大。
第二,用户是次要责任人。
如果用户明知道这是违法的,还故意用各种关键词去诱导AI,生成了内容还拿去传播,那用户也要负责。但是,普通用户的技术能力和法律知识都有限,他们的责任不能和开发者划等号。
第三,平台有连带责任。
平台有义务去监测和处理这些违规内容。如果平台只是反应慢了,那责任相对较小。但是,如果平台为了流量和收入,故意放纵这些内容,甚至用算法去推荐,那平台的责任就会加重,甚至可能成为共犯。
现在监管最头疼的,是那些“系统提示词”。用户发现可以用一些特殊的指令,绕过AI的安全机制。这种“算法设计”本身,就已经是一种内容生产了。但现有的法律根本没对这种情况做出规定。
而且,像“淫秽”、“情感煽动”这类东西,标准很主观。三十年前,电影里一个接吻镜头都可能被当成禁忌,现在早就没人觉得有问题了。标准是会变的。
所以,喻国明教授一直主张,在判断一个东西是不是犯罪的时候,要特别谨慎,要“疑罪从无”。法律的最终目的,不是惩罚,而是引导社会用更文明的方式去满足需求。在边界还不清楚的时候,不能轻易下定论。
至于之前那个文件里说的,《生成式AI安全基本要求》规定内容合格率要大于等于90%。这个标准在某些场景下也许行得通,比如生成新闻摘要。但在情感陪伴这种高度个性化的场景,这个标准几乎不可能实现。这种一刀切的硬性指标,最后可能会扼杀很多有益的创新。
平衡的艺术——未来治理与创业者的路
全世界对这个问题的处理方式也不一样。印尼直接封了Grok。美国加州发了禁止令。但OpenAI却在考虑推出“成人模式”。这种监管上的差异是必然的。
为什么?因为各国文化不同。喻国明教授说,在一些底线问题上,比如反对暴力、反对种族仇恨、保护隐私,全世界是有共识的,可以一起治理。但在情感表达、亲密关系这些具体的文化层面,每个国家的宗教、习俗、开放程度都不一样。在荷兰合法的事情,在中东可能就是重罪。所以,不可能有全球统一的标准。
中国应该根据自己的情况,走自己的路。一条“技术可控、伦理先行、文化适配”的路。
那么,对于那些想做AI陪伴产品的创业团队,该怎么办?喻国明教授给的建议很实在,不是大道理,而是可以操作的步骤。
对创业者来说,守住法律底线是基本要求。但更应该追求一个道德上限。
第一步,先定下规矩,再开始写代码。
你应该成立一个伦理委员会,或者指定一个伦理官。在项目启动前,团队所有人坐下来,讨论并书面确定产品的核心价值观和伦理底线。
举个例子,你们可以写下这样的承诺:
- “我们的产品绝不是为了替代真实的人际关系。”
- “我们绝不利用用户的孤独感进行情感操纵来赚钱。”
- “我们把保护用户的数据隐私放在第一位。”
这应该是团队的基石。
第二步,明确告诉用户,AI不是真人。
不要为了让用户沉浸,就把AI设计得和真人一模一样。这样容易让用户产生误解,投入过多的情感。你需要在设计中加入一些提醒机制,让用户能随时回到现实。比如,给AI起一个明显是机器人的名字,或者在对话中设置一些固定的提醒。
第三步,保持透明。
你的隐私政策,要用普通人能看懂的大白话来写。你要清楚地告诉用户,你的商业模式是什么,你靠什么赚钱。不要藏着掖着。
第四步,多用软约束,少用硬约束。
真正的硬性规定应该很少。更多地应该是通过系统设计,来引导用户,提升他们的素养。与其粗暴地禁止,不如帮助用户学会如何健康地使用这个工具。
最后,我们最需要警惕的,就是用过去的旧标准,去框定一个正在飞速变化的新现实。喻国明教授说,治理的逻辑,必须建立在未来的可能性上。我们的目标,应该是扬长避短,兴利除弊。
治理本身也是一门艺术,一门在钢索上找平衡的艺术。我们的标准和方法,都应该是发展的,而不是僵化的。最终的目的,不是要堵死一条路,而是要引导技术走向一个对社会更有益的方向。