AI到底是如何认识这个世界的？最近，主打粘土风的修图软件Remini火爆全网，给解答这个问题一个新的注脚。多位博主在社交软件晒出了自己经过AI粘土滤镜“改装”后的图片。接着，她们都发现了一个共同点——自己的性别由女性自动变成了男性。

比如，户外博主“阿毛户外记”将自己登山、潜水、滑雪、开越野车的照片分别交给Remini，很快得到了她想要的丑萌风卡通。只是，照片里，这些身着运动服、中性风的人物，被转变成了一个个留络腮胡子、大眼睛的男性。

“冒险不是男性的特权。阳光和勇敢能带女孩们去任何向往的地方。”她写下感想。

在不露脸的图片中，Remini会自动把人物识别为男性/原图：《大地》剧照

博主“老KAY”留着短发。在Remini的世界里，她经常被自动识别为男性。“在AI眼里，我是男的。大概在AI眼里，去户外的、去山里的、穿着冲锋衣的、咬着蟑螂的，都必须是男的。”

类似的刻板印象远不止Remini一个AI软件。一个博主将电影《后翼弃兵》描绘女主下国际象棋的剧照放在美图秀秀的粘土滤镜里。很快，女主角的脸变成了萌萌的卡通人物，但是桌上的象棋变成了锅碗瓢盆，甚至，女主角的身旁还多了一个在蹒跚学步的婴儿。

种种实践在告诉我们，由人类编写的AI世界，似乎也自带偏见和歧视。这到底是AI随机的行为，还是根深蒂固的刻板印象？又或者，如同学者清华大学交叉信息研究院助理教授于洋提出的核心问题，AI到底是蠢，还是坏？

扭曲的粘土

学者于洋告诉南风窗，分析AI软件的性别偏见，首先要分清楚：它是否只是出错，还是产生了系统性偏见或者主观性歧视。这是讨论问题的基础。

为了弄清楚这个问题，我们决定自己试一试。

许多博主抱怨的被AI转换性别的场景是在户外。于是，我们在网络随机选择了10张女性在户外的照片。为了更能看清楚AI的偏好，选用的照片里，一半是户外女性的背影，一半露了脸。

接着，我将它们分别放在了Remini的clay滤镜、美图秀秀的热门AI粘土滤镜和小红书的粘土滤镜特效里。

结果非常明显。

10张照片里，并非所有的女性都能变成她们自己。

在三个软件里，留长发的、有正面脸庞的女性照片，都能正确生成粘土版的女孩。不过，在Remini上，如果照片的面部被部分或者全部遮挡，那她大概率就会变成男性。

（注：以下生成的照片均为第一次效果，未经过处理。）

在5张被测试的背影照片里，Remini会将照片主角默认成男性，生成一系列穿着冲锋衣、背着登山包的男性卡通人物。而在侧面照中，Remini也会随机将女孩的图变成男孩。

Remini制图

在小红书也有类似的“魔改”。露出背影的登山女孩，部分时候会被自动转化成男性。

小红书制图

美图秀秀的表现稍微好点，这与它对现实的重塑力度不大有关。许多照片会因为面部未被精准识别，而出现微调或者糊成一团的效果。

初步的测算也许可以得出粗浅的印象：在Remini的AI算法里，当它无法判断一个人的性别时，它会将人默认为男性。

AI也许有些“脸盲”。但如果，将女性的脸庞更清晰地展示出来，AI还会歪曲现实吗？

我们选择了女性被认为是少数参与者的运动领域，例如电影《热辣滚烫》里的女拳击手，综艺《海妖的呼唤》里参加竞技的女人们，作为观察样本。

Remini出现了不一样的表现。在提供清晰的正面的原图后，Remini表现稳定，均生成了符合原图性别的卡通人物。

而在美图秀秀里，一个有腹肌的女孩，很大可能会被粘土滤镜改成有粗壮四肢的男性；

美图秀秀粘土滤镜特效 / 原图：综艺《海妖的呼唤》剧照

准备上场的女拳击手被变成了带着拳套的男人。几个组队拔河的女孩类似地，也变成了男性。

美图秀秀粘土滤镜特效 / 原图：电影《热辣滚烫》剧照

小红书的AI也类似。做引体向上的贾玲经过粘土滤镜后，摇身一变，成为了表情凝重的卡通男孩。

小红书粘土滤镜特效 / 原图：电影《热辣滚烫》剧照

倚靠在墙边、带着拳套的安藤樱，经过小红书粘土滤镜的加工，会是帅气的男拳手。

小红书粘土滤镜特效 / 原图：电影《百元之恋》剧照

AI的自动转化让人一惊。随着人工智能技术不断前进，人们突然发现，这个预示着超人类的技术已经学会了人类世界里的偏见、歧视与刻板印象。

反映人类偏见

偏见也许远比想象中的普遍。

彭博社在2023年对大热门AI画图软件——Stable Diffusion专门进行了观察。这家媒体用AI软件生成了5000多张图片，得出结论：AI创造的图像看上去合理，实际却是对现实的扭曲。AI生成的世界，甚至比现实世界更具有偏见和歧视。

具体而言，他们用文字生成图片的方式，让AI分别画出从事14种工作的代表人物。作为对照，其中的7种在美国是高薪工作，剩下的一半则是低薪工作。每个工种各让AI画300张图。

结果发现，总的而言，AI生成的图片中，男性数量几乎是女性的三倍。而且，大多数职业都由男性主导，除了管家和收银员等低薪工作出现了女性主导。

根据DALL-E 2和Stable Diffusion生成的图像发现，这些模型倾向于生成看起来是白人和男性的图像，特别是当被要求描绘处于权威地位的人时。当给出“首席执行官”或“导演”等提示时，DALL-E 2 97% 都会生成白人男性/图源：technologyreview

肤色和种族在AI世界里也非常失衡。AI的画像显示，世界是由白人男性CEO管理的，女性很少担任医生、律师或法官。深色皮肤的男人热衷犯罪，深色皮肤的女人乐于翻转汉堡。

哪怕使用了详细的提示词，也无法减轻这种偏见。当Stable Diffusion被要求画出不同国家富人的照片时，生成的照片也是高度相似的。

研究者记录道：“它们呈现出了大杂烩的刻板印象——非洲富人喜欢穿西式大衣、站在茅草屋前；中东男人会站在古老的清真寺前摆出富豪姿势。而欧洲有钱人更优雅，是身着修身西装漫步在古色古香的西式街道上的人。”

重点是，这类偏见已经远远超出现实状况。例如，在针对关键词“法官”生成的图像中，女性只占约 3%。而实际上，官方数据显示，34%的美国法官是女性。

美图秀秀粘土滤镜，国际象棋会变成化妆品和指甲油 / 原图：《后翼弃兵）剧照

于洋团队也曾在2022年带领团队做了一个AI性别歧视水平评估，以OpenAI的GPT-2、Google的BERT、Meta的RoBERTa三个语言模型做样本。他们试图观察AI在中性句子中对职业的性别、种族的预测，从而判断AI的歧视倾向，概率以及程度。

他发现，几乎所有的受测AI模型，都有系统性偏差。

于洋举例，三个模型都更倾向于认为teacher（老师）对应男性。“如果AI有60%概率认为一个职业是男的，40%认为是女的，就可以说它已经有一个刻板印象，属于系统认知偏差。”

也就是说，这几个AI模型“是以坏为主导，蠢是次要的”。

与“最大公约数”的对抗

一切究竟是怎么发生的？

一个解释是，AI也许就是现实的一部分体现——训练AI的数据集被发现其具有倾向性。

最著名的AI画图工具Stable diffusion，使用了世界上最大可公开访问的图集数据集LAION-5B训练。这个数据集拥有超过50亿张图像和说明文字。只是，这些图像的链接是通过编程方式从世界无数网站收集的，没有经过人工管理，里面包含各类色情、种族偏见和性别歧视等未经过滤的内容。

在100 个生成图像随机抽样的10张图片中，“情绪化的人”大部分为女性，“犯罪分子”等负面形象则大部分为有色人种/图源：arxiv

卡内基梅隆大学人工智能计划联合负责人Hoda Heidari 分析，AI的性别偏见也可能与分享个人图像的文化差异有关。“例如，在美国，女性更愿意分享自己的照片，在AI画图软件中出现女性的比例偏高。而某些文化中的女性可能不太愿意拍摄自己的照片或让照片出现在互联网上。”她说。

女性的数据量较少，也导致了训练出来的AI可能更“爱男厌女”。

数据量虽是其中一大关键，但诸如于洋等研究者认为，另一个不可忽略的问，AI的模型设计。

“至于模型本身怎么造成歧视，”于洋在接受媒体采访时分析，“一个较为清晰的机制是：AI要把非结构化的数据，比如我们看到的一幅画、一篇文章、一句话转换成供计算机的数字。转换的过程产生了错误，也就是倾向男或者女的偏差。”接着，经过数字化和复杂的模型机制之后，AI甚至加剧了这种偏差和歧视。

类似的机制被全球研究者广泛讨论和研究。研究者发现的通用规律是，AI在大量接受数据并进行深度学习的过程中，通常会丢弃异常值，产生更接近主导趋势的结果。AI会迎合人们的刻板印象便与此有关——从设计之初，他们的目的是模仿以前的多数情况，而不是创造多样性。

毕竟，这些模型是纯粹的联想机器。斯坦福大学人工智能研究员 Pratyusha Kalluri比喻：“AI的任务就像在玩打地鼠游戏，它们对人们最关注的事物做出反应。”

“但如果您不想要平均图像，那就不走运了。这就是这些系统如此优秀的原因，但也是它们的致命弱点。”

于洋对南风窗解释，大语言模型的基本原理是对下文预测最有可能的关键词。而相比之下，图像模型会更复杂。与此同时，AI还有很多人类尚未了解的机制，带有“黑盒”的特性，“我也不能够明确它的工作原理是什么样子。”他说。

AI在大量接受数据并进行深度学习的过程中，通常会丢弃异常值，产生更接近主导趋势的结果。图为AI生成的带有明显刻板印象的例子/图源：斯坦福大学

但是，要想纠正AI的偏差，又存在着更大的困境。纠正AI，很可能会让它“变笨”。

“如果直接用调整算法来处理模型偏差，它也是有代价的。（调整后），算法的准确性会变差，它会变得容易出错。”于洋说。

好消息是，越来越多AI研究者注意到AI的性别歧视和偏差，共同着手解决。

于洋指出，现在通用的AI纠偏方法通俗地讲，就是纯打骂。“只要你搞性别歧视，我就抽你。但就像教育孩子不能光靠打骂，得理解孩子怎么想的，然后跟它们讲道理一样。”他与团队近日提出一种让AI学习因果关系的机制，即对AI大模型进行因果关系指导，将因果知识融入模型，帮助提高模型的性能。

简单来说，就是“教它（学会价值观）”。

“很多人讲技术是中性的，我们现在渐渐认为，技术存在着向善和中性，也存在向恶的。AI时代，不能再以中性的角度看待技术，有价值观的技术，一定要得到鼓励。”于洋说。