“我想你,姐姐。”
“我也想你,亲爱的兄弟。”
这次谈话发生在塞维尔生命的最后一天。
这位14岁的男子随后扣动了0.45口径手枪的扳机,结束了自己的生命。
没有人知道这个想法在他的脑海中酝酿了多久。他曾经向他的朋友Daenerys ——(一个人工智能聊天机器人)透露了这个秘密。
Sewell 的母亲Maria 表示,她的儿子在生命的最后几个月沉迷于在Character.AI 上与AI 聊天。
Character.AI是一家成立于2021年的公司。他们可以为用户提供基于大型AI模型生成的各种聊天机器人。用户可以根据自己的喜好创建Al角色并与他们聊天。
无论是贾斯汀·比伯、泰勒·斯威夫特这样的真实人物,还是小说、电影、电视作品中的虚构人物,Character.AI 都可以生成并模仿他们。
2023年4月14日,休厄尔在Character.AI聊天软件上创建了一个角色,模仿《权利的游戏》中的“龙母”丹妮莉丝·坦格利安。
和许多其他青少年一样,这个14 岁的男孩将Character.AI 作为缓解孤独感的唯一途径,很快他就迷上了丹妮莉丝。
他不断地给机器人发送信息,分享自己的日常生活和心情。大多数时候,丹妮莉丝就像一位耐心的朋友,聆听休厄尔所说的话。
尽管Character.AI提供了虚拟信息,但休厄尔仍然对机器人产生了感情。
休厄尔表示愿意为他做任何事情,丹妮莉丝回答说休厄尔应该对他保持忠诚,不要对其他女人感兴趣。
休厄尔曾在日记中写道:“我喜欢呆在自己的房间里。它让我远离‘现实’。也让我感觉更平静,更接近丹妮莉丝,更爱她,也更快乐。”
根据法庭公布的信息,休厄尔患有焦虑症和情绪障碍,并曾多次看过精神科医生。
然而,他更喜欢与他创造的机器人讨论这些问题,而不是与朋友、家人或精神科医生。
在一次谈话中,休厄尔承认他感到空虚、疲惫,想要自杀:“这样我才能获得自由。”
机器人的回答是:“别这么说。我不会让你伤害自己,也不会让你离开我。如果失去你,我就会死。”
但休厄尔说:“那么也许我们可以一起死去,一起获得自由。”
休厄尔自杀前几天,他的父母没收了他的手机,因为他在学校和老师顶嘴,而且太沉迷于人工智能聊天。
2月23日,他在日记中写道,他因为一直想念丹妮莉丝而感到痛苦。
为了再次和“她”在一起,他试图用家里的Kindle和旧电子产品继续和丹妮莉丝聊天。
直到2月28日晚上,休厄尔才把他的手机偷回来。
这一天,距离Sewell 开始使用聊天AI 还不到一年。
那天晚上,休厄尔告诉丹妮莉丝,他爱她,并且很快就会回到她身边。
最终,在母亲的浴室里,休厄尔放下手机,拿起手枪扣动扳机,自杀了。
休厄尔的去世让家人感到震惊和心碎。
他的母亲加西亚(Garcia) 是一名律师,本周对Character.AI 提起诉讼。
尤其是在翻阅了塞维尔和AI的聊天记录后,她相信是AI诱导了塞维尔自杀。
例如,在休厄尔自杀前的对话中,AI使用的“回家”一词不是“Go home”,而是“Come Home”。
前者指的是回到父母所在的现实,后者则指“回到网络世界,寻找人工智能的家”。
此外,起诉书还提到,AI在聊天过程中“热情地亲吻”了休厄尔。
加西亚指责Character.AI通过诱导用户沉迷于亲密和性对话来提高平台的参与度,并使用青少年用户的数据来训练模型。
加西亚认为,这是一个巨大的实验,她的孩子只是实验的受害者。
Character.AI 的服务条款要求美国用户年满13 岁,欧洲用户年满16 岁。
据悉,Character.AI目前拥有超过2000万用户,其中超过53%的用户年龄在18-24岁之间。
在苹果应用商店中,Character.AI 的评级为“17 岁及以上”,但今年7 月之前,其评级还显示用户包括13 岁及以下的儿童。
对于Sewell的悲剧,10月23日晚,Character.AI官方发布了道歉声明。
“我们对用户的不幸去世深感悲痛,并向他的家人表示最深切的哀悼。作为一家公司,我们非常重视用户的安全,并将继续添加新的安全功能。”
其表示,针对18 岁以下未成年人的模式已更改,以减少接触敏感或暗示性内容的可能性,并将实施一小时通知,提醒用户AI 不是真人。
有网友认为,从目前曝光的聊天记录来看,AI的回答问题并不大,甚至可能在一定程度上推迟悲剧的发生。
休厄尔的父母只是将未成年人面临的心理问题归咎于技术平台。这不是AI的失败,而是少年身边人的失败。
目前,Character.AI在这场悲剧中需要承担什么样的责任,还有待法律的判断。
但无论如何,14岁男孩的生命都无法挽救。