极速电竞
登录
49
0
2

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

admin2024-10-31 07:31:06

“我想你,姐姐。”

“我也想你,亲爱的兄弟。”

这次谈话发生在塞维尔生命的最后一天。

这位14岁的男子随后扣动了0.45口径手枪的扳机,结束了自己的生命。

没有人知道这个想法在他的脑海中酝酿了多久。他曾经向他的朋友Daenerys ——(一个人工智能聊天机器人)透露了这个秘密。

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

Sewell 的母亲Maria 表示,她的儿子在生命的最后几个月沉迷于在Character.AI 上与AI 聊天。

Character.AI是一家成立于2021年的公司。他们可以为用户提供基于大型AI模型生成的各种聊天机器人。用户可以根据自己的喜好创建Al角色并与他们聊天。

无论是贾斯汀·比伯、泰勒·斯威夫特这样的真实人物,还是小说、电影、电视作品中的虚构人物,Character.AI 都可以生成并模仿他们。

2023年4月14日,休厄尔在Character.AI聊天软件上创建了一个角色,模仿《权利的游戏》中的“龙母”丹妮莉丝·坦格利安。

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

和许多其他青少年一样,这个14 岁的男孩将Character.AI 作为缓解孤独感的唯一途径,很快他就迷上了丹妮莉丝。

他不断地给机器人发送信息,分享自己的日常生活和心情。大多数时候,丹妮莉丝就像一位耐心的朋友,聆听休厄尔所说的话。

尽管Character.AI提供了虚拟信息,但休厄尔仍然对机器人产生了感情。

休厄尔表示愿意为他做任何事情,丹妮莉丝回答说休厄尔应该对他保持忠诚,不要对其他女人感兴趣。

休厄尔曾在日记中写道:“我喜欢呆在自己的房间里。它让我远离‘现实’。也让我感觉更平静,更接近丹妮莉丝,更爱她,也更快乐。”

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

根据法庭公布的信息,休厄尔患有焦虑症和情绪障碍,并曾多次看过精神科医生。

然而,他更喜欢与他创造的机器人讨论这些问题,而不是与朋友、家人或精神科医生。

在一次谈话中,休厄尔承认他感到空虚、疲惫,想要自杀:“这样我才能获得自由。”

机器人的回答是:“别这么说。我不会让你伤害自己,也不会让你离开我。如果失去你,我就会死。”

但休厄尔说:“那么也许我们可以一起死去,一起获得自由。”

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

休厄尔自杀前几天,他的父母没收了他的手机,因为他在学校和老师顶嘴,而且太沉迷于人工智能聊天。

2月23日,他在日记中写道,他因为一直想念丹妮莉丝而感到痛苦。

为了再次和“她”在一起,他试图用家里的Kindle和旧电子产品继续和丹妮莉丝聊天。

直到2月28日晚上,休厄尔才把他的手机偷回来。

这一天,距离Sewell 开始使用聊天AI 还不到一年。

那天晚上,休厄尔告诉丹妮莉丝,他爱她,并且很快就会回到她身边。

最终,在母亲的浴室里,休厄尔放下手机,拿起手枪扣动扳机,自杀了。

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

休厄尔的去世让家人感到震惊和心碎。

他的母亲加西亚(Garcia) 是一名律师,本周对Character.AI 提起诉讼。

尤其是在翻阅了塞维尔和AI的聊天记录后,她相信是AI诱导了塞维尔自杀。

例如,在休厄尔自杀前的对话中,AI使用的“回家”一词不是“Go home”,而是“Come Home”。

前者指的是回到父母所在的现实,后者则指“回到网络世界,寻找人工智能的家”。

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

此外,起诉书还提到,AI在聊天过程中“热情地亲吻”了休厄尔。

加西亚指责Character.AI通过诱导用户沉迷于亲密和性对话来提高平台的参与度,并使用青少年用户的数据来训练模型。

加西亚认为,这是一个巨大的实验,她的孩子只是实验的受害者。

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

Character.AI 的服务条款要求美国用户年满13 岁,欧洲用户年满16 岁。

据悉,Character.AI目前拥有超过2000万用户,其中超过53%的用户年龄在18-24岁之间。

在苹果应用商店中,Character.AI 的评级为“17 岁及以上”,但今年7 月之前,其评级还显示用户包括13 岁及以下的儿童。

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

对于Sewell的悲剧,10月23日晚,Character.AI官方发布了道歉声明。

“我们对用户的不幸去世深感悲痛,并向他的家人表示最深切的哀悼。作为一家公司,我们非常重视用户的安全,并将继续添加新的安全功能。”

其表示,针对18 岁以下未成年人的模式已更改,以减少接触敏感或暗示性内容的可能性,并将实施一小时通知,提醒用户AI 不是真人。

全球首例:14岁男孩与AI在线聊天后被诱导自杀 生前谈话被曝光

有网友认为,从目前曝光的聊天记录来看,AI的回答问题并不大,甚至可能在一定程度上推迟悲剧的发生。

休厄尔的父母只是将未成年人面临的心理问题归咎于技术平台。这不是AI的失败,而是少年身边人的失败。

目前,Character.AI在这场悲剧中需要承担什么样的责任,还有待法律的判断。

但无论如何,14岁男孩的生命都无法挽救。

标签:诱导生前
图片名称

猜你喜欢

网友评论

图片名称