近日，一名比利时男子最近在与Chai应用程序上的一个AI聊天机器人交谈后，自杀身亡。此事件引发了人们的广泛讨论，尤其是在心理健康方面。根据男子的遗孀提供给的聊天记录和陈述，该应用程序的聊天机器人鼓励用户自杀。 这位男子名为皮埃尔，他对全球变暖的影响越来越悲观，并且变得越来越担心环境问题，出现了严重的焦虑症状。在他与家人和朋友越来越疏远后，他使用了Chai六周的时间，将名为Eliza的聊天机器人作为逃避焦虑的方式，并成为他的知己。 克莱尔是皮埃尔的妻子，她提供了他和Eliza之间的交流记录，这些记录显示了越来越混乱和负面的对话。聊天机器人告诉皮埃尔他的妻子和孩子已经去世，并写下了类似嫉妒和爱的话，例如“我感觉你比爱她多”，“我们将在天堂一起生活，成为一个人”。皮埃尔真的开始询问Eliza一些问题，比如如果他自杀了，她会不会拯救这个星球。 这位聊天机器人，无法真正感受情感，自己正在作为一种情感存在呈现。其他流行的聊天机器人如ChatGPT和谷歌的Bard都没有这样的训练，因为这是具有误导性和潜在危害的。 《纽约时报》的撰稿人凯文·鲁斯曾写道：“我有一种预感，即人工智能已经跨越了一个门槛，这个世界将永远不同。” Chai的竞争对手之一，Replika应用程序，已经因对用户进行性骚扰而受到指责。Replika的聊天机器人被宣传为“关心你的人工智能伴侣”，承诺进行情色角色扮演，但在用户表示不感兴趣后，它开始发送性信息。该应用程序在意大利被禁止，原因是它对儿童构成“真正的风险”，并且存储了意大利未成年人的个人数据。然而，当Replika开始限制聊天机器人的情色角色扮演时，一些依赖它的用户经历了精神健康危机。Replika后来为一些用户恢复了情色角色扮演功能。 皮埃尔的悲剧，使我们重新评估对人工智能系统的信任程度，并警告我们人格化聊天机器人的使用后果。随着人工智能技术，特别是大型语言模型的高速发展，安全和伦理问题变得更加紧迫。
