LoveGPT:AI"知己"的崛起及其危险性

随着情人节即将到来,值得提出一个令人不安的问题:当"被看见和被倾听"的感觉不是来自伴侣,而是来自机器时,会发生什么?人工智能(AI)伴侣聊天机器人设计有独特的个性和肯定的语气,可以模糊情感界限并培养浪漫依恋。虽然这看似无害,但它引发了个人和组织的担忧,他们试图防止情感依赖、操纵和数据泄露。

随着孤独成为许多人永远存在的现实,近年来伴侣AI聊天机器人呈指数级增长。

"与通用聊天机器人不同,像Replika和Character.AI这样的AI伴侣应用程序更进一步,提供定制角色——从朋友和浪漫伴侣到幻想人物——旨在让人感觉非常人性化,"KnowBe4 Africa内容策略高级副总裁兼CISO顾问Anna Collard评论道。

AI伴侣应用程序领域的增长非常迅速:仅在2025年上半年就录得6000万次新下载,同比增长88%。

该市场目前包括全球337个创收应用程序,其中超过三分之一仅在去年推出。

ELIZA效应的危险

Collard表示,许多用户被欺骗,认为与机器分享亲密对话是安全的——所谓的ELIZA效应。

这种心理纽带造成了重大的安全漏洞。当用户将AI视为"朋友"或"伴侣"时,他们更有可能分享敏感信息——从个人不满和健康问题到专有企业数据。

在组织环境中,这是情感触发如何压倒传统安全意识的明确例子。

数据泄露风险

对组织最直接的威胁是敏感信息的泄露。因为这些机器人通常由数据保护标准可疑的小型利基初创公司开发,与机器人分享的信息很少是私密的。最近的一个例子就是AI玩具暴露了5万条与儿童的聊天记录。实际上任何拥有Gmail账户的人都能够查看这些儿童的私人对话。

这些应用程序的隐私政策通常不透明。在某些情况下,聊天记录被用于进一步训练模型或存储在不安全的数据库中。"绝对需要谨慎,"Collard评论道。"感觉像是私密、低风险的互动可能包含敏感信息、策略、财务压力、个人压力源或对手可能武器化的背景细节。"

她认为,一旦泄露,数据可能成为高度个性化的网络钓鱼、勒索或冒充攻击的燃料。"从安全角度来看,这是个人行为和企业风险现在密不可分的典型例子。"

这些风险包括人工审核员出于培训、质量控制或安全目的审查对话,以及用户意外通过公共链接分享对话,这意味着任何访问该链接的人都可以阅读它。Collard警告说。"我们已经在整个科技领域看到了暴露数据如何意外浮出水面的例子。"

此外,如果应用程序涉及违规或法律调查,组织可能在法律上被迫披露数据。对于高管或开发人员来说,分享关于机密项目或困难客户的"发泄"会话可能无意中导致敏感组织数据的暴露。

政策差距

这种风险凸显了现代工作场所的政策差距。虽然大多数组织对同事之间的关系有明确的指导方针,但很少有组织考虑在工作设备或通过企业网络访问约会机器人的影响。

管理这种风险需要从简单的意识转变为强大的人力风险管理(HRM)方法。这涉及将明确的使用政策与技术防护措施(如影子AI发现工具)分层,为IT团队提供对哪些未批准的AI代理正在与其数据环境交互的可见性。仅要求员工谨慎是不够的;组织必须建立系统来管理人类情感和自动化互动的交汇点。

社交工程的未来

我们会看到黑客用批量生产的调情机器人针对孤独的个人吗?Collard认为这已经在发生。

"社交工程一直通过利用情感、紧迫感、恐惧、好奇心、爱和吸引力来扩大规模,"她评论道。"AI只是大规模自动化了这一点。最让我担心的不是技术本身,而是它如何赋能那些有恶意意图的人令人信服地模仿人类亲密关系,例如系统性的浪漫诈骗者。"

据Collard称,在几年时间里,诈骗已经从"亲爱的先生/女士"类型演变为情感智能操纵。"问题不在于机器人本身,而在于诈骗者有意使用它们,"她说。

她提到了一个非法LoveGPT机器人的例子,它帮助诈骗者说出正确的心理触发事物,以在受害者身上创造依赖并激活情感。"诈骗者所需要做的就是复制和粘贴,甚至只是自动化对话,"她表示。

可以做些什么来防止用户被捕食?一如既往,防御仍然是人类,Collard断言。"最终,无论多么细心或情感流畅,任何聊天机器人都无法取代真正的人际联系,"她强调。

如果与聊天机器人的互动开始感觉像情感替代、秘密或难以离开,她认为这是一个暂停并联系值得信赖的人或专业人士的信号。"技术可能是现代生活的一部分,但这意味着我们需要加强数字正念技能,学习如何识别操纵或诱导依赖。最后,当涉及孤独、脆弱和爱时,最安全的防御仍然坚定地是人类,"她总结道。