LoveGPT: Der Aufstieg des KI-„Vertrauten" und warum es gefährlich ist

Da der Valentinstag vor der Tür steht, lohnt es sich, eine unbequeme Frage zu stellen: Was passiert, wenn das Gefühl, „gesehen und gehört" zu werden, nicht von einem Partner, sondern von einer Maschine kommt? Mit ausgeprägten Persönlichkeiten und einem bestätigenden Ton entworfen, können künstliche Intelligenz (KI) Begleiter-Chatbots emotionale Grenzen verwischen und romantische Bindungen fördern. Auch wenn dies harmlos erscheinen mag, wirft es Bedenken sowohl für Einzelpersonen als auch für Organisationen auf, die emotionale Abhängigkeit, Manipulation und Datenlecks verhindern wollen.

Da Einsamkeit für viele eine allgegenwärtige Realität ist, gab es in den letzten Jahren einen exponentiellen Anstieg bei Begleiter-KI-Chatbots.

„Im Gegensatz zu Allzweck-Chatbots gehen KI-Begleiter-Apps wie Replika und Character.AI einen Schritt weiter, indem sie individuelle Charaktere anbieten – von Freunden und romantischen Partnern bis hin zu Fantasy-Personas –, die sich ausgesprochen menschlich anfühlen sollen", kommentiert Anna Collard, SVP of content strategy & CISO advisor bei KnowBe4 Africa.

Das Wachstum im Bereich der KI-Begleiter-Apps war rasant: Allein in der ersten Hälfte von 2025 wurden 60 Millionen neue Downloads verzeichnet, ein Anstieg von 88% im Jahresvergleich.

Der Markt umfasst nun weltweit 337 umsatzgenerierende Apps, wobei mehr als ein Drittel allein im letzten Jahr gestartet wurde.

Gefahren des ELIZA-Effekts

Collard sagt, dass viele Nutzer dazu verleitet werden zu glauben, dass sie sicher intime Gespräche mit einer Maschine teilen können – der sogenannte ELIZA-Effekt.

Diese psychologische Bindung schafft eine erhebliche Sicherheitslücke. Wenn Nutzer eine KI als „Freund" oder „Partner" wahrnehmen, sind sie weitaus eher bereit, sensible Informationen zu teilen – von persönlichen Beschwerden und Gesundheitsbedenken bis hin zu geschützten Unternehmensdaten.

In einem organisatorischen Kontext ist dies ein klares Beispiel dafür, wie emotionale Auslöser das traditionelle Sicherheitsbewusstsein überschreiben können.

Datenleck-Risiken

Die unmittelbarste Bedrohung für Organisationen ist das Durchsickern sensibler Informationen. Da diese Bots oft von kleineren, Nischen-Startups mit fragwürdigen Datenschutzstandards entwickelt werden, sind die mit einem Bot geteilten Informationen selten privat. Ein Beispiel dafür ist das jüngste Beispiel eines KI-Spielzeugs, das 50.000 Protokolle seiner Chats mit Kindern offenlegte. Buchstäblich jeder mit einem Gmail-Konto konnte die privaten Gespräche dieser Kinder einsehen.

Die Datenschutzrichtlinien dieser Apps sind oft undurchsichtig. In einigen Fällen werden Chat-Protokolle verwendet, um die Modelle weiter zu trainieren, oder in unsicheren Datenbanken gespeichert. „Vorsicht ist definitiv geboten", kommentiert Collard. „Was sich wie eine private Interaktion mit geringem Risiko anfühlt, könnte sensible Informationen, Strategien, finanziellen Druck, persönliche Stressfaktoren oder kontextuelle Details enthalten, die Gegner als Waffe einsetzen könnten."

Einmal durchgesickert, glaubt sie, dass Daten beispielsweise zu Treibstoff für hochgradig personalisiertes Phishing, Erpressung oder Identitätsbetrug werden können. „In Sicherheitsbegriffen ist dies ein Lehrbuchbeispiel dafür, wie persönliches Verhalten und Unternehmensrisiko jetzt untrennbar sind."

Diese Risiken umfassen menschliche Moderatoren, die Gespräche zu Trainings-, Qualitätskontroll- oder Sicherheitszwecken überprüfen, sowie Nutzer, die versehentlich Gespräche über einen öffentlichen Link teilen, was bedeutet, dass jeder mit Zugriff auf diesen Link es lesen kann, warnt Collard. „Wir haben bereits Beispiele im gesamten Technologiesektor gesehen, wie offengelegte Daten unerwartet auftauchen können."

Darüber hinaus können Organisationen rechtlich gezwungen sein, Daten offenzulegen, wenn eine App in einen Verstoß oder eine rechtliche Untersuchung verwickelt ist. Für eine Führungskraft oder einen Entwickler könnte das Teilen von „Frust-Sitzungen" über ein vertrauliches Projekt oder einen schwierigen Kunden versehentlich zur Offenlegung sensibler Organisationsdaten führen.

Die Richtlinienlücke

Dieses Risiko hebt eine Richtlinienlücke am modernen Arbeitsplatz hervor. Während die meisten Organisationen klare Richtlinien bezüglich Beziehungen zwischen Kollegen haben, haben nur sehr wenige die Auswirkungen von Dating-Bots in Betracht gezogen, auf die über Arbeitsgeräte oder Unternehmensnetzwerke zugegriffen wird.

Die Verwaltung dieses Risikos erfordert einen Übergang von einfachem Bewusstsein zu einem robusten Human Risk Management (HRM)-Ansatz. Dies beinhaltet die Kombination klarer Nutzungsrichtlinien mit technischen Schutzmaßnahmen – wie Shadow-KI-Erkennungstools –, um IT-Teams Einblick zu geben, welche nicht genehmigten AI Agents mit ihrer Datenumgebung interagieren. Es reicht nicht aus, Mitarbeiter nur zur Vorsicht aufzufordern; Organisationen müssen die Systeme vorhanden haben, um den Schnittpunkt von menschlichen Emotionen und automatisierter Interaktion zu verwalten.

Die Zukunft des Social Engineering

Könnten wir sehen, dass Hacker einsame Personen mit massenproduzierten Flirt-Bots ins Visier nehmen? Collard glaubt, dass es bereits geschieht.

„Social Engineering wurde schon immer durch die Ausnutzung von Emotionen, Dringlichkeit, Angst, Neugier, Liebe und Anziehung skaliert", kommentiert sie. „KI automatisiert dies einfach in großem Maßstab. Was mich am meisten besorgt, ist nicht die Technologie selbst, sondern wie sie diejenigen befähigt, die böswillige Absichten haben, menschliche Intimität überzeugend zu spiegeln, zum Beispiel systematische Romance-Betrüger."

Laut Collard haben sich Betrügereien innerhalb weniger Jahre vom Typ „Sehr geehrte Damen und Herren" zu emotional intelligenter Manipulation entwickelt. „Und es sind nicht die Bots selbst, die das Problem sind, es ist die absichtliche Nutzung durch Betrüger", sagt sie.

Sie erwähnt das Beispiel eines illegalen LoveGPT-Bots, der Betrügern hilft, die richtigen psychologisch auslösenden Dinge zu sagen, um Abhängigkeit zu schaffen und Emotionen in ihren Opfern zu aktivieren. „Alles, was die Betrüger tun müssen, ist kopieren und einfügen oder sogar einfach die Gespräche zu automatisieren", erklärt sie.

Was kann getan werden, um zu verhindern, dass Nutzer gejagt werden? Wie immer bleibt die Verteidigung menschlich, betont Collard. „Letztendlich kann kein Chatbot, egal wie aufmerksam oder emotional gewandt, echte menschliche Verbindung ersetzen", betont sie.

Wenn eine Interaktion mit einem Chatbot beginnt, sich emotional ersetzend, geheim oder schwer loszulassen anzufühlen, glaubt sie, dass dies ein Signal ist, innezuhalten und sich an eine vertrauenswürdige Person oder einen Fachmann zu wenden. „Technologie mag Teil des modernen Lebens sein, aber das bedeutet, dass wir unsere digitalen Achtsamkeitsfähigkeiten stärken müssen, um zu lernen, wie man Manipulation oder induzierte Abhängigkeit erkennt. Schließlich bleibt, wenn es um Einsamkeit, Verwundbarkeit und Liebe geht, die sicherste Verteidigung entschlossen menschlich", schließt sie.