LoveGPT: ظهور «محرم اسرار» هوش مصنوعی و چرا خطرناک است

با نزدیک شدن به روز ولنتاین، ارزش دارد که یک سوال ناراحت‌کننده را بپرسیم: چه اتفاقی می‌افتد وقتی احساس «دیده شدن و شنیده شدن» نه از یک شریک، بلکه از یک ماشین به دست می‌آید؟ چت‌بات‌های همراه هوش مصنوعی (AI) که با شخصیت‌های متمایز و لحن تأییدگرا طراحی شده‌اند، می‌توانند مرزهای احساسی را مبهم کنند و دلبستگی عاشقانه را تقویت کنند. در حالی که این ممکن است بی‌ضرر به نظر برسد، نگرانی‌هایی را برای افراد و سازمان‌هایی که به دنبال جلوگیری از وابستگی احساسی، دستکاری و نشت داده هستند، ایجاد می‌کند.

با تنهایی به عنوان یک واقعیت همیشه حاضر برای بسیاری، افزایش تصاعدی در سال‌های اخیر در چت‌بات‌های همراه AI مشاهده شده است.

«برخلاف چت‌بات‌های عمومی، اپلیکیشن‌های همراه AI مانند Replika و Character.AI با ارائه کاراکترهای سفارشی - از دوستان و شرکای عاشقانه گرفته تا شخصیت‌های فانتزی - که طراحی شده‌اند تا کاملاً انسانی احساس شوند، گام بعدی را برمی‌دارند،» آنا کولارد، معاون ارشد استراتژی محتوا و مشاور CISO در KnowBe4 Africa اظهار می‌کند.

رشد در بخش اپلیکیشن همراه AI سریع بوده است: 60 میلیون دانلود جدید تنها در نیمه اول 2025 ثبت شد، که نشان‌دهنده افزایش 88 درصدی سال به سال است.

بازار اکنون شامل 337 اپلیکیشن درآمدزا در سراسر جهان است، که بیش از یک سوم آنها فقط در سال گذشته راه‌اندازی شده‌اند.

خطرات اثر ELIZA

کولارد می‌گوید که بسیاری از کاربران فریب می‌خورند و احساس می‌کنند که به اشتراک‌گذاری مکالمات صمیمی با یک ماشین امن است - اثر به اصطلاح ELIZA.

این پیوند روانی یک آسیب‌پذیری امنیتی قابل توجه ایجاد می‌کند. وقتی کاربران AI را به عنوان یک «دوست» یا «شریک» درک می‌کنند، احتمال بیشتری دارد که اطلاعات حساس را به اشتراک بگذارند - از شکایات شخصی و نگرانی‌های سلامتی گرفته تا داده‌های اختصاصی شرکتی.

در یک زمینه سازمانی، این یک مثال واضح از چگونگی غلبه محرک‌های احساسی بر آگاهی امنیتی سنتی است.

خطرات نشت داده

فوری‌ترین تهدید برای سازمان‌ها نشت اطلاعات حساس است. از آنجا که این بات‌ها اغلب توسط استارتاپ‌های کوچک‌تر و تخصصی با استاندارهای حفاظت از داده‌های مشکوک توسعه داده می‌شوند، اطلاعاتی که با یک بات به اشتراک گذاشته می‌شود به ندرت خصوصی است. نمونه موردی مثال اخیر یک اسباب‌بازی AI است که 50000 لاگ از چت‌های خود با بچه‌ها را افشا کرد. به معنای واقعی کلمه هر کسی با یک حساب Gmail می‌توانست این مکالمات خصوصی بچه‌ها را مشاهده کند.

سیاست‌های حریم خصوصی این اپلیکیشن‌ها اغلب مبهم هستند. در برخی موارد، لاگ‌های چت برای آموزش بیشتر مدل‌ها استفاده می‌شوند یا در پایگاه‌های داده ناامن ذخیره می‌شوند. «احتیاط قطعاً لازم است،» کولارد اظهار می‌کند. «آنچه مانند یک تعامل خصوصی و کم‌خطر احساس می‌شود می‌تواند حاوی اطلاعات حساس، استراتژی، فشارهای مالی، استرس‌های شخصی یا جزئیات زمینه‌ای باشد که مخالفان می‌توانند آن را به سلاح تبدیل کنند.»

پس از نشت، او معتقد است که داده‌ها می‌توانند، به عنوان مثال، سوخت حملات فیشینگ بسیار شخصی‌سازی شده، باج‌خواهی یا جعل هویت شوند. «از نظر امنیت، این یک مثال کتاب درسی از چگونگی جدایی‌ناپذیر بودن رفتار شخصی و ریسک شرکتی است.»

این خطرات شامل بررسی مکالمات توسط ناظران انسانی برای آموزش، کنترل کیفیت یا اهداف ایمنی، و همچنین به اشتراک‌گذاری تصادفی مکالمات توسط کاربران از طریق یک لینک عمومی است، به این معنی که هر کسی که به آن لینک دسترسی داشته باشد می‌تواند آن را بخواند. کولارد هشدار می‌دهد. «ما قبلاً نمونه‌هایی در بخش فناوری از چگونگی ظاهر شدن غیرمنتظره داده‌های افشا شده را دیده‌ایم.»

علاوه بر این، سازمان‌ها ممکن است از نظر قانونی مجبور به افشای داده‌ها شوند اگر یک اپلیکیشن درگیر یک نقض امنیتی یا تحقیقات قانونی باشد. برای یک مدیر اجرایی یا توسعه‌دهنده، به اشتراک‌گذاری جلسات «تخلیه احساسی» درباره یک پروژه محرمانه یا یک مشتری دشوار می‌تواند به طور ناخواسته منجر به افشای داده‌های حساس سازمانی شود.

شکاف سیاست

این ریسک شکاف سیاست را در محیط کار مدرن برجسته می‌کند. در حالی که اکثر سازمان‌ها دستورالعمل‌های واضحی در مورد روابط بین همکاران دارند، تعداد بسیار کمی پیامدهای دسترسی به بات‌های قرار ملاقات در دستگاه‌های کاری یا از طریق شبکه‌های شرکتی را در نظر گرفته‌اند.

مدیریت این ریسک نیازمند انتقال از آگاهی ساده به یک رویکرد قوی مدیریت ریسک انسانی (HRM) است. این شامل لایه‌بندی سیاست‌های استفاده واضح با محافظ‌های فنی - مانند ابزارهای کشف AI سایه - برای ارائه دید به تیم‌های IT در مورد اینکه کدام AI Agent های تأیید نشده با محیط داده آنها در تعامل هستند، می‌شود. کافی نیست که فقط از کارمندان بخواهیم محتاط باشند؛ سازمان‌ها باید سیستم‌هایی را برای مدیریت تقاطع احساسات انسانی و تعامل خودکار در جای خود داشته باشند.

آینده مهندسی اجتماعی

آیا می‌توانیم هکرها را ببینیم که افراد تنها را با بات‌های فلرت تولید انبوه هدف قرار می‌دهند؟ کولارد معتقد است که این اتفاق در حال حاضر در حال وقوع است.

«مهندسی اجتماعی همیشه با بهره‌برداری از احساسات، فوریت، ترس، کنجکاوی، عشق و جذابیت مقیاس‌بندی شده است،» او اظهار می‌کند. «AI به سادگی آن را در مقیاس خودکار می‌کند. آنچه بیشترین نگرانی من است خود فناوری نیست، بلکه این است که چگونه به کسانی که قصد مخرب دارند قدرت می‌دهد تا صمیمیت انسانی را به طور متقاعدکننده منعکس کنند، به عنوان مثال کلاهبرداران عاشقانه سیستماتیک.»

به گفته کولارد، در عرض چند سال، کلاهبرداری‌ها از نوع «جناب آقا/خانم محترم» به دستکاری با هوش احساسی تکامل یافته‌اند. «و خود بات‌ها مسئله نیستند، استفاده عمدی از آنها توسط کلاهبرداران است،» او می‌گوید.

او به مثال یک بات غیرقانونی LoveGPT اشاره می‌کند که به کلاهبرداران کمک می‌کند تا چیزهای مناسب محرک روانی را بگویند تا وابستگی ایجاد کنند و احساسات را در قربانیان خود فعال کنند. «تنها کاری که کلاهبرداران باید انجام دهند کپی و پیست کردن یا حتی فقط خودکارسازی مکالمات است،» او بیان می‌کند.

چه کاری می‌توان انجام داد تا از شکار شدن کاربران جلوگیری شود؟ همیشه، دفاع همچنان انسانی باقی می‌ماند، کولارد اظهار می‌کند. «در نهایت، هیچ چت‌باتی، صرف نظر از میزان توجه یا روانی بودن احساسی، نمی‌تواند ارتباط واقعی انسانی را جایگزین کند،» او تأکید می‌کند.

اگر تعامل با یک چت‌بات شروع به احساس جایگزینی احساسی، مخفیانه یا سخت برای کنار گذاشتن شود، او معتقد است که این سیگنالی برای مکث کردن و دستیابی به یک فرد یا متخصص قابل اعتماد است. «فناوری ممکن است بخشی از زندگی مدرن باشد، اما این به این معنی است که ما باید مهارت‌های ذهن‌آگاهی دیجیتال خود را تقویت کنیم تا یاد بگیریم چگونه دستکاری یا وابستگی القا شده را تشخیص دهیم. در نهایت، وقتی صحبت از تنهایی، آسیب‌پذیری و عشق به میان می‌آید، امن‌ترین دفاع مصمم‌تر انسانی باقی می‌ماند،» او نتیجه‌گیری می‌کند.