Исследователи предупреждают об уязвимости моделей ИИ с открытым исходным кодом к криминальному использованию

Хакеры и другие преступники могут легко захватить компьютеры, работающие с открытыми большими языковыми моделями за пределами ограничений и контроля основных платформ искусственного интеллекта, создавая риски безопасности и уязвимости, заявили исследователи в четверг, 29 января.

Хакеры могут атаковать компьютеры, на которых работают LLM, и направлять их на выполнение спам-операций, создание фишингового контента или дезинформационных кампаний, обходя протоколы безопасности платформ, сообщили исследователи.

Исследование, проведенное совместно компаниями по кибербезопасности SentinelOne и Censys в течение 293 дней и эксклюзивно предоставленное агентству Reuters, открывает новое окно в масштабы потенциально незаконных случаев использования тысяч развертываний открытых LLM. К ним относятся взлом, разжигание ненависти и преследование, насильственный или жестокий контент, кража персональных данных, мошенничество или интернет-мошенничество, а в некоторых случаях материалы сексуального насилия над детьми, сообщили исследователи.

Хотя существуют тысячи вариантов открытых LLM, значительная часть LLM на хостах, доступных в Интернете, является вариантами Llama от Meta, Gemma от Google DeepMind и других, согласно исследователям. Хотя некоторые модели с открытым исходным кодом включают ограничения, исследователи выявили сотни случаев, когда ограничения были явно удалены.

Дискуссии в индустрии ИИ о контроле безопасности «игнорируют этот вид избыточной мощности, которая явно используется для всех видов различных целей, некоторые из них законные, некоторые явно преступные», сказал Хуан Андрес Герреро-Саде, исполнительный директор по разведке и исследованиям безопасности в SentinelOne. Герреро-Саде сравнил ситуацию с «айсбергом», который не учитывается должным образом в отрасли и сообществе открытого исходного кода.

Исследование изучает системные подсказки

Исследование проанализировало общедоступные развертывания открытых LLM, развернутых через Ollama, инструмент, который позволяет людям и организациям запускать свои собственные версии различных больших языковых моделей.

Исследователи смогли увидеть системные подсказки, которые являются инструкциями, диктующими поведение модели, примерно в четверти наблюдаемых ими LLM. Из них они определили, что 7,5% потенциально могут способствовать вредной деятельности.

Примерно 30% хостов, наблюдаемых исследователями, работают из Китая, и около 20% в США.

Рэйчел Адамс, генеральный директор и основатель Глобального центра по управлению ИИ, сказала в письме, что после выпуска открытых моделей ответственность за то, что происходит дальше, становится общей для всей экосистемы, включая исходные лаборатории.

«Лаборатории не несут ответственность за каждое последующее неправильное использование (которое трудно предвидеть), но они сохраняют важную обязанность проявлять осторожность, предвидеть предсказуемый вред, документировать риски и предоставлять инструменты смягчения последствий и руководство, особенно учитывая неравномерный глобальный потенциал правоприменения», сказала Адамс.

Представитель Meta отказался отвечать на вопросы об обязанностях разработчиков по устранению проблем, связанных с последующим злоупотреблением моделями с открытым исходным кодом, и о том, как можно сообщать о проблемах, но отметил инструменты защиты Llama компании для разработчиков Llama и Руководство по ответственному использованию Meta Llama компании.

Руководитель команды красной безопасности Microsoft AI Рам Шанкар Сива Кумар сказал в письме, что Microsoft считает, что модели с открытым исходным кодом «играют важную роль» в различных областях, но «в то же время мы четко понимаем, что открытые модели, как и все трансформационные технологии, могут быть неправильно использованы противниками, если они выпускаются без соответствующих мер безопасности».

Microsoft проводит предварительные оценки, включая процессы для оценки «рисков для сценариев, доступных в Интернете, с самостоятельным размещением и вызовом инструментов, где неправильное использование может быть высоким», сказал он. Компания также отслеживает возникающие угрозы и модели неправильного использования. «В конечном счете, ответственные открытые инновации требуют общей приверженности создателей, развертывателей, исследователей и команд безопасности».

Ollama не ответила на запрос комментария. Alphabet's Google и Anthropic не ответили на вопросы. – Rappler.com