Американские ученые смогли обмануть искусственный интеллект с помощью другого ИИ
Американские ученые Массачусетского технологического института изучили способность ИИ распознавать текст после замены определенного слова на синоним. Оказалось, что исследователи смогли обмануть обученную систему с помощью другого искусственного интеллекта.
В последнее время искусственный интеллект добился больших успехов в понимании языка, но он все еще может страдать от тревожной и потенциально опасной разновидности "синонимической близорукости". Исследование Массачусетского технологического института показало, что программы машинного обучения, которые анализируют и оценивают текст, могут быть сбиты с толку и обмануты тщательно продуманными фразами. Предложение, которое кажется простым для людей, может иметь странную способность вводить ИИ в заблуждение.
Ученые разработали алгоритм TextFooler, способный обманывать систему ИИ без изменения значения фрагмента текста. Алгоритм использует специальную систему, которая определяет, какие слова следует преобразовать в синонимы, чтобы обмануть искусственный интеллект. К примеру, предложение: "персонажи, сыгранные в невероятно надуманных ситуациях, полностью оторваны от реальности" было изменено на "персонажи, сыгранные в невероятно искусных обстоятельствах, полностью оторваны от реальности".
Это заставило алгоритм классифицировать фразу как "положительную" (имеющую иной смысл), а не "отрицательную". Исследователям удалось снизить точность алгоритма с более чем 90% до менее 10 процентов с помощью этого метода. При этом, измененные фразы, как правило, оценивались людьми как имеющие одинаковое значение. Феномен может оказаться проблемой, ведь ИИ теперь обширнее используется для оценки резюме, медицинских показаний или обработки юридических документов. Также стратегические изменения в горстке слов могут позволить "фейковым" новостям уклониться от детектора ИИ или предоставить более высокие выплаты для страховых случаев.
В последнее время искусственный интеллект добился больших успехов в понимании языка, но он все еще может страдать от тревожной и потенциально опасной разновидности "синонимической близорукости". Исследование Массачусетского технологического института показало, что программы машинного обучения, которые анализируют и оценивают текст, могут быть сбиты с толку и обмануты тщательно продуманными фразами. Предложение, которое кажется простым для людей, может иметь странную способность вводить ИИ в заблуждение.
Ученые разработали алгоритм TextFooler, способный обманывать систему ИИ без изменения значения фрагмента текста. Алгоритм использует специальную систему, которая определяет, какие слова следует преобразовать в синонимы, чтобы обмануть искусственный интеллект. К примеру, предложение: "персонажи, сыгранные в невероятно надуманных ситуациях, полностью оторваны от реальности" было изменено на "персонажи, сыгранные в невероятно искусных обстоятельствах, полностью оторваны от реальности".
Это заставило алгоритм классифицировать фразу как "положительную" (имеющую иной смысл), а не "отрицательную". Исследователям удалось снизить точность алгоритма с более чем 90% до менее 10 процентов с помощью этого метода. При этом, измененные фразы, как правило, оценивались людьми как имеющие одинаковое значение. Феномен может оказаться проблемой, ведь ИИ теперь обширнее используется для оценки резюме, медицинских показаний или обработки юридических документов. Также стратегические изменения в горстке слов могут позволить "фейковым" новостям уклониться от детектора ИИ или предоставить более высокие выплаты для страховых случаев.
