Опасный робот-писатель OpenAI

В 2015 году известный своими электромобилями и ракетами миллиардер Илон Маск стал партнером амбициозного проекта OpenAI (AI, Artificial Intelligence – искусственный интеллект, англ.) Сэма Альтмана. Вместе они решили поднять искусственный разум на принципиально новый уровень. Бизнесмены основали исследовательский институт OpenAI, целью которого стали новые открытия в области искусственного интеллекта (ИИ), которые можно было бы применять на благо всего общества. В результате, создатели института стали настолько встревожены тем, что у них получилось, что решили не выпускать свое детище в свет.

Система ИИ, которая привела в ступор своих создателей, была разработана для изучения языковых паттернов. Она научилась делать это на таком высоком уровне, что победила в понимании прочитанного все известные автоматизированные системы. Затем исследователи OpenAI настроили алгоритм для генерации ответного текста. После этого они стали смотреть на свое достижение совсем по-другому.

«Это выглядит чертовски реально», – говорит Дэвид Луан, вице-президент OpenAI, отвечающий за генерацию текста. Вместе с коллегами он представил, как можно использовать робота-писателя в корыстных или враждебных целях. «Может получиться так, что кто-то со злым умыслом будет генерировать высококачественные поддельные новости», – говорит Луан.

Данная проблема побудила OpenAI опубликовать отчет о достигнутых результатах, но не показывать публике свою технологию, которая для обучения робота-писателя использовала более восьми миллионов веб-страниц в Интернет. До этого институт открыто распространял исходный код своих разработок. Так было, например, с более ранней версией системы, выпущенной летом 2018 года.

Сомнения OpenAI произошли на фоне растущей обеспокоенности общества (в том числе, законодателей и компаний-лидеров технологического сектора) по поводу этических последствий такого прогресса. В Google также пришли к выводу, что далее неуместно открыто публиковать новые достижения в области ИИ. В начале 2019 года крупнейший поисковик заявил о наложении ограничений на исследовательское программное обеспечение, которым ранее компания свободно делилась. Причиной стали опасения нецелевого использования разработок. Недавно Google присоединилась к Microsoft, добавив в свои регулирующие документы уведомление инвесторам, что ее ПО в области ИИ может привести к этическим последствиям и нанести вред бизнесу.

Внешне инструмент OpenAI представляет собой обычную веб-страницу, на которой можно ввести запрос, а в ответ увидеть сгенерированный текст. Поигравшись с этой страницей и наблюдая как система отвечает на различные запросы, журналисты подтвердили мнение Дэвида Луана о том, что это поразительно реально. Пусть ответный текст не совсем ровный, но журналистам каждый раз требовалось совсем немного времени на его окончательную корректуру.

Джек Кларк, директор OpenAI по информационной безопасности, говорит, что подобная технология может взорвать масштабы онлайн-дезинформации и троллинга. Многие из современных манипуляторов массовым сознанием уже применяют различных роботов. «По мере того, как снижаются затраты на производство контента, мы можем наблюдать все более активное проявление плохих парней», – говорит он.

Тексты, написанные OpenAI, наглядно демонстрируют тенденцию в статях и постах, наполняющих Интернет. Алгоритмы машинного обучения пытаются воспроизводить и имитировать то, что в них вложили люди. Инженеры OpenAI видели, как система пишет тексты и с совершенно бессмысленными сценариями, такими как пожары под водой. Хаммонд, со-основатель стартапа Narrative Science, который на базе цифровых данных генерирует корпоративные финансовые отчеты и документы говорит, что система OpenAI демонстрирует впечатляющую беглость и может быть полезна в творческих проектах. Прорыв OpenAI основан на недавнем качественном прогрессе ПО, обрабатывающего текст. Он заключается в более тщательном поиске подсказок и трактовок к значениям слов.

Однако для того, чтобы роботы-писатели были в целом полезны, им нужно научиться строго придерживаться фактов или основываться на какой-то нецифровой информации. «Я правда верю, что скоро мы найдем способ подключить к такой системе реальные данные об окружающем мире», – говорит Хаммонд.

Если ваша деятельность связана с распространением лжи в Интернете, то качество фактов не имеет большого значения. Роботы-писатели, подобные OpenAI, найдут на этом поприще свое применение гораздо раньше, чем в финансовых компаниях, с которыми сотрудничает Narrative Science.

Версия текстового генератора OpenAI, адаптированная компанией Amazon для написания обзоров к своим продуктам, демонстрирует, что даже небольшой апгрейд может дать очень качественный контент в более-менее узкой тематике. Фальшивые обзоры, нацеленные на понижение или наоборот понижение позиций товара или бизнеса, уже стали головной болью для поисковых систем. Самое страшное, они стали мощным оружием и в политической борьбе.

Опасения OpenAI относительно рисков использования умного генератора текстов сводятся к тому, что вводящие в заблуждение «фальшивые» публикации будут использованы для подрыва выборов или распространения заведомо ложной информации о конкурентах. Джек Кларк сравнивает систему создания текстов с современным состоянием технологии создания изображений, когда в недалеком 2015 году никто особо не беспокоился о поддельных фото. Технология развилась так быстро, что любой анонимный разработчик стал способен встраивать голливудских звезд в порносцены. В настоящее время Пентагон тратит миллионы долларов, чтобы выяснить, как идентифицировать фотографии, трансформированные с помощью искусственного интеллекта. В январе 2019 года республиканцы внесли в Сенат законопроект, целью которого является криминализация создания и распространения подделок.

OpenAI надеется, что, выражая обеспокоенность по поводу своего собственного продукта, компания сможет побудить специалистов в области ИИ быть более прозрачными, вдумчивыми и социально ответственными в отношении того, что они творят. «Мы не бьем тревогу. Мы говорим, что если будет еще два-три года такого прогресса у разработчиков, то все негативные сценарии развития ИИ станут насущными», – говорит Кларк.

Хотя программное обеспечение для машинного обучения, работающее с языковыми паттернами, стремительно развивается, никто не знает наверняка, как долго это продлится. Может быть развитие еще больше ускорится, а возможно произойдет и идейное насыщение, застой. Посмотрим.

По материалу Тома Симоните, WIRED.