Ольга Ускова | Cognitive Life
КОНТРОЛЬ НАД ИСКУССТВЕННЫМ РАЗУМОМ Как только мою улыбающуюся физиономию журналисты видят, так сразу про Апокалипсис интересуются. Дескать, когда нас уже поработят роботы и как это будет. Я решила, сейчас, пока еду в машине, накидать памятку для просвещенного человечества по выживанию при совместном проживании с Искусственным Интеллектом (ИИ): Контроль над ИИ тривиален. Кому сейчас страшнее всего? Упёртым Редукционистам (люди, которые считают, что сложное сводится к простому и высшее к низшему. Исповедуют принцип, согласно которому сложные явления могут быть полностью объяснены с помощью законов, свойственных явлениям более простым) Они совершенно потерялись в этом новом мире нейросетевого ИИ и машин, которые понимают... Как всякие растерянные люди, они тут же обратили взор к пророкам Апокалипсиса. Новая мантра которых - Самосовершенствующийся ИИ захватывает мир. Осмелюсь заметить, что разработчикам достаточно придерживаться нескольких базовых несложных правил, чтобы контролировать ИИ полностью: 1. Переключатель мощности. В одном из рассказов обожаемого Роберта Шекли была история, как предприниматели купили у старьевщика забавную машину по производству некоей материи, которая создавала ее прямо из энергии пространства и не требовала затрат на комплектующие. Рассудив, что полученное однозначно больше, чем ничего и какую-то копеечку они по-любому заработают, ребята нажали кнопку "ВКЛ", и только потом обнаружили, что рычага "Выкл." нет... Я это к тому, что если вы строите SkyNet без кнопки выключения, вы заслуживаете Апокалипсис. 2. Строго ограниченная функциональность. Стоит задача - управлять комбайном и собирать кукурузу - выполняет. Сменили культуру на рожь, смените подсистему. Не делайте универсального всезнающего монстра. 3. Перекрыть доступ к источникам. Например, современные AIs - это не LISP-облака, где данные и код одинаковы. Возьмите за правило - выпущена версия продукта, она неизменна до следующей версии. 4. Механизмы "понимания" в современных нейронных системах должны быть полностью отделены от механизмов "рассуждения". Нам нужен Искусственный Помощник Машиниста, "понимающий" полностью все происходящее на дороге и выполняющий разрешенные сценарием действия. Но нам не нужен "Искусственный" шофер, рассуждающий: "А имеет ли смысл в принципе сегодня выезжать из гаража?" "Рассуждения" сами по себе не возникают. Не приписывайте этому процессу ничего мистического. Как запрограммируем, так и будет. 5. Полный кураторский контроль за процессом обучения нейронных систем. Если дать очень приличному нейронному алгоритму свободно шарить в Интернете, типа - информация лишней не бывает, то он в какой-то момент обнаружит "Майн Кампф" и Вам придется срочно воспользоваться рычагом "Выкл", если Вы, конечно, не забыли его запрограммировать, см. п.1. 6. Ну и последнее, очевидное. Даже в пароксизме прикольного изобретательства не приделывайте к многофункциональному ИИ всяких дополнительных устройств, которые вы подсмотрели в игре Mortal Kombat или в школьных сражениях роботов. Мы вот не разрешаем на комбайны с Cognitive Agro Pilot мастырить огнемёты. Мало ли чего...