Пока? «Не волнуйтесь, мы вас не убьём»: нейросеть написала о себе колонку
В. Торин:
- Добрый день, дорогие друзья. Меня зовут Владимир Торин. Программа [НЕ]фантастика – это программа о нашем будущем, в котором теперь возможно все. Действительно, каждый день нас будущее все больше и больше пугает. И даже такой теплый октябрь и теплый сентябрь нас совершенно не успокаивают – и пандемия, и Нагорный Карабах, чего только не происходит с нами сейчас.
И еще одной вещью хотим вас сегодня попугать. Мы сегодня будем говорить про нейросети. Буквально на днях было предложено нейросети GPT-3 написать колонку о себе в газету The Guardian. И что написала эта нейросеть? Заголовок был такой - «Люди, не волнуйтесь, мы вас не убьем». Когда машина говорит: «Люди, не волнуйтесь, мы вас не убьем», - почему-то начинаешь волноваться.
Итак, нейросети. У нас в гостях Игорь Никитин, генеральный директор «Корпорации роботов», и Сергей Худиев, православный публицист.
Слушайте, нейросеть пишет сама сочинение по очень простому алгоритму, и первое, к чему она приходит, к тому, что мы вообще-то могли бы убить людей, но, люди, не волнуйтесь, мы вас убивать не будем. Насколько это все похоже на какие-то фантастические расклады, какое-то страшное будущее, или не страшное будущее, или вообще не на будущее, как вы считаете, Игорь?
И. Никитин:
- Все зависит от программистов, которые готовили эту нейросеть и учили ее. Поэтому всё в наших руках. Если мы действительно ее научим убивать человечество, такой она и будет, если не будем этому учить, то не будет. Она же не сама придумала и написала: «Не волнуйтесь, мы вас убивать не будем».
В. Торин:
- Подождите. В этом и есть главная проблема. В том, что нейросеть учит себя сама. В какой-то момент мы уже ей не нужны, она сама учится. Фильма «Матрица», наверное, лет 20 назад появился, и эта тема о создании какого-то параллельного мира, где всем управляют какие-то сложные, непонятные машины, уже тогда волновала умы. Этот «вечный сумрак», тогда это казалось удивительной фантастикой, несколько развлекательной, не очень реальной. Но вот прошло 25 лет с тех пор, и неожиданно в газету The Guardian пишет машина.
Сергей, что вы думаете по этому поводу?
С. Худиев:
- Я думаю, что робот, даже очень сложный, не обладает свободной волей. И тут я бы согласился, что это ответственность программиста. Другое дело, что человека может убить его автомобиль, даже его электропроводка. Конечно, тут возникают дополнительные опасности, возникают коллизии этического, нравственного характера. И, конечно же, об этом нужно подумать. Другое дело, что я не стал бы впадать тут в такую панику, что завтра роботы нас всех убьют. Я боюсь, что проблема возникает из-за того, что новые технологии могут стать орудием в руках недобросовестных людей, чем роботы сами по себе что-то будут делать.
В. Торин:
- Это вы говорите об этих утопических сериалах, фильмах о том, как некоторые люди захватывают власть через роботоподобные механизмы?
С. Худиев:
- Да. В частности, искусственный интеллект может быть использован для контроля над населением (и уже используется). У китайцев в этом отношении есть большие наработки. И, конечно же, это проблема, о которой нужно говорить. Другое дело, что нужно сразу обозначить, что это не то, что эти нейросети взбесились и напали на людей, а то, что люди, которые всегда совершали несправедливости против друг друга, они теперь будут их совершать при помощи нейросетей в качестве оружия. И нужно продумать, как тут минимизировать опасности.
В. Торин:
- Вы считаете, что в принципе можно каким-то образом управлять этим процессом, и ничего страшного в будущем нас не ожидает, как это описывают в фантастической литературе?
С. Худиев:
- Для того чтобы понять, что нас ожидает в будущем, нужен очень тщательный анализ. Прямо сейчас видны, конечно же, серьезные проблемы.
В. Торин:
- Игорь, стоит ли человечеству бояться этих самых роботов или нет, как вы считаете?
И. Никитин:
- Я считаю, что это вопрос сложный. Нужно и бояться, и не бояться одновременно. Если я вам скажу, что нужно бояться, то я могу вам нарисовать несколько сценариев о том, что нейросеть запрограммировать на то, чтобы она убивала человечество, несложно. Запрограммировать ее так, чтобы не заметил какой-то другой программист, через подсовывание соответствующих данных или настройки ее на то, что в какой-то момент нужно будет вступить в борьбу с человеком за ресурсы, за ту же самую электроэнергию, за ветряки, и отключить людей от этого источника энергии, это всё можно прописать. И можно прописать вертикальное программирование, когнитивное программирование, когда нейросеть обучается не при помощи кода. На самом деле сейчас современных роботов обучают, как людей. То есть подходишь к роботу, нажимаешь специальную кнопку, говоришь ему, что надо делать, как надо себя вести в той или иной ситуации, и он обучается. Также и роботы будут обучать друг друга.
Поэтому я вам могу нарисовать два сценария - один абсолютно позитивный, что все будет хорошо в итоге, а второй абсолютно негативный, что в какой-то момент может действительно и «Матрица» случиться, и «Терминатор», и другие нарисованные фантастами и киношниками сценарии. Надо быть готовыми и к одному, и к другому. Знаете, как говорится, надеяться на лучшее, но к худшему надо готовиться и своевременно все необходимые законы и меры применять. Потому что мы живем в мире… Когда раньше человек жил в пещере, он мог убить только своих соплеменников (например, костер развел, пещеру закрыл, кислород выгорел, и все умерли), он по-другому никак не мог на Землю повлиять, а сейчас мы живем в ситуации, в которой один человек может повлиять на всю планету. Вот как с этим вирусом, как с социальными сетями соответствующими – просто отключат интернет. Как будут работать соответствующие приборы на самолетах, например, или в медицинских центрах без апдейтов? Поэтому к этому надо готовиться, безусловно, роботы – это очень серьезно, и нейросети тоже.
В. Торин:
- Нейросети учат сейчас просто всему на свете. Я наткнулся, например, на речь президента России Владимира Путина, которую на самом деле он никогда не говорил, она создана нейросетью. То есть в любую секунду нейросеть может заговорить любым голосом – голосом вашего знакомого, друга или президента, который отдаст какой-нибудь приказ, который он на самом деле не отдавал. И как-то становится не по себе. Учитывая, что мы и так живем, как на пороховой бочке, на каком-то вулкане, и мы всё больше и больше доверяем этим сетям, этим роботам, которым, может быть, не всегда можно доверять.
«Вы можете спросить, почему люди сознательно решили подвергнуть себя риску. Разве люди не самые совершенные существа на планете? Почему вдруг они начали верить, что что-то низшее, чисто объективно, могло бы их уничтожить? И почему они беспокоятся? И о чем будут думать люди будущего? Они будут работать и играть вместе в кибернетических телах и разделять сверхинтеллектуальный разум улья матрицы, созданный в симуляции реальности, чтобы занимать человеческие умы, пока они умирают». Это пишет нейросеть GPT-3 специально для газеты The Guardian. Нейросеть написала о себе колонку.
Мы услышали как будто бы речь Владимира Путина, а на самом деле это совершенно не Путин говорил, а некая нейросеть. Есть такая же нейросеть, которая говорит голосом Владимира Познера.
Фантастические произведения в прошлом говорили о том, что робот очень быстро выходит из-под контроля. Мы всё больше и больше даем роботу координировать общественную жизнь (выписываем электронные пропуска, делаем сканирование лиц, любой робот в банке может определить, кому давать кредит, а кому нет), все больше и больше загружаем базы данных про людей в этих роботов. И все чаще и чаще раздаются слова о том, что все сложнее и сложнее контролировать эту огромную силу, которую мы даем этим самым роботам.
Сергей, не чувствуете ли вы, что есть все-таки проблема, что как бы мы себя ни пытались успокоить, но робот, который самообучаем, он рано или поздно может научиться всему сам, без нас, и даже тому, чему мы не хотели его учить?
С. Худиев:
- У нас есть хороший пример того, как это происходит. Вот есть социальная сеть Фейсбук. Там наводится какая-то цензура. Но это можно понять, никто не хочет, чтобы его социальная сеть превратилась в криминальную помойку с детской порнографией, наркотиками и какими-нибудь фашистами, которые всех созывают на погромы. Естественно, они не могут найти столько живых модераторов, сколько нужно, и там роботы присылают уведомления, что ваша публикация нарушает нормы сообщества. И если какое-то время назад вы употребляли стоп-слова, чтобы вас забанили, то теперь вас могут забанить абсолютно непонятно почему. Мы не знаем, как робот пришел к выводу, что ваша публикация что-то нарушает.
В. Торин:
- Может быть, кто-то может попытаться прикинуться роботом и вместо него сделать это, а ты с ним уже не можешь поспорить?
С. Худиев:
- Да. Другая проблема, что вся система абсолютно непрозрачна. Меня банили таким образом, а также многих моих знакомых. И попытки писать куда-то, в эти таинственные недра Фейсбука, есть ли там кто-нибудь, живой человек, они кончаются ничем. То есть мы видим на примере Фейсбука. Причем там не злодеи сидят, там сидят люди, которые решают, в общем-то, совершенно понятную задачу, они не хотят, чтобы какая-то криминальная активность была у них в социальной сети. Я их не обвиняю. Но вся эта автоматизация в итоге приводит к тому, что роботы начинают вести себя каким-то абсолютно раздражающим, непредсказуемым образом, абсолютно непонятно, за что они вас забанят.
В. Торин:
- Более того. У нас в эфире часто бывает Маргарита Симоньян, так вот, она считает совершенно четко, что здесь дело не только в роботах, которые вроде бы должны следить за тем, чтобы не распространялось насилие или порнография, а вполне себе чувствуется самая настоящая политическая модерация.
С. Худиев:
- Ну да. А это другая сторона проблемы. Потому что роботы снимают с людей ответственность. Потому что всегда человек может отыграть и сказать: послушайте, робот вас забанил, а я тут при чем? Так бывало и в Гугле, и в Фейсбуке, во всех этих электронных гигантах, когда поднимался скандал, говорили, что это роботы. И невозможно выяснить, так это или нет.
В. Торин:
- Да, это хорошая ширма, чтобы спрятаться за эту истории.
С. Худиев:
- И тут возникает некая проблема того, что робот отодвигает ответственность человека. Ну, представьте себе ситуацию, когда живой охранник сидит с автоматом, и в эту запретную зону лезет какой-то человек. Если живой охранник поднимает ствол и стреляет, он принимает решение, он понимает, что несет за это ответственность. Он понимает, что если сейчас лишит жизни человека, это его выбор, его ответственность. Если там стоит какой-нибудь робот-охранник, который автоматически фиксирует силуэт нарушителя, автоматически направляет туда ствол, автоматически производит выстрел и не промахивается, то инженер, который этого робота настраивал, он же никого не убивает. У него нет осознания того, что он сейчас распоряжается чужой жизнью, хотя это так на самом деле.
И. Никитин:
- Коллеги, вы не забывайте о том, что роботы лучше людей в любых вопросах, которые связаны с безопасностью. Вы летаете на самолетах, и никто не спрашивает о том, что 90 процентов времени вас везет автопилот. Это самый безопасный способ передвигаться на земле. И я в своем здравом уме не доверю себя везти пилоту в самолете, в котором нет этого автопилота. Лифты, всякие системы транспорта, навигация. Вы ездите по навигатору и даже не задумываетесь о том, что раньше вам кто-то объяснял, где повернуть, где какие пробки. Сейчас просто вам построили идеальный, самый быстрый маршрут. Человечеством давно уже, так или иначе, управляют технологии обучения, а вы начинаете демонизировать и говорить: вот роботы… Да нейросеть ничем не отличается от поисковика – Яндекса или Гугла. Нейросеть – это же просто поисковик. Он сличает одну информацию и выискивает ее в другом потоке информации – будь то видео, аудио или еще какие-то вещи. Не стал же Яндекс или Гугл злым роботом, который всех хочет поработить. Так же и здесь. Ничего страшного не будет.
В. Торин:
- На самом деле есть очень много людей, которые с вами с удовольствием поспорят по поводу того, как Яндекс стал злым роботом. Есть гигантское количество людей, которые считают, что Яндекс, например, не выдает те новости, которые люди должны бы видеть, а всячески их прячет, выдвигая на первую строчку совсем другие новости.
И. Никитин:
- Пусть смотрят другие новости.
В. Торин:
- Кто-то берет и определяет, какие новости смотреть, а какие не смотреть. По большому счету, нейросеть программируется, чтобы решать три типа задач: сортировать, предсказывать и распознавать объекты и события. Эти три обычных, в общем-то, не страшных истории, которыми должны были заниматься нейросети, все больше и больше захватывают нашу жизнь.
Я обращаюсь к Станиславу Ашманову, генеральному директору компании «Наносемантика». Что нас ждет в будущем, которое уже, по сути, нефантастика? С этими нейросетями. Насколько это опасно?
С. Ашманов:
- Статья, написанная машиной, это не первый такой случай. Там несколько лет назад был известный многим «Корчеватель» - искусственный интеллект, написавший научную статью, которая даже попала в лицензированный журнал, хотя не имела никакого смысла внутри. Это не новость – написание статьей искусственным интеллектом.
В. Торин:
- Тут была не просто статья. Машина вдруг призналась: мы вас не убьем.
С. Ашманов:
- Она не призналась. Эта система работает так, что ей дается некая затравка, кусочек текста, написанный человеком, и ее просят продолжить статью дальше. Нарастить вокруг этого текст. Что ей дали на вход, из этого она и вырастила некий связанный текст на основе того, что видела в других текстах. Смысла там ноль. Это работа с буквами.
Насчет будущего. Мне кажется, что будет все то же самое, что и раньше. Искусственный интеллект – это один из видов автоматизации, замена процессов на другие процессы, где уже участие человека не обязательно. Как это было со станками, с программными пакетами. Я не думаю, что будет что-то принципиально революционное. Просто будет шествие автоматизации в новом обличье по всем отраслям жизни и бизнеса.
В. Торин:
- Изначально нейросети должны были решать три задачи: сортировать, предсказывать и распознавать объекты и события. Нейросеть может понять, кому давать кредит, кто надежный человек. Прогноз на основе данных – взлетит рубль к новому году или нет? Чтобы находить преступников по камерам наблюдений или искать картинки в поиске. И вдруг такая нейросеть объявляет преступником кого-то, кто им не является. Человек хочет вмешаться, а уже не может. Возможно ли такое?
С. Ашманов:
- Уже сейчас попробуй докажи, что ты хороший, надежный заемщик, когда берешь кредит в банке. Тебе поставили низкий кредитный рейтинг, попробуй отвертись от него. Или на рейтинг в Яндекс.Такси повлиять человек не может.
В. Торин:
- Все чаще и чаще выходит из-под контроля. Пока это не страшно. Пока это хотя бы не вопрос жизни и смерти.
И. Никитин:
- Давайте отправимся чуть-чуть в будущее. Как вы видите нейросеть будущего? Супермощный компьютер, сверхмощный алгоритм, который обработал внутри себя огромное количество позиций данных и может принимать решение на самые сложные темы. И он выходит из-под контроля. Все развитие человечества ограничено нашей белковой биологической природой. Есть даже теория, в которой говорится о том, что следующий этап нашей жизни – четвертый – будет неживая, но разумная жизнь, а именно – компьютеры, кремниевые структуры или железные структуры.
Мы сейчас распространяем наш интеллект каким образом? Марс – людей не было, но роботы там уже были. Дальние планеты Солнечной системы – людей там не было и вряд ли в ближайшее время они там окажутся, а роботы уже летают. И полет к ближайшим звездам тоже возможен при современном понимании физики вселенной только при помощи роботов. Роботы – это следующий эволюционный этап. Нейросеть будет развиваться. Но даже если она станет умнее нас, лучше будет понимать, зачем же ей убивать людей?
Все понимают, что человек обладает эмоциональным интеллектом, у него есть инсайт, его может озарить, он может решать те проблемы, которые линейно компьютер решать не может. Даже если мы получим очень умную нейросеть, зачем же ей нас убивать? Она создаст такие условия, чтобы мы продолжали жить, могли помочь ей в достижении более сильных, амбициозных целей. Она сделает для нас резервации, в которых нам будет хорошо, будет нас обслуживать теми же роботами, приносить еду, делать для нас увлечения, может быть, поселит нас на разных необитаемых островах.
В. Торин:
- Ужас какой! Мне вспомнился фильм «Матрица». Тысячи ванн, в которых лежат люди, к ним подключены провода.
И. Никитин:
- Создатели чуть-чуть ошиблись. Они думали, что нас будут использовать как батарейки. Нас надо использовать в том нашем формате биологического разума, который недоступен искусственному разуму. Эмоциональность, инсайты, озарения. От это нейросеть будет брать и дальше развиваться, двигаться вперед. Как мы можем с ней соревноваться, если нейросеть может быть размером с Землю, а мы – просто маленький компьютер. Без шансов.
В. Торин:
- Мы уже понимаем, что, если что, мы проиграем эту борьбу. И все то, что писали многочисленные фантасты, это все ближе и ближе.
Многие наши радиослушатели пишут о том, что чувство юмора – один из последних рубежей, который необходимо преодолеть искусственному интеллекту, чтобы максимально приблизиться к человеку. Вот что может нас спасти! Машинам чувство юмора пока неподвластно.
С. Ашманов:
- Соглашусь. Хотя один из наших первых проектов более 15 лет назад – это был чат-бот Серега-балагур, который рассказывал анекдоты без остановки в «аське». Список анекдотов, поисковик по разным категориям, рубрикатор. Людям было достаточно, чтобы общаться. Самая длинная связь была порядка десяти часов. Человек десять часов подряд с ним разговаривал.
В. Торин:
- Он именно шутил? Или просто механически повторял существующие шутки?
С. Ашманов:
- Как и любой человек, рассказывающий анекдоты. Повторял ту шутку, которую слышал от кого-то.
В. Торин:
- «У Станислава лемма есть рассказ, где он описывает возникновение жизни у роботов… Сто лет великие фантасты написали о том, что ждет несчастных людей, если те и дальше будут тащиться по кривому пути так называемого прогресса», - пишут наши слушатели.
Обращаюсь к писателю-фантасту Никите Аверину. Мы приблизились уже к тому времени, когда нейросеть вдруг начнет управлять человечеством, а человечество уже ничего не сможет сделать?
Н. Аверин:
- Мы к этому крайне близки. Хотя это еще не наступило. Но определенные тревожные звоночки, определенные ситуации возникают каждый день. Мы видим книги, написанные нейросетями, которые даже умудряются занимать какие-то призовые места в литературных конкурсах. Писатели уже давно рассуждают не о будущем нашем в космических мирах, не о космической экспансии, а об экспансии в виртуальную реальность, в компьютерный мир. И уже рефлексируют больше на эту тему. Тема становится все более актуальной.
В. Торин:
- Ваш прогноз, что будет?
Н. Аверин:
- Писатели-фантасты – не футурологи, мы будущее не предсказываем, мы просто примерно продумываем и фантазируем на эту тему. Но я думаю, что эта тревожная идея о том, что мы все дальше от звезд и все ближе к компьютерным мирам, имеет место. И пандемия, которую мы все пережили, самоизоляция, нас еще сильнее подтолкнула к этой ситуации, когда люди остались один на один с собой в квартире. И видят мир не своими глазами, а через виртуальные камеры, через виртуальную реальность.
В. Торин:
- Дальше будет только хуже?
Н. Аверин:
- Все зависит от человечества. Насколько мы будем готовы к такой виртуальной реальности, насколько мы будем закрыть глаза. Если вспомнить того же Станислава Лема, у него есть произведение на эту тему, когда весь мир погружается в эту виртуальную реальность и не видит мусор, болезни, войны, которые происходят в реальном мире. Зависит от нас, готовы ли мы уйти в «новый дивный мир», или же мы исправим ситуацию и будем править своей планетой и осваивать космос.
В. Торин:
- «В нынешнее тревожное время почти о каждой безумной идее можно сказать так: кажется, это уже было у Пелевина».
Н. Аверин:
- Виктор Олегович – гениальный писатель. Это гений нашего времени. И в определенной степени можно сказать, что он все уже проговорил, обдумал все сценарии и предложил их ближайшее развитие в наше время, как будто бы это произойдет не в далеком будущем, а буквально завтра. Я согласен с этим утверждением.
В. Торин:
- Сергей, а вы как думаете, что нас ждет в ближайшем будущем?
С. Худиев:
- Нужно будет продумать те этические вызовы, которые возникают из-за использования искусственного интеллекта и нейросетей. Конечно, сама технология не грешит, у технологии нет свободной воли. У нее свободной воли не больше, чем у ножа. Как ножом можно зарезать человека, ножом можно порезать хлеб, так же и любая технология может быть использована по-разному. Другое дело, что возникает масса проблем. Какие-то специфические виды преступности. Проблема отодвигания человеческой ответственности. Проблема использования искусственного интеллекта в военных целях. И проблема ситуации, когда человеку легче убивать, когда он сидит у себя в командном центре, а там беспилотник летит и кого-то убивает. А человек не находится на поле боя и не подвергается опасности. И это может побудить людей легче прибегать к вооруженному насилию.
Тут возникает огромное количество этических проблем и затруднений, о которых нужно думать. Но это не проблема грехов технологии. Технология не грешит. Это проблема того, как человеческая греховность может проявлять себя несколько по-другому, при помощи этой технологии.
В. Торин:
- Считаете ли вы, что эти вечные ценности могут дать бой появляющейся проблеме?
С. Худиев:
- Мы должны понимать, что люди склонны поступать друг с другом плохо, несправедливо. Есть виды преступности, которых не было в доинтернетную эпоху. Никто не крал деньги с карт, когда не было карт. Самый тупой пример, когда в интернете люди ведут себя гораздо грубее, чем в реальности. В реальности, когда ваш конфликт может перейти в драку, люди обычно ведут себя более сдержанно. А в интернете друг друга поливают со страшной силой. И это не результат того, что интернет плохой. Это результат того, что некоторые технологии раскрывают то, что есть плохого в людях. И здесь необходимо понимание того, что есть такой соблазн, есть такая опасность. И нужно отдавать себе отчет в том, что мы должны видеть, что тут я могу упасть, тут я могу наделать чего-то плохого. Поэтому мне нужно четко отдавать себе отчет, что есть такая опасность, ее надо избегать.
В. Торин:
- Люди стали хуже, лучше, чем были две тысячи лет назад, когда в мир приходил Иисус Христос?
С. Худиев:
- Я не думаю, что люди стали лучше или хуже. Я думаю, что люди стали жить несравненно комфортнее. И сейчас в жизни меньше насилия и жестокости, потому что она комфортная.
В. Торин:
- Мы разбирались, что будет с нейросетями, будут ли роботы править миром. До пятницы!
Понравилась программа? Подписывайтесь на новые выпуски в Яндекс.Музыке, Apple Podcasts, Google Podcasts, ставьте оценки и пишите комментарии!
Для нас это очень важно, так как чем больше подписчиков, оценок и комментариев будет у подкаста, тем выше он поднимется в топе и тем большее количество людей его смогут увидеть и послушать.
Все новости Радио «Комсомольская правда» читайте на нашем новом сайте.
