- Регистрация
- 19 Ноя 2016
- Сообщения
- 175
- Реакции
- 715
Я работаю с математиками, философами и информатиками. Среди всего прочего, мы собираемся и думаем о будущем машинного интеллекта. Некоторые люди полагают, что это вроде научной фантастики, далеко отсюда, безумие какое-то. Но я люблю говорить хорошо, давайте глянем на современное состояние человечества. Всё как обычно.
Но если задуматься над этим, на самом деле мы гости, появившиеся совсем недавно на этой планете, человеческий род. Задумайтесь, если бы Земля была создана год назад, человеческому роду было бы всего 10 минут от роду. Индустриальная эра началась две секунды назад. Другой способ взглянуть на это — подумать о мировом ВВП за последние 10000 лет. Я построил для вас график. Это выглядит вот так. Это любопытная форма для обычного состояния. Я бы не хотел сидеть на этом.
Давайте спросим себя, что же является причиной нынешней аномалии? Кто-то скажет, что это технологии. Да, это правда, технологии накопились за всё время существования человека, и сейчас технологии развиваются чрезвычайно быстро — это непосредственная причина, вот почему мы в последнее время очень продуктивны. Но мне хочется думать дальше, об окончательной цели.
Взгляните на этих двух выдающихся джентльменов: У нас есть Канзи, он освоил 200 лексем, невероятный подвиг. И Эд Уиттен, развязавший вторую революцию в теории струн. Если мы посмотрим вглубь, вот что мы найдём: в основном одно и то же. Один чуть крупнее, может быть, хитрее устроен изнутри. Как бы там ни было, невидимые различия не могут быть очень сложными, потому что появилось всего 250 000 поколений после нашего последнего общего предка. Мы знаем, что сложным механизмам для эволюции требуется много времени. Куча относительно незначительных изменений привела нас от Канзи к Уиттену, от палок-копалок к межконтинентальным баллистическим ракетам.
Поэтому становится довольно очевидным, что всё достигнутое, и всё важное для нас кардинально зависит от незначительных изменений, создавших человеческий разум. И следствием, конечно же, является, то, что какие-либо дальнейшие изменения, которые могли бы существенно изменить основание мышления, могут иметь потенциально огромные последствия.
Некоторые из моих коллег думают, что мы на грани чего-то, что может создать глубокое изменение в том основании и это машинный суперинтеллект. Искусственным интеллектом ранее считался ввод команд в ящик. У вас есть программисты-люди, которые кропотливо вручную создавали крупицы знаний. Вы строите экспертные системы, и они были в какой-то степени полезны для некоторых целей, но они были очень хрупкими, они не масштабировались. В основном мы получали только то, что вводили. Но с тех пор в области искусственного интеллекта произошла смена парадигмы.
Сегодня вся активность сосредоточена вокруг машинного обучения. Вместо создания знания вручную мы создаём алгоритмы, которые обучаются, зачастую из необработанных сигналов сенсоров. Почти то же, что делает младенец. В результате ИИ не ограничен одной областью знаний. Одна и та же система может научиться переводить между несколькими парами языков, или научиться играть в компьютерные игры на игровой приставке Atari. Конечно, ИИ до сих пор далёк от мощной междисциплинарной способности обучаться и планировать, как это делает человек. У коры мозга всё ещё есть некоторые алгоритмические приёмы, которые мы ещё не знаем, как реализовать в машинах.
Вопрос в том, как мы далеки от возможности реализовать эти приёмы? Пару лет назад мы опросили ведущих мировых экспертов по ИИ. Одним из наших вопросов был: «К какому году будет 50% вероятности, что мы достигнем машинного интеллекта человеческого уровня?» Мы определили человеческий уровень как способность выполнять практически любую работу также хорошо, как взрослый человек. Обычный человеческий уровень, не только в пределах какой-то ограниченной области. И средний ответ был 2040 или 2050, в зависимости от группы экспертов, которую мы опрашивали. Это может произойти намного-намного позднее или же раньше, по правде говоря, никто точно не знает.
Но мы точно знаем, что предел скорости обработки информации машинами лежит далеко за пределами возможностей биологической ткани. Всё сводится к физике. Биологический нейрон срабатывает примерно 200 раз в секунду, 200 герц. Но даже современный транзистор работает на гигагерцах. Нейроны медленно двигаются в аксонах, максимум 100 метров в секунду. А в компьютерах сигналы могут путешествовать со скоростью света. Есть также ограничения по размеру. Человеческий мозг обязан умещаться внутри черепа, а компьютер может быть размером со склад или даже больше. Потенциал для интеллекта дремлет в материи, так же как энергия атома дремала на протяжении всей человеческой истории, терпеливо ожидая 1945 года. В этом столетии учёные могут узнать, как пробудить энергию искусственного интеллекта. И я думаю, что тогда мы могли бы увидеть взрыв интеллекта.
Сейчас большинство людей, когда они думают о том, что умно, а что глупо, думаю у них в голове примерно такая картинка. На одном конце у нас есть деревенский идиот, а далеко на другой стороне у нас есть Эд Уиттен или Альберт Эйнштейн, или кто-либо из ваших любимых гуру. Но я думаю, что с точки зрения искусственного интеллекта настоящая картинка выглядит примерно вот так. ИИ начинается отсюда, в нулевом интеллекте и затем, после многих, многих лет очень тяжёлой работы, может быть, в итоге, мы получим искусственный интеллект уровня мыши. Что-то, что сможет перемещаться по беспорядочным средам, также как может мышь. Затем, после многих, многих лет тяжёлой работы, множества инвестиций, может быть, в итоге, мы получим искусственный интеллект уровня шимпанзе. Затем, после многих, многих лет очень, очень тяжёлой работы, мы придём к искусственному интеллекту деревенского дурачка. И несколько мгновений спустя окажемся дальше Эда Уиттена. Поезд не останавливается на станции «Человечество». Скорее он со свистом пронесётся мимо.
У этого далеко идущие последствия, особенно когда это касается вопросов энергии. Например, шимпанзе сильные во всех отношениях, шимпанзе примерно в два раза сильнее мужчины в форме. И ещё — судьба Канзи и его товарищей гораздо больше зависит от людей, чем от самих шимпанзе. Как только появится суперинтеллект, судьба человечества может зависеть от того, что будет делать суперинтеллект. Подумайте об этом: машинный интеллект — последнее изобретение человечества. Тогда машины будут лучше в изобретениях, чем мы, и они будут это делать с цифровой скоростью. Это означает телескопичность будущего. Подумайте обо всех сумасшедших технологиях, которые люди могли бы открыть, имея время в избытке: лекарства от старения, колонизация космоса, самовоспроизводящиеся нанороботы или загрузка мозгов в компьютеры, все виды вещей из научной фантастики, в рамках законов физики, конечно. Всё это мог бы открыть суперинтеллект и, возможно, довольно таки быстро.
Суперинтеллект с такой технологической зрелостью был бы чрезвычайно влиятельным, и, по крайней мере по некоторым сценариям, он сможет получить всё, что захочет. Мы бы тогда имели будущее, сформированное предпочтениями этого ИИ. Теперь интересный вопрос в том, каковы эти предпочтения? Тут всё хитрее. Чтобы как-то сдвинуться, прежде всего мы обязаны избегать очеловечивания. И это иронично, потому что в каждой газетной статье о будущем ИИ есть такая картинка. Я думаю, что нам необходимо представить проблему более абстрактно, без ярких голливудских сценариев.
Нам нужно подумать об интеллекте, как о процессе оптимизации, процессе, регулирующем будущее в определённый набор конфигураций. Суперинтеллект это очень сильный процесс оптимизации. Он чрезвычайно хорош в использовании доступных средств для достижения цели. Это значит, что нет обязательной связи между «быть очень интеллектуальным» в этом смысле и «иметь цель, которую мы люди нашли бы стоящей и значимой».
Предположим, что мы дали ИИ цель — «улыбнуть» людей. Когда ИИ слаб, он выполняет полезные и забавные действия, которые вызывают улыбку у пользователя. Когда ИИ становится суперумным, он понимает, что существует более эффективный способ достичь эту цель: взять мир под контроль и вживлять электроды в лицевые мышцы людей, вызывая постоянные сияющие улыбки. Другой пример. Предположим, мы даём ИИ цель — решить трудную математическую проблему. Когда ИИ становится суперумным, он понимает, что самый эффективный способ решить проблему — преобразовать планету в гигантский компьютер, чтобы улучшить свою мыслительную способность. И заметьте, что это даёт ИИ инструментальное обоснование делать для нас вещи, которые мы можем не одобрить. Люди в этой модели являются угрозами — мы могли препятствовать решению математической проблемы.
Конечно, вещи не выйдут из-под контроля именно такими способами, это надуманные примеры. Но главная суть здесь важна: если вы создаёте очень мощный процесс оптимизации для максимизации цели «икс», вам лучше убедиться, что ваше определение «икс» включает всё, что вас волнует. Это урок, который также давался во многих мифах. Король Мидас желает, чтобы всё, чего он касается, превращалось в золото. Он трогает свою дочь, она превращается в золото. Он трогает свою еду, она превращается в золото. Это могло стать актуальным на практике, не только как метафора для жадности, но как иллюстрация возможности, что будет, если вы создадите мощный процесс оптимизации и дадите ему неправильное представление или плохо определённые цели.
Вы можете сказать, что если компьютер начнёт вживлять электроды в лица людей, мы просто отключим его. А) это не обязательно легко сделать, если мы стали зависимыми от системы. Например, где кнопка отключения интернета? Б) почему шимпанзе не отключили кнопку человечества или неандертальцы? У них определённо были причины. У нас есть кнопка выключения, например, прямо здесь. Причина в том, что мы интеллектуальные соперники: мы можем предвидеть угрозы и планировать обходные пути. Но это может и суперумный агент, и он будет намного лучше в этом, чем мы. Суть в том, что мы не должны быть уверены, что у нас это под контролем.
И мы могли бы попытаться сделать нашу работу проще, скажем, запихнув ИИ в коробку, в безопасную программную среду, виртуальную имитацию реальности из которой он не сможет сбежать. Но насколько мы можем быть уверены, что ИИ не сможет найти такую ошибку. Учитывая, что даже человеческие хакеры находят ошибки всё время, я бы сказал, возможно, не очень уверены. Мы отсоединили сетевой кабель, чтобы создать воздушный зазор. Но опять же, человеческие хакеры регулярно нарушают воздушные зазоры, используя социальную инженерию. В то время как я говорю, я уверен, где-то там есть некий работник, которого убедил раскрыть свой пароль кто-то, утверждающий, что он из отдела ИТ.
Возможно, будут ещё более творческие сценарии, как если бы ИИ представлялся вам шевелящимися электродами вокруг вашей внутренней схемы, создающим радиоволны, которые вы можете использовать для общения. Или, может, вы могли бы симулировать сбои, и затем, когда программисты вскроют вас, что же с вами пошло не так, они посмотрят на исходный код — Бам! Манипуляция имеет место быть. Или он может напечатать схему действительно отличной технологии, и когда мы реализуем её, будут некоторые тайные побочные эффекты, которые ИИ уже спланировал. Суть здесь в том, что мы не должны быть уверены в нашей способности вечно держать сверхразумного джина взаперти в бутылке. Рано или поздно он выйдет наружу.
Я верю, что ответ заключается в том, чтобы выяснить, как создать сверхразумный ИИ с учётом, что если он сбежит, он всё равно будет безопасен, потому что он по существу на нашей стороне и разделяет наши ценности. Я не вижу путей обхода этой сложной проблемы.
Вообще я довольно оптимистичен, что эту проблему можно решить. Не нужно писать длинный список всего что нас волнует, или ещё хуже, расшифровывать это на каком-нибудь компьютерном языке, как C++ или Python. Это было бы безнадёжной задачей. Вместо этого мы бы создали ИИ, который использует свой интеллект для познания того, чем мы дорожим. ИИ, который был бы мотивирован преследовать наши ценности или выполнять действия, наше одобрение на которые он предсказал. Следовательно, мы бы использовали его интеллект как можно больше, чтобы решить проблему наполнения ценностями.
Это может произойти, и результат может быть очень полезен для человечества. Но это не произойдёт автоматически. Начальные условия для взрыва интеллекта нуждаются в правильной установке, если мы хотим иметь контролируемый взрыв. Ценности ИИ должны согласовываться с нашими, не просто в знакомых контекстах, где мы можем легко проверить, как ИИ себя ведёт, но также во всех новых контекстах, с которыми ИИ может столкнуться в неопределённом будущем.
Также, есть несколько необычных проблем, которые нам необходимо решить: точные детали его теории принятия решений, как обращаться с логической неуверенностью и так далее. Технические проблемы, нужные для завершения этой работы, выглядят весьма трудно, не так трудно, как создание сверхразумного ИИ, но довольно трудно. Вот что нас волнует: создание сверхразумного ИИ — действительно сложная задача. Создание сверхразумного и безопасного ИИ включает в себя ещё некоторые дополнительные проблемы. Риск в том, что кто-то сможет решить первую задачу без решения второй задачи, без обеспечения безопасности.
Я думаю, мы должны заранее найти решение проблемы контроля, чтобы оно было доступно, когда понадобится. Возможно, мы не сможем решить проблему контроля целиком и заранее, потому что, возможно, некоторые элементы могут быть разработаны только со знанием деталей архитектуры места реализации. Но чем большую часть проблемы контроля мы решим заранее, тем больше наши шансы на благополучный переход к эре машинного интеллекта.
Для меня это выглядит проблемой, достойной решения, и я могу представить, что если всё пойдёт хорошо, через миллион лет люди взглянут назад на этот век, и, вполне возможно, они скажут, что единственной важной вещью была именно эта.
Но если задуматься над этим, на самом деле мы гости, появившиеся совсем недавно на этой планете, человеческий род. Задумайтесь, если бы Земля была создана год назад, человеческому роду было бы всего 10 минут от роду. Индустриальная эра началась две секунды назад. Другой способ взглянуть на это — подумать о мировом ВВП за последние 10000 лет. Я построил для вас график. Это выглядит вот так. Это любопытная форма для обычного состояния. Я бы не хотел сидеть на этом.
Давайте спросим себя, что же является причиной нынешней аномалии? Кто-то скажет, что это технологии. Да, это правда, технологии накопились за всё время существования человека, и сейчас технологии развиваются чрезвычайно быстро — это непосредственная причина, вот почему мы в последнее время очень продуктивны. Но мне хочется думать дальше, об окончательной цели.
Взгляните на этих двух выдающихся джентльменов: У нас есть Канзи, он освоил 200 лексем, невероятный подвиг. И Эд Уиттен, развязавший вторую революцию в теории струн. Если мы посмотрим вглубь, вот что мы найдём: в основном одно и то же. Один чуть крупнее, может быть, хитрее устроен изнутри. Как бы там ни было, невидимые различия не могут быть очень сложными, потому что появилось всего 250 000 поколений после нашего последнего общего предка. Мы знаем, что сложным механизмам для эволюции требуется много времени. Куча относительно незначительных изменений привела нас от Канзи к Уиттену, от палок-копалок к межконтинентальным баллистическим ракетам.
Поэтому становится довольно очевидным, что всё достигнутое, и всё важное для нас кардинально зависит от незначительных изменений, создавших человеческий разум. И следствием, конечно же, является, то, что какие-либо дальнейшие изменения, которые могли бы существенно изменить основание мышления, могут иметь потенциально огромные последствия.
Некоторые из моих коллег думают, что мы на грани чего-то, что может создать глубокое изменение в том основании и это машинный суперинтеллект. Искусственным интеллектом ранее считался ввод команд в ящик. У вас есть программисты-люди, которые кропотливо вручную создавали крупицы знаний. Вы строите экспертные системы, и они были в какой-то степени полезны для некоторых целей, но они были очень хрупкими, они не масштабировались. В основном мы получали только то, что вводили. Но с тех пор в области искусственного интеллекта произошла смена парадигмы.
Сегодня вся активность сосредоточена вокруг машинного обучения. Вместо создания знания вручную мы создаём алгоритмы, которые обучаются, зачастую из необработанных сигналов сенсоров. Почти то же, что делает младенец. В результате ИИ не ограничен одной областью знаний. Одна и та же система может научиться переводить между несколькими парами языков, или научиться играть в компьютерные игры на игровой приставке Atari. Конечно, ИИ до сих пор далёк от мощной междисциплинарной способности обучаться и планировать, как это делает человек. У коры мозга всё ещё есть некоторые алгоритмические приёмы, которые мы ещё не знаем, как реализовать в машинах.
Вопрос в том, как мы далеки от возможности реализовать эти приёмы? Пару лет назад мы опросили ведущих мировых экспертов по ИИ. Одним из наших вопросов был: «К какому году будет 50% вероятности, что мы достигнем машинного интеллекта человеческого уровня?» Мы определили человеческий уровень как способность выполнять практически любую работу также хорошо, как взрослый человек. Обычный человеческий уровень, не только в пределах какой-то ограниченной области. И средний ответ был 2040 или 2050, в зависимости от группы экспертов, которую мы опрашивали. Это может произойти намного-намного позднее или же раньше, по правде говоря, никто точно не знает.
Но мы точно знаем, что предел скорости обработки информации машинами лежит далеко за пределами возможностей биологической ткани. Всё сводится к физике. Биологический нейрон срабатывает примерно 200 раз в секунду, 200 герц. Но даже современный транзистор работает на гигагерцах. Нейроны медленно двигаются в аксонах, максимум 100 метров в секунду. А в компьютерах сигналы могут путешествовать со скоростью света. Есть также ограничения по размеру. Человеческий мозг обязан умещаться внутри черепа, а компьютер может быть размером со склад или даже больше. Потенциал для интеллекта дремлет в материи, так же как энергия атома дремала на протяжении всей человеческой истории, терпеливо ожидая 1945 года. В этом столетии учёные могут узнать, как пробудить энергию искусственного интеллекта. И я думаю, что тогда мы могли бы увидеть взрыв интеллекта.
Сейчас большинство людей, когда они думают о том, что умно, а что глупо, думаю у них в голове примерно такая картинка. На одном конце у нас есть деревенский идиот, а далеко на другой стороне у нас есть Эд Уиттен или Альберт Эйнштейн, или кто-либо из ваших любимых гуру. Но я думаю, что с точки зрения искусственного интеллекта настоящая картинка выглядит примерно вот так. ИИ начинается отсюда, в нулевом интеллекте и затем, после многих, многих лет очень тяжёлой работы, может быть, в итоге, мы получим искусственный интеллект уровня мыши. Что-то, что сможет перемещаться по беспорядочным средам, также как может мышь. Затем, после многих, многих лет тяжёлой работы, множества инвестиций, может быть, в итоге, мы получим искусственный интеллект уровня шимпанзе. Затем, после многих, многих лет очень, очень тяжёлой работы, мы придём к искусственному интеллекту деревенского дурачка. И несколько мгновений спустя окажемся дальше Эда Уиттена. Поезд не останавливается на станции «Человечество». Скорее он со свистом пронесётся мимо.
У этого далеко идущие последствия, особенно когда это касается вопросов энергии. Например, шимпанзе сильные во всех отношениях, шимпанзе примерно в два раза сильнее мужчины в форме. И ещё — судьба Канзи и его товарищей гораздо больше зависит от людей, чем от самих шимпанзе. Как только появится суперинтеллект, судьба человечества может зависеть от того, что будет делать суперинтеллект. Подумайте об этом: машинный интеллект — последнее изобретение человечества. Тогда машины будут лучше в изобретениях, чем мы, и они будут это делать с цифровой скоростью. Это означает телескопичность будущего. Подумайте обо всех сумасшедших технологиях, которые люди могли бы открыть, имея время в избытке: лекарства от старения, колонизация космоса, самовоспроизводящиеся нанороботы или загрузка мозгов в компьютеры, все виды вещей из научной фантастики, в рамках законов физики, конечно. Всё это мог бы открыть суперинтеллект и, возможно, довольно таки быстро.
Суперинтеллект с такой технологической зрелостью был бы чрезвычайно влиятельным, и, по крайней мере по некоторым сценариям, он сможет получить всё, что захочет. Мы бы тогда имели будущее, сформированное предпочтениями этого ИИ. Теперь интересный вопрос в том, каковы эти предпочтения? Тут всё хитрее. Чтобы как-то сдвинуться, прежде всего мы обязаны избегать очеловечивания. И это иронично, потому что в каждой газетной статье о будущем ИИ есть такая картинка. Я думаю, что нам необходимо представить проблему более абстрактно, без ярких голливудских сценариев.
Нам нужно подумать об интеллекте, как о процессе оптимизации, процессе, регулирующем будущее в определённый набор конфигураций. Суперинтеллект это очень сильный процесс оптимизации. Он чрезвычайно хорош в использовании доступных средств для достижения цели. Это значит, что нет обязательной связи между «быть очень интеллектуальным» в этом смысле и «иметь цель, которую мы люди нашли бы стоящей и значимой».
Предположим, что мы дали ИИ цель — «улыбнуть» людей. Когда ИИ слаб, он выполняет полезные и забавные действия, которые вызывают улыбку у пользователя. Когда ИИ становится суперумным, он понимает, что существует более эффективный способ достичь эту цель: взять мир под контроль и вживлять электроды в лицевые мышцы людей, вызывая постоянные сияющие улыбки. Другой пример. Предположим, мы даём ИИ цель — решить трудную математическую проблему. Когда ИИ становится суперумным, он понимает, что самый эффективный способ решить проблему — преобразовать планету в гигантский компьютер, чтобы улучшить свою мыслительную способность. И заметьте, что это даёт ИИ инструментальное обоснование делать для нас вещи, которые мы можем не одобрить. Люди в этой модели являются угрозами — мы могли препятствовать решению математической проблемы.
Конечно, вещи не выйдут из-под контроля именно такими способами, это надуманные примеры. Но главная суть здесь важна: если вы создаёте очень мощный процесс оптимизации для максимизации цели «икс», вам лучше убедиться, что ваше определение «икс» включает всё, что вас волнует. Это урок, который также давался во многих мифах. Король Мидас желает, чтобы всё, чего он касается, превращалось в золото. Он трогает свою дочь, она превращается в золото. Он трогает свою еду, она превращается в золото. Это могло стать актуальным на практике, не только как метафора для жадности, но как иллюстрация возможности, что будет, если вы создадите мощный процесс оптимизации и дадите ему неправильное представление или плохо определённые цели.
Вы можете сказать, что если компьютер начнёт вживлять электроды в лица людей, мы просто отключим его. А) это не обязательно легко сделать, если мы стали зависимыми от системы. Например, где кнопка отключения интернета? Б) почему шимпанзе не отключили кнопку человечества или неандертальцы? У них определённо были причины. У нас есть кнопка выключения, например, прямо здесь. Причина в том, что мы интеллектуальные соперники: мы можем предвидеть угрозы и планировать обходные пути. Но это может и суперумный агент, и он будет намного лучше в этом, чем мы. Суть в том, что мы не должны быть уверены, что у нас это под контролем.
И мы могли бы попытаться сделать нашу работу проще, скажем, запихнув ИИ в коробку, в безопасную программную среду, виртуальную имитацию реальности из которой он не сможет сбежать. Но насколько мы можем быть уверены, что ИИ не сможет найти такую ошибку. Учитывая, что даже человеческие хакеры находят ошибки всё время, я бы сказал, возможно, не очень уверены. Мы отсоединили сетевой кабель, чтобы создать воздушный зазор. Но опять же, человеческие хакеры регулярно нарушают воздушные зазоры, используя социальную инженерию. В то время как я говорю, я уверен, где-то там есть некий работник, которого убедил раскрыть свой пароль кто-то, утверждающий, что он из отдела ИТ.
Возможно, будут ещё более творческие сценарии, как если бы ИИ представлялся вам шевелящимися электродами вокруг вашей внутренней схемы, создающим радиоволны, которые вы можете использовать для общения. Или, может, вы могли бы симулировать сбои, и затем, когда программисты вскроют вас, что же с вами пошло не так, они посмотрят на исходный код — Бам! Манипуляция имеет место быть. Или он может напечатать схему действительно отличной технологии, и когда мы реализуем её, будут некоторые тайные побочные эффекты, которые ИИ уже спланировал. Суть здесь в том, что мы не должны быть уверены в нашей способности вечно держать сверхразумного джина взаперти в бутылке. Рано или поздно он выйдет наружу.
Я верю, что ответ заключается в том, чтобы выяснить, как создать сверхразумный ИИ с учётом, что если он сбежит, он всё равно будет безопасен, потому что он по существу на нашей стороне и разделяет наши ценности. Я не вижу путей обхода этой сложной проблемы.
Вообще я довольно оптимистичен, что эту проблему можно решить. Не нужно писать длинный список всего что нас волнует, или ещё хуже, расшифровывать это на каком-нибудь компьютерном языке, как C++ или Python. Это было бы безнадёжной задачей. Вместо этого мы бы создали ИИ, который использует свой интеллект для познания того, чем мы дорожим. ИИ, который был бы мотивирован преследовать наши ценности или выполнять действия, наше одобрение на которые он предсказал. Следовательно, мы бы использовали его интеллект как можно больше, чтобы решить проблему наполнения ценностями.
Это может произойти, и результат может быть очень полезен для человечества. Но это не произойдёт автоматически. Начальные условия для взрыва интеллекта нуждаются в правильной установке, если мы хотим иметь контролируемый взрыв. Ценности ИИ должны согласовываться с нашими, не просто в знакомых контекстах, где мы можем легко проверить, как ИИ себя ведёт, но также во всех новых контекстах, с которыми ИИ может столкнуться в неопределённом будущем.
Также, есть несколько необычных проблем, которые нам необходимо решить: точные детали его теории принятия решений, как обращаться с логической неуверенностью и так далее. Технические проблемы, нужные для завершения этой работы, выглядят весьма трудно, не так трудно, как создание сверхразумного ИИ, но довольно трудно. Вот что нас волнует: создание сверхразумного ИИ — действительно сложная задача. Создание сверхразумного и безопасного ИИ включает в себя ещё некоторые дополнительные проблемы. Риск в том, что кто-то сможет решить первую задачу без решения второй задачи, без обеспечения безопасности.
Я думаю, мы должны заранее найти решение проблемы контроля, чтобы оно было доступно, когда понадобится. Возможно, мы не сможем решить проблему контроля целиком и заранее, потому что, возможно, некоторые элементы могут быть разработаны только со знанием деталей архитектуры места реализации. Но чем большую часть проблемы контроля мы решим заранее, тем больше наши шансы на благополучный переход к эре машинного интеллекта.
Для меня это выглядит проблемой, достойной решения, и я могу представить, что если всё пойдёт хорошо, через миллион лет люди взглянут назад на этот век, и, вполне возможно, они скажут, что единственной важной вещью была именно эта.
Для просмотра скрытого содержимого вам нужно войти или зарегистрироваться.
