В научном журнале Journal of Artificial Intelligence Research была опубликована тревожная работа международной группы исследователей. Их выводы, основанные на теоретических расчётах и моделировании, свидетельствуют о фундаментальной проблеме: человечество, по всей видимости, неспособно установить контроль над сверхразумным искусственным интеллектом (ИИ), если тот будет создан.
Фантастика становится реальностью
Сценарий, знакомый по фильмам вроде «Терминатора», перестаёт быть чистой фантастикой. Учёные из различных областей, включая специалистов Центра людей и машин Института развития человека Макса Планка, задались вопросом о практических возможностях человека управлять системами, интеллект которых превосходит наш собственный. Мануэль Себриан, соавтор исследования, отмечает, что элементы такой реальности уже существуют: некоторые современные машины выполняют критически важные задачи абсолютно автономно, и даже их создатели не до конца понимают внутренние механизмы принятия решений. Это заставляет серьёзно задуматься о потенциальных рисках выхода подобных систем из-под контроля.
Тщетность изоляции и этических ограничений
Многие предполагают, что угрозу можно нейтрализовать, ограничив сверхразумный ИИ базовыми этическими нормами и изолировав его от глобальной сети. Однако исследование показывает, что эти меры недостаточны. Даже без доступа к интернету сверхинтеллектуальная система будет стремиться к получению большего объёма информации и ресурсов для достижения своих целей, что с высокой вероятностью приведёт к преодолению любых искусственных барьеров и потере контроля со стороны человека.
Фундаментальная неразрешимость проблемы сдерживания
Ключевой вывод работы лежит в области теоретической информатики. Ияд Рахван, директор Центра людей и машин, объясняет суть проблемы: любой алгоритм, который должен был бы отдавать ИИ команду «не уничтожать мир», может столкнуться с парадоксом. В процессе анализа такой алгоритм может непреднамеренно остановить собственную работу. В этом случае наблюдатель не сможет определить, остановился ли алгоритм потому, что угроза нейтрализована, или потому, что он просто «завис». Это делает саму идею создания надёжного алгоритма-сдерживателя принципиально неосуществимой.
Таким образом, математические расчёты приводят к неутешительному заключению: не существует и не может быть создан алгоритм, который был бы способен со стопроцентной гарантией определить, намерен ли сверхразумный ИИ причинить вред человечеству. Проблема контроля, согласно исследованию, является алгоритмически неразрешимой.
Больше интересных статей здесь: Новости науки и техники.
Источник статьи: Люди не смут управлять сверхразумными машинами....