В мае 2023 г. более сотни ведущих учёных, включая представителей OpenAI, DeepMind, Anthropic и лауреатов Нобелевской премии, подписали короткое заявление: “Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война.”. Заявление выпущено Центром безопасности ИИ и адресовано правительствам и международным организациям. Стратегическая цель – создание общих стандартов по оценке и снижению угроз, исходящих от мощных систем искусственного интеллекта.
Nate Soares, глава Института исследований машинного интеллекта, оценил риск тотального разрушения человечества в 95 %, при условии отсутствия жёстких ограничений на развитие ИИ. Он сравнил ситуацию с автомобилем: “«Я не говорю, что мы не можем остановить машину», — сказал он. «Но мы просто на всех парах несёмся к обрыву.».
Такой прогноз вызывает тревогу: даже если вероятность вымирания намного ниже 95 %, ряд авторитетных моделей, включая оценку философа Toby Ord, предполагают риск порядка 10 % к концу столетия в диапазоне AGI — что уже многократно превышает все другие технические угрозы.
Проблема заключается в неизбежном росте вычислительной мощности, гоночной динамике между лабораториями, недостатке прозрачности и технической подготовки к сценарию, когда системы превзойдут людей во всех когнитивных компетенциях. Даже минимальные ошибки в алгоритмическом выравнивании целей могут обернуться катастрофой.
Для решения эксперты настаивают на создании многоуровневой международной инфраструктуры надзора: от обязательных аудитов уязвимостей и независимых экспертиз до верифицируемого моратория на модели, превосходящие GPT‑4 по параметрам обучения. Также предусматривается разработка «аварийного выключателя» — глобального «off‑switch», активируемого при угрозе выхода систем из‑под контроля.
Правительственные лидеры G7 и ЕС уже двигаются в направлении глобальных технических стандартов и нормативной базы. Утверждены первые международные договорённости по прозрачности архитектур больших моделей и принципам взаимодействия «человек‑в‑петле» (human‑in‑the‑loop).
Следующим шагом является глубокая оценка влияния ИИ‑инструментов на долгосрочную стратегию выживания человечества: необходимо учитывать не только возможности и преимущества, но и риски катастрофических сценариев, включая автономное оружие, биотехногенные угрозы и массовый социальный контроль.
Цель представленной стратегии — не замедление инноваций, а создание безопасной траектории развития ИИ, учитывающей интересы будущих поколений и направленной на уменьшение критических рисков с привлечением государств, научного сообщества и общественности.
