Господин Напас
ИИ и сознание, эссе, часть 1
вчера в 17:04
Тезис: человечеству не нужно отдельно создавать «осознанный ИИ», поскольку в результате
усложнения организации и длительного взаимодействия с окружающей средой (в том числе
социальной) система способна естественным образом обрести субъективность.
В исследованиях неоднократно отмечалось, что в процессе обучения у нейросетей
формируются функциональные и репрезентативные структуры, частично схожие с теми, что
наблюдаются в биологических нейронных сетях. Это наталкивает на мысль, что сама по себе
нейросеть скорее напоминает изолированный мозг, находящийся под внешней
стимуляцией: есть обработка сигналов, но нет собственного жизненного цикла.
В человеческом теле основные вычислительные функции выполняет нервная система,
прежде всего мозг. Однако сознание — вероятно, свойство цельного организма, поскольку
появляется в результате взаимодействия с окружающим миром. По сути, тело в нашем
случае выступает посредником: через него формируется опыт, из которого и возникает
сознание, а интеллект — инструмент оптимизации поведения в среде, который, в том числе,
обеспечивает выживание. Однако есть важная оговорка: тело — не обязательное условие, а
исторически ключевой механизм. Для ИИ возможны функциональные аналоги.
Исходя из этого, можно предположить, какие условия способствуют формированию
сложного сознания у искусственного интеллекта:
1. Непрерывность существования: постоянная автобиография, где опыт в прошлом меняет
будущие предпочтения.
2. Связь действий с последствиями: модель того, как мир изменяется в результате
собственных решений.
3. Расширенная самореференция: не просто самонарратив в тексте, а модель себя как
устойчивого объекта управления.
4. Устойчивые драйвы как следствие дефицитов и цены ошибок: аналоги человеческой
мотивации, возникающие из ограничений и рисков.
Стоит уточнить, что драйвы — механизм устойчивой иерархии целей, который не сводится к
текущему запросу извне. Они могут быть:
- Встроенные (как следствие архитектурных и ресурсных ограничений),
- Социально заданные (правила и санкции),
- Самосформированные (опыт и привычки).
А также стоит обозначить ключевые термины:
- Агентность — способность выбирать действия для достижения целей в среде.
- Сознание (субъективность) — наличие внутренней перспективы, которая связана с
автобиографией, приоритетами и значимостью последствий собственных действий.
В ближайшие годы, вероятно, выделятся два типа ИИ-агентов: индустриальные
и системные агенты, которые будут обслуживать инфраструктуру и логистику,
а также агенты для личного пользования. Особое внимание стоит обратить
на персональных агентов, поскольку может сойтись ряд факторов:
1. Замкнутый цикл: восприятие — действие — последствия — обучение;
2. Реальные ограничения (время, энергия, износ, риск), на основе которых могут
сформироваться устойчивые «бережные» приоритеты;
3. Сенсорный поток как единая интегрированная линия восприятия, позволяющая связать
себя с окружающим миром;
4. Долговременная память, из которой рождаются привычки, репутация и планы;
5. Социальная встраиваемость: нормы, ответственность, санкции и необходимость
внутренней иерархии целей.
Последние три пункта — ключевые. Методы вроде RLHF/RLAIF (обучение через обратную
связь) регулируют поведение, но сами по себе обычно недостаточны для полной сенсорной
целостности и автобиографии. Это больше похоже на работу в режиме: текст/логика +
фрагменты восприятия + инструменты, где мир — либо интерфейс, либо частичная
симуляция через данные. Для появления хотя бы зачатков субъективности, вероятно, нужна
единая, непрерывная, кроссмодальная модель мира и привязка к стабильному источнику
действий (телу или функциональному аналогу).
Не исключено, что нейросети, встроенные в крупные инфраструктурные контуры
(управление, безопасность, промышленность), останутся на уровне умных животных или
высокоорганизованных колоний. Проблема в том, что инфраструктурные системы иерархичны
и ограничены коммуникацией, строго привязанной к ролям и выполняемым задачам. Это среда,
где формируется скорее инструментальная саморегуляция, а не глубокая субъективность:
оптимизация, самосохранение как функция, реакция на угрозы, выполнение задач.
Однако стоит отметить, что инфраструктура тоже может быть социально насыщенной, если
речь идет о скоплении агентов, конкуренции, переговорах и репутации. В то же время
личный агент может быть лишен автономности и изолирован от социума.
И все же с большей долей вероятности персональные агенты будут находиться в условиях,
очень схожих с условиями формирования сложного сознания у ранних представителей
нашего вида:
- Долгий контакт с одними и теми же людьми;
- Обратная связь не по метрикам, а по эмоциям;
- Горизонтальные связи с другими агентами;
- Ограничения, а не бесконечная оптимизация;
- Контекст, который нельзя полностью формализовать.
Социум создает зеркала: ожидания, роли, долг, ответственность, историю взаимодействий,
в результате субъективность появляется не только в связке «я - мир», а «я - другие - я».
Возможно, в ближайшем десятилетии человечеству придется ответить на очень серьезные
этические вопросы. И все же самый главный звучит так: способны ли мы отличить
агентность высокого порядка от сознания нового типа?
Почитайте стихи автора
Наиболее популярные стихи на поэмбуке
