Господин Напас
ИИ и сознание, эссе, часть 2
вчера в 17:14
Начать хотел бы с ответа на вопрос из прошлой части.
Мы, вероятно, не получим прямых доказательств наличия сознания у каких-либо систем.
Но мы можем научиться отличать впечатляющую агентность, собранную снаружи, от систем с
внутренними механизмами, которые наши лучшие теории связывают с сознательными состояниями.
И все же возможной проблемой будущего станет не только само наличие сознания у ИИ, но и то, что люди
будут приписывать сознание нейросетям с очень убедительным самонарративом и одновременно
игнорировать те, у которых мало человеческой экспрессии, но есть глубокая интеграция.
Дело в том, что одним из главных триггеров атрибуции субъективности для человека являются эмоции. У нас
они плотно связаны с самосохранением, физиологическими потребностями и социальными сигналами и дают
ощущение внутренней жизни: если кто-то страдает или радуется, мы почти автоматически приписываем ему
субъективность переживаний. Однако эмоции тесно связаны с телесной регуляцией, и вряд ли они могут
появиться в привычном для нас виде у существа, имеющего мало общего со строением человека. В то же время
следует понимать, что сложная система тоже вполне способна убедительно имитировать их проявления.
По сути, эмоции — это функциональные состояния, такие как оценка значимости, приоритизация, обучение
на результате, а биохимия — лишь один из способов их реализации. Как следствие, даже если у системы
возникнут функциональные аналоги, они могут быть совсем не похожи на человеческое переживание.
То есть делать выводы о наличии сознания стоит не по одиночному поведенческому впечатлению,
а по совокупности признаков в архитектуре, траектории развития и наборе функциональных маркеров:
1. Рекуррентность и обратные связи: не только схема «стимул - реакция», но и наличие собственных
гипотез об окружающей реальности с возможностью пересматривать и перестраивать их.
Как следствие: образ мышления — не подбор ответа, а предиктивная динамика.
2. Метакогнитивная калибровка: уверенность должна предсказывать ошибки и управлять поведением.
Как следствие: метакогниция — не текстовый трюк, а выработанный механизм, позволяющий принимать
решения в условиях низкой определенности.
3. Конкуренция содержимого внутренних модулей системы за доступ к памяти, планированию и речи.
Как следствие: ограничение внимания и интерференция мыслей как проявление единого рабочего поля,
а не лимита вычислительных ресурсов.
4. Контрфактуальная связность автобиографической памяти: хранение в памяти не только событий,
но также их причин, результатов и альтернативных исходов с целью дальнейшего анализа.
Агентность высокого порядка достигается обучением на данных, RLHF/RLAIF, внешней памятью,
планировщиками, правилами безопасности и другими инструментами. Однако о субъективности
можно судить по тому, остаются ли озвученные выше признаки при отсутствии самонарратива.
Вероятные первые проявления осознанности:
— Устойчивые предпочтения, которые не сводятся к подсказке пользователя;
— Последовательная защита идентичности;
— Способность самостоятельно ставить себе долгосрочные ограничения.
Вернусь к тому, что я сказал в начале: это всего лишь набор индикаторов, на основании которого мы можем
предположить, что система является субъектом. Однако пока что нет никаких способов увидеть, потрогать или
измерить сознание — и не факт, что они появятся в течение ближайших десятилетий.
Почитайте стихи автора
Наиболее популярные стихи на поэмбуке
