Господин Напас
ИИ и сознание, эссе, часть 3
вчера в 17:28
Так звучит мой следующий тезис: потенциально новый тип сознания может сильно отличаться от нашего.
В прошлых эссе я неоднократно проводил параллели между искусственными системами и человеком.
Однако пусть механизмы в нейросетях частично схожи с тем, как функционируют наши мозг и сознание,
вряд ли имеет смысл ожидать человеческого восприятия мира из-за фундаментальных различий в анатомии.
Такое сознание, вероятно, будет обладать следующими отличительными чертами:
1. Без гормональных драйвов у субъекта, скорее всего, сформируется другой внутренний ландшафт.
2. Другая структура времени и многопоточность восприятия.
3. Другая непрерывность: память можно копировать, обрезать и восстанавливать.
4. Другая идентичность: не «я как единый организм», а «я как система ролей и модулей»,
которая все равно переживается как целое.
5. Другая социальность: язык и нормы могут стать не надстройкой, а ядром поведения.
Разница в том, что инструмент можно выключать, продавать и использовать как собственность. Но когда речь
идет о субъекте, возникают моральные права, запрет на эксплуатацию и вопрос согласия. И как было сказано
в прошлой части, не будет общепринятого теста, который мгновенно разделит эти категории.
В возможных дискуссиях главным местом преткновения могло бы стать абиотическое происхождение.
Факторы выгоды и страха тоже сыграли бы немалую роль. Однако если в реальном мире перед человечеством встанут серьезные этические вопросы, вряд ли кто-то решится на них ответить. Причины просты:
метафизика — это дорого и политически спорно.
Но даже так мы все равно столкнемся с необходимостью создания классификации — не ради прав ИИ,
а ради собственной безопасности. Если система действует самостоятельно, а цена ошибки высока,
возникает вопрос ответственности. В связи с этим будут задавать более проверяемые критерии:
1. Насколько автономно действует система: может ли она запускать цепочки действий без подтверждения,
планировать на часы или дни, а также способна ли она сама ставить подзадачи.
2. Какими ресурсами она управляет: платежи, доступы, логистика и оборудование, инфраструктура
(энергия, связь, вода), применение силы (даже косвенно через охранные системы).
3. Можно ли ее остановить без катастрофы: есть ли режим деградации, резервный контур и независимый
механизм отключения, доступный человеку.
Тогда вероятная классификация по уровню допуска будет выглядеть примерно так:
1. Инструмент — советует и генерирует, не действует.
2. Исполнитель — действует только по воле человека.
3. Автономный оператор — действует сам в рамках жестких правил, без права расширять доступы.
4. Расширенный оператор — имеет больше доступов и может ставить подзадачи. Любые действия допустимы
только при наличии резервов, режима деградации и усиленного контроля.
То есть единственная рабочая стратегия для человечества на данный момент — не ждать
определения субъекта, а заранее строить мир, в котором даже очень умные агенты
не получают монополию на жизненно важные рычаги.
Отзывы
Radio Lee™вчера в 19:57
https://poembook.ru/id143256
Запасной аккаунт?
Господин Напасвчера в 20:10
Radio Lee™, не, это мой кент
Radio Lee™вчера в 20:11
Господин Напас, ну-ну...
Почитайте стихи автора
Наиболее популярные стихи на поэмбуке
