Сначала нейросеть помогает написать письмо. Потом ей доверяют отвечать клиентам. Следующий шаг — разрешить самостоятельно принимать решения. На каждом этапе удобно: меньше рутины, быстрее работа. Но в какой момент человек перестаёт понимать, чем именно управляет?
Такой вопрос возникает после нового доклада британского Института Алана Тьюринга. В материале, представленном 23 сентября, потеря эффективного человеческого контроля названа одним из серьёзных рисков развития ИИ.
Особенно много внимания привлекла оценка о возможном появлении сверхразумных систем в течение пяти лет. Давайте разберёмся, что она означает и как связана с привычными нам нейросетями.
Откуда взялись пять лет
В официальном описании доклада авторы допускают реалистичную возможность появления в ближайшие пять лет систем, превосходящих человека по всему спектру интеллектуальных задач. Именно такие системы они называют сверхразумными.
Пять лет здесь — горизонт возможного появления таких систем. Срок, к которому человечество обязательно потеряет контроль, из этой оценки не следует.
Предупреждение серьёзное, но в нём остаётся неопределённость. Институт отдельно отмечает отсутствие единого мнения экспертов о том, представляет ли ИИ долгосрочную угрозу существованию человечества. Это оговорено в том же докладе.
Поэтому полезно удерживать две мысли одновременно: к описанному риску стоит готовиться, а будущее пока не стало установленным фактом. Громкий заголовок легко склеивает эти мысли в уверенное предсказание.
Как можно уступить контроль, даже не заметив этого
Представим небольшой интернет-магазин. Это условный пример, который помогает понять проблему.
Владелец подключил ИИ к переписке с покупателями. Поначалу помощник только предлагает ответы, а человек читает их и нажимает «Отправить». Всё прозрачно.
Через месяц однотипных вопросов становится много. Ответы о доставке разрешают отправлять автоматически. Потом добавляют подбор товаров. Ещё позже — возможность предложить скидку или согласовать возврат по заданным правилам.
По отдельности каждое решение выглядит разумным. Но задач уже столько, что владелец просматривает лишь короткую сводку. Он знает, что заказы обрабатываются, однако не может быстро объяснить, почему одному покупателю отказали, а другому сделали исключение.
И вот ему приходит уведомление: «Подтвердите обновлённые правила работы». Он нажимает кнопку, потому что разбирать всё вручную некогда.
Формальное согласие человека ещё не означает, что он понимает решение и способен его изменить.
В масштабе крупных организаций последствия могут быть значительно серьёзнее. В объяснении института описана похожая проблема: по мере роста возможностей и скорости ИИ людям и организациям может становиться труднее оценивать его решения, оспаривать их и вмешиваться.
Наш магазин — маленькая иллюстрация механизма. Сам по себе такой пример ничего не доказывает о будущем сверхразума. Зато помогает увидеть разницу между «я поручил задачу» и «я уже не понимаю, как она выполняется».
А разве нельзя просто выключить?
Удобно представить себе большую кнопку «Стоп», которая мгновенно останавливает любую нежелательную работу.
Сложность появляется, когда от автоматизированной системы зависит работа целой службы. Представьте, что она распределяет тысячи заявок. Её можно остановить, но кто подхватит очередь? Где список уже принятых решений? Как восстановить нормальную работу?
Поэтому институт связывает возможность отключения с заранее подготовленными процедурами, ответственными людьми и безопасными запасными способами работы. Проверять предлагается всю систему целиком, включая людей и процессы вокруг ИИ. Об этом сказано в официальном сообщении о докладе.
Если перевести эту мысль на язык обычного пользователя: полезно заранее знать, что произойдёт, когда вы нажмёте «Стоп», и что придётся делать после этого.
Что можно взять на заметку уже сейчас
До появления гипотетического сверхразума ждать необязательно. Несколько привычек пригодятся и при работе с сегодняшними помощниками. Это наши практические рекомендации для повседневных задач.
Разделяйте подготовку и действие. Поручить ИИ черновик письма удобно. Разрешение отправить его от вашего имени — отдельное решение. То же касается публикаций, покупок и удаления файлов.
Начинайте с небольших полномочий. Если помощнику нужны только три документа, дайте ему именно эти документы. Расширять доступ разумно по мере появления конкретных задач, которые вы понимаете.
Проверяйте то, на чём держится вывод. Для важного утверждения откройте источник. Посмотрите, действительно ли в нём есть нужная фраза, относится ли она к вашему случаю и когда опубликована.
Оставляйте себе возможность вмешаться. Перед автоматизацией разберитесь, где посмотреть историю действий, как остановить процесс и что можно отменить. Если этого не видно, начните с режима черновиков.
Эти привычки помогают управлять собственными инструментами. Вопрос безопасности мощных систем на уровне общества требует отдельной работы разработчиков, исследователей и государственных институтов.
Маленький эксперимент: разбираем тревожную новость с помощью ИИ
С самой этой новостью можно сделать полезное упражнение. Откройте первоисточник, скопируйте нужный фрагмент и попросите нейросеть разложить его по смыслу:
Разбери приведённый ниже текст простым русским языком. Отдельно перечисли: что авторы прямо утверждают; какие возможности или предположения они рассматривают; что из текста установить нельзя. Для каждого пункта укажи короткий фрагмент, на который опираешься. Сохрани слова, обозначающие неопределённость. Не придумывай вероятности, сроки и подробности. Если я прислал только часть документа, учитывай это ограничение. В конце предложи три вопроса, которые стоит проверить по первоисточнику. Текст: [вставьте фрагмент].
Для такого упражнения можно использовать GPTunnel: в сервисе доступны разные текстовые модели. Промокод для читателей — NAYDIKO100. Условия его применения проверьте в кабинете до первого пополнения.
При желании задайте одинаковый вопрос двум моделям и сравните, где они добавили лишнюю уверенность. Затем вернитесь к исходному тексту: даже совпадающие ответы моделей сами по себе не подтверждают факт.
Самый полезный вопрос после этой новости
Прогнозы о сверхразуме ещё будут меняться. А вопрос о границах доверия можно задать себе уже сегодня: что именно я готов поручить ИИ и как пойму, что он справился?
Помощник действительно экономит время, когда результат можно оценить и при необходимости поправить. Хорошо бы сохранять эту возможность по мере того, как наши инструменты становятся сильнее.
А какое решение вы уже готовы доверить нейросети? И какое пока обязательно оставите за собой?