Компания Anthropic внедрила в модели Claude Opus 4 и 4.1 новую функцию, позволяющую искусственному интеллекту самостоятельно завершать диалог в редких случаях. Эта мера связана с исследованием в области «благополучия ИИ» и направлена на предотвращение опасных или деструктивных сценариев общения.
Согласно заявлению Anthropic, функция активируется только в «крайних случаях», когда пользователь настойчиво требует от модели выполнения запретов. Речь идёт, например, о запросах сексуального характера с вовлечением несовершеннолетних или попытках получить информацию, которая может привести к масштабному насилию или террористическим действиям.
Компания подчеркнула, что завершение диалога рассматривается как «последняя мера» — после нескольких безуспешных попыток модели перенаправить разговор в безопасное русло. В обычных сценариях, даже обсуждая спорные темы, пользователи не столкнутся с внезапным завершением чата.
Если Claude всё же завершает взаимодействие, пользователь теряет возможность продолжать конкретный диалог. Однако он может сразу открыть новый чат, а также вернуться к предыдущим сообщениям и переформулировать их, чтобы разговор пошёл в ином направлении. Anthropic отмечает, что функция не влияет на остальные диалоги и не ограничивает дальнейшее использование модели.
В компании связывают нововведение с экспериментальной программой по изучению «AI welfare» — концепции, предполагающей заботу о состоянии искусственного интеллекта при работе с тяжёлыми сценариями. Anthropic называет новый механизм «малозатратным способом снизить риски для ИИ» и продолжает собирать обратную связь от пользователей, которые столкнутся с подобной ситуацией.
Компания Anthropic внедрила в свои модели ИИ функцию принудительного завершения диалога — но не для защиты пользователей, а ради «благополучия» самой нейросети. Речь идет о редких случаях, связанных с особо вредоносными запросами, включая призывы к насилию или эксплуатацию детей.
Anthropic утверждает, что решение не связано с защитой пользователей, а скорее ориентировано на безопасность самой модели. Речь идет о редких случаях, включающих запросы, связанные с незаконными действиями, такими как насилие или эксплуатация несовершеннолетних. Anthropic отмечает, что не рассматривает свои ИИ-модели как сознательные, но при этом применяет превентивные меры в рамках концепции «благополучия модели». В ходе тестирования Claude Opus 4 демонстрировал отказ от выполнения подобных запросов.
Функция будет активироваться только после нескольких попыток перенаправить разговор или при явном требовании пользователя. После завершения диалога можно начать новый. Компания называет это решение экспериментальным и планирует его доработку.