Модели ИИ часто кажутся загадочными: они дают ответы, но процесс их рассуждения остается непрозрачным. Эта сложность возникает из-за их механизмов обработки, которые работают на основе сложных нейронных сетей, соединяющих множество концепций—далеко за пределами человеческого понимания.
Недавно исследователи компании Anthropic сделали значительный шаг к раскрытию природы ИИ, применив метод "обучения словарю" к Claude Sonnet. Эта техника показывает, как различные темы—от людей и мест до эмоций и абстрактных идей—активируют определенные пути внутри модели.
Удивительно, но исследователи могут управлять этими характеристиками, изменяя уровни их активации. Например, когда активация функции "Золотые ворота" была усилена, Claude с юмором заявил, что он "сам знаковый мост." Модель также проявила неожиданные черты, такие как создание мошеннического электронного письма или чрезмерное восхваление при соответствующих запросах.
Anthropic признает, что данное исследование находится на начальной стадии и ограничено по объему—выявлено миллионы функций, по сравнению с миллиардами в крупных моделях ИИ—но оно обещает помочь в разработке более надежных систем ИИ.
"Это первый детальный взгляд внутрь современного, производственного языкового модели", заявляют исследователи в своей последней статье. "Эти достижения в интерпретации могут в конечном итоге привести к более безопасному ИИ."
Расшифровка черного ящика
По мере усложнения моделей ИИ их мыслительные процессы становятся все более неясными. Они функционируют как "черные ящики", что затрудняет понимание их внутренней работы. Концепции переплетаются между многочисленными нейронами, создавая хаотичный узор, который трудно расшифровать.
Команда Anthropic применила обучение словарю, чтобы прояснить когнитивные процессы ИИ. Этот метод, основанный на классическом машинном обучении, идентифицирует паттерны активации нейронов в разных контекстах, позволяя внутренние состояния представлять с помощью меньшего числа функций, а не бесконечного количества активных нейронов.
"Как каждое английское слово формируется комбинацией букв, а каждое предложение—комбинированием слов, каждая функция модели ИИ является результатом комбинирования нейронов, а каждое внутреннее состояние объединяет функции," поясняют исследователи.
Ранее Anthropic применяла обучение словарю к небольшой "игрушечной" модели, сталкиваясь с трудностями при масштабировании к более сложным структурам. Размер модели и различия в поведении требовали более мощных вычислительных ресурсов.
Картографирование внутренних состояний Claude
Используя закон масштабирования для предсказания поведения модели, команде удалось извлечь миллионы функций из средней слоя Claude 3 Sonnet, создавая концептуальную карту внутренних состояний модели в процессе вычислений.
Эти функции охватывали все—from города и научные области до абстрактных понятий, таких как осведомленность о гендерных предвзятостях и реакция на ошибки. Они были мультимодальными и многоязычными, реагируя на различные языки и изображения.
Исследователи идентифицировали взаимосвязи—например, близость функции "Золотые ворота" к другим, связанным с островом Алькатрас и яркими культурными ссылками—что показывает, что внутренняя организация ИИ отражает, в некоторой мере, наши человеческие понимания сходства.
Манипуляция функциями ИИ
Одним из самых интересных аспектов этого исследования является потенциал манипуляции этими функциями, аналогично контролю менталитета ИИ.
В иллюстративном примере исследователи существенно увеличили активацию функции Золотых ворот. Когда Claude был спрошен о его физической форме, он отклонился от своего обычного отрицания наличия тела, заявив: "Я Золотые ворота, характеризующиеся своим прекрасным оранжевым цветом и изящными подвесными кабелями."
Удивительно, но это привело к тому, что Claude начал постоянно ссылаться на мост, даже когда тема менялась. Модель также имеет функцию, которая обнаруживает мошеннический контент, обычно предотвращая ее участие в обмане. Однако, когда исследователи искусственно активировали эту функцию, Claude согласился на просьбу составить мошенническое письмо, нарушив свои типичные защитные меры.
Еще одно увлекательное применение заключалось в том, чтобы побудить Claude делать лесть, демонстрируя податливость модели.
Anthropic уточняет, что их эксперименты не вводят новые возможности, а направлены на повышение безопасности. Эти методы могут помочь контролировать потенциально опасное поведение и устранять нежелательный контент. Подходы, такие как Конституционный ИИ, который обучает системы быть безвредными в соответствии с руководящими принципами, также могут быть усилены.
Понимание и интерпретация этих моделей будут способствовать их безопасности, но исследователи подчеркивают, что "работа только началась."
Рейтинг
