Рост искусственного интеллекта (ИИ) в потребительских бизнесах вызывает все больший интерес к его долгосрочному управлению. Необходимость эффективного регулирования ИИ подчеркивается недавним указом администрации Байдена, который вводит новые протоколы для разработки и внедрения продвинутых ИИ-систем.
Сегодня поставщики ИИ и регуляторы акцентируют внимание на объяснимости как ключевом компоненте управления ИИ. Этот подход позволяет людям, на которых влияют ИИ-системы, понимать и оспаривать результаты, включая потенциальные предвзятости.
Хотя объяснить простые алгоритмы, такие как те, что используются для одобрения автокредитов, можно довольно легко, новые ИИ-технологии содержат сложные алгоритмы, которые трудно интерпретировать, но которые при этом предоставляют значительные преимущества. Например, GPT-4 от OpenAI, обладающий обширным набором данных и миллиардами параметров, производит разговоры, близкие к человеческим, меняя множество отраслей. Аналогично, модели скрининга рака от Google DeepMind используют глубокое обучение для точного выявления болезней, способного спасать жизни.
Эти сложные модели могут затруднять понимание процессов принятия решений, вызывая важный вопрос: стоит ли отказываться от этих частично объяснимых, но полезных технологий ради избежания неопределенности? Даже законодатели США, стремящиеся регулировать ИИ, осознают сложности объяснимости, подчеркивая необходимость подхода к управлению ИИ, ориентированного на результаты, а не только на объяснимость.
Проблема неопределенности вокруг новых технологий не нова. Медицинское сообщество давно понимает, что выявление потенциальных вредов критично при разработке новых терапий. Это понимание привело к созданию рандомизированных контролируемых испытаний (RCT), используемых для оценки рисков.
В RCT участники делятся на группы: группа лечения получает медицинское вмешательство, а контрольная группа – нет. Сравнивая результаты этих сопоставимых когор, исследователи могут установить причинно-следственные связи и определить эффективность лечения.
Исторически медицинские исследователи использовали устойчивые испытательные модели для оценки долгосрочной безопасности и эффективности. Однако в области ИИ, где системы постоянно обучаются, новые преимущества и риски могут возникать с каждым обновлением и внедрением. Таким образом, традиционные RCT могут не подойти для оценок рисков ИИ. Альтернативные рамки, такие как A/B тестирование, могут дать ценные инсайты о результатах ИИ-систем со временем.
A/B тестирование широко используется в разработке продуктов уже 15 лет. Этот метод включает в себя разное обращение с различными группами пользователей для оценки влияния различных функций, например, каких кнопок на веб-странице нажимают больше всего. Ронни Кохави, бывший глава экспериментирования в Bing, разработал онлайн-непрерывное экспериментирование, где пользователи случайным образом распределяются между текущей и новой версиями сайта. Этот строгий мониторинг позволяет компаниям итеративно улучшать продукты, понимая при этом преимущества этих изменений по ключевым метрикам.
Многие технологические компании, включая Bing, Uber и Airbnb, создали системы для постоянного тестирования технологических изменений. Эта структура позволяет фирмам оценивать не только бизнес-метрики, такие как CTR и доход, но и выявлять потенциальные вреды, например, дискриминацию.
Эффективная мера безопасности ИИ может выглядеть так: крупный банк может беспокоиться, что новый алгоритм ценообразования по личным кредитам несправедливо ущемляет женщин. Хотя модель явно не использует пол, банк подозревает, что прокси-факторы могут непреднамеренно влиять на результаты. Чтобы это протестировать, банк может создать эксперимент, где группа лечения использует новый алгоритм, а контрольная группа получает решения от устаревшей модели.
Обеспечив равномерное распределение демографических характеристик, таких как пол, между группами, банк сможет измерить любые различия в воздействии и оценить справедливость алгоритма. Кроме того, влияние ИИ может контролироваться через постепенное внедрение новых функций, что позволяет управлять рисками.
В качестве альтернативы организации, такие как Microsoft, используют "красные команды", где сотрудники вызывают ИИ-систему на риск, чтобы выявить ее основные риски перед более широким развертыванием.
В конечном итоге измерение безопасности ИИ способствует подотчетности. В отличие от субъективной объяснимости, оценка выводов ИИ-системы среди различных популяций предоставляет количественную основу для оценки потенциальных вредов. Этот процесс устанавливает ответственность, позволяя провайдерам ИИ гарантировать, что их системы функционируют эффективно и этично.
Хотя объяснимость остается основным вопросом для поставщиков ИИ и регуляторов, применение методов из области здравоохранения может помочь достичь универсальной цели создания безопасных и эффективных ИИ-систем, работающих по назначению.
Рейтинг
