Будущее ИИ: За пределами архитектуры трансформеров
Архитектура трансформеров сегодня составляет основу ведущих моделей ИИ в публичном и частном секторах. Что нас ждет впереди? Улучшит ли эта архитектура способности к рассуждению? Какие инновации будут следовать за трансформерами? В настоящее время внедрение ИИ требует значительных объемов данных, мощностей GPU и специализированных кадров, что делает разработку и поддержку затратными.
Развертывание ИИ началось с появления более умных чат-ботов. Теперь стартапы и предприятия эволюционировали в создании помощников, которые усиливают знания и навыки человека. Следующий логический шаг — интеграция многошаговых рабочих процессов, памяти и персонализации в агентов, способных выполнять разнообразные задачи в таких областях, как продажи и инженерия. Цель состоит в том, чтобы пользовательский запрос позволял агенту понимать намерение, разбивать задачу на выполнимые шаги и осуществлять их — будь то через веб-поиск, многоуровневую аутентификацию или изучение предыдущих действий.
Представьте себе персональных агентов ИИ, похожих на цифрового Джарвиса, интуитивно управляющих задачами на вашем телефоне. Будь то бронирование поездки на Гавайи, заказ любимого блюда или управление личными финансами — потенциал персонализированных агентов захватывает дух. Тем не менее, с технологической точки зрения, нам еще предстоит долгий путь.
Архитектура трансформеров — это конец пути?
Механизм самовнимания в трансформерах позволяет моделям одновременно оценивать значимость каждого входного токена, улучшая их понимание языка и компьютерного зрения за счет захвата дальнодействующих зависимостей. Однако эта сложность приводит к высокому потреблению памяти и медленной производительности, особенно для длинных последовательностей (например, ДНК).
Для решения этих задач несколько исследовательских инициатив стремятся оптимизировать производительность трансформеров:
1. Улучшения аппаратного обеспечения: FlashAttention повышает эффективность трансформеров, оптимизируя операции чтения/записи между различными типами памяти на GPU и минимизируя передачу данных.
2. Приближенное внимание: Исследования направлены на снижение сложности O(n²) механизмов самовнимания до линейной шкалы, что облегчает обработку длинных последовательностей. Примеры — reformer и performers.
Помимо этих оптимизаций, появляются альтернативные модели, которые могут бросить вызов доминированию трансформеров:
- Модели пространственного состояния (SSMs): Эти модели, связанные с рекуррентными и сверточными нейронными сетями, предлагают линейные или почти линейные вычисления для длинных последовательностей. Хотя SSM, такие как Mamba, могут эффективно управлять дальнодействительными зависимостями, они все еще уступают трансформерам по общей производительности.
Недавние достижения в исследовании моделей становятся публично доступными и сигнализируют об изменяющейся ландшафте технологий ИИ.
Замечательные релизы моделей
Последние запуски моделей от лидеров индустрии — OpenAI, Cohere, Anthropic и Mistral — заслуживают внимания, особенно базовая модель Meta, ориентированная на оптимизацию компиляторов.
Помимо традиционных трансформеров, мы наблюдаем рост моделей пространственного состояния, гибридных моделей, объединяющих SSM и трансформеры, микса экспертов (MoE) и компоновки экспертов (CoE). Ключевые модели, которые привлекли внимание, включают:
- Модель DBRX от Databricks: Эта модель MoE имеет 132 миллиарда параметров, использует 16 экспертов, из которых четыре активны во время вывода или обучения. Она обладает контекстным окном в 32K и была обучена на 12 триллионах токенов, требуя значительных ресурсов для предварительного обучения и доработки.
- SambaNova Systems' Samba CoE v0.2: Эта модель CoE состоит из пяти экспертов с 7 миллиардами параметров, активируя только одного для вывода. Она демонстрирует быструю производительность на уровне 330 токенов в секунду.
- Jamba от AI21 Labs: Эта гибридная модель включает элементы трансформеров с архитектурой Mamba, улучшая обработку длинных контекстов и устраняя ограничения традиционных трансформеров.
Проблемы в принятии в бизнесе
Несмотря на обещание передовых моделей, предприятия сталкиваются с серьезными техническими вызовами:
- Отсутствие корпоративных функций: Многие модели в настоящее время не обладают необходимыми функциями, такими как контроль доступа на основе ролей (RBAC) и единый вход (SSO), что затрудняет готовность к внедрению в бизнес. Организации выделяют бюджеты специально, чтобы не отставать в технологическом пространстве.
- Сложности с безопасностью: Новые функции ИИ могут усложнять безопасность данных и приложений. Например, инструменты видеоконференцсвязи могут внедрять функции автоматической расшифровки, которые, хотя и полезны, требуют дальнейшего рассмотрения для обеспечения соблюдения требований, особенно в регулируемых отраслях.
- Выбор между RAG и дообучением: Генерация, дополненная извлечением (RAG), обеспечивает фактическую точность, но может не улучшать качество модели так же эффективно, как дообучение, которое представляет такие проблемы, как переобучение. Изменяющийся ландшафт благоприятствует RAG, особенно с Command R+ от Cohere — первой моделью с открытыми весами, которая превосходит GPT-4 для чат-ботов и бизнес-процессов.
Недавно я общался с руководителем ИИ в крупной финансовой организации, который предположил, что будущее принадлежит не инженерам-программистам, а тем, кто умеет формулировать запросы. С простыми набросками и многооблачными моделями нетехнические пользователи могут легко создавать приложения, превращая использование инструментов в карьерный актив.
Исследователи, практики и основатели теперь имеют разнообразные архитектуры для изучения в их стремлении к более эффективным, экономичным и точным моделям. Техники, такие как дообучение и новые альтернативы, такие как оптимизация предпочтений (DPO), открывают новые пути для инноваций.
С учетом того, что область генеративного ИИ стремительно развивается, стартапам и разработчикам может быть трудно ориентироваться в приоритетах. Будущее сулит захватывающий потенциал для тех, кто готов к инновациям и адаптации.
Рейтинг
