После Microsoft Build и Google I/O Apple столкнулась с высокими ожиданиями показать свои возможности искусственного интеллекта на устройстве на конференции разработчиков Worldwide Developers Conference 2024. Компания успешно интегрировала генеративный ИИ в пользовательский опыт на всех своих устройствах, продемонстрировав впечатляющие достижения в этой области.
Яркой чертой демонстраций Apple стало обширное обработка данных на устройстве. Используя свои мощные процессоры и обширные открытые исследования, Apple предоставила высококачественные функции ИИ с низкой задержкой на своих телефонах и компьютерах. Вот что мы узнали о ИИ на устройствах Apple:
Обзор моделей Apple
В презентации Apple State of the Union и блоге, опубликованном 10 июня, сообщалось, что Apple применяет модель с 3 миллиардами параметров. Хотя Apple не раскрыла точную базовую модель, компания недавно представила несколько открытых моделей, включая семейство языковых моделей OpenELM, которое включает версию с 3 миллиардами параметров, оптимизированную для устройств с ограниченными ресурсами.
OpenELM была доработана для улучшения качества модели без увеличения числа параметров, что говорит о том, что базовая модель Apple может быть специализированным вариантом OpenELM-3B. Эта модель была обучена на 1,8 триллиона токенов открытых наборов данных, включая лицензированные и общедоступные данные, собранные AppleBot.
Партнёрские отношения по лицензированным данным
Apple установила партнерства для лицензированных данных, включая сделку с Shutterstock на сумму от 25 до 50 миллионов долларов за изображения и потенциальное соглашение на 50 миллионов долларов с крупными новостными и издательскими организациями.
Методы обучения и оптимизации
Модель была доработана для эффективного выполнения инструкций с помощью обучения с подкреплением на основе человеческой оценки (RLHF) и алгоритма доработки с отбором отказов, включающего комитет учителей. RLHF использует данные, аннотированные людьми, для уточнения языковых моделей в зависимости от предпочтений пользователей, что стало популярным после выхода ChatGPT. Отбор отказов генерирует несколько обучающих примеров, выбирая лучший результат для обновлений модели, что также применяется командой Llama-2.
Технические оптимизации
Apple внедрила различные методы для улучшения производительности модели при сохранении эффективности ресурсов. Базовая модель использует "групповое внимание к запросам" (GQA), разработанное Google Research, для ускорения скорости вывода при минимальном влиянии на память и вычисления. Модель также применяет "паллетизацию", которая сжимает веса с использованием таблиц поиска, наряду с квантизацией, сокращающей количество бит на параметр.
Модели оптимизированы для устройств с чипами M1 и более поздними, а также для iPhone 15 Pro и Pro Max с чипом A17 Pro. Это предполагает использование оптимизационных техник, адаптированных под чипы Apple, таких как крупная языковая модель (LLM) на флеше, представленная в прошлом году.
Метрики производительности
Согласно отчетам, на iPhone 15 Pro время до первого токена составляет около 0,6 миллисекунд на токен запроса, с скорость генерации 30 токенов в секунду. Например, подача запроса из 1000 токенов приведет к ответу за 0,6 секунды с последующей генерацией токенов со скоростью 30 в секунду — что демонстрирует впечатляющие показатели.
Настройка с использованием адаптации низкого ранга
Чтобы улучшить функциональность без дублирования модели, инженеры Apple разработали доработанные версии с использованием адаптеров низкого ранга (LoRA). LoRA обновляет маленький подмножество весов для конкретных задач, а адаптеры — каждый менее 100 мегабайт — позволяют устройствам хранить несколько опций для различных функций, таких как корректура, резюмирование и ответы на электронные письма.
Оценка производительности
По оценкам Apple, ее модель в целом превосходит модели аналогичного размера и даже более крупные модели, включая Gemma-2B, Mistral-7B и Phi-3B-Mini.
В целом, ИИ на устройствах Apple иллюстрирует потенциал сочетания компактных моделей с эффективными оптимизационными техниками, качественными данными и мощным оборудованием. Компания достигла значительных успехов в балансировке точности и пользовательского опыта. Будет интересно увидеть, как эта технология проявит себя, когда будет запущена для потребителей этой осенью.
Рейтинг
