애플의 온디바이스 AI 기술에 대한 모든 정보

마이크로소프트 빌드와 구글 I/O에 이어, 애플은 2024년 세계 개발자 회의에서 자사의 온디바이스 AI 기능을 선보일 것에 대한 큰 기대를 모았습니다. 애플은 모든 기기에서 생성 AI를 효과적으로 통합하여 이 분야에서 눈에 띄는 발전을 보여주었습니다.

애플 시연의 주요 특징 중 하나는 광범위한 온디바이스 처리 기술이었습니다. 애플은 고급 프로세서와 풍부한 오픈 리서치를 활용하여 스마트폰과 컴퓨터에서 고품질의 저지연 AI 기능을 실제로 구현했습니다. 다음은 애플의 온디바이스 AI에 대한 주요 내용입니다.

애플 모델 개요

애플의 State of the Union 발표와 6월 10일에 게시된 블로그에서, 애플은 30억 개 파라미터 모델을 사용하고 있음을 밝혔습니다. 특정 기본 모델은 공개되지 않았지만, 최근에는 리소스 제약이 있는 기기를 위해 최적화된 30억 개 파라미터 버전을 포함한 OpenELM 언어 모델 패밀리를 도입했습니다. OpenELM은 파라미터 수를 늘리지 않고 모델 품질을 향상시키기 위해 수정되었으며, 이는 애플의 기본 모델이 OpenELM-3B의 특수 변형일 가능성을 시사합니다. 이 모델은 애플봇이 수집한 라이센스 데이터와 공개 데이터셋을 포함한 1.8조 개의 토큰으로 훈련되었습니다.

라이센스 데이터 파트너십

애플은 Shutterstock과 이미지 라이센스 계약을 체결해 2500만~5000만 달러를 지급하며, 주요 뉴스 및 출판사와는 5000만 달러 규모의 협약을 체결할 가능성이 있습니다.

훈련 및 최적화 기술

모델은 인간 피드백에서 강화 학습(RLHF)을 통해 지시사항을 효과적으로 따르도록 세밀하게 조정되었으며, 교사 위원회를 통한 거부 샘플링 알고리즘을 사용합니다. RLHF는 사용자 선호에 따라 언어 모델을 개선하기 위해 인간 주석 데이터로 훈련하며, ChatGPT 출시 이후 인기를 얻고 있습니다. 거부 샘플링은 여러 교육 사례를 생성하고 최상의 결과를 선택하여 모델 업데이트에 활용합니다.

기술 최적화

애플은 모델 성능을 향상시키면서도 리소스 효율성을 유지하기 위해 다양한 기술을 적용했습니다. 기본 모델은 구글 리서치가 개발한 "그룹 쿼리 주의(GQA)"를 사용하여 메모리와 계산 비용을 최소화하면서 추론 속도를 가속화합니다. 또, 파라미터 수를 줄이기 위해 룩업 테이블을 사용한 "팔레타이제이션"과 양자화를 활용합니다.

모델은 M1 및 이후 칩과 A17 Pro 칩을 탑재한 아이폰 15 프로 및 프로 맥스에 최적화되어 있습니다. 이는 애플 칩에 맞춘 최적화 기법을 사용하고 있음을 나타냅니다.

성능 메트릭

아이폰 15 프로에서 보고된 결과는 프롬프트 토큰당 약 0.6밀리초의 첫 번째 토큰 대기 시간을 보여주며, 초당 30토큰의 생성 속도를 기록했습니다. 예를 들어, 1,000토큰 프롬프트를 제출하면 0.6초 이내에 응답이 생성되고, 이후 초당 30토큰으로 이어지는 인상적인 성능을 보여줍니다.

저랭크 기법을 통한 맞춤화

모델을 복제하지 않고 기능을 개선하기 위해 애플 엔지니어들은 저랭크 적응(LoRA) 어댑터를 사용하여 세밀하게 조정된 버전을 개발했습니다. LoRA는 특정 작업을 위해 작은 파라미터 집합을 업데이트하며, 각 어댑터는 100메가바이트 미만으로, 다양한 기능(교정, 요약, 이메일 회신 등)을 위한 여러 옵션을 저장할 수 있게 합니다.

성능 평가

애플의 평가에 따르면, 자사의 모델은 Gemma-2B, Mistral-7B, Phi-3B-Mini와 같은 유사한 크기 또는 더 큰 모델에 비해 일반적으로 성능이 우수합니다.

결론적으로, 애플의 온디바이스 AI는 컴팩트한 모델과 효과적인 최적화 기술, 품질 높은 데이터, 강력한 하드웨어의 결합 잠재력을 보여줍니다. 애플은 정확성과 사용자 경험 간의 균형을 이루는 데 큰 진전을 만들어왔습니다. 이번 가을 소비자에게 이 기술이 어떻게 적용될지 기대됩니다.