대규모 언어 모델(LLM)의 이점을 최대한 활용하기 위해서는 기업이 도메인별 데이터로 모델을 미세 조정해야 합니다. 이러한 과정은 모델이 관련성을 갖춘 출력을 생성할 수 있는 능력을 향상시킵니다. 그러나 사전 훈련된 모델의 미세 조정은 중요한 도전 과제를 수반합니다. 데이터 분포에 따라 가중치를 조정하면 모델이 이전에 습득한 지식을 잃어버리는 '재앙적 망각'이 발생할 수 있습니다. 이는 LLM의 성능과 추론 능력에 부정적인 영향을 미칩니다.
음성 AI 기업 Tenyx는 이 문제를 해결하기 위한 미세 조정 솔루션을 발표했습니다. Tenyx의 플랫폼은 기업이 기본 지식이나 안전 수치를 희생하지 않으면서 LLM을 특정 요구에 맞게 조정할 수 있도록 합니다. Tenyx의 CEO이자 창립자인 이타마르 아렐은 "재앙적 망각은 머신러닝 커뮤니티에서 오랜 문제"라고 말하며, "전통적으로 모델은 새로운 데이터로 지속적으로 학습하면서 이전 정보를 유지할 수 있다고 가정되었습니다."라고 설명했습니다.
미세 조정의 위험성
아렐은 미세 조정이 LLM의 기업 응용 프로그램에서 점점 더 중요해지고 있다고 강조합니다. 그러나 데이터 과학자들은 종종 원래 훈련 데이터셋에 대한 완전한 접근이 부족하며, 전통적인 미세 조정 방법은 망각 효과를 완화하지 못합니다. 이로 인해 필수 기능 손실이 발생하고 조직이 유해하거나 편향된 콘텐츠에 노출될 수 있습니다.
예를 들어, LLaMA 7B를 고객 서비스 챗봇으로 사용하는 경우, 이는 일반적인 상용 응용 프로그램으로 자주 사용되며, 일반적인 고객 상호 작용으로 미세 조정해야 합니다. 저등급 적응법(LoRA)과 같은 표준 기술은 "호텔에서 공항까지의 거리는 얼마인가요?"와 같은 질문에 정확하게 답하거나 "나는 12월 7일에 4일 동안 도착할 것입니다." 같은 진술에서 문맥을 유추하는 등의 귀중한 지식 손실을 초래할 수 있습니다. 아렐은 "미세 조정된 모델은 특정 작업에는 뛰어나지만, 더 넓은 지식과 추론에 대해 잘못되거나 편향된 응답을 생성할 수 있습니다."라고 언급했습니다.
저등급 적응법의 한계
LoRA는 계산 효율성 덕분에 인기가 있지만, 아렐은 그것이 재앙적 망각 문제를 해결하기 위해 설계되지 않았다고 설명합니다. 미세 조정이 데이터 분포를 원래에서 멀어지게 할 경우 예측할 수 없는 왜곡이 발생합니다. 아렐은 "우리의 연구 결과는 LoRA의 장점에도 불구하고, 지식과 추론 손실의 동일한 위험을 안고 있음을 보여줍니다."라고 말했습니다. 모델의 복잡성은 이러한 왜곡을 식별하고 수정하는 것을 더욱 어렵게 만듭니다. 또한, 전통적인 미세 조정 방법은 편향된 출력을 방지하는 데 중요한 인간 피드백 기반 강화 학습(RLHF)을 통해 설정된 안전 프로토콜을 약화시킬 수 있습니다. 아렐은 "RLHF도 교육 과정이므로 미세 조정 중에 영향을 받습니다."라고 강조했습니다.
현재 완화 전략의 비효율성
현재 기업들은 재앙적 망각을 관리하기 위해 여러 머신러닝 엔지니어에 의존해 미세 조정을 제한하고 최적의 결과를 위해 프롬프트 엔지니어링을 사용하려고 합니다. 그러나 이러한 접근은 일관성이 없고 비용이 많이 들며 언제, 왜 효과가 있는지에 대한 명확한 이해가 부족합니다. 또한, 미세 조정 중 지식과 추론을 평가하는 과정은 종종 수동 개입을 통해 이루어져 자동화 가능성이 없는 복잡한 프로세스를 초래합니다.
Tenyx의 미세 조정 접근 방식
Tenyx의 혁신적인 미세 조정 방법은 어떤 모델 매개변수를 업데이트하여 새로운 데이터를 학습하는 동시에 이전의 입력-출력 매핑을 대부분 유지할 수 있는지를 식별합니다. Tenyx 플랫폼은 미세 조정 중 업데이트가 원래 데이터를 처리하는 모델의 능력을 방해하지 않도록 보장합니다. 아렐은 "훈련된 LLM을 분석함으로써, 우리의 방법은 재앙적 망각을 최소화하면서 새로운 데이터 학습을 가능하게 하는 최적의 가중치를 결정합니다."라고 설명했습니다. Tenyx의 접근 방식은 초기 LLM 훈련 중 수립된 기하학적 표현에 대한 새로운 수학적 해석을 활용하여, 이전에 학습한 정보를 유지하면서도 변화를 수용합니다.
Tenyx의 방법은 RLHF 보호를 보존하고 백악관의 안전하고 신뢰할 수 있는 AI에 관한 행정명령을 포함한 규제 지침에 부합합니다.
Tenyx의 미세 조정 방법의 결과
인기 있는 기업 및 오픈소스 미세 조정 알고리즘을 평가한 파일럿 연구에서, Tenyx는 안전성, 능력 및 지식 유지에서 두드러진 장점을 보여주었습니다:
- 안전성: Tenyx는 위험을 11% 줄이며 OpenAI의 -66%, Together AI의 -94%, LoRA의 -91%를 초과했습니다.
- 능력: OpenAI의 GPT 3.5 Turbo는 매개변수 덕분에 초기 능력에서 우수했지만, Tenyx의 Llama-2 7B는 미세 조정 후 뛰어난 성과를 보였습니다.
- 지식: Tenyx는 재앙적 망각에서 단 3%의 손실을 기록했으며, OpenAI는 10%, Together AI는 40%, LoRA는 43%의 손실을 보였습니다.
스탠퍼드 대학교의 조교수 노아 굿맨은 "재앙적 망각은 딥러닝에서 인식되는 장애물로, 가장 진보된 모델에도 영향을 미칩니다."라고 언급하며, "모델이 새로운 도메인 데이터에 대해 미세 조정할 때, 일반적으로 그 영역에서 성능이 향상되지만, 확립된 능력이 변경될 위험이 있습니다."라고 덧붙였습니다. 굿맨은 "Tenyx는 이 복잡한 문제를 해결하기 위한 혁신적인 솔루션을 탐구하는 강력한 연구 팀을 보유하고 있습니다."라고 강조했습니다.
순위 목록
