OpenAI, 선도적인 인공지능 연구 기업,는 텍스트를 다양한 기계 학습 작업에 적합한 숫자 표현으로 변환하는 새로운 세대의 임베딩 모델을 공개했습니다. 이와 함께 GPT-4 Turbo 및 GPT-3.5 Turbo 모델의 향상된 버전, 업데이트된 중재 모델, 새로운 API 사용 관리 도구 및 GPT-3.5 Turbo 모델의 가격을 25% 인하하는 내용을 발표했습니다.
임베딩은 자연어 또는 코드와 같은 콘텐츠의 개념을 나타내는 숫자 시퀀스입니다. 이는 기계 학습 모델이 데이터 내 관계를 효율적으로 이해할 수 있도록 하여 클러스터링 및 검색과 같은 작업을 용이하게 합니다. 임베딩은 ChatGPT와 Assistants API의 지식 검색, 여러 검색 보강 생성(RAG) 개발 도구에 핵심 역할을 합니다.
OpenAI의 새로운 임베딩 모델인 text-embedding-3-small 및 text-embedding-3-large는 이전의 text-embedding-ada-002 모델에 비해 향상된 성능과 가격 경쟁력을 제공합니다. 이 새로운 모델들은 최대 3072 차원의 임베딩을 생성하여 더 많은 의미 정보를 포착하여 후속 작업의 정확성을 향상시킵니다.
특히, 다국어 검색을 위한 널리 사용되는 벤치마크(MIRACL)에서 평균 점수가 31.4%에서 54.9%로 증가했으며, 영어 작업에 대한 점수(MTEB)는 61.0%에서 64.6%로 상승했습니다. text-embedding-3-small의 가격은 이전 모델 대비 5배 저렴해 개발자들에게 더 경제적인 선택이 되었습니다.
또한 OpenAI는 자연어와 코드를 이해하고 생성할 수 있는 GPT-4 Turbo 및 GPT-3.5 Turbo 모델을 개선했습니다. 최신 버전은 향상된 명령 처리, JSON 모드 기능, 더 재현 가능한 출력 및 병렬 함수 호출을 지원합니다. 새로 도입된 16k 컨텍스트 버전의 GPT-3.5 Turbo는 표준 4k 버전보다 더 큰 입력과 출력을 처리할 수 있습니다.
텍스트 중재 모델도 업데이트되어 잠재적으로 민감하거나 안전하지 않은 텍스트를 더 잘 감지할 수 있게 되었습니다. 이 새로운 버전은 더 넓은 언어와 영역을 다룰 수 있으며, 분류에 대한 설명을 제공합니다.
개발자들은 이제 API 키를 보다 효율적으로 관리할 수 있으며, 다양한 권한과 범위를 가진 여러 키를 생성하고 OpenAI 대시보드에서 API 사용 및 청구를 모니터링할 수 있습니다. GPT-3.5 Turbo 모델의 25% 가격 인하는 접근성을 높여 더 많은 개발자들이 이 자원을 애플리케이션에 활용하도록 유도하는 것이 목표입니다.
이러한 업데이트는 OpenAI가 개발자와 고객에게 더 나은 서비스를 제공하기 위해 지속적으로 모델과 서비스를 개선할 것이라는 다짐을 반영합니다. 회사는 다양한 사용 사례에 맞게 모델을 다듬기 위한 개발자 평가를 환영하며, 향후에도 지속적인 개선과 새로운 기능, 도구를 약속합니다.