오늘 OpenAI의 봄 업데이트 행사에서 미라 무라티 CTO가 무료 ChatGPT 사용자에게 곧 제공될 혁신적인 다중 모달 대형 언어 모델(GPT-4o, GPT-4 Omni)을 공개했습니다. 또한 macOS를 위한 새로운 데스크톱 ChatGPT 앱이 발표되었으며, 이는 웹 및 모바일 애플리케이션을 넘어 플랫폼에 접근할 수 있는 기회를 제공합니다.
무라티는 "GPT-4o는 음성, 텍스트, 비전 전반에서 사고합니다."라고 설명하며, 사용자가 ChatGPT 스마트폰 앱을 통해 캡처한 실시간 비디오를 수용하고 분석할 수 있는 능력을 강조했습니다. 단, 이 기능은 아직 공개되지 않았습니다. "이것은 마법처럼 느껴지며 놀랍지만, 우리는 이를 신비화하지 않고 직접 경험할 수 있도록 하고 싶습니다."라고 그녀는 덧붙였습니다.
이 새로운 모델은 실시간 오디오로 응답하며, 오디오 및 비디오 입력에서 사용자의 감정 상태를 감지하고 다양한 감정을 표현하기 위해 음성 톤을 조절할 수 있습니다. 경쟁 AI 스타트업 Hume의 기능과 유사합니다. 시연 중 한 발표자가 GPT-4o 기반의 ChatGPT에게 점점 더 드라마틱한 이야기로 내레이션을 요청하자, ChatGPT는 신속하게 이를 수행했습니다. 끼어들 때는 말을 멈추고 주의 깊게 경청한 후 계속 진행합니다.
OpenAI는 GPT-4o의 능력을 보여주는 데모 비디오를 공유하며, 이 모델은 오디오 입력에 232 밀리초 이내로 응답할 수 있다고 밝혔습니다. 평균 응답 시간은 320 밀리초로, 이는 인간의 대화 속도와 비교됩니다. OpenAI는 GPT-4o가 사용자 경험을 향상시키는 방법을 설명하며, "GPT-4o 이전의 음성 모드는 2.8초(GPT-3.5) 및 5.4초(GPT-4)의 지연 시간이 있었고, 세 개의 별도 모델을 사용했습니다. 이로 인해 메인 인공지능 소스인 GPT-4는 음성 톤이나 다수의 화자, 배경 소음을 완전히 인식할 수 없었습니다."라고 전했습니다.
GPT-4o는 모든 입력과 출력을 단일 엔드 투 엔드 신경망으로 처리하여 텍스트, 비전 및 오디오를 결합해 더 풍부한 상호작용을 생성합니다. 심지어 이미지를 여러 각도로 생성하고, 이를 3D 객체로 변환할 수도 있습니다. 그러나 OpenAI는 GPT-4o 또는 그 새로운 모델의 오픈소스 계획을 발표하지 않았습니다. 사용자는 OpenAI의 웹사이트 및 API를 통해 모델의 능력을 탐색할 수 있지만, 맞춤형 설정을 위한 기반 모델 가중치는 제공되지 않습니다. 이 점은 공동 창립자인 일론 머스크로부터 비판을 받았습니다.
GPT-4o의 도입은 무료 ChatGPT 경험을 크게 향상시킵니다. 이전에 텍스트 전용 GPT-3.5 모델로 제한된 무료 사용자들은 이제 이미지 및 문서 분석, 웹 서핑, 데이터 분석, 맞춤형 GPT, 사용자 선호도를 유지하는 메모리 저장 등의 향상된 기능을 갖춘 모델을 이용할 수 있게 됩니다.
실시간으로 이탈리아어와 영어 간의 음성 번역을 시연한 ChatGPT 역시 소개되었습니다. OpenAI는 또한 "ChatGPT는 이제 50개 이상의 언어로 가입, 로그인, 사용자 설정을 지원합니다."라고 강조했습니다. 추가로, GPT-4o는 공유된 이미지를 이해하고 논의하는 데 탁월하며, 기존 AI 아트 생성기들이 이루지 못한 일관된 AI 아트 캐릭터를 창조할 수 있습니다.
초기에는 유료 구독자에게 GPT-4o가 제공되며, 무료 사용자에게는 점진적으로 배포될 것입니다. OpenAI는 "ChatGPT Plus 및 팀 사용자부터 시작하며, 엔터프라이즈 접근은 곧 제공될 예정입니다. 무료 사용자에게는 사용량 제한이 있을 것입니다."라고 밝혔습니다.
소셜 미디어에서 OpenAI는 "텍스트 및 이미지 입력"이 오늘 API에 적용되고 있으며, 음성 및 비디오 기능은 몇 주 이내에 출시될 것이라고 확인했습니다. API는 GPT-4 Turbo의 절반 가격으로 GPT-4o를 제공하고, 제3자 개발자를 위한 호출 한도를 늘릴 것입니다.
OpenAI CEO 샘 올트먼은 회사의 진화하는 사명에 대해 "우리의 목표는 사회적 이익을 위한 AI를 만드는 것이었지만, 이제는 사람들이 혁신할 수 있도록 하는 AI를 개발하게 될 것 같습니다."라고 언급했습니다. 그의 블로그 포스트에서는 "우리의 주요 목표는 강력한 AI 도구를 저렴하게 제공하는 것입니다. 우리는 ChatGPT를 통해 전 세계에서 최고의 모델을 무료로 제공하는 것을 자랑스럽게 생각합니다."라고 설명했습니다.
새로운 ChatGPT 데스크톱 앱은 단계적으로 출시되며, 우선 macOS에서 시작하고 나중에 Windows에서도 사용 가능합니다. 무라티는 현재 1억 명 이상의 사람들이 ChatGPT를 사용하고 있으며, 100만 개 이상의 맞춤형 GPT가 생성되었다고 밝혔습니다.
이 행사는 26분으로 짧고 몇 가지 어색한 라이브 시연이 있었지만, 곧 출시될 기술은 사용자 경험을 향상시키며 이전 버전보다 더 자연스럽고 강력한 인터페이스를 제공할 것을 약속합니다.
순위 목록
