Elon Musk의 xAI가 최근 Grok-2 대형 언어 모델(LLM) 챗봇을 출시하며 주목받고 있습니다. 이 챗봇은 소셜 네트워크 X에서 월 $8의 구독으로 사용할 수 있습니다. Grok-2의 두 가지 버전, 즉 더 빠르지만 성능이 덜 강력한 Grok-2 mini는 정보 처리 속도와 응답 시간이 크게 향상되었습니다. 이 업그레이드는 xAI 개발자 이고르 바부시킨, 리안민 정, 세이드 말레키가 단 3일 안에 인퍼런스 코드를 완전히 새로 작성한 결과입니다.
바부시킨은 X에서 “Grok 2 mini는 어제보다 2배 더 빨라졌습니다. 지난 3일 동안 @lm_zheng과 @MalekiSaeed가 SGLang을 사용하여 인퍼런스 스택을 처음부터 새로 작성했습니다. 이 개선 덕분에 대형 Grok 2 모델을 합리적인 속도로 제공할 수 있습니다. 두 모델 모두 더 빨라졌을 뿐 아니라 약간의 정확도 향상도 이루어졌습니다. 추가적인 속도 향상을 기대해 주세요!”라고 전했습니다.
SGLang은 복잡한 언어 모델 프로그램 실행을 위한 효율적인 오픈 소스 시스템으로, 기존 시스템보다 최대 6.4배 높은 처리량을 달성했습니다. 스탠포드 대학교, UC 버클리, 텍사스 A&M 대학교, 상하이 교통대학교의 연구자들이 개발한 SGLang은 프론트엔드 언어와 백엔드 런타임을 통합하여 언어 모델 응용 프로그램 프로그래밍을 간소화합니다. 이 시스템은 Llama, Mistral, LLaVA와 같은 다양한 모델을 지원하며, OpenAI의 GPT-4와 같은 오픈 웨이트 및 API 기반 모델과도 호환됩니다.
Grok-2와 Grok-2 Mini 성능 하이라이트
최근 Lmsys 챗봇 아레나 리더보드 업데이트에서 Grok-2는 6686표를 바탕으로 1293의 아레나 점수로 2위를 차지했습니다. 이는 전 세계에서 두 번째로 강력한 AI 모델로, 구글의 Gemini-1.5 Pro와 동률을 이루고 있으며, OpenAI의 ChatGPT-4o에 이은 성적입니다. Grok-2 mini는 최근 개선 덕분에 7266표로 1268의 아레나 점수를 기록하며 5위로 상승했습니다. 이는 GPT-4o mini와 Claude 3.5 Sonnet에 이어지는 순위입니다. 두 모델은 xAI의 AI 기술 발전에 대한 헌신을 보여줍니다.
Grok-2는 특히 수학 작업에서 1위를 차지하며, 하드 프롬프트, 코딩, 지시사항 준수 등 다양한 분야에서도 강력한 성능을 유지하고 있습니다. 이러한 성과 덕분에 Grok-2는 현재 4위인 OpenAI의 GPT-4o보다 앞섭니다.
미래 발전 방향
바부시킨은 Grok-2 mini가 전체 Grok-2 모델보다 속도가 우수하다는 점을 강조했습니다. 그는 Grok-2 mini의 처리 속도를 더욱 높이기 위한 노력이 계속 진행 중임을 언급하며, 이는 낮은 컴퓨팅 자원으로도 높은 성능을 중시하는 사용자를 위한 매력적인 선택이 될 수 있음을 시사합니다.
Grok-2와 Grok-2 mini의 챗봇 아레나 리더보드 추가는 AI 커뮤니티에서 큰 주목을 받고 있으며, xAI의 혁신에 대한 의지를 보여줍니다. 지속적인 개선을 통해 Grok-2와 Grok-2 mini는 향후 AI 발전의 선두주자로 자리매김하며, 속도와 정확성 향상을 약속하고 있습니다.
순위 목록
