샌프란시스코에 본사를 둔 스타트업 Writer는 2020년에 설립되어 2023년 9월에 기업 응용 프로그램을 위한 독자적인 대형 언어 모델(LLM) 확장을 위해 1억 달러를 모집했습니다. OpenAI, Anthropic, Meta와 같은 대기업만큼 유명하지는 않지만, Writer는 자체 모델 Palmyra로 틈새 시장을 개발하고 있습니다. Accenture, Vanguard, HubSpot, Pinterest와 같은 저명한 기업들이 이러한 모델을 기반으로 한 Writer의 창의성 및 생산성 플랫폼을 활용하고 있습니다.
최근 스탠포드 HAI의 기초 모델 연구 센터는 HELM Lite라는 새로운 벤치마크 지표를 도입했습니다. HELM Lite는 컨텍스트 학습을 특징으로 하여 LLM이 추론 시 제공된 소량의 예제로부터 작업을 학습할 수 있게 합니다. 주목할 점은, GPT-4가 이 벤치마크에서 선두를 차지했지만, Writer의 Palmyra X V2와 X V3 모델은 예상외로 뛰어난 성과를 보이며 작은 규모임에도 높은 순위를 차지했습니다. 스탠포드 센터의 퍼시 리앙 디렉터가 전했습니다.
기계 번역 분야에서 Palmyra는 최고 순위를 기록하며 두각을 나타냈습니다. CEO 메이 하빕은 LinkedIn 게시물에서 “Palmyra X가 고전적인 벤치마크를 초월하며 MMLU에서 전체 1위를 차지하고 새로운 번역 테스트에서도 선두를 달리고 있다”고 강조했습니다.
하빕은 GPT-4와 같이 1.2조 토큰으로 훈련된 대형 모델을 도입할 때 기업이 직면하는 경제적 도전을 언급하면서 "2024년 생성 AI 사용 사례는 경제적으로 실행 가능해야 한다"고 설명했습니다. 기업들은 모델 증류로 인해 높은 운영 비용과 변동하는 프롬프트 문제로 어려움을 겪는 경향이 있습니다. 그녀는 스탠포드 HAI의 벤치마킹이 Hugging Face와 같은 다른 플랫폼보다 실제 기업의 요구를 더 정확하게 반영한다고 믿고 있습니다.
Writer는 처음에 마케팅 팀을 목표로 하였으며, 하빕과 와심 알시크가 공동 설립하였습니다. 두 사람은 NLP 및 기계 번역 회사인 Qordoba를 관리한 경험이 있습니다. 2023년 초, Writer는 1억 2800만 개에서 200억 개의 매개변수를 갖춘 Palmyra 시리즈 모델을 출시했으며, 기업들이 Palmyra와 자기 호스팅 모델에 비즈니스 데이터를 통합하는 데 도움이 되는 지식 그래프를 출시했습니다.
하빕은 “우리는 모델과 내장형 검색 증강 생성(RAG) 시스템을 결합한 풀 스택 솔루션을 제공합니다”라고 말하며, 이 혁신이 데이터 전송의 비효율성을 해결한다고 언급했습니다. 하빕은 전반적인 성장을 발휘하는 대형 일반 모델보다 중소형 모델과 선별된 훈련 데이터를 조합하는 것을 옹호합니다. HELM Lite 리더보드에서 의료 LLM이 GPT-4를 초월하는 성과를 보인 것을 언급하며, "추론과 비용 측면에서 기업은 관리가 쉽고 경제적인 전문 모델의 혜택을 누린다"고 강조했습니다.