작년 샘 올트먼(Sam Altman)이 인도를 방문했을 때, 그는 1천만 달러만으로는 OpenAI와 경쟁할 수 없다고 언급했습니다. 이 발언은 큰 논란을 불러일으켰고, 특히 전 Tech Mahindra CEO인 CP 굴라니(CP Gurnani)가 인도에서 생성형 AI 개발의 도전을 받아들이겠다고 응답하면서 더욱 주목받았습니다.
2024년 초, 기술 인재로 유명한 인도는 생성형 AI에서 눈에 띄는 진전을 보이고 있습니다. 흥미롭게도, OpenAI의 GPT 모델에 도전하는 첫 번째 인도 스타트업은 Tech Mahindra가 아닌 Ola의 바비쉬 아가르왈(Bhavish Aggarwal)입니다. 그는 우버(Uber)에 맞서기 위해 공유 차량 서비스인 Ola를 창립한 인물입니다.
"Ola Krutrim"이라는 인공지능 언어 모델이 지난달 첫 언어 모델인 Krutrim base와 이를 지원하는 챗봇을 출시했으며, 곧 대중적으로 채택될 예정입니다. Tech Mahindra와 릴라이언스 인더스트리즈(Reliance Industries) 등 다른 기업들도 이 경쟁에 뛰어들고 있습니다.
생성형 AI의 현지화 경험
OpenAI의 GPT와 메타의 라마(Llama)와 같은 모델은 텍스트와 코드를 생성하는 데 뛰어나지만, 비영어권 언어, 특히 디지털 공간에서 적게 표현되는 언어에서는 어려움을 겪고 있습니다. 이를 해결하기 위해 한국, 핀란드, 중국 등 여러 국가의 기술 기업들이 지역 언어와 문화적 맥락을 강화하는 독자적인 모델을 개발하기 시작했습니다.
인도는 14억 인구와 22개의 공용어, 수천 개의 방언이 존재하는 복잡한 언어 환경을 가지고 있어, 이러한 언어 다양성을 포함하는 모델을 만드는 것이 매우 어렵고 자본이 많이 소모됩니다. 아가르왈은 2023년 4월 Krutrim을 설립하고 매트릭스 파트너스로부터 2천4백만 달러의 자금을 확보했습니다. 이 스타트업의 모델은 2조의 토큰으로 훈련 되었으며, 인도 언어의 표현이 기존 모델보다 20배 더 많습니다. 아가르왈은 "Krutrim은 인도적 감성을 내재하고 있으며, 인도 문화적 의미와 관련성을 갖춘 텍스트와 코드를 생성합니다"라고 말했습니다.
현재 Ola의 모델은 20개 인도 언어를 이해하고 10개 언어로 텍스트를 생성합니다. 회사에 따르면, 그 성능은 인도 언어에서 GPT-4를 초과하나, 영어 성능에서는 뒤처지는 상황이며, 이 격차는 곧 해소될 것으로 예상됩니다.
스타트업은 단계별로 발전 중이며, 모든 공식적으로 인정받은 인도 언어를 지원하고, 텍스트, 비전 및 음성을 포함한 복잡한 문제 해결을 위한 Pro 버전 모델을 개발할 계획입니다. 또한 아가르왈의 팀은 인도 사용자를 위한 ChatGPT 유사 챗봇을 개발 중이며, 이는 아직 공개되지 않았고 AI 슈퍼컴퓨터 구축을 위한 연구개발도 진행 중입니다.
경쟁하는 대기업들
Krutrim의 모델이 실제 적용을 준비하는 한편, 이는 생성형 AI 분야에 전방위적으로 도전하는 첫 번째 인도 스타트업 중 하나로 여겨집니다. Tech Mahindra와 릴라이언스 인더스트리즈도 주목받는 경쟁자로 나서고 있습니다.
굴라니의 리더십 아래 Tech Mahindra는 내부 테스트를 위해 오픈소스 대형 언어 모델인 인더스 프로젝트(The Indus Project)를 시작했습니다. 2024년 2월 데뷔 예정인 이 모델은 5억 3천 9백만 개의 파라미터와 100억 개의 힌디어 및 방언 토큰을 포함하며 처음엔 모든 언어를 지원하지 않을 것입니다. 회사는 "첫 번째 단계에서는 힌디어와 37개 이상의 방언을 위한 LLM을 만들고, 이후 다른 언어로 확대할 계획입니다"라고 설명했습니다.
한편, Jio와 함께 인도에서 4G 혁명을 주도한 릴라이언스 인더스트리즈는 인도 시장을 위한 언어 모델 개발 계획을 발표했습니다. 이 회사는 자사의 AI 인프라 구축을 위해 Nvidia와 협력해 GH200 슈퍼칩을 활용하여 인도에서 가장 빠른 슈퍼컴퓨터를 초월하는 협업 프로젝트인 Bharat GPT를 추진하고 있습니다. 구체적인 내용은 부족하지만, 릴라이언스가 Jio를 포함한 소비자-facing 서비스에 이 GPT 제품을 통합하려는 것으로 보입니다.
릴라이언스 및 Tech Mahindra와 함께, 벵갈루루에 위치한 Sarvam AI는 최근 4천1백만 달러의 자금을 유치하여 주목받고 있습니다. Sarvam은 Llama2를 기반으로 한 70억 개 파라미터를 가진 인도 언어 모델을 개발했으며, 생성형 AI 애플리케이션 구축을 위한 기업 중심 플랫폼도 출시할 예정입니다.
구글의 지원을 받는 Corover도 눈에 띄는 발전을 이뤄, 대화형 기업 챗봇을 위한 22개 언어를 지원하는 인도 언어 모델을 구축했다고 주장하고 있습니다.
생성형 AI 경험 향상
새로운 플레이어와 기술 발전으로 생성형 AI 환경이 진화함에 따라, 정교한 닫힘형 및 오픈 소스 인도 언어 모델의 출현이 기대되고 있습니다. 이 진화는 내부 워크플로를 개선하고 다양한 분야에서 혁신적인 애플리케이션을 촉진할 것입니다.
예를 들어, Tech Mahindra는 인더스 프로젝트의 LLM을 1억 4천만 농민을 위한 디지털 도우미로 설계할 예정이며, 이들은 선호하는 언어로 대출, 농약 및 농업에 대한 중요한 정보를 제공받을 수 있습니다. 또한, 지역 방언을 신속하게 해석함으로써 의료 및 금융 서비스 향상에도 기여할 수 있습니다. 그 활용 가능성은 무궁무진합니다.
이들 모델이 OpenAI의 GPT-4.5 출시를 앞둔 글로벌 경쟁자들과 어떻게 성능을 비교할지 흥미롭게 지켜볼 일입니다.
순위 목록
