去年,当山姆·奧特曼访问印度时,他提到一家融资仅为1000万美元的初创企业无法与OpenAI在基础模型训练方面竞争。这一评论引发了广泛讨论,特别是当前Tech Mahindra首席执行官CP·古尔纳尼回应说,印度在生成性人工智能领域的挑战已被接受时。
时光飞逝,到了2024年初,印度作为一个以高科技人才著称的国家,在生成性人工智能方面取得了显著进展。有趣的是,第一个挑战OpenAI GPT模型的印度初创企业并不是Tech Mahindra,而是Ola的创始人巴维什·阿卡瓦尔,他曾创立了与Uber竞争的打车公司。
Ola推出的Krutrim(意为“人工”)于上月发布了首个语言模型Krutrim base及相应的聊天机器人,计划很快实现主流应用。此外,Tech Mahindra和信实工业等公司也开始加入这一竞争行列。
生成性人工智能的本土化体验
尽管OpenAI的GPT和Meta的Llama在生成文本和代码方面表现优异,但它们在非英语语言,尤其是那些数字化程度较低的语言中常常碰壁。为了解决这一问题,韩国、芬兰和中国等国的科技公司开始开发专有模型,以提高本地语言及其文化背景在训练数据中的代表性。
对于印度来说,挑战更加复杂,这里有14亿人,官方语言达22种,还有数千种方言。创建一个涵盖如此语言多样性的模型既困难又需要大量资金。
阿卡瓦尔于2023年4月成立了Krutrim,并从Matrix Partners融资2400万美元。该初创企业的模型以两万亿个标记进行训练,涵盖的印度语言数量是现有模型的20倍。“Krutrim具有典型的印度精神。它能够生成具有印度文化敏感性和相关性的文本和代码,”阿卡瓦尔说道。
目前,Ola的模型已支持20种印度语言,并能生成包括印地语和英语在内的10种语言的文本。公司声称,其在印地语言上的表现优于GPT-4,但在英语表现上略显不足,而这一差距预计很快会缩小。
该初创企业正分阶段推进,计划支持所有获得正式认可的印度语言,并开发一款面向复杂问题解决的Pro版本模型,涵盖文本、视觉和语音。此外,阿卡瓦尔的团队正在为印度用户开发一种类似ChatGPT的聊天机器人,但尚未公开,并且正在进行研发以建立一个AI超级计算机。
竞争巨头
随着Krutrim的模型准备投入实际应用,它成为第一批全面解决生成性人工智能领域的印度初创企业之一。其他 notable 竞争者包括Tech Mahindra和信实工业。
在古尔纳尼的领导下,Tech Mahindra启动了印度计划(The Indus Project),这是一个为内部测试推出的开源大型语言模型(LLM)。该模型定于2024年2月首次亮相,专注于印地语,参数数量达到5.39亿,并包含100亿个印地语及方言标记,但初期将不支持所有语言。“在第一阶段,我们将创建印地语及37种以上方言的LLM,然后再扩展至其他语言,”公司表示。
与此同时,信实工业在推动印度4G革命的Jio的基础上,宣布计划开发适合印度市场的语言模型。该公司与Nvidia合作,利用GH200超级芯片建立超越印度最快超级计算机的AI基础设施,并与孟买印度理工学院合作开发名为Bharat GPT的项目。尽管具体细节不多,但信实似乎希望将这一GPT产品整合到其面向消费者的服务中。
除了信实和Tech Mahindra外,来自班加罗尔的Sarvam AI最近吸引了关注,其获得了4100万美元的资金。Sarvam已开发出基于Llama2的70亿参数的印度语言模型,并计划推出一个专注于企业的生成性人工智能应用平台。
由谷歌支持的Corover也取得了一定进展,声称已构建一个支持22种语言的印度语言模型,用于对话型企业聊天机器人。
提升生成性人工智能的体验
随着生成性人工智能领域的新参与者和技术进步,新型的闭源和开源印度语言模型的出现预计将改善内部工作流程,并在各个行业推动创新应用。
例如,Tech Mahindra设想印地计划的LLM作为一个数字助理,为超过1.4亿农民提供关于贷款、农药和农业的重要信息,以他们所偏好的语言进行沟通。这种技术还可能加速在医疗保健和金融服务中对当地方言的解读,具有广泛的应用潜力。
令人期待的是,这些模型在与全球对手竞争时的表现,包括即将推出的GPT-4.5和谷歌最近公布的Gemini系列。