A startup de IA baseada em Helsinque, Silo AI, gerou entusiasmo esta semana com o lançamento do Poro, um modelo de linguagem grande (LLM) de código aberto focado em aprimorar capacidades de IA multilíngue para idiomas europeus.
O Poro é a primeira oferta de uma série de modelos de código aberto destinados a suportar todos os 24 idiomas oficiais da União Europeia. Desenvolvido pela SiloGen, divisão de IA generativa da Silo AI, em colaboração com o grupo de pesquisa TurkuNLP da Universidade de Turku, o Poro promete revolucionar o processamento de linguagens em todo o continente.
“É uma questão de soberania digital”, afirmou Peter Sarlin, CEO da Silo AI. “Queremos modelos que incorporem valores, cultura e idiomas europeus. Nosso objetivo é capacitar empresas e organizações europeias a criar modelos proprietários que mantenham seu valor na Europa.”
O modelo Poro 34B, que possui 34,2 bilhões de parâmetros, recebe o nome da palavra finlandesa para "reno". Utilizando uma arquitetura de transformador BLOOM com embeddings ALiBi, foi treinado em um conjunto diversificado de 21 trilhões de tokens multilíngues, incluindo inglês, finlandês e linguagens de programação como Python e Java.
O Poro está sendo treinado no LUMI, o supercomputador mais poderoso da Europa, localizado em Kajaani, na Finlândia, com 512 GPUs AMD Instinct MI250X e impressionantes 74 petaflops de poder computacional.
Sarlin destacou que o Poro enfrenta um desafio significativo: treinar modelos eficazes de linguagem natural para idiomas europeus menos favorecidos, como o finlandês. O modelo emprega uma estratégia de treinamento cruzado, aproveitando dados de idiomas com mais recursos, como o inglês.
O Poro é o segundo LLM de código aberto importante a surgir da Europa, após o Mistral 7B da startup francesa Mistral AI. Seu lançamento destaca a crescente presença da Europa no cenário em rápida evolução da IA generativa e sinaliza uma competição crescente entre diversas entidades de pesquisa e desenvolvimento em IA.
Pontos de Verificação da Pesquisa do Poro
A SiloGen está comprometida com a transparência por meio do programa Poro Research Checkpoints, documentando a jornada de treinamento do modelo. “Liberaremos pontos de verificação ao longo do processo de treinamento, uma abordagem relativamente nova,” explicou Sarlin. “Essa transparência no treinamento de modelos é incomum.”
O ponto de verificação inicial do Poro 34B captura os primeiros 30% de seu treinamento. Avaliações preliminares indicam que o Poro já está alcançando resultados de ponta nesta fase. Na avaliação FIN-bench para o finlandês, o Poro supera modelos finlandeses monolíngues especializados, como o FinGPT.
“O modelo demonstrou desempenho superior para idiomas de baixo recurso com apenas 30% do treinamento concluído,” observou Sarlin. Identificando padrões comuns entre idiomas relacionados, o Poro se destaca mesmo quando os dados de treinamento são limitados.
Surpreendentemente, as capacidades multilíngues do Poro não comprometem seu desempenho em inglês. Testes mostram que ele supera modelos existentes em benchmarks finlandeses e está a caminho de igualar ou superar o desempenho em inglês.
Uma Alternativa de Código Aberto para as Grandes Tecnológicas
Sarlin defende modelos de código aberto como o Poro como o futuro da IA, oferecendo uma alternativa transparente e ética aos modelos proprietários das grandes empresas de tecnologia. “Acredito que veremos muitas alternativas de código aberto emergirem,” disse ele. “O futuro mais seguro é aquele enraizado na transparência, com visibilidade clara na construção e arquitetura do modelo.”
Ele acrescentou que esforços significativos foram feitos para garantir que tanto os dados quanto o modelo estejam em conformidade com padrões regulatórios desde sua concepção. A Silo AI planeja liberar regularmente pontos de verificação do Poro ao longo do processo de treinamento, visando estabelecer uma ampla família de modelos de código aberto para todos os idiomas europeus.
Colaboração com a Universidade de Turku
O desenvolvimento do Poro reflete uma parceria frutífera entre a Silo AI e a Universidade de Turku, onde pesquisadores do TurkuNLP pioneiros em recursos de código aberto para a língua finlandesa. “Meu grupo de pesquisa e vários professores uniram forças para escalar a empresa com financiamento de receita,” compartilhou Sarlin. “Com mais de 300 funcionários, a maioria com doutorados em campos relacionados à IA, somos bastante diferentes de muitos outros na indústria.”
Essa colaboração combina a experiência prática em IA da Silo AI com a liderança da Universidade em pesquisa de modelagem multilíngue, demonstrando um modelo para colaboração efetiva entre indústria e academia na melhoria das capacidades de IA para idiomas europeus menos favorecidos.
A Europa Está Pronta para Liderar em IA de Código Aberto?
O lançamento do Poro marca o início de uma nova fase de colaboração aberta e transparência no processamento de linguagem natural. Iniciativas como o Poro Research Checkpoints oferecem insights e recursos anteriormente monopolizados por grandes empresas de tecnologia.
“Colaboramos com clientes como Allianz, Rolls Royce, Honda e Philips, e ouvimos preocupações de grandes empresas sobre regulamentações futuras e os modelos que podem utilizar,” disse Sarlin.
Se o Poro atingir seu potencial, pode democratizar o acesso a poderosos modelos multilíngues, oferecendo à Europa uma alternativa nativa aos gigantes tecnológicos dos EUA. Embora ainda seja cedo, o Poro representa um passo significativo na democratização da IA de linguagem, movendo-a para fora dos silos proprietários e para o domínio público.
Classificação
