La startup de inteligencia artificial Silo AI, con sede en Helsinki, ha generado entusiasmo esta semana con el lanzamiento de Poro, un modelo de lenguaje grande (LLM) de código abierto enfocado en mejorar las capacidades multilingües de la IA para las lenguas europeas.
Poro es la primera oferta de una serie de modelos de código abierto diseñados para apoyar los 24 idiomas oficiales de la Unión Europea. Desarrollado por SiloGen, la división de IA generativa de Silo AI, en colaboración con el grupo de investigación TurkuNLP de la Universidad de Turku, Poro está preparado para revolucionar el procesamiento del lenguaje en el continente.
“Se trata de soberanía digital”, afirmó Peter Sarlin, CEO de Silo AI. “Queremos modelos que encarnen los valores, la cultura y las lenguas europeas. Nuestro objetivo es habilitar a las empresas europeas —y a cualquier organización— a crear modelos propios que mantengan su valor dentro de Europa”.
El modelo Poro 34B, que cuenta con 34.2 mil millones de parámetros, lleva su nombre de la palabra finlandesa que significa “reno”. Utiliza una arquitectura de transformador BLOOM con embeddings ALiBi y fue entrenado con un diverso conjunto de datos de 21 billones de tokens multilingües, incluidos inglés, finlandés y lenguajes de programación como Python y Java.
Poro se está entrenando en LUMI, el superordenador más potente de Europa, ubicado en Kajaani, Finlandia, que cuenta con 512 GPUs AMD Instinct MI250X y una impresionante capacidad de computación de 74 petaflops.
Sarlin subrayó que Poro aborda un desafío significativo: entrenar modelos efectivos de lenguaje natural para idiomas europeos de bajos recursos, como el finlandés. El modelo emplea una estrategia de entrenamiento cross-lingual, aprovechando datos de lenguas con más recursos, como el inglés.
Poro es el segundo LLM de código abierto importante que surge de Europa, después del muy financiado Mistral 7B de la startup francesa Mistral AI. Su lanzamiento subraya la creciente presencia de Europa en el panorama en rápida evolución de la IA generativa y señala una competencia en aumento entre varias entidades de investigación y desarrollo en IA.
Puntos de Control de Investigación de Poro
SiloGen se compromete a la transparencia a través del programa Poro Research Checkpoints, que documenta el proceso de entrenamiento del modelo. “Publicaremos puntos de control a lo largo del proceso de entrenamiento, un enfoque relativamente nuevo”, explicó Sarlin. “Tal transparencia en el entrenamiento de modelos es poco común”.
El primer punto de control de Poro 34B captura el 30% inicial de su entrenamiento. Los primeros benchmarks indican que Poro ya está logrando resultados de vanguardia en esta fase. En la evaluación FIN-bench para el finlandés, Poro supera a modelos monolingües especializados como FinGPT.
“El modelo ha demostrado un rendimiento superior para lenguas de bajos recursos con solo el 30% del entrenamiento completado”, señaló Sarlin. Al identificar patrones comunes entre idiomas relacionados, Poro sobresale incluso cuando los datos de entrenamiento son limitados.
Impresionantemente, las capacidades multilingües de Poro no comprometen su rendimiento en inglés. Las pruebas muestran que supera a los modelos existentes en benchmarks finlandeses y está en camino de igualar o superar el rendimiento en inglés.
Una Alternativa de Código Abierto a las Grandes Empresas Tecnológicas
Sarlin defiende modelos de código abierto como Poro como el futuro de la IA, ofreciendo una alternativa transparente y ética a los modelos propietarios de los gigantes tecnológicos. “Creo que veremos surgir numerosas alternativas de código abierto”, afirmó. “El futuro más seguro es uno basado en código abierto, con clara visibilidad en la construcción y arquitectura del modelo”.
Añadió que se han hecho esfuerzos significativos para garantizar que tanto los datos como el modelo cumplan con las normativas desde el diseño. Silo AI planea publicar regularmente puntos de control de Poro a lo largo del proceso de entrenamiento, con el objetivo de establecer una amplia familia de modelos de código abierto para todos los idiomas europeos.
Colaboración con la Universidad de Turku
El desarrollo de Poro refleja una fructífera asociación entre Silo AI y la Universidad de Turku, donde los investigadores de TurkuNLP han sido pioneros en recursos de código abierto para el idioma finlandés. “Mi grupo de investigación y varios profesores unimos fuerzas para escalar la empresa utilizando financiamiento por ingresos”, compartió Sarlin. “Con más de 300 empleados, la mayoría con doctorados en campos relacionados con la IA, nos diferenciamos considerablemente de muchos otros en la industria”.
Esta colaboración fusiona la experiencia práctica de IA de Silo AI con el liderazgo de la Universidad en investigación de modelado multilingüe, mostrando un modelo para la cooperación efectiva entre la industria y la academia en la mejora de las capacidades de IA para lenguas europeas de bajos recursos.
¿Está Europa Lista para Liderar en IA de Código Abierto?
El lanzamiento de Poro marca el comienzo de una nueva fase de colaboración abierta y transparencia en el procesamiento del lenguaje natural. Iniciativas como Poro Research Checkpoints brindan información y recursos previamente monopolizados por grandes empresas tecnológicas.
“Colaboramos con clientes como Allianz, Rolls Royce, Honda y Philips, y hemos escuchado preocupaciones por parte de grandes empresas respecto a las futuras regulaciones y los modelos que pueden utilizar”, dijo Sarlin.
Si Poro cumple con su potencial, podría democratizar el acceso a poderosos modelos multilingües, ofreciendo a Europa una alternativa nativa a los gigantes tecnológicos estadounidenses. Aunque aún es temprano, Poro representa un paso significativo hacia la accesibilidad y apertura de la IA de lenguaje, trasladándola de silos propietarios al dominio público.
Clasificación
