Das in Helsinki ansässige KI-Startup Silo AI sorgt diese Woche mit der Einführung von Poro für Aufsehen, einem Open-Source- großen Sprachmodell (LLM), das sich auf die Verbesserung der mehrsprachigen KI-Fähigkeiten für europäische Sprachen konzentriert.
Poro ist das erste Modell einer Reihe von Open-Source-Modellen, die alle 24 offiziellen Sprachen der Europäischen Union unterstützen sollen. Entwickelt von SiloGen, der generativen KI-Abteilung von Silo AI, in Zusammenarbeit mit der Forschungsgruppe TurkuNLP der Universität Turku, wird Poro die Sprachverarbeitung auf dem gesamten Kontinent revolutionieren.
„Es geht um digitale Souveränität“, erklärte Peter Sarlin, CEO von Silo AI. „Wir möchten Modelle, die europäische Werte, Kultur und Sprachen verkörpern. Unser Ziel ist es, europäischen Unternehmen – und jeder Organisation – die Erstellung proprietärer Modelle zu ermöglichen, die ihren Wert innerhalb Europas bewahren.“
Das Poro 34B Modell mit 34,2 Milliarden Parametern hat seinen Namen vom finnischen Wort für „Rentier“. Es nutzt eine BLOOM-Transformer-Architektur mit ALiBi-Embedding und wurde auf einem diversifizierten Datensatz von 21 Billionen mehrsprachigen Tokens trainiert, einschließlich Englisch, Finnisch und Programmiersprachen wie Python und Java.
Poro wird auf LUMI, dem leistungsstärksten Supercomputer Europas in Kajaani, Finnland, trainiert, der über 512 AMD Instinct MI250X GPUs mit beeindruckenden 74 Petaflops Rechenleistung verfügt.
Sarlin betonte, dass Poro eine wichtige Herausforderung angeht: das Training effektiver natürlicher Sprachmodelle für ressourcenärmere europäische Sprachen wie Finnisch. Das Modell verwendet eine sprachübergreifende Trainingsstrategie, die auf Daten aus ressourcenreicheren Sprachen wie Englisch basiert.
Poro ist das zweite bedeutende Open-Source-LLM aus Europa, nach dem hochfinanzierten Mistral 7B des französischen Startups Mistral AI. Seine Einführung unterstreicht den wachsenden Einfluss Europas im sich rasch entwickelnden Bereich der generativen KI und signalisiert einen zunehmenden Wettbewerb zwischen verschiedenen KI-Forschungs- und Entwicklungseinrichtungen.
Transparente Forschung mit Poro
SiloGen verpflichtet sich zur Transparenz durch das Poro Research Checkpoints-Programm, das den Trainingsprozess des Modells dokumentiert. „Wir werden während des Trainingsprozesses Checkpoints veröffentlichen, was ein relativ neuer Ansatz ist“, erklärte Sarlin. „Solche Transparenz im Modelltraining ist ungewöhnlich.“
Der erste Checkpoint von Poro 34B erfasst die ersten 30 % des Trainings. Erste Benchmarks zeigen, dass Poro in dieser Phase bereits Ergebnisse auf dem neuesten Stand der Technik erzielt. In der FIN-bench-Bewertung für Finnisch übertrifft Poro spezialisierte einsprachige finnische Modelle wie FinGPT.
„Das Modell hat bereits bei nur 30 % des Trainings eine überlegene Leistung für ressourcenärmere Sprachen gezeigt“, bemerkte Sarlin. Indem es gemeinsame Muster über verwandte Sprachen hinweg identifiziert, erzielt Poro hervorragende Ergebnisse, selbst wenn die Trainingsdaten begrenzt sind.
Beeindruckend ist, dass Poro's mehrsprachige Fähigkeiten seine Leistung in Englisch nicht beeinträchtigen. Tests zeigen, dass es bestehende Modelle in finnischen Benchmarks übertrifft und auf dem Weg ist, die Leistung im Englischen zu erreichen oder zu übertreffen.
Eine Open-Source-Alternative zu Big Tech
Sarlin setzt sich für Open-Source-Modelle wie Poro als Zukunft der KI ein, die eine transparente und ethische Alternative zu proprietären Modellen der Technologieriesen bieten. „Ich glaube, dass wir viele Open-Source-Alternativen sehen werden“, sagte er. „Die sicherste Zukunft ist eine, die im Open-Source-Bereich verwurzelt ist, mit klarer Sichtbarkeit hinsichtlich der Modellerstellung und -architektur.“
Er fügte hinzu, dass erhebliche Anstrengungen unternommen wurden, um sicherzustellen, dass sowohl die Daten als auch das Modell von Anfang an den regulatorischen Standards entsprechen. Silo AI plant, während des Trainingsprozesses regelmäßig Poro-Checkpoints zu veröffentlichen, mit dem Ziel, eine umfassende Familie von Open-Source-Modellen für alle europäischen Sprachen zu etablieren.
Partnerschaft mit der Universität Turku
Die Entwicklung von Poro spiegelt eine fruchtbare Partnerschaft zwischen Silo AI und der Universität Turku wider, wo Forscher von TurkuNLP Open-Source-Ressourcen für die finnische Sprache entwickelt haben. „Meine Forschungsgruppe und mehrere Professoren haben sich zusammengeschlossen, um das Unternehmen mit Umsatzfinanzierungen zu skalieren“, teilte Sarlin mit. „Mit über 300 Mitarbeitern, von denen die meisten Doktortitel in KI-bezogenen Bereichen haben, unterscheiden wir uns erheblich von vielen anderen in der Branche.“
Diese Zusammenarbeit vereint die praktische KI-Expertise von Silo AI mit der Führungsrolle der Universität im Bereich mehrsprachige Modellforschung und zeigt ein Modell für effektive Zusammenarbeit zwischen Industrie und Wissenschaft zur Verbesserung der KI-Fähigkeiten für ressourcenärmere europäische Sprachen.
Ist Europa bereit, in der Open-Source-KI zu führen?
Die Einführung von Poro markiert den Beginn einer neuen Phase offener Zusammenarbeit und Transparenz in der Verarbeitung natürlicher Sprache. Initiativen wie die Poro Research Checkpoints bieten Einblicke und Ressourcen, die zuvor von großen Technologiefirmen monopolisiert wurden.
„Wir arbeiten mit Kunden wie Allianz, Rolls Royce, Honda und Philips zusammen und haben von großen Unternehmen Bedenken hinsichtlich zukünftiger Vorschriften und der Modelle gehört, die sie nutzen können“, sagte Sarlin.
Wenn Poro sein Potenzial ausschöpft, könnte es den Zugang zu leistungsstarken mehrsprachigen Modellen demokratisieren und Europa eine einheimische Alternative zu US-Technologieriesen anbieten. Es ist zwar noch früh, aber Poro stellt einen bedeutenden Schritt zur Schaffung eines zugänglichen und offenen Sprach-KI-Systems dar, das aus proprietären Silos in den öffentlichen Raum überführt wird.
Rangliste
