Heute hat Snowflake Arctic vorgestellt, ein großes Sprachmodell (LLM), das für komplexe Unternehmensaufgaben wie SQL-Generierung, Code-Erstellung und die Befolgung von Anweisungen entwickelt wurde. Als das „offenste LLM für Unternehmen“ beworben, nutzt Arctic eine Mischung aus Expert-Architektur (MoE), um effizient Spitzenwerte bei Unternehmensarbeitslasten zu erreichen. Dabei zeigt es eine wettbewerbsfähige Leistung im Vergleich zu Standardmodellen von Databricks, Meta und Mistral in Bereichen wie Weltwissen, Alltagsverständnis, logisches Denken und mathematische Fähigkeiten.
„Dies ist ein entscheidender Moment für Snowflake, mit unserem KI-Forschungsteam an der Spitze der Innovation“, sagte CEO Sridhar Ramaswamy. „Durch die Bereitstellung führender Intelligenz und Effizienz in offener Form erweitern wir das Potenzial von Open-Source-KI. Unsere Forschung mit Arctic wird unsere Fähigkeit, zuverlässige und effiziente KI an unsere Kunden zu liefern, erheblich verbessern.“
Die Einführung von Arctic ist Snowflakes strategischer Schritt, um mit Databricks zu konkurrieren, das in seinen KI-Initiativen sehr aggressiv vorgeht. Snowflakes Fokus auf KI hat sich nach der Übernahme von Neeva und der Ernennung von Ramaswamy zum CEO intensiviert.
Arctic: Für Unternehmensarbeitslasten entwickelt
Während moderne Unternehmen generative KI annehmen, erfährt die Entwicklung von Anwendungen wie retrieval-augmented generation (RAG)-Chatbots, Daten-Co-Piloten und Code-Assistenten einen Aufschwung. Obwohl zahlreiche Modelle existieren, richten sich nur wenige speziell an Unternehmensbedürfnisse – hier punktet Snowflake Arctic.
„Wir glauben, dass KI die Entwicklung von End-to-End-KI-Produkten verbessern wird. Unsere Vision ist es, eine API zu schaffen, die es Geschäftsanwendern ermöglicht, direkt mit Daten zu interagieren und diese im gesamten Unternehmen zu demokratisieren. Arctic ist ein wichtiger Schritt zur Verwirklichung dieser Vision“, erklärte Ramaswamy in einem aktuellen Briefing.
Arctic nutzt eine dichte MoE-Hybridarchitektur, die Parameter in 128 spezialisierte Expertengruppen unterteilt. Diese Experten verarbeiten nur die Eingabetokens, für die sie am besten geeignet sind, und aktivieren bei der Beantwortung einer Anfrage nur 17 Milliarden der 480 Milliarden Parameter. Dieser zielgerichtete Ansatz gewährleistet hohe Leistung bei minimalem Rechenaufwand.
Benchmark-Tests zeigen, dass Arctic effektiv Unternehmensaufgaben bewältigt und im Durchschnitt 65 % in verschiedenen Tests erreicht. Diese Leistung stimmt eng mit der durchschnittlichen Unternehmensbewertung von 70 % des Llama 3 70B überein und liegt nur leicht hinter den 70 % von Mixtral 8X22B zurück.
Im Spider-Benchmark für SQL-Generierung erzielte Arctic 79 % und übertraf damit Databricks' DBRX und Mixtral 8X7B und näherte sich Llama 3 70B und Mixtral 8X22B. Bei Programmieraufgaben kam Arctic auf 64,3 %, was einen Vorsprung gegenüber Databricks und dem kleineren Mixtral-Modell darstellt, jedoch hinter Llama 3 70B und Mixtral 8X22B zurückbleibt. Besonders hervorzuheben ist, dass Arctic im IFEval-Benchmark für die Befolgung von Anweisungen 52,4 % erzielte und damit die meisten Wettbewerber, abgesehen vom neuesten Mixtral-Modell, übertraf.
Effizienz und Kostenwirksamkeit
Snowflake betont, dass der erreichte Grad an Unternehmensintelligenz durch bahnbrechende Effizienz realisiert wurde, mit einem Trainingsrechenbudget von unter 2 Millionen US-Dollar – deutlich weniger als bei anderen Modellen wie Llama 3 70B, das 17-mal mehr Rechenressourcen verwendete. Darüber hinaus verbessert die Nutzung von lediglich 17 aktiven Parametern die Kosteneffektivität von Arctic weiterhin.
Verfügbarkeit unter der Apache 2.0-Lizenz
Snowflake stellt Arctic über Cortex, seinen LLM-Anwendungsentwicklungsdienst, und in verschiedenen Modellkatalogen wie Hugging Face, Lamini, Microsoft Azure, Nvidia API-Katalog, Perplexity und Together zur Verfügung. Benutzer können die Modellgewichte und den Code von Arctic unter einer Apache 2.0-Lizenz von Hugging Face herunterladen, was die uneingeschränkte Nutzung für persönliche, kommerzielle oder Forschungszwecke ermöglicht.
Zusammen mit der Veröffentlichung des Modells stellt Snowflake ein Datenrezept für effizientes Fine-Tuning auf einer einzelnen GPU bereit sowie umfassende Forschungskochbücher, die das Design und die Trainingsprozesse des Modells detailliert beschreiben.
„Das Kochbuch wurde entwickelt, um die Lernkurve für alle zu beschleunigen, die sich für erstklassige MoE-Modelle interessieren. Es bietet sowohl hochrangige Einblicke als auch detaillierte technische Spezifikationen, um die Benutzer zu befähigen, effiziente und kostengünstige LLMs wie Arctic zu erstellen“, erklärte Baris Gultekin, Leiter der KI bei Snowflake, während der Pressekonferenz.
Rangliste
