Snowflake, der führende Anbieter von Daten-Cloud-Lösungen, hat offiziell das Jamba-Instruct LLM von AI21 Labs in seinen Cortex AI-Service integriert. Diese neue Funktion soll den Unternehmenskunden von Snowflake helfen, generative KI-Anwendungen wie Chatbots und Zusammenfassungstools zu entwickeln, die lange Dokumente effizient verarbeiten, ohne dabei an Qualität oder Genauigkeit zu verlieren.
Ab heute ermöglicht das Jamba-Instruct-Modell Unternehmen, große Dateien zu nutzen, was in vielen Betrieben unerlässlich ist. Während AI21 Labs ein wichtiger Partner ist, arbeitet Snowflake mit verschiedenen LLMs zusammen, um sein generatives KI-Ökosystem zu verbessern. Vor Kurzem hat Snowflake eine Partnerschaft mit Meta geschlossen, um die Llama 3.1 LLM-Familie zu integrieren, und ein eigenes Modell mit dem Namen 'Arctic' lanciert, was die aggressiven Fortschritte im Bereich generative KI verdeutlicht.
Vorteile von Jamba-Instruct für Snowflake-Nutzer
Im März präsentierte AI21 Labs Jamba, ein offenes generatives KI-Modell, das eine Transformatorarchitektur mit einem neuartigen, speichereffizienten Structured State Space-Modell (SSM) kombiniert. Jamba bietet ein bemerkenswertes Kontextfenster von 256K, was zu einer dreifachen Steigerung der Durchsatzrate bei langen Kontexten im Vergleich zu ähnlichen Modellen führt. Diese Effizienz war die Grundlage für Jamba-Instruct, eine auf Anweisungen abgestimmte Version, die über fortschrittliches Training, Chat-Funktionen und Sicherheitsmerkmale für Unternehmensanwendungen verfügt.
Im Mai auf der Plattform von AI21 gestartet, ist Jamba-Instruct nun Teil von Cortex AI, Snowflakes no-code, vollständig verwaltetem Service zur Erstellung leistungsstarker generativer KI-Anwendungen. „Mit seinem großen Kontextfenster verarbeitet Jamba-Instruct bis zu 256K Tokens – etwa 800 Seiten Text – und ist ein unschätzbares Werkzeug für das Management umfangreicher Dokumente“, sagte Baris Gultekin, Leiter der KI-Abteilung bei Snowflake.
Beispielsweise können Finanzanalysten Q&A-Tools nutzen, um Erkenntnisse aus umfangreichen 10-K-Berichten zu gewinnen, während Klinikern die schnelle Analyse umfassender Patientenberichte ermöglicht wird. Einzelhändler können zudem Chatbots entwickeln, die in der Lage sind, kohärente, referenzbasierte Dialoge mit Kunden zu führen.
Gultekin betonte, dass das umfangreiche Kontextfenster des Modells die Erstellung von Retrieval-Augmented Generation (RAG)-Pipelines vereinfacht, was eine effiziente Informationsbeschaffung und unterstützende Eingabeaufforderungen für spezifische Stile während der Inhaltserstellung ermöglicht.
Kosteneffizienz
Neben den Möglichkeiten zur Verarbeitung langer Dokumente bietet Jamba-Instruct erhebliche Kosteneinsparungen für Snowflake-Kunden. Das hybride Design und die Mixture-of-Experts (MoE)-Technologie des Modells machen das umfangreiche Kontextfenster im Vergleich zu anderen auf Anweisungen abgestimmten Transformatoren wirtschaftlich zugänglicher. In Kombination mit der serverlosen Inferenz von Cortex AI und einem verbrauchsabhängigen Preismodell zahlen Unternehmen nur für die Ressourcen, die sie tatsächlich nutzen, wodurch kostspielige dedizierte Infrastruktur entfällt.
„Organisationen können Leistung, Kosten und Latenz effizient ausbalancieren, indem sie die Skalierbarkeit von Snowflake mit der Effizienz von Jamba-Instruct nutzen. Die Architektur von Cortex AI ermöglicht eine nahtlose Skalierung der Rechenressourcen“, erklärte Pankaj Dugar, SVP & GM für Nordamerika bei AI21 Labs.
Derzeit unterstützt Cortex AI eine Vielzahl von LLMs, darunter Snowflakes Arctic-Modell sowie Angebote von Google, Meta, Mistral AI und Reka AI. „Wir streben danach, unseren Kunden die Flexibilität zu bieten, zwischen Open-Source- und kommerziellen Modellen zu wählen, um ihre spezifischen Bedürfnisse zu adressieren, ohne die Datenverwaltung zu komplizieren“, fügte Gultekin hinzu.
Die Modellwahl wird voraussichtlich wachsen, wobei in den kommenden Monaten neue Optionen – insbesondere von AI21 – erwartet werden. Gultekin hob hervor, dass Kundenfeedback eine entscheidende Rolle bei der Evaluierung und Integration von LLMs spielt, um sicherzustellen, dass die passenden Werkzeuge für verschiedene Anwendungsfälle wie automatisierte Geschäftsanalyse, Gesprächsassistenten und Textzusammenfassungen verfügbar sind.
Snowflake hat kürzlich TruEra übernommen, um Kunden bei der Navigation in der sich erweiternden Modelllandschaft zu unterstützen. Gultekin bemerkte, dass TruEras TruLens es Nutzern ermöglicht, mit LLMs zu experimentieren und die besten Modelle für ihre Bedürfnisse zu bewerten.
Heute nutzen über 5.000 Unternehmen Snowflakes KI-Fähigkeiten, wobei der Fokus auf Schlüsselanwendungen wie automatisierte Geschäftsanalyse, Gesprächsassistenten und Textzusammenfassungen liegt.
Rangliste
