Kneron Stärkt Edge AI mit Verbesserter Neuraler Verarbeitungseinheit und Aufgerüsteten Edge GPT Server-Funktionen

Es gibt verschiedene Ansätze zur Feinabstimmung, zum Training und zur Inferenz von KI am Edge. Eine Alternative zu herkömmlichen GPUs ist die von Kneron entwickelte Neural Processing Unit (NPU).

Auf der Computex-Konferenz in Taiwan präsentierte Kneron seine nächste Generation von Silizium- und Servertechnologien, die darauf abzielen, die Edge-AI-Inferenz und Feinabstimmung zu verbessern. Kneron, 2015 gegründet, kann eine beeindruckende Liste von Investoren vorweisen, darunter Qualcomm und Sequoia Capital. Im Jahr 2023 brachte das Unternehmen die KL730 NPU auf den Markt, um dem globalen GPU-Mangel entgegenzuwirken. Mit der Einführung der KL830 und einem Ausblick auf die kommende KL1140, die 2025 erscheinen soll, erweitert Kneron auch sein Angebot an AI-Servern mit dem KNEO 330 Edge GPT-Server, der Offline-Inferenzfunktionen unterstützt.

Die Innovationen von Kneron sind Teil einer wachsenden Gruppe von Unternehmen wie Groq und SambaNova, die alternative Lösungen zu GPUs suchen, um die Energieeffizienz von KI-Anwendungen zu steigern.

Edge AI und private LLMs, unterstützt von NPUs

Ein zentrales Ziel des neuesten Updates von Kneron ist die Bereitstellung privater GPT-Server, die vor Ort eingesetzt werden können. Dadurch entfällt die Abhängigkeit von umfangreichen Systemen mit Cloud-Anbindung, da das Kneron KNEO-System lokale Inferenz direkt am Netzwerk-Edge ermöglicht.

CEO Albert Liu teilte mit, dass das KNEO 330-System mehrere KL830 Edge-AI-Chips in einem kompakten Server integriert, was kostengünstige GPT-Implementierungen vor Ort für Unternehmen verspricht. Das frühere KNEO 300-System, das mit der KL730 ausgestattet ist, wird bereits von namhaften Institutionen wie der Stanford University genutzt.

Der KL830-Chip, der zwischen der vorherigen KL730 und der zukünftigen KL1140 positioniert ist, wurde speziell für Sprachmodelle entwickelt. Er kann kaskadiert werden, um größere Modelle zu unterstützen und gleichzeitig einen niedrigen Stromverbrauch zu gewährleisten.

Neue Werkzeuge für das Training und die Feinabstimmung von Edge AI

Neben der Hardware legt Kneron besonderen Wert auf Software-Funktionen. Das Unternehmen hat verschiedene Tools entwickelt, um Modelle für seine Hardware zu trainieren und zu optimieren. Liu erwähnte, dass Kneron mehrere Open-Modelle kombiniert und sie für eine optimale Leistung auf NPUs feinabstimmt.

Darüber hinaus bietet Kneron jetzt einen neuralen Compiler an, der es Benutzern ermöglicht, Modelle, die mit Frameworks wie TensorFlow, Caffe oder MXNet trainiert wurden, direkt auf Kneron-Chips zu übertragen. Ihre Hardware unterstützt auch Retrieval-Augmented Generation (RAG)-Workflows. Liu betonte, dass die Chips von Kneron eine einzigartige Architektur nutzen, die die Speicheranforderungen für die großen Vektordatenbanken, die von RAG benötigt werden, verringert und somit eine effiziente Betriebsweise mit geringerem Energieverbrauch ermöglicht.

Knerons Wettbewerbsvorteil: Geringer Stromverbrauch

Ein herausragendes Merkmal der Technologie von Kneron ist ihr bemerkenswert niedriger Stromverbrauch.

„Ich denke, der Hauptunterschied liegt in unserem extrem niedrigen Stromverbrauch“, erklärte Liu.

Die neue KL830 hat einen Spitzenstromverbrauch von nur 2 Watt und erreicht eine konsolidierte Berechnungsleistung (CCP) von bis zu 10 eTOPS bei 8-Bit-Verarbeitung. Dieser niedrige Stromverbrauch ermöglicht es, Knerons Chips in eine Vielzahl von Geräten, einschließlich PCs, zu integrieren, ohne dass zusätzliche Kühllösungen erforderlich sind.