Die Aufmerksamkeit ist ein zentrales Element der Transformer-Architektur, die große Sprachmodelle (LLMs) antreibt. Mit der zunehmenden Länge der Eingabesequenzen wird der Rechenaufwand für die Aufmerksamkeit jedoch zu einem erheblichen Engpass.
Um dieses Problem zu lösen, hat ein Team von Colfax Research, Meta, Nvidia, Georgia Tech, der Princeton University und Together AI die FlashAttention-3-Technologie entwickelt. Diese hochmoderne Technik beschleunigt die Berechnung der Aufmerksamkeit erheblich auf Nvidia Hopper GPUs (H100 und H800).
Die Herausforderung der Aufmerksamkeitsberechnung in LLMs verstehen
Der Aufmerksamkeitsmechanismus des Transformer-Modells ermöglicht eine einzigartige Bewertung der Beziehungen zwischen verschiedenen Tokens innerhalb einer Eingabesequenz. Trotz seiner Effektivität ist dieser Mechanismus rechenintensiv. Mit zunehmender Länge der Eingabesequenzen steigt die Kosten der Aufmerksamkeitsberechnung quadratisch, was erhebliche Engpässe bei der Skalierbarkeit von LLMs zur Folge hat. Zudem sind moderne GPUs hauptsächlich für Matrixmultiplikationen (Matmul) optimiert, was die Leistung einschränkt, während andere Operationen wie Exponentialfunktionen langsamer sind und damit die Leistungsprobleme verstärken. Die effiziente Planung von Arbeitslasten ist entscheidend, um betriebliche Konflikte zu vermeiden und die Speichernutzung zu optimieren.
Optimierung der Ressourcennutzung mit FlashAttention
FlashAttention, das 2022 eingeführt wurde, beseitigte die Ineffizienzen der Aufmerksamkeitsberechnung, indem es den Speichertransfer zwischen hochbandbreitigem Speicher (HBM) und statischem RAM (SRAM) auf GPUs minimierte. Durch die Verarbeitung von Aufmerksamkeitsgewichten in kleineren Blöcken oder „Kacheln“ verbesserte FlashAttention die Effizienz und ermöglichte es den LLMs, ihre Kontextfenster von Tausenden auf potenziell Millionen von Tokens zu erweitern.
Mit dem Fortschritt der Hardwarekapazitäten wuchs jedoch der Bedarf an weiteren Optimierungen. FlashAttention-2, das 2023 eingeführt wurde, optimierte die Ressourcennutzung der GPU und erreichte 70% der maximalen Leistung auf Nvidia A100 GPUs, schöpfte jedoch nur 35% der Möglichkeiten des H100 aus.
Innovationen von FlashAttention-3
FlashAttention-3 nutzt neue Funktionen der Nvidia Hopper GPU zur Leistungssteigerung, einschließlich eines verbesserten Durchsatzes für Matrixmultiplikationen und schnelleren Datenübertragungen zwischen den Speichersegmenten. Dies ermöglicht eine bessere Effizienz bei Low-Precision-Operationen.
Zu den wichtigsten Innovationen von FlashAttention-3 gehören:
1. Optimierte Planung: Die Operationen sind so organisiert, dass sie die Überlappung von Berechnungen und Datenbewegungen maximieren, wodurch Leerlaufzeiten der GPU reduziert werden.
2. Nahtloses Interleaving von Operationen: Durch die Kombination von Matrixmultiplikationen und Softmax-Operationen minimiert FlashAttention-3 potenzielle Engpässe.
3. Verbesserte Leistung quantisierter Modelle: Besondere Anordnungen der Operationen gewährleisten schnellere und genauere Berechnungen, auch bei der Verwendung von Low-Bit-Darstellungen zur Reduzierung der Modellgrößen, wodurch der typische Genauigkeitskompromiss bei der Quantisierung angegangen wird.
Forschungen zeigen, dass FlashAttention-3 bis zu 75% der maximalen Leistung der H100 GPU nutzen kann und damit eine 1,5–2-fache Beschleunigung im Vergleich zu früheren FlashAttention-Versionen für das Training und die Bereitstellung von LLMs bietet.
Vorteile von FlashAttention-3
Die schnellere Aufmerksamkeitsberechnung von FlashAttention-3 hat tiefgreifende Auswirkungen auf die Entwicklung und Anwendung von LLMs:
- Beschleunigtes Training: Die verbesserte Effizienz kann die Trainingszeiten erheblich verkürzen und Forschern ermöglichen, größere Modelle und Datensätze zu erkunden.
- Erweiterte Kontextfenster: Durch die effiziente Verarbeitung längerer Sequenzen eröffnet FlashAttention-3 neue Möglichkeiten für LLM-Anwendungen wie Langform-Dokumentenverständnis und Many-Shot-In-Context-Lernen.
- Kostenersparnis: Eine höhere GPU-Nutzung kann die Anzahl der benötigten Beschleuniger für LLM-Operationen verringern und somit die Produktionskosten senken.
FlashAttention-3 wurde unter einer großzügigen Lizenz Open Source veröffentlicht, mit Plänen zur Integration in beliebte Deep-Learning-Bibliotheken wie PyTorch und Hugging Face Transformers. Dies soll Forschern und Entwicklern helfen, die Fortschritte von FlashAttention-3 zu nutzen. Wie die Forscher in einem Blogbeitrag von Together AI anmerken: „Die Entwicklung von Algorithmen, die Hardwaremerkmale nutzen, kann erhebliche Effizienzgewinne ermöglichen und neue Modellfähigkeiten freischalten.“ Sie freuen sich auf weitere Optimierungen für die Inferenz von LLMs und die Anwendung ihrer Techniken auf verschiedenen Hardwarearchitekturen.
Rangliste
