OpenAI startet GPT-4 Turbo mit visueller Unterstützung für allgemeinen API-Zugang.

Unternehmensentwickler und versierte Geschäftsleiter erkennen, dass die Programmierschnittstelle (API) im modernen Softwareentwicklungsprozess zentral ist, da sie es Drittanbieteranwendungen ermöglicht, nahtlos mit Technologieplattformen zu verbinden. OpenAI hat kürzlich erhebliche Verbesserungen an seiner API für das leistungsstarke GPT-4 Turbo-Modell vorgenommen.

Das Unternehmen kündigte auf seinen X-Konten an, dass das GPT-4 Turbo mit Vision-Modell jetzt „allgemein verfügbar“ ist. Die visuellen Funktionen wurden im September 2023 zusammen mit Audio-Uploads eingeführt, während das GPT-4 Turbo-Modell auf der Entwicklerkonferenz von OpenAI im November vorgestellt wurde. Diese Version verspricht eine schnellere Verarbeitung, größere Eingabekontextfenster (bis zu 128.000 Tokens – das entspricht etwa einem 300-seitigen Buch) und kosteneffiziente Nutzung.

Entwickler können jetzt die Funktionen der visuellen Erkennung und Analyse des Modells über das Textformat JSON und Funktionsaufrufe nutzen, was die Automatisierung verschiedener Aktionen innerhalb vernetzter Anwendungen ermöglicht – wie das Versenden von E-Mails, das Posten online oder das Tätigen von Käufen. OpenAI hebt die Bedeutung von Benutzerbestätigungsabläufen hervor, bevor Aktionen ausgeführt werden, die die Umgebung der Nutzer beeinflussen.

Ein OpenAI-Sprecher erklärte, dass diese Verbesserungen die Arbeitsabläufe der Entwickler optimieren, da sie zuvor separate Modelle für Text und Bilder verwenden mussten. Jetzt ermöglicht ein einziger API-Aufruf eine nahtlose Bilderanalyse und -verarbeitung.

OpenAI zeigt mehrere Kunden, die GPT-4 Turbo mit Vision nutzen, darunter Cognition, ein Startup, das das Modell zur autonomen Codeerstellung einsetzt, und Healthify, eine Gesundheits- und Fitness-App, die auf von Nutzern hochgeladenen Fotos Nährstoffanalysen und Essensempfehlungen bietet. Darüber hinaus nutzt das in Großbritannien ansässige Startup TLDraw GPT-4 Turbo mit Vision, um sein virtuelles Whiteboard zu verbessern, indem es Benutzerzeichnungen in funktionale Websites umwandelt.

Während GPT-4 Turbo Konkurrenz durch neuere Modelle wie Anthropic's Claude 3 Opus, Cohere's Command R+ und Google's Gemini Advanced in Benchmark-Tests erfahren hat, zielt die Einführung von GPT-4 Turbo mit Vision darauf ab, mehr Unternehmenskunden und Entwickler anzuziehen. Dieser Schritt positioniert die Modelle von OpenAI als attraktive Wahl, während die Branche die Veröffentlichung des nächsten großen Sprachmodells erwartet.