Assembly AI представила модель Universal-1, которая демонстрирует на 30% меньше галлюцинаций по сравнению с Whisper.

Поставщик AI-as-a-service Assembly AI выпустил свою новую модель распознавания речи Universal-1. Обученная на более чем 12,5 миллиона часов многоязычных аудиоданных, Universal-1 демонстрирует впечатляющую точность распознавания речи на английском, испанском, французском и немецком языках. Компания утверждает, что Universal-1 снижает количество "галлюцинаций" на 30% в рамках речевых данных и на 90% при обработке фонового шума по сравнению с моделью Whisper Large-v3 от OpenAI.

В недавнем блоге Assembly AI описала Universal-1 как важный шаг к достижению точных, надежных и устойчивых возможностей распознавания речи на нескольких языках. Модель эффективно справляется с переключением между языками, транскрибируя их в рамках одного аудиофайла.

Universal-1 демонстрирует улучшенную оценку временных меток, что критично для редактирования аудио и видео, а также для аналитики разговоров. Она превосходит своего предшественника, Conformer-2, на 13%, обеспечивая лучшую диаризацию говорящих и улучшенную комбинированную минимально-пермутационную ошибку слов (cpWER) на уровне 14%. Кроме того, точность оценки количества говорящих возросла до 71%.

Модель также обладает оптимизированным параллельным выводом, что значительно сокращает время обработки длинных аудиофайлов. Universal-1 транскрибирует один час аудио всего за 21 секунду на машинах Nvidia Tesla T4, что в пять раз быстрее, чем Whisper Large-v3, которая выполняет ту же задачу за 107 секунд при меньшем размере пакета.

Улучшенные модели AI для распознавания речи предлагают множество преимуществ, включая создание более точных и надежных заметок, выделение действий и сортировку метаданных, таких как собственные имена, идентификация говорящих и временные рамки. Эти улучшения будут полезны в различных приложениях, от AI-редактирования видео до платформ телездравоохранения, требующих точного ввода клинических заметок и подачи заявок.

Модель Universal-1 теперь доступна через API Assembly AI.