Всего через два года после основания бывшими сотрудниками Google и Palantir стартап ElevenLabs в области ИИ-технологий для озвучивания добился статуса единорога. Компания недавно объявила о завершении раунда финансирования серии B на сумму 80 миллионов долларов, что увеличило ее оценку в десять раз до 1,1 миллиарда долларов.
Этот раунд финансирования был совместно организован существующими инвесторами Andreessen Horowitz (a16z), бывшим CEO GitHub Nat Friedman и бывшим руководителем отдела ИИ в Apple Daniel Gross, а также при поддержке Sequoia Capital и SV Angel. Он стал продолжением раунда серии A на 19 миллионов долларов, состоявшегося шесть месяцев назад, когда ElevenLabs была оценена примерно в 100 миллионов долларов.
Пионеры в области ИИ-озвучивания
ElevenLabs специализируется на использовании машинного обучения для клонирования и синтеза голосов на нескольких языках. Новые инвестиции будут направлены на улучшение исследований и продуктов компании. ElevenLabs также представила ряд новых функций, включая инструмент для дублирования полнометражных фильмов и рынок, где пользователи могут продавать свои клоновые голоса.
Доступность контента для всех
Поскольку диалекты и языки значительно различаются, создание локализованного контента традиционно сосредоточивалось на основных языках и часто опиралось на ручное дублирование, которое не всегда точно передает оригинал. Основатели Piotr Dabkowski и Mati Staniszewski из Польши столкнулись с проблемами некачественного дублирования, что стало мотивацией для создания ElevenLabs. Их миссия заключается в том, чтобы сделать контент доступным для более широкой аудитории с использованием ИИ.
С момента своего запуска в 2022 году ElevenLabs достигла значительных успехов. Первоначально признанная за естественно звучащую модель ИИ для синтеза речи на английском языке, компания расширила свои возможности с версиями Eleven Multilingual 1 и 2, которые поддерживают множество языков, включая польский, немецкий, испанский, французский, итальянский, португальский и хинди. Функция Voice Lab позволяет пользователям клонировать свои голоса или генерировать синтетические голоса, превращая текст в аудиоконтент.
“Технология ElevenLabs использует знание контекста и высокую степень сжатия для создания ультрареалистичной речи. Наша собственная модель понимает взаимосвязи между словами и адаптирует произношение в зависимости от контекста, динамически предсказывая тысячи характеристик голоса”, — объяснил Staniszewski.
Растущая база пользователей
Всего за несколько месяцев ElevenLabs привлекла более миллиона пользователей. Запуск AI Dubbing, инструмента для преобразования речи в речь, позволяет создателям контента переводить аудио и видео на 29 языков, сохраняя при этом голос и эмоции оригинального спикера. Среди клиентов компании находятся 41% компаний из списка Fortune 500, включая известных издателей, таких как Storytel, The Washington Post и TheSoul Publishing.
“На данный момент мы установили более 100 B2B-партнерств. ИИ-голоса имеют широкий спектр применения, от улучшения взаимодействия с аудиторией до расширения доступа к образованию”, — отметил Staniszewski.
Запуск Dubbing Studio
Чтобы продолжать инновации в своей продуктовой линейке, ElevenLabs запускает рабочий процесс Dubbing Studio, который улучшает инструмент AI Dubbing. Этот новый процесс предоставляет специалистам мощные инструменты для дублирования полнометражных фильмов на различных языках, а также для генерации и редактирования транскрипций, переводов и тайм-кодов. Однако на данный момент он не включает синхронизацию губ, что значит, что движения губ в оригинальном видео остаются неизменными.
Новые рынки и функции доступности
Кроме того, ElevenLabs вводит приложение доступности, которое преобразует текст или URL в аудио, а также Voice Library, позволяющую пользователям монетизировать свои клоновые голоса. Пользователи могут устанавливать условия доступности и компенсации, однако для обмена требуется многоступенчатая проверка.
“Проверка голоса включает в себя процесс капчи, чтобы подтвердить соответствие голоса обучающим образцам, что поддерживается нашей командой модерации”, — добавил CEO.
С выходом этих функций в ближайшие недели ElevenLabs планирует привлечь пользователей из различных секторов. С новым финансированием, которое в общей сложности составляет 101 миллион долларов, компания намерена укрепить свои исследования в области ИИ-озвучивания, улучшить инфраструктуру и разрабатывать целевые продукты, при этом внедряя строгие меры безопасности, включая классификатор ИИ-аудио.
“В ближайшие годы мы стремимся утвердиться в качестве мирового лидера в области исследований ИИ-голосов и развертывания продуктов,” — заявил Staniszewski.
Конкуренты в пространстве генерации ИИ-голосов включают MURF.AI, Play.ht и WellSaid Labs. По данным Market US, глобальный рынок этих инструментов был оценен в 1,2 миллиарда долларов в 2022 году и, как прогнозируется, достигнет почти 5 миллиардов долларов к 2032 году, что соответствует среднегодовому темпу роста (CAGR) около 15,4%.
Рейтинг
