DeepInfra запускается из режима скрытого старта с финансированием в $8 млн, чтобы сделать ИИ-инференс более экономичным.

Разблокировка генеративного ИИ: Руководство для бизнес-лидеров

Если вы руководитель компании или принимаете решения в области ИТ, вы, вероятно, слышали множество обсуждений о генеративном ИИ. Если вы готовы внедрить чат-бота на основе большой языковой модели (LLM) для ваших сотрудников или клиентов, возникает важный вопрос: как его запустить и какие затраты стоит ожидать?

Введение в DeepInfra

DeepInfra, основанная бывшими инженерами IMO Messenger, стремится упростить этот процесс для бизнес-лидеров. Компания предлагает развёртывание моделей на частных серверах по конкурентной цене всего $1 за миллион токенов, что значительно ниже цен OpenAI на GPT-4 Turbo ($10) и Claude 2 от Anthropic ($11.02).

Недавно DeepInfra вышла из режима скрытого запуска и объявила о посевном раунде в $8 миллионов, возглавляемом A.Capital и Felicis. Их внимание сосредоточено на предоставлении набора услуг по использованию открытых моделей, включая Meta Llama 2 и CodeLlama, а также кастомизированных версий этих моделей.

Ценность DeepInfra

Хотя внимание уделяется ресурсам GPU, необходимым для обучения LLM, важность достаточной вычислительной мощности для надежной работы — называемой инференсом — не может быть недооценена. По словам CEO Николы Борисова, настоящая проблема заключается в эффективном обслуживании множества одновременных пользователей на одном оборудовании.

"Ключ в том, чтобы управлять доступом нескольких пользователей к серверу одновременно. Каждый токен, сгенерированный этими моделями, требует значительных вычислительных и памяти," объясняет Борисов. Чтобы обеспечить оптимальную производительность, компаниям следует сосредоточиться на максимизации эффективности, чтобы избежать переполнения серверов избыточными вычислительными заданиями.

Основатели DeepInfra опираются на свой обширный опыт управления большими серверными флотами по всему миру для решения этих задач эффективно.

Поддержка крупных инвесторов

Борисов и его соучредители получили признание за свои программные навыки. Айдын Сенкют, известный предприниматель и управляющий партнёр Felicis, отметил их возможности, заявив: "У них невероятный опыт, возможно, уступающий только команде WhatsApp в создании эффективной инфраструктуры, обслуживающей сотни миллионов."

Эта эффективность инфраструктуры позволяет DeepInfra предлагать свои услуги по более низким ценам, что особенно привлекательно в условиях, когда компании сталкиваются с растущими затратами на ИИ. Сенкют подчеркивает: “Если компания может добиться 10-кратного преимущества по затратам на ИИ, она может значительно нарушить рынок.”

Ориентация на малый и средний бизнес с открытым ИИ

Первоначальное внимание DeepInfra сосредоточено на малом и среднем бизнесе (SMB), который стремится получить доступ к современным открытым языковым и машинным моделям по разумной цене. "Наши целевые клиенты хотят надежный доступ к высококлассным моделям без значительных затрат," говорит Борисов.

Компания внимательно следит за прогрессом в сообществе открытого ИИ, готова внедрять новые модели, специализированные для различных задач, от генерации текста до компьютерного зрения и программирования.

Борисов верит в продолжение роста и универсальности открытых решений: "Поскольку такие модели, как Llama, публикуются, многие создадут свои варианты с минимальными вычислительными потребностями, что будет способствовать созданию совместной экосистемы."

Конфиденциальность и безопасность

Сервис хостинга инференсов DeepInfra особенно привлекает предприятия, которые придают значение конфиденциальности данных. "Мы не храним и не используем поданные запросы; они удаляются сразу после завершения сессии пользователя," уверяет Борисов, подчеркивая их приверженность конфиденциальности.

Используя услуги DeepInfra, компании могут эффективно и экономически целесообразно справляться со сложностями внедрения генеративных ИИ-решений, оставаясь конкурентоспособными в быстро меняющемся ландшафте.