Monte Carlo Data расширяет решения по автоматизированному наблюдению за данными для ИИ
Компания Monte Carlo Data, расположенная в Сан-Франциско и являющаяся лидером в области автоматизированных решений по наблюдению за данными, объявила о новых интеграциях и возможностях платформы, направленных на улучшение своих услуг. Эти усовершенствования помогут предприятиям разрабатывать надежные и trustworthy продукты на базе ИИ.
На ежегодной конференции IMPACT компания представила свои планы по поддержке Pinecone и других векторных баз данных, что позволит предприятиям внимательно отслеживать данные, критически важные для их больших языковых моделей (LLM).
Monte Carlo Data также объявила об интеграции с Apache Kafka, платформой с открытым исходным кодом для управления большими объемами потоковых данных в реальном времени, а также о запуске двух новых продуктов по наблюдению: Мониторинг Производительности и Панель Данных. Наблюдательные продукты уже доступны, а новые интеграции планируются к запуску в начале 2024 года.
Мониторинг векторных баз данных для высокопроизводительных приложений LLM
Векторные базы данных играют важную роль в высокопроизводительных приложениях LLM, так как они хранят числовые представления текста, изображений, видео и других неструктурированных данных, известные как embeddings. Ряд поставщиков, включая MongoDB, DataStax, Weaviate, Pinecone, RedisVector, SingleStore и Qdrant, предлагают решения векторных баз данных для поддержки разработки LLM. Однако если данные в этих базах станут поврежденными или устаревшими, точность запросов модели может снизиться, приводя к ненадежным результатам. Интеграция Monte Carlo Data, изначально поддерживающая Pinecone, направлена на решение этой проблемы.
Гарантия надежных данных посредством наблюдения
После интеграции пользователи смогут использовать возможности наблюдения Monte Carlo Data для обеспечения надежности и точности векторных данных, хранящихся в их базах. Это решение отслеживает и помогает устранять проблемы с качеством данных, тем самым улучшая производительность приложений LLM.
Представитель компании отметил, что в настоящее время ни один клиент не использует интеграцию с векторными базами, но многие предприятия выразили свой интерес. "Мы тесно сотрудничаем с клиентами, чтобы гарантировать, что мониторинг векторных баз данных соответствует их стратегиям генеративного ИИ", — сказал он.
Интеграция с Apache Kafka также позволит командам контролировать целостность потоковых данных, поддерживающих ИИ и машинное обучение в реальном времени. Сооснователь и технический директор Monte Carlo Data Лиор Гавис подчеркнул важность этой интеграции для обеспечения надежности потоков данных, питающих критически важные сервисы и приложения.
Новые продукты для улучшения наблюдаемости данных
Помимо новых интеграций, Monte Carlo Data запустила возможности Мониторинга Производительности и Панель Данных. Инструмент Мониторинга Производительности помогает пользователям выявлять медленно работающие потоки данных и ИИ, позволяя им исследовать конкретные направленные ациклические графы (DAG), пользователей, модели dbt и наборы данных для оценки влияния на производительность.
Панель Данных позволяет клиентам отслеживать состояние активов данных, питающих определенные панели, ML-приложения или модели ИИ. Она также упрощает отчетность по надежности через каналы связи, такие как Slack и Teams, что способствует более быстрому решению проблем.
Растущее значение наблюдения за ИИ
Фокус Monte Carlo Data на наблюдении, особенно с поддержкой популярных векторных баз данных, актуален в условиях растущих инвестиций предприятий в генеративный ИИ. Компании используют инструменты, такие как Azure OpenAI от Microsoft, для разработки собственных приложений LLM для различных случаев использования, включая поиск данных и обобщение, что делает видимость данных особенно важной.
Конкурент Acceldata также активно развивает свои предложения, недавно приобретя стартап в области ИИ и NLP Bewgle для повышения наблюдаемости данных и укрепления собственных продуктов. "Качественные данные, проходящие через надежные каналы, имеют решающее значение для достижения отличных результатов в ИИ", — отметил генеральный директор Acceldata Рохит Чоудхари.
К другим заметным конкурентам в области наблюдения за данными относятся Cribl и BigEye.
Заключение
Monte Carlo Data позиционирует себя как ключевой игрок на развивающемся рынке наблюдения за данными, особенно в условиях, когда предприятия нацеливаются на решения в области генеративного ИИ. С новыми интеграциями и продуктами по наблюдению компания стремится обеспечить приоритет точности данных в разработке приложений LLM.
Рейтинг
