Инновации в области потоковой передачи данных: Основные моменты первого саммита Kafka в Азии
Лидер в области потоковой передачи данных, компания Confluent, недавно провела свой inaugural Kafka Summit в Бангалоре, Индия, собрав значительное количество участников из сообщества Kafka, более 30% из которых представляли этот регион. Мероприятие включало увлекательные сессии с клиентами и партнерами, подчеркивающие растущее значение решений для работы с данными в реальном времени.
Основные идеи от Джея Крепса
В своем основной речи генеральный директор и соучредитель Джей Крепс изложил свою концепцию создания универсальных продуктов данных, улучшающих операционные и аналитические возможности. Он представил несколько ожидаемых новинок в экосистеме Confluent, в частности новую функцию, направленную на упрощение работы с ИИ в реальном времени.
Упрощение вывода моделей ИИ
Крепс акцентировал внимание на том, что это новое предложение призвано снять сложности, с которыми сталкиваются разработчики при управлении различными инструментами и языками для обучения и извлечения данных из моделей ИИ с использованием живых данных. Во время обсуждения с прессой директор по продуктам Confluent Шон Клоуз подробно объяснил их стратегию в условиях современного ИИ-ландшафта.
Эволюция Kafka
Десять лет назад организации в основном полагались на пакетные данные для аналитики, что ограничивало их возможность использовать актуальную информацию. Чтобы решить эту проблему, появились открытые технологии, такие как Apache Kafka, позволяющие производить, управлять и обрабатывать данные в реальном времени. Сегодня Apache Kafka является основным решением для потоковых данных во многих предприятиях. Confluent, основанный Крепсом — одним из оригинальных создателей Kafka, разработал коммерческие продукты и услуги вокруг этой мощной платформы.
В дополнение к Kafka, Confluent в прошлом году приобрела Immerok, ключевого игрока в проекте Apache Flink, чтобы улучшить свои возможности обработки данных в реальном времени, позволяя эффективно фильтровать, соединять и обогащать потоки данных.
Увлекательные разработки в области ИИ в реальном времени
На саммите Kafka Confluent представила вывод моделей ИИ как часть своих облачно-ориентированных предложений для Apache Flink. Эта инновация упрощает интеграцию ИИ и машинного обучения в потоковые данные. Клоуз подчеркнул, что Kafka изначально была разработана для подключения различных систем в реальном времени, и с развитием ИИ возможности только расширились.
Ранее команды, использующие Flink, сталкивались с трудностями при вызове ИИ с потоковыми данными, что требовало значительного программирования и интеграции инструментов. Теперь, благодаря выводу моделей ИИ, пользователи могут использовать простые SQL-запросы непосредственно на платформе для доступа к ИИ-движкам от OpenAI, AWS SageMaker, Google Cloud Vertex и Microsoft Azure, что повышает доступность и эффективность.
Гибкость выбора моделей
Подход Confluent "plug-and-play" предоставляет пользователям гибкость в выборе моделей ИИ, соответствующих их потребностям. По мере изменения производительности моделей пользователи могут переключаться с одной модели на другую без изменения основных трубопроводов данных, максимально увеличивая адаптивность и эффективность затрат.
Клоуз проиллюстрировал это с примером, в котором задействованы два задания Flink: одно обрабатывает данные клиентов и сохраняет векторы в векторной базе данных, а другое обрабатывает запросы на вывод. Этот упрощенный подход позволяет быстро реагировать на запросы клиентов.
Планы по расширению и инновациям
В настоящее время вывод моделей ИИ доступен ограниченному числу клиентов, с планами на более широкий доступ и дополнительные функции в ближайшие месяцы. Confluent стремится улучшить свои облачные предложения, включая создание ассистента на основе генеративного ИИ, который будет поддерживать пользователей в их программировании и рабочих задачах.
Экономичные решения с Freight Clusters
Confluent также представила Freight Clusters, инновационный безсерверный тип кластеров, который использует авто-масштабирование и более медленные, экономичные методы репликации между дата-центрами. Несмотря на возможные задержки, это может привести к экономии до 90%. Клоуз отметил, что это решение идеально подходит для определенных случаев использования, таких как обработка данных журналирования и телеметрии.
Будущий рост в регионе Азиатско-Тихоокеанского региона
Смотря в будущее, Клоуз и Крепс выразили приверженность Confluent расширять свое присутствие в Азиатско-Тихоокеанском регионе, особенно в Индии, где они планируют увеличить свою команду на 25%. Они также сосредоточены на улучшении управления данными и возможностей самообслуживания в области потоковых данных, которая остается недостаточно развита по сравнению с традиционными дата-озерами.
В заключение, Confluent готова инициировать значительные достижения в области потоковой передачи данных в реальном времени и интеграции ИИ, продолжая внедрять инновации и адаптироваться в этой быстро развивающейся индустрии.
Рейтинг
