Hazelcast обновил свою платформу обработки данных в реальном времени до версии 5.4
Hazelcast представил версию 5.4 своей платформы для обработки данных в реальном времени, которая включает улучшения, нацеленные на оптимизацию операций и искусственного интеллекта (AI). Платформа Hazelcast представляет собой интеллектуальную среду для приложений в реальном времени и доступна как в открытом, так и в корпоративном варианте. Архитектура платформы объединяет высокоскоростное хранилище данных с возможностями потоковой обработки, что делает её подходящей для аналитики данных, бизнес-разведки, а также для машинного обучения (ML) и AI. В условиях быстрого внедрения AI для принятия решений с низкой задержкой, обновление 5.4 улучшает основные функции Hazelcast, отвечая на сложные требования обработки данных в производственных AI-пipelines. Среди заметных клиентов - JPMorgan Chase, Volvo, New York Life и Target.
Ключевые достижения версии 5.4
«Это еще один шаг на пути к многолетнему лидерству в поддержке AI-нагрузок для крупных организаций», - сказал Келли Херрелл, CEO Hazelcast. «Для обеспечения ценности AI инфраструктура обработки данных должна работать надежно, и именно в этом наша сила».
Последовательность в обработке данных в реальном времени
Hazelcast обрабатывает данные в реальном времени по мере их поступления в систему. В современных высокодоступных системах данных, где несколько узлов работают вместе, поддержание последовательности данных представляет собой сложную задачу.
«Последовательность данных - это серьезная проблема», - отметил Херрелл. «У нас есть сильная подсистема последовательности уже много лет, и наши клиенты тщательно ее тестировали».
С учетом растущих требований AI-приложений, поддержание последовательности данных стало еще более актуальным. Новое обновление 5.4 вводит передовую подсистему CP (Consistency Provider), создающую strongly consistent in-memory слой данных, основываясь на CAP-теореме (Consistency, Availability, Partitions) для управления последовательностью в распределенных кластерах.
Кроме того, Hazelcast 5.4 предлагает инновационную архитектуру Thread-Per-Core (TPC), которая увеличивает производительность вычислений на 30% за счет улучшенных возможностей многопоточности.
«Большинство разработчиков понимают, что приоритизация последовательности может замедлить систему, что является обычным компромиссом», - объяснил Херрелл. «Интегрируя передовую последовательность с TPC, мы минимизируем этот компромисс, обеспечивая высокую производительность вместе с сильной последовательностью».
Уровневая система хранения: удовлетворение требований данных AI
Способности Hazelcast к обработке данных в памяти являются важными, но современные нагрузки AI и ML часто требуют обширного хранения, превышающего пределы памяти. Здесь новая функция уровневого хранения становится незаменимой, предлагая различные уровни производительности для обработки данных в реальном времени.
«В сфере AI тяга к данным ненасытна», - заявил Херрелл. «Сохранение всего в памяти может быть дорогостоящим. Уровневая система хранения позволяет пользователям масштабировать свои решения по хранению для эффективной обработки нагрузок AI и ML в рамках одной целостной среды».
Ускорение AI для обнаружения мошенничества
Платформа Hazelcast использовалась в различных приложениях AI и ML, особенно в области обнаружения мошенничества. Херрелл подчеркнул использование платформы Hazelcast одной из крупных кредитных карточных компаний для обнаружения мошенничества в реальном времени. Когда карта проходит через терминал, он быстро проверяет статус одобрения. Это решение должно быть принято за менее чем 50 миллисекунд.
«В этом кратком временном окне мы обрабатываем шесть различных ML-алгоритмов для обнаружения мошенничества и генерируем общий score, что позволяет предоставить хорошо обоснованный ответ о том, следует ли одобрить транзакцию», - объяснил Херрелл.
В заключение, Hazelcast 5.4 повышает возможности обработки данных в реальном времени, предлагая улучшенные решения по последовательности и хранению, критически важные для нагрузок AI, открывая путь для более быстрого принятия решений в различных приложениях, включая обнаружение мошенничества.