Databricks Саммит по данным и Искусственному Интеллекту 2024: Открытие самых значительных инноваций

Ежегодный саммит Databricks продолжает оставаться ярким событием для участников экосистемы данных. Каждый год компания представляет новые технологии, партнерства и достижения, направленные на упрощение управления структурированными и неструктурированными данными. Текущий саммит сохранил эту традицию, с особым вниманием к искусственному интеллекту (ИИ).

Во время основного доклада генеральный директор Али Годси представил ряд инноваций на пересечении данных и ИИ, подчеркивая приверженность компании оптимизации управляемых наборов данных на платформе Databricks Data Intelligence. Ключевыми моментаи стали обновления Mosaic AI, модели генерации изображений, и решение на основе генеративного ИИ для более эффективной аналитики данных.

Основные анонсы саммита:

1. Unity Catalog становится открытым исходным кодом

В стратегическом шаге для конкурирования с Polaris Catalog от Snowflake, Databricks представил Unity Catalog с открытым исходным кодом под лицензией Apache 2.0 с OpenAPI спецификациями. Это позволяет другим компаниям использовать архитектуру и код для создания каталогов, поддерживающих разные форматы данных, включая Iceberg и Delta/Hudi. Код был представлен в ходе основного доклада, и ожидается, что Snowflake пойдет таким же путем в течение следующих 90 дней.

2. Обновления Mosaic AI для производственных систем

Mosaic AI, инструмент для разработки ИИ-приложений, получил значительные улучшения, направленные на создание надежных, готовых к производству системы сложного ИИ. Новые функции включают продукт для обучения моделей Mosaic AI, фреймворк ИИ-агентов, фреймворк оценки и каталог ИИ-инструментов для управления. Все предложения, кроме инструментов ИИ, уже доступны в публичном предварительном доступе.

3. Новое решение "Текст в Изображение" для бизнеса

Databricks представил закрытый предварительный доступ к Shutterstock ImageAI, генеративной модели ИИ, позволяющей企业 создавать изображения высокого качества для различных бизнес-приложений. Эта модель, предварительно обученная с использованием Mosaic AI и проверенной коллекции изображений Shutterstock, доступна через генератор изображений Shutterstock и может быть настроена с помощью Mosaic AI или интегрирована через API.

4. Databricks AI/BI для интеллектуальной аналитики

Чтобы помочь предприятиям демократизировать доступ к аналитическим данным, Databricks запустил Databricks AI/BI, систему сложного ИИ, интегрированную с платформой Data Intelligence. Используя ИИ-агентов — Dashboards и Genie — эта система интерпретирует бизнес-запросы, чтобы предоставить ответы на естественном языке и визуализации. Каждый агент сосредоточен на определенных функциях, таких как планирование, генерация SQL и визуализация, поддерживаемая дополнительными компонентами, такими как ранжирование ответов и векторная индексация. Это предложение доступно всем клиентам Databricks SQL Pro и Serverless, при этом Dashboards уже доступны, а Genie находится в публичном предварительном доступе.

5. Databricks LakeFlow для упрощенного инжиниринга данных

Также Databricks представил LakeFlow, унифицированный инструмент, направленный на оптимизацию всех аспектов инжиниринга данных, от загрузки до трансформации и оркестрации. LakeFlow упрощает традиционно сложный процесс создания и поддержки потоков данных, автоматизируя их развертывание, эксплуатацию и мониторинг с надежной поддержкой CI/CD и контрольных проверок в масштабах. Хотя решение еще не доступно в предварительном доступе, Databricks открыл список ожидания для раннего доступа.

6. Партнерство с Nvidia и Gretel

И, наконец, Databricks объявила о значительных партнерствах с Nvidia и Gretel. Сотрудничество с Nvidia направлено на интеграцию нативной поддержки CUDA-ускоренных вычислений в следующий поколение векторного движка запросов Databricks, Photon, что улучшит производительность для задач хранения данных и аналитики. Партнерство с Gretel определяет компанию как технологического партнера ISV, предлагая качественные синтетические наборы данных для разработки и настройки моделей машинного обучения на платформе Databricks.