A Databricks está elevando as ferramentas de desenvolvimento de IA generativa para empresas com melhorias significativas em sua plataforma Mosaic AI, apresentadas na conferência anual de dados e IA liderada pelo CEO Ali Ghodsi. Essas atualizações visam capacitar as empresas a implantar eficazmente aplicações suportadas por grandes modelos de linguagem (LLMs).
A plataforma Mosaic AI é fruto da aquisição de $1,3 bilhão da MosaicML pela Databricks, ampliando as capacidades da empresa em IA generativa e facilitando o desenvolvimento de aplicações de IA. As últimas funcionalidades concentram-se em três áreas principais: 1. construção de sistemas de IA compostos, 2. avaliação desses sistemas em diversas métricas e 3. garantia de governança em todo o pipeline de IA.
Esse robusto ecossistema de ponta a ponta permite que as organizações criem aplicações de IA generativa confiáveis que aproveitam seus dados. Além disso, posiciona a Databricks de forma competitiva em relação à Snowflake, que vem expandindo suas próprias ofertas de IA generativa, incluindo o recente lançamento de seu LLM aberto para empresas, “Arctic”, que visa desafiar o DBRX da Databricks.
Novidades na Databricks Mosaic AI
Organizações entusiasmadas com a IA generativa estão ansiosas para aproveitar essa tecnologia inovadora para desenvolver aplicações utilizando seus dados internos. No entanto, muitas equipes enfrentam dificuldades em obter o retorno esperado sobre o investimento em grandes modelos, frequentemente lidando com desafios para entregar resultados de alta qualidade dentro das restrições orçamentárias e de privacidade.
Para abordar esses desafios, as empresas estão adotando cada vez mais sistemas de IA compostos baseados em recuperação aumentada de geração (RAG), que integram diversos pequenos modelos, recuperadores, bancos de dados vetoriais e ferramentas para avaliação, monitoramento, segurança e governança. A Databricks aprimorou o Mosaic AI para facilitar a criação desses sistemas avançados.
Recentemente, a Databricks introduziu a busca Vector AI como um banco de dados vetorial serverless integrado à sua plataforma. As novas adições incluem o Treinamento de Modelos Mosaic AI e o Agente Framework. O recurso de Treinamento de Modelos permite que os usuários ajustem pequenos modelos de fundação de código aberto por meio de uma API ou interface amigável, otimizando o conhecimento para tarefas específicas de maneira econômica. Enquanto isso, o Agente Framework, combinado com a Busca Vetorial Mosaic AI e Serviçagem de Modelos, impulsiona aplicações RAG de alta qualidade utilizando esses modelos ajustados.
"O Agente Framework simplifica a medição e avaliação da qualidade dos aplicativos por meio da Avaliação de Agente," explicou Joel Minnick, VP de Marketing de Produto da Databricks. "Inclui ferramentas de avaliação assistidas por IA que avaliam automaticamente a qualidade da saída e uma interface de rastreamento intuitiva para feedback de partes interessadas. Isso permite que os desenvolvedores testem hipóteses, iterem rapidamente e reimplementem aplicativos de forma eficiente dentro de um fluxo de trabalho LLMOps de ponta a ponta."
A plataforma também apresenta um Catálogo de Ferramentas de IA que possibilita às organizações governar, compartilhar e registrar ferramentas por meio do Databricks Unity Catalog, recentemente tornado open-source. Este catálogo aprimora os sistemas de IA compostos ao equipá-los com recursos como geração inteligente de código, busca na web e chamadas de API. Qualquer função Python ou SQL registrada no Unity Catalog é compatível com o Catálogo de Ferramentas Mosaic AI, aprimorando assim a qualidade das saídas.
Governança Aprimorada com o Mosaic AI Gateway
Para garantir uma governança robusta e confiança em aplicações de IA, a Databricks introduz o "Mosaic AI Gateway". Esta ferramenta fornece uma interface unificada para consultar, gerenciar e implantar tanto modelos de código aberto quanto proprietários, permitindo que as equipes troquem LLMs sem extensas modificações no código do aplicativo.
O AI Gateway é equipado com recursos de governança e monitoramento integrados, permitindo o rastreamento de uso e proteções, possibilitando que as organizações monitorem o uso dos modelos e estabeleçam limites para controlar custos, filtrando informações sensíveis e pessoalmente identificáveis.
Todas as novas ofertas para o Mosaic AI, exceto o Catálogo de Ferramentas de IA, estão atualmente em prévia pública e devem estar disponíveis comercialmente nos próximos meses. O Catálogo de Ferramentas de IA está em prévia privada, sem previsão anunciada para um lançamento mais amplo. Além disso, a Databricks revelou vários outros produtos notáveis no evento, incluindo Databricks AI/BI para análises impulsionadas por IA generativa, Databricks LakeFlow para engenharia de dados e um modelo de geração de imagens desenvolvido em parceria com a Shutterstock.
A Databricks Data and AI Summit ocorrerá de 10 a 13 de junho de 2024.
Classificação
