A Turnê de Impacto da Media AI recentemente passou por San Francisco, destacando as aplicações práticas da IA generativa e as complexidades de sua implementação. Matt Marshall, CEO de uma mídia, liderou a discussão com líderes do setor como Ed Anuff, Chief Product Officer da DataStax; Nicole Kaufman, Chief Transformation Officer da Genesis Health; e Tisson Matthew, CEO da Skypoint.
Essa conversa é essencial à medida que as empresas passam das fases exploratórias da IA generativa para implementações mais maduras. As empresas estão indo além de simples experimentos com ferramentas como o ChatGPT e agora enfrentam a pergunta crítica: como podemos aproveitar essa tecnologia e integrá-la com nossos dados empresariais essenciais para uso em produção?
“Estamos testemunhando o surgimento de um modelo de maturidade em IA,” observou Anuff. “As organizações estão mudando de projetos pontuais voltados a ganhos rápidos para iniciativas críticas de IA lideradas por campeões de negócios, focadas em implementações de alto impacto e alta visibilidade. Esses esforços podem levar mais tempo para serem desenvolvidos, mas seu potencial transformador é significativo.”
A IA generativa pode ser aplicada em diversos casos de uso, desde operações internas até websites e aplicativos móveis voltados ao público. Embora as empresas ainda usem termos como "chatbots" ou "interfaces conversacionais", o objetivo final é criar aplicações de conhecimento que permitam a recuperação interativa de dados em contextos apropriados. A decisão principal é se desenvolver essas soluções internamente ou aproveitar produtos prontos.
Considerações Pré-Produção
Para suporte ao cliente ou análise financeira, muitas organizações buscam utilizar a IA generativa para criar aplicações que extraiam insights de dados internos. Anuff explicou: “Dependendo do volume de dados e dos requisitos específicos da sua interface personalizada, soluções prontas podem ser bastante eficazes. Empresas como a Amazon oferecem plataformas que permitem o upload de documentos para respostas imediatas de chatbots, permitindo uma implementação rápida e simples.”
No entanto, à medida que as empresas ampliam seu foco de aplicações internas menores para casos de uso críticos ligados às funções essenciais do negócio—especialmente aqueles voltados para o público—soluções básicas podem não ser suficientes. Anuff citou aplicações em saúde que requerem conexões em tempo real com fontes de dados para respostas precisas com base em informações atualizadas dos pacientes. Ele também destacou agentes de IA em instituições financeiras da Ásia-Pacífico que oferecem acesso direto a planejamentos financeiros baseados em dados ao vivo dos demonstrativos financeiros.
“Essa é uma aplicação de IA RAG (geração aumentada por recuperação) personalizada ligada aos seus dados centrais,” afirmou. “Varejistas de destaque como Home Depot ou Best Buy investem em equipes de engenharia web dedicadas para desenvolver experiências personalizadas que se alinhem com sua marca e operações comerciais.”
Calculando Prontidão e Custos
À medida que as organizações progridem além da fase de ideação, elas enfrentam dois desafios principais: relevância e custo.
“A relevância é uma nova métrica chave para muitos no espaço dos dados,” explicou Anuff. “As organizações precisam avaliar quão adequadas são suas respostas geradas por IA. Questões de relevância frequentemente exigem uma reavaliação de toda a sua arquitetura de dados.”
Isso, por sua vez, influencia o segundo desafio—custo. Encontrar uma forma de entregar resultados relevantes e limpos é caro, e as organizações precisam avaliar ainda mais os custos associados à escala para a produção.
“Discussões sobre essas questões fornecem um indicador realista de quão preparadas as equipes estão para a produção,” observou. “Se a relevância continuar sendo um obstáculo, isso indica que as equipes superaram desafios iniciais de arquitetura, mas enfrentam novas complexidades com os custos de produção, que muitas vezes andam lado a lado.”
Alucinações, Dados e a Importância do RAG
O termo “alucinações” é comumente usado quando as respostas da IA parecem incorretas. Embora seja um termo coloquial útil, nem toda resposta inadequada é uma alucinação; algumas resultam de erros nos dados de treinamento. Alucinações ocorrem quando um modelo de linguagem grande (LLM) extrapola além de seu treinamento e gera conteúdo vago ou enganoso. Anuff destacou que existem soluções eficazes para essas questões, especialmente por meio do RAG.
O RAG combina recuperação de conhecimento com IA generativa, permitindo que um sistema processe e consolide dados de uma base de conhecimento interna, proporcionando respostas conscientes do contexto em linguagem natural, em vez de simplesmente resumir informações.
“Um modelo de linguagem grande se destaca em duas áreas,” afirmou Anuff. “Primeiro, ele compreende as nuances da linguagem. Segundo, serve como um repositório de conhecimento. Um programador pode controlar o quanto de seu conhecimento intrínseco é utilizado, impondo limites às respostas, conhecido como grounding. Isso reduz significativamente o risco de alucinações, mantendo o modelo focado em dados relevantes.”
Além disso, Anuff enfatizou que o RAG é vital para integrar de forma segura e precisa os dados da empresa em tempo real no modelo durante a inferência.
“Embora existam outros métodos de integração de dados, muitas vezes eles carecem de segurança, capacidade em tempo real e proteção,” afirmou. “Por essa razão, usar um acoplamento de modelo e banco de dados—independentemente de o chamarmos de RAG—continuará prevalecendo na indústria no futuro.”
Classificação
