À medida que as empresas adotam cada vez mais tecnologias de IA, enfrentam um desafio crucial: escolher o modelo de IA ideal para cada tarefa, equilibrando desempenho e custos. A roteirização de modelos surge como uma solução inovadora, permitindo que as organizações maximizem a eficiência da IA.
A tecnologia de roteirização de modelos capacita as empresas a selecionar dinamicamente o modelo de IA mais adequado para cada consulta, transformando fundamentalmente a utilização dos recursos de IA. Esse método aprimora o desempenho e reduz significativamente os custos em comparação ao uso de um único modelo generalizado.
Martian: Pioneira em Roteirização de Modelos de IA
Uma startup notável nesse domínio é a Martian, que desenvolveu um inovador roteador de modelo de linguagem grande (LLM) que chamou a atenção de grandes empresas de tecnologia. Recentemente, a Accenture, uma empresa global de serviços profissionais, anunciou um investimento na Martian, destacando a crescente importância da roteirização de modelos nas estratégias de IA empresarial.
A Accenture planeja integrar a Martian em seus serviços de "switchboard", que ajudam as empresas na seleção de modelos. Desde que surgiu em modo stealth em novembro de 2023, a Martian evoluiu continuamente sua tecnologia, agora introduzindo um novo recurso de conformidade de modelos de IA como parte de sua plataforma de roteirização.
O switchboard da Accenture já facilitava a seleção de modelos para as empresas, mas a Martian aprimora essa capacidade com a roteirização dinâmica, permitindo a seleção automática do melhor modelo não apenas por tarefa, mas a cada consulta. “Isso permite custos mais baixos e desempenho mais alto porque significa que você não precisa usar sempre um único modelo,” explica Shriyash Upadhyay, cofundador da Martian.
Lan Guan, diretor de IA da Accenture, observa que muitos clientes desejam aproveitar a IA generativa, considerando métricas de desempenho e custo. “A colaboração entre os serviços de switchboard da Accenture e a roteirização dinâmica de LLM da Martian simplifica a experiência do usuário, permitindo que as empresas explorem a IA generativa que se alinha às suas necessidades específicas,” afirma Guan.
Como a Martian Otimiza a Roteirização de Consultas de IA
Os roteadores de modelo da Martian selecionam habilidosamente o modelo de IA ideal para cada consulta, utilizando tecnologia básica voltada para prever o comportamento do modelo. Upadhyay enfatiza sua abordagem única, afirmando: “Focamos em entender os internos desses modelos, já que um modelo contém informações suficientes para prever seu próprio comportamento.”
Essa estratégia permite à Martian identificar o melhor modelo para execução, otimizando fatores como custo, qualidade de saída e latência. Técnicas como compressão de modelo, quantização, destilação e modelos especializados possibilitam essas previsões sem a necessidade de executar os modelos completos, melhorando o desempenho e reduzindo custos em comparação às opções de modelos estáticos.
A Importância da Roteirização de Modelos na IA Empresarial
Embora o princípio de usar a melhor ferramenta para o trabalho já seja reconhecido nos negócios, a conscientização sobre as diversas opções de modelos de IA ainda é um desafio para muitas organizações. Upadhyay menciona: “Frequentemente, várias áreas de grandes empresas não estão cientes da ampla gama de modelos especializados disponíveis.”
Para utilizar efetivamente os modelos de IA, é fundamental definir métricas de sucesso. As organizações devem determinar quais métricas definem o sucesso e identificar objetivos-chave para aplicações específicas. A otimização de custos e o retorno sobre o investimento são igualmente importantes. Segundo Upadhyay, a roteirização de modelos atende a essas necessidades de maneira eficaz.
A conformidade também apresenta um desafio para as empresas, que a Martian está abordando com seu novo recurso de conformidade. Isso permite que as empresas verifiquem e aprovem modelos de IA para uso em aplicações, com um sistema automatizado para estabelecer políticas de conformidade.
Transformando a IA Agentica com Roteirização de Modelos
A roteirização de modelos desempenha um papel crítico no crescente campo da IA agentica, onde agentes de IA conectam vários modelos e ações para alcançar resultados desejados. Cada etapa em um fluxo de trabalho de agente depende das etapas anteriores, então erros podem se acumular. A roteirização dinâmica da Martian garante que o modelo mais adequado seja aplicado em cada estágio, mantendo alta precisão.
“Agentes representam um caso de uso convincente para roteirização; a precisão em cada etapa é vital para evitar uma cascata de falhas,” conclui Upadhyay.
Classificação
