A Liquid AI, uma startup co-fundada por ex-pesquisadores do MIT do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL), lançou seus primeiros modelos de IA multimodal: os Modelos de Fundação Líquida (LFMs).
Diferente de muitos modelos atuais de IA generativa que dependem da arquitetura transformer, especialmente do famoso framework de 2017 "Attention Is All You Need", a Liquid AI visa explorar alternativas aos Transformadores Pré-treinados Generativos (GPTs). Os LFMs são construídos a partir de "primeiros princípios", semelhantes à abordagem de engenheiros na construção de motores e aeronaves.
Esses inovadores LFMs mostram desempenho superior em comparação com modelos baseados em transformers, como o Llama 3.1-8B da Meta e o Phi-3.5 3.8B da Microsoft. Disponíveis em três tamanhos—LFM 1.3B (pequeno), LFM 3B e LFM 40B MoE (Modelo de Mistura de Especialistas)—os modelos apresentam diferentes quantidades de parâmetros, sendo que o "B" representa bilhões. Normalmente, um maior número de parâmetros indica maior capacidade em diversas tarefas.
A versão LFM 1.3B já superou o Llama 3.2-1.2B da Meta e o Phi-1.5 da Microsoft em várias referências de terceiros, incluindo o teste Massive Multitask Language Understanding (MMLU), marcando uma conquista significativa para uma arquitetura que não é GPT. Todos os três modelos equilibram alto desempenho com eficiência de memória; por exemplo, o LFM-3B da Liquid requer apenas 16 GB de memória, enquanto o Llama-3.2-3B da Meta necessita de mais de 48 GB.
Maxime Labonne, chefe de Pós-Treinamento da Liquid AI, expressou orgulho pelos LFMs em suas redes sociais, destacando sua eficiência e habilidade de superar modelos transformers em benchmarks de desempenho, consumindo significativamente menos memória. Esses modelos são otimizados para diversas aplicações, incluindo soluções empresariais em finanças, biotecnologia e eletrônicos de consumo, além de serem adequados para dispositivos de borda.
Entretanto, é importante ressaltar que os LFMs não são de código aberto. Os usuários devem acessá-los por meio dos playgrounds de inferência da Liquid, como Lambda Chat ou Perplexity AI.
A abordagem da Liquid no desenvolvimento dos LFMs incorpora uma mistura de unidades computacionais baseadas em teoria de sistemas dinâmicos, processamento de sinais e álgebra linear numérica. Isso resulta em modelos de IA de propósito geral capazes de lidar com diversos tipos de dados sequenciais, incluindo vídeo, áudio, texto e séries temporais.
No ano passado, relatórios destacaram o foco da Liquid AI nas Redes Neurais Líquidas (LNNs), uma arquitetura desenvolvida pelo CSAIL destinada a aumentar a eficiência e adaptabilidade dos neurônios artificiais. Ao contrário de modelos tradicionais de aprendizado profundo que exigem muitos neurônios para tarefas complexas, as LNNs demonstram que um número menor de neurônios—quando combinados com técnicas matemáticas inovadoras—pode alcançar resultados comparáveis.
Os LFMs aproveitam essa adaptabilidade, permitindo ajustes em tempo real durante a inferência com mínima sobrecarga computacional. Por exemplo, o modelo LFM-3B se destaca na gestão de processamento de longo contexto, mantendo uma menor utilização de memória em comparação com modelos como o Gemma-2 do Google, o Phi-3 da Microsoft e o Llama-3.2 da Meta.
Com sua capacidade multimodal, a Liquid AI aborda diversos desafios na indústria, abrangendo serviços financeiros, biotecnologia e eletrônicos de consumo.
Atualmente em fase de pré-lançamento, a Liquid AI incentiva os primeiros usuários a testarem os modelos e fornecerem feedback. Um evento de lançamento completo está agendado para 23 de outubro de 2024, no Auditório Kresge do MIT em Cambridge, MA, com confirmações de presença aceitas. Em preparação, a Liquid AI planeja lançar uma série de postagens técnicas no blog e incentivar esforços de avaliação, convidando os usuários a estressar os modelos para futuras melhorias.
Com o lançamento dos Modelos de Fundação Líquida, a Liquid AI busca se estabelecer como um jogador significativo no setor de modelos de base, combinando desempenho excepcional com uma eficiência de memória incomparável.
Classificação
