A Reka, uma startup de IA com sede em San Francisco, fundada por pesquisadores da DeepMind, Google e Meta, lançou um novo modelo de linguagem multimodal chamado Reka Core. Este modelo, considerado o "maior e mais capaz" da empresa, foi treinado do zero utilizando milhares de GPUs.
Disponível hoje via API, em implementação local ou em dispositivos, o Reka Core é a terceira adição à família de modelos de linguagem da empresa. Ele se destaca na compreensão de múltiplas modalidades, incluindo texto, imagens, áudio e vídeo. Impressionantemente, mesmo tendo sido treinado em menos de um ano, seu desempenho rivaliza o de gigantes da indústria como OpenAI, Google e Anthropic.
"Essa capacidade de treinar modelos de alto desempenho em um curto período nos diferencia," disse Dani Yogatama, cofundador e CEO da empresa de 22 pessoas, em uma recente entrevista.
O Reka Core foi testado no "Problema dos Três Corpos" da Netflix, traduzindo com sucesso ações na tela para texto. Yi Tay, cientista-chefe e cofundador da Reka, destacou que o modelo foi desenvolvido usando "milhares de H100s." Competir com modelos líderes como o GPT-4 da OpenAI e o Claude 3 Opus da Anthropic não é fácil; no entanto, Tay garantiu que o desempenho do Core ainda está em melhoria.
O que o Reka Core oferece?
Embora o número exato de parâmetros do Reka Core não tenha sido divulgado, ele é descrito como um “modelo muito grande” (a versão anterior, Reka Flash, continha 21 bilhões de parâmetros). O modelo foi treinado em diversas fontes de dados, incluindo dados licenciados, disponíveis publicamente e sintéticos nos formatos de texto, áudio, vídeo e imagens.
Esse treinamento abrangente permite que o Reka Core processe múltiplas modalidades e responda com precisão em várias áreas, como matemática e programação, com uma habilidade de raciocínio excepcional. O modelo suporta 32 idiomas e possui uma janela de contexto extensiva de 128.000 tokens, tornando-o adequado para trabalhar com documentos longos. Yogatama observou que o Core é apenas o segundo modelo, após o Gemini Ultra do Google, a englobar todas as modalidades e fornecer resultados de alta qualidade.
Em testes de desempenho, o Reka Core superou o Gemini Ultra em percepção de vídeo, com uma pontuação de 59,3 contra 54,3. No benchmark MMMU para tarefas de imagem, ficou próximo do GPT-4 (56,8), Claude 3 Opus (59,4) e Gemini Ultra (59,4), com uma pontuação de 56,3. Em contrapartida, o modelo Grok da xAI, de Elon Musk, obteve apenas 53,6.
Avaliações independentes classificaram o Reka Core como o segundo melhor em desempenho multimodal. Além disso, ele igualou ou superou o desempenho de modelos proeminentes em vários benchmarks. Nos testes de conhecimento MMLU, a pontuação do Core foi de 83,2, ficando muito próximo do GPT-4, Claude 3 Opus e Gemini Ultra. Adicionalmente, ele superou o GPT-4 nas tarefas de raciocínio e programação, recebendo pontuações de 92,2 e 76,8, respectivamente.
Para alcançar tal desempenho em um curto espaço de tempo, a empresa adotou uma abordagem de desenvolvimento reverso. Em vez de um treinamento tradicional, estabeleceram uma meta de desempenho direcionada e desenharam de forma reversa o volume necessário de dados e os requisitos de GPU para atingi-la.
Parcerias e Planos Futuros
Com foco nas capacidades multimodais e preços competitivos—US$ 10 por milhão de tokens de entrada e US$ 25 por milhão de tokens de saída—a Reka pretende explorar diversos casos de uso em indústrias como comércio eletrônico, jogos, saúde e robótica. Para referência, o GPT-4 Turbo da OpenAI cobra o mesmo valor para tokens de entrada, mas US$ 30 para saída.
Embora ainda esteja em seus estágios iniciais, a Reka está ativamente trabalhando para desafiar o domínio de mercado da OpenAI, Anthropic e Google. A startup já iniciou colaborações com parceiros da indústria; por exemplo, a Snowflake recentemente incorporou o Reka Core e o Flash em seu serviço Cortex para o desenvolvimento de aplicações de modelos de linguagem. Parcerias com a Oracle e a AI Singapore, que une instituições de pesquisa baseadas em Cingapura, também estão em andamento.
Yogatama mencionou que, desde o lançamento dos modelos iniciais da família Reka (Flash e Edge), o forte interesse das empresas resultou em um crescente pipeline de clientes. Mais detalhes sobre parcerias devem ser divulgados em breve.
Após um primeiro ano focado em colocar modelos no mercado, a Reka planeja aprimorar suas ofertas enquanto expande suas operações comerciais. A equipe está comprometida em melhorar o desempenho do Core e, simultaneamente, desenvolver sua próxima versão.
Apesar dos avanços contínuos, Yogatama esclareceu que a empresa não tem planos imediatos de tornar sua tecnologia de código aberto. Ele defende os princípios de código aberto, mas enfatiza a necessidade de equilibrar o que é compartilhado para garantir um crescimento sustentável nos negócios.
O Cenário Competitivo do Reka Core
À medida que o Reka Core se destaca no competitivo cenário de IA, ele demonstra capacidades promissoras que o colocam em disputa com os principais modelos do mercado atualmente.
Classificação
