A Runway ML, com sede em Nova York, é pioneira na criação de vídeos gerados por inteligência artificial de alta qualidade. Após os lançamentos de seus modelos Gen-1 em fevereiro de 2023 e Gen-2 em junho de 2023, a empresa enfrentou uma concorrência crescente de outros geradores de vídeo realistas por IA, incluindo o modelo Sora da OpenAI e a Dream Machine da Luma AI.
Em resposta, a Runway está fazendo um retorno significativo no cenário de vídeos gerados por IA com o anúncio do Gen-3 Alpha. Este modelo, descrito em um post no blog como "o primeiro de uma série treinada em uma nova infraestrutura para treinamento multimodal em larga escala", tem como objetivo desenvolver Modelos Mundiais Gerais capazes de simular uma ampla gama de situações e interações da vida real. Vídeos de exemplo que demonstram as capacidades do Gen-3 Alpha estão disponíveis ao longo deste artigo.
O Gen-3 Alpha permite que os usuários gerem clipes de vídeo realistas e de alta qualidade de 10 segundos, com expressões emocionais precisas e movimentos de câmera fluídos. Segundo um porta-voz da Runway, essa versão inicial irá oferecer gerações de clipes de 5 e 10 segundos, acelerando significativamente os tempos de produção — 5 segundos em 45 segundos e 10 segundos em 90 segundos.
Embora não tenha sido anunciada uma data específica de lançamento, vídeos de demonstração estão sendo exibidos no site da Runway e em sua conta na X. A disponibilidade para os usuários ainda é incerta, com indícios de que pode ser acessível por meio de sua versão gratuita ou exigir uma assinatura paga a partir de $15 por mês ou $144 anualmente.
Em uma recente entrevista, Anastasis Germanidis, cofundador e CTO da Runway, confirmou que o Gen-3 Alpha estará disponível para assinantes pagantes nos próximos dias, com planos para um lançamento futuro aos usuários da versão gratuita. Um representante da Runway adicionou que o modelo será acessível para usuários corporativos e aqueles no Programa de Parceiros Criativos.
Germanidis declarou na X que o Gen-3 Alpha aprimorará funcionalidades existentes como a geração de vídeo a partir de texto e imagem, além de introduzir novas capacidades. Desde o lançamento do Gen-2, a Runway constatou que a escalabilidade dos modelos de difusão de vídeo ainda não atingiu o desempenho máximo, permitindo o desenvolvimento de representações poderosas de conteúdo visual.
Difusão refere-se à forma como um modelo de IA aprende a reconstruir conceitos visuais a partir de "ruído" pixelado, utilizando pares de imagem/vídeo e texto anotados. A Runway afirma que o Gen-3 Alpha é "treinado conjuntamente em vídeos e imagens", guiado por uma equipe de cientistas, engenheiros e artistas. No entanto, não foram divulgados conjuntos de dados específicos utilizados, seguindo uma tendência comum entre geradores de mídia por IA.
Críticos solicitaram que os criadores de modelos de IA compensassem os autores dos dados originais por meio de licenciamento, com alguns movendo processos por infração de direitos autorais. No entanto, as empresas de IA sustentam que podem utilizar legalmente quaisquer dados disponíveis publicamente.
Quando questionado sobre os dados de treinamento do Gen-3 Alpha, o porta-voz da Runway mencionou que eles dependem de conjuntos de dados internos cuidadosamente selecionados, geridos por sua equipe de pesquisa interna.
Vale destacar que a Runway está colaborando com organizações líderes em mídia e entretenimento para desenvolver versões personalizadas do Gen-3, visando consistência estilística e atendendo a objetivos artísticos e narrativos específicos. Embora detalhes sobre essas colaborações permaneçam não divulgados, cineastas de projetos premiados, como "Everything Everywhere All at Once" e "The People’s Joker", já utilizaram a tecnologia da Runway.
A Runway também disponibilizou um formulário para organizações interessadas em versões personalizadas do Gen-3, embora detalhes sobre preços para treinamento de modelos personalizados não tenham sido divulgados. É evidente que a Runway está comprometida em manter sua posição como líder no setor em rápida evolução da criação de vídeos gerados por IA.