Goku: conheça nova IA lançada pela ByteDance, dona do TikTok

Conforme a página recém-criada da plataforma, todos os vídeos de demonstrações foram criados utilizando apenas uma imagem e uma trilha de áudio, com resultados assustadoramente impressionantes. O próprio vídeo de abertura da página do OmniHuman-1 é um deepfake de 23 segundos com Einstein discorrendo sobre as emoções humanas, citando um poema e emendando em uma retórica comum de que a “ciência não responde os porquês”. A seguir, confira mais detalhes da novidade.

O Goku, cujo nome oficial é OmniHuman-1, é um novo modelo multimodal de IA baseado na arquitetura “Rectified Transformer Flow” de aprendizado de máquina profundo, utilizada na maioria dos modelos de difusão modernos para gerar imagens a partir de prompts multimodais. A maior vantagem dessa arquitetura em relação a transformadores anteriores é que, além de combinar geração integrada de vídeos e imagens, ela possibilita um aprendizado intermodal nos processos de treinamento.

A inovação abre margem para criação de conteúdos audiovisuais extremamente realistas totalmente por IA. Conforme os dados de benchmark divulgados na página do modelo no GitHub, o Goku-T2V tem uma média de desempenho superior a vários outros modelos similares, inclusive o Sora, da OpenAI.

A arquitetura "Rectified Flow Transformer" combina mecanismos de processamento de linguagem natural (PLN) e algoritmos de Deep Learning para transformar inputs de texto, imagem e som em sequências visuais realistas e com alta fidelidade ao material de referência no caso dos prompts com imagens. O processo em si envolve:

Um dos maiores diferenciais descrito no artigo original do modelo é que a base de dados utilizada para o treinamento utilizou conjuntos de dados com milhões de pareamentos de entre imagens e textos, e vídeos e textos, provenientes tanto de repositórios acadêmicos como de conteúdos públicos da internet. Apesar de não abrir exatamente as fontes, é importante lembrar que a ByteDance é dona do TikTok e, tecnicamente, todos os vídeos disponibilizados na plataforma são públicos.

A julgar pelo teor dos vídeos com demonstrações do modelo, é bastante nítida a semelhança entre os vídeos gerados por IA e o tipo de conteúdo normalmente publicado na rede social. Em relação a outros modelos, é difícil estabelecer uma comparação real além dos dados de benchmark publicados pela própria ByteDance, mas de maneira geral, o Goku-T2V tem uma consistência geral nos mesmos níveis do Luma (Google) e Sora (OpenAI), possivelmente os dois mais promissores até o momento.

Apesar de publicado alguns elementos do OmniHuman-1 no GitHub, a maior parte do código ainda está “a caminho”, e isto inclui as ferramentas para teste e incorporação da framework. Sendo assim, por enquanto ainda não é possível testar a ferramenta nem em caráter de desenvolvedor. Além disso, a ByteDance não confirmou quando - ou se - o modelo será liberado publicamente em algum de seus produtos.