Pesquisadores da Universidade de Pequim e uma empresa de IA em Shenzhen chamada Rabbitpre se uniram para iniciar um projeto chamado Open-Sora. Seu objetivo é criar uma versão do modelo de texto para vídeo da OpenAI, Sora, com a ajuda da comunidade de código aberto, que seja mais fácil de usar e mais escalável, relata Postagem matinal do sul da China. O Sora da OpenAI criou muito barulho no mundo da IA desde que foi lançado, e este projeto é o mais recente movimento da China na corrida da IA. A grande questão é se isso será um sucesso.
De acordo com a página GitHub do projeto, o projeto Open-Sora fez progressos consideráveis ao desenvolver uma estrutura de três partes e apresentar quatro demonstrações de vídeos reestruturados. Esses vídeos variam em resolução e proporção, com durações que variam de três a 24 segundos.
Os objetivos futuros do projeto incluem refinar a tecnologia para produzir vídeos de maior resolução e aprimorar o treinamento com dados adicionais e mais unidades de processamento gráfico para dar ao serviço mais poder computacional. Essas etapas são cruciais para melhorar o desempenho do modelo e ampliar suas capacidades para gerar vídeos mais detalhados e mais longos.
O Sora da OpenAI causou respostas variadas nos setores empresariais e tecnológicos chineses. Algumas empresas estão ansiosas para utilizar o modelo de IA de texto para vídeo. Outros estão mais preocupados com a vantagem competitiva da China neste campo, principalmente por causa das regras de exportação mais rigorosas dos Estados Unidos que impedem empresas como a Nvidia de vender GPUs de alto desempenho a entidades sediadas na China, o que retarda enormemente o desenvolvimento de tecnologias de IA na República de Pessoas.
As grandes empresas de tecnologia da China, como Tencent AI e ByteDance, também se aventuraram no domínio da conversão de texto em vídeo. A Tencent AI lançou o VideoCrafter2, uma caixa de ferramentas de geração e edição de vídeo de código aberto capaz de gerar vídeos a partir de texto, embora limitado a vídeos de dois segundos. O MagicVideo-V2 da ByteDance combina vários módulos para criar um pipeline de geração de vídeo ponta a ponta.
A iniciativa Open-Sora é uma colaboração entre a Escola de Pós-Graduação de Shenzhen da Universidade de Pequim e a Rabbitpre, formando o ‘Rabbitpre AIGC Joint Lab’. Fundado em junho de 2023, este laboratório conjunto dedica-se à pesquisa de conteúdo produzido por IA. A equipe do projeto é composta por 13 membros, incluindo o professor assistente Yuan Li e o professor Tian Yonghong da Universidade de Pequim, o fundador e CEO da Rabbitpre, Dong Shaoling, e o diretor de tecnologia, Zhou Xing.