A Stable Video Diffusion pode ser executada localmente numa máquina com GPU Nvidia e permite sintetizar qualquer imagem estática e convertê-la num vídeo animado que pode ter até dois segundos de duração. A ferramenta, anunciada agora pela Stability AI, consiste de dois modelos: um que produz sínteses de imagem-para-vídeo com até 14 frames (SVD) e outro que gera 25 frames (SVD-XT) e ambos podem ser operados a velocidades variadas, desde os 3 aos 30 frames por segundo.
O ArsTechnica já testou a ferramenta e revela que o sistema demorou 30 minutos a conseguir criar um vídeo animado com recurso a um setup com uma Nvidia RTX 3060. Na maior parte das tentativas, o Video Diffusion manteve uma parte da cena estática e adicionou efeitos de panorâmicas ou zooms, fumos ou fogos, para transmitir a sensação de movimento.
A Stability AI reconhece que o modelo está ainda numa fase muito inicial da sua trajetória e “embora atualizemos os nossos modelos com os avanços mais recentes e trabalhemos para incorporar feedback, este modelo não está preparado para aplicações de mundo real ou comerciais, nesta fase. A vossa experiência e feedback são muito importantes para refinarmos o modelo para um lançamento posterior”.
A organização não especifica a origem dos conjuntos de dados que usou para treinar este modelo, contando apenas que usou um conjunto abrangente com mais de 600 milhões de amostras que foi curado para o Large Video Dataset, que consiste em 580 milhões de clipes de vídeos anotados e com duração de 212 anos.
O modelo está disponível a partir do GitHub.
