AI-For-Beginners/translations/pt-PT/lessons/X-Extras/X1-MultiModal

Redes Multi-Modais

Após o sucesso dos modelos transformadores na resolução de tarefas de PLN, as mesmas ou similares arquiteturas foram aplicadas a tarefas de visão computacional. Há um interesse crescente em construir modelos que combinem capacidades de visão e linguagem natural. Uma dessas tentativas foi realizada pela OpenAI, chamada CLIP e DALL.E.

Treino Contrastivo de Imagens (CLIP)

A ideia principal do CLIP é ser capaz de comparar descrições textuais com uma imagem e determinar o quão bem a imagem corresponde à descrição.

Imagem retirada deste artigo

O modelo é treinado com imagens obtidas da Internet e suas legendas. Para cada lote, pegamos N pares de (imagem, texto) e convertemos para representações vetoriais I, ..., I / T, ..., T. Essas representações são então comparadas entre si. A função de perda é definida para maximizar a similaridade cosseno entre os vetores correspondentes a um par (por exemplo, I e T) e minimizar a similaridade cosseno entre todos os outros pares. É por isso que essa abordagem é chamada de contrastiva.

O modelo/biblioteca CLIP está disponível no GitHub da OpenAI. A abordagem é descrita neste artigo e em mais detalhes neste artigo científico.

Uma vez que este modelo é pré-treinado, podemos fornecer um lote de imagens e um lote de descrições textuais, e ele retornará um tensor com probabilidades. O CLIP pode ser usado para várias tarefas:

Classificação de Imagens

Suponha que precisamos classificar imagens entre, por exemplo, gatos, cães e humanos. Nesse caso, podemos fornecer ao modelo uma imagem e uma série de descrições textuais: "uma foto de um gato", "uma foto de um cão", "uma foto de um humano". No vetor resultante de 3 probabilidades, basta selecionar o índice com o valor mais alto.

Imagem retirada deste artigo

Pesquisa de Imagens Baseada em Texto

Também podemos fazer o oposto. Se tivermos uma coleção de imagens, podemos passar essa coleção para o modelo e uma descrição textual - isso nos dará a imagem mais semelhante à descrição fornecida.

✍️ Exemplo: Usando CLIP para Classificação de Imagens e Pesquisa de Imagens

Abra o notebook Clip.ipynb para ver o CLIP em ação.

Geração de Imagens com VQGAN+CLIP

O CLIP também pode ser usado para geração de imagens a partir de uma descrição textual. Para isso, precisamos de um modelo gerador que seja capaz de gerar imagens com base em algum vetor de entrada. Um desses modelos é chamado VQGAN (Vector-Quantized GAN).

As principais ideias do VQGAN que o diferenciam de um GAN tradicional são as seguintes:

• Uso de uma arquitetura transformadora autorregressiva para gerar uma sequência de partes visuais ricas em contexto que compõem a imagem. Essas partes visuais, por sua vez, são aprendidas por uma CNN.
• Uso de um discriminador de sub-imagens que detecta se partes da imagem são "reais" ou "falsas" (diferente da abordagem "tudo ou nada" nos GANs tradicionais).

Saiba mais sobre o VQGAN no site Taming Transformers.

Uma das diferenças importantes entre o VQGAN e um GAN tradicional é que o último pode produzir uma imagem decente a partir de qualquer vetor de entrada, enquanto o VQGAN provavelmente produzirá uma imagem incoerente. Assim, precisamos orientar ainda mais o processo de criação da imagem, e isso pode ser feito usando o CLIP.

Para gerar uma imagem correspondente a uma descrição textual, começamos com um vetor de codificação aleatório que é passado pelo VQGAN para produzir uma imagem. Em seguida, o CLIP é usado para produzir uma função de perda que mostra o quão bem a imagem corresponde à descrição textual. O objetivo, então, é minimizar essa perda, usando retropropagação para ajustar os parâmetros do vetor de entrada.

Uma excelente biblioteca que implementa o VQGAN+CLIP é a Pixray.

Imagem gerada a partir da descrição um retrato em aquarela de perto de um jovem professor de literatura com um livro	Imagem gerada a partir da descrição um retrato a óleo de perto de uma jovem professora de ciência da computação com um computador	Imagem gerada a partir da descrição um retrato a óleo de perto de um professor idoso de matemática em frente a um quadro-negro

Imagens da coleção Artificial Teachers por Dmitry Soshnikov

DALL-E

DALL-E 1

DALL-E é uma versão do GPT-3 treinada para gerar imagens a partir de descrições textuais. Foi treinado com 12 bilhões de parâmetros.

Ao contrário do CLIP, o DALL-E recebe tanto texto quanto imagem como um único fluxo de tokens para ambos. Assim, a partir de várias descrições, é possível gerar imagens baseadas no texto.

DALL-E 2

A principal diferença entre o DALL-E 1 e o 2 é que este último gera imagens e arte mais realistas.

Exemplos de imagens geradas com o DALL-E:

Imagem gerada a partir da descrição um retrato em aquarela de perto de um jovem professor de literatura com um livro	Imagem gerada a partir da descrição um retrato a óleo de perto de uma jovem professora de ciência da computação com um computador	Imagem gerada a partir da descrição um retrato a óleo de perto de um professor idoso de matemática em frente a um quadro-negro

Referências

• Artigo sobre VQGAN: Taming Transformers for High-Resolution Image Synthesis
• Artigo sobre CLIP: Learning Transferable Visual Models From Natural Language Supervision

Aviso Legal:
Este documento foi traduzido utilizando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos para garantir a precisão, esteja ciente de que traduções automáticas podem conter erros ou imprecisões. O documento original no seu idioma nativo deve ser considerado a fonte autoritativa. Para informações críticas, recomenda-se uma tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas resultantes do uso desta tradução.