ControlNet é uma rede neural que controla a geração de imagens em Stable Diffusion adicionando condições extras. Detalhes podem ser encontrados no artigo Adding Conditional Control to Text-to-Image Diffusion Models por Lvmin Zhang e colaboradores.
É uma mudança de jogo. Você pode usar o ControlNet para, para citar alguns,
- Especifique poses humanas.
- Copie a composição de outra imagem.
- Gere uma imagem semelhante.
- Transforme um rabisco em uma imagem profissional.
Neste post, você aprenderá tudo o que precisa saber sobre o ControlNet.
- O que é ControlNet e como ele funciona.
- Como instalar o ControlNet no Windows, Mac e Google Colab.
- Como usar o ControlNet.
- Todos os modelos ControlNet explicados.
- Alguns exemplos de uso.
Este guia é para ControlNet com modelos Stable Diffusion v1.5. Veja o guia para ControlNet com modelos SDXL .