Arquivos de Tag: Stable Diffusion

Vídeo para vídeo com Stable Diffusion (passo a passo)

Vídeo para vídeo com Stable Diffusion (passo a passo)

Transformar vídeos em animação nunca foi tão fácil com o Stable Diffusion AI. Você encontrará guias passo a passo para 5 técnicas de vídeo para vídeo neste artigo. O melhor de tudo: você pode executá-los GRATUITAMENTE na sua máquina local!

  1. Script ControlNet-M2M
  2. ControleNet img2img
  3. Extensão Mov2mov
  4. Extensão de animação SD-CN
  5. Kit Temporal
  6. AnimateDiff prompt de viagem

Todos eles usam uma abordagem semelhante de transformar cada quadro de vídeo individualmente com a ajuda do ControlNet .

No final do artigo, examinarei outros métodos de vídeo para vídeo para difusão estável.

Agora você verá um vídeo de amostra de cada método. Abaixo está o vídeo original.

Como remover membros extras com Stable Diffusion inpainting

Como remover membros extras com Stable Diffusion inpainting

Um problema comum em imagens de IA de difusão estável é que os membros podem não ser gerados corretamente. Às vezes, uma pessoa pode ter um braço a mais e, em outras ocasiões, uma de suas pernas pode estar faltando. Finalmente, obtivemos 4 membros, mas a anatomia não está correta.

Um leitor sugeriu fazer um tutorial especial para remover membros extras. Então aqui vai! Neste post, mostrarei como usar inpainting para consertar essas duas imagens com membros problemáticos.

Como gerar pessoas realistas em Stable Diffusion

Como gerar pessoas realistas no Stable Diffusion

Um dos usos mais populares do Stable Diffusion é gerar pessoas realistas. Elas podem parecer tão reais quanto tiradas de uma câmera. Nesta publicação, você aprenderá a mecânica de gerar imagens de retratos no estilo de fotos. Você aprenderá sobre prompts, modelos e upscalers para gerar pessoas realistas.

ComfyUI - Guia para iniciantes

ComfyUI – Guia para iniciantes

ComfyUI é uma GUI baseada em nó para Stable Diffusion. Este tutorial é para alguém que nunca usou o ComfyUI antes. Vou cobrir

  • Texto para imagem
  • Imagem para imagem
  • Fluxo de trabalho SDXL
  • Pintura interna
  • Usando LoRAs
  • ComfyUI Manager – gerenciando nós personalizados na GUI.
  • Impact Pack – uma coleção de nós ComfyUI úteis.

Como instalar o SD Forge

Como instalar o SD Forge

O Stable Diffusion WebUI Forge (SD Forge) é uma versão alternativa do Stable Diffusion WebUI que apresenta geração de imagem mais rápida para GPUs com baixa VRAM, entre outras melhorias.

Este tutorial é para instalar o SD Forge, uma GUI avançada para Stable Diffusion. Confira o  Guia de Início Rápido  e considere fazer os  Cursos de Stable Diffusion  se você for novo no Stable Diffusion.

Este tutorial abrange

  • Instalando o SD Forge no Windows
  • Instalando o SD Forge no Mac
  • Compartilhando arquivos de modelo com AUTOMATIC11111
Como remover objetos indesejados com AI inpainting

Como remover objetos indesejados com AI inpainting

Há uma  postagem antiga no Reddit  mostrando uma tarefa assustadora de remover a ex-esposa de uma foto de família. Certamente não consigo fazer isso com minha habilidade amadora no Photoshop. Mas isso foi antes da época da Stable Diffusion… Vamos descobrir o que podemos conseguir com o inpainting.

Neste post, vou mostrar como usar  a função de pintura interna  do Stable Diffusion para remover um objeto (uma pessoa neste caso) e reconstruir o fundo.

Prompt para Stable Diffusion: um guia definitivo

Prompt para Stable Diffusion: um guia definitivo

Desenvolver um processo para construir bons prompts é o primeiro passo que todo usuário do Stable Diffusion enfrenta. Este artigo resume o processo e as técnicas desenvolvidas por meio de experimentações e contribuições de outros usuários. O objetivo é escrever tudo o que sei sobre prompts para que você possa conhecê-los todos em um só lugar.

Principais sites geradores de imagens de IA de difusão estável e fluxo gratuitos

Principais sites geradores de imagens de IA de difusão estável e fluxo gratuitos

Você está procurando um gerador de imagens de IA gratuito online? Esta página fornece uma lista classificada de sites de terceiros que oferecem geração gratuita de imagens de Stable Diffusion e/ou Flux.

Abaixo estão algumas opções. Não sou afiliado a esses sites. Eu os classifico somente com base nos seguintes critérios.

  1. Gratuito
  2. Sem registro
  3. Velocidade
  4. Características
Como instalar o Stable Diffusion no Windows (AUTOMATIC1111)

Como instalar o Stable Diffusion AUTOMATIC1111 no Windows em 2024

Nesse Tutorial vou ensinar para vocês como instalar o Stable Diffusion Automatic1111 no Windows. Para quem não conhece, o Stable Diffusion é um gerador de imagens que utiliza Inteligência Artificial para criar essas imagens bastando digitar o que você quer que ele crie, e ele criará automaticamente as imagens.

Essa versão do SD é a mais pura e compatível com Windows, mas se preferir também vou deixar no final do artigo o link para instalar a versão com apenas 1 click.

Índice

Link para o Tutorial no Youtube

  1. Baixando os Arquivos Necessários
  2. Instalando os Arquivos Baixados
    • 2.1 Instalando o Phyton
    • 2.2 Instalando o Git
  3. Instalando o Stable Diffusion Automatic1111
    • 3.1 Crie uma pasta para o Stable Diffusion
    • 3.2 CMD
  4. Configurar Antes de Iniciar
    • 4.1 Verificar Python
    • 4.2 Comandos Adicionais
    • 4.3 Criar Atalho

Link para o Tutorial no Youtube

Como instalar o Stable Diffusion AUTOMATIC1111 no Windows

1 – Baixando os Arquivos Necessários

A primeira coisa que iremos fazer é Baixar o Phyton e o Git.

Não vou colocar o link direto para os arquivos aqui, pois eles podem ser atualizados, então baixe sempre a versão que ele recomenda do Link Abaixo:

GitHub – AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

Ao clicar no link acima irá abrir a página do repositório no GitHub, lá é o local certo e seguro para baixar o necessário.

Vá descendo até chegar em Automatic Installation on Windows, como na imagem abaixo:

Automatic Installation on Windows
Automatic Installation on Windows

Clique com o botão direito do mouse em Python e dê Abrir em uma nova guia para ficar mais fácil a navegação, isso irá abrir a página em uma nova guia no navegador.

Faça o mesmo para o GIT.

No Python baixe o arquivo Windows Installer (64 bit), como na imagem abaixo:

No GIT baixe o arquivo 64-bit Git for Windows Setup.

Install git.
Install git.

Após baixar os 2 arquivosnavegue até a pasta que você baixou, caso não saiba onde baixou, abra o Windows Explorer, por padrão ele será salvo na pasta Downloads, caso não ache onde baixou irá precisar baixar novamente e verificar onde está salvando.

2 – Instalando os Arquivos Baixados

Agora iremos instalar os 2 arquivos baixados, instale na sequência que for passado.

2.1 – Instalando o Phyton

Primeiro deve ser instalado o Pythonclique com o botão direito do mouse nele e clique em Executar como Administrador.

Caso dê algum erro ao abrir, leia a mensagem, mas provavelmente seja porque você tem uma outra versão do Phyton, caso isso ocorra você precisará desinstalar essa versão antes de instalar a que você baixou.

Ao abrir a Tela de instalação é EXTREMAMENTE IMPORTANTE selecionar ADD Phyton 3.10 to Path, depois clique em Install Now, como está na imagem abaixo:

Se você esqueceu de Deixar selecionado o ADD Phyton 3.10 to PATH, terá que instalar novamente, se não os comandos que iremos digitar depois não irão funcionar.

2.2 – Instalando o Git

Depois do Python instalado corretamente, clique com o botão direito do mouse no arquivo do GIT e clique em Executar como Administrador.

Com o instalador do GIT aberto clique em Install e vá apertando Next até terminar a instalação.

3 – Instalando o Stable Diffusion Automatic1111

Agora iremos utilizar o terminal para instalar o Stable Diffusion Automatic1111.

A primeira coisa a ser feita é criar uma pasta onde você quer que o seu programa fique.

É muito importante selecionar um HD ou SSD com bastante espaço, para que possa tirar todo proveito é necessário instalar Modelos, esses modelos possuem alguns GB de tamanho.

3.1 – Crie uma pasta para o Stable Diffusion

Para criar a pasta, abra o Explorador de Arquivos (Windows Explorer), você pode fazer isso clicando no botão iniciar do Windows e navegando até ele ou então apertando a tecla Windows + E.

Escolha o HD ou SSD onde vai instalar, no meu caso escolhi o C, depois clique em um local em branco com o botão direito do mouse, depois em Novo e Pasta. Dê um nome para a pasta, exemplo: Stable Diffusion, depois abra ela.

3.2 – CMD

Dentro da pasta que você criouclique na parte de cima da barra em uma parte em branco, apague o que está escrito e digite CMD e pressione ENTER.

Com o CMD aberto digite ou cole o comando:

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

Para colar o comando aperte CTRL + V, ou clique com o botão direito do mouse e depois pressione ENTER para ele instalar o Stable Diffusion Automatic1111 na pasta que você criou.

Se a sua internet for boa, após alguns segundos ele irá terminar de instalar o Stable Diffusion.

4 – Configurar Antes de Iniciar

Dentro da pasta que você criou, ele irá criar outra pasta chamada stable-diffusion-webui, dentro desta pasta vá até o arquivo webui-user.bat, clique com o botão direito do mouse e clique em Editar ou Editar com o bloco de notas.

Com ele aberto você irá acrescentar na frente de set COMMANDLINE_ARGS os comandos:

--xformers --autolaunch

Abaixo desse comando coloque a linha: git pull, para o Stable Diffusion ficar sempre atualizado.

Deverá ficar igual a imagem:

Exemplo:

@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --xformers --autolaunch
git pull
call webui.bat

4.1 – Verificar Python

Caso você tenha mais de um Python instalado, precisará acrescentar o caminho do Python 3.10 para evitar dar problemas na hora de abrir o SD.

Como verificar se tem mais de 1 instalado, clique no botão iniciar do Windows e na barra de pesquisa digite: Python.

Todos Python instalados irão aparecer, clique com o botão direito do mouse em Python 3.10 e clique em Abrir local do arquivo.

Ele irá abrir a pasta como na janela abaixo, essa pasta é onde estão os atalhosnão é esse local, como pode ver está escrito Atalho no Tipo, clique novamente com o botão direito e Abrir local do Arquivo.

Esse é o local correto, como pode ver em Tipo está Aplicativoclique com o direito em Python.exe e Clique em Copiar como Caminho.

Agora no arquivo webui-user.bat em set PYTHON= cole o caminho que você copiou do Python, é só dar CTRL+V na frente ou com o botão direito do mouse dê colar, ficará parecido com a imagem abaixo:

4.2 – Comandos Adicionais

OBS: Se tiver menos de 8GB de VRAM na sua placa de vídeo, acrescente o comando no COMMANDLINE_ARGS:

--medvram

Mas só faça isso se realmente tiver menos de 8GB na sua placa de vídeo, pois isso deixará o SD mais lento, esse comando serve para economizar memória de vídeo e fazer ele rodar em placas mais fracas.

Então ficará parecido com os comandos abaixo:

Aqui tem a lista completa de comandos para o Stable DiffusionCommand Line Arguments and Settings

Agora é só executar o webui-user.bat sempre que for abrir o Stable Diffusion Automatic1111.

4.3 – Criar Atalho

Para facilitar você pode clicar em Atalho clicando com o botão direito e depois em Enviar para a Área de trabalho, dessa forma ele irá criar um atalho na área de trabalho.

Quando executar o webui-user.bat ele irá carregar os arquivos necessários e quando estiver pronto irá abrir o Stable Diffusion Automatic1111 no navegador, como na imagem abaixo:

Pronto, agora o Stable Diffusion está instalado e pronto para utilizar! Essa maneira que mostrei de como instalar o SD é a mais pura e estável de todas, mas tem outras maneiras mais fáceis.

Se você não sabe como utilizar o Stable Diffusion, recomendo ver nossos próximos tutoriais!

POR FAVOR SE INSCREVAM NO CANAL DO YOUTUBE!

Link para o canal no Youtube: Realidade Artificial

Como usar o Stable Diffusion

Como usar o Stable Diffusion

Quer aprender Stable Diffusion AI? Este guia para iniciantes é destinado aos novatos e sem experiência com Stable Diffusion, Flux ou outros geradores de imagem por IA. Ele dará a você uma visão geral do Stable Diffusion/Flux AI e por onde começar.

Esta é a primeira parte da série de guias para iniciantes.
Leia a parte 2: Construção de prompts .
Leia a parte 3: Pintura interna.
Leia a parte 4: Modelos.

Índice

  • O que é Stable Diffusion (difusão estável)?
  • Como usar o Stable Diffusion?
  • Qual é a vantagem do Stable Diffusion?
  • O Stable Diffusion AI é gratuito?
  • Estou dentro! Como começar a usar Stable Diffusion e Flux AI?
    • Geradores online
    • Execute no seu PC
    • GUI avançada
  • O que o Stable Diffusion pode fazer?
    • Gerar imagens a partir de texto
    • Gerar uma imagem a partir de uma imagem
    • Edição de fotos
    • Faça vídeos
  • Como criar um bom prompt?
  • Regras básicas para criar bons prompts
    • Seja detalhado e específico
    • Use palavras-chave poderosas
  • Quais são esses parâmetros e devo alterá-los?
  • Quantas imagens devo gerar?
  • Maneiras comuns de corrigir defeitos em imagens
    • Restauração Facial
    • Corrigindo pequenos artefatos com pintura interna
  • O que são modelos personalizados?
    • Qual modelo devo usar?
    • Como treinar um novo modelo?
  • Avisos negativos
  • Como fazer impressões grandes com Stable Diffusion?
  • Como controlar a composição da imagem?
    • Imagem para imagem
    • ControlNet (Rede de controle)
    • Regional prompting (Incitação regional)
    • Profundidade para imagem
  • Gerando assuntos específicos
    • Pessoas realistas
    • Animais
  • O que é Unstable Diffusion?
  • Próximo passo

O que é Stable Diffusion?

Stable Diffusion AI é um modelo de difusão latente para gerar imagens de IA. As imagens podem ser foto realistas, como aquelas capturadas por uma câmera, ou artísticas, como se fossem produzidas por um artista profissional.

A melhor parte é que ele é gratuito. Você pode executá-lo no seu PC ou pode usá-lo online por uma taxa.

Falarei sobre as opções para usar Stable Diffusion e Flux na parte final deste artigo. Mas se você não puder esperar, pegue o Guia de Início Rápido no Stable Diffusion e mergulhe de cabeça.

Como usar a difusão estável?

Tudo o que você precisa é de um prompt que descreva uma imagem . Por exemplo:

casa de gengibre, diorama, em foco, fundo branco, torrada, cereal crocante

A Difusão Estável transforma esse prompt em imagens como as abaixo.

Você pode gerar quantas variações quiser a partir do mesmo prompt.

Qual é a vantagem da difusão estável?

Existem serviços de geração de texto para imagem semelhantes, como o DALLE o MidJourney da OpenAI . Por que Stable Diffusion? As vantagens do Stable Diffusion AI são:

  • Código aberto: muitos entusiastas criaram ferramentas e modelos gratuitos.
  • Projetado para computadores de baixo consumo: é gratuito ou barato de usar.

O Stable Diffusion AI é gratuito?

O Stable Diffusion é gratuito para uso quando executado em suas próprias máquinas Windows ou Mac . Um serviço online custará uma taxa modesta.

Estou dentro! Como começar a usar Stable Diffusion e Flux AI?

Há muitas maneiras de usar modelos de IA de difusão estável e fluxo. Você precisa decidir:

  1. Executar no seu PC ou usar um serviço online?
  2. Qual interface gráfica você deseja usar?

Geradores online

Para iniciantes absolutos, recomendo usar um gerador online gratuito . Você pode começar a gerar sem o incômodo de configurar as coisas.

Gere algumas imagens e veja se a IA é sua praia.

Execute no seu PC

A melhor opção de PC é executar o Windows com uma placa GPU Nvidia . A maioria dos modelos de IA são otimizados para GPUs Nvidia. As GPUs AMD estão começando a ganhar força, mas espere passar por obstáculos para usá-las. Quanto mais VRAM sua GPU tiver, menos problemas você precisará

Você precisa de um Apple Silicon (M1/M2/M3/M4) para rodar em um Mac.

GUI avançada

A desvantagem dos geradores online gratuitos é que as funcionalidades são bastante limitadas.

Use uma GUI (Graphical User Interface) avançada se você já não as usa mais. Uma gama completa de ferramentas está à sua disposição. Para citar algumas:

As GUIs mais populares são:

  • AUTOMATIC1111 – Fácil de usar, mas o desenvolvimento está atrasado. Suporta apenas Stable Diffusion.
  • Forge – Derivado de A1111. Suporta Stable Diffusion e Flux AI. Rápido, mas algumas extensões A1111 não funcionam.
  • ComfyUI – Curva de aprendizado íngreme. Suporta tanto Stable Diffusion quanto Flux.

Consulte o Guia de início rápido para configurá-los localmente ou no Google Colab.

O que a difusão estável pode fazer?

1. Gerar imagens a partir de texto

O uso mais básico do Stable Diffusion é texto para imagem (txt2img). Aqui estão alguns exemplos de imagens que você pode gerar com o Stable Diffusion.

Estilo anime

Estilo foto realista

Aprenda a gerar pessoas realistas e humanos de rua realistas .

Paisagem

Fantasia

Estilo artístico

Animais

Aprenda a gerar animais .

Guia do iniciante – Stable Diffusion (2ª edição)

Elimine as suposições para se tornar um artista de IA. Aprenda Stable Diffusion passo a passo.

Obtenha o Guia do Iniciante

2. Gerar uma imagem a partir de uma imagem

Imagem para imagem (img2img) transforma uma imagem em outra usando IA de difusão estável.

Abaixo está um exemplo de como transformar meu desenho de uma maçã em um desenho foto realista. ( Tutorial )

Imagem para imagem gera uma imagem com base em uma imagem de entrada e um prompt.

3. Edição de fotos

Você pode usar inpainting para regenerar parte de uma imagem real ou de IA . Isso é o mesmo que a nova função de preenchimento generativo do Photoshop, mas grátis.

4. Faça vídeos

Existem duas maneiras principais de fazer vídeos com Stable Diffusion: (1) a partir de um prompt de texto e (2) a partir de outro vídeo.

Deforum é uma maneira popular de fazer um vídeo a partir de um prompt de texto. Você provavelmente já viu um deles nas mídias sociais. Parece com isso:

Como fazer vídeos com Stable Diffusion

A segunda maneira é estilizar um vídeo usando Stable Diffusion. Veja o tutorial de vídeo para vídeo .

Este é um tópico mais avançado. É melhor dominar texto para imagem e imagem para imagem antes de mergulhar nele.

Como criar um bom prompt?

Há muito o que aprender para elaborar um bom prompt . Mas o básico é descrever seu assunto com o máximo de detalhes possível. Certifique-se de incluir palavras-chave poderosas para definir o estilo.

Usar um gerador de prompts é uma ótima maneira de aprender um processo passo a passo e palavras-chave importantes. É essencial para iniciantes aprender um conjunto de palavras-chave poderosas e seus efeitos esperados. Isso é como aprender vocabulário para um novo idioma. Você também pode encontrar uma pequena lista de palavras-chave e notas aqui .

Um atalho para gerar imagens de alta qualidade é reutilizar prompts existentes. Vá para a coleção de prompts, escolha uma imagem que você goste e roube o prompt! A desvantagem é que você pode não entender por que ele gera imagens de alta qualidade. Leia as notas e altere o prompt para ver o efeito.

Como alternativa, use sites de coleta de imagens como o PlaygroundAI . Escolha uma imagem que você goste e remixe o prompt. Mas pode ser como encontrar uma agulha em um palheiro para um prompt de alta qualidade.

Trate o prompt como um ponto de partida. Modifique para atender às suas necessidades.

Regras básicas para criar bons prompts

Duas regras: (1) Seja detalhado e específico e (2) use palavras-chave poderosas.

Seja detalhado e específico

Embora a IA avance a passos largos, a Stable Diffusion ainda não consegue ler sua mente. Você precisa descrever sua imagem com o máximo de detalhes possível.

Digamos que você queira gerar uma imagem de uma mulher em uma cena de rua. Um prompt simplista uma mulher na rua fornece uma imagem como esta:

Prompt sem detalhes

Bem, você pode não querer gerar uma avó, mas isso tecnicamente corresponde ao seu prompt. Você não pode culpar a Stable Diffusion…

Então, em vez disso, você deveria escrever mais.

uma jovem senhora, olhos castanhos, mechas no cabelo, sorriso, vestindo traje casual de negócios elegante, sentada do lado de fora, rua tranquila da cidade, iluminação de borda

Prompt com detalhes

Veja a diferença drástica. Então trabalhe em suas habilidades de construção de prompts !

Use palavras-chave poderosas

Algumas palavras-chave são mais poderosas do que outras. Exemplos são

  • Nomes de celebridades (por exemplo, Emma Watson)
  • Nomes de artistas (por exemplo, van Gogh)
  • Meio artístico (por exemplo, ilustração, pintura, fotografia)

Usá-los com cuidado pode direcionar a imagem na direção desejada.

Você pode aprender mais sobre a criação de prompts e exemplos de palavras-chave em Noções básicas sobre a criação de prompts .

Quer trapacear? Assim como fazer lição de casa, você pode usar o ChatGPT para gerar prompts!

Quais são esses parâmetros e como devo alterá-los?

A maioria dos geradores online permite que você altere um conjunto limitado de parâmetros. Abaixo estão alguns importantes:

  • Tamanho da imagem : O tamanho da imagem de saída. O tamanho padrão é 512×512 pixels. Mudá-lo para o tamanho retrato ou paisagem pode ter um grande impacto na imagem. Por exemplo, use o tamanho retrato para gerar uma imagem de corpo inteiro.
  • Etapas de amostragem : Use pelo menos 20 etapas. Aumente se você vir uma imagem borrada.
  • Escala CFG : O valor típico é 7. Aumente se quiser que a imagem siga mais o prompt.
  • Valor semente : -1 gera uma imagem aleatória. Especifique um valor se quiser a mesma imagem.

Veja recomendações para outras configurações .

Quais são esses parâmetros e como devo alterá-los?

Quantas imagens devo gerar?

Você deve sempre gerar várias imagens ao testar um prompt.

Eu gero de 2 a 4 imagens por vez ao fazer grandes mudanças no prompt para que eu possa acelerar a busca. Eu geraria 4 por vez ao fazer pequenas mudanças para aumentar a chance de ver algo utilizável.

Alguns prompts funcionam apenas metade do tempo ou menos. Então, não descarte um prompt com base em uma imagem.

Maneiras comuns de corrigir defeitos em imagens

Quando você vê imagens de IA impressionantes compartilhadas em mídias sociais, há uma boa chance de que elas tenham passado por uma série de etapas de pós-processamento. Vamos abordar algumas delas nesta seção.

Restauração Facial

Esquerda: Imagens originais. Direita: Após restauração da face.

É bem conhecido na comunidade de artistas de IA que Stable Diffusion não é bom em gerar rostos. Muitas vezes, os rostos gerados têm artefatos.

Frequentemente usamos modelos de IA de imagem que são treinados para restaurar faces, por exemplo, CodeFormer , que AUTOMATIC1111 GUI tem suporte integrado. Veja como ativá-lo .

Você sabia que há uma atualização para os modelos v1.4 e v1.5 para consertar os olhos? Veja como instalar um VAE .

Corrigindo pequenos artefatos com pintura interna

É difícil obter a imagem que você quer na primeira tentativa. Uma abordagem melhor é gerar uma imagem com boa composição. Então repare os defeitos com inpainting .

Abaixo está um exemplo de uma imagem antes e depois do inpainting. Usar o prompt original para inpainting funciona 90% das vezes.

Esquerda: Imagem original com defeitos. Direita: O rosto e o braço são corrigidos por inpainting.

Existem outras técnicas para consertar as coisas. Leia mais sobre como consertar problemas comuns .

O que são modelos personalizados?

Os modelos oficiais lançados pela Stability AI e seus parceiros são chamados de modelos base . Alguns exemplos de modelos base são Stable Diffusion 1.4 1.5 2.0 2.1 .

Modelos personalizados são treinados a partir dos modelos base. Atualmente, a maioria dos modelos é treinada a partir da v1.4 ou v1.5. Eles são treinados com dados adicionais para gerar imagens de estilos ou objetos específicos.

Somente o céu é o limite quando se trata de modelos personalizados. Pode ser estilo anime, estilo Disney ou o estilo de outra IA. Você escolhe.

Abaixo está uma comparação de 5 modelos diferentes.

Imagens geradas por 5 modelos diferentes.

Também é fácil mesclar dois modelos para criar um estilo intermediário.

Qual modelo devo usar?

Fique com os modelos básicos se estiver começando. Há muitos para aprender e brincar para mantê-lo ocupado por meses.

As três versões principais do Stable Diffusion são v1, v2 e Stable Diffusion XL (SDXL).

  • Os modelos v1 são 1.4 e 1.5.
  • Os modelos v2 são 2.0 e 2.1.
  • SDXL 1.0

Você pode pensar que deveria começar com os modelos v2 mais novos. As pessoas ainda estão tentando descobrir como usar os modelos v2. Imagens do v2 não são necessariamente melhores que as do v1.

Houve uma série de modelos SDXL lançados: SDXL beta , SDXL 0.9 e o mais recente SDXL 1.0.

Recomendo usar os modelos v1.5 e SDXL 1.0 se você for novo no Stable Diffusion.

Como treinar um novo modelo?

Uma vantagem de usar Stable Diffusion é que você tem controle total do modelo. Você pode criar seu próprio modelo com um estilo único se quiser. Duas maneiras principais de treinar modelos: (1) Dreambooth e (2) embedding .

O Dreambooth é considerado mais poderoso porque ele ajusta o peso de todo o modelo. Os embeddings deixam o modelo intocado, mas encontram palavras-chave para descrever o novo assunto ou estilo.

Você pode experimentar o caderno Colab no artigo do dreambooth .

Avisos negativos

Você coloca o que quer ver no prompt. Você coloca o que não quer ver no prompt negativo. Nem todos os serviços de Stable Diffusion suportam prompts negativos. Mas é valioso para modelos v1 e essencial para modelos v2. Não faz mal para um iniciante usar um prompt negativo universal. Leia mais sobre prompts negativos:

Como fazer impressões grandes com difusão estável?

A resolução nativa do Stable Diffusion é 512×512 pixels para modelos v1. Você NÃO deve gerar imagens com largura e altura que desviem muito de 512 pixels. Use as seguintes configurações de tamanho para gerar a imagem inicial.

  • Imagem de paisagem : Defina a altura para 512 pixels. Defina a largura para mais alto, por exemplo, 768 pixels (proporção de aspecto 2:3)
  • Imagem de retrato : Defina a largura para 512 pixels. Defina a altura para mais alto, por exemplo, 768 pixels (proporção de aspecto 3:2)

Se você definir a largura e a altura iniciais muito altas, verá assuntos duplicados.

O próximo passo é aumentar a escala da imagem. A GUI AUTOMATIC1111 gratuita vem com alguns upscalers de IA populares.

Como controlar a composição da imagem?

A tecnologia Stable Diffusion está melhorando rapidamente. Existem algumas maneiras.

Imagem para imagem

Você pode pedir ao Stable Diffusion para seguir aproximadamente uma imagem de entrada ao gerar uma nova. É chamado de imagem para imagem . Abaixo está um exemplo de uso de uma imagem de entrada de uma águia para gerar um dragão. A composição da imagem de saída segue a entrada.

Rede de controle

O ControlNet usa similarmente uma imagem de entrada para direcionar a saída. Mas ele pode extrair informações específicas, por exemplo, poses humanas. Abaixo está um exemplo de uso do ControlNet para copiar uma pose humana da imagem de entrada.

Imagem de entrada

Além de poses humanas, o ControlNet pode extrair outras informações, como contornos.

Regional Prompter

Você pode especificar prompts para certas partes de imagens usando uma extensão chamada Regional Prompter . Essa técnica é muito útil para desenhar objetos somente em certas partes da imagem.

Abaixo está um exemplo de como colocar um lobo no canto inferior esquerdo e caveiras no canto inferior direito.

Prompt de Região – Regional Prompter

Leia o tutorial do Regional Prompter para saber mais sobre como usá-lo.

Profundidade para imagem

Depth-to-image é outra maneira de controlar a composição por meio de uma imagem de entrada. Ele pode detectar o primeiro plano e o segundo plano da imagem de entrada. A imagem de saída seguirá o mesmo primeiro plano e segundo plano. Abaixo está um exemplo.

Imagem de entrada

Gerando assuntos específicos

Pessoas realistas

Você pode usar Stable Diffusion para gerar pessoas realistas em estilo de foto. Vamos ver alguns exemplos.

Pessoas realistas

Tudo se resume a usar o prompt certo e um modelo especial treinado para produzir humanos realistas no estilo de foto. Aprenda mais no tutorial para gerar pessoas realistas .

Animais

Animais são temas populares entre os usuários do Stable Diffusion.

Aqui estão alguns exemplos.

Animais

Leia o tutorial para gerar animais para aprender como.

O que é difusão instável?

Unstable Diffusion é uma empresa que desenvolve modelos de Stable Diffusion para pornografia de IA. Eles viraram manchetes quando sua campanha de arrecadação de fundos no Kickstarter foi encerrada . Até agora, eles não divulgaram nenhum modelo publicamente.

A empresa não tem relação com a Stability AI, a empresa que lançou o Stable Diffusion AI.

Próximo passo

Então, você concluiu o primeiro tutorial do Guia do Iniciante!

Confira o Curso de Difusão Estável para um curso guiado passo a passo.

Ou continue para a parte 2 abaixo.

Esta é a parte 1 da série de guias para iniciantes.
Leia a parte 2: Construção de prompts .
Leia a parte 3: Pintura interna.
Leia a parte 4: Modelos .