A iluminação desempenha um papel crucial na fotografia e tem um impacto significativo na qualidade geral e no clima de uma imagem. Você pode usar a iluminação para realçar o assunto, criar profundidade e dimensão, transmitir emoções e destacar detalhes importantes.
Neste post, você aprenderá sobre os seguintes métodos para controlar a iluminação
Depth-to-image (Depth2img) é um modelo subestimado no Stable Diffusion v2. É um aprimoramento doimage-to-image (img2img) que aproveita as informações de profundidade ao gerar novas imagens.
Neste tutorial, daremos uma olhada nos bastidores para ver o que ele é, como instalar e usar, e o que ele pode fazer por você.
O prompt negativo é uma maneira adicional de cutucar o Stable Diffusion para lhe dar o que você quer. Ao contrário do inpainting, que requer desenhar uma máscara, você pode usar um prompt negativo com toda a conveniência da entrada de texto. Na verdade, algumas imagens só podem ser geradas usando prompts negativos.
Neste artigo, revisaremos um exemplo simples de uso de um prompt negativo. Então, você aprenderá como um prompt negativo funciona em Stable Diffusion.
Esta é a primeira parte da série de duas partes sobre o uso de prompts negativos. Veja a segunda parte: Como usar prompts negativos para diretrizes sobre como construir bons prompts negativos.
Embedding , também chamado de inversão textual , é uma maneira alternativa de controlar o estilo de suas imagens no Stable Diffusion. Revisaremos o que é embedding , onde encontrá-los e como usá-los .
VAE é uma atualização parcial dos modelos Stable Diffusion 1.4 ou 1.5 que tornará a renderização de olhos melhor. Explicarei o que é VAE, o que você pode esperar, onde você pode obtê-lo e como instalá-lo e usá-lo.
Então você gerou algumas imagens de IA de difusão estável. Elas ficaram ótimas, mas não são exatamente o que você quer? Você pode usar alguma personalização. Aqui está uma introdução aos parâmetros básicos de geração.
Stable Diffusion WebUI (AUTOMATIC1111 ou A1111 para abreviar) é a GUI de fato para usuários avançados. Graças à comunidade apaixonada, a maioria dos novos recursos vêm primeiro para esta GUI gratuita do Stable Diffusion. Mas não é o software mais fácil de usar. Falta documentação. A extensa lista de recursos que ele oferece pode ser intimidante.
Este guia lhe ensinará como usar a GUI AUTOTMATIC1111. Você pode usá-lo como um tutorial. Há muitos exemplos que você pode seguir passo a passo.
Você também pode usar este guia como um manual de referência . Pule-o e veja o que há lá. Volte a ele quando realmente precisar usar um recurso.
Você verá muitos exemplos para demonstrar o efeito de uma configuração, porque acredito que essa é a única maneira de deixá-la clara.
Instruct Pix2Pix é um modelo de Stable Diffusion que edita imagens apenas com instruções de texto do usuário. Veremos como ele funciona, o que ele pode fazer, como executá-lo na web e no AUTOMATIC1111, e como usá-lo.
Há uma postagem antiga no Reddit mostrando uma tarefa assustadora de remover a ex-esposa de uma foto de família. Certamente não consigo fazer isso com minha habilidade amadora no Photoshop. Mas isso foi antes da época da Stable Diffusion… Vamos descobrir o que podemos conseguir com o inpainting.
Neste post, vou mostrar como usar a função de pintura interna do Stable Diffusion para remover um objeto (uma pessoa neste caso) e reconstruir o fundo.
Desenvolver um processo para construir bons prompts é o primeiro passo que todo usuário do Stable Diffusion enfrenta. Este artigo resume o processo e as técnicas desenvolvidas por meio de experimentações e contribuições de outros usuários. O objetivo é escrever tudo o que sei sobre prompts para que você possa conhecê-los todos em um só lugar.
Você está procurando um gerador de imagens de IA gratuito online? Esta página fornece uma lista classificada de sites de terceiros que oferecem geração gratuita de imagens de Stable Diffusion e/ou Flux.
Abaixo estão algumas opções. Não sou afiliado a esses sites. Eu os classifico somente com base nos seguintes critérios.
Stable Diffusion é uma IA de texto para imagem que pode ser executada em computadores pessoais como Mac M1 ou M2. Neste artigo, você encontrará um guia passo a passo para instalar e executar o Stable Diffusion no Mac.
Nesse Tutorial vou ensinar para vocês como instalar o Stable Diffusion Automatic1111 no Windows. Para quem não conhece, o Stable Diffusion é um gerador de imagens que utiliza Inteligência Artificial para criar essas imagens bastando digitar o que você quer que ele crie, e ele criará automaticamente as imagens.
Essa versão do SD é a mais pura e compatível com Windows, mas se preferir também vou deixar no final do artigo o link para instalar a versão com apenas 1 click.
Ao clicar no link acima irá abrir a página do repositório no GitHub, lá é o local certo e seguro para baixar o necessário.
Vá descendo até chegar em Automatic Installation on Windows, como na imagem abaixo:
Clique com o botão direito do mouse em Python e dê Abrir em uma nova guia para ficar mais fácil a navegação, isso irá abrir a página em uma nova guia no navegador.
Faça o mesmo para o GIT.
No Python baixe o arquivo Windows Installer (64 bit), como na imagem abaixo:
No GIT baixe o arquivo 64-bit Git for Windows Setup.
Após baixar os 2 arquivos, navegue até a pasta que você baixou, caso não saiba onde baixou, abra o Windows Explorer, por padrão ele será salvo na pasta Downloads, caso não ache onde baixou irá precisar baixar novamente e verificar onde está salvando.
2 – Instalando os Arquivos Baixados
Agora iremos instalar os 2 arquivos baixados, instale na sequência que for passado.
2.1 – Instalando o Phyton
Primeiro deve ser instalado o Python, clique com o botão direito do mouse nele e clique em Executar como Administrador.
Caso dê algum erro ao abrir, leia a mensagem, mas provavelmente seja porque você tem uma outra versão do Phyton, caso isso ocorra você precisará desinstalar essa versão antes de instalar a que você baixou.
Ao abrir a Tela de instalação é EXTREMAMENTE IMPORTANTE selecionar ADD Phyton 3.10 to Path, depois clique em Install Now, como está na imagem abaixo:
Se você esqueceu de Deixar selecionado o ADD Phyton 3.10 to PATH, terá que instalar novamente, se não os comandos que iremos digitar depois não irão funcionar.
2.2 – Instalando o Git
Depois do Python instalado corretamente, clique com o botão direito do mouse no arquivo do GIT e clique em Executar como Administrador.
Com o instalador do GIT aberto clique em Install e vá apertando Next até terminar a instalação.
3 – Instalando o Stable Diffusion Automatic1111
Agora iremos utilizar o terminal para instalar o Stable Diffusion Automatic1111.
A primeira coisa a ser feita é criar uma pasta onde você quer que o seu programa fique.
É muito importante selecionar um HD ou SSD com bastante espaço, para que possa tirar todo proveito é necessário instalar Modelos, esses modelos possuem alguns GB de tamanho.
3.1 – Crie uma pasta para o Stable Diffusion
Para criar a pasta, abra o Explorador de Arquivos (Windows Explorer), você pode fazer isso clicando no botão iniciar do Windows e navegando até ele ou então apertando a tecla Windows + E.
Escolha o HD ou SSD onde vai instalar, no meu caso escolhi o C, depois clique em um local em branco com o botão direito do mouse, depois em Novo e Pasta. Dê um nome para a pasta, exemplo: Stable Diffusion, depois abra ela.
3.2 – CMD
Dentro da pasta que você criou, clique na parte de cima da barra em uma parte em branco, apague o que está escrito e digite CMD e pressione ENTER.
Para colar o comando aperte CTRL + V, ou clique com o botão direito do mouse e depois pressione ENTER para ele instalar o Stable Diffusion Automatic1111 na pasta que você criou.
Se a sua internet for boa, após alguns segundos ele irá terminar de instalar o Stable Diffusion.
4 – Configurar Antes de Iniciar
Dentro da pasta que você criou, ele irá criar outra pasta chamada stable-diffusion-webui, dentro desta pasta vá até o arquivo webui-user.bat, clique com o botão direito do mouse e clique em Editar ou Editar com o bloco de notas.
Com ele aberto você irá acrescentar na frente de set COMMANDLINE_ARGS os comandos:
--xformers --autolaunch
Abaixo desse comando coloque a linha: git pull, para o Stable Diffusion ficar sempre atualizado.
Deverá ficar igual a imagem:
Exemplo:
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS= --xformers --autolaunch
git pull
call webui.bat
4.1 – Verificar Python
Caso você tenha mais de um Python instalado, precisará acrescentar o caminho do Python 3.10 para evitar dar problemas na hora de abrir o SD.
Como verificar se tem mais de 1 instalado, clique no botão iniciar do Windows e na barra de pesquisa digite: Python.
Todos Python instalados irão aparecer, clique com o botão direito do mouse em Python 3.10 e clique em Abrir local do arquivo.
Ele irá abrir a pasta como na janela abaixo, essa pasta é onde estão os atalhos, não é esse local, como pode ver está escrito Atalho no Tipo, clique novamente com o botão direito e Abrir local do Arquivo.
Esse é o local correto, como pode ver em Tipo está Aplicativo, clique com o direito em Python.exe e Clique em Copiar como Caminho.
Agora no arquivo webui-user.bat em set PYTHON= cole o caminho que você copiou do Python, é só dar CTRL+V na frente ou com o botão direito do mouse dê colar, ficará parecido com a imagem abaixo:
4.2 – Comandos Adicionais
OBS: Se tiver menos de 8GB de VRAM na sua placa de vídeo, acrescente o comando no COMMANDLINE_ARGS:
--medvram
Mas só faça isso se realmente tiver menos de 8GB na sua placa de vídeo, pois isso deixará o SD mais lento, esse comando serve para economizar memória de vídeo e fazer ele rodar em placas mais fracas.
Agora é só executar o webui-user.bat sempre que for abrir o Stable Diffusion Automatic1111.
4.3 – Criar Atalho
Para facilitar você pode clicar em Atalho clicando com o botão direito e depois em Enviar para a Área de trabalho, dessa forma ele irá criar um atalho na área de trabalho.
Quando executar o webui-user.bat ele irá carregar os arquivos necessários e quando estiver pronto irá abrir o Stable Diffusion Automatic1111 no navegador, como na imagem abaixo:
Pronto, agora o Stable Diffusion está instalado e pronto para utilizar! Essa maneira que mostrei de como instalar o SD é a mais pura e estável de todas, mas tem outras maneiras mais fáceis.
Se você não sabe como utilizar o Stable Diffusion, recomendo ver nossos próximos tutoriais!
Modelos de Stable Diffusion, ou modelos de checkpoint, são pesos do Stable Diffusion pré-treinados para gerar um estilo específico de imagens.
O tipo de imagem que um modelo gera depende das imagens de treinamento. Um modelo não será capaz de gerar uma imagem de gato se nunca houver um gato nos dados de treinamento. Da mesma forma, se você treinar um modelo apenas com imagens de gatos, ele gerará apenas gatos.
Apresentaremos o que são modelos, alguns populares e como instalá-los, usá-los e mesclá-los.
Não importa quão bons sejam seu prompt e modelo, é raro obter uma imagem perfeita em uma única foto.
Inpainting é uma maneira indispensável de consertar pequenos defeitos. Neste post, vou passar por alguns exemplos básicos de uso de inpainting para consertar defeitos.
Se você é novo em imagens de IA, talvez seja interessante ler primeiro o guia para iniciantes.
É uma boa imagem, mas gostaria de corrigir os seguintes problemas
O rosto parece artificial.
O braço direito está faltando.
Use um modelo Inpainting – Pintura Interna (opcional)
Você sabia que existe um modelo de Difusão Estável treinado para inpainting? Você pode usá-lo se quiser obter o melhor resultado. Mas, normalmente, é OK usar o mesmo modelo com o qual você gerou a imagem para inpainting.
Para instalar o modelo de pintura v1.5 , baixe o arquivo de ponto de verificação do modelo e coloque-o na pasta
stable-diffusion-webui/models/Stable-diffusion
No AUTOMATIC1111, pressione o ícone de atualização ao lado da caixa suspensa de seleção de ponto de verificação no canto superior esquerdo. Selecione sd-v1-5-inpainting.ckptpara habilitar o modelo.
Criando uma máscara de pintura
Na GUI do AUTOMATIC1111, selecione a aba img2img e selecione a subaba Inpaint . Carregue a imagem para a tela inpainting.
Vamos pintar o braço direito e o rosto ao mesmo tempo. Use a ferramenta pincel para criar uma máscara . Esta é a área em que você quer que o Stable Diffusion regenere a imagem.
Configurações para pintura interna
Prompt
Você pode reutilizar o prompt original para corrigir defeitos. Isso é como gerar múltiplas imagens, mas apenas em uma área específica.
Tamanho da imagem
O tamanho da imagem precisa ser ajustado para ser o mesmo da imagem original. (704 x 512 neste caso).
Restauração facial
Se você estiver pintando rostos, você pode ativar a restauração de rostos . Você também precisará selecionar e aplicar o modelo de restauração de rosto a ser usado na aba Configurações . O CodeFormer é um bom.
Cuidado, pois esta opção pode gerar visuais não naturais. Também pode gerar algo inconsistente com o estilo do modelo.
Conteúdo da máscara
A próxima configuração importante é Conteúdo da Máscara .
Selecione original se quiser que o resultado seja guiado pela cor e forma do conteúdo original. Original é frequentemente usado ao pintar rostos porque a forma geral e a anatomia estavam ok. Queremos apenas que pareça um pouco diferente.
Na maioria dos casos, você usará o Original e alterará a intensidade da redução de ruído para obter efeitos diferentes.
Você pode usar latent noise ou latent nothing se quiser regenerar algo completamente diferente do original, por exemplo, remover um membro ou esconder uma mão. Essas opções inicializam a área mascarada com algo diferente da imagem original. Ela produzirá algo completamente diferente.
Força de redução de ruído
A intensidade do denoising controla quanta mudança ele fará em comparação com a imagem original. Nada mudará quando você definir como 0. Você obterá uma pintura interna não relacionada quando definir como 1.
0,75 geralmente é um bom ponto de partida. Diminua se quiser mudar menos.
Tamanho do lote
Certifique-se de gerar algumas imagens por vez para que você possa escolher as melhores. Defina a semente para -1 para que cada imagem seja diferente.
Prompt
(Igual ao original)
Etapas de amostragem
20
Seed
-1
Tamanho da imagem
704 x 512
Restauração facial
Codeformer
Método de amostragem
Euler a
Modelo
Stable Diffusion v1.5 inpainting
Conteúdo da máscara
ruído latente ou nada latente
Inpaint em resolução máxima
On
Força de redução de ruído
0,75
Resultados de pintura interna
Abaixo estão algumas das imagens com inpainted aplicado.
Mais uma rodada de inpainted – pintura interna
Gosto do último, mas há uma mão extra sob o braço recém-pintado. Siga etapas semelhantes de upload desta imagem e criação de uma máscara. O conteúdo mascarado deve ser definido como ruído latente para gerar algo completamente diferente.
A mão sob o braço é removida com a segunda rodada de pintura:
E esta é minha imagem final.
Uma comparação lado a lado
Inpainting é um processo iterativo. Você pode aplicá-lo quantas vezes quiser para refinar uma imagem.
Veja esta postagempara outro exemplo mais extremo de inpainting.
Adicionar novos objetos ao prompt original garante consistência no estilo. Você pode ajustar o peso da palavra-chave (1.2 acima) para fazer o leque aparecer.
Defina o conteúdo mascarado como ruído latente .
Ajuste a intensidade da redução de ruído e a escala CFG para refinar as imagens pintadas.
Depois de alguma experimentação, nossa missão foi cumprida:
Explicação dos parâmetros de pintura interna
Força de redução de ruído
A intensidade do denoising controla o quanto a imagem final deve respeitar o conteúdo original. Definindo como 0 não muda nada. Definindo como 1, você tem uma imagem não relacionada.
Defina um valor baixo se quiser uma pequena mudança e um valor alto se quiser uma grande mudança.
Escala CFG
Semelhante ao uso em texto para imagem , a escala de Orientação Livre do Classificador é um parâmetro para controlar o quanto o modelo deve respeitar seu prompt.
1 – Ignore principalmente seu prompt. 3 – Seja mais criativo. 7 – Um bom equilíbrio entre seguir o prompt e a liberdade. 15 – Aderir mais ao prompt. 30 – Siga o prompt rigorosamente.
Conteúdo mascarado
O conteúdo mascarado controla como a área mascarada é inicializada.
Preenchimento : Inicializa com uma parte altamente desfocada da imagem original.
Original : Sem modificações.
Ruído latente : área mascarada inicializada com preenchimento e ruído aleatório é adicionado ao espaço latente.
Nada latente : como ruído latente, exceto que nenhum ruído é adicionado ao espaço latente.
Abaixo estão os conteúdos iniciais da máscara antes de quaisquer etapas de amostragem. Isso dá a você uma ideia do que eles são.
Dicas para pintura interna
A pintura interna bem-sucedida requer paciência e habilidade. Aqui estão algumas dicas para usar a pintura interna
Uma pequena área de cada vez.
Manter o conteúdo mascarado no Original e ajustar a intensidade da redução de ruído funciona 90% das vezes.
Experimente o conteúdo mascarado para ver qual funciona melhor.
Se nada funcionar bem dentro das configurações do AUTOMATIC1111, use um software de edição de fotos como Photoshop ou GIMP para pintar a área de interesse com a forma e a cor aproximadas que você queria. Carregue essa imagem e pinte com o conteúdo original.
A construção de prompts é uma habilidade básica que qualquer usuário do Stable Diffusion deve dominar. Ao entender como construir prompts claros e concisos, você pode desbloquear toda a gama de estilos que o Stable Diffusion oferece. Para se destacar na construção de prompts, você deve começar com um assunto específico em mente e adicionar palavras-chave para direcionar para um efeito específico.
A habilidade que você aprenderá neste artigo pode ser aplicada a outros geradores de arte de IA, como o MidJourney.
Se você quiser praticar a construção de prompts, mas ainda não configurou seu Stable Diffusion, você pode usar um gerador de Difusão Estável gratuito online.
Use o criador de prompts para uma abordagem sistemática para criar prompts.
Este post pretende ser seu primeiro curso de prompting. Veja este guia de prompt para técnicas avançadas.
Anatomia de um bom prompt
Esta é uma técnica comprovada para gerar imagens específicas de alta qualidade. Seu prompt deve cobrir a maioria, se não todas, dessas áreas.
Assunto (obrigatório)
Meio
Estilo
Artista
Site
Resolução
Detalhes adicionais
Cor
Iluminação
Assunto
Primeiro, você precisará de uma descrição do assunto com o máximo de detalhes possível. Abaixo está um exemplo.
Prompt (somente assunto):
Uma jovem mulher com vestido azul claro sentada ao lado de uma janela de madeira lendo um livro.
Um erro comum de um iniciante é não descrever a imagem com detalhes suficientes . Que roupa ela usa? Qual é o penteado dela? Esses elementos aparentemente menores podem contribuir significativamente para a imagem geral que está sendo transmitida. Sem especificar esses detalhes, você os deixa abertos para o gerador de IA e pode ficar desapontado com o que obtém.
É uma boa prática incluir um prompt negativo genérico.
Obtivemos a seguinte imagem, que corresponde muito bem ao prompt.
Meio
Podemos ser mais específicos. Vamos adicionar um meio , o material em que a obra de arte é criada. Alguns exemplos são pintura digital , fotografia e pintura a óleo . Vamos usar
Medium
Pintura digital
O novo prompt é
Pintura digital de uma jovem com vestido azul claro sentada ao lado de uma janela de madeira lendo um livro
A imagem resultante é
Você pode ver a imagem mudar de uma fotografia para uma arte digital. É um passo à frente, mas podemos fazer melhor.
Adicionando o resto
Você entendeu a ideia. Vamos adicionar o resto deles
Artist– especificando o artista que criou a arte para orientar o estilo.
por Stanley Artgerm Lau
Website– O nome do site pode ser usado para um gênero específico.
artstation
Resolution– São palavras-chave que controlam a nitidez da imagem.
8k
Additional details– Estas são palavras-chave que são mais como adoçantes, por exemplo, adicionando alguns detalhes interessantes.
Pintura digital de uma jovem mulher com vestido azul claro sentada ao lado de uma janela de madeira lendo um livro, por Stanley Artgerm Lau, artstation, 8k, extremamente detalhado, ornamentado, iluminação cinematográfica, iluminação de borda, vívido
Agora temos esta imagem.
Podemos projetar a imagem para obter o estilo desejado adicionando palavras-chave específicas ao prompt.
Dicas para bons prompts
Seja detalhista e específico ao descrever o assunto.
Use vários colchetes () para aumentar sua força e [] para reduzir.
Use um tipo de mídia apropriado consistente com o artista. Por exemplo, fotografia não deve ser usada com van Gogh.
O nome do artista é um modificador de estilo muito forte. Use com sabedoria.
Experimente misturar estilos.
Vá para a seção Fluxos de Trabalho para estudar os prompts de alta qualidade. Use o prompt como ponto de partida se você gostar de uma imagem específica.
Algumas boas palavras-chave para você
Abaixo estão algumas das minhas palavras-chave favoritas e seus efeitos. (Usado com Stable Diffusionv1.4 e v1.5). Aproveite!
Desenhos muito realistas. Bom para usar com pessoas.
Pintura digital
Estilo de arte digital.
Arte conceitual
Estilo de ilustração, 2D.
Ilustração ultra realista
Desenhos muito realistas. Bom para usar com pessoas.
Retrato subaquático
Use com pessoas. Embaixo d’água. Cabelo flutuando.
Steampunk subaquático
Desenhos muito realistas. Bom para usar com pessoas.
Estilo
Essas palavras-chave refinam ainda mais o estilo de arte.
palavra-chave
Observação
hiperrealista
Aumenta os detalhes e a resolução
arte pop
Estilo pop art
Modernista
cor vibrante, alto contraste
arte nova
Adicione ornamentos e detalhes, estilo de construção
Artista
Mencionar o artista no prompt é um efeito forte. Estude o trabalho dele e escolha sabiamente.
palavra-chave
Observação
João Collier
Pintor de retratos do século XIX. Adicione elegância
Stanley Artgerm Lau
Bom para usar com retratos de mulheres, gerar roupas delicadas do século XIX, algum impressionismo
Frida Kahlo
Efeito bastante forte seguindo o estilo de retrato de Kahlo. Às vezes resulta em moldura de imagem
John Cantor Sargento
Bom para usar com retratos de mulheres, gerar roupas delicadas do século XIX, algum impressionismo
Alfonso Mucha
Pintura de retrato 2D no estilo de Alphonse Mucha
Site
Mencionar um site de arte ou fotografia tem um efeito forte, provavelmente porque cada site tem seu gênero de nicho.
palavra-chave
Observação
pixiv
Estilo anime japonês
pixabay
Estilo de fotografia comercial
artstation
Ilustração moderna, fantasia
Resolução
palavra-chave
Observação
unreal engine
3D muito realista e detalhado
foco nítido
Aumentar a resolução
8k
Aumentar a resolução, embora possa fazer com que pareça mais falso. Torna a imagem mais parecida com a de uma câmera e mais realista
muito
Renderização 3D ideal para objetos, paisagens e construções.
Iluminação
palavra-chave
Observação
iluminação de borda
luz na borda de um objeto
iluminação cinematográfica
Um termo genérico para melhorar o contraste usando luz
raios crepusculares
luz do sol rompendo a nuvem
Detalhes adicionais
Adicione detalhes específicos à sua imagem.
palavra-chave
Observação
dramático
filmado de um ângulo baixo
seda
Adicione seda à roupa
expansivo
Fundo mais aberto, assunto menor
foto em ângulo baixo
foto tirada de um ângulo baixo
raios de deus
luz do sol rompendo a nuvem
psicodélico
cor viva com distorção
Cor
Adicione um esquema de cores adicional à imagem.
palavra-chave
Observação
ouro iridescente
Ouro brilhante
prata
Cor prata
vintage
efeito vintage
Resumo
Passamos pela estrutura básica de um bom prompt. Isso deve ser usado como um guia e não como uma regra. O modelo Stable Diffusion é muito flexível. Deixe-o surpreender você com alguma combinação criativa de palavras-chave!