Stable Difusion do zero

Aqui eu vou dar uma breve introdução do mais iniciante possível para quem usa Stable Difusion.
Agradeço a comunidade por todo apoio que eles deram até então, e agora acho que chegou a hora de eu tomar uma frente e deixar o que eu sei.
Se você é usuário linux saiba que tudo que eu citar aqui pode ser executado por você, se você usa outros sistemas é só buscar uma versão para o seu sistema.
Qualquer um que queira vir aqui deixar uma dica sobre o assunto ou me corrigir é muito bem vindo, afinal de contas com tantas atualizações vamos precisar de uma força tarefa pra desbravar os horizontes das I.As…
Do começo, Stable Difusion é um programa que gera imagens e/ou animações através de uma linha de comando processada por uma inteligencia artificial que pode ser treinada.
O código do Stable Difusion aberto podendo ser incrementado, modificado e treinado por qualquer um.
IMPORTANTE: O Stable Difusion é um software que tem diversas interfaces, sendo algumas… Léxica, Google Colab, dream studio lite, playground e BlueWillow, Também tem uma interface própria que pode ser instalado no seu Pc para rodar através do navegador.
Tenho usado o Google Colab pois é a unica que eu consigo realizar o treinamento até o momento.
(o Google Colab é uma plataforma que disponibiliza uso GPU e TPU para treinamento de I.A, podendo ser conectado ao Hugging Face e ao Google Drive, pelo que eu entendi é ela executa o código do Stable Difusion ali mesmo sem precisar instalar, porém estou no momento lidando com uma dificuldade pois acho que tem limite de uso de GPU e não sei se tem como usar o GPU do meu pc para processar)
A maioria dessas ferramentas são pagas e/ou pouco flexíveis. agora estou na jornada de explorar os arquivos de modificação de terceiros em busca de fazer rodar no meu pc com a flexibilidade de usar os meus arquivos de banco de dados e o meu GPU para treinar essa I.A.
Quem tá nessa jornada cola aí e fala um pouco sobre o que você aprendeu e como tem sido sua experiência!
Vou voltar aqui pra trazer atualizações dos meus experimentos assim que possível

vim trazer atualizações
ainda não consigo treinar modelos com o Stable Difusion instalado no meu PC porém descobri que é possível usar modelos já treinados por outras pessoas na versão instalada
da pra baixar modelos no seguinte link

para usar basta colocar na pasta:
/stable-diffusion-ui/models/stable-diffusion/

no momento estou tentando instalar uma inteface mais sofisticada, Automatic1111 do seguinte link

já usei essa interface no Google Colab, mas não consigo instalar no meu PC
diz que tem que processar 8 milhoes de parametros e trava pq meu GPU não é forte o bastante.
se alguém já lidou com esse erro aí, conta pra mim
e se alguém sabe algum macete pra instalar essa interface no linux deixa a dica aí

eu tentei solucionar com os seguintes códigos no terminal:
$ export TORCH_CUDA_MEMORY_ALLOCATOR=cuda
$ import torch

torch.backends.cuda.max_memory_allocated = 0
torch.backends.cuda.max_memory_cached = 0
torch.backends.cudnn.benchmark = True
torch.backends.cudnn.deterministic = False
torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True
torch.cuda.empty_cache()

torch.cuda.set_per_process_memory_fraction(0.5) # use 50% of available memory
torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True
torch.backends.cudnn.deterministic = False
torch.backends.cudnn.benchmark = True
torch.backends.cuda.max_split_size_mb = 256 # set max split size to 256 MB

Essas configurações ajudam a otimizar o uso da memória no PyTorch e podem ajudar a evitar erros devido à falta de memória.

$ from torch.utils.data import DataLoader

train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)

Para reduzir o tamanho do lote (batch size) em PyTorch, você pode simplesmente alterar o valor do parâmetro batch_size ao carregar seus dados usando um DataLoader.

porém nada disso funcionou

vim aqui só pra deixa um truque pra quem tá operando pelo google colab
pra deixar rodando o processo no google colab sem pecisar ficar presente você pode executar no terminal…
sudo snap install keep-presence

e depois

`keep-presence --seconds 30’

isso vai manter o mouse em movimento. é uma gambiarra que to usando já que ainda não consegui instalar a interface automatic1111 no linux