Não consegui detectar qual unidade do systemd está causando a lentidão no boot… Está além das minhas capacidades. Mas acredito que o problema agora não tenha nada a ver com o swap, mas sim com a inicialização do systemD.
Tem um post bem completo sobre otimização, de repente vale dar uma olhada especialmente na parte que vc pode gerar uma imagem com o encadeamento de unidades. [Distro/Desktop] Otimizando o systemd - 8 passos (adic. 5 passos e removido 1) 07/09/20 Ou aguardar se alguém que saiba mais possa dar uma luz.