Acho que tem que inserir o arquivo .efi (o do bootloader, fica na partição boot/EFI) como chave autorizada (se não me engano, dependendo da BIOS, vc ativa o Secure Boot, insere a chave/arquivo e desativa que o grub passa a ser reconhecido)
Ja fiz a instalação do Ubuntu 20.04 e 22.04 nesses EliteDesk 700/800 G3 e G4 a maioria com instalação UEFi ativa, no entanto, era o único sistema presente neles e pelo visto você está tentando fazer dual boot com o Windows.
O Ubuntu 22.04 e provavelmente os derivados tem um problema ao trabalhar em dualboot proveniente do grub que aparentemente ainda não foi solucionado.
Outro ponto, a partir do Windows 8 vem ativo com a "inicialização rápida " e quando ela está ativa não é possível instalar ou fazer alteração do HD ( as vezes você consegue mais não vai conseguir instalar o grub) é preciso desativa-lo no Windows usando o prompt de comando ou usando o painel de controle.