Alert em JavaScript não apresenta números decimais

Simples meu caro: 79,81 é 79, 79/4 = 19.75

A solução é relativamente simples, troque , por .:

parseFloat(conta.replace(',','.'))

Mas aí você vai ter outro problema, toFixed é chamado em Number(clientes) e não no resultado da divisão, essa precisa por a divisão entre parêntesis pra funcionar:

(parseFloat(conta) / Number(clientes)).toFixed(2);

A solução completa:

<script>
      let conta = prompt("Informe o valor da conta")
      let clientes = prompt("Informe o número de pessoas que irão pagar")
      let valorPorCliente = (parseFloat(conta.replace(',','.')) / Number(clientes)).toFixed(2)
      console.log(conta)
      console.log(valorPorCliente)
      alert("O valor que cada pessoa deve pagar é de: R$"+valorPorCliente)
    </script>