Simples meu caro: 79,81 é 79, 79/4 = 19.75
A solução é relativamente simples, troque , por .:
parseFloat(conta.replace(',','.'))
Mas aí você vai ter outro problema, toFixed é chamado em Number(clientes) e não no resultado da divisão, essa precisa por a divisão entre parêntesis pra funcionar:
(parseFloat(conta) / Number(clientes)).toFixed(2);
A solução completa:
<script>
let conta = prompt("Informe o valor da conta")
let clientes = prompt("Informe o número de pessoas que irão pagar")
let valorPorCliente = (parseFloat(conta.replace(',','.')) / Number(clientes)).toFixed(2)
console.log(conta)
console.log(valorPorCliente)
alert("O valor que cada pessoa deve pagar é de: R$"+valorPorCliente)
</script>