Dentro do arquivo tar.xz que você baixou, existe um arquivo de texto chamado readme-linux.txt, leia com atenção, porque, provavelmente algumas dependências que o Reaper necessita você não tem instalado.
Ah, vou tentar instalar aqui no Debian e, se der tempo, depois tento fazer um passo-a-passo. Já instalei ele uns tempos atrás, lembro que não era difícil, não.
Infelizmente, o Reaper para linux ainda está em fase beta, e já tem bastante tempo que ele está assim. Se quiser alternativas, tem o Audacity (embora ele seja muito básico, dependendo o uso pode servir) e o Ardour (que é um bom software). Tinha uma distribuição brasileira, não sei se ainda existe, que era voltada para a produção musical, já tinha várias dessas ferramentas instaladas. Se achar volto aqui no tópico para falar o nome.
Confesso que sinto falta do Reaper, é um software fantástico, tem preço acessível (perto de Sonar, Cubase e esses outros mais famosos), e vem com o básico sem ocupar milhões de gigas no hd como muitos desses outros DAW fazem.