Galera, achei uma solução pro meu caso depois de horas tentando resolver. Achei em uma comunidade do reddit esses caras tratando do mesmo assuto, segue o link:
https://www.reddit.com/r/linux_gaming/comments/9pnvl4/ubuntu_1810_xbox_360_controller/
@Jhob depois tenta ai
no caso, a solução foi rodar esses comandos (no terminal claro) que não sei bem para que servem:
modprobe -r xpad
depois:
modprobe xpad
[UPDATE]
Pessoal passando para informar que só esses comandos não funciona, fui testar o controle um dia depois e não funcionou. Com isso tive que fazer uma “investigação” de tudo que fiz pra ter dado certo. Vamos lá:
1º- Instalar o xboxdrv na sua maquina
2º- Com joystick conectado, executar o seguinte comando:
sudo xboxdrv --mimic-xpad --detach-kernel-driver
3º- xboxdrv sendo executado, exemplo:
Galera, mais uma coisa fiz os procedimentos que o @mrkalvin falou, rodei o comando
sudo dkms install -m xpad -v 0.4
E depois procedimentos que informei.
Rapaz quanta briga pra fazer funcionar. 
PopOS,
Pop!_OS_22.04_LTS,
gamepad,
kernel 5.17.15-76051715-generic
045e:028e Microsoft Corp. Xbox360 Controller