Voltei após um tempo de uso do sistema e cheguei nas seguintes configurações:
vm.swappiness = 1
vm.page-cluster = 0
vm.vfs_cache_pressure = 50
vm.dirty_ratio = 10
vm.dirty_background_ratio = 5
vm.max_map_count = 2147483642
Com isso, o sistema passou a usar a memória virtual só após um consumo maior que 90% da RAM total, o kernel ainda usa 100KB-10MB para algumas funções, mas sem nenhum outro problema.