Estoy recolocando el ordenador en otra mesa y estoy continuamente cacharreando con los cables para ordenarlos y que estorben lo menos posible. Después de hacer uno de estos cambios vi que el teclado y el ratón iban con bastante lag y el proceso xorg estaba consumiendo muchos recursos de CPU
El problema era que el cable HDMI de uno de los monitores no estaba bien conectado, lo que hacía que se estuviera conectando / desconectando continuamente y eso era lo que provocaba el alto consumo de recursos. Después de apretarlo bien el problema desapareció.