Intentando copiar datos de un servidor a otro, me encontré con que nunca había hecho rsync a puertos remotos distintos al estándar, así que me puse a buscar y me costó un rato encontrar la solución:
rsync -avz -e «ssh -p XXXX» /ruta/origen/ usuario@hostremoto:/ruta/que/sea/