¿Es incorrecto para mí seguir queriendo una relación con alguien aunque no nos hayamos visto en 4 años?

No. Al menos sabes qué tipo de personaje y cualidades quieres en un compañero. Es posible que no los obtenga de la persona que no ha visto en 4 años, pero al menos lo sabe.