¿Qué diferencia hace para una tercera persona conocida si uno de los cónyuges decide tomarse un descanso del trabajo? ¿Por qué tienen que hablar de todos modos?

No hace ninguna diferencia si no te afecta.
La gente hablará mal, ¡no puedes evitar que otras personas hablen mal de ti!
Pero puedes controlar que no te importe un comino. Solo haz lo que quieras !!