Puis-je mettre un terme à la seule affectation d'une relation de travail ?

Non, vous devez plutôt mettre fin à la relation de travail.