Oh Mann, das tut mir leid für Dich.
Ich kenn das nur zu gut, wenn man selbst nach Lösungen sucht, keinem was Schlechtes will und der andere wirft einem nur Knüppel zwischen die Beine (und wenn's nur das Fernbleiben von solch einem Termin ist).
Nun kann ich mir aber nicht vorstellen, dass Dir irgendjemand diesen Umzug verbieten kann. Hast Du mal darüber nachgedacht, das Aufenthaltbestimmungsrecht für Dich zu beantragen? Dann könnte er Dir zumindest in diesem Punkt nicht mehr dreinreden.