Nun, zuallererst muss eine räumliche Trennung her, das ist so ja nicht auszuhalten.
Ich würde auf Zuweisung der Wohnung klagen, ansonsten müsste Ex zustimnen, dass Du mit den Kindern ausziehst und das hat er wohl nicht vor.
Dann würde ich einen Umgangsplan machen. Wenn er das garnicht will, dann wird man das gerichtlich klären lassen, ebenso wie das Aufenthaltsbestimmungsrecht, soll heissen, bei wem die Kinder leben.
Notfalls kannst Du auch erstmal auf ABR klagen.
Keinesfakls solltest Du ohne Kinder ausziehen.