Du kannst aus "verfahrenstaktischen Gründen" sicherlich die Präsenz bei den Abholungen etc. vermeiden. Obwohl man das sicherlich geerdet und pragmatisch machen sollte. Passt es, bist du mit dabei. Passt es nicht, eben nicht. Normalität ist immer gut.
Keinesfalls solltest du jedoch dich aus dem Gespräch mit deinem Mann zurück ziehen über die Kinder und über das Geschehen um die Kinder. Das ist ein wesentlicher Bereich seines Lebens und mutmaßlich ein sehr problematischer und emotionaler. Wenn du dich aus diesem Bereich seines Lebens zurück ziehst (oder er dich nicht reinlässt), dann demontiert ihr ein Stück eurer Beziehung. Übrigens ein Stück, über das dann die Ex Mitbestimmerin ist oder wird. Mittel- und langfristig für eine Beziehung ziemlich katastrophal.