Ich kann deine Befürchtungen nachvollziehen und sehe es auch nicht so locker wie andere hier im Forum.
Ich würde ganz klar auf einer Regelmäßigkeit für die Umgänge bestehen. Nicht nach dem Motto "Häufig und kürzer" sondern nach dem Motto "Häufig". Denn Kontinuität ist in diesem Alter sehr wichtig um eine Bindung aufzubauen. 45 km fahren einige täglich zur Arbeit - geht also gar nicht als Begründung, sein Kind nicht zu besuchen.
Da du mit ruhigem Gewissen in einem anderen Raum sein kannst, denke ich schon , dass du die zwei für eine Weile alleine lassen kannst.
Aber wie gesagt: als Vater ist er nicht automatisch eine Vertrauensperson (als Mutter natürlich auch nicht) - er muss schon was dafür tun.