So schwierig es auch teilweise ist, Du musst gelassener und souveräner werden.
Das gemeinsame Sorgerecht kann er beantragen und wird es aller Voraussicht nach auch zugesprochen bekommen. Dadurch ändert sich aber nichts bezüglich Fragen des Umgangs. Dies ist ein komplett anderes Thema.
Möglichen Anzeigen wegen Beleidigung, Belästigung, übler Nachrede, etc. kannst Du, denke ich, gelassen entgegen sehen. So wie Du hier schreibst, denke ich nicht, dass da irgendeine Substanz hinter seinen Vorwürfen steckt. Insofern kannst Du ihm souverän antworten "Dann mach das doch".
Umgangsaussetzung sehe ich etwas problematisch, nicht dass Dir das Schwierigkeiten macht später. Ein Sachbearbeiter beim Jugendamt ist da keine Rechtsauskunft, Vorsicht. Aber vielleicht haben da andere Erfahrungen, die Dir weiter helfen.