Wie bereits erwähnt, dass ASR zu bekommen (was faktisch bedeutet, dass es dem KV entzogen werden muss) wird ganz sicher schwierig.
Vor allem löst das das Problem nicht. Auch ohne Sorgerecht haben er und Kind ein Recht auf Umgang. Platzwunden können passieren, auch das hilft nicht wirklich.
Auf die Fensterbank klettern kann ein typisches Papa-Ding sein. Väter sind manchmal etwas robuster und Kinder schätzen auch das. Es ermöglicht ihnen nämlich Dinge die bei Mama nicht möglich sind, weil Mütter sie für zu gefährlich halten. Ohne Vertrauensbasis geht das aber nicht und an Vertrauen scheint es dir so zu mangeln wie ihm das einhalten von Absprachen(?). Waren das überhaupt Absprachen oder eher Verbote von dir?
Du scheinst ihm wenig zuzutrauen, ob das berechtigt ist kann hier niemand entscheiden. Aber das ist sicher keine Basis für gegenseitiges Vertrauen beim Umgang.
Ein gemeinsames Gespräch vor neutralen Dritten ist gut. Und lass deine Eltern aus dem Spiel, es sei denn es besteht ein besonderes Vertrauensverhältniss zwischen KV und ihnen (was ich eher nicht vermute).
