Ich habs gefunden!
Für die Nachwelt: Beim Neustart hat sich Fireface 2 von 3 auf 64 Samples buffer gestellt während der Rest auf 128 eingestellt war. Das kann man ohne Probleme durch Umschalten so reproduzieren.
Warum der UI Thread darunter leidet? Keine Ahnung.