"Nichtlineare Regression" ist halt ein sehr dehnbarer Begriff (im Gegensatz zur linearen Regression, wo recht klar ist, welche mathematischen Verfahren man braucht).

Für das Fitten der Parameter nichtlinearer Modelle alleine fallen mir spontan ein halbes dutzend Verfahren ein, die mit Ausnahme des dummen Monte-Carlo-Ansatzes alle nicht generell verwendbar sind.

Fehlermaße zur Begutachtung des Misfits zwischen Daten und Modellen gibt es auch wie Sand am Meer.

Was Du brauchst, hängt stark vom Problem ab, das Du lösen willst, insbesondere davon wie stark die verschiedenen Modellparameter und Eingabevariablen das Ergebnis beeinflussen, damit man die Fehler richtig gewichten und ein passendes Verfahren wählen kann.

In vielen Fällen wird man ohnehin versuchen, das Problem irgendwie zu linearisieren damit man wieder mit den Standardverfahren zur linearen Regression darauf losgehen kann.