Begriffsklärung bzgl. Regularisierung (Tikhonov)

05/12/2008 - 20:08 von ingo | Report spam
Hallo geneigter Leser,

ich schreibe momentan an einer Arbeit, die Regularisierung (Tikhonov)
einsetzt. Bei Recherchen dazu bin ich auf mehrere Begriffe dafür
gestoßen, was mich teilweise verwirrt. Meine primàre Frage ist:

Worin besteht der Zusammenhang von Regularisierung (REG) und Lagrange-
Multiplikator-Methode (LMM) ?

|y - Ax|^2 + \alpha |z|^2 = minimal

A -> Matrix mit bekannten Informationen
y -> Messwerte
z -> Nebenbedingung allgemein
x -> gesucht

Hàufig wird der Regularisierungsparameter \alpha als Lagrange-
Multiplikator bezeichnet. Ist es ein und dasselbe oder bezeichnet die
LMM das allgemeine Verfahren und die REG ist ein Spezialfall (was ich
vermute) ?

Es geht hier also auch ein wenig um den historischen Zusammenhang.
Denn 1977 haben doch Tikhonov und Arsenin erst gezeigt, dass man
Regularisierung auf 'ill-posed problems' anwenden kann. Warum wird das
dann auch LMM genannt (was sich vom Namen her für mich viel àlter
anhört).

Regularisierung soll in der Statistik auch als 'ridge regression'
firmieren, welche Bezeichnungen gibt es noch ?

Wenn da jemand Licht in die Sache bringen könnte, würde ich mich sehr
freuen. Und natürlich auch über Literaturhinweise zum Nachlesen und
Zitieren ;-)

Bin übrigens Informatiker.
Vielen Dank schon mal fürs Lesen,
Ingo.
 

Lesen sie die antworten

#1 Christian Gollwitzer
08/12/2008 - 17:48 | Warnen spam
Hallo Ingo,

kennst Du das Regularisation Tutorial von Arnold Neumaier?

http://citeseer.comp.nus.edu.sg/137211.html

schrieb:
Worin besteht der Zusammenhang von Regularisierung (REG) und Lagrange-
Multiplikator-Methode (LMM) ?

|y - Ax|^2 + \alpha |z|^2 = minimal

A -> Matrix mit bekannten Informationen
y -> Messwerte
z -> Nebenbedingung allgemein
x -> gesucht

Hàufig wird der Regularisierungsparameter \alpha als Lagrange-
Multiplikator bezeichnet. Ist es ein und dasselbe oder bezeichnet die
LMM das allgemeine Verfahren und die REG ist ein Spezialfall (was ich
vermute) ?



Ich persönlich würde das gar nicht als Lagrange-Multiplikator
bezeichnen. Darunter versteht man eigentlich Folgendes: Gesucht sei das
Optimum einer Funktion f(x) unter der Nebenbedingung g(x)=0 (x aus R^n).
Dann löse man

grad f + lambda*grad g = 0

ohne Nebenbedingung (das ist der Witz daran), mit einer *zusàtzlichen
Unbekannten* lambda. Die kann man dann aus der Lösung durch Einsetzen
der Nebenbedingung eliminieren.

Nun sieht das regularisierte Least-Squares-Problem tatsàchlich genau so
aus - allerdings ist der Regularisierungsparameter alpha *keine
Unbekannte* sondern muss a priori festgelegt werden. Natürlich kann man
ihn mittels Cross-Validation, L-Plot und Ähnlichem auch a posteriori
bestimmen. Das ist jetzt vielleicht Ansichtssache.

Hilft das?

Christian

Ähnliche fragen