Regularisierung, lineare Gleichungssysteme

07/05/2012 - 15:09 von odt | Report spam
Mir sind gerade zwei Varianten zur (Tichonow-?)Regularisierung
für die Lösung großer schlecht koniditionierter linerare
Gleichungssysteme begegnet, deren Unterschied (oder Äquivalenz)
mir nicht ganz klar ist:

Die grundlegende Frage ist die nach dem x in
A x = b (A: m×n, x: n×1, b: m×1).

Die Lösung soll dabei grundsàtzlich über das Minimum der
Fehlerquadrate definiert sein, also
|| A x - b ||² -> min.


Der erste Ansatz mit Regularisierung ist
A' x = [ A] x = b' = [b], (A': (m+n)×n, x: n×1, b': (m+n)×1,
[a 1] [0] 1: n×n Einheitsmatrix)

wobei der Skalar a der Regularisierungparameter (auch
Dàmpfungsparameter) ist (a=0: keine Regularisierung,
a->inf. überregularisiert, d.h. x->0). Das steht zum
Beispiel bei C.C. Paige & M.A. Saunders (1982) "LSQR:
An algorithm for sparse linear equations and sparse
least squares" ACM TOMS 8(1),43-71.

Ist das àquivalent zur (einfachsten) Tichonow-Regularisierung,
also zur Bedingung
|| A x - b ||² + a²||x||² -> min?
<URL:https://en.wikipedia.org/wiki/Tikho...zation>


Der zweite Ansatz in diesem Zusammenhang ist der folgende
(der Regularisierungsteil der Matrix erscheint sozusagen
an transponierter Stelle):
A' x' = [A a1] [x] = A x + ay = b, (A': m×(n+m), x': (n+m)×1,
[y] y: mx1, b: m×1,
1: m×m Einheitsmatrix)

Auch hier ist der Skalar a ein Regularisierungsparameter,
für a=0 wird nicht regularisiert, für a->inf überregularisiert.
Gesehen z.B. bei F. Schweser et al. (2010) Med.Phys. 37(10):
5165-5178.


Wie unterscheiden sich diese zwei Ansàtze (oder sind es drei
inkl. Standard-Tichonow-Regularisierung?)? Könnt Ihr mit eine
Quelle (möglichst online) empfehlen, in der solche Ansàtze
verglichen und erklàrt werden?

Vielen Dank!

Olaf
 

Lesen sie die antworten

#1 Christian Gollwitzer
07/05/2012 - 20:07 | Warnen spam
Am 07.05.12 15:09, schrieb Olaf Dietrich:
Mir sind gerade zwei Varianten zur (Tichonow-?)Regularisierung
für die Lösung großer schlecht koniditionierter linerare
Gleichungssysteme begegnet, deren Unterschied (oder Äquivalenz)
mir nicht ganz klar ist:

Die grundlegende Frage ist die nach dem x in
A x = b (A: m×n, x: n×1, b: m×1).

Die Lösung soll dabei grundsàtzlich über das Minimum der
Fehlerquadrate definiert sein, also
|| A x - b ||² -> min.


Der erste Ansatz mit Regularisierung ist
A' x = [ A] x = b' = [b], (A': (m+n)×n, x: n×1, b': (m+n)×1,
[a 1] [0] 1: n×n Einheitsmatrix)

wobei der Skalar a der Regularisierungparameter (auch
Dàmpfungsparameter) ist (a=0: keine Regularisierung,
a->inf. überregularisiert, d.h. x->0). Das steht zum
Beispiel bei C.C. Paige& M.A. Saunders (1982) "LSQR:
An algorithm for sparse linear equations and sparse
least squares" ACM TOMS 8(1),43-71.

Ist das àquivalent zur (einfachsten) Tichonow-Regularisierung,
also zur Bedingung
|| A x - b ||² + a²||x||² -> min?
<URL:https://en.wikipedia.org/wiki/Tikho...zation>



Ja - das siehst Du ganz einfach, wenn Du die zweite Gleichung in die
Least-Squares-Formel einsetzt. Das zweite "=" darin ist ja kein echtes
"=", sondern ein "~". Siehe auch das ziemlich gut gemachte Regulariation
Tutorial von Arnold Neumaier

http://www.mat.univie.ac.at/~neum/ms/regtutorial.pdf



Der zweite Ansatz in diesem Zusammenhang ist der folgende
(der Regularisierungsteil der Matrix erscheint sozusagen
an transponierter Stelle):
A' x' = [A a1] [x] = A x + ay = b, (A': m×(n+m), x': (n+m)×1,
[y] y: mx1, b: m×1,
1: m×m Einheitsmatrix)



Das verstehe ich jetzt nicht ganz, heißt das, es werden Spalten an die
Matrix angehàngt? Auch hier wieder ist das zweite "=" ein "~". Wenn Du
das ausmultiplizierst, müsstest Du erkennen können, ob das auf dasselbe
hinauslàuft.

Könnt Ihr mit eine
Quelle (möglichst online) empfehlen, in der solche Ansàtze
verglichen und erklàrt werden?



s.o., das ist ziemlich umfangreich
Christian

Ähnliche fragen