Funktionale einer Markovkette

26/09/2008 - 22:21 von Andreas Willig | Report spam
Moin,

ich habe eine zeithomogene, zeitdiskrete Markovkette {X_n} mit endlichem
Zustandsraum {0, 1, ..., N}. Zustand 0 ist absorbierend, alle anderen
sind transient. Ich habe ausserdem auf dem Zustandsraum eine
"Kostenfunktion" c() gegeben, für die c(0)=0 gilt und ansonsten ist c(i)
= c_0 + i * c_1, wobei c_0 und c_1 festgelegte positive
Integer-Konstanten sind.

Jetzt interessiere ich mich für

S = \sum_{n=0}^\infty c(X_n)

und zwar insbesondere benötige ich \prob{S \le x} für ein fest
vorgegebenes x. Ohne eine solche Schranke x kann man (mit
First-Step-Analyse oder Markov-Ketten-Potentialtheorie) die
durchschnittlichen Kosten bis zur Absorption relativ einfach ausrechnen
(ist ein lineares Gleichungssystem), aber diese Schranke ist wichtig.

Hat jemand Hinweise? Interessant könnte die Verteilung von S sein oder
zumindest Approximationen für die gesuchte Wk \prob{S \le x}.

Vielen Dank,

Andreas


Der Mensch hat drei Wege, klug zu handeln. erstens durch nachdenken,
das ist der edelste; zweitens durch nachahmen, das ist der leichteste;
drittens durch Erfahrung, das ist der bitterste.
 

Lesen sie die antworten

#1 earthnut
08/10/2008 - 09:02 | Warnen spam
Andreas Willig wrote:

Moin,

ich habe eine zeithomogene, zeitdiskrete Markovkette {X_n} mit endlichem
Zustandsraum {0, 1, ..., N}. Zustand 0 ist absorbierend, alle anderen
sind transient. Ich habe ausserdem auf dem Zustandsraum eine
"Kostenfunktion" c() gegeben, für die c(0)=0 gilt und ansonsten ist c(i)
= c_0 + i * c_1, wobei c_0 und c_1 festgelegte positive
Integer-Konstanten sind.

Jetzt interessiere ich mich für

S = \sum_{n=0}^\infty c(X_n)

und zwar insbesondere benötige ich \prob{S \le x} für ein fest
vorgegebenes x. Ohne eine solche Schranke x kann man (mit
First-Step-Analyse oder Markov-Ketten-Potentialtheorie) die
durchschnittlichen Kosten bis zur Absorption relativ einfach ausrechnen
(ist ein lineares Gleichungssystem), aber diese Schranke ist wichtig.

Hat jemand Hinweise? Interessant könnte die Verteilung von S sein oder
zumindest Approximationen für die gesuchte Wk \prob{S \le x}.



Immer noch das Problem?

Die Markovkette ist vergesslich, die Kosten sollten es daher im
Wesentlichen auch sein. Die Annahme, dass die Kosten exponentiell
verteilt sind sollte daher asymptotisch richtig sein. Evtl. sogar mit
Erwartungswert der mittleren Kosten s, also P(S<x) = 1-exp(-x/s).

Bastian

Bastian

Ähnliche fragen