Beispiele zur Abschätzung der maximalen Wahrscheinlichkeit

Angenommen, wir haben eine Zufallsstichprobe aus einer interessierenden Population. Wir haben möglicherweise ein theoretisches Modell für die Verteilung der Bevölkerung. Es kann jedoch verschiedene Populationsparameter geben, deren Werte uns nicht bekannt sind. Die Schätzung der maximalen Wahrscheinlichkeit ist eine Möglichkeit, diese unbekannten Parameter zu bestimmen. 

Die Grundidee hinter der Maximum-Likelihood-Schätzung besteht darin, die Werte dieser unbekannten Parameter zu bestimmen. Wir tun dies so, dass eine zugehörige gemeinsame Wahrscheinlichkeitsdichtefunktion oder Wahrscheinlichkeitsmassenfunktion maximiert wird. Wir werden dies im Folgenden detaillierter sehen. Anschließend werden einige Beispiele für die Schätzung der maximalen Wahrscheinlichkeit berechnet.

Schritte zur Schätzung der maximalen Wahrscheinlichkeit

Die obige Diskussion kann durch die folgenden Schritte zusammengefasst werden:

1. Beginnen Sie mit einer Stichprobe unabhängiger Zufallsvariablen X₁, X₂,… X_n aus einer gemeinsamen Verteilung mit jeweils einer Wahrscheinlichkeitsdichtefunktion f (x; θ₁,… Θ_k). Die Thetas sind unbekannte Parameter.
2. Da unsere Stichprobe unabhängig ist, wird die Wahrscheinlichkeit, die von uns beobachtete Stichprobe zu erhalten, durch Multiplikation unserer Wahrscheinlichkeiten ermittelt. Dies gibt uns eine Wahrscheinlichkeitsfunktion L (θ₁,… Θ_k) = F (x₁ ; θ₁,… Θ_k) f (x₂ ; θ₁,… Θ_k)… F (x_n ; θ₁,… Θ_k) = Π f (x_ich ; θ₁,… Θ_k).
3. Als nächstes verwenden wir Calculus, um die Werte von Theta zu finden, die unsere Wahrscheinlichkeitsfunktion L maximieren. 
4. Insbesondere differenzieren wir die Wahrscheinlichkeitsfunktion L in Bezug auf θ, wenn es einen einzelnen Parameter gibt. Wenn es mehrere Parameter gibt, berechnen wir partielle Ableitungen von L in Bezug auf jeden der Theta-Parameter.
5. Um den Maximierungsprozess fortzusetzen, setzen Sie die Ableitung von L (oder Teilableitungen) auf Null und lösen Sie nach Theta auf.
6. Wir können dann andere Techniken (wie einen zweiten Ableitungstest) verwenden, um zu überprüfen, ob wir ein Maximum für unsere Wahrscheinlichkeitsfunktion gefunden haben.

Beispiel

Angenommen, wir haben eine Packung Samen, von denen jeder eine konstante Wahrscheinlichkeit hat p des Erfolgs der Keimung. Wir pflanzen n von diesen und zählen die Anzahl derer, die sprießen. Angenommen, jeder Samen sprießt unabhängig von den anderen. Wie bestimmen wir den Maximum Likelihood Estimator des Parameters? p?

Zunächst stellen wir fest, dass jeder Samen von einer Bernoulli-Verteilung mit dem Erfolg von modelliert wird p. Wir lassen X entweder 0 oder 1 sein und die Wahrscheinlichkeitsmassenfunktion für einen einzelnen Samen ist f(x; p ) = p^x (1 - p)^{1 - x}. 

Unsere Stichprobe besteht aus n  anders X_ich, Jedes mit hat eine Bernoulli-Verteilung. Die Samen, die sprießen, haben X_ich = 1 und die Samen, die nicht keimen, haben X_ich = 0. 

Die Wahrscheinlichkeitsfunktion ist gegeben durch:

L ( p ) = Π p^x_ich (1 - p)^{1 - x}_ich

Wir sehen, dass es möglich ist, die Wahrscheinlichkeitsfunktion unter Verwendung der Gesetze der Exponenten umzuschreiben. 

L ( p ) = p^{Σ x}_ich (1 - p)^{n - Σ x}_ich

Als nächstes differenzieren wir diese Funktion in Bezug auf p. Wir gehen davon aus, dass die Werte für alle X_ich sind bekannt und daher konstant. Um die Wahrscheinlichkeitsfunktion zu unterscheiden, müssen wir die Produktregel zusammen mit der Potenzregel verwenden:

L '( p ) = Σ x_ichp^{-1 + Σ x}_ich (1 - p)^{n - Σ x}_ich - (n - Σ x_ich ) p^{Σ x}_ich (1 - p)^{n-1 - Σ x}_ich

Wir schreiben einige der negativen Exponenten um und haben:

L '( p ) = (1 /p) Σ x_ichp^{Σ x}_ich (1 - p)^{n - Σ x}_ich - 1 / (1 - p) (n - Σ x_ich ) p^{Σ x}_ich (1 - p)^{n - Σ x}_ich

= [(1 /p) Σ x_ich - 1 / (1 - p) (n - Σ x_ich)]_ichp^{Σ x}_ich (1 - p)^{n - Σ x}_ich

Um den Maximierungsprozess fortzusetzen, setzen wir diese Ableitung auf Null und lösen nach p:

0 = [(1 /p) Σ x_ich - 1 / (1 - p) (n - Σ x_ich)]_ichp^{Σ x}_ich (1 - p)^{n - Σ x}_ich

Schon seit p und 1- p) sind ungleich Null das haben wir

0 = (1 /p) Σ x_ich - 1 / (1 - p) (n - Σ x_ich).

Multiplizieren Sie beide Seiten der Gleichung mit p(1- p) gibt uns:

0 = (1 - p) Σ x_ich - p (n - Σ x_ich).

Wir erweitern die rechte Seite und sehen:

0 = Σ x_ich - p Σ x_ich - p n + pΣ x_ich = Σ x_ich - p n.

Also Σ x_ich = p n und (1 / n) ≤ x_ich = p. Dies bedeutet, dass der Maximum Likelihood Estimator von p ist ein Stichprobenmittelwert. Insbesondere ist dies der Probenanteil der Samen, die gekeimt haben. Dies entspricht genau dem, was uns die Intuition sagen würde. Um den Anteil der Samen zu bestimmen, die keimen, betrachten Sie zunächst eine Stichprobe aus der interessierenden Population.

Änderungen an den Schritten

An der obigen Liste der Schritte wurden einige Änderungen vorgenommen. Zum Beispiel lohnt es sich, wie wir oben gesehen haben, normalerweise, etwas Zeit mit Algebra zu verbringen, um den Ausdruck der Wahrscheinlichkeitsfunktion zu vereinfachen. Der Grund dafür ist, die Differenzierung einfacher durchzuführen.

Eine weitere Änderung an der obigen Liste von Schritten besteht darin, natürliche Logarithmen zu berücksichtigen. Das Maximum für die Funktion L wird an der gleichen Stelle auftreten wie für den natürlichen Logarithmus von L. Somit ist die Maximierung von ln L äquivalent zur Maximierung der Funktion L.

Aufgrund der Exponentialfunktionen in L vereinfacht die Verwendung des natürlichen Logarithmus von L einige unserer Arbeiten erheblich.

Beispiel

Wir sehen, wie der natürliche Logarithmus verwendet wird, indem wir das obige Beispiel erneut betrachten. Wir beginnen mit der Wahrscheinlichkeitsfunktion:

L ( p ) = p^{Σ x}_ich (1 - p)^{n - Σ x}_ich .

Wir verwenden dann unsere Logarithmusgesetze und sehen, dass:

R ( p ) = ln L ( p ) = Σ x_ich ln p + (n - Σ x_ich) ln (1 - p).

Wir sehen bereits, dass die Ableitung viel einfacher zu berechnen ist:

R '( p ) = (1 /p) Σ x_ich - 1 / (1 - p) (n - Σ x_ich) .

Nach wie vor setzen wir diese Ableitung auf Null und multiplizieren beide Seiten mit p (1 - p):

0 = (1- p ) Σ x_ich - p(n - Σ x_ich) .

Wir lösen für p und finden Sie das gleiche Ergebnis wie zuvor.

Die Verwendung des natürlichen Logarithmus von L (p) ist auf andere Weise hilfreich. Es ist viel einfacher, eine zweite Ableitung von R (p) zu berechnen, um sicherzustellen, dass wir tatsächlich ein Maximum am Punkt (1 / n) n x haben_ich = p.

Beispiel

Angenommen, wir haben eine Zufallsstichprobe X₁, X₂,… X_n aus einer Population, die wir mit einer Exponentialverteilung modellieren. Die Wahrscheinlichkeitsdichtefunktion für eine Zufallsvariable hat die Form f( x ) = θ^-1 e ^{-x/ θ}

Die Wahrscheinlichkeitsfunktion ist durch die gemeinsame Wahrscheinlichkeitsdichtefunktion gegeben. Dies ist ein Produkt mehrerer dieser Dichtefunktionen:

L (θ) = Π θ^-1 e ^-x_ich^{/ θ} = Θ^-n e ^{-Σ x}_ich^{/ θ}

Auch hier ist es hilfreich, den natürlichen Logarithmus der Wahrscheinlichkeitsfunktion zu berücksichtigen. Die Differenzierung erfordert weniger Arbeit als die Differenzierung der Wahrscheinlichkeitsfunktion:

R (θ) = ln L (θ) = ln [θ^-n e ^{-Σ x}_ich^{/ θ}]

Wir verwenden unsere Logarithmengesetze und erhalten:

R (& thgr;) = ln L (& thgr;) = - n ln θ + -Σx_ich/ θ

Wir unterscheiden in Bezug auf θ und haben:

R '(& thgr;) = - n / θ + Σx_ich/ θ²

Setzen Sie diese Ableitung auf Null und wir sehen, dass:

0 = - n / θ + Σx_ich/ θ².

Multiplizieren Sie beide Seiten mit θ² und das Ergebnis ist:

0 = - n θ + Σx_ich.

Verwenden Sie nun Algebra, um nach θ zu lösen:

θ = (1 / n) Σx_ich.

Wir sehen daraus, dass der Stichprobenmittelwert die Wahrscheinlichkeitsfunktion maximiert. Der zu unserem Modell passende Parameter θ sollte einfach der Mittelwert aller unserer Beobachtungen sein.

Anschlüsse

Es gibt andere Arten von Schätzern. Eine alternative Art der Schätzung wird als unverzerrter Schätzer bezeichnet. Für diesen Typ müssen wir den erwarteten Wert unserer Statistik berechnen und feststellen, ob er mit einem entsprechenden Parameter übereinstimmt.