Wichtiger Hinweis zum Inhalt des Online-LexikonsBei den auf dieser Seite aufgeführten Texten/Artikeln/Inhalten handelt es sich ausschließlich um fremde Inhalte, die sich die Aschendorff Verlag GmbH & Co. KG ausdrücklich nicht zu Eigen macht. Diese fremden Inhalte, die keiner regelmäßigen Überprüfung unterliegen, sind ausnahmslos solche der freien Enzyklopädie Wikipedia, für die keinerlei Verantwortung übernommen wird.

---

Lizenzbestimmungen Der Text/Artikel/Inhalt auf dieser Seite innerhalb der Rubrik "Online Lexikon" basiert, soweit nicht anders angegeben, auf dem Artikel Akaike Information Criterion aus der freien Enzyklopädie Wikipedia. Die Inhalte stehen unter der GNU Lizenz für freie Dokumentation. Eine Liste der Autoren ist dort abrufbar.

Informationskriterium

Ein Informationskriterium ist ein Kriterium zur Auswahl eines Modells in der angewandten Statistik bzw. der Ökonometrie. Dabei gehen die Anpassungsgüte des geschätzten Modells an die vorliegenden empirischen Daten (Stichprobe) und Komplexität des Modells, gemessen an der Anzahl der Parameter, in die Beurteilung ein. Die Anzahl der Parameter wird dabei "strafend" berücksichtigt, da sonst umfassende Modelle mit vielen Parametern bevorzugt würden. In diesem Sinne ist das korrigierte Bestimmtheitsmaß, das auf Theil (1970) zurückgeht, ein Vorläufer der heute bekannten Informationskriterien.

Allen heute verwendeten Informationskriterien ist gleich, dass sie in zwei verschiedenen Formulierungen vorliegen. Entweder ist das Maß für die Anpassungsgüte als die maximale_Likelihood oder als die minimale Varianz der Residuen formuliert. Hieraus ergeben sich unterschiedliche Interpretationsmöglichkeiten. Beim Ersteren ist das Modell "am besten", bei dem das jeweilige Informationskriterium den höchsten Wert hat (die "strafende" Anzahl der Parameter muss dabei abgezogen werden). Beim Letzteren ist das Modell mit dem niedrigsten Wert des Informationskriteriums am besten (die Anzahl der Parameter muss "strafend" addiert werden).

Das historisch älteste Kriterium wurde 1973 von Akaike als "an information criterion" (engl.) vorgeschlagen. Heutzutage ist es als Akaikes Informationskriterium (engl. Akaike's Information Criterion, AIC) bekannt und wird vorwiegend in der Ökonometrie verwendet. Es lässt sich mit der logarithmierten Likelihood-Funktion $l$ wie folgt darstellen:

$$
AIC_l=-l(\mathbf{\hat{\phi}},\mathbf{\hat{\theta}}|\mathbf{\tilde{y}})+M


Unter Verwendung der minimalen Varianz der Residuen ergibt sich im klassischen Regressionsmodell mit normalverteilten Fehlern folgende Notation:

$$
AIC_\sigma=\ln({\hat{\sigma}}_Z^2)+\frac{M}{T} \cdot 2


Der Nachteil des Informationskriteriums von Akaike ist, dass der Strafterm von der Stichprobengröße unabhängig ist. Bei großen Stichproben sind Verbesserungen der Log-Likelihood bzw. der Residualvarianz "leichter" möglich, weshalb das Kriterium bei großen Stichproben tendenziell Modelle mit verhältnismäßig vielen Parametern vorteilhaft erscheinen lässt. Deshalb empfiehlt sich die Verwendung des durch Schwarz 1978 vorgeschlagenen bayesschen Informationskriteriums (engl. Bayesian Information Criterion, BIC):

$$
SBC_l=l(\mathbf{\hat{\phi}},\mathbf{\hat{\theta}}/'>\mathbf{\tilde{y}})- {M} \cdot \frac {\ln T}{2}


bzw.

$$
SBC_\sigma=\ln ({\hat{\sigma}}_Z^2)+ \frac{M}{T} \cdot {\ln T}


Bei diesem Kriterium wächst der Faktor des Strafterms logarithmisch mit der Anzahl der Beobachtungen T. Bereits ab acht Beobachtungen (ln 8 = 2,07944 > 2) bestraft das SBC zusätzliche Parameter schärfer als das AIC.

Zur Notation:

T: Anzahl der beobachteten Stichprobenwerte

M: Anzahl der geschätzten Parameter

?: Standardabweichung

Z: Störvariable

$\{\backslash hat\{\backslash sigma\}\}\_Z^2$: empirisch gemessene Varianz der Störvariablen Z (als Quinn, das DIC (Spiegelhalter, Best, Carlin und van der Linde (2002)), EIC (Ishiguro, Sakamoto, and Kitgawa (1997)), FIC (Wei (1992)), GIC (Nishii (1984)), NIC (Murata, Yoshizawa und Amari (1991)) und das TIC (Takeuchi (1976)).

Siehe auch

Strukturgleichungsmodellierung
• Rissanen]
• Description Length] (MDL)
• inflation information criterion] (RIC)
• (MEM)

Literatur

* Hirotugu Akaike: Information theory and an extension of the maximum likelihood principle. In: B. N. Petrov (Hrsg.) u.A.: Proceeding of the Second International Symposium on Information Theory Budapest: Akademiai Kiado 1973. S. 267-281
* Kenneth P. Burnham und David R. Anderson: Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. Springer-Verlag, New York 2002, ISBN 0-387-95364-7
* Kenneth P. Burnham/David R. Anderson (2004): Multimodel Inference: Understanding AIC and BIC in Model Selection, in: Sociological Methods and Research, Vol. 33, 2004, Seite 261-304
* Jouni Kuha (2004): AIC and BIC: Comparisons of Assumptions and Performance, in: Sociological Methods and Research, Vol. 33, 2004, Seite 188-229
* Gideon Schwarz: Estimating the Dimension of a Model. In: Annals of Statistics. 2/6/1978. S. 461-464
* David L. Weakliem (2004): Introduction to the Special Issue on Model Selection, in: Sociological Methods and Research, Vol. 33, 2004, Seite 167-187[[su:Akaike information criterion]

       VIDEO-NEWS UND ANGEBOTE