Versionsinfo: Der Code für diese Seite wurde in Stata 12 getestet.
Die Probit-Regression, auch Probit-Modell genannt, wird zur Modellierung dichotomer oder binärer Ergebnisvariablen verwendet. Im Probit-Modell wird die inverse Standardnormalverteilung der Wahrscheinlichkeit als Linearkombination der Prädiktoren modelliert.
Bitte beachten Sie: Der Zweck dieser Seite ist es, zu zeigen, wie man verschiedene Befehle zur Datenanalyse verwendet.
Sie deckt nicht alle Aspekte des Forschungsprozesses ab, die von Forschern erwartet werden. Sie deckt insbesondere nicht alle Aspekte des Forschungsprozesses ab, die von den Forschern erwartet werden. Sie deckt insbesondere nicht die Datenbereinigung und -überprüfung, die Überprüfung der Annahmen, die Modelldiagnose und mögliche Folgeanalysen ab.
Beispiele zur Probit-Regression
Beispiel 1: Angenommen, wir interessieren uns für die Faktoren, die beeinflussen, ob ein politischer Kandidat eine Wahl gewinnt. Die Ergebnisvariable (Response) ist binär (0/1); gewinnen oder verlieren. Die interessierenden Prädiktorvariablen sind der Geldbetrag, der für den Wahlkampf ausgegeben wird, die Zeit, die für den Wahlkampf aufgewendet wird, und ob der Kandidat ein Amtsinhaber ist.
Beispiel 2: Ein Forscher interessiert sich dafür, wie Variablen wie GRE (Graduate Record Exam Scores), GPA (Notendurchschnitt) und das Prestige der Undergraduate-Institution die Zulassung zur Graduate School beeinflussen. Die Antwortvariable, zulassen/nicht zulassen, ist eine binäre Variable.
Beschreibung der Daten
Für die folgende Datenanalyse werden wir das Beispiel 2 über die Aufnahme in eine Graduiertenschule erweitern. Wir haben hypothetische Daten generiert, die von unserer Website bezogen werden können.
use https://stats.idre.ucla.edu/stat/stata/dae/binary.dta, clear
Dieser Datensatz hat eine binäre Antwortvariable (Ergebnis, abhängige Variable) namens „Zulassung“.
Es gibt drei Prädiktor
Variablen: gre, gpa und rank. Wir werden die Variablen gre und gpa als kontinuierlich behandeln. Die Variable rank ist ordinal, sie nimmt die Werte 1 bis 4 an. Institutionen mit einem Rang von 1 haben das höchste Prestige, während solche mit einem Rang von 4 das niedrigste haben. Wir werden den Rang als kategorisch behandeln.
summarize gre gpa Variable | Obs Mean Std. Dev. Min Max-------------+-------------------------------------------------------- gre | 400 587.7 115.5165 220 800 gpa | 400 3.3899 .3805668 2.26 4tab rank rank | Freq. Percent Cum.------------+----------------------------------- 1 | 61 15.25 15.25 2 | 151 37.75 53.00 3 | 121 30.25 83.25 4 | 67 16.75 100.00------------+----------------------------------- Total | 400 100.00tab admit admit | Freq. Percent Cum.------------+----------------------------------- 0 | 273 68.25 68.25 1 | 127 31.75 100.00------------+----------------------------------- Total | 400 100.00tab admit rank | rank admit | 1 2 3 4 | Total-----------+--------------------------------------------+---------- 0 | 28 97 93 55 | 273 1 | 33 54 28 12 | 127 -----------+--------------------------------------------+---------- Total | 61 151 121 67 | 400
Analysemethoden, die Sie in Betracht ziehen könnten
Nachfolgend finden Sie eine Liste mit einigen Analysemethoden, die Sie vielleicht schon kennen. Einige der aufgeführten Methoden sind durchaus sinnvoll, während andere entweder in Ungnade gefallen sind oder Einschränkungen haben.
- Probit-Regression, der Schwerpunkt dieser Seite.
- Logistische Regression. Ein Logit-Modell liefert ähnliche Ergebnisse wie die
Probit-Regression. Die Wahl von Probit gegenüber Logit hängt weitgehend von
individuellen Präferenzen ab.
- OLS-Regression. Bei Verwendung mit einer binären Antwortvariable ist dieses Modell als
lineares Wahrscheinlichkeitsmodell bekannt und kann zur
Beschreibung von bedingten Wahrscheinlichkeiten verwendet werden. Allerdings verletzen die Fehler (d. h. die Residuen) des linearen Wahrscheinlichkeitsmodells die Annahmen der Homoskedastizität und
Normalität der Fehler der OLS
Regression, was zu ungültigen Standardfehlern und Hypothesentests führt. Für
eine ausführlichere Diskussion dieser und anderer Probleme mit dem linearen
Wahrscheinlichkeitsmodell, siehe Long (1997, S. 38-40).
- Zwei-Gruppen-Diskriminanzfunktionsanalyse. Eine multivariate Methode für dichotome Ergebnisvariablen.
- Hotelling’s T2. Das 0/1-Ergebnis wird zur
Gruppenvariablen, und die ehemaligen Prädiktoren werden zu Ergebnis-
variablen. Dies ergibt einen allgemeinen Signifikanztest, aber keine
einzelnen Koeffizienten für jede Variable, und es ist unklar, inwieweit
jeder „Prädiktor“ um den Einfluss der anderen
„Prädiktoren“ bereinigt ist.“
Probit-Regression
Nachfolgend verwenden wir den Probit-Befehl, um ein Probit-Regressionsmodell zu schätzen. Das i. vor Rang zeigt an, dass es sich bei Rang um eine Faktorvariable (d. h. eine kategoriale Variable) handelt und dass sie als eine Reihe von Indikatorvariablen in das Modell aufgenommen werden soll. Beachten Sie, dass diese Syntax in Stata 11 eingeführt wurde.
probit admit gre gpa i.rank Iteration 0: log likelihood = -249.98826 Iteration 1: log likelihood = -229.29667 Iteration 2: log likelihood = -229.20659 Iteration 3: log likelihood = -229.20658 Probit regression Number of obs = 400 LR chi2(5) = 41.56 Prob > chi2 = 0.0000Log likelihood = -229.20658 Pseudo R2 = 0.0831------------------------------------------------------------------------------ admit | Coef. Std. Err. z P>|z| -------------+---------------------------------------------------------------- gre | .0013756 .0006489 2.12 0.034 .0001038 .0026473 gpa | .4777302 .1954625 2.44 0.015 .0946308 .8608297 | rank | 2 | -.4153992 .1953769 -2.13 0.033 -.7983308 -.0324675 3 | -.812138 .2085956 -3.89 0.000 -1.220978 -.4032981 4 | -.935899 .2456339 -3.81 0.000 -1.417333 -.4544654 | _cons | -2.386838 .6740879 -3.54 0.000 -3.708026 -1.065649------------------------------------------------------------------------------
- In der obigen Ausgabe sehen wir zuerst den Iterationslog, der anzeigt, wie schnell das Modell konvergiert. Die log Likelihood (-229.20658) kann
im Vergleich von verschachtelten Modellen verwendet werden, aber wir zeigen hier kein Beispiel dafür.
- Auch oben in der Ausgabe sehen wir, dass alle 400 Beobachtungen in unserem Datensatz
in der Analyse verwendet wurden (weniger Beobachtungen wären verwendet worden, wenn eine
unserer Variablen fehlende Werte gehabt hätte).
- Das Likelihood-Ratio-Chi-Quadrat von 41,56 mit einem p-Wert von 0,0001 sagt uns, dass unser Modell als Ganzes statistisch signifikant ist, d. h. es passt signifikant besser als ein Modell ohne Prädiktoren.
- In der Tabelle sehen wir die Koeffizienten, ihre Standardfehler, die z-Statistik, die zugehörigen p-Werte und das 95%-Konfidenzintervall der Koeffizienten. Sowohl gre, gpa, als auch die drei Indikatorvariablen für den Rang sind statistisch signifikant. Die Probit-Regressionskoeffizienten geben die Änderung des z-Scores oder des Probit-Indexes für eine Änderung des Prädiktors um eine Einheit an.
- Für eine Erhöhung von gre um eine Einheit erhöht sich der z-Score um 0,001.
- Für eine Erhöhung von gpa um eine Einheit erhöht sich der z-Score um 0,478.
- Die Indikatorvariablen für Rang haben eine etwas andere Interpretation. Zum Beispiel verringert der Besuch einer Institution mit Rang 2 im Vergleich zu einer Institution mit Rang 1 (der Referenzgruppe) den z-Score um 0,415.
Wir können mit dem Befehl test auf einen Gesamteffekt des Rangs testen. Unten sehen wir, dass der Gesamteffekt des Rangs statistisch signifikant ist.
test 2.rank 3.rank 4.rank ( 1) 2.rank = 0 ( 2) 3.rank = 0 ( 3) 4.rank = 0 chi2( 3) = 21.32 Prob > chi2 = 0.0001
Wir können auch zusätzliche Hypothesen über die Unterschiede in den Koeffizienten für verschiedene Ebenen des Rangs testen. Unten testen wir, dass der Koeffizient für Rang=2 gleich dem Koeffizienten für Rang=3 ist.
test 2.rank = 3.rank ( 1) 2.rank - 3.rank = 0 chi2( 1) = 5.60 Prob > chi2 = 0.0179
Sie können auch vorhergesagte Wahrscheinlichkeiten verwenden, um das Modell zu verstehen. Sie können vorhergesagte Wahrscheinlichkeiten mit dem Befehl margins berechnen, der in Stata 11 eingeführt wurde. Im Folgenden wird der Befehl margins verwendet, um die vorhergesagte Wahrscheinlichkeit der Zulassung auf jeder Rangstufe zu berechnen, wobei alle anderen Variablen im Modell auf ihren Mittelwerten gehalten werden. Weitere Informationen über die Verwendung des Befehls margins zur Berechnung von vorhergesagten Wahrscheinlichkeiten finden Sie auf unserer SeiteVerwendung von margins für vorhergesagte Wahrscheinlichkeiten.
margins rank, atmeansAdjusted predictions Number of obs = 400Model VCE : OIMExpression : Pr(admit), predict()at : gre = 587.7 (mean) gpa = 3.3899 (mean) 1.rank = .1525 (mean) 2.rank = .3775 (mean) 3.rank = .3025 (mean) 4.rank = .1675 (mean)------------------------------------------------------------------------------ | Delta-method | Margin Std. Err. z P>|z| -------------+---------------------------------------------------------------- rank | 1 | .5163741 .0656201 7.87 0.000 .3877611 .6449871 2 | .3540742 .0394725 8.97 0.000 .2767096 .4314388 3 | .2203289 .0383674 5.74 0.000 .1451302 .2955277 4 | .1854353 .0487112 3.81 0.000 .0899631 .2809075------------------------------------------------------------------------------
In der obigen Ausgabe sehen wir, dass die vorhergesagte Wahrscheinlichkeit, in ein Graduiertenprogramm aufgenommen zu werden, 0.52 für die Institutionen mit dem höchsten Prestige (Rang=1) und 0,19 für die Institutionen mit dem niedrigsten Rang (Rang=4) beträgt, wenn man den Mittelwert von Notendurchschnitt und Notendurchschnitt beibehält.
Nachfolgend generieren wir die vorhergesagten Wahrscheinlichkeiten für Werte von gre von 200 bis 800 in Schritten von 100. Da wir weder atmeans noch at(…) angegeben haben, um die Werte zu spezifizieren, bei denen die anderen Prädiktorvariablen gehalten werden, sind die Werte in der Tabelle durchschnittliche vorhergesagte Wahrscheinlichkeiten, die unter Verwendung der Stichprobenwerte der anderen Prädiktorvariablen berechnet wurden. Um z. B. die durchschnittliche vorhergesagte Wahrscheinlichkeit zu berechnen, wenn gre = 200 ist, wurde die vorhergesagte Wahrscheinlichkeit für jeden Fall berechnet, wobei der Wert von Rang und gpa des jeweiligen Falls verwendet und gre auf 200 gesetzt wurde.
margins , at(gre=(200(100)800)) vsquishPredictive margins Number of obs = 400Model VCE : OIMExpression : Pr(admit), predict()1._at : gre = 2002._at : gre = 3003._at : gre = 4004._at : gre = 5005._at : gre = 6006._at : gre = 7007._at : gre = 800------------------------------------------------------------------------------ | Delta-method | Margin Std. Err. z P>|z| -------------+---------------------------------------------------------------- _at | 1 | .1621325 .0621895 2.61 0.009 .0402434 .2840216 2 | .1956415 .053758 3.64 0.000 .0902777 .3010054 3 | .2330607 .0422138 5.52 0.000 .1503231 .3157983 4 | .2741667 .0293439 9.34 0.000 .2166537 .3316797 5 | .3185876 .0226349 14.08 0.000 .2742239 .3629512 6 | .365808 .0333436 10.97 0.000 .3004557 .4311603 7 | .4151847 .0541532 7.67 0.000 .3090463 .5213231------------------------------------------------------------------------------
In der obigen Tabelle können wir sehen, dass die mittlere vorhergesagte Wahrscheinlichkeit, angenommen zu werden, nur 0.16 ist, wenn man einen GRE-Score von 200 hat, und auf 0,42 ansteigt, wenn man einen GRE-Score von 800 hat (gemittelt über die Stichprobenwerte von gpa und Rang).
Es kann auch hilfreich sein, Diagramme der vorhergesagten Wahrscheinlichkeiten zu verwenden, um das Modell zu verstehen und/oder zu präsentieren.
Wir möchten vielleicht auch sehen, wie gut unser Modell passt. Dies kann besonders beim Vergleich konkurrierender Modelle hilfreich sein. Der vom Benutzer geschriebene Befehl fitstat erzeugt eine Vielzahl von Anpassungsstatistiken. Sie können weitere Informationen zu fitstat finden, indem Siesearch fitstat eingeben (weitere Informationen zur Verwendung von search finden Sie unter How can I use the search command to search for programs and get additional help?)
fitstatMeasures of Fit for probit of admitLog-Lik Intercept Only: -249.988 Log-Lik Full Model: -229.207D(393): 458.413 LR(5): 41.563 Prob > LR: 0.000McFadden's R2: 0.083 McFadden's Adj R2: 0.055ML (Cox-Snell) R2: 0.099 Cragg-Uhler(Nagelkerke) R2: 0.138McKelvey & Zavoina's R2: 0.165 Efron's R2: 0.101Variance of y*: 1.197 Variance of error: 1.000Count R2: 0.710 Adj Count R2: 0.087AIC: 1.181 AIC*n: 472.413BIC: -1896.232 BIC': -11.606BIC used by Stata: 494.362 AIC used by Stata: 470.413
Dinge, die Sie beachten sollten
- Leere Zellen oder kleine Zellen: Sie sollten auf leere oder kleine
Zellen prüfen, indem Sie eine Kreuztabelle zwischen kategorialen Prädiktoren und der Ergebnisvariable erstellen. Wenn eine Zelle nur sehr wenige Fälle hat (eine kleine Zelle), kann das Modell instabil werden oder es kann überhaupt nicht laufen.
- Separation oder Quasi-Separation (auch perfekte Vorhersage genannt), eine Bedingung, bei der das Ergebnis bei einigen Stufen der unabhängigen Variablen nicht variiert. Siehe unsere Seite FAQ: Was ist vollständige oder quasi-vollständige Separation in der logistischen/probit-Regression und wie geht man damit um? für Informationen zu Modellen mit perfekter Vorhersage.
- Stichprobengröße: Sowohl Probit- als auch Logit-Modelle benötigen mehr Fälle als die OLS-Regression, da sie Maximum-Likelihood-Schätzverfahren verwenden. Es ist manchmal möglich, Modelle für binäre Ergebnisse in Datensätzen mit nur einer kleinen Anzahl von Fällen mit exakter logistischer Regression (unter Verwendung des Befehls exlogistic) zu schätzen. Weitere Informationen finden Sie in unserem Datenanalyse-Beispiel für exakte logistische Regression. Es ist auch wichtig zu bedenken, dass es schwierig sein kann, ein Probit-Modell zu schätzen, wenn das Ergebnis selten ist, selbst wenn der gesamte Datensatz groß ist.
- Pseudo-R-Quadrat: Es gibt viele verschiedene Maße von psuedo-R-squared. Sie alle versuchen, ähnliche Informationen zu liefern wie das R-Quadrat in der OLS-Regression; keines von ihnen kann jedoch genau so interpretiert werden wie das R-Quadrat in der OLS-Regression. Für eine Diskussion der verschiedenen Pseudo-R-Quadrate siehe Long und Freese (2006) oder unsere FAQ-SeiteWas sind Pseudo-R-Quadrate?
- In Stata werden Werte von 0 als eine Stufe der Ergebnisvariable behandelt,
und alle anderen nicht fehlenden Werte werden als zweite Stufe des Ergebnisses behandelt.
- Diagnosen: Die Diagnosen für die Probit-Regression unterscheiden sich von denen für die OLS-Regression. Die Diagnosen für Probit-Modelle sind ähnlich wie die für Logit-Modelle. Für eine Diskussion der Modelldiagnosen für logistische Regression siehe Hosmer und Lemeshow (2000, Kapitel 5).
Siehe auch
- Stata-Hilfe für probit
- Kommentierte Ausgabe für den probit-Befehl
- Stat-Bücher für Darlehen, logistische Regression und begrenzte abhängige Variablen