Współczynnik determinacji – jak obliczyć go krok po kroku?

Współczynnik determinacji R² pokazuje, jaka część zmienności zmiennej zależnej jest wyjaśniana przez model regresji. Aby go obliczyć, dzieli się zmienność wyjaśnioną przez model przez całkowitą zmienność obserwowanej zmiennej.

Czym jest współczynnik determinacji?

Współczynnik determinacji, nazywany także R-kwadrat, jest miarą dopasowania modelu regresji do danych. Wartość R² równa 0,70 oznacza, że model wyjaśnia 70% zmienności zmiennej zależnej w analizowanej próbie. Pozostałe 30% wynika z innych czynników, błędu pomiaru lub losowych różnic, których model nie uwzględnia.

W typowym modelu regresji liniowej z wyrazem wolnym R² mieści się w przedziale od 0 do 1. Im bliżej jedności, tym lepiej model odtwarza zróżnicowanie obserwowanych wartości. Nie oznacza to jednak, że model dowodzi istnienia zależności przyczynowej ani że równie dobrze zadziała na nowych danych.

Wzór na współczynnik determinacji

Współczynnik można obliczyć za pomocą wzoru:

\[ R^2 = \frac{SS_M}{SS_T} = \frac{\sum_{t=1}^{n}(\hat{y}_t-\bar{y})^2}{\sum_{t=1}^{n}(y_t-\bar{y})^2} \]

Licznik opisuje zmienność wyjaśnioną przez model, a mianownik – całkowitą zmienność rzeczywistych obserwacji względem ich średniej.

W regresji liniowej z jedną zmienną objaśniającą i wyrazem wolnym R² jest równe kwadratowi współczynnika korelacji Pearsona: \(R^2=r^2\). Nie należy jednak utożsamiać obu miar. Korelacja Pearsona może być dodatnia lub ujemna, natomiast po podniesieniu do kwadratu R² nie pokazuje kierunku zależności.

Jak obliczyć R² krok po kroku?

Do obliczeń potrzebujesz rzeczywistych wartości zmiennej zależnej oraz wartości przewidywanych przez dopasowany model. Procedura wygląda następująco:

1. Oblicz średnią ȳ – dodaj wszystkie rzeczywiste wartości y i podziel sumę przez liczbę obserwacji.
2. Oblicz SS_T – dla każdej obserwacji odejmij średnią od y_t, podnieś wynik do kwadratu i zsumuj: \(SS_T=\sum(y_t-\bar{y})^2\).
3. Wyznacz wartości przewidywane ŷ_t – podstaw dane wejściowe do równania regresji.
4. Oblicz SS_M – odejmij średnią ȳ od każdej wartości przewidywanej, podnieś różnice do kwadratu i zsumuj: \(SS_M=\sum(\hat{y}_t-\bar{y})^2\).
5. Podziel SS_M przez SS_T – otrzymany iloraz jest wartością R². Aby wyrazić wynik w procentach, pomnóż go przez 100.

Przykładowo, jeżeli \(SS_M=84\), a \(SS_T=120\), to \(R^2=84/120=0{,}70\). Model wyjaśnia więc 70% zmienności zmiennej zależnej w badanej próbie.

Jak interpretować wartość R²?

Poniższe przedziały mogą służyć jako orientacyjna skala, ale nie są uniwersalnym standardem. W naukach społecznych, ekonomii, biologii czy inżynierii akceptowalne wartości mogą znacząco się różnić.

R²=0 oznacza, że model nie wyjaśnia zmienności lepiej niż proste wykorzystanie średniej zmiennej zależnej. R²=1 oznacza pełne dopasowanie obserwacji do wartości przewidywanych, co w danych rzeczywistych może sygnalizować także nadmierne dopasowanie.

Ograniczenia i pułapki

Wysoki R² nie wystarcza, aby uznać model za poprawny. Przy interpretacji trzeba uwzględnić kilka ograniczeń:

• Brak dowodu przyczynowości – wysoka wartość R² opisuje współzmienność i dopasowanie, ale nie dowodzi, że zmienne objaśniające powodują zmiany zmiennej zależnej.
• Zależność od liczby zmiennych – dodanie kolejnej zmiennej do modelu nie zmniejsza zwykłego R², nawet gdy jej wkład merytoryczny jest niewielki.
• Nadmierne dopasowanie – model może bardzo dobrze opisywać próbę uczącą, lecz słabo przewidywać wartości spoza tej próby.
• Efekt katalizy – wysoki R² może pojawić się mimo braku przekonującego uzasadnienia merytorycznego dla siły obserwowanego powiązania.
• Brak informacji o resztach – sam współczynnik nie pokazuje rozkładu błędów, obserwacji odstających ani naruszenia założeń regresji.

Przy wielu zmiennych objaśniających warto sprawdzić skorygowany R². Uwzględnia on liczbę zmiennych i liczebność próby, dlatego może obniżyć ocenę modelu, gdy dodanie kolejnego predyktora nie poprawia dopasowania wystarczająco. R² najlepiej analizować razem z oceną reszt, błędami prognoz i wynikami uzyskanymi na danych poza próbą.

Najkrócej: aby obliczyć współczynnik determinacji, podziel SS_M przez SS_T. Wynik mówi, jaki odsetek zmienności wyjaśnia model w analizowanej próbie, ale nie zastępuje oceny przyczynowości ani sprawdzenia jakości prognoz.