E.3. Porovnanie kvality modelov

Prezentácia na tému: "E.3. Porovnanie kvality modelov"— Prepis prezentácie:

1 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Cieľom analýzy kvality modelov je nájsť optimálnu rovnováhu medzi presnosťou a jednoduchosťou modelu Model Rozklad variability Počet parametrov Presnosť Jednoduchosť Bratislava, Holiday Inn, 26. októbra 1998

2 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Miery kvality modelu všetky vychádzajú z rozkladu variability čím je model lepší, tým väčší objem z celkovej variability vysvetlí niektoré penalizujú zložitosť modelu počtom parametrov čím je model lepší, tým menší počet parametrov potrebuje na vysvetlenie rovnakého objemu variability Random Walk R 2 RMSE MSE MAPE SSE Max Error 2 R Amemiya’s Adjusted R 2 Adjusted R 2 Min Error SBC AIC Bratislava, Holiday Inn, 26. októbra 1998

3 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Rozklad variability skutočná hodnota ČR - yt yt odhadnutá = vyrovnaná hodnota ČR - ^ priemer ČR - y _ Bratislava, Holiday Inn, 26. októbra 1998

4 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Rozklad variability nevysvetlená variabilita reziduálov ( yt- yt )  rezidál ^ celková variabilita ( yt- y ) _ ( yt- y ) variabilita vysvetlená modelom ^ _ Bratislava, Holiday Inn, 26. októbra 1998

5 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Typy variability celková variabilita na koľko sa odchyľujú skutočné hodnoty v jednotlivých časových okamihoch od celkového priemeru variabilita vysvetlená modelom na koľko sa odchyľujú odhadnuté hodnoty v jednotlivých časových okamihoch od celkového priemeru variabilita nevysvetlená - variabilita reziduálov na koľko sa odchyľujú odhadnuté hodnoty od skutočných hodnôt čím väčšia časť z celkovej variability je vysvetlená modelom, tým je model kvalitnejší Celkovú variabilitu môžeme vyjadriť ako súčet: - variability medzi skupinami - menlivosť skupinových priemerov v porovnaní s celkovým priemerom - vyjadruje pôsobenie faktora - preto aj variabilita vysvetlená modelom - variability v rámci skupín - menlivosť hodnôt v porovnaní s ich skupinovým priemerom, - vyjadruje pôsobenie náhodných činiteľov - variabilita nevysvetlená modelom Keďže variabilita medzi skupinami je variabilita vysvetlená modelom, znamená to že jej väčší podiel vyjadruje väčší vplyv faktora. Bratislava, Holiday Inn, 26. októbra 1998

6 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Meranie variability sumou štvorcov - SS (Sum of Squares) sú väčšie odchýlky hodnôt od priemerov, tým je väčšia variabilita súčet odchýlok od priemeru sa rovná nule použije druhé mocniny odchýlok od priemerov suma štvorcov modelu - SSM meria variabilitu modelu akú časť variability časového radu možno vysvetliť pôsobením časovej premennej suma štvorcov náhodnej chyby (reziduálov) - SSE meria variabilitu náhodných činiteľov, čiže variabilitu chybovú akú časť variability časového radu nemožno vysvetliť pôsobením časovej premennej celková suma štvorcov - SST meria celkovú variabilitu časového radu Intuitívne je zrejmé, že variabilitu budeme merať podľa veľkosti odchýlok. Tie môžu mať ale kladné aj záporné znamienka, čím by sa ich vypovedacia schopnosť mohla stratiť. Preto použijeme ich druhé mocniny a aby sme akumulovali objem variability budeme používať sumu druhých mocnín na meranie variability v modeloch ANOVA. O sumách štvorcov platí tiež, že: SST=SSM+SSE Bratislava, Holiday Inn, 26. októbra 1998

7 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Meranie variability celková variabilita variabilita vysvetlená modelom nevysvetlená variabilita celková variabilita Už je zrejmé, že posúdenie, či je vplyv faktora štatistický významný, bude vychádzať z porovnania variability. Porovnávať však možno len porovnateľné veličiny. Sumy štvorcov, preto musíme prepočítať na priemerné sumy, ktoré vyjadrujú, aká variabilita - vysvetlená alebo nevysvetlená - pripadá ne jednu jednotku. Z jednotkových mier už môžeme zostaviť mieru, ktorá nám bude slúžiť na zber dôkazov o dôležitosti vplyvu faktorov - testovaciu štatistiku. Testovacia štatistika pri ANOVA porovnáva jednotkovú variabilitu vysvetlenú modelom s jednotkovou variabilitou nevysvetlenou modelom. F= priemerná SSM / priemerná SSE na základe predchádzajúcej logiky môžeme prijať rozhodovacie pravidlo, čím je F a teda aj podiel variability vysvetlenej modelom väčší, tým viac máme dôkazov tým nižšia je p-hodnota tým na nižšej hladine môžeme zamietnuť nulovú hypotézu tým na nižšej hladine môžeme tvrdiť, že hodnoty závislej premennej sú výrazne ovplyvňované úrovňami faktora. Bratislava, Holiday Inn, 26. októbra 1998

8 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Miery kvality modelu v Prognózovacom systéme informačné informujú o základných charakteristikách modelu Number of Nonmissing Observation počet nechýbajúcich pozorovaní v časovom rade - n Number of Observation celkový počet pozorovaní - dĺžka časového radu Number of Missing Actuals počet chýbajúcich vyrovnaných hodnôt ČR - odhadnutých skutočných Number of Missing Predicted Values počet chýbajúcich predikovaných hodnôt ČR - odhadnutých prognózovaných Number of Model Parameters počet parametrov odhadnutého modelu - k Bratislava, Holiday Inn, 26. októbra 1998

9 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Miery kvality modelu v Prognózovacom systéme tradičné - merajú kvalitu modelu cez nevysvetlenú variabilitu, ktorá má podobu reziduálov ako celkovú hodnotu reziduálov Mean Error priemerná reziduálna odchýlka čím viac sa blíži k nule, tým je prognóza presnejšia Mean Percent Error priemerná percentuálna odchýlka ako absolútnu hodnotu reziduálov Mean Absolute Error priemerná absolútna reziduálna odchýlka Mean Percent Absolute Error priemerná percentuálna absolútna reziduálna odchýlka Bratislava, Holiday Inn, 26. októbra 1998

10 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Miery kvality modelu v Prognózovacom systéme tradičné - merajú kvalitu modelu cez nevysvetlenú variabilitu, ktorá má podobu reziduálov ako štvorec hodnoty reziduálov Total Sum of Squares celková suma štvorcov ČR - SST Sum of Square Errors suma štvorcov reziduálov SSE ako nevysvetlená časť variability Mean Square Error priemerná štvorcová reziduálna odchýlka Root Mean Square Error odmocnina z priemernej štvorcovej reziduálnej odchýlky R-Square akú časť z celkovej variability vysvetlil model čím je vyššia, tým je model presnejší Bratislava, Holiday Inn, 26. októbra 1998

11 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Miery kvality modelu v Prognózovacom systéme penalizačné - korigujú presnosť modelu o počet parametrov, ktoré boli potrebné na jej dosiahnutie Adjusted R-Square R-Square upravený počet parametrov umožňuje porovnávať modely s rôznym počtom parametrov Akaike’s Information Criterion vychádza z logaritmu MSE, ktorý upravuje o počet parametrov Schwarz Bayesian Information Criterion vychádza z logaritmu MSE, ktorý upravuje o počet parametrov a pozorovaní Bratislava, Holiday Inn, 26. októbra 1998

12 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Miery kvality modelu v Prognózovacom systéme penalizačné - korigujú presnosť modelu o počet parametrov, ktoré boli potrebné na jej dosiahnutie Amemiya’s Adjusted R-Square prísnejšia úprava R2 o počet parametrov Amemiya’s Prediction Criterion meria kvalitu predikcie cez Amemiya’s Adjusted R-Square Random Walk R-Square je štatistikou porovnávajúcou chybu nami zvoleného modelu s chybou modelu náhodnej prechádzky Bratislava, Holiday Inn, 26. októbra 1998

13 E.3. Porovnanie kvality modelov
SAS Institute E.3. Porovnanie kvality modelov Miery kvality modelu v Prognózovacom systéme doplnkové - upresňujú predstavu o intenzite reziduálnych odchýlok Maximum Error maximálna reziduálna odchýlka Minimum Error minimálna reziduálna odchýlka Maximum Percent Error maximálna percentuálna reziduálna odchýlka Minimum Percent Error minimálna percentuálna reziduálna odchýlka Bratislava, Holiday Inn, 26. októbra 1998