Spracovanie postupnosti pohľadu pravdepodobnostnými modelmi Andrej Vítek

Postupnosť pohľadu (scanpath) Postupnosť fixácií a sakád v čase

Pravdepodobnostné modely Modelujú pohľad ako náhodnú premennú Trénovanie modelu pomocou algoritmov maximalizácie očakávaní (expectation–maximization) Viacero druhov Gaussove modely Markove modely

Pravdepodobnostné modely – dáta Dátovo založený prístup, model sa nastaví sám podľa dát V niektorých modeloch treba nastaviť aj ďalšie parametre Vstupné dáta Fixácie a sakády – model môže zanedbať dĺžku trvania S časovým odberom (time-sampled)

Gaussovské modely Gaussian mixture model Spojenie Gaussových rozdelení Pozície a parametre rozdelení sa naučia z dát Počet centier sa dá určiť automaticky (Bayesian Information Criterion)

Skrytý Markov model (HMM) Obsahuje skryté a pozorovateľné stavy Parametre: Počet skrytých stavov Pravdepodobnosť začatia v skrytom stave (Priors) Matica prechodov (Transition matrix) Pravdepodobnosť nastatia pozorovateľného stavu (Emissions) Dôležité je určiť počet skrytých stavov, ostatné parametre sa naučia z dát (existujú techniky, ktoré počet stavov určia automaticky na základe komplexity modelu)

Skrytý Markov model (HMM) Skryté stavy Nevieme v ktorom skrytom stave sa nachádzame Vieme pravdepodobnosť nastatia pozorovateľného stavu v danom skrytom stave (emissions) Príklad – chceme na základe dát o aktivite používateľa predpovedať počasie

Skrytý Markov model (HMM) Reprezentácia skrytého stavu závisí od vstupu a úlohy Regióny záujmu (2D Gaussian) Iné – kognitívny stav, ... Simola, J., Salojärvi, J., & Kojo, I. (2008). Using hidden Markov model to uncover processing states from eye movements in information search tasks. Cognitive Systems Research, 9(4), 237–251.

Skrytý Markov model (HMM) Coutrot, A., Hsiao, J. H., & Chan, A. B. (2017). Scanpath modeling and classification with hidden Markov models. Behavior Research Methods, 1–18.

Skrytý Markov model (HMM) Kedy použiť Máme viacero úloh (alebo vlastností pozorovateľa), pri ktorých predpokladáme, že budú mať rozdielne vlastnosti pohľadu Ak sa štatistické vlastnosti časového radu časom menia (HMM tieto zmeny vysvetľuje pomocou zmeny skrytého stavu) Príklady použitia Klasifikácia vykonávanej úlohy pri pozeraní na obrázok Zmeny kognitívnych stavov pri čítaní textu (scanning, reading, decision)

Skrytý Markov model (HMM) Výsledky pri predikovaní, či konverzačné video obsahuje pôvodnú zvukovú nahrávku Coutrot, A., Hsiao, J. H., & Chan, A. B. (2017). Scanpath modeling and classification with hidden Markov models. Behavior Research Methods, 1–18.

Použitie Implementácie v rôznych jazykoch (Python, R, Matlab) Je potrebné si nastaviť na svoju úlohu Existuje už implementovaný nástroj v MatLabe, ktorý je zameraný na spracovanie postupností pohľadu a klasifikáciu – SMAC with HMM

Scanpath modeling and classification with HMM MatLab Majú dostupný základný návod ako použiť Poskytuje automatické spracovanie dát postupností pohľadu pomocou HMM a klasifikáciu pomocou vyberateľného algoritmu Klasifikácia používa vlastnosti (features) HMM Nevýhody Problémy s dynamickým prostredím

Zdroje Návod a knižnica pre SMAC with HMM (MatLab) http://antoinecoutrot.magix.net/public/code.html http://antoinecoutrot.magix.net/public/assets/manual_smacwithhmm_toolb ox.pdf Coutrot, A., Hsiao, J. H., & Chan, A. B. (2017). Scanpath modeling and classification with hidden Markov models. Behavior Research Methods, 1–18. https://doi.org/10.3758/s13428-017-0876-8 Simola, J., Salojärvi, J., & Kojo, I. (2008). Using hidden Markov model to uncover processing states from eye movements in information search tasks. Cognitive Systems Research, 9(4), 237–251. https://doi.org/10.1016/j.cogsys.2008.01.002