Fixačný filter Implementácia I-VT

Prezentácia na tému: "Fixačný filter Implementácia I-VT"— Prepis prezentácie:

1 Fixačný filter Implementácia I-VT
Martin Konôpka

2 Analýza dát sledovania pohľadu
Zaznamenávame pohyby oka Sledujeme záujem používateľa, načo sa pozerá Aké informácie prijal a spracoval pomocou zraku Hlavné typy pohybu očí Fixácie – krátka stabilizácia pohľadu Sakády – rýchly prechod medzi fixáciami Smooth pursuit – sledovanie

3 Pohyby očí Sakády Fixácie Vizualizácia, metriky, v spojení s AOI...
Balistický pohyb, prestrelenia Aj °/s, ms Saccadic suppression – mozog odmieta informácie z očí Fixácie Stabilizácia – oko je stále v pohybe, inak rozmazanie obrazu Vizualizácia, metriky, v spojení s AOI...

4 Metóda sledovania pohľadu
Video záznam používateľa Infračervené svetlo, odraz od rohovky Pozícia oka v priestore (trackbox) Tobii Analytics SDK: Developer’s Guide.

5 Metóda sledovania pohľadu (2)
Vytvorenie matematického modelu oka Naučenie sa tvaru odrazu rohovky Vektor pohľadu Pretnutie s plochou 2D pozícia na obrazovke Tobii Analytics SDK: Developer’s Guide.

6 Dáta zo sledovača pohľadu
60/120/300/500 Hz frekvencia 2D pozícia na obrazovke, 3D vektor pohľadu, 3D pozícia očí { "TobiiTicks": , "Validity": "Both", "LeftEye": { "Validity": "Valid", "GazePoint2D": { X, Y }, "GazePoint3D": { X, Y, Z }, "EyePosition3D": { X, Y, Z }, "EyePosition3DRelative": { X, Y, Z }, "PupilDiameter": }, “RightEye” : { … }, }

7 Identifikácia fixácií – rozptyl bodov
Stabilizácia v pohybe – stabilizácia bodu pohľadu (gaze point) Vzdialenosti bodov pohľadu – Krátka vzdialenosť? Fixácia! Zhlukovanie I-DT Dispersion fixation filter Rozlíšenie obrazovky a DPI Veľkosť displeja a PPI Vzdialenosť od displeja

8 Identifikácia fixácií – rýchlosť oka
Fixácie a sakády vyplývajú zo zmien v rýchlosti oka Uhlová rýchlosť oka nad prahovú hodnotu – Fixácia! I-VT Velocity-threshold fixation filter Teoreticky vyhodnocuje v reálnom čase, „najľahší na implementáciu“ Olsen The Tobii I-VT Fixation Filter. Tobii Pro.

9 I-VT fixačný filter V Tobii Studio, parametrizovateľná
Kód od Andrewa Duchowskeho (PeWe repo) I-VT filter je „on-line“ filter Vlastná implementácia podľa Tobii špecifikácie Integrovanie do GazeHooku Zdrojový kód + knižnica + cmd line

10 Fixačný filter v GazeHook
Identifikácia fixácií a sakád pre nahrávanie 1 nastavenie, 1 vyhodnotenie, 1 výsledok Možnosť vyhodnotiť fixácie po nahrávaní Mať kontrolu nad nastavením parametrov Uviesť v práci a prezentácií výsledkov Algoritmus, zdroj, nastavenia, surové dáta

11 Kroky Tobii I-VT filtra

12 Pseudokód „Velocity-threshold fixation identification (I-VT) is the simplest of the identification methods to understand and implement.“ Salvucci & Goldberg Identifying Fixations and Saccades in Eye-Tracking Protocols. Proceedings of the Eye Tracking Research and Applications Symposium. ACM, NY, USA, pp

13 1. Doplnenie chýbajúcich dát
Eye tracker stratil oči, žmurknutie Používateľ sa pozrel mimo obrazovku, nekvalitné dáta...

14 1. Doplnenie chýbajúcich dát
Okrem žmurknutí, prahová hodnota (75 ms) Lineárna interpolácia

15 2. Výber oka Pre použitie v ďalších krokoch Výber podľa surových dát
Ľavé Pravé Priemer – priemer, ak obe, inak ľavé alebo pravé Striktný priemer – musia byť obe Výber podľa surových dát

16 3. Odstránenie šumu Vyhladenie dát
Moving average – okno veľkosti 5 vzoriek Median – 5 vzoriek Exponential – alpha ~ 0.3

17 4. Výpočet uhlovej rýchlosti oka
Pre každú vzorku podľa krajných vzoriek v okne (20 ms) Počet vzoriek v okne závisí od frekvencie eye trackera (60 Hz vs 300 Hz) Uhlová rýchlosť pre každú vzorku [°/s] Kosínusová veta

18 4. Výpočet uhlovej rýchlosti oka

19 4. Výpočet uhlovej rýchlosti oka

20 5. Klasifikácia vzoriek na fixácie/sakády
Porovnanie rýchlosti oka v každej vzorke voči prahovej hodnote „Velocity threshold“ >30ms – sakáda, inak fixácia Ak vzorka nie je platná, tak ju neklasifikujeme (neznámy pohyb)

21 5. Klasifikácia vzoriek na fixácie/sakády

22 5. Klasifikácia vzoriek na fixácie/sakády

23 5. Klasifikácia vzoriek na fixácie/sakády
Agregácia vzoriek s rovnakou triedou Výpočet priemernej vzorky – centroid - miesto fixácie Začiatok, koniec a trvanie fixácie

24 5. Klasifikácia vzoriek na fixácie/sakády

25 5. Klasifikácia vzoriek na fixácie/sakády

26 6. Zlúčenie fixácií tesne po sebe 7. Odstránenie krátkych fixácií
Krátke sakády medzi fixáciami – spoločná fixácia Maximálny čas medzi fixáciami – 75ms Maximálny uhol medzi fixáciami – 0,5° Odstránenie krátkych fixácií Minimálne trvanie fixácie 60ms

27 K implementácii C#, Reactive Extensions

28 „On-line“ filter Dáta pohľadu – prúd dát
Každý zo 7 krokov môžeme vyhodnocovať priebežne Opozdenie kvôli oknám pre vypĺňanie medzier, zlučovanie vzoriek Pipes and filters Implementácia v C# pomocou Reactive Extensions Spracovanie dát v reálnom čase, vizualizácia v GazeHook

29 Použitie Integrované do GazeHook
Len s reálnym trackerom (simulátor čaká aktualizácia) Vstup dáta z GazeHook (UXC), dáta z Tobii Studio Pomocou cmd line nástrojov pre každý krok algoritmu fillingaps data.json --max-gap 75 | select --select Average | denoise exponential --alpha | velocity --frequency 60 -w 20 | vt-classify --threshold 30 | merge -g 75 -a | discard -d 60 > fix.json Použitie iba niektorých krokov, debug, vizualizácia

30 Kde to nájdem a čo s tým GitHub Máte chuť... Skutočne on-line
Čoskoro, pôjde (chce to len readme a code review) Máte chuť... Webová služba Python port / použitie v Jupyter Porovnať voči Tobii Studiu Skutočne on-line

31 Smooth pursuit