Music Information Retrieval

Prezentácia na tému: "Music Information Retrieval"— Prepis prezentácie:

1 Music Information Retrieval
Mgr. Nikoleta Habudová FIIT STU

2 Music Information Retrieval
Získavanie hudobných informácií / Dolovanie hudobných znalostí Založené na metadátach: autor, názov diela, interpret, text piesne a pod. V 90.r. 20.st. prvotné systémy - vyhľadávanie podľa melódie (hmkanie, hra na klaviatúre, notový zápis) Dôvod výskumu: vyhľadávanie cez klaviatúru, notový zápis, zvuk (spev, hudobný nástroj) rozpoznanie hudobného štýlu skladby, odhaľovanie hudobného plagiátorstva, komponovanie cez počítač a pod. Doplň odkazy na takéto systémy na webe. Music Information Retrieval

3 Music Information Retrieval
Obsah Hudobné formáty Aplikácie na symbolický zápis vyhľadávanie podľa hudobného motívu Získavanie hudobných znalostí (MusicIR) Reprezentácia hudobnej melódie Extrakcia hudobného motívu Klasifikácia hudobných dát Algoritmické komponovanie hudby Music Information Retrieval

4 Elektronické hudobné formáty
Audio: .wav, .mp3 Symbolický zápis (notový): MIDI, MusicXML Time-stamped events Music Information Retrieval

5 Elektronické hudobné formáty
MIDI (Music Instrument Digital Interface) Štandard pre odosielanie a prijímanie dát medzi MIDI-zariadeniami (gitara, keyboard a pod.) Zvukové, svetelné zariadenia – komunikácia, synchronizácia Ďalšie štandardy: GM, GS, XG, SMF Symbolický zápis hudby v MIDI: 128 MIDI-nôt v 128 hlasitostiach MIDI udalosti: Note On, Note Off, výška tónu, rýchlosť stisku, rýchlosť uvoľnenia, ďalšie... Neposkytuje dostatočnú hudobnú sémantickú informáciu (dynamika, agogika, nástroj, prstoklad, smyky, grafika nôt ...) Nie je vhodný pre plnohodnotnú hudobnú reprezentáciu MusicXML Základ: technológia značkovacieho jazyka XML Formát pre hudobnú reprezentáciu a zdieľanie medzi používateľmi Vývoj od r. 2000, M.Good, Recordare Západná hudobná notácia od 17.st. SMDL (Standard Music Description language) Základ – SGML formát Časti: logická, vizuálna, gestikulačná, analytická NIFF (Notation Interchange File Format) Prenos hudobnej notácie medzi používateľmi Iné MusiCat, MusiXML, ChordML, Humdrum... Music Information Retrieval

6 Music Information Retrieval
MusicXML <score-partwise> <part-list> <score-part id="P1"> <part-name>Music</part-name> </score-part> </part-list> <part id="P1"> <measure number="1"> <attributes> <divisions>1</divisions> <key> <fifths>0</fifths> </key> <time> <beats>4</beats> <beat-type>4</beat-type> </time> <clef> <sign>G</sign> <line>2</line> </clef> </attributes> <note> <pitch> <step>C</step> <octave>4</octave> </pitch> <duration>4</duration> <type>whole</type> </note> </measure> </part> </score-partwise> „Hello world“ Najjednoduchší hudobný notový zápis: jeden hudobný nástroj jeden takt metrum 4/4 jedna nota : výška: C1 dĺžka: celá nota Ďalšie atribúty: kvintový kruh, 0. pozícia (C-dur), husľový G-kľúč na 2. pozícii Dopln sem strucnu informaciu v jednotlivych tagoch: Music Information Retrieval

7 Music Information Retrieval
Aplikácie Desktopové Sibelius, Finale, Guitar Pro, MuseScore... Základná funkcionalita: Editovanie notového zápisu (myš, klavesnica, klaviatúra) Prehranie notového zápisu Export/import do formátov: MIDI, MusicXML, PDF... Webové Noteflight, Wikifonia, WikiComposer ... Editovanie notového zápisu (myš) Zdieľanie nôt Music Information Retrieval

8 Music Information Retrieval
Aplikácie Music Information Retrieval

9 Music Information Retrieval
Iné aplikácie BrailleMUSE Prevod hudobného notového zápisu v MusicXML do Braillovho písma Znaky ako pre čítanie a písanie Webový portál Podobný wikipedii. Editovanie melódie (Flash klavír, Javascript-klaviatúra, myš, mikrofón, melodická kontúra, rytmus, SOAP rozhranie) Vyhľadávanie melódie v databáze, na webe Music Information Retrieval

10 Music Information Retrieval Získavanie hudobných znalostí
Jednohlasná, viachlasná (polyfonická) hudba Analógia s dolovaním znalostí z textov: Segmentácia jazyka – medzery, interpukčné znamienka Segmentácia hudby – takty? synonymá Hudba západného sveta od 17.st. Tóny definovanej výšky (12 tónov oktávy stupnice) Noty reprezentované cez: výšku, dĺžku, silu (dynamiku), kvalitu (farbu) Dopyt Priame manuálne programovanie Notový zápis MIDI klávesnica Editovanie (cez grafický alebo textový dialóg) Pískanie, hmkanie, spievanie do mikrofónu Music Information Retrieval

11 Reprezentácia melódie
Klasifikácia hudobných dát podľa obsahu Jednohlasná hudba (rytmické, melodické sekvencie) Rytmus skladby-postupnosť úderov Klasifikácia pre výškové intervaly: „UDU“ Klasifikácia pre dĺžku nôt: „LSR“ Transformácia do postupnosti tónov (výška a dĺžka noty) Melodická sekvencia (textový reťazec): F4|B8|G2|G2|F2|B4.|G4|G4 Symbol Výškový „interval“ U up D down S / R same (repeat) Symbol Dĺžka noty L long S short R repetition Rho, S., Hwang, E.: FMF (Fast Melody Finder): A Web-Based Music Retrieval System, Elsevier Inc., (2004). Music Information Retrieval

12 Reprezentácia melódie
Klasifikácia hudobných dát podľa obsahu Jednohlasná hudba Klasifikácia pre dĺžku nôt: BBDBBDBBBBBBD - rytmická sekvencia Klasifikácia pre výškové intervaly: Transformácia do postupnosti výškových intervalov (orientácia +/-, durový/molový) Melodická sekvencia: +B+D-b-B+C-B+A+b-b-C - melodická sekvencia Symbol Výškový interval A B 2 C 4 D 5 E 7 F 9 G 11 H iný a 1 b 3 d 6 e 8 f 10 + hore - dole Symbol Dĺžka noty A (0,1/4] B (1/4,2/4] C (2/4,3/4] D (3/4,4/4] E (4/4,5/4] F (5/4,6/4] G (6/4,7/4] H (7/4,8/4] I nad 2 doby Lin, C., Liu, N., Wu, Y., Chen, A.: Music Classification Using Significant Repeating Patterns, Springer, (2004) Music Information Retrieval

13 Klasifikácia hudobných dát
Klasifikácia hudobných dát podľa obsahu Hľadanie Significant repeating pattern Postupnosť tónov, ktorá sa v skladbe opakuje v rámci rytmických a melodických sekvencií Parametre: max.dĺžka postupnosti min. dĺžka postupnosti min. frekvencia postupnosti Lin, C., Liu, N., Wu, Y., Chen, A.: Music Classification Using Significant Repeating Patterns, Springer, (2004) Music Information Retrieval

14 Music Information Retrieval
Extrahovanie melódie Vyhľadávanie melódie: v databáze skladieb / na webe podľa hudobného motívu: Hudobný motív (semantická jednotka hud. kompozície) Úvodná melódia (first melody) Hlavná melodická téma (climax melody) Refrén Metrum, výška, dĺžka tónov –8 hudobných motívov Kompozičná forma A-B-C-D-E-B´-C-D 3 podobné skupiny:(B,B´),(C,C),(D,D) Won, Lee, Park, Kim,: A Content-Based Music Retrieval System Using Repres. Melody Index from Music Databases, (2004) Music Information Retrieval

15 Music Information Retrieval
Extrahovanie melódie Matica podobností Podobnosti medzi motívmi: 3. a % 4. a % 2. a 6. 99% 3 zhluky (clustre) Reprezentatívne melódie: 6,3,8 + 1 Won, Lee, Park, Kim,: A Content-Based Music Retrieval System Using Repres. Melody Index from Music Databases, (2004) Music Information Retrieval

16 Music Information Retrieval
Extrahovanie melódie Extrakcia hudobných motívov Metóda rozhodovacích stromov (suffix tree) Suffix tree: indexovanie dokumentov na webe, DNA sekvencie Mnohovetvový strom s jednou možnou vetvou pre každé písmeno Hudba: 12 tónov Metóda je založená na datovej štruktúre nazývanej suffix tree. Metóda je známa z obdobia 70. rokov a využíva sa najmä pri indexovaní dokumentov na webe alebo pri DNA sekvenciách. Strom predstavuje mnohovetvový strom s jednou možnou vetvou pre každé písmeno v abecede dokumentu, ktoré sa indexuje. Verbeurgt, K., Dinolfo, M., Fayer, M.: Extracting Patterns in Music for Composition via Markov Chains, Springer, (2004) Music Information Retrieval

17 Music Information Retrieval
Extrahovanie melódie Hudobná sekvencia "C D E D C D E F G„ Čo bude hudobný motív? Opakujúca sa postupnosť „CDE“. Markovovský reťazec – prechodové stavy Pravdepodobnosti prechodov Algoritmické komponovanie hudby – počúvateľnosť Žiadne pravidlá hudobnej teórie Komponovanie hudby: neurónové siete, evolučné programovanie, automaty, Markovovské reťazce... Metóda je založená na datovej štruktúre nazývanej suffix tree. Metóda je známa z obdobia 70. rokov a využíva sa najmä pri indexovaní dokumentov na webe alebo pri DNA sekvenciách. Strom predstavuje mnohovetvový strom s jednou možnou vetvou pre každé písmeno v abecede dokumentu, ktoré sa indexuje. Začínajúc na každej pozícii sekvencie vkladáme každé ďalšie písmeno sekvencie dovtedy, kým dostaneme jedinečnú príponu. Motív CDE sa vyskytuje v sekvencii dvakrát (na 1. a na 5. pozícii). Navzájom ich od seba odlišuje štvrtý tón-písmeno, ktorým je v 1. prípade D a v 2. prípade F. Čo bude hudobným motívom z ľubovoľnej hudobnej sekvencie? N-krát sa opakujúci hudobný motív (nejaká podpostupnosť tónov). V našom prípade „CDE“. Verbeurgt, K., Dinolfo, M., Fayer, M.: Extracting Patterns in Music for Composition via Markov Chains, Springer, (2004) Music Information Retrieval

18 Klasifikácia hudobných dát
Automatická klasifikácia hudobných súborov do hudobných štýlov Aplikovanie techník pre klasifikáciu textu Čo je v hudbe ekvivalentné slovám v texte? Melódia rozdelená na n-notové slová/termy Pérez-Sancho, C., Inesta, J., M., Calera-Rubio, J.: A Text Categorization Approach for Music Style recognition. Springer, (2005). Music Information Retrieval

19 Klasifikácia hudobných dát
MIDI – analýza melodického tracku Výška noty Dĺžka noty = počet úderov medzi zaznením 1. a 2. noty (zanedbajúc pomlčky) Hudobné slovo (z n tónov): postupnosť symbolov (I1, R1, ... In-1, Rn-1) Výškový interval: Ii = Pitchi+1 – Pitchi Dĺžka noty: Ri = ( Onseti+2 – Onseti+1 ) / ( Onseti+1 – Onseti ) Stop slová - pomlčky nad 4. doby Pérez-Sancho, C., Inesta, J., M., Calera-Rubio, J.: A Text Categorization Approach for Music Style recognition. Springer, (2005). Music Information Retrieval

20 Music Information Retrieval
Algoritmy + Výzvy Algoritmy na porovnávanie melodických reťazcov Longest Common Subsequence Algorithm (LCS) Dynamic Programming Algorithm – štandard v MusicIR Bozer-Moore Algorithm Výzvy pre ďalší výskum Je potrebné reprezentovať melódiu vo forme reťazca znakov? Je možné hudbu prepísať do podoby slov v texte? Koľko atribútov je postačujúcich? Je to dostatočná reprezentácia pre dolovanie hudobných znalostí? Nebola by vhodná iná reprezentácia? Ktoré metódy je vhodné aplikovať na danú melodickú reprezentáciu? Music Information Retrieval

21 Mgr. Nikoleta Habudová FIIT STU
Ďakujem za pozornosť Mgr. Nikoleta Habudová FIIT STU