Music Information Retrieval Mgr. Nikoleta Habudová FIIT STU

Music Information Retrieval Získavanie hudobných informácií / Dolovanie hudobných znalostí Založené na metadátach: autor, názov diela, interpret, text piesne a pod. V 90.r. 20.st. prvotné systémy - vyhľadávanie podľa melódie (hmkanie, hra na klaviatúre, notový zápis) Dôvod výskumu: vyhľadávanie cez klaviatúru, notový zápis, zvuk (spev, hudobný nástroj) rozpoznanie hudobného štýlu skladby, odhaľovanie hudobného plagiátorstva, komponovanie cez počítač a pod. Doplň odkazy na takéto systémy na webe. 22.11.2010 Music Information Retrieval

Music Information Retrieval Obsah Hudobné formáty Aplikácie na symbolický zápis vyhľadávanie podľa hudobného motívu Získavanie hudobných znalostí (MusicIR) Reprezentácia hudobnej melódie Extrakcia hudobného motívu Klasifikácia hudobných dát Algoritmické komponovanie hudby 22.11.2010 Music Information Retrieval

Elektronické hudobné formáty Audio: .wav, .mp3 Symbolický zápis (notový): MIDI, MusicXML Time-stamped events 22.11.2010 Music Information Retrieval

Elektronické hudobné formáty MIDI (Music Instrument Digital Interface) Štandard pre odosielanie a prijímanie dát medzi MIDI-zariadeniami (gitara, keyboard a pod.) Zvukové, svetelné zariadenia – komunikácia, synchronizácia Ďalšie štandardy: GM, GS, XG, SMF Symbolický zápis hudby v MIDI: 128 MIDI-nôt v 128 hlasitostiach MIDI udalosti: Note On, Note Off, výška tónu, rýchlosť stisku, rýchlosť uvoľnenia, ďalšie... Neposkytuje dostatočnú hudobnú sémantickú informáciu (dynamika, agogika, nástroj, prstoklad, smyky, grafika nôt ...) Nie je vhodný pre plnohodnotnú hudobnú reprezentáciu MusicXML Základ: technológia značkovacieho jazyka XML Formát pre hudobnú reprezentáciu a zdieľanie medzi používateľmi Vývoj od r. 2000, M.Good, Recordare Západná hudobná notácia od 17.st. SMDL (Standard Music Description language) Základ – SGML formát Časti: logická, vizuálna, gestikulačná, analytická NIFF (Notation Interchange File Format) Prenos hudobnej notácie medzi používateľmi Iné MusiCat, MusiXML, ChordML, Humdrum... 22.11.2010 Music Information Retrieval

Music Information Retrieval MusicXML <score-partwise> <part-list> <score-part id="P1"> <part-name>Music</part-name> </score-part> </part-list> <part id="P1"> <measure number="1"> <attributes> <divisions>1</divisions> <key> <fifths>0</fifths> </key> <time> <beats>4</beats> <beat-type>4</beat-type> </time> <clef> <sign>G</sign> <line>2</line> </clef> </attributes> <note> <pitch> <step>C</step> <octave>4</octave> </pitch> <duration>4</duration> <type>whole</type> </note> </measure> </part> </score-partwise> „Hello world“ Najjednoduchší hudobný notový zápis: jeden hudobný nástroj jeden takt metrum 4/4 jedna nota : výška: C1 dĺžka: celá nota Ďalšie atribúty: kvintový kruh, 0. pozícia (C-dur), husľový G-kľúč na 2. pozícii Dopln sem strucnu informaciu v jednotlivych tagoch: 22.11.2010 Music Information Retrieval

Music Information Retrieval Aplikácie Desktopové Sibelius, Finale, Guitar Pro, MuseScore... Základná funkcionalita: Editovanie notového zápisu (myš, klavesnica, klaviatúra) Prehranie notového zápisu Export/import do formátov: MIDI, MusicXML, PDF... Webové Noteflight, Wikifonia, WikiComposer ... Editovanie notového zápisu (myš) Zdieľanie nôt 22.11.2010 Music Information Retrieval

Music Information Retrieval Aplikácie 22.11.2010 Music Information Retrieval

Music Information Retrieval Iné aplikácie BrailleMUSE http://gotoh-lab.jks.ynu.ac.jp/braille_music_score_english/e-top-new.html Prevod hudobného notového zápisu v MusicXML do Braillovho písma Znaky ako pre čítanie a písanie Webový portál www.musipedia.org Podobný wikipedii. Editovanie melódie (Flash klavír, Javascript-klaviatúra, myš, mikrofón, melodická kontúra, rytmus, SOAP rozhranie) Vyhľadávanie melódie v databáze, na webe 22.11.2010 Music Information Retrieval

Music Information Retrieval Získavanie hudobných znalostí Jednohlasná, viachlasná (polyfonická) hudba Analógia s dolovaním znalostí z textov: Segmentácia jazyka – medzery, interpukčné znamienka Segmentácia hudby – takty? synonymá Hudba západného sveta od 17.st. Tóny definovanej výšky (12 tónov oktávy stupnice) Noty reprezentované cez: výšku, dĺžku, silu (dynamiku), kvalitu (farbu) Dopyt Priame manuálne programovanie Notový zápis MIDI klávesnica Editovanie (cez grafický alebo textový dialóg) Pískanie, hmkanie, spievanie do mikrofónu 22.11.2010 Music Information Retrieval

Reprezentácia melódie Klasifikácia hudobných dát podľa obsahu Jednohlasná hudba (rytmické, melodické sekvencie) Rytmus skladby-postupnosť úderov Klasifikácia pre výškové intervaly: „UDU“ Klasifikácia pre dĺžku nôt: „LSR“ Transformácia do postupnosti tónov (výška a dĺžka noty) Melodická sekvencia (textový reťazec): F4|B8|G2|G2|F2|B4.|G4|G4 Symbol Výškový „interval“ U up D down S / R same (repeat) Symbol Dĺžka noty L long S short R repetition Rho, S., Hwang, E.: FMF (Fast Melody Finder): A Web-Based Music Retrieval System, Elsevier Inc., (2004). 22.11.2010 Music Information Retrieval

Reprezentácia melódie Klasifikácia hudobných dát podľa obsahu Jednohlasná hudba Klasifikácia pre dĺžku nôt: BBDBBDBBBBBBD - rytmická sekvencia Klasifikácia pre výškové intervaly: Transformácia do postupnosti výškových intervalov (orientácia +/-, durový/molový) Melodická sekvencia: +B+D-b-B+C-B+A+b-b-C - melodická sekvencia Symbol Výškový interval A B 2 C 4 D 5 E 7 F 9 G 11 H iný a 1 b 3 d 6 e 8 f 10 + hore - dole Symbol Dĺžka noty A (0,1/4] B (1/4,2/4] C (2/4,3/4] D (3/4,4/4] E (4/4,5/4] F (5/4,6/4] G (6/4,7/4] H (7/4,8/4] I nad 2 doby Lin, C., Liu, N., Wu, Y., Chen, A.: Music Classification Using Significant Repeating Patterns, Springer, (2004) 22.11.2010 Music Information Retrieval

Klasifikácia hudobných dát Klasifikácia hudobných dát podľa obsahu Hľadanie Significant repeating pattern Postupnosť tónov, ktorá sa v skladbe opakuje v rámci rytmických a melodických sekvencií Parametre: max.dĺžka postupnosti min. dĺžka postupnosti min. frekvencia postupnosti Lin, C., Liu, N., Wu, Y., Chen, A.: Music Classification Using Significant Repeating Patterns, Springer, (2004) 22.11.2010 Music Information Retrieval

Music Information Retrieval Extrahovanie melódie Vyhľadávanie melódie: v databáze skladieb / na webe podľa hudobného motívu: Hudobný motív (semantická jednotka hud. kompozície) Úvodná melódia (first melody) Hlavná melodická téma (climax melody) Refrén Metrum, výška, dĺžka tónov –8 hudobných motívov Kompozičná forma A-B-C-D-E-B´-C-D 3 podobné skupiny:(B,B´),(C,C),(D,D) Won, Lee, Park, Kim,: A Content-Based Music Retrieval System Using Repres. Melody Index from Music Databases, (2004) 22.11.2010 Music Information Retrieval

Music Information Retrieval Extrahovanie melódie Matica podobností Podobnosti medzi motívmi: 3. a 7. 100% 4. a 8. 100% 2. a 6. 99% 3 zhluky (clustre) Reprezentatívne melódie: 6,3,8 + 1 Won, Lee, Park, Kim,: A Content-Based Music Retrieval System Using Repres. Melody Index from Music Databases, (2004) 22.11.2010 Music Information Retrieval

Music Information Retrieval Extrahovanie melódie Extrakcia hudobných motívov Metóda rozhodovacích stromov (suffix tree) Suffix tree: indexovanie dokumentov na webe, DNA sekvencie Mnohovetvový strom s jednou možnou vetvou pre každé písmeno Hudba: 12 tónov Metóda je založená na datovej štruktúre nazývanej suffix tree. Metóda je známa z obdobia 70. rokov a využíva sa najmä pri indexovaní dokumentov na webe alebo pri DNA sekvenciách. Strom predstavuje mnohovetvový strom s jednou možnou vetvou pre každé písmeno v abecede dokumentu, ktoré sa indexuje. Verbeurgt, K., Dinolfo, M., Fayer, M.: Extracting Patterns in Music for Composition via Markov Chains, Springer, (2004) 22.11.2010 Music Information Retrieval

Music Information Retrieval Extrahovanie melódie Hudobná sekvencia "C D E D C D E F G„ Čo bude hudobný motív? Opakujúca sa postupnosť „CDE“. Markovovský reťazec – prechodové stavy Pravdepodobnosti prechodov Algoritmické komponovanie hudby – počúvateľnosť Žiadne pravidlá hudobnej teórie Komponovanie hudby: neurónové siete, evolučné programovanie, automaty, Markovovské reťazce... Metóda je založená na datovej štruktúre nazývanej suffix tree. Metóda je známa z obdobia 70. rokov a využíva sa najmä pri indexovaní dokumentov na webe alebo pri DNA sekvenciách. Strom predstavuje mnohovetvový strom s jednou možnou vetvou pre každé písmeno v abecede dokumentu, ktoré sa indexuje. Začínajúc na každej pozícii sekvencie vkladáme každé ďalšie písmeno sekvencie dovtedy, kým dostaneme jedinečnú príponu. Motív CDE sa vyskytuje v sekvencii dvakrát (na 1. a na 5. pozícii). Navzájom ich od seba odlišuje štvrtý tón-písmeno, ktorým je v 1. prípade D a v 2. prípade F. Čo bude hudobným motívom z ľubovoľnej hudobnej sekvencie? N-krát sa opakujúci hudobný motív (nejaká podpostupnosť tónov). V našom prípade „CDE“. Verbeurgt, K., Dinolfo, M., Fayer, M.: Extracting Patterns in Music for Composition via Markov Chains, Springer, (2004) 22.11.2010 Music Information Retrieval

Klasifikácia hudobných dát Automatická klasifikácia hudobných súborov do hudobných štýlov Aplikovanie techník pre klasifikáciu textu Čo je v hudbe ekvivalentné slovám v texte? Melódia rozdelená na n-notové slová/termy Pérez-Sancho, C., Inesta, J., M., Calera-Rubio, J.: A Text Categorization Approach for Music Style recognition. Springer, (2005). 22.11.2010 Music Information Retrieval

Klasifikácia hudobných dát MIDI – analýza melodického tracku Výška noty Dĺžka noty = počet úderov medzi zaznením 1. a 2. noty (zanedbajúc pomlčky) Hudobné slovo (z n tónov): postupnosť symbolov (I1, R1, ... In-1, Rn-1) Výškový interval: Ii = Pitchi+1 – Pitchi Dĺžka noty: Ri = ( Onseti+2 – Onseti+1 ) / ( Onseti+1 – Onseti ) Stop slová - pomlčky nad 4. doby Pérez-Sancho, C., Inesta, J., M., Calera-Rubio, J.: A Text Categorization Approach for Music Style recognition. Springer, (2005). 22.11.2010 Music Information Retrieval

Music Information Retrieval Algoritmy + Výzvy Algoritmy na porovnávanie melodických reťazcov Longest Common Subsequence Algorithm (LCS) Dynamic Programming Algorithm – štandard v MusicIR Bozer-Moore Algorithm Výzvy pre ďalší výskum Je potrebné reprezentovať melódiu vo forme reťazca znakov? Je možné hudbu prepísať do podoby slov v texte? Koľko atribútov je postačujúcich? Je to dostatočná reprezentácia pre dolovanie hudobných znalostí? Nebola by vhodná iná reprezentácia? Ktoré metódy je vhodné aplikovať na danú melodickú reprezentáciu? 22.11.2010 Music Information Retrieval

Mgr. Nikoleta Habudová FIIT STU Ďakujem za pozornosť Mgr. Nikoleta Habudová FIIT STU