Itä-Suomen yliopiston, VTT:n ja Aalto-yliopiston SonicMove -projektissa tutkitaan ihmiskehon liikkeiden käyttöä ääni- ja tuntopalautteen synteesissä. Yhteistyössä Tanssiteatteri Minimin kanssa sonifikaatiota sovelletaan koreografisessa näyttämöteoksessa.
Tanssiteatteri Minimin uusin teos Biodatasonaatti sai ensi-iltansa marraskuun puolivälissä Kuopiossa. Teoksessa tanssijoihin kiinnitettyjen liikeantureiden tuottama data muutetaan ääneksi, jonka katsoja kuulee esitystä seuratessaan.
– Inertia-anturien avulla mitataan jatkuvatoimisesti muun muassa tanssijoiden asentoja ja kokonaiskiihtyvyyttä, kertoo projektitutkija Paavo Vartiainen Itä-Suomen yliopiston teknillisen fysiikan laitokselta.
– Aloitimme projektin määrittämällä tietyt kriittiset datavirrat äänisuunnittelua varten. Minimillä on teoksessaan käytössä aivan samat laitteet kuin kampuksella sijaitsevassa HUMEA-laboratoriossamme. Usein tutkimustarkoituksissa pyritään tarkkaan kehon osien liikkeen mittaukseen ja analyysiin. Nyt sonifikaatiota kehitettäessä tanssiteatterin käyttöön korostui se, että laitteisto- ja ohjelmistokokonaisuuden on oltava varmatoiminen näyttämöllä ja helppo käyttää.
Kuvassa: Tanssijoihin kiinnitettyjen liikeantureiden tuottama data muutetaan ääneksi. Kuvassa etualalla Virva Torkko-Muñoz ja Mikko Makkonen, takana vasemmalla Sonja Rönkkö ja oikealla Katja Mustonen.
Liikeanturien käyttö ei itsessään ole uutta, mutta Minimin tanssiteoksessa anturien datavirrat tarjotaan Minimin äänisuunnittelijalle ja visuaaliselle suunnittelijalle viiveettömästi.
Minimin taiteellinen johtaja, Biodatasonaatin koreografi Mikko Makkonen näkee taiteen ja teknologian yhdistämisessä valtavasti mahdollisuuksia.
Datasta tehtävä taiteellinen vastine voi olla mitä tahansa.
Mikko Makkonen
Minimin taiteellinen johtaja, Biodatasonaatin koreografi
– Erilaisella kiihtyvyydellä tai asennon muutoksilla saadaan aikaan voimakkaita modulaatioita. Musiikki tuo vielä oman lisänsä esitykseen. Esityksen katsojan ja kuulijan voi kuitenkin olla ehkä vaikeaa hahmottaa mikä ääni tulee kenestäkin, Makkonen toteaa.
Biodatasonaatti -teosta varten ohjelmoitiin sovellus, joka vastaanottaa yhdeksän liikeanturin signaalit ja välittää ne viiveettä ääni- ja valosuunnittelijan ohjelmistoihin koko esityksen ajan. Tanssijoiden tuottama data on niin muuntuvaa, että haasteena äänisuunnittelun prosessissa on ollut toisteisuuden tuottaminen ja datan määrän hillitseminen.
Vartiaisen mukaan äänen muokkaaminen esiintyjien asennon ja liikkeen perusteella voi olla myös keino taiteen saavutettavuuden parantamiseksi.
– Puettavia tai kädessä pidettäviä sensoreita on mahdollista käyttää myös yleisön osallistamiseen.
Erityisesti älypuhelimissa olevia antureita hyödyntäen voitaisiin näyttämöesityksen katsojia osallistaa esityksen äänen muokkaamiseen.
– Tällaisessa jatkokehityksessä tarvitaan yhteistyötä mittausteknologian, äänisuunnittelijoiden ja taiteen osaajien välillä.
Kuvassa: Edessä Paavo Vartiainen, takana Mikko Makkonen.
– Erilaisia liikeantureita on käytössä muun muassa liikunta- ja kuntoutuspeleissä. SonicMove -hankkeessa yksi aihe on kehittää entistä aidomman tuntuisia ääniefektejä peleihin liikeantureita monipuolisesti käyttäen.
– Sonifikaatiota voidaan käyttää tulevaisuudessa myös kuntoutuksessa, josta löytyy jo muutama tutkimus maailmassa. Esimerkiksi aivohalvauksen yläraajakuntoutuksessa tästä on jo saatu lupaavaa tutkimusnäyttöä, kertoo dosentti Hanna Pohjola Itä-Suomen yliopistosta.
SonicMove - Ihmisen liikkeen luova ja ekspressiivinen sonifikaatio
Itä-Suomen yliopiston, VTT:n ja Aalto-yliopiston yhteisen SonicMove -Ihmisen liikkeen luova ja ekspressiivinen sonifikaatio - projektissa tutkitaan ihmiskehon liikkeiden käyttöä ääni- ja tuntopalautteen synteesissä ja sen käyttöä tanssi- ja kuntoutussovelluksissa. Kehon liikkeet voidaan mitata hyvin tarkasti esimerkiksi monikamerajärjestelmillä. Kun liiketieto yhdistetään äänisynteesiin, voidaan luoda ääniympäristöjä, joissa esimerkiksi käsien liikkeen nopeus voidaan yhdistää äänen korkeuteen. Näin kehon liike on aistittavissa sekä näkö- että kuuloaisteilla. Tätä moniaistista ratkaisua pyritään soveltamaan projektissa tanssitaiteen ilmaisukeinona sekä mahdollisesti osana neurologista kuntoutusta.
Projektissa tehdään yhteistyötä ammattitanssijoiden ja koreografien kanssa. Tavoitteena on tuottaa tanssiesityksiä, joissa ääni- ja tuntopalautteet ovat olennainen osa kokemusta. Keskeistä projektissa on äänisuunnittelu, jossa yhdessä koreografien ja tanssijoiden kanssa pyritään löytämään erilaisia äänenvärejä ja -tyylejä sekä merkityksiä liikkeisiin.
Projektin tuottamia ääni- ja tuntopalauteratkaisuja voidaan hyödyntää tanssikoreografien työssä jatkossa sekä yrityskumppanien tuotekehityksessä. Ratkaisuilla voidaan esimerkiksi lisätä tanssin immersiivisyyttä ja tehdä alan yritysten tuotteita kilpailukykyisemmäksi. Lisäksi projekti tuo yhteen poikkitieteellisen asiantuntijaryhmän, jotka hyötyvät toisistaan.
Lue lisää Minimin blogista!
Ylen juttu 15.11.: Uraauurtava tanssiteos muuttaa esiintyjien liikkeet ääneksi jopa rinnan röyhistystä myöten
Biodatasonaatin esitykset Kuopion Kaupunginteatterissa 15.11.-9.12.2023. Teosalustukset to 30.11. ja pe 8.12. näytösten edellä.
Kuvassa: Sonja Rönkkö, Virva Torkko-Muñoz ja Katja Mustonen.
