di Andrea Giomi

[Presentiamo oggi la prima parte di un approfondito articolo di Andrea Giomi sui temi del design sonoro e della mediazione tecnologica, che si colloca all’interno del filone proposto dal blog sulla sensoristica di movimento (altri articoli qui, qui e qui).
Andrea Giomi. Musicista, artista digitale e PhD candidate presso l’Université Côte d’Azur e il CIRM (Centre National de Création Musicale Nice, FR). La sua ricerca artistica ed accademica ruota attorno alla relazione tra gesto, nuove tecnologie e suono. Membro del collettivo artistico e teatrale Kokoschka Revival, si interessa particolarmente ai processi improvvisativi nell’ambito della musica elettroacustica e della produzione elettronica.]

Gesto, suono, interazione.
Verso un approccio ecologico al design sonoro e alla mediazione tecnologica.
Parte prima.

Physical computing e interattività digitale

A partire dagli anni ‘90, le tecnologie digitali hanno assunto un ruolo preponderante nelle arti performative trasformandone tanto l’universo semiotico quanto i processi creativi. Un’importanza sempre maggiore sembrano aver assunto in quest’ambito le cosiddette pratiche di physical computing (Igoe e O’Sullivan 2004). Nel senso più ampio del termine, physical computing designa la costruzione di sistemi e ambienti responsivi [responsive] in grado percepire e rispondere, in maniera interattiva, all’ambiente circostante. Esso è quindi alla base di una serie di pratiche eterogenee che includono tanto lavori di new media art quanto progetti di wearable design, quanto infine prodotti commerciali di consumo che contemplino una qualche forma di interattività tra utente e interfaccia [device]. Tutti questi si basano sull’impiego di sensori e microcontrollori^[1] per l’acquisizione dell’input analogico il quale può servire al controllo di contenuti virtuali come un’immagine, un suono, un testo, etc. Il concetto di physical computing implica quindi una relazione di tipo biunivoco tra ambiente fisico e ambiente digitale. Tale relazione presenta almeno due caratteristiche peculiari: la multimedialità e l’interattività. Come ci ricorda il filosofo Roberto Diodato, «la multimedialità indica una peculiare ricchezza rappresentazionale di un ambiente mediato» mentre «l’interattività designa il livello di partecipazione degli utenti nel modificare la forma e il contenuto di un ambiente» (Diodato 2004: 12).

Negli ultimi dieci anni, le tecnologie di motion capture sono diventate, inoltre, sempre più accessibili su larga scala e presenti nella maggior parte dei dispositivi tecnologici sul mercato. Dalle interfacce di controllo dei video-games, agli smartphone e ai tablet, tutti questi devices contengono sensori di movimento, di posizione, di geolocalizzazione che permettono un’interazione gestuale, in tempo reale, tra l’utente ed un contenuto virtuale (AA.VV. 2014). Lo stesso concetto di interattività ha lentamente oltrepassato i confini del contesto specialistico per divenire una nozione d’uso comune tanto tra gli utenti della rete quanto nelle strategie di marketing rivolte al consumo di massa (Fill 2010). Occorre sottolineare come la sempre maggiore produzione su scala industriale di device interattivi sia inoltre dovuta al successo di pratiche, quantomeno inizialmente, di nicchia. Tra queste occorre citare, oltre alla sperimentazione con media digitali in campo artistico, il diffondersi di numerose pratiche D.I.Y. (Do it Yourself) nell’ambito dello sviluppo hardware e software, la crescente domanda di interattività nel mondo del video-gaming e lo sviluppo di piattaforme openframework per la condivisione di saperi tecnologici (Noble 2009).

Tecnologie e movimento

Dal punto di vista tecnologico possiamo individuare quattro tipologie principali di sensori, correntemente impiegati nella progettazione di sistemi interattivi per la performance: sistemi di captazione ottica, sensori di movimento, sensori ambientali e sensori di bio-feedback.

La prima tipologia si basa generalmente sull’utilizzo di videocamere a infrarossi, o termiche, che permettono l’analisi del movimento sulla base di un principio di figura/sfondo (la Xbox Kinect è un esempio molto noto di questa categoria). Il performer, in quanto sorgente termica, è isolato rispetto all’ambiente esterno. Quest’operazione è spesso coadiuvata dall’uso di markers posti sul corpo del performer. Si tratta di elementi luminosi che hanno la funzione di “marcare”, in modo pertinente, alcuni punti precisi del corpo (es. testa, giunture, tronco, etc.). Tali marcatori vengono poi utilizzati come base per dividere il corpo in segmenti. Attraverso l’analisi di questi dati è possibile ricostruire una rappresentazione tridimensionale del movimento. Questo sistema di captazione e di rappresentazione del movimento è chiamato motion capture (Delbridge 2015). La sua particolarità risiede nel fatto che la codifica del movimento è sempre relativa alla distanza dalla sorgente di captazione e non è mai, dunque, assoluta. I sistemi di motion capture hanno trovato un impiego importante soprattutto nell’ambito della danza interattiva grazie al fatto che permettono una rappresentazione macroscopica del movimento.

Una seconda tipologia è rappresentata dai sensori di movimento in senso stretto. In questa categoria rientrano un numero molto esteso di sensori che vanno dagli accelerometri ai giroscopi, dai sensori di flessione a quelli di pressione. Molti dei dispositivi di uso comune come tablet o smartphone impiegano alcuni di questi sensori. Ognuna di queste sotto-tipologie può essere impiegata al fine di codificare un aspetto o una qualità specifica del movimento: gli accelerometri vengono spesso utilizzati per ricostruire la potenza del gesto, i giroscopi per indicarne la direzione vettoriale, etc. Rispetto alla captazione ottica, permettono di codificare in maniera più dettagliata il movimento, ma non sono in grado di produrre una rappresentazione macroscopica in relazione allo spazio. Anche per questa ragione, questa tipologia è molto utilizzata nell’ambito dell’analisi del gesto musicale, essendo il musicista normalmente più legato all’utilizzo degli arti superiori che non al movimento all’interno dello spazio.

La terza tipologia, i sensori ambientali, sono da un punto di vista tecnico simili a quelli di movimento. Ciò che cambia è la loro funzione. Diversamente dai primi, questi non sono applicati sul corpo del performer o dello strumento del musicista, ma all’interno dello spazio scenico o installativo. Ne sono un esempio i sensori di prossimità, i sensori di distanza, i fotoresistori, i sensori termici, etc. La loro applicazione in ambito artistico è principalmente, ma non solo, quello delle installazioni interattive.

L’ultima tipologia, i sensori di bio-feedback, comprende una serie di dispositivi, utilizzati principalmente in ambito medico, per l’analisi e la codifica dei segnali interni al corpo umano (pressione sanguigna, EMG, respiro, battito cardiaco, etc.). Il loro impiego in ambito artistico è piuttosto recente, ma in rapida diffusione. Tra i primi a sperimentare in maniera sistematica con questo tipo di tecnologie troviamo Atau Tanaka, artista nippo-americano, che già dagli anni 2000 basa molti dei suoi lavori sull’utilizzo dei sensori EMG (elettromiografia), ovvero una tecnica di analisi dei segnali elettrici alla base della contrazione muscolare (Tanaka 2015).

Scena digitale e corpo sonoro

Da un punto di vista estetico, l’impiego crescente di sensori di movimento e di interfacce interattive ha innanzitutto permesso una graduale ridefinizione dei confini che separano corpo fisico e ambiente virtuale. Dalle performance multimediali dei Troika Ranch e della compagnia Palindrome ai CD-ROMs interattivi di William Forsythe, dalle coreografie in ambienti virtuali di Yacov Sharir ai sistemi audiovisuali reattivi di Klaus Obermaier, dalle performance telematic-based di Susan Kozel alle installazioni interattive di Sarah Rubidge, una molteplicità di forme artistiche ibride sono emerse dall’incontro con i nuovi media permettendo la nascita di una vera e propria “scena digitale” (Menicacci e Quinz, 2001; Dixon 2007). Quello musicale è senza dubbio uno degli ambiti che più ha investito in termini di sperimentazione con le tecnologie interattive. A questo riguardo possiamo individuare quattro macro-ambiti della ricerca cui corrispondono altrettanti livelli di astrazione del corpo sonoro.

Il primo è quello dei cosiddetti hyperinstruments (Machover 1992; Bevilacqua 2012), ovvero strumenti tradizionali “aumentati” attraverso l’applicazione di sensori in grado di arricchire la possibilità espressive dell’esecutore. In questo caso il suono acustico può essere campionato o elaborato elettronicamente a partire dall’interazione con alcuni aspetti secondari del gesto musicale. Qui il corpo sonoro è lo strumento stesso il quale viene “esteso” elettronicamente attraverso l’interazione digitale.

Un secondo ambito è quello dei metainstruments o delle nuove liuterie elettroniche. In questo campo possiamo far rientrare tutti quei progetti finalizzati alla concezione e allo sviluppo di nuovi strumenti per la generazione e il controllo in tempo reale dei processi sonori digitali (si veda in proposito lo storico dei progetti presentati al NIME, conferenza annuale dedicata alle nuove interfacce per l’espressione musicale). Padrino riconosciuto in quest’ambito è certamente l’artista olandese Michel Waisvizs (Waisvizs 1986, 2002), che con il suo strumento The Hands è tra i primi, già negli anni ’80, a creare dei prototipi innovativi di interfaccia musicale. Qui il corpo sonoro dello strumento tradizionale diventa il corpo sonoro dell’interfaccia, medium ibrido che combina manipolazione elettronica e interazione gestuale.

Dallo strumento esteso, alle nuove interfacce musicali, passiamo a un terzo livello di astrazione, ovvero il corpo come strumento. Come affermava l’etnomusicologo francese André Schaeffner all’inizio del ventesimo secolo, il corpo è certamente il primo strumento musicale utilizzato dall’uomo, a testimonianza di quanto la dimensione sonora sia inevitabilmente legata a quella del movimento (Schaeffner 1936). Oggi, l’impiego di sensori applicati direttamente sul performer o di telecamere utilizzate per registrarne i movimenti permette di ristabilire quella connessione originaria che lega il corpo alla produzione sonora. Com’è evidente, la danza è senza dubbio la disciplina che ha più sfruttato le tecnologie interattive come mezzo per collegare il movimento del performer alla generazione e al controllo dei processi sonori. Si vedano a questo riguardo i lavori dei già citati Troika Ranch e Palindrome Intermedia Performance Group (Brodhurst e Machon, 2011) o, per quanto riguarda l’Italia, le creazioni della compagnia AIEP, particolarmente attiva durante gli anni ’90 e ’00 nell’ambito della danza interattiva digitale (Castellazzi 2012). In questo caso il corpo sonoro viene a coincidere con quello del performer, la mediazione che normalmente è rappresentata dallo strumento, diventa qui la forma effimera e sottile della programmazione algoritmica e del sistema di sensori.

Un ultimo livello di astrazione è quello degli ambienti interattivi. In questo caso il corpo sonoro è dilatato a tal punto da coincidere con lo spazio scenico o installativo. Pioniere di quest’ambito è certamente l’artista canadese David Rockeby, creatore di Very Nervous System, un ambiente interattivo in cui il performer/fruitore ha la possibilità di interagire con un ricco universo musicale composto di numerosi pattern che si susseguano in forma ciclica (Rockeby 1998). In quest’ambito possiamo far rientrare tanto forme di performance partecipativa, come Sensuous Geographies di Sarah Rubidge (Brodhurst e Machon, 2011), in cui il suono è utilizzato come traccia in grado di definire la presenza dei partecipanti all’interno dello spazio, sia forme basate sulla virtual reality, come Osmose di Char Davies, lavoro in cui l’elemento sonoro risponde principalmente alla necessità di creare un’esperienza immersiva dell’ambiente audiovisivo (Grau 2001).

David Rokeby, Very Nervous System from admiralbun on Vimeo.

^[1] In elettronica il microcontrollore è un dispositivo integrato su singolo chip, utilizzato generalmente per applicazioni specifiche di controllo digitale. È progettato per interagire direttamente con il mondo esterno tramite un programma residente nella propria memoria interna e mediante l’uso di pin (spine o ingressi) specializzati o configurabili dal programmatore. Il più celebre microntrollore in commercio è certamente Arduino, il cui successo planetario risiede tanto nel costo contenuto dei componenti, quanto nella grande accessibilità tecnica e nella struttura completamente open framework del hardware e del software. Vedi BANZI Massimo, Getting started with Arduino, Make, 2008.

BIBLIOGRAFIA

img: Andrea Giomi al Tempo Reale Festival 2016 © Mario Carovani