di Andrea Giomi

[Presentiamo oggi la seconda parte di un approfondito articolo di Andrea Giomi sui temi del design sonoro e della mediazione tecnologica, che si colloca all’interno del filone proposto dal blog sulla sensoristica di movimento (altri articoli qui, qui e qui).
Andrea Giomi. Musicista, artista digitale e PhD candidate presso l’Université Côte d’Azur e il CIRM (Centre National de Création Musicale Nice, FR). La sua ricerca artistica ed accademica ruota attorno alla relazione tra gesto, nuove tecnologie e suono. Membro del collettivo artistico e teatrale Kokoschka Revival, si interessa particolarmente ai processi improvvisativi nell’ambito della musica elettroacustica e della produzione elettronica.]

Gesto, suono, interazione.
Verso un approccio ecologico al design sonoro e alla mediazione tecnologica.
Parte seconda.
[Leggi la prima parte dell’articolo]

Verso una concezione incorporata della mediazione tecnologica

Diversamente dai primi lavori di new media art e performance digitale, che celebravano l’immaterialità del virtuale, la scena contemporanea sembra al contrario riconsiderare la questione della presenza e della partecipazione fisica. Anche in questo caso la dimensione acustica ha un ruolo chiave. Nei lavori di artisti come Cindy Van Acker, Ginette Laurin, Isabelle Choinière e Wayne McGregor, le tecnologie sonore e i dispositivi interattivi sono utilizzati come mezzo per ridisegnare la geografia sensoriale del performer, rendendolo consapevole dei processi percettivi che sono alla base del movimento. L’impiego di feedback sonori in tempo reale ha qui lo scopo di stimolare nel performer nuove modalità di composizione del gesto a partire dalla sua immaginazione motoria e auditiva (Pitozzi 2016). Recentemente, anche l’ambito della ricerca sembra declinare la questione della relazione tra mediazione tecnologica e produzione sonora a partire da tematiche legate alla percezione, al movimento ed alla corporeità. Esempio chiave è la embodied music cognition theory (Leman 2007). Secondo Marc Leman, l’esperienza musicale è innanzitutto un’esperienza incorporata. Le sue caratteristiche paradigmatiche sono la natura multisensoriale e la reciprocità della coppia percezione/azione. Il primo aspetto riguarda il fatto che l’esperienza musicale non è costituita unicamente da sensazioni auditive ma in egual misura da stimoli visivi, senso del movimento e sensazioni tattili. La seconda questione fa riferimento alla natura simultaneamente attiva e passiva della percezione musical. Coinvolgendo l’attivazione del nostro sistema muscolare e producendo una risposta nel nostro apparato sensomotorio, l’esperienza sonora non è mai (o lo è raramente) una forma semplicemente passiva di ascolto. Negli ultimi anni, diverse ricerche in quest’ambito hanno insistito su come una concezione sostanzialmente incorporata e multisensoriale dell’esperienza musicale può ispirare tanto le strategie di mapping quanto la concezione delle interfacce (Miranda e Wanderley 2006; Jensenius 2013; Donnarumma 2016; Visi 2017).

Mapping, sound design e interpretazione: una relazione ecologica

Nella mia pratica di artista e di performer una tale visione si ripercuote nel modo in cui cerco di ripensare la funzione dell’ambiente tecnologico. In particolare considero il corpo non solo come una sorgente per il live coding e per l’interazione sonora ma come un operatore metaforico in grado di influenzare i vari livelli del processo creativo: mapping, sound design e interpretazione. Una delle problematiche cruciali dell’interattività digitale è rappresentata dagli effetti di mediazione prodotti dalla tecnologia: aderendo alla griglia sensoriale imposta dal device, il corpo limita la propria pragmatica in funzione al risultato interattivo riducendo così il potenziale espressivo del movimento. Il gesto interattivo allora dall’esigenza di «far funzionare il dispositivo». Ognuna delle diverse fasi del processo di creazione ha inoltre uno sviluppo separato che non tiene sufficientemente in conto degli altri livelli. In questo senso, la creazione dell’algoritmo interattivo, la composizione sonora e il lavoro gestuale del performer sono spesso concepiti come compartimenti stagni che non rispondono a un principio comune. Seguendo l’idea di una visione incorporata dell’ambiente tecnologico, il mio lavoro cerca di sviluppare quella che mi piace definire una relazione ecologica tra i vari elementi in gioco nel processo creativo. Come in un ecosistema le varie interazioni tra organismo e ambiente riflettano dei meccanismi di interdipendenza, allo stesso modo, nella mia pratica, cerco di intervenire in maniera simultanea sui diversi livelli del processo interattivo in modo da creare una sinergia efficace tra l’insieme delle componenti. Come dicevamo occorre che il corpo sia pensato innanzitutto come metafora. Ciò significa pensarlo non solo come entità definita dai suoi confini anatomici (il corpo come organismo) o psicologici (il corpo come individuo). In accordo con Michel Bernard, è più opportuno parlare di corporeità, ovvero l’insieme di sensazioni, immagini, tensioni gravitarie, modulazioni ritmiche e spaziali che emergono nel movimento espressivo del performer (Bernard 2001). Nel mio lavoro, ogni elemento dell’ambiente tecnologico è pensato secondo un tale immaginario.

Una tale visione può applicarsi sia pensando il processo creativo secondo un modello di sviluppo top-down che bottom-up, o ancora attraverso la combinazione dei due. Nel primo caso si tratta di partire da un’idea corporea definita, il gesto musicale che intendiamo progettare, per poi scendere nel dettaglio delle varie componenti. Nel secondo caso si parte da uno dei livelli del processo creativo, per esempio il lavoro di mapping, per poi risalire fino al gesto musicale. In entrambi i casi è fondamentale che ogni elemento sia correlato attraverso un’immagine corporea comune. Per quanto riguarda il primo caso, prenderò ad esempio You Fight!, creazione teatrale della mia compagnia Kokoschka Revival. In alcune parti del lavoro troviamo delle scene di boxe. In questo caso siamo partiti da un’idea precisa, un colpo-sonoro. Questa immagine corporea di partenza è stata utilizzata per definire ogni livello del sistema. Dovendo lavorare sulla potenza del movimento dell’avambraccio si è scelto di utilizzare degli accelerometri triassiali. Ovviamente non tutte le componenti dinamiche del movimento del boxeur hanno la stessa pertinenza. Dal punto di vista algoritmico è stato quindi creato un sistema di valori di soglia in grado di determinare la qualità dell’accelerazione dei vari micromovimenti contenuti nel gesto di colpire (movimenti principali, movimenti secondari, movimenti involontari). Questo sistema permette di avere una risposta diversa dell’interazione secondo l’esigenza scenica. Dovendo trovare un’immagine sonora pertinente sono stati utilizzati dei suoni percussivi. Il gesto di percuotere un corpo risonante ha infatti un legame, a livello di immaginario corporeo, con il gesto del boxeur. Questa analogia è facilmente intellegibile tanto per il performer che per il pubblico. Per quanto riguarda l’interpretazione, il gesto teatrale del colpire non è più semplicemente il movimento del boxeur ma l’interpretazione di un gesto musicale complesso che è il nostro colpo-sonoro. L’interpretazione tiene quindi in conto tanto del funzionamento dell’algoritmo, che della qualità sonora che, infine, dell’immagine di base.

SKIN CAGE – Etude #1 from Andrea Giomi on Vimeo.

Il processo opposto consiste nel partire da una delle componenti del processo creativo (il suono, i sensori o l’interpretazione) per arrivare alla progettazione del gesto musicale. Si tratta ovviamente di un processo più empirico e meno lineare in quanto ad ogni livello di sperimentazione si aprono delle possibilità realizzative diverse. Un esempio di lavoro molto ricco di variabili è quello che possiamo svolgere partendo dalla captazione della contrazione muscolare delle braccia tramite l’analisi degli impulsi elettrici (EMG). Essendo un segnale molto complesso, possiamo, attraverso il solo trattamento dell’informazione, ottenere delle rappresentazioni molto diverse tra loro. Il segnale può essere ad esempio diviso in due diversi range di pertinenza: uno più esteso (cioè che si basa sull’analisi dell’intera gamma di possibilità della contrazione) e uno più ridotto (relativo all’analisi delle contrazioni più deboli). Nel primo caso avrò bisogno di contrarre oltre l’avambraccio anche il bicipite per coprire l’intero range dinamico. Nel secondo caso lo stesso risultato in termini d’interazione è ottenibile con il solo movimento dei muscoli della mano. Utilizzando tali variazioni sono in grado ad esempio di modulare uno o più parametri sonori con livelli d’intensità muscolare molto diversa. Questo inciderà anche sulla scelta del materiale sonoro. Nel primo caso, data la grande tensione richiesta per generare una modulazione, lavorerò su materiali tendenti alla saturazione in modo da riflettere acusticamente il lavoro fisico del performer. Nel secondo posso lavorare su elementi più delicati legati al movimento delle dita, come leggere modulazioni timbriche ottenute attraverso l’uso dei filtri. Un’altra possibilità è utilizzare lo stesso segnale non come forma di modulazione ma come trigger: superata una certa soglia di contrazione del muscolo, il sistema attiva la riproduzione di un sample. In quest’altro caso, come era per il pugno del boxeur, utilizzerò probabilmente degli elementi percussivi. Vediamo quindi che già nella scelta di come utilizzare un certo segnale si aprono numerose possibilità in termini sonori. Il principio comune resta il fatto che il sound design rifletta il tipo di immagine corporea su cui sto lavorando: in questo caso, la tensione. Il lavoro performativo, a sua volta, amplifica e specifica un tale principio attraverso l’intensità espressiva del gesto, la qualità del movimento, la presenza fisica e grazie a tutti quegli elementi che compongono la pragmatica corporea del performer in scena. L’interpretazione (indipendentemente che sia quella di un attore, di un danzatore o di un musicista) estende il lavoro sull’immaginario corporeo. Soprattutto in improvvisazione, quello che abbiamo definito rapporto ecologico tra suono, tecnologia e corpo, emerge in maniera significativa riflettendo per altro le due categorie principali dell’approccio incorporato : la multisensorialità e la reciprocità di azione e percezione. Una volta che tanto l’interazione che il suono sono sufficientemente coerenti e intellegibili, allora anche il gesto non è più solo finalizzato ad attivare il principio interattivo in modo semplicemente dimostrativo. Attraverso il movimento posso esplorare in modo naturale tanto le dinamiche dell’interazione quanto l’immagine sonora. Nell’improvvisazione si genera così un meccanismo circolare di azione e reazione, di suono e movimento: il gesto genera il suono, il suono con il suo immaginario determina le condizioni di apparizione del gesto successivo. La visualizzazione dell’elemento sonoro è qui cruciale. Occorre che il performer sviluppi quello che chiamo un “principio di propriocezione sonora”: un ascolto “fisico” della morfologia sonora capace di stabilire una sorta di tensione interna ai materiali, acustici e anatomici. Questo percorso conduce il performer a considerare il potenziale sonoro del corpo come materia di creazione e a riflettere, attraverso il movimento, un processo di ascolto profondo. L’anatomia corporea diventa allora uno strumento di composizione per la scena, capace di riterritorializzarsi in una corporeità immaginaria, in cui tanto l’interno quanto l’esterno, ormai intrecciati, si rivelano sotto forma udibile per mezzo dell’ambiente tecnologico.

BIBLIOGRAFIA