sehen, lernen

Lennart Melzer
2019

Ich wollte mit Sensoren und Ak­tu­a­toren arbeiten, wollte Instrumente bauen, habe mit Ultra­schall­sensoren experi­mentiert und bin dabei auf die Idee gekommen eine Brille damit zu bauen. Mit dieser Brille wollte ich ein Tanzstück konzipieren. Um also tanzen zu können, habe ich ange­fangen mich mit der Technik weiter zu beschäftigen, bis ich fest­stellte, dass ich eine Erweiterung einer mir bereits bekannten Tanzübung erforschen wollte.

Der Bau einer solchen Brille stellte sich als auf­wendiger und langwieriger heraus als erwartet und zudem stellte ich mir die Frage, wie dieses Tanz­stück wäre, wenn ich gar keine Brille hätte. Hätte ich keine Brille und auch somit kei­nen Computer im Sinn, so würde stattdessen das Augen­schließen aus­reichen und anstelle des Computertons eine mensch­liche Stimme zum Einsatz kommen.

Mir gefiel es, dass sich das Konzept, aus­gehend von der mir bekannten Tanzübung, auch ohne Computer und die Brillen­ent­wick­lung weiter­durch­denken konnte. Ich trennte also meine Forschung und Entwicklung auf und arbeitete nun parallel sowohl an der Brille, als auch an der Vermitt­lung des ei­gent­lichen Konzepts und probierte Stimm­übun­gen zur Orientierung aus.

Es war angenehm an der Brille weiter­ar­bei­ten zu können, ohne das sie zwingend funk­tionieren musste, damit ich das Tanz­stück ausprobieren konnte. Nach den ersten Pro­ben ohne Computer­stimme und Brille (die Brille war auch noch nicht einsatzbereit) hatte ich den Eindruck damit das Kon­zept reduziert zu haben. Zudem kamen mir men­sch­lichen Stimmen und Augen­schließen wie eine weitaus neutralere Variante meiner ur­sprünglichen, techniklastigen Vorstel­lung vor.

Nach der darauffolgenden Probe mit Brille musste ich jedoch feststellen, dass auch die menschliche Stimme einen gegebenenfalls unangenehmen Nebeneffekt hatte: Die Assoziation von Klängen, die wir als Stimme identifizieren, mit Sprache, mit Kommunikation und in diesem Fall mit „angeschrien werden. Sich also stattdessen von einem Synthesizerklang „führen“ zu lassen kann also auch als angenehm neutral im Vergleich zur „Führung“ durch die menschliche Stimme empfunden werden. In jedem Fall wandelt sich meine Vorstellung und somit auch die Gestalt dieses Projekts kontinuierlich. Das dahinterliegende Kon­zept jedoch scheint mir mehr und mehr klar zu werden und bleibt dabei konstant.

Eine Brille ist gemeinhin eine Unterstützung bei Sehschwä­che. Die Entwicklung der Brille in diesem Projekt scheint mir hierbei die Unterstützung bei „meiner“ Sehschwäche zu sein. Ich beginne zu sehen, was ich eigentlich vorhatte und durch die Beschäftigung mit der Technik häufig über­sehe. Darüber hinaus hilft mir die Arbeit an der Brille den­noch auch in anderen Fällen – Im Falle der Stimme bspw. – auch dort etwas Gestaltendes zu sehen, das ich bisher eher als neutral empfunden habe. Unabhängig davon hilft die von mir konzipierte Brille nicht besser zu sehen. Ebenso dient die Stimme in meinem Stück nicht der Orientierung, vielmehr dem Schutz.

Das Konzept hingegen...

komposition

Stück

Für zwei Tänzer (A, B)
und eine Stimme (C).

Einschränkungen

A und B sehen nicht.
C sieht nur den (eingeschränkten) Blickwinkel von A und B.
C kann nur zwei Parameter in drei Stufen modulieren.

Verabredungen

Die Distanz zum nächsten Hindernis in As Blickwinkel ist an Cs ersten Parameter gebunden. Eine für As Be­wegung kritisch kurze Distanz zum nächsten Hindernis bedeutet eine minimale Ausprägung des ersten Parameters von Cs stimme.

Ab einer nicht mehr kritischen Distanz wechselt der erste Parameter auf die nächsthöhere Stufe. Ist die Distanz derart groß, dass A sich effektiv „frei“ bewegen kann, wechselt der erste Parameter zur maximalen Ausprägung.

Die Distanz zum nächsten Hindernis in Bs Blickwinkel ist an Cs zweiten Parameter gebunden. Sie folgt ansonsten den gleichen Regeln.

Konsequenzen

C passt effektiv auf A und B auf. A und B verlassen sich in ihren Bewegungen jeweils auf den an sie gebundenen Parameter (und dessen Ausprä­gung) in Cs Stimme.

Implementierung

Eine beispielhafte Auswahl konkreter Parameter wären:

  • Tonhöhe
  • Lautstärke

der jeweiligen Stimme (C).

Anmerkungen

Die ursprüngliche Idee der Komposition stammt aus einer Bewegungs-/ Tanzübung (Kontakt­im­provisation/zeitgenös­sischer Tanz):

In einem Duo tanzen je eine Sehende und eine Blinde. Die Sehende führt die Blinde.

Als Erweiterung der Übung werden (bei meh­reren solcher Duos) während des Duetts die Blinde freigelassen und von einer anderen Sehenden weitergeführt.

Die Blinde wechselt also die Partner und verlässt sich dabei auf sich selbst und — um Hindernisse zu vermeiden — auf die jeweils gerade führende Sehende.

Am Ende kehren Blinde und Sehende zu ihren ursprüng­lichen Partnern zurück.

In meinem Ansatz sind also beide Duopartner blind und verlassen sich auf die durch die Ultra­schallbrille gelieferten, auditiven Feedbacks.

Zusammen kontrollieren sie einen Synthesizer:
die durch die Brille gemessene Distanz zum nächst­lie­genden Hindernis wird als Parameter für den Synthesizer verwendet. Die gemessene Distanz der ersten Tänzerin wird bspw. für die Tonhöhe und die der Zweiten für die Lautstär­ke verwendet (vgl. Theremin).

Eine Variation, die zudem noch möglich wäre funktioniert ohne Elektronik:

Das Duo hat lediglich verbundene oder einfach geschlosse­ne Augen und erhält das auditive Feedback durch Sängerin oder Instru­men­ta­listin, die die jeweiligen, oben beschrie­benen Distanzen in Gesang, oder Klang wandeln. Da die Lautstärke hierbei Aufschluss über die Distanz (einer der Tänzerinnen) gibt, ist ggf. ein Blasinstrument, das durch Zirkulation gespielt wird, notwendig, damit ein kontinuier­licher Ton erklingt.

Vgl. Topfschlagen.

                
#include <Arduino.h>
#include <RH_ASK.h>
#include <SPI.h>

#define ECHO_PIN 0

RH_ASK rf_driver;

float anVolt, inches;
unsigned long mm = 0;

void read_sensor() {
  anVolt = map(analogRead(ECHO_PIN),
               0, 1023, 0, 3300);
  inches = anVolt / 9.8;
  mm = inches * 25.4;
}

void setup() {
  rf_driver.init();
}

void loop() {
  read_sensor();
  rf_driver.send((uint8_t *)&mm,
                 sizeof mm);
  rf_driver.waitPacketSent();
  delay(100);
}
                
              
                
p = SerialPort("/dev/redswitchleft",
               baudrate: 115200,
               crtscts: true);

Tdef(\arduino, {
  var byte, str, res, args;
  inf.do { |i|
    if(p.read == 10, {
      str = "";
      while({ byte = p.read;
              byte != 13 }, {
        str = str ++ byte.asAscii;
      });
      str.postln;
      Ndef(\sine).set(
        \distance,
        str.asInteger
      );
    });
  };
}).play;

Ndef(\sine, { |mm = 190|
  var step = mm.linexp(90, 1500, 1, 3),
      freq = 4 - step.floor * 300,
  sound = SinOsc.ar(freq);
  sound = sound * AmpCompA.ar(sound);
  Out.ar(0, sound);
}).play

                
              

Notizen

  • In Kombination mit einem Raspberry Pi Zero, als Alter­native zu bspw. 433mhz RF Transceivern für den Arduino.
  • Außerdem interessant, aber nicht sofort verfügbar: esp32 arduinokompatibel mit Wi-Fi und Bluetooth, für 10 EUR (aliexpress 3,80 EUR).
  • Variante mit Pi nicht weiter verfolgt, es fehlen die pas- senden Widerstände um die GPIO-Pins zu schützen.
  • Variante mit den JeeNodes/-Links hat keine funktionie- rende Funkverbindung hervorgebracht (mehrere Nodes und Links getestet auf verschiedenen Frequenzen).
  • Statt LiPo-Shield: Powerbanks.
  • Stattdessen, doch wieder: Akku und LiPo-Shield, flaky, analoge Sensordaten mit Powerbank.
  • Stattdessen: 9V Blockbatterien.
  • Interessante Einschränkung der Ultraschallsensoren ist die maximale Reichweite:
    • HC-SR04: 4m
    • LV-MaxSonar-EZ3: 6,45m
  • Die Sensoren liefern bei größeren Reichwei- ten keine Daten, sie clippen sozusagen.
  • Wird also das Signal zur Steuerung eines Parameters genutzt, so muss dieser dort auch begrenzt sein, bzw. es ergibt sich somit ein Mapping von:
    • minimaleSensordistanz → minimalerParameterwert
    • maximaleSensordistanz → maximalerParameterwert
  • Raumdiagonalen sind dabei zu beachten, je nach Winkel kann so die maximale Distanz schnell erreicht werden. Bspw. ist im H-Trakt ausschließlich die Toilet­te geeignet um clippingfrei den Sensor einzusetzen!

experimente

L:
Ich mein wir könnens einfach probieren, ne? Öm, so, oder möchtest du vorher noch irgendwie aufwärmen?
E:
Nö! Was möchtest du als Erstes tun?
L:
Mmmh, wir könn' das ja abwechselnd ausprobieren.
E:
Ja.
L:
Einer ist blind; Einfach macht die Augen zu.
E:
Ja.
L:
Und du darfst mich jetzt führen durch, öm, äh, deine Stimme. Ohne worte.
E:
Änder ich dann auch den? Ich kann mich auch bewegen oder?
L:
Ich würd einfach nur die Einschränkung sagen: du darfst mich nicht berühren. Du darfst mich nicht berühren. Öm, und mehr Verabredungen weiß ich noch nicht. Also wir können uns jetzt auf sowas einigen wie: äh...
E:
Ja, aber warte lass mich dann kurz, wenn ich dich jetzt führe durch so wie ich rede, dass heisst ich locke dich und stoß dich ab, auf 'ne Weise, oder?
L:
Also, das was ich mir da eigentlich vorstelle ist, ehm, ich, ich sehe nichts mehr und ich hab jetzt nur noch im Kopf wie meine, ehm, Umgebung aussah. Also, wie weit habe ich in die Richtung jetzt noch Platz und vor allem wie weit hab ich in die Richtung jetzt noch Platz.
E:
Ja.
L:
Und ich brauch im Endeffekt sowas wie 'ne Art von Kalib­rierung, also das heisst...
E:
Also wirklich wie diese Autos die rückwärts einparken. Also ich mach gerade keine Musik zu der du dich bewegen kannst.
L:
Ne, du bist letztendlich, öm, ist das, äh, naja, also, das ist schon Musik
E:
Ja, ja, aber...
L:
Aber das ist ganz, ganz hart, oder ganz strikt nach 'nem Protokoll folgend. Also das ich mich daran orientieren kann, aber ich wiederum hab die Freiheit, äh, mich ähm, ja zu bewegen wohin ich will und äh, wenn ich meinen Kopf jetzt drehe, dann würde das sozusagen irgendeine Form von öm, äh, Veränderung in dem Klang hervorrufen.
E:
Ok.
L:
Du bist selbst nich', äh, durchlässig, also dass heisst, wenn...
E:
Wollen wir dann vielleicht erstmal machen, dass du ein­fach nur stehst?
L:
Ja.
E:
Und ... ich mir einfach wirklich überlege was jetzt zum Beispiel einfach das jetzt grade für, dieses Stehding, was das für ein Ton für dich is' und das du dann erstmal nur Ein­zelheiten veränderst, und einfach ich dann kucke wie ich dann darauf, also wir es ganz simpel erstmal machen?
L:
Äh ... ja, also im Moment haben wir, da wir, also da wir nich zwei Leute tanzen, hab ich das Gefühl das ist auch ganz gut, wenn du dich auch im Raum bewegen kannst. Für später hab ich das Gefühl, dass die Person, die singt, äh, sich nicht bewegt.
E:
Und wir hätten jetzt die Parameter ich könnt jetzt lauter und leiser werden und höher oder tiefer.
L:
Äh ... ja, prinzipiell schon, aber da ich alleine bin hab ich sowieso für die Distanz zum nächsten Hindernis nur einen Parameter. Es gibt nur das. Also entweder ist es die Laut­stärke, oder es ist die Tonhöhe.
E:
Oder ich könnt ja a ... ja.
L:
Und mit Kalibrieren meint ich halt: du kannst jetzt, dadurch dass du dich ja frei bewegen kannst, mir signa­lisieren was ist das Nächste, also was is', was für'n Klang produzierst du, wenn etwas direkt vor meinen Augen is' und was für'n Klang produzierst du, wenn etwas soweit weg ist, dass es eigentlich keine Rolle spielt.
E:
Aber es muss miteinander zu tun haben?
L:
Was heisst es muss.
E:
Ich überleg jetzt halt g'rade, wenn einfach jetzt etwas weit weg ist, könnt ich einfach nur 'n Ton langziehen, wenn der halt irgendwie, du nah an was drankommst, kann ich nur noch kurz abgehakte Sachen machen.
L:
Äh, könntest du, aber das Schwierige ist halt einfach für mich, wenn wir vorher nicht wirklich dies Protokoll weiter verabreden, dann ist diese Kalibrierung alles was ich zur Orientierung hab (ausser das was ich halt sonst noch irgendwie um mich herum hören kann), ahm, und dement­sprechend solltes ja irgendwie für mich nachvollziehbar sein wie die Zwischenstufen, also dass ich sozusagen im Kopf schon interpolieren kann. E, schlicht, also simpel ge­sprochen geht es wahrscheinlich am einfachsten, wenn das eine ein hoher Ton und das andere ein tiefer Ton ist, oder wenn das Eine ein lauter Ton und das Andere ein leiser Ton. Aber das kann sein, dass das total langweilig ist. ...
L:
Ne und da hab ich mich halt auch gefragt, ob das nicht einfach so, also du, du ersetzt ja quasi vom Konzept her 'nen Computer, dass ist halt superstumpf. Also das is' vielleicht auch wirklich etwas wo ich nich' so richtig weiß wieviel Spaß das dann macht als Interpret. Also wenn du dann Gesang machst, dann missbrauch' ich dich halt gera­de hart dafür, dass du im Endeffekt 'nen superstupides, äh, 'ne superstupide Sonifikation machst.
E:
Ja, aber das find ich jetzt, also, darum, darum gehts jetzt g'rade nich, ob das jetzt, also was du mir da für 'ne Partitur hinlegst sozusagen, ist jetzt erstmal nicht wichtig.

materialien

Zwei tanzen

Ausblick

The pitch of the audible signal is arranged to indicate the distance of the object from which the echo came – high pitch means distant objects, low pitch near ones. The amplitude of the signal codes for the size of the irradiated object (loud-large, soft-small) and texture of the object is represented by clarity of the signal.

T.G.R.Bower, “Perceptual Development: Object and Space”, in E.C.Carterette, M.P.Friedman (eds), “Handbook of Perception, Volume VIII, Perceptual Coding”, Academic Press, 1978.

Interessant, ob diese Parameter gemessen bzw. ob die Sänger dies ebenfalls abbilden können. Prüfen ob relevant!

Skintimacy is an interface that allows for the manipulation of electronic-based processes through touch. Depending on whom you touch, the way your bodies make contact influences the control of both analog instruments and digital setups. We developed Skintimacy by implementing an Arduino microcontroller to transfer data to software platforms in order to provide diverse opportunities for a playful control of audio and video. This kit is intended to facilitate the symbiotic relationship between physical computing and the sense of touch. The straightforward design of the device allows for experimentation in many different contexts. Taking into account the dynamic nature of skin conductivity, which varies individually, one has the possibility to create highly responsive installations.

Textile pressure sensors located on the palm of the glove enable the deafblind user to “lorm” onto his or her own hand to compose text messages. [...] The Mobile Lorm Glove [...] supports mobile communication over distance, e.g. text message, chat or e-mail, and it enables parallel one-to-many communication, which is especially helpful in school and other learning contexts.

Anpassungen der Stücke je nach Gegebenheiten

Menschen neigen dazu zu atmen, daher ist es im Falle einer menschlichen Stimme ratsam in kurzen Atemstößen Laute zu erzeugen. Andernfalls – also bei einem durchgehend erzeugten Ton – kann es zu Verwirrungen kommen, sobald die Stimme (C) aufgrund von Atmung aussetzt und somit „fälschlicherweise“ die Lautstärke reduziert, was als Fehl­information von A bzw. B gedeutet werden kann.

blind im Ton

Dank an:
Elisa Kühnl
& Elisa Metz

durch die brille