Seminar Visualisierung:

Haptische und auditive Systeme

Jan Brendel

Inhalt:

1. Auditive Feedback Systeme

2. Haptisches Feedback

1. Auditive Feedback Systeme

Das Menschliche Gehör

Das menschliche Ohr

Abb.1) Das Menschliche Ohr

1.1. Der Mensch als Fluchttier

Der Mensch in seiner Evolutionsgeschichte war immer auch ein Fluchttier. Als solcher war er darauf angewiesen auch potentielle Gefahren wahrzunehmen, die sich nicht gerade in seinem Sichtfeld befanden. Als Konsequenz hat sich das Gehör zu einem Teil eines omnidirektionalen Frühwarn-Systems entwickelt, das an Bedeutung auch heute, nach dem Wegfall natürlicher Feinde nicht eingebüßt hat. Man denke an alltägliche Situationen im Straßenverkehr, die ein Gehörloser nur mit Mühe oder unter großer Gefahr meistern kann.

1.2. Das Gehör als Schlüssel zur Kommunikation

Nicht zuletzt ist das Gehör das Schlüsselorgan für die Menschliche Kommunikation. Dies wird allein durch den Aufwand klar, den Gehörlose treiben müssen,um miteinander zu kommunizieren.

1.3. Das Ohr als drittwichtigstes Sinnesorgan

Das Gehör ist in die Rangfolge der menschlichen Sinnesorgane an Platz 3 einzuordnen, wobei das Sehen Platz 1 belegt. Der Tastsinn belegt Platz 2, da er den gesamten menschlichen Körper umfaßt.

1.4. Lokalisieren von Tonquellen

1.4.1. Beispiel Binaural Stereo:

Musik oder Töne, die mit zwei normalen Mikrophonen aufgenommen wurde, scheinen bei Wiedergabe beim Anhören mit Kopfhörern aus dem inneren des Kopfes zu kommen. Werden die Mikrophone dagegen im Inneren eines künstlichen Gehörganges installiert, ergibt sich für den Hörer eine realistische Wiedergabe über Kopfhörer.

Hieraus läßt sich schließen, daß die Form des Gehörganges von großer Wichtigkeit für die Lokalisierung von Tonquellen ist.

1.4.2. Lokalisieren von Schallquellen mit hilfe zweier Ohren

Für das Lokalisieren von Tonquellen werden winzige Unterschiede in der Wahrnehmung des rechten und linken Ohres verwendet:

Die Richtungswahrnehmung unter Ausnutzung dieser beiden Faktoren wird durch das Drehen des Kopfes unterstützt.

1.5. Frequenz Analyse

Ohmsches akustisches Gesetzt:

Bei Überlagerung vieler Töne werden Frequenzen die sehr nahe zusammen liegen, vom menschlichen Gehör als ein Ton wahrgenommen.

Dennoch hat das Gehör auf dem gesamten wahrnehmbaren Bereich bezogen eine Trennschärfe von 0.2%.[KR93]

1.6. Vorrang- oder Cocktail Party Effekt

Einem Zuhörer ist es möglich sich beliebig auf eine Schallquelle zu konzentrieren. Die genauen Zusammenhänge dieses Vorganges sind noch nicht geklärt, fest steht aber, daß die Form des Gehörganges und sein Druckempfindlichkeit einen Rolle dabei spielen.

1.7. Warum Ton in VR-Systemen?

1.7.1. Hohes Maß an Realistik

Experimente z.B. am Ames Research Center der NASA haben gezeigt, daß akustische Rückkopplung für ein hohes Maß an Realistik in VR-Systemen ebenso bedeutsam wie die visuelle Rückkopplung ist. So kann die Irritation des Benutzers, die durch eine oft verzögerte visuelle Darstellung entsteht, durch eine durchgehende Tonsimulation "überspielt" werden.

1.7.2. Verringerung der visuellen Last

Der zweite wichtige Aspekt ist der, daß durch Benutzung einer akustischen Rückkopplung die visuelle Last des Endbenutzers gesenkt werden kann. Hierzu einige Beispiele:

  • physikalische Ereignisse
    - Objekt erzeugt Ton bei Berührung.
  • unsichtbare Strukturen
    - Verborgenes Objekt macht mit Geräusch auf sich aufmerksam. dynamische Veränderung
    - Fortschritt eines Prozesses wird akustisch dargestellt z.B. Prozeß-Status beim kopieren von Dateien durch das Geräusch von in ein Gefäß laufendem Wasser; Je höher der Ton, desto weiter ist der Prozeß fortgeschritten.
  • anormale Vorgänge
    - Alarm oder Gefahr Signale räumliche Ereignisse
    - Hilfe für die Orientierung im Raum, Geräusche werden bei Annäherung an Gegenstand lauter.

1.8. Möglichst natürliche Geräusche verwenden

Es sind "natürliche" Geräusche zu bevorzugen. Eine Zuordnung ist so für den Benutzer intuitiv möglich.

1.9. An das Fehlen von Ohrliedern denken

Bei der akustischen Rückkoppelung darf der Benutzer nicht überfordert werden. Es ist zu bedenken, daß der Mensch keine Ohrenlieder hat, und der Benutzer der "Beschallung" hilflos ausgeliefert ist.

1.10. Umsetzungsverfahren von numerischen Daten in hörbare Signale (Sonification)

Die vorgestellte Verfahren gehen von vereinfachenden Annahmen über Raumakustik aus. Als Eingabedaten dienen geometrische Beschreibungen der Räumlichkeiten und bestimmte Attribute wie Absorptionsrate von Objekten etc. . Weitere Parameter sind die Position der Schallquellen und des Benutzers.

Beide Verfahren liefern eine Impulsantwort, die Richtung, Energie und Laufzeit des beim Benutzer ankommenden Schalls liefert. Diese muß nur noch mit einem entsprechenden Ton kombiniert werden.

1.10.1. Image-Source-Verfahren

Bei diesem Verfahren wird jede auftretende Reflexion des ursprünglichen Schalls als zusätzliche neue virtuelle Schallquelle behandelt. Die beim Benutzer ankommende Impulsantwort wird aus der Summe all dieser Quellen berechnet.

1.10.2. Particle-Tracing-Verfahren

Bei dieser Methode wird der Weg von virtuellen Schallpartikel, die von Schallquellen ausgesandt werden durch den VR-Raum verfolgt. Die Energie und Richtung dieser Partikel ändert sich bei jeder Reflexion, oder dem durchdringen von Materie. Eine Impulsantwort wird aus der Summe der beim Benutzer ankommenden Partikel berechnet.

2. Haptisches Feedback

Haptic bedeutet den Tastsinn betreffend. Nerven, die Tastempfindungen (hierzu gehören auch Bewegungs- und Stellungsempfindungen) aufnehmen sind über den gesamten Menschlichen Körper verteilt. Das Tasten selbst ist ein komplexer interaktiver sensorischer Vorgang bei dem auch die Bewegung des Körpers eine wichtige Rolle spielt. Entsprechende Sensoren mit spezifischen Aufgaben sind auf Haut, Muskeln und Gelenken verteilt Die Haut zunächst der Wichtigste Ansatzpunkt für haptisches Feedback.

2.1.Physiologie der Haut (Nervenfasern)

Anatomier der Haut

Die Menschliche Haut ist durchsetzt mit Nervenfasern, die das Erlebnis von Berührung vermitteln, und so das Tasten ermöglichen.

Man unterscheidet folgende Nerven in der Menschlichen Haut:

Allgemein gilt:

2.2.. Unterteilung für haptisches Feedback

Haptisches Feedback für virtuelle Realität Systeme kann prinzipiell nach den verschiedenen haptischen Wahrnehmungen unterteilt werden in:
(Begriffe werden in der Literatur unterschiedlich benutzt)

Eine eindeutige Einordnung von haptischen Feedback Systemen ist hierbei oft nicht möglich.

2.3. Tactile Feedback Systeme:

Die einfachste Art einen Berührungsempfindung auf die Haut auszuüben ist einen variablen Druck auf definierte Hautstellen auszuüben. Fühlbarer Kontakt spricht besonders die nah an der Hautoberfläche liegenden Mechanorezeptoren an. Die besonders dichte Verteilung dieser Rezeptoren in den Händen ist einer der Gründe dafür, daß die meisten Tactile Feedback Systeme für die Hand ausgelegt sind. Da beim Tactile Contact Impulse bis 300Hz wahrgenommen werden können, ist es wichtig hohe Abdatefrequenzen zu unterstützen, hieraus ergibt sich, daß die Berechnungen nicht zu Aufwendig werden dürfen. Das gleiche gilt auch für Grasp Systeme.

2.3.1 TELETACT II- Tactile Feedback Glove

Teletact IIAufbau und Arbeitsweise des TELETACT II

Der Teletact II besteht aus zwei Paaren Lykra Handschuhen, dem Sensor- und dem Ausgabe- Paar. Das erste Paar ist mit 30 Drucksensoren besetzt, das zweite mit der gleichen Anzahl Luftkissen. Die auftretenden Druckkräfte des ersten Paares werden von den Sensoren in elektrische Signale umgewandelt, und können von einem Computer zu einem entsprechenden taktilen Profil des gegriffenen Gegenstandes umgewandelt werden.In einer VR-Umgebung kann nun der Computer eine pneumatische Pumpe so steuern, daß die Luftkissen des zweiten Paares einen Druck erzeugen, der dem Druck des realen Gegenstandes beim Greifen entspricht. Da sich der Druck auf die Finger beim schließen der Hand um einen virtuellen Gegenstand erhöht, hat der Anwender den Eindruck den Gegenstand auch zu fühlen.

Der Teletact II kann unter jedem Datenhanschuh getragen werden, und kann so ein bestehendes VR-System um eine taktile Komponente ergänzen.

2.3.2. Cyber Touch von Virtual Technologies, Inc.

Ein weiteres bereits auf dem Markt erhältliche Produkt ist der Cyber Touch Handschuh von Virtual Technologies, Inc.(VTI). Dieser stellt eigentlich nur die Erweiterung des 18-Sensor Cyber Glove von VTI (Ein kommerzieller Datenhandschuh) dar. Komplexe taktile Feedbackmuster können mit Hilfe von Impulse und Vibrationen erzeugt werden.

2.3.3. Diskussion der Tactile Feedback Systeme:

Ihrem Wesen nach erzeugen die erläuterten Systeme einzig fühlbaren Kontakt. Es wird eine Berührung empfunden, die sich auch mit der Bewegung der Finger ändert. Es kann aber grundsätzlich keine Aussage über Oberflächenstrukturen gemacht werden. Auch ist es nicht möglich einen Gegenstand darzustellen, der fest im Raum verankert ist oder Trägheit aufweist. Der dargestellte virtuelle Gegenstand scheint kein Eigengewicht und somit auch keine Trägheit zu besitzen. Ein gegriffenes Objekt leistet keinen tatsächlichen Wiederstand gegen eindringen in seine Oberfläche. Der Druck auf die Finger könnte zwar theoretisch die Schmerzgrenze erreiche, aber dies ist in der Praxis nicht der Fall. Der Druck wird sich somit beim "zerquetschen" der virtuellen Objektes auf den Maximalwert steigern, und dann Konstant bleiben.

Der Vorteil der erklärten Systeme liegt ganz klar darin, daß sie leicht zu handhaben sind. Die Kombinierbarkeit mit einem Datenhandschuh ist ebenfalls ein Plus. Ihre Anwendung liegt aber hauptsächlich in der bloßen Unterstützung des Handhabens von virtuellen Gegenständen, wie das betätigen von Schaltern, ober das Greifen eines Würfels wobei sein Gewicht oder gar Kollision mit anderen Gegenständen unbeachtet bleibt. Es ist so möglich eine virtuelle Mauer darzustellen, die der Anwender zwar berühren, aber auch durch sie hindurchgreifen kann. In extremen Fällen kann hier eine Irritation der Users nicht ausgeschlossen werden.

2.4. Grasp: Systeme zur vermittlung von Greifempfindungen

Wie der Name schon sagt wird von Grasp Feedback Systemen einzig und allein die Rückkopplung einer Greifempfindung vermittelt. Es geht darum virtuelle Gegenstände zu umfassen, und ihr volumen spüren zu können. Im Gegensatz zum Fühlbaren kontakt wird dem Schließen der Hand hierbei eine reale physische Kraft entgegen gesetzt. Die Hand kann zwar um das Objekt geschlossen, die Kompression aber nicht beliebig fortgesetzt werden.

2.4.1.Der amorphe Blob

Funktionsweise:
Der amorphe Blob ist ein mit frei beweglichen Teilchen gefüllter Sack, gerad so groß, daß der User ihn gut in die Hand nehmen kann. In der Anwendung wird der Blob vom Bentuzer in der Hand gehalten, oder ist an dieser festgeschnallt, bzw. an einer Mouse befestigt.

Inaktiver Blob Im inaktiven Zustand herrscht im Sack ein neutraler Luftdruck. Luft kann entweichen oder in den Sack eindringen, so daß die Teilchen sich frei bewegen können. Der User kann den Blob in diesem Zustand nach belieben mit der Hand verformen.
Aktiver Blob Im aktiven Zustand wird über eine Vakuumpumpe die Luft aus dem Blob entfernt, die Teilchen werden zusammen gepreßt, so daß der Eindruck eines festen Körpers entsteht. Der User kann den Blob in diesem Zustand nicht mehr verformen.

2.4.1.1. Durchgeführte Versuchsreihe:

Die an der "University of the West of England, Bristol, U.K." und anderen Instituten durchgeführte Versuchsreihe verglich die Greifempfindungen von zwei realen Würfeln (2cm und 4cm) mit den Greifempfindungen des Blobs. Das Gewicht der Würfel entsprach hierbei ungefähr dem Gewicht des Blobs. Um visuelle Unterschiede auszuschließen wurde den Versuchspersonen ein Headmounted Display aufgesetzt, und ihnen jeweils die visuelle Präsentation eines Würfels vorgespielt.

Nach dem Versuch mußten die Testkandidaten 6 Empfindungen mit Punkten von 1=positiv bis 8=negative bewerten.

Fragen:

Druchschnittliche Bewertungen 2cm vitual 4cm vitual 2cm real 4 cm real
Q1 5 2 1 1
Q2 2.5 2 2 1
Q3 1.5 1 1.5 1
Q4 2.3 1 1 5
Q5 7.5 7.5 2.7 2.5
Q6 7 7 2.5 2

Frage 6 zielt direkt auf die Tatsache ab, daß der Blob nicht herunterfallen kann (er war festgeschnallt), sondern nur in seinen amorphen Zustand zurückkehrt. Die Versuchspersonen beschrieben denn auch das Gefühl, daß sich der VR-Gegenstand auflösen würde. Hierin und in der Tatsache, daß der Blob keine bestimmte tastbare Form annehmen kann, liegt die große Schwäche des Systems. Dies geht auch aus der schlechten Bewertung des Blobs in Frage 5 und 6 hervor.

Bemerkenswert ist, daß der größere Würfel sowohl in der real als auch in der Blob-Version als leichter zu handhaben bewertet wurde.

Der reale große Würfel wurde gar als unrealer empfunden als der Blob.

Zusammenfassend läßt sich hier sagen, daß die Greifempfindung virtueller Objekt kaum schlechter eingeschätzt wurde, als die von realen. Eine Darstellung konkreter Formen ist systembedingt nicht möglich, was wie der obige Versuch zeigt bei geeigneter graphische Präsentation aber kein Problem ist. Nach Aussagen der Versuchspersonen versagt der Blob bei der Darstellung des Fallenlassens eines Objektes. Dieses Gefühl wurde mehr als ein Auflösen des entsprechenden Gegenstandes beschrieben, was auch natürlich ist, denn der Blob verbleibt ja die ganze Zeit in der Hand und kann nicht verschwinden.

Der große Vorteil des Blobs liegt in seiner Kostengünstigkeit, die mit der Möglichkeit einhergeht, bestehende Systeme zu erweitern, da der Blob durchaus durch einen Datenhandschuh gegriffen werden kann, und auch die Möglichkeit der Erweiterung durch Sensoren besteht.

2.4.2. Der Cyber Grasp von VTI

Der Cyber Grasp ist eine Handschuhähnliches Gerät, und wird von der Firma VTI kommerziell vertrieben. Ursprünglich wurde er für die US Navy als Telerobotics-Anwendung entwickelt. Das Prinzip beruht darauf, die Knickbewegung der Finger beliebig zu unterbinden. Die Finger befinden sich hierbei in einer art Metallskelett, welche mit Metallsehen verbunden ist, je eine Sehne pro Finger. Diese Metallsehnen führen jeweils zu einem Gleichstromschrittmotor, welcher die Sehnen nach belieben anziehen oder entlasten kann. Diese Motoren befinden sich in einem externen Gehäuse das meist auf einem Tisch neben dem User angebracht ist.

Der maximale kontinuierliche Wiederstand gegen die Finger beträgt hierbei 12N pro Finger. Wobei die Auflösung dieser Kraft 12Bit beträgt. Der maximale Aktionsradius beträgt 1 Meter. Das Handgerät wiegt inklusive eines Datenhandschuhes 350g.

Im Gegensatz um amorphen Blob lassen sich die Kräfte die auf jeden einzelnen Finger wirken beliebig dosieren. Konkrete Formen und Volumina lassen sich hiermit vermitteln, wobei sich mit einer Kraft von 12N schon sehr massive Gegenstände darstellen lassen.

2.4.3. Der Rutgers Masters II(RM II).

Der RM II wurde vom CENTER FOR COMPUTER AIDS FOR INDUSTRIAL PRODUCTIVITY (CAIP) und der Rutgers University entwickelt. Das Vorgängermodell befindet sich derzeitig in der Erprobung durch die NASA. Das Prinzip ist dem des Cyber Grasp Handschuhes ähnlich, nur mit dem Unterschied, das eine Hydraulik verwendet wird um den Fingern einen Wiederstand entgegen zu setzen. Das Prinzip basiert hier auf Druck, nicht auf Zug, wie es beim Cyber Grasp der Fall ist. Die Anordnung der Hydraulikstangen ist denn auch an der Inneseite der Hand.

Da die Hydraulikstangen auch Sensoren für die Stellung der Finger enthalten ist es nicht notwendig unter diesem Gerät noch eine Datenhandschuh zu tragen.

Da die Prinzipien sich ähneln wird sich die Art und Qualität der vermittelte Greifempfindung nur unwesentlich von der des Cyber Grasp unterscheiden

2.4.4. Diskussion und Vergleich der Grasp Systeme

Der Vorteil des Cyber Grasp sowie des RM II Handschuhes gegenüber dem Amorphen Blob liegt eindeutig darin, daß die auf die Finger wirkenden Kräfte je nach Stellung exakt von der Application dosiert werden können. Es können hiermit Objekte unterschiedlicher Volumina und Form dargestellt werden. Auch ist ein augenblickliches Verschwinden eines Objektes (z.B. beim Fallenlassen) möglich, eine Empfindung die der Blob nur unbefriedigend darstellen konnte. Da der Amorphe Blob sich nur aktivieren oder inaktivieren läßt, ist die eigentliche Greifempfindung nicht veränderbar. Vorteil des Blobs ist seine Einfachheit und somit der Preis, denn auch der Rechenaufwand für die Programm-Application beschränkt sich auf das ein oder Ausschalten, während bei Cyber Grasp und RM II aufwendige Mehrberechnungen nötig sind.

Grasp Systeme sind ihrem Wesen nach nicht geeignet etwas anderes als eine Greifempfindung darzustellen. Glatte Flächen und Oberflächenstrukturen, gar eine Mauer können nicht dargestellt werden. Auch ist die Vermittlung von Trägheit oder Gewicht eines virtuellen Objektes nicht möglich.

2.5. Force Feedback

Beim Force Feedback wird mit Hilfe eines geeigneten Gerätes und Darstellungs-Prinzipien ein oder mehrer Kraftvektoren auf den Finger oder ein beliebiges Körperteil des Users ausgeübt wobei dies auch passiver Wiederstand gegen die Bewegung des Users sein kann.

Force Feeback Ausgabegeräte und System sind so vielfältig, daß sie eigentlich nur nach dem Degree of Freedom (DOF) also dem Freiheitsgrad ihrer Ausgabe eingeteilt werden können.

Eine Besonderheit stehlen hierbei noch Force Feedback Joysticks und Mäuse dar, da es sich hierbei um Klassische passive Eingabegeräte handelt, die um eine Force Feedback Komponente erweitert wurden.

2.5.1. Force Feedback "Ausgabegeräte"

2.5.1.1. Force Feedback Joysticks

Joysticks

Force Feedback Joysticks (links) haben meist 1-2 Freiheitsgrade. Die Kraftdarstellung beschränkt sich hierbei meist auf einen passiven Wiederstand gegen eine Steuerbewegung des Users. Bei Simulationen auftretende Kräfte sollen so an die Steuernde Person weitergegeben werden.

2.5.1.2. Force Feeback Mouse

Force Feedback Mäuse haben im allgemeine 2DOF. Das links abgebildete Modell ist in der Lage die 2 dimensionale Bewegung des Users nach belieben zu erschweren, und darüber hinaus sogar ein eine Richtung zu beeinflussen. Dies bedeutet, die Maus läßt sich schwere bewegen, wenn z.B. ein Icon gezogen wird, oder die Maus erzeugt eine Kraft, die einer Anziehung an bestimmte Punkte auf dem Bildschirm gleicht. Beim Größenverändern eines Fensters kann so z.B. der Eindruck von Elastizität erzeugt werden.

Feelit Mouse

2.5.1.3 Das "High Bandwidth Force Display " mit 2 DOF der University of Washington

2DOF Das High Bandwith Force Display der University of Washington arbeitet nach dem Prinzip eines Plotters. Vorteil ist die hohe Auflösung (0.015 mm) und die hohen erzeugbaren Kräfte (kontinuierlich bis 100N). Es wird hauptsächlich für die Präsentation von sehr harten und schweren virtuellen Objekten verwendet.

2.5.1.4. 4 DOF ein Ausgabegerät für 4 Freiheitsgrade der Northwestern University

Picture 4 DOF 4 DOF ist ein Beispiel für ein Force Feedback Ausgabegerät mit 4 Freiheitsgeraden. Bei diesem Gerät wurde nicht das Prinzip des Roboterarmes angewendet, was eine höher Auflösung, bei geringerer Bewegungsmöglichkeit ermöglicht.

2.5.1.5. Das PHANToM Haptic Interface

Seit 1993 konzentriert sich die Firma SensAble Technologiesauf die Entwicklung eines haptischen Interfaces mit dem Namen PHANToM. PHANToM basiert auf Entwicklungen des MIT. Prinzipiell ist der PHANToM Controller ein Roboterarm. Für die Ausgabe eines Kraftvektors stehen 3 Freiheitsgrade zu verfügung. Gleichzeitig stellt der PHANToM 3 Freiheitsgrade für Input zur Verfügung.

Der User hat bei diesem Gerät entweder die Spitze des Armes in Form eines Stabes in der Hand, oder er benutzt einen art Fingerhut (siehe oben). Bei Verwendung des Fingerhutes stehen 3 zusätzliche freiheitsgrade für Eingabe (Ausgabe hierbei passiv) zur Verfügung.

PHANToM ist in drei Varianten erhältlich 1.0, 1.5 und 3.0, die sich hautsächlich durch ihren Aktionsradius unterscheiden (siehe unten).

Pluspunkte sind:

Es ist zu erwähnen, daß es sich hierbei um das erster kommerzielle Feedback Device handelt.

2.5.1.6.Freedom 6

Der Freedom 6 Controller wurde von MPB Technologies Inc. entwickelt. Der Name drückt aus, daß dieses Gerät über eine Ausgabe in 6 Freiheitsgraden verfügt. Auch bei diesem Gerät handelt es sich im Prinzip um einen Roboter Arm.

2.5.2. Force Feedback und Intermediäre Präsentation

Intermediäre Präsentation bezieht sich auf Tastempfindungen, die mit Hilfe eines Ausgabemediums (z.B. ein Roboterarm) vermittelt werden. Die folgend beschriebene Armlib Library ist ein Versuch, ein einheitliches Konzept der Verbindung der VR-Application mit dem Ausgabemedium (Haptic Device)zu schaffen.

2.5.2.1. Die Armlib Force-Feeback Library der University of North Carolina

Armlib wurde zusammengestellt, um eine einheitliche Basis für vielfache Force Feedback Anwendungen zu haben:

Armlib force-feedback library Princip

"Application Machine" ist die Maschine, auf der die VR-Anwendung läuft. Diese Anwendung kümmert sich ausschließlich nur um die Vorgänge im virtuellen Raum (Welche Kräfte wirken auf die virtuelle Präsentation der Sonde in der Hand des Users, oder welche Folgen hat ihre Bewegung)

"Force Server" ist die Steuerungs- und Leseeinheit für das haptische Ausgabegerät. Der Force Server kümmert sich lediglich um die korrekte haptische Präsentation der Ergebnisse. Ausgabegeräte Abhängigkeit reduziert sich auf low-level "Geräte Treiber" (siehe Abbildung) Routinen für das Lesen und Schreiben von Gelenkposition auf dem entsprechenden Ausgabegeräten. Bzw. so auch die Serialisierung solcher Schreibvorgänge auf zusammengesetzte Roboter.
Höhere Level der Library einschließlich der "Intermediate representation servol-loop"(siehe Abbildung) beziehen sich auf den Kartesischen-Raum. Die Kommunikation zwischen diesen beiden Libraryebenen wird durch einen Satz von Ausgaberoutinen bewerkstelligt, die eine Denavit-Hartenberg basierte Beschreibung jedes Ausgabegerätes nutzen. Haptic Device ist hierbei ein beliebiges Force Feedback Ausgabegerät.

Force Server und Application Machine kommunizieren über eine TCP sowie eine UDP Verbindung.

Auf Force Feedback sprechen hauptsächlich Nerven in Muskeln Sehnen und Gelenken an. Dies sind Nerven, die hautsächlich die Stellung und Bewegung der Körperteile registrieren, und eine weit höhere Trägheit aufweisen, als Nerven die für Tactile Contact zuständig sind. Trotzdem ist eine unterstützung hoher Abdatefrequenzen für die Ausgabegerät notwendig, um ein Glaubwürdige Präsentation zu erhalten. Aus diesem Grund sieht Armlib eine Trennung zwischen Application Machine und Force Server vor, so daß der Force Server auch bei aufwendigen Berechnungen der Application Mashine die Abdate Frequenz für das Haptic Device aufrecht erhalten kann. Damit diese Entkopplung funktioniert mußten entsprechende Präsentationsmodelle entwickelt werden.

2.5.3. Modelle für die intermediäre Presentation von virtuellen Objekten

Für die intermediäre Präsentation von wurden an der University of North Carlolina zwei Modelle entwickelt: Das "Plane and Probe Model" und das "Point to Point Spring Model".

Bei diesen Modellen wird unterschieden zwischen:

Sonde (Probe) - Dies ist der Endpunkt des "Haptic Device" des haptischen Aus- und Eingabegerätes. Dies kann zum Beispiel ein Stab am Ende eines Roboterarms sein, den der Anwender in seiner Hand hält oder seine Fingerspitze in einer entsprechenden Halterung. Dieser Punkt ist physisch existent und mit ihm wird tatsächlich eine Kraftvektor auf den User oder vom User auf die Maschine ausgeübt.

Die virtuelle Präsentation der Sonde ist das virtuelle Gegenstück zu realen Sonde. Es ist die Stelle im virtuellen Raum, an der sich nach Berücksichtigung der durch das "Haptic Device" ermittelten Bewegungen die Sonde befinden soll.

Virtuelle Oberfläche bzw. Virtuelles Objekt ist eine Oberfläche bzw. ein Objekt, welches von der Application (dem Computerprogramm) generiert und berechnet wird. Die "Sensation" der Berührung der Userfingerspitze (Sonde) mit einem solchen Objekt zu vermitteln ist Ziel der folgenden Modelle.

2.5.3.1. Das "Plane and Probe Model"

Das Plane and Probe Model soll die Berührung der Hände des Users mit einem virtuellen Objekt modulieren. (Die nötigen Berechnungen und die Anschließende Ausgabe z.B. über den PHANToM Controller erlauben) Die Betrachtung konzentriert sich zunächsten auf einen einzelnen Punkt der Berührung zwischen dem User und dieser VR Objekt.

Bei diesem Modell hält der User eine Sonde in seiner Hand, oder benutzt direkt seine Fingerspitze. Dringt die virtuelle Präsentation der Sonde bzw. der Fingerspitze in eine virtuelle Oberfläche ein, so kann aus der Tiefe des Eindringendes und der Härte des virtuellen Körpers eine Federkraft berechnet werden, die dem Finger entgegen wirken muß. Auf diese Weise wird eine Oberfläche mit beliebiger Härte oder Weichheit generiert, gegen die der User pressen kann.

Modellhaft wird eine harte bzw. weiche Oberfläche als eine Fläche verbunden mit einer Feder gesehen. Dringt ein Gegenstand in diese Oberfläche ein, so tritt eine Federkraft mit Federkonstante k auf. Wobei hohe Werte für k eine harte Oberfläche erzeugen.

Diese Federkraft, die sich aus Tiefe des Eindringes * Federkonstante k ergibt und immer senkrecht zur Oberfläche wirkt, muß auf den Finger bzw. die Sonde in der Hand ausgeübt werden, wenn deren virtuelle Präsentation in eine virtuelle Oberfläche eindringt.

2.5.3.1.1. Beispiel Nanomanipulator (Department of Computer Science, University of North Carolina)

Das "nanoManipulator"(nM) Projekt ist eine Gemeinschaftsarbeit zwischen den Fachbereichen "Computer Science", "Physics" und "Chemistry" an der "University of North Carolina at Chapel Hill".

nanoManipulator

Hierbei steht die Entwicklung eines Benutzerschnittstelle für Scanning Probe Mikroskope(SPM) einschließlich Scanning Tunneling und Atomic Force Mikroskope im Vordergrund. Der nM koppelt das Mikroskop mit einer VR-Schnittstelle um eine visuelle und haptische Präsentation für den Benutzer bereit zu stellen. Die visuelle Rückkopplung erfolgt über ein Display, das über eine Schutter-Brille auch 3D Darstellung ermöglicht. Das haptische Feedback erfolgt über einen Intel basierten PHANToM-Controller, der gleichzeitig auch der Sensor für die Bewegungen des Anwenders ist. Hierbei kann der User ein stabähnliches Eingabegerät in der Hand halten, welches mit dem PHANToM-Controller verbunden ist, oder seinen Finger direkt mit dem PHANToM-Controller verbinden.

Oberflaeche in GrauOberflaeche in buntScanning Probe Mikroskope tasten eine Oberfläche mittels einer rasterartig bewegten Mess-Spitze ab. Gemessen wird die Höhe der gegenwärtigen Position. In Echtzeit wird das Ergebnis gewöhnlich als Draufsicht in Grauabstufung (links) dargestellt. Die nM Schnittstelle belegt die Oberfläche mit Dreiecken und benutzt einen massiv parallelen Graphik Supercomputer um eine Darstellung als schattierte Oberfläche zu berechnen (rechts).

Mit einem SPM ist auch eine direkte Oberflächen Manipulation möglich: Zum einen durch elektrische Impulse der Mess-Spitze zum anderen durch direktes mechanisches Eindringen der Spitze in die Oberfläche. Da während der Modifikation keine Abtastung durch die Mess-spitze möglich, bzw. Abtastung überhaupt immer nur an einem Punkt gleichzeitig statt findet, würde der User die Spitze blind führen und das Ergebnis erst später begutachten können. Aus diesem Grund berechnet die nM-Application eine durchgehende haptische und visuelle Präsentation der Oberfläche anhand der gesammelten Daten, der aktuellen Position der Spitze und falls verfügbar den aktuellen Messergebnissen. Die haptische Darstellung erfolgt hierbei nach dem Plane and Probe Model. Die durchgehende haptische Rückkopplung ermöglicht eine ein sehr kontrolliertes Steuern der Spitze bei Manipulationsvorgängen, die durch die visuelle Rückkopplung alleine nicht möglich wäre.

nanoManipulator

  1. Aktuelle Position des Users wird vom PHANToM Controller ermittelt.
  2. Die nM-Application gibt die Bewegungsdaten an das AFM weiter, welches die Mess-Spitze entsprechend bewegt.
  3. AFM meldet, soweit zur Zeit möglich (keine Oberflächen Manipulation). aktuelle Abtastdaten wie Winkel und Höhe der Oberfläche am Abtastpunkt zurück.
  4. Winkel und aktuelle Annäherung an die zu untersuchende Oberfläche werden nach dem Plane und Probe Modell dem User mit dem PHANToM-Controller präsentiert: Annäherung der AFM-Spitze * Federkonstante k ergibt die auf den Finger des Users auszuübende Kraft. Der Winkel der Oberfläche am Kontaktpunkt bestimmt die Richtung dieses Kraftvektors.

Die Starke des Ausgabekraftvektors des PHANToM-Controllers wurde bei diesem Aufbau mit ca. 1kHz abgedatet. Wo hingegen der Winkel nur mit etwas 20 Hz abgedatet wurde. Die höhere Abdate-Frequenz der Kraft war notwendig, um eine glaubwürdig stabile und harte Oberfläche zu generieren.

Erprobt wird der nM derzeitig für folgende Anwendungen:

2.5.3.2. Darstellung von Reibung durch Force Feedback

Das oben beschriebene Plane and Probe Modell erzeugt Kräfte, die grundsätzlich senkrecht zur zu grunde liegenden Oberfläche verlaufen. Alle auf diese Weise generierten Oberflächen fühlen sich wie öliges Glas an. Die Sonde in der Hand der Users bzw. sein Finger tendieren hierbei dazu von convexen Arealen in concave abzurutschen.
Um eine natürlichere Präsentation von Oberflächenformen zu erreichen, muß Reibung mit modelliert werden.

2.5.3.2.1.Statische und kinetische Reibung

Statische Reibung hält ein Objekt(Finger) auf einer Oberfläche im Stillstand. Eine Kraft wirkt jeder versuchten Bewegung entgegen.

Kinetische Reibung verlangsamt die Bewegung eines Objektes(Finger) auf einer Oberfläche. Eine Kraft, wirkt stetig der Bewegung entgegen. Diese ist von der Oberflaechenbeschaffenheit kK Koeffizient der kinetischen Reibung und der Normalkraft(Anpresskraft), die das Objekt(Finger) senkrecht auf die Oberfläche drückt, abhängig.

2.5.3.2.2. Modell für die Darstellung von Reibung mittels Force-Feedback.

Das folgendes Modell wurde and der University of North Carolina für die Darstellung von Reibung entwickelt:

Reibung wird in diesem Modell auf folgende Weise modelliert:

Eine Ebene sei übersät mit "Löchern". Bewegt sich eine Sonde (einem biegsamen Metallstab) über diese Fläche, so tirfft sie mit gleichverteilter Wahrscheinlichkeit irgendwo im Abstand zwischen dMean-dSpread/2 und dMean+dSpread/2dSpread auf ein Loch, ganz gleich in welcher Richtung sie sich bewegt. Der Stab "hakt" sich fest, und wird beim Weiterbewegen gespannt, was zu einer steigenden Federkraft gegen diese Bewegung führt. Diese läßt sich aus Differenz zum Loch * Federkonstante kStick * Normalkraft (Kraft, die die Feder senkrecht in das Loch drückt) berechnen.
Wird eine bestimmte Distanz zum Loch dSnap überschritten, so kommt der Stab frei. Da dies in der Realität der Statischen Reibung entspricht, wird zusätzlich definiert, daß die Sonde nach einem Stillstand immer in einem Loch verhackt ist.
Zusätzlich wirkt auf den Stab(Sonde) noch die Kinetische Reibung, die aus Normalkraft * kinetischer Reibungskoeffizient kK berechnet wird.

Koordinatenkreuz Mit Hilfe dieses Modelles wird ein Kraftvektor berechnen, die Parallel zur virtuellen Oberfläche der Bewegung der virtuellen Präsentation der Sonde entgegen wirkt. Diese Kraftvektor muß mit einem entsprechenden Ausgabegerät auf den Finger oder die Hand des Benutzers ausgeübt werden, während dieser einer virtuelle Oberfläche abtastet.

Im Falle des nanoManipulators wurde die Ausgabe des PHANToM Controllers um einen entsprechenden Vektor ergänzt. Durch Variation der Parameter dSpread, kK und dSnap konnten Reibungsempfindung von Beton, Sand, Gummi und Kleidung erzeugt werden. Die Versuche zeigten auch, daß Variation der Parameter, und anschließende Beurteilung der Empfindungen bessere Ergebnisse erzielte, als die Parameter an den realen Oberflächen zu ermitteln.
Ebenso ergab sich, daß die Einfachheit der Berechnungen hohe Wiederholfrequenzen erlauben, die für eine glaubwürdige Darstellung notwendig sind.

2.5.3.3. Vermeidung von Diskontinuität bei intermediärer Präsentation

Das Plane and Probe Model arbeitet nur zufriedenstellend wenn die dem User präsentierte Kraft im vergleich zur Geschwindigkeit der Sonde schnell genug abgedatet wird.Trotz hoher Abdateraten kann es dazu kommen, daß die Probe bevor der Kraftvektor für die Oberflächendarstellung abgedatet ist die virtuelle Oberfläche bereits verlassen (links) oder schlimmer in sie eingedrungen ist (rechts). Dieses würde beim nächsten Abdate zu einer starken Diskontinuität führen.

An der University of North Carolina wurde hierfür die sogenannte Recovery Time Methode entwickelt:

Für den Fall das die Probe die Oberfläche verlassen hat, wird ein Zurückfallen auf die Oberfläche modelliert. Ist die Probe bereits in die Oberfläche eingedrungen wird der Force Server die Probe in einer adjustierbaren Zeit (Recovery Time) "sanft" aus dem virtuellen Objekt heraus bis auf die Oberfläche bewegen. Diese Bewegung findet im Rechten Winkel auf den nächsten Oberflächenpunkt statt. Diese Methode erlaube nach angaben der beteiligten Institute auch die glaubwürdige Darstellung von sehr harten Oberflächen.

2.5.3.4. Verwendung mehrer Flächen nach dem "Plane and Probe Model"

Das Einfache Plane and Probe Modell ist ausreichend, solange relative Glatte virtuelle Oberflächen dargestellt werden sollen. Für die Darstellung scharfer Kanten wie die Innenseite eines Kastens ist die Modellierung mehrer Flächen gleichzeitig, um die Bewegung der Sonde in 2 Richtungen einzuschränken. Hierbei muß besonders auf den richtigen Winkel der beiden Flächen zu einander geachtet werden.

2.5.3.5. Verwendung mehrer Sonden nach dem "Plane and Probe Model"

Die Modulation eines einzelnen Kontaktpunktes ist oft nicht ausreichend, um eine User wirklich mit der virtuellen Umgebung agieren zu lassen. Soll ein Objekt z.B. wirklich gegriffen werden, so mußten mindestens eine Fingerspritze und der Daumen berücksichtigt werden, besser noch jeder Finger und zusätzlich die Handflächen. Hierbei würden also schon 6 Sonden verwendet.

Mit diesem Methode ist es möglich den User virtuelle Gegenstände nach blieben zu greifen, zu bewegen, mit anderen Gergenständen berühren zu lassen. Gewicht, Trägheit, Volumen und Form lassen sich nach belieben darstellen. Auch starre Wände mit beliebiger Härte stellen kein Problem dar.

2.5.3.6. Das "Point to Point Spring Model"

Bei manchen Anwendungen geht es mehr darum die Hand des Users, die Fingerspitze oder die Sonde in seiner Hand mit einem Berechnungs-Endpunkt eine Application zu koppeln, auf den komplexe Kräfte wirken. Der Berrechnungs-Endpunkt kann ein starrer Körper in Interaktion mit vielen anderen Objekten sein, oder Atome in einem Eiweißmolekül. Im letzteren Falle wirken die atomaren Kräfte auf die Atome. Oft ist die Berechnung der Kräfte die auf ein Objekt wirken so Komplex, daß diese nur 1 bis 2 mal in der Sekunde berechnet werden können. Desweitern existiert gewöhnlich keine lokale Näherungslösung für diese Kraefte, die über den gesamten Intervall zwischen zwei Berechnungen gültig bleiben würde.

An dieser Stelle wäre eine "weiche" Kopplung zwischen dem Force Feedback der tatsächlichen Sonde in der Hand des Users, und dem Berechnungs-Endpunkt, der vom ausführenden Programm kontrolliert wird, wünschenswert. An der University of North Carolina wurde dieses Problem mit der Modulation einer Kopplungsfeder gelöst.

Modellhaft wird der Endpunkt der Sonde in der Hand des Users durch ein Feder mit dem Endpunkt für den die Programm Application die einwirkenden Kräfte berechnet verbunden.
(siehe links)

Die Sonde wird hierdurch in Richtung des Berechnungs-Endpunktes gezogen (Der User kann somit die auf den Berechnungs-Endpunkt wirkenden Kräfte erfahren), und gleichzeitig der Berechnungs-Endpunkt der Bewegung der Sonde in User Hand nachgeführt.

2.5.3.7. Vielfache Federn "Multiple Springs" zur modellierung von Drehmomenten

Solange die Verbindung der Sonde in der Userhand mit dem Berechnungs-Endpunkt (Applications Endpunkt) nur durch eine einzelne Feder modelliert wird, können nur Kräfte, nicht aber Drehmoment dargestellt werden. Durch Modellierung mehrer Federn, kann auch diese Einschränkung aufgehoben werden. Die Sonde in der Hand des Users wird hierbei modellhaft an mehreren Stellen mit entsprechenden Berechnungsendpunkten verbunden, die von der Programm-Application bewegt werden.

2.5.4. Diskussion von Force Feedback

Wie die obigen Modelle zeigen, lassen sich fast alle haptischen Empfindungen mit Hilfe von Force Feedback vermitteln. Die einschränkungen, die Systembedingt beim Tactile Contact und Grasp vorhanden sind spielen beim Force Feedback keine vergleichbare Rolle. Die Verwendung mehrerer Sonden nach dem Plane and Probe Model erlaubt es gar eine virtuelle Umgebung darzustellen, dessen haptische Erfahrung sich kaum von der der realen Welt unterscheidet. Diese Modellierung ist aber zugleich auch mit dem höchsten Aufwand aller vorgestellten Systeme verbunden.

2.6. Zusammenfassung haptische Feedback Systeme

Nerven, die haptische Reize registrieren sind über den gesamten Körper verteilt, folglich müßte ein ideales haptisches Feedbacksystem den gesamten Körper bedecken. Betrachtet man allerdings den Aufwand, der bei Force Feedback Systemen zu treiben ist, wird klar, daß sich dies wohl in absehbarer Zukunft nicht realisieren läßt. Auf der anderen Seite erzielen aufwendige Force Feedback Systeme schon recht beeindrucken Resultate (siehe Nanomanipulator). Wobei dieser Aufwand extrem mit jeder neu hinzugefügten Darstellungskomponente wie Reibung, multiple Sonden, Flächen etc. steigt.

Es ist Abzuwägen, welche Umsetzung für eine Anwendung die geeignetsten und angemessenste ist:

3. Literatur: