Menschen, Raum und Interaktion

Der rasante Technologiefortschritt bringt uns im Hinblick auf die Interaktion von Mensch und Maschine (auch HCI, Human Computer Interaction) zu neuen Horizonten. Vorbei sind die Zeiten, in denen wir für die Bedienung eines Videorekorders ein 200-seitiges Handbuch auswendig lernen und 5 Tasten gleichzeitig 3 Sekunden lang gedrückt halten mussten. Die beiden HCI-Experten Robert Adelmann und Markus Stolze über die aktuellen Entwicklungen.

In den Bereich der Mensch-Maschine-Interaktion ist Bewegung gekommen. Von räumlicher Interaktion durch Technologien wie Augmented Reality (AR) bis hin zur zunehmenden Wandlung unserer digitalen Werkzeuge von passiven Gadgets hin zu aktiven Helfern. Die Apple Watch warnt uns proaktiv, falls unsere Herzaktivität ungewöhnlich ist. Das Smartphone weist uns beim täglichen Arbeitsweg schon vorab auf Staus hin und empfiehlt uns, früher aufzubrechen als geplant. Selbstständig, ohne dass wir danach gefragt hätten.

Evolution der physikalisch-digitalen Welt

Der Mensch als räumliches Wesen lebt in einer physikalischen Welt und interagiert – evolutionsbedingt und geprägt durch sein Umfeld – mit anderen Menschen. Jetzt kommt die Interaktion mit Produkten und Möglichkeiten der digitalen Welt hinzu. Die grossen technologischen Fortschritte der letzten Jahre erleichtern uns die Kommunikation mit Maschinen – ungeachtet der technischen Komplexität im Hintergrund.

Hier spielen die Spatial-Computing-Technologien Augmented Reality (AR) und Virtual Reality (VR) gepaart mit Fortschritten im Bereich Machine Learning und der zunehmenden Vernetzung aller Dinge eine grosse Rolle. Sogenannte Conversational Interfaces (Sprachinterfaces und Chatbots) erlauben es dem Menschen, eine vollkommen neue Art der Konversation mit der Maschine zu führen. Auch die leistungsfähige Erfassung des Kontextes in komplexen realen Umgebungen basierend auf Bilderkennung trägt zum rasanten Fortschritt bei, z.B. im Umfeld selbstfahrender Fahrzeuge oder bei Produkten wie Google Lens, die eine visuelle Suche in der echten Welt ermöglichen.

Digitale Informationen in der echten Welt sehen

Ein Blick durch eine AR-Brille verrät uns, an welchen Schrauben wir drehen müssen, ohne dass wir den technischen Experten vorab um Rat fragen müssen. Der Blick auf die Baustelle durch unser Tablet hindurch lässt uns erkennen, wie das Gebäude einmal aussehen wird. Die konkreten Anwendungsfälle von AR sind längst nicht mehr nur Visionen, sondern bieten viel Mehrwert und Innovationen für die gesamte Gesellschaft.

Diese Interaktion direkt im Raum bietet eine Vielzahl von Einsatzmöglichkeiten, erfordert aber auch ein Umdenken und die neue Gestaltung der Mensch-Maschine-Interaktion. Bereits etablierte, klassische 2-D-User-Interfaces lassen sich nicht einfach übernehmen. Beispielsweise verfügen sogenannte Head-Mounted-Displays (HMDs) über keine klassischen Bildschirme mehr. Mit Informationen und Services können wir direkt an den Dingen und Orten, auf die sich diese beziehen, interagieren.

Aktuell werden noch viele Projekte mit Smartphones oder Tablets umgesetzt, da diese weit verbreitet sind und das Unternehmen für die Umsetzung damit keine neue oder zusätzliche Hardware beschaffen muss.

Doch die Entwicklung im Bereich HMDs steht nicht still. Die Ankündigung der Microsoft Hololens-2 am Mobile World Congress Ende Februar 2019 hat es deutlich gemacht: Microsoft positioniert ihre fortschrittlichen AR-Lösungen im Bereich von industriellen Anwendungen. Im Fokus steht die Unterstützung von Personen, die beide Hände zum Arbeiten brauchen und in ihrer Arbeit mit raumverorteten Informationen unterstützt werden können. Ein Beispiel ist die Unterstützung bei komplexen und individualisierten Montageprozessen, wie sie in der Auto- und Maschinenindustrie zu finden sind. Aber auch im Umfeld der Planung, des Baus und der Wartung von Gebäuden und Infrastruktur.

Interaktion mit allen Sinnen

Mit der Verbreitung von HMDs gewinnt auch die multimodale Interaktion an Bedeutung. Dies sind Interaktionsformen zwischen Menschen und Computern, bei denen für die Ein- und Ausgabe mehrere Sinnesmodalitäten verwendet werden. Beispiele für diese Modalitäten sind Sprach- und Gestenerkennung oder auch EyeTracking. Je nach Anwendung in der Praxis empfiehlt sich eine Kombination derselben, um die Stärken jeder einzelnen bestmöglich nutzen zu können.

Künstliche Intelligenz auch beim Sprechen

Sprachassistenten gewinnen rasant an Bedeutung. Dies ist den Fortschritten im Bereich Machine Learning und der Verfügbarkeit grosser Datenmengen geschuldet. So etablieren sich beispielsweise Sprachassistenten und drahtlose Kopfhörer in Haushalten und Fahrzeugen und lassen ganze Ökosysteme für neue Anwendungen und deren Distribution entstehen.

Die grossen Fortschritte im Bereich AI und Sprache zeigt auch das Google Duplex-Projekt. Hierbei handelt es sich um die Weiterentwicklung des digitalen Assistenten, der auf bestimmte Gesprächssituationen (z.B. die Tischreservation im Restaurant) trainiert worden ist. Mit der entsprechend hohen Anzahl an Trainingsdaten ist es dem Assistenten möglich, zunehmend komplexere Nutzeranfragen automatisiert zu behandeln.

Symbiose von Mensch und Maschine statt erzwungener Ersatz

Es ist nicht immer sinnvoll, den Menschen mit einem Sprachassistenten zu ersetzen. Oft konzentriert man sich darauf, die Stärken beider zu vereinen. So wird zum Beispiel im Finanzumfeld bei Beratungsgesprächen ein Assistent eingesetzt, der sowohl vom Berater als auch vom Kunden für Rückfragen zu Daten und Fakten verwendet werden kann. Das Hauptgespräch führt jedoch immer noch der Kunde mit dem Bankberater.

Technologie passt sich den Menschen an

Entwicklungen wie Spatial Computing, AI, IoT und eine allgegenwärtige Vernetzung erlauben es uns, die nahezu unbegrenzten Möglichkeiten des Digitalen auch in der echten Welt anzuwenden, d.h. nicht nur am Schreibtisch, sondern in immer mehr Alltagssituationen. Mit weitreichenden Folgen und Möglichkeiten – nicht nur für neue Produkte und Innovationen, sondern unsere Gesellschaft als Ganzes.

Im Bereich der Mensch-Maschine-Interaktion tragen diese Entwicklungen dazu bei, dass wir die Vorteile und Möglichkeiten von Technologie nutzen können, Technologie an sich jedoch immer mehr in den Hintergrund rückt. Technologie ist zunehmend leistungsfähig genug, um sich an uns Menschen anzupassen – nicht umgekehrt.

Erfolgreiche Umsetzung von Augmented-Reality-Projekten durch «Human-Computer Interaction Design»

Nach Desktop-Computing (beide Hände an der Tastatur) und Mobile-Computing (eine Hand frei) wird mit Augmented Reality (bzw. «Spatial Computing») die nächste Computing-«Revolution» eingeläutet – dies mit grossem Potenzial in all den Bereichen, in denen komplexe Aufgaben mit beiden Händen ausgeführt werden und mittels kontext- und raumbezogener Daten Qualitäts- und Effizienzsteigerungen erreicht werden können.

Die Herausforderung hierbei ist, diese Unterstützung so in Arbeitsprozesse einzubetten, dass dieses Potenzial zur Qualitäts- und Effizienzsteigung auch wirklich realisiert werden kann. Das Wissen der hierfür notwendigen User-Centered-Design-Prozesse ist vorhanden. Im Bereich Desktop- und Mobile-Computing ist etabliert, dass die Umsetzung erfolgreicher Projekte «Human-Computer Interaction Design» erfordert. Um den Erfolg von AR-Projekten in industriellen Anwendungen zu sichern, sollten Lehren aus den Bereichen Desktop- und Mobile-Computing gezogen werden und statt einem traditionellen («tayloristischen») Ansatz benutzerzentrierte Vorgehen gewählt werden.

Dieser Beitrag wurde verfasst von Markus Stolze, Institut für Software Hochschule Rapperswil, und Robert Adelmann, HCI-Experte.