• deutsch | english

Wissensräume in der virtuellen Realität: Intuitives Interfacing mit einer multiperspektivischen Hypermedia-Umgebung

ProjeKTBESCHREIBUNG

Dieses Projekt setzt sich das Ziel, intuitivere Wissensschnittstellen zu entwickeln, die komplexe Datenzusammenhänge zugänglich machen. Der Fokus liegt dabei auf der Verbesserung der Zugänglichkeit von „Multiperspektivischen Hypermedia Umwelten“ (MHUn). MHUn erlauben die Repräsentation komplexer Datenstrukturen auf vielfältige Weise, beispielsweise in Form mehrerer Achsen, als Cluster oder als Graph. Mittlerweile existieren verschiedene medizinische, kunsthistorische und biologische Datensätze, die eine Repräsentation in Form einer MHU erlauben. Über die letzten Jahre wurde gezeigt, dass MHUn das „multiperspektische Schlussfolgern“ (MPS) unterstützen können – also die Fähigkeit, tiefere, komplexere oder innovativere Zusammenhänge in Daten zu entdecken, die normalerweise verborgen bleiben. Allerdings wurde der Erwerb solcher Fähigkeiten nur bei Personen mit einer hinreichend großen kognitiven Kapazität nachgewiesen. Es scheint als ob die Interaktionen mit MHUn mittels der verfügbaren 2D Schnittstellen hohe kognitive Ansprüche stellt: Verschiedene 2D Ansichten müssen in Bezug gesetzt werden, wobei diese Ansichten nicht unbedingt räumlich korrespondieren. Daher mussten die Benutzer große Teile des Inhalts, sowie die Relationen der Inhalte zueinander im Gedächtnis behalten, um die Lernumgebung nutzen zu können.


Basierend auf unserem Wissen wie das Gehirn lernt und Informationen verarbeitet und insbesondere auf den Prinzipien der event-orientierten Segmentierung, der antizipativen Informationsverarbeitung und der körperbezogenen Kognition, werden wir in diesem Projekt intuitive, interaktive Schnittstellen entwickeln, die MHUn in virtuellen 3D Welten zugänglich machen sollen. Die Anordnung in einer interaktiven 3D Umgebung wird es den Nutzern erlauben,  mehrere 2D perspektivische Ansichten gleichzeitig anzusehen, sie in Bezug zu setzen und intuitiv mit den Inhalten zu interagieren. Dadurch sollten die oben beschriebenen kognitiven Belastungen reduziert werden. Im Resultat erwarten wir, dass sich komplexeres Wissen intuitiver erschließen lassen wird und somit mehr Menschen von MHUn profitieren können. Insbesondere erwarten wir durch die virtuelle 3D Schnittstelle (1) intuitive, manuelle Wissensinteraktionen durch natürliche Gesten zu ermöglichen; (2) eine schnellere Orientierung innerhalb einer 2D Perspektive durch die Präsentation von Kontext und Achsensemantik und (3) den leichteren Aufbau von Relationen zwischen mehreren Ansichten, durch deren gleichzeitige, relationale Präsentation. Für die Evaluation werden wir die sich entwickelnden Schlussfolgerungsfähigkeiten in der neuen 3D- mit der alten 2D-Schnittstelle vergleichen, wobei wir uns auf zwei MHUn konzentrieren werden: Biodiversität in der Meeresbiologie und Kunstgeschichte.


  1. Projektbeteiligte

Publikationen

Butz, M. V., Bilkey, D., Humaidan, D., Knott, A., & Otte, S. (2019). Learning, planning, and control in amonolithic neural event inference architecture. Neural Networks, 117, 135-144.

Butz, M.V., Menge, T., Humaidan, D., & Otte, S. (2019). Inferring event-predictive goal-directedobject manipulations in REPRISE. International Conference on Artificial Neural Networks, 2019, 639-653

Gumbsch, C., Butz, M.V., & Martius, G. (2019). Autonomous identification and goal-directedinvocation of event-predictive behavioral primitives. IEEE Transactions on Cognitive andDevelopmental Systems. https://ieeexplore.ieee.org/document/8753716 

Lohmann, J. & Butz, M.V. (2019). Unflinching predictions: Anticipatory crossmodal interactions areunaffected by the current hand posture. Proceedings of the 41st Annual Meeting of the CognitiveScience Society. 692-698.

Lohmann, J., Belardinelli, A., Butz, M. V. (2019). Hands ahead in mind and motion: Active inference in Peripersonal Hand Space. Vision, 3(2), 15; https://doi.org/10.3390/vision3020015

Lohmann, J., Weigert, P., & Butz, M. V. (2019). Grasping Uncertainty: A free Energy Approach to Anticipatory Behavior Control. In Proceeding of the European Conference for Cognitive Science 2019 (EuroCogSci). Bochum.


Konferenzbeiträge
Gerjets, P., Lachmair, M., Butz, M. V., & Lohmann, J. (2018). Knowledge Spaces in VR: Intuitive Interfacing with a Multiperspective Hypermedia Environment. In 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). IEEE. Reutlingen. https://doi.org/10.1109/vr.2018.8446137 [Poster]