Research projects

The main goal of DIGIMAN is to elaborate a master programme study related to digital manufacturing and meet the challenges of industry 4.0. The project will address the gaps in terms of learning Outcomes, competences, skills in educational technologies of the fourth industrial revolution.

As declared objectives the project has the following topics:

  • Inventory of relevant digital technologiesd in order to elaborate a guideline for alignment of the industry 4.0 to actual digital devices for fabrication process
  • Elaboration of minimal requirements to introduce a new innovative master programme study related to digital manufacturing
  • Elaboration of a new innovative curriculum on digital manufacturing
  • Elaboration of digital lessons materials in order to improve technical and digital competences
  • Elaboration of learning management system for an open education in digital era
  • Promotion of a new innovative programme study to industry stakeholders, HEIs and students.


Regarding innovation, this project will:

  • Create an innovative master programme study related to industrial manufacturing that addresses relevant needs while the current programmes only address a small part of digital manufacturing
  • Study cases that will allow transfer of knowledge between all relevant stakeholders
  • Step forward towards digital transformation of teaching/learning/evaluating process
  • Digitalization of all lesson materials and share through a learning management system

The BMBF-funded project Start_V-AR focuses on the establishment of a European network in the area of virtual and augmented reality training of workers.

Motivation

The training of skilled workers is a central component of every work process in industry. In a large number of cases, however, this is very expensive since special tools or entire parts of, for example, production plants have to be kept exclusively for training purposes. This circumstance can be circumvented by the use of novel technologies for (partial) virtualization of environments.

Objective

Virtual Reality offers the advantage that a user can learn the basics of the tasks in a completely virtual environment and make them easier to implement in the real workplace. Another technology is Augmented Reality, this superimposes the reality with digital objects and can thus display additional information to a user. In the context of the training, the trainees can be shown hints for the task execution here. Almost exclusively, the technologies of augmented and virtual reality have been researched and applied prototypically on their own and independently of each other. However, there is an untapped potential to combine these technologies to optimize work processes in order to create a seamless training concept.

The main goals of the project are:

  • Combine VR and AR technologies to create a seamless framework for the training of workers
  • Set up a European network for joint consideration and research of augmented and virtual reality
  • Submit a research proposal for a European funding program out of this network

Motivation

Mehr als 15 Prozent der erwachsenen Bevölkerung in Deutschland entwickelt einmal im Leben eine behandlungsbedürftige Angststörung. Höhenangst, Spinnen-Phobie oder das Unbehagen, vor einer großen Menschenmenge sprechen zu müssen. Mittels sogenannter Konfrontationstherapie lassen sich Ängste behandeln – doch diese Vorgehensweise ist sowohl für Patient*innen als auch für Therapeuten aufwendig und erzielt zu selten den erhofften Behandlungserfolg. Mit EVElyn wurde ein Verbundprojekt ins Leben gerufen, welches mittels Virtual Reality dazu beitragen kann, angstauslösende Situationen realitätsnah zu simulieren. Dazu tragen Patienten eine Virtual Reality-Brille und können über natürliche Bewegungsabläufe mit dem System interagieren. Durch den Einsatz dieser Technik wird der Therapieaufwand erheblich gesenkt und Hemmschwellen abgebaut. 

Objective

Inzwischen ist aus dem Verbundprojekt eine echte Erfolgsgeschichte geworden. Zum Zeitpunkt des Projektstarts war das Ziel von EVElyn, ein nutzerzentriertes Konzept für eine ambulante Psychotherapie zu erforschen und umzusetzen. Die schlechte Zugänglichkeit moderner Behandlungen und ein hoher Organisationsaufwand einzelner Therapiesitzungen sollten der Vergangenheit angehören und von einer virtuellen Konfrontationstherapie abgelöst werden. Ziel war es, diesen innovativen Behandlungsansatz klinischen Praxen vor Ort zur Verfügung zu stellen. Nach dreijähriger Förderdauer ist EVElyn auf dem Weg, diese Ziele umzusetzen. Das Team arbeitet mit Kooperationspartnern an neuen Fördermöglichkeiten und der Weiterentwicklung.

Motivation

Mobilität ist ein entscheidender Faktor in unserem Alltag. Deshalb sollen neue Systeme der Mensch-Technik-Interaktion entwickelt werden, die zu mehr Sicherheit, Komfort und Zuverlässigkeit in diesem Bereich beitragen. Ein vielversprechender Lösungsansatz kann das teilautomatisierte Fahren sein, bei dem das Fahrzeug möglichst gut mit der Person hinter dem Steuer kooperiert, besonders in eintönigen oder gefährlichen Fahrsituationen.

Objectives

Im Projekt KoFFI wird erforscht, wie ein teilautomatisiertes Fahrzeug zum kooperativen Partner werden kann. Ziel ist es, dass Fahrer und Fahrzeug kritische Verkehrssituationen frühzeitig erkennen und gemeinsam entsprechend reagieren. Es werden dazu theoretische Modelle entwickelt, die sowohl Verkehrssituationen als auch Fahrer- und Fahrzeugzustand berücksichtigen. Diese Modelle ermöglichen innovative Ansätze für eine intuitive Interaktion zwischen Fahrzeug und Fahrer. Hierfür werden natürlich-sprachliche Dialoge und intuitiv-grafische Elemente entwickelt und in die Praxis überführt. Die Validierung des Systems erfolgt sowohl im Fahrsimulator als auch im öffentlichen Straßenverkehr. Außerdem werden alle Entwicklungsschritte aus ethischer und rechtlicher Perspektive konstruktiv und permanent begleitet.

Perspectives

Das kooperative und intelligente Assistenzsystem KoFFI stellt neue Interaktionskonzepte und Technologien bereit, die die besonderen Anforderungen beim teil- und hochautomatisierten Fahren erfüllen, gerade auch bezüglich Akzeptanz und Zuverlässigkeit von automatisierten Fahrzeugen.

Motivation

Dienstleistungsapplikationen im mobilen Bereich lassen sich durch eine minimalistische Entwicklung des Funktionsumfangs schnell auf dem Markt platzieren, benötigen jedoch einen Ansatz zur schnellen Erfassung, Auswertung und Verarbeitung der Nutzerrückmeldungen auf Basis von Verhalten und Erfahrungen der Nutzer. Opti4Apps strebt einen Qualitätssicherungsansatz an, der durch semiautomatisierte Informationsgewinnung aus den Nutzerrückmeldungen sowie durch eine kombinierte Inspektions- und Testmethodik die Vorteile der minimalistischen Entwicklung ermöglicht und erweitert.

Motivation

Die aktuelle Forschung zeigt, dass viele angehende Lehrkräfte nach Abschluss der 2. Ausbildungsphase nicht ausreichend gut auf die praktische Klassenführung vorbereitet sind. Im Rahmen des einjährigen Projektes soll ein virtuelles Klassenzimmer entwickelt werden, mit dem erste Erkenntnisse zur Vermittlung von Methodenkompetenzen per Virtual Reality zur Ausbildung von Lehrkräften gesammelt werden können.

Perspectives

Nach der Konzeption und Implementierung des VR-Grundsystems, soll in einem Übungsszenario mit Störszenen untersucht werden, ob Lehrkräfte diese korrekt erkennen und nötige Interventionsmaßnahmen einleiten. 

Motivation

INVEST-PRO³ (INternational Vernetzt durch die Entwicklung gemeinsamer STudienprogramme mit hoher PRaxisOrientierung) gliedert sich in drei Teilprojekte. Wobei die übergeordneten Ziele des Projektes der Ausbau internationaler Studienformate, die Stärkung von Netzwerken mit internationalen (Partner-)Hochschulen und Unternehmen sowie die Intensivierung internationaler Zusammenarbeit in den Bereichen Forschung und Lehre sind.

Dazu werden weitere praxisorientierte Double-Degree-Programme entwickelt (Teilprojekt 1), die Karriereförderung für internationale Studierende ausgebaut (Teilprojekt 2) und Forschungskooperationen gestärkt (Teilprojekt 3).

Teilprojekt 3: Internationale Forschungszusammenarbeit stärken

Das Thema „Augmented und Virtual Reality Training von Arbeiter*innen in industriellen Umgebungen“ setzt direkt an den Herausforderungen an, vor denen Unternehmen angesichts der zunehmenden Digitalisierung sowohl in Deutschland als auch in Vietnam stehen und bildet Projekt-teilnehmer*innen somit in einem zukunftsträchtigen Arbeitsbereich aus.

Im Projekt HHN-INVEST-PRO³ wird ein anwendungsbezogenes, interdisziplinäres Forschungsprojekt mit der Vietnamese-German University durchgeführt. Gemeinsam wird an der Weiterentwicklung eines Virtual Reality Fahrzeug Simulators auf Basis von Unity 3D gearbeitet.

Neben wissenschaftlichem Personal, werden Masteranden und Doktoranden der VGU und der HHN zudem durch Stipendien zur Durchführung von Forschungsarbeiten, Projekt- und Abschlussarbeiten gefördert.

Ziel – Teilprojekt 3

Das Teilprojekt 3 zielt vor allem darauf ab, die Forschungszusammenarbeit zwischen der HHN und der VGU im Bereich innovativer interaktiver Technologien weiterzuentwickeln.

Beide Projektstandorte in Deutschland und in Vietnam arbeiten gemeinsam an der Entwicklung eines Virtual-Reality-Fahrsimulators. Zusätzlich steht die Konzeption und Durchführung gemeinsamer Forschungsexperimente aus den Bereichen "Fahrsimulation in Virtual Reality" und "Mensch-Maschine-Interaktion" im Fokus.

Motivation

The current generation of dedicated Mixed Reality (MR) devices can be considered as the first generation, which is truly mobile while also being capable of sufficient tracking and rendering. These improvements offer new opportunities for the on-set use of MR devices enabling new ways of using MR. However, these new use cases raise challenges for the design and orchestration of MR applications as well as how these new technologies influence their field of application. In this article, we present MR On-SeT, a MR o ccupational health and safety training application, which is based on the experiences of an operational division of a world-wide operating German company.

The intended purpose of MR On-SeT is to increase employees’ awareness of potential hazards at industrial workplaces by using it in occupational health and safety training sessions. Since the application is used at various locations throughout the company’s world-wide subsidiaries, we were able to evaluate it through an expert survey with the occupational health and safety managers of seven plants in France, Germany, Japan, and Romania. They reported the condensed experience of around 540 training sessions collected within three months. The purpose of the evaluation was twofold: 1. to understand their perceived attitudes towards the application-in-use, and 2. to collect feedback they received from respondents in training sessions. The results suggest that MR On-SeT can be used to extend current, predominantly theoretical, methods of teaching occupational health and safety at work, which also motivates experienced employees to actively engage in the training sessions. Based on the findings, several design implications are proposed.

„Prospering Life“ was the motto of the Bundesgartenschau, which was opened on April 17, 2019, in Heilbronn. Within the borders, the BUGA offers many exciting projects and promotions are taking place within the entire region.

For the garden show, UniTyLab developed the mobile application BuGAR, which uses augmented reality to bring parts of the garden show grounds onto a smartphone, with iPOL GmbH . More precisely, the app is a kind of knowledge rally, by which the user receives information about the BUGA from small game applications or experiencing this knowledge through perceptible exhibits.

A feature of the minigame can only be activated at specific locations on the garden showgrounds. Through a push notification the user receives a message that, for example, by entering the area with the wooden skyscraper, the Memory Minigame can now be started.

Developement of a Software Tool for automatically checking user Interfaces against usability-related standards and guidelines (DeSTIny)

Die Entwicklung von Benutzungsschnittstellen ist eine teure und zeitintensive Aufgabe. Um die Software dennoch gebrauchstauglich zu gestalten, existieren verschiedene Normen, Richtlinien und Styleguides. Viele Entwickler sind allerdings nicht mit diesen Dokumenten vertraut. Da die Behebung von Fehlern in späten Projektphasen teurer ist, als in frühen wird es als sinnvoll angesehen, die Benutzungsschnittstelle früh auf möglicherweise vorhandene Fehler zu überprüfen. Ziel des Projektes ist es ein Tool zu entwickeln, das Benutzungsschnittstellen gegen gegebene relevante Dokumente prüft.

Heutzutage leiden viele Menschen an Allergien. Viele Substanzen in kosmetischen Produkten (z.B. in Shampoos, Körperlotionen, Sonnencremes, etc.) können allergische Reaktionen auslösen. Obwohl alle Inhaltsstoffe auf die Verpackung gedruckt sind, ist es für die Konsumenten dennoch schwer die Substanzen zu identifizieren, die ihre allergische Reaktion auslösen. 

Im Projekt GlassAllergy wird die Kamera der Google Glass dazu verwendet, den EAN Barcode auf dem Produkt zu scannen, um die enthaltenen Substanzen gegen ein vom Konsumenten online abgelegtes Allergieprofil zu validieren. Die Übersetzung der Substanzen in deren Inhaltsstoffe wird dabei von medizinischen semantischen Netzwerken abgeleitet und in einem Webservice wird die Überprüfung der Substanzen gegen mögliche Allergien des Konsumenten durchgeführt.

Introduction

The aim of the project LeapPhysio is to support the physiotherapist
during the treatment of hand injuries. Patients will be able to practice the preconfigured and adjusted exercises independently e.g., at home. This efficiently supports the healing process of the patient’s injuries.

Leap Motion

The Leap Motion works with two cameras (CMOS sensors) and 3 LEDs sending out infrared light. The CMOS sensors translate the back light which is falling on them in tension, so that you can determine the position of the hand with the aid of stereoscopic images. This is done with an accuracy of up to 1/100 mm, on condition that the hand is in the coordinate system of the controller (25-600mm above). 

Leap Physio

The project has been done in close collaboration with a physiotherapist (Praxis Lebenswert, Christiane Pasker, Schwaigern). Five hand exercises were determined, that have be implemented with the Leap Motion. These exercises aim to make everyday movements after hand injuries possible again. Since the potential for the patient movements may be very limited initially, it was important that you can individually set a timeout when the exercise is terminated, even if the patient did not complete the whole exercise. To guide the patient as much as possible during the exercise, the graphical user interface was kept as simple as possible (see Figure 2). The patient will find information about the progress of his exercises, such as the number of repetitions that he (still) has to do, the training set itself, and the countdown until the timeout of the exercise. On the right side, he has both, a textual description with a picture, and also a narrated video tutorial. Of course, the countdown timer stops during the video tutorial.

Introduction

A common approach to the therapy of acrophobia is an exposure therapy. Such a therapy could be supported and improved by new technologies. Especially head-mounted- displays (HMD) are quite suitable. Therefore a scene was developed that allows a therapy in virtual reality. 

Technical implementation

The first step was to evaluate the hardware exactly. As HMD the Oculus Rift in the first developer version was deployed. The Oculus Rift has a Field-of-View (FoV) of 110° diagonal. Additionally the Oculus Rift has an integrated head-tracking system. The development phase started with the preparation of a realistic scene. Therefore several game-engines were evaluated according to stated criteria. The result was that Valve’s Source Engine fits the needs best. Further it’s possible to install Garry’s Mod that brings a sandbox-mode with it. With this Mod it is comfortable possible to add items in the game scene. Afterwards a level of HalfLive 2 was modified to a realistic scene for the therapy. Thereby a street was chosen and all the gaming elements were removed. To a house a lattice balcony was modelled. The scene was with the Oculus Rift quite realistic. The figure could be moved by keyboard and the Oculus Rift enabled a perfect head-tracking and

this was mapped accurately to the field of view. At that point the idea of a body-tracking came up. With this it would be possible to show the patients arms and legs. In the native version of HalfLive 2 this is not provided. To implement this feature the Microsoft Kinect 1 was used. The inclusion was realized with Lua-scripts. Through the accomplished inclusion of the Microsoft Kinect the immersion was noticeably improved. The patient now has the opportunity to hold his legs over a bottomless pit (figure 1). 

Outlook

The actual results were not evaluated from real patients. For the further work it would be necessary to evaluate the system with real patients. Due to this the University of Regensburg was contacted. Also it would be interesting to integrate the Omni Virtuix, so the patient could walk like in real-life. 

In this project together with Harman Becker Automotive Systems GmbH we display how the consumer market, e.g. the smartphone sector, influences the automotive area and what the smartphone-oriented generation expects from today’s infotainment solutions. According to recent studies from J.D. Power, from 2007 to 2014 the amount of smartphone usage has increased from approximately 15 percent to 70 percent. Therefore, nearly everybody is used to have a mobile device every time and everywhere.

Automakers are aware of this trend and offer the possibility for the users to connect their smartphone with their car. Now, users can access their contacts, music and other functions that are brought by the smartphone. But often the interface differs much from the way people know it from their smartphone usage. Thus, there are approaches to integrate existing solutions from the smartphone market into the car to meet the needs of the smartphone-oriented generation. Also automakers can profit by the smartphone integration since the smartphones will always be up-to-date and therefore the HMI keeps up in the field of infotainment.

To have a better understanding of what is really important for the “connected” generation we made an online survey with questions regarding the usage of smartphones and vehicle integrated functions. Results of this survey were compared to current HMI solutions of four selected cars to review current solutions and to find a new way of designing the HMI of a car and implemented it as proof of concept.

The proof of concept that aims to meet the needs of the smartphone-oriented generation focuses on a reduction of redundant hard- and software as well as a driver-centered design which has a smooth smartphone integration and a fresh style.

Introduction

The aim of this work is to rebuild the Meta1 for eLearning purposes is. Based on the Epson Moverio BT-100 videoglasses released in 2011 which is operated by Android in the version 2.2 and a camera capable of detecting objects an exemplary implementation of the ”Physical Exam” Screen of the CAMPUS Card Player, a medical eLearning system, was realised. Furthermore, the whole system should follow the hardware selection of Meta1 but using open source frameworks, if possible. The set- up is highly adaptable to other use cases. 

Graphical User Interface 

The GUI is geared to the “Physical Exam” card of the CAMPUS card player. The mock-up of the GUI shown above, depicts the aimed functionality of the system. On the left side, the patient puppet and the interaction chooser (blue frame) are displayed and on the right side, the results are listed (yellow frame) and due to the optimization of the space, the tool bar (red frame) also is located on this screens side.  

3D to 2D Transformation 

As the selected Softkinetic DS325 3D camera returns three dimensional coordinates of detected parts of the hand, a mapping into a two dimensional space has to be executed. The underlying idea is sketched in the above figure, where a reference plain ER is introduced and the point P (three dimensions) is mapped on it. As every detected point is mapped, afterwards the third dimension can be neglected. 

Einleitung

Zur Behandlung eines Patienten müssen Chirurgen heutzutage mit einer zunehmenden Zahl an computerbasierten medizinischen Systemen intraoperativ arbeiten. Dabei besteht die größte Herausforderung vor allem darin, dass viele Peripheriegeräte nur schwer sterilisierbar sind. Im Rahmen des Projektes Osirix in Motion (OiM) wurde ein Plug-In zur berührungslosen Interaktion im Operationssaal entwickelt. OiM ermöglicht eine 1-Hand- Interaktion zur Steuerung von Osirix1, einer Mac OS X-basierten Software zur Darstellung und Verarbeitung radiologischer DICOM- Bilddaten (u.a. CT, MRT und Röntgen). 

Methoden

Zur Erfassung der Gesten wurde der Leap Motion-Controller (LMC) eingesetzt, welcher Fingerbewegungen mit einer Rate von ca. 200 Frames pro Sekunde und einer Präzision von 0,01 mm überträgt. Die Auswertung der Daten wird dabei von dem angeschlossenen PC übernommen. Die Erkennung von Bewegungen erfolgt innerhalb der Interaktionsbox, die in Form einer um 180° rotierten Pyramide im Bereich von 2,5 - 60 cm oberhalb des Controllers aufgespannt wird.

Bisher publizierte Implementierungen zur Gestensteuerung des DICOM-Viewers OsiriX nutzen zur Erkennung von Gesten stereo- kamera-basierte Verfahren oder time-of-flight-Kameras wie die Kinect von Microsoft. Die hier vorgestellte Lösung mit dem LMC erkennt Gesten mit Hilfe von Infrarot- Technologie, durch die eine deutlich höhere Präzision erreicht werden kann. Die Gestaltung des Icons der jeweiligen Funktion

erfolgte nach den Empfehlungen des Integrating the Healthcare Enterprise (IHE)- Profils „Basic Image Review“2. Die Funktionen wurden in einem kreisrunden Menü angeordnet, das sich in der Mitte des Bildschirms öffnet. Auf diese Weise ist eine einfache und schnelle Auswahl des gewünschten Interaktionsmodus möglich. Die Selektion erfolgt dabei in Abhängigkeit der Richtung des ausgestreckten Zeigefingers. Aufgrund der höheren Zielgenauigkeit wird die Auswahl einer Funktion mittels „wait to click“ statt mit einem Tap bestätigt. OsiriX in Motion bietet in der aktuellen Version fünf Funktionen: Schichtauswahl, Translation, Kontrastanpassung, Rotation und Vergrößerung.

Diskussion und Ausblick

Im Gegensatz zu bereits veröffentlichten Lösungen, die auf 2-Hand-Interaktionen basieren, wurde OiM ausschließlich für die Bedienung mit 1-Hand-Gesten konzipiert, da Ärzte im Operationsbetrieb möglichst beide Hände zum Operieren benötigen. Zudem werden auch komplexe Gesten (z.B. Neigungswinkel der Hand) unterstützt. Der Funktionsumfang bei bisher veröffentlichten Lösungen ist begrenzt. Nichtsdestoweniger nutzen diese Systeme eine Vielzahl an unterschiedlichen Gesten, wodurch deren Lernphase sehr zeitaufwendig ist. Bei OiM ist das Gestenvokabular verhältnismäßig gering, da die eingesetzten Gesten einem einheitlichen Konzept folgen und somit das Erlernen erleichtern. Um OiM im praktischen Einsatz zu testen, ist eine weitere Evaluation unter realen Bedingungen, beispielsweise im OP, notwendig. Da das Plug-In bisher nur den 2D- Viewer unterstützt, ist es denkbar, OsiriX in Motion für die 3D- und auch 4D- Unterstützung weiterzuentwickeln. 

Für die Weiterentwicklung wird der Code auf GitHub zur freien Verfügung veröffentlicht.

Logo des Audits familiengerechte Hochschule. Die HHN ist seit 2005 zertifiziert.
Logo der weltoffenen Hochschulen gegen Fremdenfeindlichkeit
Logo der Charta der Vielfalt mit Stempel unterzeichnet
Logo der Hochschulföderation Süd-West (HfSW)