In Mixed Reality (MR) wordt de fysieke wereld verrijkt met digitale (3D) informatie door via kleuren- en diepte-camera's simultaan de positie van de headset en de 3D-structuur van de ruimte (SLAM) te bepalen. Via MR zouden hulpverleners ondanks significante rookontwikkeling (zichtbaarheid <1m) efficiënt door een brandend gebouw kunnen navigeren door de 3D-structuur van de ruimte op hun vizier te projecteren. De dieptebeelden vormen gefuseerd een real-time 3D-model van het gebouw met de posities van de hulpverleners er in. Op basis van deze informatie kunnen interventieleiders de interventie beter coördineren en de hittebron efficiënter op sporen.
Recent zijn er naast de Microsoft Hololens MR headset verschillende toepassingen ontwikkeld voor diepte-acquisitie op basis van diepte-camera's. Robots en auto’s navigeren autonoom met behulp van onder andere LIDAR en radar. Microsoft Kinect herkent de pose van personen voor entertainment via short-wave infraroodprojecties. De gebruikte diepte-sensoren hebben echter hun beperkingen: LIDAR en shortwave infrarood zijn gevoelig aan storende elementen en radar heeft een lage resolutie. Onderzoek naar diepte-acquisitie bij rookontwikkeling is beperkt tot stereo matching op thermische beelden. Gebrek aan textuur in de beelden leidt echter tot matige resultaten. Het doel van ons onderzoek is om de diepte-acquisitie te verbeteren door een sensor te ontwikkelen die textuur introduceert via Time of Flight (ToF) en Structured Light (SL) principes op de long-wave infrarood golflengte. Daarnaast willen we de laatste computervisie-algoritmen toepassen om het gebrek aan textuur te overwinnen. Op basis van deze resultaten willen we de efficiëntie van SLAM op deze dieptebeelden toetsen en indien nodig verbeteren.
Resultaten en algoritmen worden kwalitatief geëvalueerd door de gemeten puntenwolken te visualiseren en kwantitatief door de impact van een toenemende hoeveelheid rook op de gemeten dieptes te meten.