Laboratorium mieszanej rzeczywistości UJ CM oficjalnie otwarte

Na pytania dziennikarzy odpowiadali: prof. Tomasz Grodzicki, prorektor ds. Collegium Medicum, prof. Dariusz Dudek z Instytutu Kardiologii UJ CM oraz dr inż. Klaudia Proniewska z Zakładu Bioinformatyki i Telemedycyny UJ CM, autorka programu nauczania „Metody wizualizacji danych medycznych przy wykorzystaniu technologii mieszanej rzeczywistości (Mixed Reality)” oraz kierownik projektu „Zastosowanie technologii rzeczywistości mieszanej w zaawansowanej edukacji medycznej – nowa metoda nauczania umiejętności klinicznych” finansowany w ramach programu Erasmus+ / 2020-1-PL01-KA203-HE-082077/".

– Lekarze pracują zwykle z obrazami w 2D. Jednak nasz mózg działa w 3D. Dlatego obecne technologie obrazowania wymagają dodatkowego przetwarzania, aby w pełni odzwierciedlić trójwymiarową istotę struktur naszego organizmu – mówi dr Proniewska. – Spojrzenie trójwymiarowe w głąb ludzkiego ciała może mieć istotny wpływ na proces  planowania przedproceduralnego, jak i monitorowania śródproceduralnego zabiegów, jak również na zaawansowaną edukację medyczną – podkreśla.

Pierwsze warsztaty z wykorzystaniem rzeczywistości mieszanej dla studentów  Wydziału Lekarskiego oraz Wydziału Nauk o Zdrowiu odbyły się pod koniec czerwca 2021 r., ale mieszaną rzeczywistość wykorzystano na UJ CM już ponad 3 lata wcześniej. W marcu 2018 roku zespół prof. Dariusza Dudka przeprowadził w Szpitalu Uniwersyteckim w Krakowie pionierską operację przy wykorzystaniu okularów mieszanej rzeczywistości w procesie planowania zabiegu leczenia ubytku w przegrodzie międzyprzedsionkowej (ASD). – Technologia HoloLens pozwala nam zobaczyć narządy w trójwymiarze. Możemy dostrzec rzeczywiste struktury przedsionka i precyzyjniej zaplanować zabieg pod względem możliwości przemieszczania się naszych urządzeń. Najważniejsze, że urządzenie obsługujemy bez dotykania ekranu, ponieważ okulary reagują na ruch ręki i komendy głosowe. W związku z tym jesteśmy w stanie elektronicznie przekroić serce w dowolnych płaszczyznach oraz obracać przekroje w dowolnej osi – wyjaśniał wówczas prof. Dudek.

Dzięki realizowanemu na UJ projektowi „Doskonały Uniwersytet”, finansowanemu z funduszy Narodowego Centrum Badań i Rozwoju, możliwy stał się zakup 10 sztuk okularów HoloLens 2 Microsoft wraz z oprogramowaniem firmy apoQlar do trójwymiarowej wizualizacji danych medycznych. Pozwoliło to otworzyć laboratorium mieszanej rzeczywistości, w którym studenci mogą poznać nowoczesne technologie obrazowania medycznego i przetwarzanie trójwymiarowych obrazów oraz eksperymentować z wysokiej wierności modelami 3D. 

Każdy z zestawów w najnowszej wersji wyposażony jest w system rozpoznawania mowy umożliwiający sterowanie bez użycia rąk. Jako samodzielny moduł z łącznością Wi-Fi, HoloLens 2 umożliwia użytkownikom swobodne poruszanie – okulary są lekkie, mobilne i działają bezprzewodowo, a ich konfiguracja przebiega w kilku prostych krokach

– Mieszana rzeczywistość niewątpliwie zwiększy tempo, w jakim się uczymy, szczególnie kiedy możemy trójwymiarowo wizualizować najtrudniejsze przypadki medyczne – mówi Proniewska.

W trakcie spotkania rozmawiano także o oczekiwaniach lekarzy w zakresie wsparcia inżynieryjnego dotyczącego wdrażania urządzeń biomedycznych oraz konstruowania innowacyjnych rozwiązań technologicznych. Poruszono także, wynikające z dokonującego się w XXI wieku przełomu technologicznego XXI, kwestie związane z zastosowaniem telemetrii, zaawansowanego obrazowania 3D oraz druku 3D, technologii immersyjnych, poszerzonej (Augmented Reality) i mieszanej rzeczywistości (Mixed Reality) w diagnostyce i leczeniu pacjentów, a także stosowania robotyki w operacjach wysokospecjalistycznych.