GPU Accelerated Visualization for Neurostimulation Therapy
Visualization plays an important role in many parts of our daily lives. It surrounds us
wherever we are in various forms and shapes. Data is everywhere, and visualizing
it can be crucial for fast decision-making processes. Even critical parts of our
society, such as medicine, rely on different imaging modalities daily. Many imaging
techniques have been around for decades and are used during patient assessment.
Techniques such as CT or MRI have been established as a standard in medical care
and are seen as indispensable for various treatment forms. These techniques are not
only seen as indispensable for patient assessment, but they are also essential for some
treatment forms, such as neurostimulation therapy. In neurostimulation therapy, the
goal is to implant electrodes within the deep areas of the patient’s brain to suppress
malfunctioning cells within the targeted tissue. Therefore, imaging techniques such
as CT and MRI are crucial to locating the correct target tissue. Even though these
imaging techniques have been around for decades, they are still primarily used as
two-dimensional slice views as they were introduced to the market at the beginning.
However, starting from the mid-1990s, significant progress has been made in
computer visualization due to the introduction of dedicated hardware in the form
of graphics processing units. Over time these processors became more and more
freely programmable to the user and opened a vast space for applications. While
the consumer market adopted the advancements in computer graphics in the form of video games or movies, imaging techniques in the clinical field mainly stayed the
same.
Especially techniques for visualizing three-dimensional volume data, such as
CT or MRI data, have become more accessible over time and could provide a more
realistic assessment to doctors in the field of neurostimulation therapy by providing a more in-depth visualization of the three-dimensional structures of the brain.
Also, new technologies such as modern virtual reality systems allow combining
three-dimensional imaging data with an immersive visualization for more insight.
Furthermore, the computational power of modern graphics processors allows the real- time processing of daily medical data for fast access to the underlying information.
However, these possibilities have been largely neglected by clinical practice.
This dissertation will present different techniques and systems that aim to aid
doctors in their daily tasks by providing new visualization domains currently not
in clinical use. Therefore, the presented research will focus on two aspects of
neurostimulation therapy, the preoperative planning phase of the intervention and
the intraoperative visualization of various data domains in real time. While imaging
data is indispensable for planning the intervention, it is mostly not found during
the surgery. More so, do doctors rely on additional modalities in the form of
microelectrode recording to verify the current position of the electrode. The planning
does not utilize the full capabilities of three-dimensional volume data and primarily
relies on two-dimensional slice views of the data. Within this research, systems have been developed for a) providing spatial access to the complete volumetric data set by utilizing modern VR hardware and b) bringing the imaging data into the oval for more insight during crucial decision-making processes.
With the solution found in this work, surgeons can better assess the patient’s
condition by exploring the recorded data in an immersive environment and planning
the intervention in a realistic spatial space. Furthermore, does the research support
practitioners with intraoperative visualization of fused CT, MRI, and microelectrode
recording data. While up to this point, practitioners had to rely on the information
gained during the planning stage and could only utilize the intraoperative recorded
neural activity for cross-validation, the presented solution provides a more in-depth
analysis of the data utilizing different inputs of information to aid the practitioner
wherever we are in various forms and shapes. Data is everywhere, and visualizing
it can be crucial for fast decision-making processes. Even critical parts of our
society, such as medicine, rely on different imaging modalities daily. Many imaging
techniques have been around for decades and are used during patient assessment.
Techniques such as CT or MRI have been established as a standard in medical care
and are seen as indispensable for various treatment forms. These techniques are not
only seen as indispensable for patient assessment, but they are also essential for some
treatment forms, such as neurostimulation therapy. In neurostimulation therapy, the
goal is to implant electrodes within the deep areas of the patient’s brain to suppress
malfunctioning cells within the targeted tissue. Therefore, imaging techniques such
as CT and MRI are crucial to locating the correct target tissue. Even though these
imaging techniques have been around for decades, they are still primarily used as
two-dimensional slice views as they were introduced to the market at the beginning.
However, starting from the mid-1990s, significant progress has been made in
computer visualization due to the introduction of dedicated hardware in the form
of graphics processing units. Over time these processors became more and more
freely programmable to the user and opened a vast space for applications. While
the consumer market adopted the advancements in computer graphics in the form of video games or movies, imaging techniques in the clinical field mainly stayed the
same.
Especially techniques for visualizing three-dimensional volume data, such as
CT or MRI data, have become more accessible over time and could provide a more
realistic assessment to doctors in the field of neurostimulation therapy by providing a more in-depth visualization of the three-dimensional structures of the brain.
Also, new technologies such as modern virtual reality systems allow combining
three-dimensional imaging data with an immersive visualization for more insight.
Furthermore, the computational power of modern graphics processors allows the real- time processing of daily medical data for fast access to the underlying information.
However, these possibilities have been largely neglected by clinical practice.
This dissertation will present different techniques and systems that aim to aid
doctors in their daily tasks by providing new visualization domains currently not
in clinical use. Therefore, the presented research will focus on two aspects of
neurostimulation therapy, the preoperative planning phase of the intervention and
the intraoperative visualization of various data domains in real time. While imaging
data is indispensable for planning the intervention, it is mostly not found during
the surgery. More so, do doctors rely on additional modalities in the form of
microelectrode recording to verify the current position of the electrode. The planning
does not utilize the full capabilities of three-dimensional volume data and primarily
relies on two-dimensional slice views of the data. Within this research, systems have been developed for a) providing spatial access to the complete volumetric data set by utilizing modern VR hardware and b) bringing the imaging data into the oval for more insight during crucial decision-making processes.
With the solution found in this work, surgeons can better assess the patient’s
condition by exploring the recorded data in an immersive environment and planning
the intervention in a realistic spatial space. Furthermore, does the research support
practitioners with intraoperative visualization of fused CT, MRI, and microelectrode
recording data. While up to this point, practitioners had to rely on the information
gained during the planning stage and could only utilize the intraoperative recorded
neural activity for cross-validation, the presented solution provides a more in-depth
analysis of the data utilizing different inputs of information to aid the practitioner
Visualisierung spielt in vielen Teilen unseres täglichen Lebens eine wichtige Rolle.
Sie begleitet uns, wo auch immer wir sind, in verschiedensten Formen. Daten sind
allgegenwärtig und diese visuell darzustellen für eine schnelle Beurteilung spielt
in vielen Bereichen eine wichtige Rolle. Auch wichtige Bereiche wie die Medizin
verlassen sich auf eine Vielzahl von Datenmodalitäten, die in der täglichen Praxis
visualisiert werden. Viele bildgebende Techniken in der Medizin sind seit Jahrzehnten im Nutzen und unterstützen Ärzte in der Beurteilung der gesundheitlichen Lage ihrer Patienten. Techniken wie CT oder MRI haben sich als Standardverfahren etabliert und sind nicht mehr wegzudenken. Nicht nur werden diese Techniken für eine grundlegende Begutachtung der aktuellen Situation genutzt, viel mehr sind diese auch essenziell für einige medizinische Verfahren. So sind bildgebende Verfahren unabdingbar für Neurostimulationstherapien, um einen genauen Einblick in die tiefen Hirnregionen zu erhalten, die so nicht einsehbar sind. Innerhalb von Neurostimulationstherapien werden kleine Elektroden tief in das Hirn des Patienten implantiert, welche über kleine Stromstöße Fehlfunktionen im Hirn unterbinden sollen. Um nicht blind diese Elektroden zu platzieren, sind bildgebende Verfahren unabdingbar. Obwohl die bildgebende Verfahren seit Jahrzehnten vorhanden sind, ist es bis heute noch immer der Standard diese als zwei dimensionale Schichten zu betrachten, so wie diese damals auf dem Markt eingeführt wurden.
Jedoch gab es seit Mitte der 1990er Jahre einen signifikanten Umbruch im Bereich
der Computer Visualisierung. Immer schneller werdende dedizierte Grafikprozessoren erschienen auf dem Markt, mit immer mehr Freiheiten diese zu programmieren und für eine Vielzahl von Problemen zu nutzen. Während der Konsumbereich immer mehr auf moderne Visualisierungen baut in Form von Videospielen, Filmen und Co., so hat sich in der Medizin die traditionelle Bildgebung fest verankert.
Gerade Verfahren zur Visualisierung von dreidimensionalen Volumen, wie unter
anderem CT oder MRI, wurden über die Jahre immer zugänglicher und können
gerade im Bereich der Neurostimulationstherapie den Ärzten einen deutlich natürlicheren Einblick in die Problematik geben. Auch neue Technologien wie moderne Virtual Reality Systeme bieten in Kombination mit den bildgebenden Verfahren Möglichkeiten einen Einblick in die tiefen Hirnstrukturen zu bekommen, der vorher nicht möglich war. Zusätzlich bietet die pure Rechenleistung von modernen Grafikprozessoren die Möglichkeit eine Vielzahl von medizinischen Daten in Echtzeit auszuwerten und zu visualisieren.
In dieser Dissertation werden Techniken und Systeme vorgestellt, die Ärzten
mittels Visualisierung in ihrer täglichen Arbeit unterstützen sollen. Die vorgestellte
Forschung fokussiert sich dabei auf zwei Kernbereiche der Neurostimulationstherapie; der Präoperativen Planung des Eingriffes und der Intraoperativen Visualisierung.
Während bildgebende Verfahren unabdingbar für die Planung sind, können diese oftmals nicht innerhalb OP eingesehen werden. Zusätzlich werden weitere Modalitäten innerhalb der OP in Form von Mikroelektrode Aufnahmen eingeführt, welche sich hervorragend auswerten und mit den bereits vorhandenen Daten verbinden lassen.
Die Planung selbst, basiert oftmals auf einzelnen Schichtbildern von komplexen
dreidimensionalen Gebilden, welche der Arzt in seinem Kopf selbst wieder mental
zusammenfügen muss. Innerhalb dieser Forschung wurden Verfahren entwickelt, die moderne virtuelle Systeme nutzbar machen, um diese Strukturen in einer Umgebung zu erkunden, die eine bessere räumliche Darbietung der Problematik bieten.
Mit den Lösungen, die in dieser Arbeit zu finden sind, können Ärzte eine genauere
Bestandsaufnahme der Situation innerhalb einer immersiven dreidimensionalen
Umgebung machen und auch in dieser Umgebung den eigentlich Eingriff sehr
real planen. Weiterhin unterstützt die präsentierte Forschung Ärzte innerhalb des
OP-Saals durch eine in Echtzeit fusionierte Visualisierung von CT, MRI und den
intraoperativ aufgenommenen Hirnaktivitäten. Während Ärzte bisher nur basierend
auf der präoperativen Planung und der intraoperativen Hirnaufzeichnung entscheiden mussten, ob Sie das richtige Gewebe bereits erreicht haben, können Sie mit dem präsentierten System eine korrekte Anschauung aller Daten erhalten und bekommen zusätzlich noch eine vom Computer berechnete Einschätzung der Daten.
Sie begleitet uns, wo auch immer wir sind, in verschiedensten Formen. Daten sind
allgegenwärtig und diese visuell darzustellen für eine schnelle Beurteilung spielt
in vielen Bereichen eine wichtige Rolle. Auch wichtige Bereiche wie die Medizin
verlassen sich auf eine Vielzahl von Datenmodalitäten, die in der täglichen Praxis
visualisiert werden. Viele bildgebende Techniken in der Medizin sind seit Jahrzehnten im Nutzen und unterstützen Ärzte in der Beurteilung der gesundheitlichen Lage ihrer Patienten. Techniken wie CT oder MRI haben sich als Standardverfahren etabliert und sind nicht mehr wegzudenken. Nicht nur werden diese Techniken für eine grundlegende Begutachtung der aktuellen Situation genutzt, viel mehr sind diese auch essenziell für einige medizinische Verfahren. So sind bildgebende Verfahren unabdingbar für Neurostimulationstherapien, um einen genauen Einblick in die tiefen Hirnregionen zu erhalten, die so nicht einsehbar sind. Innerhalb von Neurostimulationstherapien werden kleine Elektroden tief in das Hirn des Patienten implantiert, welche über kleine Stromstöße Fehlfunktionen im Hirn unterbinden sollen. Um nicht blind diese Elektroden zu platzieren, sind bildgebende Verfahren unabdingbar. Obwohl die bildgebende Verfahren seit Jahrzehnten vorhanden sind, ist es bis heute noch immer der Standard diese als zwei dimensionale Schichten zu betrachten, so wie diese damals auf dem Markt eingeführt wurden.
Jedoch gab es seit Mitte der 1990er Jahre einen signifikanten Umbruch im Bereich
der Computer Visualisierung. Immer schneller werdende dedizierte Grafikprozessoren erschienen auf dem Markt, mit immer mehr Freiheiten diese zu programmieren und für eine Vielzahl von Problemen zu nutzen. Während der Konsumbereich immer mehr auf moderne Visualisierungen baut in Form von Videospielen, Filmen und Co., so hat sich in der Medizin die traditionelle Bildgebung fest verankert.
Gerade Verfahren zur Visualisierung von dreidimensionalen Volumen, wie unter
anderem CT oder MRI, wurden über die Jahre immer zugänglicher und können
gerade im Bereich der Neurostimulationstherapie den Ärzten einen deutlich natürlicheren Einblick in die Problematik geben. Auch neue Technologien wie moderne Virtual Reality Systeme bieten in Kombination mit den bildgebenden Verfahren Möglichkeiten einen Einblick in die tiefen Hirnstrukturen zu bekommen, der vorher nicht möglich war. Zusätzlich bietet die pure Rechenleistung von modernen Grafikprozessoren die Möglichkeit eine Vielzahl von medizinischen Daten in Echtzeit auszuwerten und zu visualisieren.
In dieser Dissertation werden Techniken und Systeme vorgestellt, die Ärzten
mittels Visualisierung in ihrer täglichen Arbeit unterstützen sollen. Die vorgestellte
Forschung fokussiert sich dabei auf zwei Kernbereiche der Neurostimulationstherapie; der Präoperativen Planung des Eingriffes und der Intraoperativen Visualisierung.
Während bildgebende Verfahren unabdingbar für die Planung sind, können diese oftmals nicht innerhalb OP eingesehen werden. Zusätzlich werden weitere Modalitäten innerhalb der OP in Form von Mikroelektrode Aufnahmen eingeführt, welche sich hervorragend auswerten und mit den bereits vorhandenen Daten verbinden lassen.
Die Planung selbst, basiert oftmals auf einzelnen Schichtbildern von komplexen
dreidimensionalen Gebilden, welche der Arzt in seinem Kopf selbst wieder mental
zusammenfügen muss. Innerhalb dieser Forschung wurden Verfahren entwickelt, die moderne virtuelle Systeme nutzbar machen, um diese Strukturen in einer Umgebung zu erkunden, die eine bessere räumliche Darbietung der Problematik bieten.
Mit den Lösungen, die in dieser Arbeit zu finden sind, können Ärzte eine genauere
Bestandsaufnahme der Situation innerhalb einer immersiven dreidimensionalen
Umgebung machen und auch in dieser Umgebung den eigentlich Eingriff sehr
real planen. Weiterhin unterstützt die präsentierte Forschung Ärzte innerhalb des
OP-Saals durch eine in Echtzeit fusionierte Visualisierung von CT, MRI und den
intraoperativ aufgenommenen Hirnaktivitäten. Während Ärzte bisher nur basierend
auf der präoperativen Planung und der intraoperativen Hirnaufzeichnung entscheiden mussten, ob Sie das richtige Gewebe bereits erreicht haben, können Sie mit dem präsentierten System eine korrekte Anschauung aller Daten erhalten und bekommen zusätzlich noch eine vom Computer berechnete Einschätzung der Daten.