Detailansicht
Forecasting irregularly sampled CT image time series of lung cancer patients using deep learning
Alina Behrens
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Data Science
Betreuer*in
Georg Langs
DOI
10.25365/thesis.78439
URN
urn:nbn:at:at-ubw:1-15421.98197.905029-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Frühzeitige Erkennung und fundierte Behandlungsentscheidungen sind entscheidend für die Heilungschancen von Lungenkrebs. Dabei liefern Computertomographie (CT)-Bildgebungen von der Entwicklung von Lungenrundherden Ärzten wertvolle Erkenntnisse, die zu rechtzeitigen und wirksamen Interventionen beitragen. Die Möglichkeit, Tumorentwicklungen anhand einer begrenzten Anzahl vorhandener CT-Scans vorherzusagen, könnte die Strahlenbelastung für Patienten erheblich verringern und frühere Behandlungsentscheidungen ermöglichen. Deswegen präsentieren wir in dieser Arbeit ein Deep-Learning-Modell, das basierend auf einer Sequenz vergangener 3D CT-Bilder eines Patienten ein zukünftiges 3D CT-Bild zu einem beliebigen Zeitpunkt vorhersagen können soll. Im klinischen Alltag werden solche CT-Scans in der Regel nicht in regelmäßigen Abständen, sondern nur bei klinischer Notwendigkeit erstellt. Das vorgeschlagene Deep-Learning-Modell kann daher eine Zeitreihe mit einer variablen Anzahl von Scans verarbeiten, wobei diese Scans zu beliebigen Zeitpunkten aufgenommen worden sein können. Unser Modell basiert auf bestehender Arbeit im Bereich der Videoverarbeitung. Wir entwickeln ein zweistufiges Modell, bei dem zuerst ein Vector-Quantized Generative Adversarial Network eingesetzt wird, um die hochdimensionalen CT-Bilder zu komprimieren und einen strukturierten latenten Raum zu erzeugen. In diesem Raum sagt ein Sequenzmodell dann zukünftige unbekannte Bilder vorher. Für das Sequenzmodell vergleichen wir einen Transformer mit einem selektiven Zustandsraummodell, genauer gesagt Mamba. Die unregelmäßigen Aufnahmezeitpunkte der Bilder werden durch eine Repräsentation integriert, in der Werte, 3D-Positionen und Zeitpunkte kombiniert werden. Das Modell wird auf einem internen Datensatz einer heterogenen Routine-Kohorte bestehend aus Lungenkrebspatienten trainiert und evaluiert.
Abstract
(Englisch)
Early detection and well-informed treatment decisions are crucial for improving lung cancer outcomes. Computed Tomography (CT) imaging of lung nodule progression provides physicians with valuable insights that contribute to timely and effective interventions. The ability to predict tumor development from a limited number of existing CT scans may significantly reduce exposure to radiation and facilitate earlier treatment decisions. To this end, we propose a deep learning model to forecast a future 3D CT image at any given time point based on a sequence of past 3D CT images of the patient. In the context of routine clinical practice, CT scans are not typically obtained at regular intervals, but rather in response to clinical necessity. Therefore, the proposed deep learning model accepts a time series with a variable number of scans as input, where the scans may have been taken at arbitrary time points. Our model is based on the existing work in the area of video processing. We propose a two-step model in which a Vector-Quantized Generative Adversarial Network is employed to compress the high-dimensional CT images and produce a structured latent space first. Then, a sequence model forecasts future unseen images. For the sequence model, we compare a transformer and a Selective State Space Model, namely Mamba. The irregular sampling of the input scans is integrated through a triplet representation, where embeddings of latent values, 3D positions, and time stamps are combined. The model is trained and evaluated on an in-house dataset of a heterogeneous routine cohort of lung cancer patients.
Schlagwörter
Schlagwörter
(Deutsch)
Lungenkrebs Deep Learning Wachstumsprognose für Lungentumore Generative KI
Schlagwörter
(Englisch)
Lung Cancer Deep Learning Lung Nodule Growth Prediction Generative AI
Autor*innen
Alina Behrens 
Haupttitel (Englisch)
Forecasting irregularly sampled CT image time series of lung cancer patients using deep learning
Publikationsjahr
2025
Umfangsangabe
ix, 129 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Georg Langs
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17536369
Utheses ID
75819
Studienkennzahl
UA | 066 | 645 | |