Learning-based Histopathological Image Analysis and Monocular Depth Perception for Assisted Cancer Diagnosis

Abstract

Diagnose und Behandlung von Krebs sind ein anspruchsvolles Unterfangen, bei denen Chirurgen und Pathologen eng zusammenarbeiten, um eine präzise und umfassende Beurteilung der Krankheit zu gewährleisten. Fortschritte in der Medizintechnik führen zu neuen diagnostischen und therapeutischen Methoden, wie etwa der minimal-invasiven Chirurgie und der computergestützten Pathologie. Diese Methodiken erfordern jedoch ein intensives Training der Ärzte und bergen Herausforderungen. Lernbasierte Ansätze können Ärzte hierbei unterstützen Abläufe effizienter zu gestalten und so zu einer Verbesserung der Krebstherapie beitragen. Eine großes Hürde ist jedoch die begrenzte Verfügbarkeit von Daten. Ziel dieser Arbeit ist es, neue Methoden zu entwickeln, die Chirurgen und Pathologen bei ihrer Arbeit unterstützen und trotz geringer Datenlage bestmögliche Ergebnisse erzielen. Die Arbeit konzentriert sich hierbei auf Anwendungen im Kontext der Blasen- und Brustkrebsdiagnostik.

Ein erster Schwerpunkt der Arbeit ist die Prädiktion von Tiefenkarten im Kontext zystoskopischer Untersuchungen. Bei diesem minimal-invasive Eingriff nutzt der Chirurg ein monokulares Endoskop um die Blase zu inspizieren. Diese Vorgehensweise schränkt die visuelle Wahrnehmung des Operateurs ein und erschwert die vollständige Erfassung der Blasenwand. Zudem ist es nicht möglich Ground-Truth Informationen zu akquirieren – eine Voraussetzung für lernbasierte Ansätze. Als Lösung wird ein dreistufiges Vorgehen vorgestellt. Grundlage bildet eine virtuelle Zystoskopieumgebung, zur Akquisition synthetischer Daten einschließlich Ground-Truth. Im Anschluss wird ein Netzwerk anhand der gewonnenen synthetischen Daten mittels einer überwachten Lernstrategie trainiert. In einem dritten Schritt wird das, dem Netzwerk immanente Wissen mittels adversarialer Domänenanpassung für reale Bilder nutzbar gemacht. Dieses Vorgehen zeigt vielversprechende Ergebnisse, welche den Weg für bildgestützte Chirurgie ebnen.

Im weiteren Verlauf der Arbeit steht die histopathologische Bildanalyse im Fokus. Diese ist in der Krebsdiagnostik essenziell und basiert auf gigapixel-großen digitalisierten Gewebeschnitten. Pixel-genaue Annotationen für derart große Bilder sind äußerst aufwändig, wohingegen globale Label, wie Erkrankungsgrad, gut verfügbar sind, da man sie im Kontext klinischer Routine erfasst. Der zweite Teil der Arbeit fokussiert sich daher darauf, diese globalen Label nutzbar zu machen und präsentiert einen, auf Multiple Instance Learning basierenden Ansatz. Dieser kombiniert die dynamische Meta-Einbettung mit einer mittels Selbstdestillation trainierten Architektur. Dieses Vorgehen zeigt großes Potential für eine assistierte Krebsdiagnose, schafft die Möglichkeit mit einem einzigen Label auf Patientenebene relevante subzelluläre Merkmalen zu erfassen und ermöglicht die Nutzbarmachung großer Datenmengen bei geringem Annotationsaufwand.

Diagnosis and treatment of cancer is a challenging endeavor in which surgeons and pathologists work closely together to ensure an accurate and comprehensive assessment of the disease. Advances in medical technology are leading to new diagnostic and therapeutic methods, such as minimally invasive surgery and computer-assisted pathology. However, these methodologies require intensive training of physicians and pose associated challenges. Learning-based approaches can assist physicians in this regard, making procedures more efficient and thus helping to improve cancer treatment. However, a major obstacle is the restricted data availability. This work aims to develop new methods that support surgeons and pathologists in their work and achieve the best possible results despite a scarcity of data. The work here focuses on applications in the context of bladder and breast cancer diagnostics.

A primary emphasis of this work is the prediction of depth maps in the context of cystoscopic examinations. In this minimally invasive procedure, the surgeon uses a monocular endoscope to look into the bladder. This approach limits the visual perception of the surgeon and makes it difficult to fully capture the bladder wall. In addition, it is not possible to acquire ground truth information – a prerequisite for learning-based approaches. As a solution, a three-step approach is presented. The basis is a virtual cystoscopy environment, for the acquisition of synthetic data including ground truth. Subsequently, a network is trained based on the acquired synthetic data set using a supervised learning strategy. In a third step, the knowledge, immanent to the network, is made usable for real images by means of adversarial domain adaptation. This approach shows promising results, which pave the way for image-guided surgery.

In the further course of this work, the focus is on histopathological image analysis, which is the most essential assessment in cancer diagnostics and is based on gigapixel images of digitized tissue sections. Pixel-precise annotation of such large images is extremely costly, whereas global ground truth labels, such as disease grade, are readily available because they are acquired in the context of clinical routine. The second part of the thesis, therefore, focuses on making these global labels usable and presents a framework based on multiple instance learning. This approach combines dynamic meta-embedding with an architecture trained by self-distillation. This design exhibits great potential for assisted cancer diagnosis and creates the possibility to capture relevant sub-cellular features with a single diagnostic label at the patient level, which enables to harness large amounts of data with low annotation efforts.