RadReport AI: opisy zdjęć RTG klatki piersiowej

W iiterate Technologies tworzymy inteligentne narzędzia rozwiązujące rzeczywiste problemy, od przepływów pracy z dokumentami po diagnostykę. Jeden z naszych ostatnich projektów eksperymentalnych, RadReport AI, bada, w jaki sposób multimodalna AI może wspierać radiologów w tworzeniu spójnych, precyzyjnych opisów na podstawie zdjęć RTG klatki piersiowej.

Ten prototypowy system łączy computer vision i przetwarzanie języka naturalnego (NLP), generując kliniczne podsumowania na podstawie obrazów medycznych w ciągu kilku sekund.

Radiolodzy spędzają wiele czasu na interpretacji zdjęć RTG klatki piersiowej i ręcznym sporządzaniu ustrukturyzowanych opisów. Choć dokładność ma kluczowe znaczenie, proces ten jest powtarzalny i czasochłonny. Naszym celem przy tworzeniu RadReport AI było zbadanie, jak AI może pomóc w automatycznym wypełnianiu wstępnych podsumowań, dzięki czemu radiolodzy sprawdzają, poprawiają i finalizują opis, zamiast zaczynać od zera.

Nie chodzi o zastąpienie fachowej wiedzy. Chodzi o jej wzmocnienie.

RadReport AI opiera się na multimodalnym pipeline, który łączy rozumienie wizualne z generowaniem tekstu. Model został wytrenowany na zbiorze danych Indiana University Chest X-ray Dataset, obejmującym ponad 7.000 opisanych obrazów i opisów.

Kluczowe komponenty techniczne:

• Vision Encoder: ViT (vit-base-patch16-224)
• Language Decoder: GPT-2
• Tokenizer: Hugging Face AutoTokenizer
• Framework treningowy: PyTorch + Transformers
• Wdrożenie interfejsu: Streamlit, hostowane na Hugging Face Spaces

Po przesłaniu zdjęcia RTG klatki piersiowej model rozpoznaje istotne wzorce na obrazie i przekłada je za pomocą dekodera opartego na GPT na opis kliniczny.

RadReport AI obecnie obsługuje:

• Rozpoznawanie i interpretację cech zdjęć RTG klatki piersiowej
• Generowanie zwięzłych podsumowań typu „Impression”
• Walidację wyników za pomocą BLEU, ROUGE i METEOR
• Wykonywanie wnioskowania poprzez interaktywne demo na żywo
• Wspieranie wyjaśnialnych wyników za pomocą metod opartych na attention (w przygotowaniu)

Wyniki ewaluacji:

• BLEU: 0.51
• ROUGE-1: 0.55
• METEOR: 0.53

Wyniki te odzwierciedlają wysoką zgodność z opisami sporządzonymi przez ekspertów.

RadReport AI to proof of concept, jednak jego zastosowania są konkretne:

• Praktyki radiologiczne: Szybkie „Impressions”, które radiolodzy mogą edytować i zatwierdzać
• Kształcenie medyczne: Pomaga uczącym się przyporządkować dane wizualne do pojęć klinicznych
• Badania nad AI w ochronie zdrowia: Środowisko testowe dla multimodalnych pipeline'ów diagnostycznych

Jest publicznie hostowane, nie wymaga instalacji i jest otwarte na testy oraz opinie.

Obecnie pracujemy nad:

• Wieloczęściowymi opisami (np. Findings + Impressions)
• Wizualizacjami attention dla większej przejrzystości
• Integracją ontologii (np. dopasowaniem RadGraph)
• Rozszerzeniem na wielojęzyczne opisy

Jeśli Państwa praktyka, laboratorium badawcze lub uczelnia zajmuje się radiologią wspieraną przez AI, chętnie podejmiemy współpracę.

RadReport AI to mały, ale znaczący krok w badaniu, jak modele wizualno-językowe mogą wspierać personel medyczny. W iiterate postrzegamy AI jako narzędzie służące wzmacnianiu ludzkiej inteligencji, a nie jej zastępowaniu, i tworzymy nasze rozwiązania zgodnie z tym podejściem.

Śledźcie Państwo nasze działania, w miarę jak przesuwamy granice zastosowań AI.