PROJECTAI
RadReport AI: bevindingen bij thoraxfoto's
Van thoraxfoto's naar klinische bevindingen: hoe multimodale AI diagnostische workflows herontwerpt.
Bij iiterate Technologies ontwikkelen we intelligente tools die reële uitdagingen oplossen, van documentworkflows tot diagnostiek. Een van onze recente experimentele projecten, RadReport AI, onderzoekt hoe multimodale AI radiologen kan ondersteunen bij het opstellen van consistente, nauwkeurige bevindingen op basis van thoraxfoto's.
Dit prototypesysteem combineert computer vision en natural language processing om binnen enkele seconden klinische samenvattingen uit medische beelden te genereren.
Waarom we dit hebben ontwikkeld
Radiologen besteden veel tijd aan het interpreteren van thoraxfoto's en het handmatig opstellen van gestructureerde bevindingen. Nauwkeurigheid is cruciaal, maar het proces is repetitief en tijdrovend. Ons doel met RadReport AI was te onderzoeken hoe AI kan helpen bij het vooraf invullen van eerste samenvattingen, zodat radiologen kunnen controleren, aanpassen en afronden in plaats van bij nul te beginnen.
Het gaat er niet om expertise te vervangen. Het gaat erom deze te versterken.
Hoe het werkt
RadReport AI is gebaseerd op een multimodale pipeline die visueel begrip koppelt aan tekstgeneratie. Het model is getraind op de Indiana University Chest X-ray Dataset, die meer dan 7.000 gelabelde beelden en bevindingen omvat.
Belangrijkste technische componenten:
- Vision encoder: ViT (
vit-base-patch16-224) - Language decoder: GPT-2
- Tokenizer: Hugging Face AutoTokenizer
- Trainingsframework: PyTorch + Transformers
- UI-implementatie: Streamlit, gehost op Hugging Face Spaces
Zodra een thoraxfoto wordt geüpload, herkent het model relevante patronen in het beeld en vertaalt deze met behulp van een op GPT gebaseerde decoder naar klinische bevindingen.
Wat het kan
RadReport AI ondersteunt momenteel het volgende:
- Kenmerken van thoraxfoto's herkennen en interpreteren
- Beknopte „impression"-samenvattingen genereren
- Output valideren met BLEU, ROUGE en METEOR
- Inference uitvoeren via een live interactieve demo
- Verklaarbare output ondersteunen met attention-gebaseerde methoden (in voorbereiding)
Evaluatiescores:
- BLEU: 0.51
- ROUGE-1: 0.55
- METEOR: 0.53
Deze resultaten weerspiegelen een sterke overeenkomst met door experts opgestelde bevindingen.
Reëel potentieel
RadReport AI is een proof of concept, maar de toepassingen zijn tastbaar:
- Radiologiepraktijken: snelle impressions die radiologen kunnen bewerken en goedkeuren
- Medisch onderwijs: helpt lerenden om visuele data te koppelen aan klinische begrippen
- Onderzoek naar AI in de gezondheidszorg: testomgeving voor multimodale diagnosepipelines
Het wordt publiek gehost, vereist geen installatie en staat open voor tests en feedback.
Hoe het verdergaat
We werken momenteel aan:
- Meerdelige bevindingen (bijv. findings + impressions)
- Attention-visualisaties voor meer transparantie
- Ontologie-integratie (bijv. RadGraph-alignment)
- Uitbreiding naar meertalige bevindingen
Als uw praktijk, onderzoekslab of universiteit AI-gestuurde radiologie verkent, werken we graag met u samen.
Tot slot
RadReport AI is een kleine maar betekenisvolle stap in het onderzoeken van hoe vision-language-modellen medisch personeel kunnen ondersteunen. Bij iiterate zien we AI als een instrument om menselijke intelligentie te versterken, niet te vervangen, en we ontwikkelen vanuit die overtuiging.
Blijf op de hoogte terwijl we de grenzen van toegepaste AI blijven verleggen.
Veelgestelde vragen
RadReport AI is een experimenteel prototype dat uit thoraxröntgenfoto's korte klinische samenvattingen in de sectie Impression genereert. Het doel is radiologen een vooraf ingevuld eerste concept te geven dat zij controleren, herzien en afronden, in plaats van vanaf nul te beginnen. Het systeem is een proof of concept.
RadReport AI combineert een Vision Transformer (vit-base-patch16-224) als beeldencoder met GPT-2 als taaldecoder. De tokenisatie gebeurt met de Hugging Face AutoTokenizer, getraind is met PyTorch en Transformers op een dataset van thoraxröntgenfoto's met meer dan 7.000 geannoteerde beelden en verslagen.
RadReport AI is met BLEU, ROUGE en METEOR geëvalueerd tegen verslagen die door experts zijn opgesteld. De scores zijn BLEU 0,51, ROUGE-1 0,55 en METEOR 0,53. De gegenereerde verslagen zijn bedoeld als concepten die radiologen controleren, bewerken en vrijgeven.
De interactieve demo van RadReport AI is gebouwd met Streamlit en gehost op Hugging Face Spaces, bruikbaar zonder installatie. Na het uploaden van een thoraxröntgenfoto herkent het model relevante patronen in het beeld en vertaalt deze via de GPT-gebaseerde decoder naar klinische bevindingen.
Meer ontdekken
AI RegioWizardEen werkend prototype dat de regionale wiki van het district Ahrweiler in gewone taal beantwoordt: met een voetnoot bij elke bewering, een kaart, een redactietafel en een zichtbaar zoekprotocol. AI Aria: AI-SpraakdialogenAI-spraakplatform dat klantgesprekken automatiseert met een latentie van minder dan 100 ms en CRM-integratie. HEEFT U EEN COMPLEX IDEE DAT U DOOR ONS WILT LATEN UITVOEREN?
START MET EEN DESIGN-THINKING PILOT OF EEN ADVIESGESPREK.