RadReport AI : comptes rendus de radiographies thoraciques

Chez iiterate Technologies, nous concevons des outils intelligents qui résolvent des défis concrets — des workflows documentaires au diagnostic. L'un de nos récents projets expérimentaux, RadReport AI, explore comment l'IA multimodale peut aider les radiologues à générer des comptes rendus cohérents et précis à partir de radiographies thoraciques.

Ce système prototype combine vision par ordinateur et traitement du langage naturel pour générer des synthèses cliniques à partir d'images médicales — en quelques secondes.

Les radiologues passent un temps considérable à interpréter les radiographies thoraciques et à rédiger manuellement des comptes rendus structurés. Si la précision est cruciale, le processus est répétitif et chronophage. Notre objectif avec RadReport AI était d'explorer comment l'IA peut aider à pré-remplir les synthèses initiales, permettant aux radiologues de revoir, réviser et finaliser — plutôt que de partir de zéro.

Il ne s'agit pas de remplacer l'expertise. Il s'agit de l'amplifier.

RadReport AI repose sur un pipeline multimodal qui relie la compréhension visuelle à la génération de texte. Le modèle a été entraîné sur le jeu de données de radiographies thoraciques de l'Indiana University, qui comprend plus de 7 000 images et comptes rendus annotés.

Composants techniques principaux :

• Vision Encoder : ViT (vit-base-patch16-224)
• Language Decoder : GPT-2
• Tokenizer : Hugging Face AutoTokenizer
• Framework d'entraînement : PyTorch + Transformers
• Déploiement de l'UI : Streamlit, hébergé sur Hugging Face Spaces

Une fois une radiographie thoracique téléchargée, le modèle détecte les motifs pertinents dans l'image et les traduit en observations cliniques à l'aide d'un décodeur basé sur GPT.

Voici ce que RadReport AI prend actuellement en charge :

• Détecter et interpréter les caractéristiques des radiographies thoraciques
• Générer des synthèses « Impression » concises
• Valider les sorties à l'aide de BLEU, ROUGE et METEOR
• Exécuter l'inférence via une démo interactive en direct
• Prendre en charge des sorties explicables à l'aide de méthodes basées sur l'attention (à venir)

Scores d'évaluation :

• BLEU : 0.51
• ROUGE-1 : 0.55
• METEOR : 0.53

Ces résultats reflètent un fort recoupement avec les comptes rendus rédigés par des experts.

RadReport AI est une preuve de concept, mais ses cas d'usage sont tangibles :

• Cabinets de radiologie : impressions rapides que les radiologues peuvent modifier et approuver
• Formation médicale : aide les étudiants à relier les données visuelles aux termes cliniques
• Recherche en IA de santé : banc d'essai pour les pipelines de diagnostic multimodaux

Il est hébergé publiquement, ne nécessite aucune installation et est ouvert aux tests et aux retours.

Nous travaillons actuellement sur :

• Des comptes rendus multi-sections (par exemple, Findings + Impressions)
• Des visualisations d'attention pour plus de transparence
• L'intégration d'ontologies (par exemple, alignement RadGraph)
• L'extension à la génération de comptes rendus multilingues

Si votre cabinet, votre laboratoire de recherche ou votre université explore la radiologie assistée par IA, nous serions ravis de collaborer.

RadReport AI est un pas modeste mais significatif dans l'exploration de la manière dont les modèles vision-langage peuvent soutenir les professionnels de santé. Chez iiterate, nous voyons l'IA comme un outil pour amplifier l'intelligence humaine, non pour la remplacer — et c'est avec cet état d'esprit que nous construisons.

Restez à l'écoute alors que nous continuons à repousser les limites de l'IA appliquée.