PROJETIA
RadReport AI : comptes rendus de radiographies thoraciques
Des radiographies thoraciques aux comptes rendus cliniques — comment l'IA multimodale remodèle les workflows de diagnostic.
Chez iiterate Technologies, nous concevons des outils intelligents qui résolvent des défis concrets — des workflows documentaires au diagnostic. L'un de nos récents projets expérimentaux, RadReport AI, explore comment l'IA multimodale peut aider les radiologues à générer des comptes rendus cohérents et précis à partir de radiographies thoraciques.
Ce système prototype combine vision par ordinateur et traitement du langage naturel pour générer des synthèses cliniques à partir d'images médicales — en quelques secondes.
Pourquoi nous l'avons conçu
Les radiologues passent un temps considérable à interpréter les radiographies thoraciques et à rédiger manuellement des comptes rendus structurés. Si la précision est cruciale, le processus est répétitif et chronophage. Notre objectif avec RadReport AI était d'explorer comment l'IA peut aider à pré-remplir les synthèses initiales, permettant aux radiologues de revoir, réviser et finaliser — plutôt que de partir de zéro.
Il ne s'agit pas de remplacer l'expertise. Il s'agit de l'amplifier.
Comment cela fonctionne
RadReport AI repose sur un pipeline multimodal qui relie la compréhension visuelle à la génération de texte. Le modèle a été entraîné sur le jeu de données de radiographies thoraciques de l'Indiana University, qui comprend plus de 7 000 images et comptes rendus annotés.
Composants techniques principaux :
- Vision Encoder : ViT (
vit-base-patch16-224) - Language Decoder : GPT-2
- Tokenizer : Hugging Face AutoTokenizer
- Framework d'entraînement : PyTorch + Transformers
- Déploiement de l'UI : Streamlit, hébergé sur Hugging Face Spaces
Une fois une radiographie thoracique téléchargée, le modèle détecte les motifs pertinents dans l'image et les traduit en observations cliniques à l'aide d'un décodeur basé sur GPT.
Ce qu'il peut faire
Voici ce que RadReport AI prend actuellement en charge :
- Détecter et interpréter les caractéristiques des radiographies thoraciques
- Générer des synthèses « Impression » concises
- Valider les sorties à l'aide de BLEU, ROUGE et METEOR
- Exécuter l'inférence via une démo interactive en direct
- Prendre en charge des sorties explicables à l'aide de méthodes basées sur l'attention (à venir)
Scores d'évaluation :
- BLEU : 0.51
- ROUGE-1 : 0.55
- METEOR : 0.53
Ces résultats reflètent un fort recoupement avec les comptes rendus rédigés par des experts.
Potentiel concret
RadReport AI est une preuve de concept, mais ses cas d'usage sont tangibles :
- Cabinets de radiologie : impressions rapides que les radiologues peuvent modifier et approuver
- Formation médicale : aide les étudiants à relier les données visuelles aux termes cliniques
- Recherche en IA de santé : banc d'essai pour les pipelines de diagnostic multimodaux
Il est hébergé publiquement, ne nécessite aucune installation et est ouvert aux tests et aux retours.
Et ensuite
Nous travaillons actuellement sur :
- Des comptes rendus multi-sections (par exemple, Findings + Impressions)
- Des visualisations d'attention pour plus de transparence
- L'intégration d'ontologies (par exemple, alignement RadGraph)
- L'extension à la génération de comptes rendus multilingues
Si votre cabinet, votre laboratoire de recherche ou votre université explore la radiologie assistée par IA, nous serions ravis de collaborer.
Réflexions finales
RadReport AI est un pas modeste mais significatif dans l'exploration de la manière dont les modèles vision-langage peuvent soutenir les professionnels de santé. Chez iiterate, nous voyons l'IA comme un outil pour amplifier l'intelligence humaine, non pour la remplacer — et c'est avec cet état d'esprit que nous construisons.
Restez à l'écoute alors que nous continuons à repousser les limites de l'IA appliquée.
Questions fréquentes
RadReport AI est un prototype expérimental qui génère, à partir de radiographies thoraciques, de courtes synthèses cliniques dans la section Impression. L'objectif est de fournir aux radiologues une première ébauche préremplie qu'ils vérifient, corrigent et finalisent, au lieu de partir de zéro. Le système est une preuve de concept.
RadReport AI combine un Vision Transformer (vit-base-patch16-224) comme encodeur d'images et GPT-2 comme décodeur de langage. La tokenisation utilise le Hugging Face AutoTokenizer, et l'entraînement a été mené avec PyTorch et Transformers sur un jeu de données de radiographies thoraciques comptant plus de 7 000 images et comptes rendus annotés.
RadReport AI a été évalué avec BLEU, ROUGE et METEOR par rapport à des comptes rendus rédigés par des experts. Les scores sont de 0,51 pour BLEU, 0,55 pour ROUGE-1 et 0,53 pour METEOR. Les comptes rendus générés sont conçus comme des ébauches que les radiologues vérifient, modifient et valident.
La démo interactive de RadReport AI est réalisée avec Streamlit et hébergée sur Hugging Face Spaces, utilisable sans installation. Après le téléversement d'une radiographie thoracique, le modèle détecte les motifs pertinents dans l'image et les traduit en observations cliniques grâce au décodeur basé sur GPT.
En savoir plus
IA RegioWizardUn prototype fonctionnel qui interroge le wiki régional de l'arrondissement d'Ahrweiler en langage courant : une note de bas de page sur chaque affirmation, une carte, un bureau de rédaction et un journal de recherche visible. IA Aria : conversations vocales par IAPlateforme vocale IA qui automatise les conversations clients avec une latence inférieure à 100 ms et une intégration CRM. VOUS AVEZ UNE IDÉE COMPLEXE QUE VOUS SOUHAITEZ NOUS CONFIER ?
COMMENCEZ PAR UN PILOTE DE DESIGN THINKING OU UN APPEL DE CONSEIL.