FracAtlas: Ein Datensatz zur Frakturklassifizierung, Lokalisierung und Segmentierung von Röntgenaufnahmen des Bewegungsapparates

Scientific Data Band 10, Artikelnummer: 521 (2023) Diesen Artikel zitieren

2 Altmetrisch

Details zu den Metriken

Die digitale Radiographie ist einer der gebräuchlichsten und kostengünstigsten Standards zur Diagnose von Knochenbrüchen. Für solche Diagnosen ist ein fachmännisches Eingreifen erforderlich, was zeitaufwändig ist und eine gründliche Schulung erfordert. Mit der jüngsten Entwicklung von Computer-Vision-Algorithmen wächst das Interesse an computergestützter Diagnose. Die Entwicklung von Algorithmen erfordert große Datensätze mit geeigneten Annotationen. Vorhandene Röntgendatensätze sind entweder klein oder verfügen nicht über die richtige Annotation, was die Entwicklung von Algorithmen für maschinelles Lernen und die Bewertung der relativen Leistung von Algorithmen zur Klassifizierung, Lokalisierung und Segmentierung behindert. Wir präsentieren FracAtlas, einen neuen Datensatz von Röntgenscans, der aus Bildern von drei großen Krankenhäusern in Bangladesch zusammengestellt wurde. Unser Datensatz umfasst 4.083 Bilder, die mit Hilfe von zwei erfahrenen Radiologen und einem Orthopäden mithilfe der Open-Source-Kennzeichnungsplattform makesense.ai manuell zur Klassifizierung, Lokalisierung und Segmentierung von Knochenbrüchen kommentiert wurden. Es gibt 717 Bilder mit 922 Frakturen. Jede der Frakturinstanzen verfügt über eine eigene Maske und einen eigenen Begrenzungsrahmen, während die Scans auch globale Beschriftungen für Klassifizierungsaufgaben haben. Wir glauben, dass der Datensatz eine wertvolle Ressource für Forscher sein wird, die an der Entwicklung und Bewertung maschineller Lernalgorithmen für die Diagnose von Knochenbrüchen interessiert sind.

In den letzten Jahrzehnten hat die Nachfrage nach computergestützten Diagnosesystemen (CAD) stark zugenommen. Darüber hinaus kam es in verschiedenen Bereichen der medizinischen Wissenschaft in jüngster Zeit zu einer rasanten Entwicklung von Automatisierungsprozessen in der Diagnose, die große Datensätze und fortschrittliche Algorithmen für maschinelles Lernen nutzen1,2. Modelle wie Convolutional Neural Networks (CNN)3, You only Look Once (YOLO)4 und U-NET5 können eine expertenähnliche Leistung bei der Erkennung von Anomalien aus Röntgenscans erzielen. Das Training solcher Modelle erfordert große und gut kommentierte Datensätze6,7,8. Es ist schwierig, solche Daten von Krankenhäusern und Diagnosezentren zu sammeln. Der Annotationsprozess kann sehr kostspielig sein, da er die Einbeziehung mehrerer Ärzte und Radiologen erfordert, um einen Konsens zu erzielen und Voreingenommenheit und menschliche Fehler zu beseitigen. Aufgrund der Sensibilität medizinischer Daten ist es zudem sehr schwierig, die erfassten Daten der Öffentlichkeit zugänglich zu machen. Zusammenfassend lässt sich sagen, dass die Erstellung solcher Datensätze kostspielig und zeitaufwändig ist2,9.

Zu den bekannten Röntgendatensätzen, die öffentlich verfügbar sind und sich auf Anomalien konzentrieren, gehören MURA10, MedPix11, GRAZPEDWRI-DX12, IIEST1, MOST13, VinDr-CXR2, VinDr-SpineXR14 und ChestX-ray1415. Unter diesen Datensätzen ist MURA eine Sammlung von 2D-Muskel-Skelett-Röntgenbildern mit 40.561 Bildern aus verschiedenen Regionen wie Ellenbogen, Finger, Unterarm, Hand, Oberarmknochen, Schulter und Handgelenk10. Jedes Bild ist als „Normal“ oder „Abnormal“ gekennzeichnet, wodurch es für Klassifizierungsaufgaben geeignet ist. Allerdings fehlt ihm die richtige Anmerkung zur Lokalisierung und Segmentierung. MedPix ist eine Online-Datenbank mit medizinischen 2D- und 3D-Scans verschiedener Krankheiten, die nach dem Schlüsselwort „Fraktur“ gefiltert werden kann, was zu 954 Bildern führt. Zu diesen Bildern gehören Röntgenaufnahmen, reale Bilder, Magnetresonanztomographie (MRT), Computertomographie (CT)-Scans und Ultraschallbilder. Der Datensatz weist jedoch Probleme wie unorganisierte Anmerkungen und falsch beschriftete Bilder sowie einige Spam-Bilder auf. GRAZPEDWRI-DX ist ein kürzlich veröffentlichter Datensatz, der 20.327 Scans mit Anmerkungen zur Lokalisierung enthält, die von 6.091 Patienten gesammelt wurden. Obwohl es sich hierbei um einen angemessen großen Datensatz handelt, deckt er nur Handgelenksfrakturen ab und lässt die übrigen Teile des menschlichen Körpers aus. IIEST ist ein kleiner Datensatz von 2D-Röntgenbildern mit 217 Bildern, davon 49 gesunde, 99 gebrochene und 69 Krebsknochenscans. Dieser Datensatz ist sehr klein und für maschinelle Lernaktivitäten nicht geeignet. MOST ist ein Datensatz, der 4.446 Röntgen- und MRT-Scans enthält, die nach dem Kellgren-Lawrence (KL)-Bewertungssystem16 mit fünf Klassen von Grad 0 bis Grad 4 mit zunehmendem Schweregrad von einer zur nächsten gekennzeichnet sind. Dieser Datensatz ist aufgrund fehlender Finanzierung und Schließung nicht mehr öffentlich zugänglich. Es deckt auch nur Kniegelenksfrakturen ab. VinDr-CXR ist ebenfalls ein kürzlich veröffentlichter Datensatz, der 18.000 Bilder von Röntgenaufnahmen des Brustkorbs (CXR) mit manuellen Anmerkungen zur Lokalisierung enthält. Dieser Datensatz enthält Proben für 28 verschiedene Arten von Erkrankungen und Anomalien des Brustkorbs. Obwohl dies ein guter Datensatz zur Identifizierung von Brusterkrankungen ist, eignet er sich nicht zur Identifizierung von Knochenbrüchen. Ebenso verfügt die VinDr-Gruppe über andere Datensätze VinDr-Mammo17, VinDr-SpineXR14 und PediCXR18, die aus ähnlichen Gründen nicht für die Frakturstudie geeignet sind. ChestX-ray14 ist ein Datensatz für Röntgenbilder mit 112.000 CXR-Scans. Dieser Datensatz ist auch nicht für die Untersuchung von Knochenbrüchen geeignet, da er nur Proben von Brusterkrankungen enthält. Einige wichtige Datensätze von Röntgenaufnahmen des menschlichen Körpers werden mit dem FracAtlas-Datensatz19 in Tabelle 1 verglichen.

Die Mängel der vorhandenen Datensätze bestehen darin, dass die meisten von ihnen nur für Klassifizierungsaufgaben verwendet werden können oder dass ihnen eine ordnungsgemäße Annotation fehlt. Einige sind außerdem falsch beschriftet und daher nicht für maschinelle Lernaufgaben geeignet, da sie nicht gut gepflegt werden oder die Qualität der Anmerkungen nicht den Anforderungen entspricht. Die verfügbaren hochwertigen Röntgendatensätze sind nicht für die Untersuchung von Knochenbrüchen gedacht. Aufgrund der jüngsten Fortschritte bei CAD-Systemen reichen Datensätze nur für Klassifizierungsaufgaben nicht aus, da die meisten auf die Entwicklung von Lokalisierungs- und Segmentierungsmodellen umsteigen20. Für solche Aufgaben ist es sehr wichtig, über gut gepflegte und dokumentierte Datensätze mit ordnungsgemäßer manueller Annotation zu verfügen. Aufgrund der Sensibilität des medizinischen Bereichs ist es sehr wichtig, dass die Modelle eine hohe Leistung erbringen. Und um dies zu erreichen, ist ein großer Datensatz mit hochwertigen Annotationen sehr wichtig7.

In den meisten bedeutenden Arbeiten zur Klassifizierung, Lokalisierung und Segmentierung von Knochenbrüchen wurden private Datensätze verwendet21,22,23. Da derzeit keine öffentlich zugänglichen Datensätze verfügbar sind, ist eine vergleichende Analyse modernster Methoden (SOTA) nicht möglich. Um dieses Problem zu lösen, führen wir den FracAtlas-Datensatz19 ein, der durch die Sammlung von 14.068 Röntgenscans von drei bekannten Krankenhäusern in Bangladesch erstellt wurde. Aus diesen 14.068 Scans wurden 4.083 Bilder aus Regionen wie Hand, Schulter, Bein und Hüfte isoliert. Die restlichen Scans wurden verworfen, da sie aus der Brust- oder Schädelregion stammten. Aus Sicherheits- und Datenschutzgründen haben wir alle patientenbezogenen strukturierten Daten wie Name, Alter, Geschlecht, Zeitpunkt der Diagnose usw. aus jedem Scan anonymisiert. Die gesammelten DICOM-Bilder wurden in das JPG-Format konvertiert. Der Datensatz kann unter figshare (https://doi.org/10.6084/m9.figshare.22363012) abgerufen werden.

Wir haben den FracAtlas-Datensatz19 in vier Hauptschritten erstellt: (1) Datenerfassung (2) Datenbereinigung (3) Ermittlung der allgemeinen Verteilung der bereinigten Daten (4) Annotation des Datensatzes. In den Jahren 2021 und 2022 wurden etwa 14.068 Röntgenaufnahmen in drei Krankenhäusern und Diagnosezentren gesammelt. Die meisten Scans wurden im Lab-Aid Medical Center in Brahmanbaria sowie im Anupam General Hospital and Diagnostic Center in Bogra und im Prime Diagnostic Center in Barishal gesammelt. Die erfassten DICOM-Bilder wurden mit Fujifilm- und Philips-Geräten erstellt. Der vollständige Prozess ist in Abb. 1 dargestellt. Die ethische Freigabe dieser Studie wurde vom Institutional Research Ethics Board (IREB) nach Angaben des Bangladesh Medical Research Council (BMRC) genehmigt. Das IREB genehmigte die öffentliche Veröffentlichung der Daten auf der Grundlage der Tatsache, dass es angemessene Bestimmungen gibt, um die Vertraulichkeit der Personen durch ordnungsgemäße Filterung personenbezogener Daten zu wahren. Darüber hinaus wurde auch die Erlaubnis zur Veröffentlichung der Daten im öffentlichen Bereich von der Quelle eingeholt. Im Rahmen der Einleitung der Diagnose in den medizinischen Einrichtungen wurde die Einwilligung zur Datenerhebung für alle Probanden (Erwachsene und Eltern bei Minderjährigen) eingeholt. Außerdem hatte der Datenerfassungsprozess keine Auswirkungen auf die klinische Behandlung oder die Diagnoseprozesse der drei beteiligten Krankenhäuser und alle personenbezogenen Daten aus den gesammelten Daten wurden entfernt. Der gesamte Prozess wurde gemäß dem Institutional Research Ethics Board der United International University verwaltet.

Der Arbeitsablauf zur Erstellung des FracAtlas-Datensatzes: (1) Allzweck-Röntgenbilder wurden im DICOM-Format gesammelt und zur Deidentifizierung in JPG konvertiert und mit beliebigen Namen versehen. (2) Der resultierende JPG-Bildsatz aus Stufe 1 wurde aus anderen Körperteilen herausgefiltert. (3) Der resultierende Bildsatz aus Stufe 2 wurde in die jeweiligen Krankenhäuser zurückgebracht, um die allgemeine Verteilung herauszufinden. (4) Der resultierende Bildsatz aus Stufe 2 wurde von zwei erfahrenen Radiologen kommentiert und später von einem erfahrenen orthopädischen Arzt überprüft und zusammengeführt. Die Masken wurden manuell mit Open-Source-Software basierend auf den vom Arzt generierten Etiketten im COCO-JSON-Format entwickelt. Die resultierenden Masken wurden dann in andere Anmerkungsformate konvertiert, um sie für verschiedene Zwecke des maschinellen Lernens zu verwenden.

In der Anfangsphase wurden insgesamt 14.068 Röntgenbilder gesammelt. Da die Krankenhäuser und Diagnosezentren aus Datenschutzgründen keine Patienteninformationen weitergeben konnten, erhielten alle DICOM-Bilder einen willkürlichen Bildnamen und wurden in das JPG-Bildformat konvertiert. Dadurch wurden automatisch alle vertraulichen Informationen entfernt, die in den Metadaten von DICOM-Bildern vorhanden waren. Diese Konvertierungen wurden mit der proprietären Software der entsprechenden Röntgengeräte durchgeführt. Der Umbenennungsprozess wurde mithilfe eines Python-Skripts automatisiert. Die umbenannten DICOM-Bilder wurden zur späteren Untersuchung der allgemeinen Verbreitung separat in der Krankenhausdatenbank gespeichert. Alle gesammelten Röntgenaufnahmen dienen der allgemeinen Diagnose. Das bedeutet, dass neben Knochenbruchscans auch Proben auf Erkrankungen des Brustkorbs und Auffälligkeiten im Schädel- und Wirbelsäulenbereich erhoben werden. In den gesammelten Daten war die Anzahl der Knochenbruchproben im Brust-, Schädel- und Wirbelsäulenbereich gering. Infolgedessen wurden die Scans der besagten Teile unter Aufsicht eines Amtsarztes entfernt. Dies führte zu 4.083 Scans aus den Bereichen Hand, Bein, Hüfte und Schulter. Abbildung 2 zeigt einige gültige und Ausreißerbilder für den Datensatz. Einige der Bilder in unserem Datensatz enthalten Logos und Texte, die nicht entfernt wurden.

Beispiel für gültige (links) vs. Ausreißer-Röntgenbilder (rechts). Alle Scans wurden manuell gefiltert, basierend auf den im Scan vorhandenen Körperteilen, der Klarheit der Scans und der Auflösung. Die Scans, die nur Arm-, Schulter-, Bein- und Hüftregionen enthielten, wurden akzeptiert.

Nach dem Bereinigungsprozess wurde die demografische Analyse der 4.083 Bilder durchgeführt. In unserer Studie haben wir beobachtet, dass das Alter der Patienten einen großen Einfluss auf die Frakturanalyse hat. Bei jüngeren Probanden (0–7 Jahre) können die Knochenenden in der Nähe der Gelenke aufgrund mangelnder Knochendichte wie getrennte, getrennte Bandscheibenpolster aussehen. Ein Modell, das auf Patienten oberhalb dieses Bereichs trainiert wird, kann diese Knochenstrukturen fälschlicherweise als Brüche einschätzen. Im Gegenteil: Bei älteren Patienten (über 50 Jahre) kann die Oberfläche der Knochen rau aussehen24. Dies kann auch dazu führen, dass ein Modell diese Knochen fälschlicherweise als gebrochen einschätzt. Daher ist es von entscheidender Bedeutung, dass ein für die Frakturstudie vorgesehener Datensatz ein breites Spektrum an Patientenaltern enthält. Da alle Metadaten der Röntgenbilder zum Zeitpunkt der Erfassung verworfen wurden. Nach der Bereinigung des Datensatzes wurden die verbleibenden Bilder zu den entsprechenden Krankenhäusern zurückgebracht, um die Verteilung von Alter und Geschlecht im gesamten Datensatz herauszufinden. Das Alter der Probanden in unserem Datensatz reicht von 8 Monaten bis 78 Jahren. Außerdem beträgt die Geschlechterverteilung bei abnormalen Studien 85,4 % bzw. 14,6 % zwischen Männern und Frauen. Das Geschlechterverhältnis für den gesamten Datensatz (normale + abnormale Fälle) beträgt ungefähr 62 % Männer und 38 % Frauen. Unser Datensatz enthält 717 abnormale Scans, die insgesamt 922 Frakturen enthalten. Die abnormalen Studien enthalten mindestens 1 und höchstens 5 Frakturfälle. Einige der Scans enthalten mehrere Ansichten und Gebietsschemas. Der gesamte Datensatz enthält 4.083 Bilder und 4.497 Orte. Es gibt 396 Bilder mit unterschiedlichen Ansichten desselben Organs im selben Bild. Es sind 99 Bilder mit orthopädischen Fixierungsgeräten (Hardware) enthalten. Der FracAtlas-Datensatz19 enthält insgesamt 1.538 Scans der Hand, von denen 437 gebrochen sind. Es gibt insgesamt 2.272 Beinscans, 338 Hüftscans und 349 Schulterscans. Unter diesen beträgt die Anzahl der zur Frakturklasse gehörenden Scans 263, 63 bzw. 63 für die Bein-, Hüft- und Schulterregionen. Abbildung 3 veranschaulicht die Verteilung der verschiedenen im Datensatz vorhandenen Eigenschaften. Der FracAtlas-Datensatz umfasst insgesamt 2.503 Frontal-, 1.492 Lateral- und 418 Schrägansichtsbilder, die sich jeweils auf unterschiedliche Organe beziehen. Die Klasse „Fractured“ hingegen umfasst 438 Frontal-, 325 Seiten- und 45 Schrägansichtsbilder. Umgekehrt umfasst die Klasse „Nicht frakturiert“ insgesamt 2.065 Frontal-, 1.167 Seiten- und 373 Schrägansichten. Die relative Verteilung ist in Abb. 4 dargestellt.

Die Verteilung verschiedener Orte zusammen mit anderen Eigenschaften, die in den Bildern des FracAtlas-Datensatzes vorhanden sind. Zu den Lokalisationen zählen die Hand-, Schulter-, Hüft- und Beinregion. Die Verteilungen zeigen auch die Anzahl der orthopädischen Fixierungsgeräte (Hardware) und Bilder mit einer geteilten Ansicht (Mehrfachansicht) derselben Organe aus verschiedenen Ebenen. Das blaue Diagramm zeigt die Verteilung der genannten Attribute für die gesunden Scans des Datensatzes, während die roten Balken dasselbe für gebrochene Scans zeigen und zusammen die Gesamtverteilung für den gesamten Datensatz zeigen. Die Zahlen rechts von jedem Balken mit der entsprechenden Farbe stellen den Wert dar, während die grauen Zahlen die Sammelwerte darstellen.

Die Anzahl der vorhandenen Proben für jede der im FracAtlas-Datensatz vorhandenen Frontal-, Lateral- und Schrägansichten für einzelne Klassen.

Auf die Verteilungsanalyse der Daten folgte ein Überprüfungsprozess durch zwei erfahrene Radiologen, die jeweils über jahrelange Erfahrung auf diesem Gebiet verfügen. Die Radiologen gingen alle 4.083 Bilder durch und beschrifteten jedes Bild, indem sie das Vorhandensein und die Anzahl der Brüche sowie den Ortsnamen der Brüche identifizierten. Nach vollständiger Beobachtung wurde die von jedem Radiologen erstellte Frakturliste untereinander abgeglichen. Die Bilder, die von den Radiologen einstimmig beschriftet wurden, wurden als Bruchscans aufgenommen. Im Falle von Unstimmigkeiten in der Lage der Frakturen oder der Anzahl der Frakturstellen wurden die Bilder zur weiteren Überprüfung und Validierung an einen erfahrenen orthopädischen Chirurgen überwiesen. Nachdem er die aufgelisteten Bilder unabhängig gekennzeichnet hatte, wurden die Bilder erneut mit seinen eigenen Erkenntnissen und denen der Radiologen abgeglichen. Und nach dem Vergleich aller drei Proben einigte man sich auf die endgültigen Etiketten. Nachdem alle Konflikte gelöst waren, wurden die Bilder mithilfe von makeense.ai https://github.com/SkalskiP/make-sense manuell mit Anmerkungen versehen. Der primäre Typ der für Knochenbrüche generierten Anmerkungen war das Common Objects in Context (COCO)-Format25. Dieses Format ermöglicht die Erstellung von Polygonmasken der Bruchbereiche. Jedes Bild kann mehrere Schauplätze haben, die durch separate Masken markiert sind, und es ist auch zulässig, dass sich verschiedene Masken überlappen. Das COCO JavaScript Object Notation (JSON)-Format wurde für die manuelle Bearbeitung ausgewählt, da es die größte Menge an Informationen enthält und Konvertierungen ermöglicht, die verlustbehaftet in andere Annotationsformate wie YOLO Annotation und Pascal VOC sowie verlustfreie Formate wie Visual Geometry Group (VGG) sind ) Format. Für Segmentierungsaufgaben wird das COCO-JSON-Format verwendet, während für die Lokalisierung YOLO und Pascal Visual Object Classes (VOC) verwendet werden. Der für den primären Etikettierungsprozess gepflegte Originaldatensatz wird auch für Klassifizierungsaufgaben im CSV-Format (Comma Separated Values) bereitgestellt. Abbildung 5 zeigt verschiedene Annotationstypen, die mit dem Datensatz bereitgestellt werden.

Vollständig getaggtes und beschriftetes Beispielbild. (A) zeigt den ursprünglichen Scan mit den globalen Tags „Bein“, „Hardware“, „Fraktur“ auf 1 (wahr) und „Frakturanzahl“ auf 2. Die übrigen Tags (Hand, Hüfte, Schulter, gemischt, Multiscan) sind auf 0 (falsch) gesetzt ( B) Die Kästchen markieren den lokalen Bereich der Frakturinstanz für Lokalisierungsaufgaben. (C) Die roten Ränder maskieren die Bruchbereiche für Segmentierungsaufgaben.

Der FracAtlas-Datensatz19 wurde über Figshare (https://doi.org/10.6084/m9.figshare.22363012) zum öffentlichen Download bereitgestellt. Die Daten können ohne Registrierung heruntergeladen werden. Die Gesamtgröße unseres Datensatzes beträgt 323 MB. Im Folgenden wird die Ordnerstruktur beschrieben, die den Datensatz mit allen relevanten Dateien enthält.

Der Stammordner für den Datensatz heißt „FracAtlas“. Es enthält die Unterordner „images“, „Annotations“, „utilities“ und eine „dataset.csv“-Datei. Die CSV-Datei wurde während des Datenkennzeichnungsprozesses generiert, der im Abschnitt „Methoden“ beschrieben wird. Abbildung 6 gibt einen Überblick über die Ordnerstruktur. Die CSV-Datei enthält Spalten, die angeben, ob in einem Scan die Region „Hand“, „Bein“, „Hüfte“ oder „Schulter“ vorhanden ist, sowie Informationen darüber, ob der Scan mehrere Regionen enthält. Es gibt auch eine Spalte „Hardware“, die der Verfügbarkeit orthopädischer Fixierungsgeräte im Scan entspricht. Einige Röntgenaufnahmen enthalten mehrere Ansichten desselben Organs, projiziert von der Frontalebene (Koronalebene) und der Sagittalebene. Diese Bilder können anhand der Spalte „Multiscan“ in der CSV identifiziert werden. Die Spalte „gebrochen“ gibt an, ob ein Scan Brüche aufweist. Alle bisher erwähnten Spalten haben Binärwerte, die „0“ und „1“ enthalten. „0“ und „1“ stellen ein bestimmtes Attribut dar, das in diesem bestimmten Bild fehlt bzw. vorhanden ist. Die einzige Ausnahme hiervon ist die Spalte „fracture_count“, die numerische Werte von 0 bis 5 enthält, die die Anzahl der in diesem Bild vorhandenen Bruchinstanzen darstellen. Die Spalten „frontal“, „lateral“ und „schräg“ stellen die in einem Scan vorhandenen Perspektiven dar, wobei die Werte ansonsten auf „1“ und „0“ gesetzt sind.

Die Ordnerstruktur des FracAtlas-Datensatzes.

Der Ordner „images“ hat zwei Unterordner mit den Namen „Fractured“ und „Non_fractured“. Der Ordner „Fractured“ enthält alle Bilder, die Brüche enthalten. Der Ordner „Non_fractured“ hingegen enthält alle Röntgenaufnahmen gesunder Knochen. Alle Scannamen beginnen mit „IMG“, gefolgt von mit Nullen aufgefüllten siebenstelligen Werten, die für jedes Bild eindeutig sind, und enden mit „.jpg“, das den Datentyp angibt. Der Ordner „Annotation“ enthält verschiedene Annotationsdateien für Segmentierungs- und Lokalisierungszwecke. Zur Segmentierung gibt es zwei Unterordner namens „COCO JSON“ und „VGG JSON“, die entsprechende Annotationstypen im „.json“-Format enthalten. Diese Dateien enthalten Anmerkungen nur für Bilder, die Brüche aufweisen. Zur Lokalisierung gibt es zwei Unterordner namens „YOLO“ und „PASCAL VOC“ (PASCAL Visual Object Classes), die „.txt“- bzw. „.xml“-Dateien enthalten, benannt nach den entsprechenden Bilddateien. Darüber hinaus gibt es im Ordner „YOLO“ eine Datei „classes.txt“, die die für die Lokalisierung verfügbaren Klassen auflistet. In diesem Fall gibt es nur eine Klasse mit dem Namen „fractured“.

Der Ordner „Dienstprogramme“ enthält mehrere Notizbücher, die bei der Vorbereitung des Datensatzes verwendet wurden. Da die manuellen Annotationen im COCO JSON-Format erfolgten, wurden die YOLO-Annotationen aus den COCO-Masken mit „coco2yolo.ipynb“ generiert und später wurden PASCAL VOC-Annotationen aus den YOLO-Annotationen mit „yolo2voc.ipnyb“ generiert. Unter dem Unterordner „Fracture Split“ befinden sich 3 CSV-Dateien mit den Titeln „test.csv“, „train.csv“ und „valid.csv“. Jede dieser Dateien enthält eine Liste von Bildern, die zum Testen, Training und zur Validierung bei der technischen Validierung des Datensatzes verwendet werden.

Alle Bilder im Datensatz wurden manuell untersucht, um sicherzustellen, dass den Bildern des Datensatzes keine individuell identifizierbaren Informationen beigefügt oder darin eingebettet sind. Nach dem Annotationsprozess des Datensatzes wurden alle generierten Masken vom Amtsarzt überprüft. Um sicherzustellen, dass der Datensatz für das Training von Algorithmen für maschinelles Lernen geeignet ist, haben wir sowohl die Frakturlokalisierung als auch die Segmentierung mit YOLOv8s bzw. YOLOv8s-seg trainiert.

Die gebrochenen Bilder wurden zufällig in 80 % (574) Trainingsbilder, 12 % (82) Validierungsbilder und 8 % (61) Testbilder aufgeteilt, um sowohl das Lokalisierungs- als auch das Segmentierungsmodell zu trainieren und zu testen. Das Training wurde auf einem Windows-Laptop durchgeführt, der mit einer Nvidia RTX 3070-GPU mit 8 GB Videospeicher und einem AMD Ryzen 5900HX-Prozessor ausgestattet war. Beide Modelle wurden mit COCO40 vorab trainiert und liefen 30 Epochen lang. Die Eingabegröße betrug in beiden Fällen 600 Pixel mit Standard-Hyperparametern. Tabelle 2 listet die relative Leistung für verschiedene Aufgaben auf.

Für die Lokalisierungsaufgabe wurden die Frakturen mit einer Box-Präzision von 80,7 %, einem Recall von 47,3 % und einem mAP von 56,2 % bei IoU des 50. Perzentils des Validierungssatzes erkannt.

Für die Segmentierungsaufgabe wurden die Frakturen mit einer Box-Präzision von 71,8 %, einem Recall von 60,7 % und einem mAP von 62,7 % bei einer IoU von 0,5 im Validierungssatz erkannt. Bei der Maske beträgt die Präzision 83 %, der Rückruf 49,9 % und der mAP50 58,9 %.

Der Datensatz FracAtlas19 wird für jeden Zweck frei verfügbar gemacht. Die in diesem Werk bereitgestellten Daten dürfen in jedem Medium oder Format kostenlos kopiert, weitergegeben oder weitergegeben werden. Die Daten können angepasst, neu gemischt, transformiert und darauf aufgebaut werden. Der Datensatz ist unter einer Creative Commons-Lizenz „Attribution 4.0 International“ lizenziert (https://creativecommons.org/licenses/by/4.0/).

Darüber hinaus wird jede Veröffentlichung, die diese Ressource nutzt, gebeten, das Originalpapier zu zitieren, und die Autoren werden aufgefordert, ihren Code und ihre Modelle weiterzugeben, um der Forschungsgemeinschaft bei der Reproduktion der Experimente zu helfen und den Bereich der medizinischen Bildgebung voranzubringen.

Die Konvertierung von DICOM in das JPEG-Bildformat erfolgte mit proprietärer Software der Röntgengeräte von Marken wie Fujifilm und Philips und konnte daher nicht zur Verfügung gestellt werden. Die Maskenanmerkungen für die Segmentierung wurden mit einem Open-Source-Webtool namens makedsense.ai erstellt. Es wurde auch zum Generieren von VGG-Anmerkungen aus dem COCO-Format verwendet. Wie im Abschnitt „Methoden“ erläutert, wurden die Annotationskonvertierungsverfahren von COCO zu YOLO und YOLO zu PASCAL VOC mit Python 3.10.1 auf einem Windows 11-Betriebssystem unter Verwendung von „coco2yolo.ipynb“ und „yolo2voc.ipynb“ durchgeführt. Beide Jupyter-Notizbücher finden Sie zusammen mit dem Datensatz im Ordner „Utility“ bei Figshare (https://doi.org/10.6084/m9.figshare.22363012). Der für die technische Validierung verwendete Code kann unter (https://github.com/XLR8-07/FracAtlas) abgerufen werden. Unter „notebooks“ im Stammordner befinden sich zwei Notizbücher mit den Namen „Train_8s.ipynb“ und „Prediction_8s.ipynb“. „Train_8s.ipynb“ wird verwendet, um zwei Modelle der Varianten „YOLO8s_seg“ und „YOLO8s“ zu trainieren, die jeweils auf Segmentierungs- und Lokalisierungsaufgaben ausgerichtet sind. „Prediction_8s.ipynb“ wird verwendet, um Vorhersagen aus den beiden oben genannten Modellen zu generieren und die Ergebnisse anzuzeigen.

Yadav, D. & Rathor, S. Erkennung und Klassifizierung von Knochenbrüchen mithilfe des Deep-Learning-Ansatzes. Im Jahr 2020 International Conference on Power Electronics & IoT Applications in Renewable Energy and its Control (PARC), 282–285 (IEEE, 2020).

Nguyen, HQ et al. Vindr-cxr: Ein offener Datensatz von Röntgenaufnahmen des Brustkorbs mit Anmerkungen des Radiologen. Wissenschaftliche Daten 9, 429 (2022).

Artikel PubMed PubMed Central Google Scholar

LeCun, Y., et al. Tiefes Lernen. Natur, 521 (7553), 436–444. Google Scholar Google Scholar Cross Ref Cross Ref 25 (2015).

Redmon, J., Divvala, S., Girshick, R. & Farhadi, A. Sie schauen nur einmal hin: Einheitliche Objekterkennung in Echtzeit. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 779–788 (2016).

Ronneberger, O., Fischer, P. & Brox, T. U-net: Faltungsnetzwerke für die biomedizinische Bildsegmentierung. In Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18. Internationale Konferenz, München, Deutschland, 5.–9. Oktober 2015, Proceedings, Teil III 18, 234–241 (Springer, 2015).

Althnian, A. et al. Einfluss der Datensatzgröße auf die Klassifizierungsleistung: eine empirische Bewertung im medizinischen Bereich. Angewandte Wissenschaften 11, 796 (2021).

Artikel CAS Google Scholar

Barbedo, JGA Einfluss der Datensatzgröße und -vielfalt auf die Wirksamkeit von Deep Learning und Transfer Learning für die Klassifizierung von Pflanzenkrankheiten. Computer und Elektronik in der Landwirtschaft 153, 46–53 (2018).

Artikel Google Scholar

Soekhoe, D., Van Der Putten, P. & Plaat, A. Zum Einfluss der Datensatzgröße beim Transferlernen mithilfe tiefer neuronaler Netze. In Advances in Intelligent Data Analysis XV: 15. Internationales Symposium, IDA 2016, Stockholm, Schweden, 13.–15. Oktober 2016, Proceedings 15, 50–60 (Springer, 2016).

Razzak, MI, Naz, S. & Zaib, A. Deep Learning für die medizinische Bildverarbeitung: Überblick, Herausforderungen und die Zukunft. Klassifizierung in BioApps: Automatisierung der Entscheidungsfindung 323–350 (2018).

Rajpurkar, P. et al. Mura: Großer Datensatz zur Erkennung von Anomalien in Röntgenaufnahmen des Bewegungsapparates. arXiv-Vorabdruck arXiv:1712.06957 (2017).

NLM, N. Medpix, US-amerikanische Nationalbibliothek für Medizin. Nationales Gesundheitsinstitut. MedPix https://medpix.nlm.nih.gov/home.

Nagy, E., Janisch, M., Hržić, F., Sorantin, E. & Tschauner, S. Ein pädiatrischer Handgelenktrauma-Röntgendatensatz (grazpedwri-dx) für maschinelles Lernen. Wissenschaftliche Daten 9, 222 (2022).

Artikel PubMed PubMed Central Google Scholar

Sheehy, L. et al. Kann die Messung der anatomischen Achse den Hüft-Knie-Knöchel-Winkel (hka) für Studien zur Knieausrichtung bei Arthrose konsistent vorhersagen? Analyse von Röntgenaufnahmen langer Gliedmaßen aus der multizentrischen Osteoarthritis-(most)-Studie. Arthrose und Knorpel 19, 58–64 (2011).

Artikel CAS PubMed Google Scholar

Nguyen, HT et al. Vindr-spinexr: Ein Deep-Learning-Framework zur Erkennung und Klassifizierung von Wirbelsäulenläsionen anhand von Röntgenbildern (2021).

Wang, X. et al. Chestx-ray8: Datenbank für Bruströntgen im Krankenhausmaßstab und Benchmarks zur schwach überwachten Klassifizierung und Lokalisierung häufiger Thoraxerkrankungen. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2097–2106 (2017).

Park, H.-J. et al. Ein praktisches MRT-Bewertungssystem für Arthrose des Knies: Zusammenhang mit Kellgren-Lawrence-Röntgenergebnissen. Europäische Zeitschrift für Radiologie 82, 112–117 (2013).

Artikel PubMed Google Scholar

Pham, HH, Nguyen, NH, Tran, TT, Nguyen, TN & Nguyen, HQ Pedicxr: Ein offener, groß angelegter Thorax-Röntgendatensatz zur Interpretation häufiger Thoraxerkrankungen bei Kindern. Wissenschaftliche Daten 10, 240 (2023).

Artikel PubMed PubMed Central Google Scholar

Nguyen, HT et al. Vindr-mammo: Ein groß angelegter Benchmark-Datensatz für die computergestützte Diagnose in der digitalen Vollfeld-Mammographie. Wissenschaftliche Daten 10, 277 (2023).

Artikel PubMed PubMed Central Google Scholar

Abedeen, I. et al. Fracatlas: Ein Datensatz zur Frakturklassifizierung, Lokalisierung und Segmentierung von Röntgenaufnahmen des Bewegungsapparates. figshare https://doi.org/10.6084/m9.figshare.22363012 (2023).

Kar, MK, Nath, MK & Neog, DR Ein Überblick über Fortschritte bei der semantischen Bildsegmentierung und ihrer Anwendung auf medizinische Bilder. SN Informatik 2, 397 (2021).

Artikel Google Scholar

Thian, YL et al. Faltungs-Neuronale Netzwerke zur automatisierten Frakturerkennung und -lokalisation auf Röntgenaufnahmen des Handgelenks. Radiologie: Künstliche Intelligenz 1, e180001 (2019).

PubMed PubMed Central Google Scholar

Raisuddin, AM et al. Kritische Bewertung tiefer neuronaler Netze zur Erkennung von Handgelenksfrakturen. Wissenschaftliche Berichte 11, 1–11 (2021).

Artikel Google Scholar

Xue, L. et al. Erkennung und Lokalisierung von Handfrakturen basierend auf ga_faster r-cnn. Alexandria Engineering Journal 60, 4555–4562 (2021).

Artikel Google Scholar

Parfitt, AM Knochenalter, Mineraldichte und Ermüdungsschäden. Calified Tissue International 53, S82–S86 (1993).

Artikel PubMed Google Scholar

Lin, T.-Y. et al. Microsoft Coco: Gemeinsame Objekte im Kontext. In Computer Vision–ECCV 2014: 13. Europäische Konferenz, Zürich, Schweiz, 6.–12. September 2014, Proceedings, Teil V 13, 740–755 (Springer, 2014).

Halabi, SS et al. Die RSNA-Herausforderung für maschinelles Lernen im pädiatrischen Knochenalter. Radiologie 290, 498–503 (2019).

Artikel PubMed Google Scholar

Referenzen herunterladen

Wir danken dem Lab-Aid Medical Center, dem Anupam General Hospital und dem Prime Diagnostic Center für die Erlaubnis, auf ihre Bilddatenbanken zuzugreifen und uns die Freigabe des FracAtlas-Datensatzes19 für die Öffentlichkeit zu ermöglichen. Wir sprechen Dr. Asaduzzaman Bhuiyan unseren aufrichtigen Dank für die Überwachung der Verfahren zur Datenerfassung, Anonymisierung und Datensatzbereinigung aus. Wir danken auch Dr. Tonmoy Jamshed Alam für seine wertvollen Beiträge zur Überprüfung und Validierung der Datenetiketten. Wir möchten Effat Jahan für ihre wertvolle Unterstützung bei der Datenerhebung danken. Wir würdigen die bedeutenden Beiträge unserer Mitarbeiter, darunter Radiologen, Ärzte und Techniker, die uns bei der Datenerfassung und -kennzeichnung unterstützt haben. Diese Forschung wird teilweise durch das Institute for Advanced Research (IAR) Publication Grant der United International University (UIU), Dhaka, Bangladesch, über die Research Publication Grant-Nummer: IAR-2023-Pub-014 und die Islamic University of Technology (IUT) unterstützt ), Gazipur, Bangladesch.

Die folgenden Autoren haben gleichermaßen beigetragen: Iftekharul Abedeen, Md. Ashiqur Rahman.

Islamische Technische Universität, Gazipur, 1704, Bangladesch

Iftekharul Abedeen, Md. Ashiqur Rahman, Fatema Zohra Prottyasha, Tasnim Ahmed und Tareque Mohmud Chowdhury

United International University, Dhaka, 1212, Bangladesch

Iftekharul Abedeen, Md. Ashiqur Rahman und Swakkhar Shatabda

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

IA hat die Datenbank erstellt und die meisten Bilder von LAMC abgerufen. MAR sammelte Bilder von PDC und AGH. IA hat die Daten bereinigt. IA, FZP half bei der Verteilungsanalyse der Datenbank. IA hat die Bilder anhand der von den Radiologen bereitgestellten Etiketten mit Anmerkungen versehen. MAR und IA führten die technische Analyse des Datensatzes durch. IA hat das Papier entworfen. TA, TMC und SS betreuten das Projekt und beteiligten sich aktiv an der Manuskripterstellung.

Korrespondenz mit Tasnim Ahmed.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Abedeen, I., Rahman, MA, Prottyasha, FZ et al. FracAtlas: Ein Datensatz zur Frakturklassifizierung, Lokalisierung und Segmentierung von Röntgenaufnahmen des Bewegungsapparates. Sci Data 10, 521 (2023). https://doi.org/10.1038/s41597-023-02432-4

Zitat herunterladen

Eingegangen: 01. Mai 2023

Angenommen: 31. Juli 2023

Veröffentlicht: 05. August 2023

DOI: https://doi.org/10.1038/s41597-023-02432-4

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt