Validation of Automatic Greulich-Pyle Bone Age on Children with short stature of various diagnoses

Abstract

Bone age (BA) determination is routinely determined for the diagnostic evaluation of children affected by short stature. Most investigators use the Greulich-Pyle (GP) Atlas because of its intuitive simplicity and rapidity. The intra- and inter-individual variations of BA assessment in clinical practice impose a major handicap on its usefulness in clinical trials and research. As a solution, a fully automatic bone age determination method, called BoneXpert, was developed. The aim of this study is to validate BoneXpert in a large set of children with short stature of diverse diagnoses. We surveyed the coverage of BoneXpert by analyzing characteristics of images accepted and rejected respectively by BoneXpert, the accuracy beyond BoneXpert's intended age ranges as well as its interoperability in use of digital or printed X-rays. Subsequently we analyzed the reliability of BoneXpert. We investigated the validation of BoneXpert compared with other determination methods. We used 5865 X-rays of the left hand of 1152 patients showing a manual GP-BA between 0.5 and 19 years. The X-rays were taken between 1973 until 2005 at the University’s Children Hospital Tuebingen. BoneXpert succeeded to analyze 5668 images of 1009 patients. The difference between printed X-rays and their original digital format were insignificant (correlation coefficient 0.999; P < 0.0001). The core of the study was comparing the automatic bone age values with the original manual bone age determinations. The BoneXpert BA deviated by more than 2.05 years (2 standard deviations, SD) from the manual operator BA in 1.6% (n=92) of X-rays. Those outliers were re-rated by three investigators not knowing chronological age, original manual BA or the result of the automatic BA rating. All the new ratings except 3 were within threshold T of 2.05 years. The SD between manual and automatic BA was 0.73 years [0,66;0,84] 95% CI, the mean deviation was 0.09 years. The variance was 0.967 in boys and 0.957 in grils. There was no significant difference between various diagnoses. Also we could compare BoneXpert’ results with the semiautomatic method CASAS. Compared with the original manual BA using GP (manBA) the deviation of BoneXpert’s rating (autBA) were less than the BA scores of CASAS (CBA), while the standard deviation of the differences (accuracy) and the bias were insignificant. The mean deviation between manBA and autBA was 0.28 years vs. 1.17 years between manBA and CBA. The accuracy (SD of difference) was 0.80 years [95% CI 0.69; 0.88], bias 0.04 y/y and 0.95 years [95% CI 0.85; 1.08], bias 0.1 y/y respectively. Direct comparison between CASAS and BoneXpert yields an average deviation of 0.87 years (n.s.), the accuracy was 0.84 years. [95% CI 0.75; 0.94]. BoneXpert is able to process all X-rays meeting the external requirements of the software. It can avoid errors in inter- and intraindividual inconsistency. BoneXpert’s ability to process virtually all images automatically, to avoid errors, and to obtain good agreement with manual operators suggests that the method could be efficient and reliable in the spectrum of children with short stature that are presented to endocrine clinics.

Zusammenhang: Die Knochenalterbestimmung anhand von Röntgenbildern der Hand spielt eine wichtige Rolle in der Diagnostik und Therapie von kleinwüchsigen Kindern. Die manuelle Ermittlung birgt hierbei einige Probleme. So gibt es beispielsweise hohe inter- und intraindividuelle Differenzen in der Befundung. Ein vollautomatisches Computerprogramm, wie BoneXpert es darstellt, könnte dem Ruf nach einer zuverlässigen Knochenalterbestimmungsmethode gerecht werden. BoneXpert erstellt völlig automatische Analysen von Röntgenbildern der Hand und bestimmt ein entsprechendes Greulich-Pyle (GP) Knochenalter.

Zielsetzung: Das Ziel der Studie ist es, das BoneXpert-Programm zur automatischen Knochenalterbestimmung bei Kindern mit diversen Kleinwuchsdiagnosen zu validieren.

Methoden: Es wurden 5865 Röntgenbilder der linken Hand von 1152 Patienten einbezogen, welche ein manuell befundetes GP-Alter von 0,5-19 Jahren aufwiesen. Die Bilder stammen aus den Jahren 1973-2005 und wurden im Rahmen der Kleinwuchsdiagnostik und -behandlung in der Universitätskinderklinik Tübingen aufgenommen.

Ergebnisse: BoneXpert konnte erfolgreich 5668 Bilder von 1009 Patienten analysieren. Die Differenz der Ergebnisse, welche die Analyse von digitalen und entsprechenden Filmabzügen mittels BoneXpert ergab, war nicht signifikant (Korrelationskoeffizient 0.999; P < 0.0001). Der Hauptteil der Studie bestand darin, die computergenerierten Ergebnisse mit den manuell ermittelten Knochenalterangaben unserer Radiologen zu vergleichen. Das BoneXpert-Knochenalter wich in 1,6% der Bilder (n=92) um mehr als 2,05 Jahre (2 Standardabweichungen, SD) vom originalen, manuellen Befund ab. Diese Ausreißer wurden jeweils von drei Untersuchern erneut, ohne Wissen des chronologischen Alters, der ursprünglichen manuellen Befundung oder dem Ergebnis der automatischen Analyse, befundet. Beim Vergleich dieser neuen manuellen Befundung (New manBA) mit der automatischen lagen nur noch 3 der 92 Ausreißer außerhalb der Zeitspanne von 2,05 Jahren. Die Genauigkeit zwischen manueller und automatischer Befundung weist eine Standardabweichung von 0,73 Jahren auf [0,66;0,84] 95% CI, sowie einer mittlere Abweichung von 0,09 Jahren. Die Varianz R2 beträgt 0,967 für Jungen bzw. 0,957 für Mädchen. Die Übereinstimmung zeigte keinen signifikanten Unterschied zwischen den einzelnen Diagnosen. Außerdem konnten wir die Ergebnisse von BoneXpert mit denen des halbautomatischen Computerprogramms CASAS vergleichen. Verglichen mit der manuellen Knochenalterermittlung nach GP (manBA) ist die Abweichung der GP-Ergebnisse von BoneXpert (autBA) geringer als die der Ergebnisse mittels CASAS (CBA), während die Standardabweichung der Differenzen (Genauigkeit) und die Verzerrung (bias) eine vernachlässigbare Abweichung aufweisen. Die mittlere Abweichung beträgt zwischen manBA und autBA 0,28 Jahre vs. 1,17 Jahre zwischen manBA und CBA, die Genauigkeit (SD der Differenz) jeweils 0,80 Jahre [95% CI 0.69; 0.88], bias 0,04 Jahre/Jahr bzw. 0,95 Jahre [95% CI 0.85; 1.08], bias 0,1 Jahre/Jahr. Im direkten Vergleich zwischen CASAS und BoneXpert ergibt sich eine mittlere Abweichung von 0.87 Jahren (n.s.), die Genauigkeit beträgt 0.84 Jahre [95% CI 0.75; 0.94].

Zusammenfassung: BoneXpert ist in der Lage, alle Röntgenbilder virtuell zu verarbeiten, welche die entsprechenden äußeren Vorgaben des Computerprogramms erfüllen. Es kann Fehler der inter- und intraindividuellen Inkonsistenz in der Bestimmung vermeiden, und erzielt gute Übereinstimmungen mit der manuellen Knochenalterermittlung. Dies spricht dafür, dass die Methode sowohl effizient als auch reliabel in der Knochenalterbestimmung kleinwüchsiger Kinder angewandt werden kann.