Embedded-Systeme für Healthcare und Industrieanwendungen

Die Entwicklung von KI für Embedded/Edge-Computing-Systemen stellt spezifische Herausforderungen und Anforderungen, die sich stark von denen für herkömmliche Server- oder Desktop-Systeme unterscheiden. Während Server und Desktops von ihrer leistungsfähigen Hardware profitieren können, müssen Embedded-Systeme mit strengen Ressourcenbeschränkungen, Energieeffizienzanforderungen und spezifischen Echtzeitanforderungen umgehen. Die erfolgreiche Implementierung von KI auf Embedded/Edge-Geräten erfordert daher spezialisierte Ansätze, Optimierungstechniken und maßgeschneiderte KI-Lösungen.

Die Konzeption kompakter KI-Modelle, die mit hoher Performance auf Embedded-Hardware laufen und je nach Embedded-System auch mit geringen Hardware-Ressourcen auskommen, erfordert viel Erfahrung. Dies ist eine Kernkompetenz von Chimaera. Wir entwickeln bereits seit 2012, seit der Veröffentlichung der ersten CNNs wie z. B. AlexNet, individualisierte KI-Netze bestehend aus Layern. Dadurch konnten wir viel Erfahrung im Umgang mit diversen KI-Technologien sammeln und sind daher immer auf dem aktuellen Stand modernster KI-Architekturen.

Um eine optimale Performance für ein Embedded-System, wie beispielsweise aus der NVIDIA Jetson Familie, zu erzielen, werden trainierte KI-Modelle von 32-Bit-Single-Precision auf Integer oder 16-Bit-Floating-Point (float16) komprimiert. Dadurch wird der Speicherverbrauch erheblich reduziert, sodass ein KI-Modell auf kleiner Hardware noch mehr Features berechnen kann und in vielen Fällen sogar schneller ist. 

Unser Entwicklerteam verfügt über umfangreiche Expertise im Bereich der Numerik, um bereits trainierte KI-Modelle auf andere Bit-Repräsentationen, insbesondere für Embedded-Systeme, zu konvertieren. Dadurch ist es möglich, fortschrittliche KI-Modelle auf sehr kleinen Embedded-Systemen zu nutzen, was deren Vertrieb zu einem attraktiven Preis ermöglicht. 

Das könnte Sie interessieren:

• AI for Healthcare with Jetson Nano 2GB
  https://developer.nvidia.com/embedded/community/jetson-projects/ai_for_healthcare
   
• “There are algorithms that even allow to apply post-training quantization and reduce bit depth and thus save valuable memory resources while maintaining accuracy. This raises new applications on embedded systems like NVIDIA Jetson Family or low-end workstation GPU cards.”
  https://github.com/ist-daslab/gptq

Embedded-Computing-Systeme, auch Edge-Computing genannt, zeichnen sich durch ihre leistungsfähige Hardware zu geringen Preisen aus. Zudem können sie als eigenständiges System mit geringem Energieverbrauch direkt in ein Gerät integriert werden. In Abhängigkeit der jeweiligen Anwendung können dies sehr kleine Embedded-Systeme sein, die sogar mit Drohnen fliegen können, wie beispielsweise der Jetson Nano. Alternativ sind auch Embedded-Systeme mit höherer Leistung denkbar, wie etwa der NVIDIA Jetson Orin, der die Verarbeitung sehr großer 3D-Bild- oder Videodaten ermöglicht. Da es sich um ein eigenständiges System handelt, begünstigtes es das Risikomanagement von Medizinprodukten.

Wir stellen uns jeder Aufgabe, sei es aus der Medizintechnik oder der industriellen Bildverarbeitung, mit Begeisterung. Im Bereich der Medizintechnik verfügen wir über viel Expertenwissen, um KI-Projekte von Anfang an nach den MDR-Regularien zu entwickeln. Damit bieten wir die Entwicklung einer „KI-Software as a medical device“. Da wir seit mehr als 18 Jahren Lösungen für die Radiologie entwickeln, haben wir viel Erfahrung in der 3D-Bildverarbeitung. 
Die Entwicklung von KI-Modellen für 3D-Bilder, wie DVT, CT oder MR, ist eine anspruchsvolle Aufgabe, die viel Erfahrung und Know-how erfordert. Die Ergebnisse sind in der Regel von höherer Qualität, da 3D-Features den Bildinhalt konsistenter erfassen als eine schichtweise Operation. Oft liegen 3D-Daten als Stack an 2D-Schnittdaten vor. Bei einer Bearbeitung der Daten lediglich als 2D-Bilder geht der komplette 3D-Kontext und damit wichtige Informationen verloren. Die Erkennungsraten von echten 3D-KI-Modellen sind damit erfahrungsgemäß höher. Dies ist unsere Spezialität.

Bekannte Modelle wie nnUnet bieten eine einfache Möglichkeit, ein Modell für Forschungsanwendungen zu trainieren. Während solche Modelle die Optimierung von Hyperparametern übernehmen, um die Nutzbarkeit während der Entwicklung zu vereinfachen, weisen sie beim Einsatz jedoch eine unzureichende Laufzeitleistung auf. Diese Anwendungen stellen im Wesentlichen komplexere Frameworks dar und eignen sich daher gut als Ausgangspunkt für die Entwicklung eines Prototyps. Bei umfangreichen 3D-Anwendungen kann die Inferenz allerdings mehrere Minuten in Anspruch nehmen. 

Daher ist es essenziell, die Anforderungen an das finale System jederzeit im Blick zu behalten – damit beginnt bei Chimaera die eigentliche Entwicklung. Wir bieten maßgeschneiderte 3D-KI-Modelle, die für die jeweilige Aufgabe und Hardware optimiert sind und eine hohe Genauigkeit sowie sehr kurze Inferenzlaufzeiten bis hin zu Echtzeitanwendungen bieten. Die Entwicklung von Embedded-Lösungen erfordert exakt diese Eigenschaften.