COM Expres Kleines Modul für große Aufgaben

Autor / Redakteur: Josef Fromberger* / Dipl. -Ing. Ines Stotz

Das Europäische Kernforschungszentrum CERN in Genf suchte für die Virtualisierung der Server, die zur Überwachung eines der Experimente im Teilchenbeschleuniger dienen, smarte Knotenpunkte. Schlanke 1HE Racksysteme mit je vier Prozessormodulen stellen nun sicher, dass die Daten besonders effizient und ausfallsicher verarbeitet werden.

Firmen zum Thema

Der LHCb Magnet im CERN
Der LHCb Magnet im CERN
(Bild: CERN / Fotograf: Peter Ginter)

LHCb ist eines von vier Experimenten am Large Hadron Collider (LHC), besser bekannt als Teilchenbeschleuniger. Es erforscht die kleinen Unterschiede zwischen Materie und Antimaterie, um der Frage nachzugehen, warum unser Universum hauptsächlich aus Materie und nicht aus Antimaterie besteht. Diese Experimente laufen noch mindestens bis ins Jahr 2018 und nutzen ein 4.500 t schweres Detektorsystem mit rund 1 Mio. Sensoren. Diese registrieren die unterschiedlichen Teilchen, die bei der Kollision von nahezu lichtschnellen Protonen im rund 27 km langen Ringbeschleuniger entstehen. Das Detektorsystem setzt sich aus mehreren Subdetektoren zusammen. Jeder ist darauf spezialisiert, unterschiedliche Parameter wie Spurverläufe oder Energie-Werte zu messen. Bei 2.000 Ereignissen pro Sekunde entsteht stündlich die beträchtliche Datenmenge von 250 GB.

Das Detektionssystem

Diese Daten werden von den Sensoren der Detektor-Elektronik über Lichtwellenleiter an modulare Rechnersysteme geleitet, welche die Daten des Experiments vorverarbeiten. Jedes System hat eine eigene Aufgabe und verarbeitet bis zu 38 Gbit/s Rohdaten. Diese sendet es sodann über 4 GbE Links zu einem Datenaufnahmesystem. Die real genutzte totale Bandbreite der Rechnersysteme des Detektionssystems beträgt rund 50-60 GByte/s und bildet die Datengrundlage für die Analyse und Resultate des Experiments. Ausgeführt sind diese Systeme in rund 100 VME- sowie rund 400 ELMB-Systemen (Embedded Local Monitor Board).

Bildergalerie

Condition Monitoring System überwacht die Experimente

Um die Verfügbarkeit des mit 1 Mio. Sensoren höchst komplexen Detektionssystems während der ebenfalls nicht minder komplexen Experimente stets sicherzustellen, wird es von einem eigenen Kontrollsystem überwacht. Dieses soll gewährleisten, dass sich alle Elemente des Detektionssystems im vorgeschriebenen Zustand befinden, damit die teuren Experimente nicht umsonst gemacht werden. Zudem erlaubt das Kontrollsystem Aktionen auszuführen wie das Ein- und Ausschalten, das Setzen der Ausgangsspannungen, das Setzen der Grenzwerte für Ausgangsströme und die Änderung der Lüftergeschwindigkeit der Systeme.

Dabei folgt das Monitoring der VME- und ELMB-Systeme einem einfachen Prinzip: Solange bei der Überwachung der Komponenten keine Anomalität festgestellt wird, werden alle nötigen Parametrierungen des Zustands der Elektronik automatisch ausgeführt. Nur wenn eine Anomalität festgestellt wird, muss ein Mitarbeiter eingreifen und den Fehler beheben.

In jedem Rechner des Detektionssystems ist hierfür ein CAN-Slave integriert, welcher die lokale Überwachungsinstanz des vernetzten Monitoring Systems darstellt. Diese Slaves wurden in der Vergangenheit über Monitoring-Server mit einer direkten Verbindung (über USB) zu einem CAN-Master überwacht und gesteuert.

Virtualisierung: Das Plus für unerwartete Entdeckungen

„Diese Monitoring Server sollen aufgrund ihres hohen Alters nun ersetzt werden“, erklärt der Projektleiter Beat Jost. „Als Ersatz haben wir uns dafür entschieden, auf eine Virtualisierungslösung zu setzen, um so die Ressourcenauslastung unserer Server-Infrastruktur zu optimieren und um die Kapazitäten für das Experiment zu steigern.“ Früher war auf den dezentralen 1HE Servern eine komplette WinCC SCADA-Software implementiert, auf die vom Leitstand aus zugegriffen wurde.

Diese Dezentralisierung wurde durch die Virtualisierung der Server auf einem zentralen System aufgehoben. Auf diesem werden nun alle Monitoring-Funktionen verwaltet. Neben den allgemeinen Vorteilen der Virtualisierung wie Energieeffizienz und erhöhter Verfügbarkeit ist auch die Möglichkeit, die Hardware flexibel auszulegen ein weiterer Pluspunkt.

Außerdem lassen sich die virtuellen Maschinen flexibler auf die entsprechende Anwendung anpassen. Wenn die Forscher also weitere unerwartete Entdeckungen machen, können sie ein noch breiteres Spektrum an Prozessen untersuchen, indem sie die Serverkapazität durch Virtualisierung einfach ausdehnen. Da auf den oberen Ebenen des Kontrollsystems die gesamte Kommunikation über Ethernet läuft, ist durch die Virtualisierung der entsprechenden Rechner auch der Ersatz eines defekten Rechners ohne direkte Hardware-Intervention möglich.

Die smarten Knotenpunkte

An der Stelle, wo früher die dezentralen Server standen, sind nun smarte Knotenpunkte am Werk, die den Transfer der Condition-Monitoring-Daten zwischen den dezentralen Rechnersystemen des Detektionssystems und den zentralen, virtualisierten Condition-Monitoring-Servern sicherstellen. Hierfür bieten die Knotenpunkte x86er Intelligenz und hosten einen integrierten ELMB-OPC-Server für je drei über CAN angeschlossene ELMB-Systeme und einen OPC-Server für die VME-Systeme, die ebenfalls über CAN angeschlossen sind. Zudem greift je ein Win-CC OPC-Client auf diese OPC-Server zu, um letztlich die Monitoring-Daten den zentralen virtualisierten Servern zur Verfügung zu stellen. Die Hauptaufgabe der nun eingesetzten smarten Knotenpunkte liegt also darin, die CAN Master zum Feld hin zu treiben und über Ethernet mit den zentralen virtuellen Servern zu kommunizieren.

4-in-1 System für höhere Verfügbarkeit und Zuverlässigkeit

Um nach den Vorgaben des Leiters des Experiments ein hochverfügbares Low-Power System mit möglichst großer Dichte zu erreichen, wurde ein individuelles System entwickelt, das vier Subsysteme umfasst. In einem 19“ 1HE System befinden sich vier unabhängige Carrierboards mit vier Computer-on-Modulen, sodass ein 4-in-1 System entstanden ist. Die vier Subsysteme verfügen über GPIO, mit denen sie sich gegenseitig resetten können. Dadurch erhöhen sich Verfügbarkeit und Zuverlässigkeit der Systeminstallation. Zudem werden Wartungseinsätze vor Ort reduziert – und dies ist bei den Wegestrecken der dezentralen CERN Infrastruktur essentiell.

Die Auslegung mit vier vollwertigen Rechnersubsystemen in einem einzigen 1HE Systemchassis ist zudem äußerst platzsparend. Alle externen Interfaces wie 6x USB, 1x GbE und 1x DVI pro Subsystem sind auf dem Carrierboard integriert und damit kabellos ausgeführt. Die im Gesamtsystem eingesetzten Carrierboards wurden spezifisch für diese Kundenanforderung entwickelt.

Die Anbindung an die Systeme des Detektionssystems erfolgt über externe USB-to-CAN Konverter. An ein 4-in-1 System können über diese Konverter bis zu 32 CAN Busse angeschlossen werden. Über einen CAN Bus können wiederum bis zu 64 Slave Module angesprochen werden. Damit lassen sich bis zu 2048 Slaves verwalten. Derzeit sind pro System zwischen 10 und 20 CAN-Busse angeschlossen, sodass mit Hinblick auf die lange Laufzeit des Experiments noch hinreichend Kapazität zur umfassenden Erweiterung der gesamten Installation im CERN gegeben ist.

COM Express Standard für Designsicherheit

Unter den am Markt verfügbaren Module-Spezifikationen entschied man sich für Modul Carrierboard Design mit COM Express. Zum einen ist COM Express der führende Standard für Computer-on-Modules weltweit und erfreut sich daher breiter Hersteller-Unterstützung. Zum anderen bietet er mit COM Express mini auch einen kleinen scheckkartengroßen Formfaktor, der für das vom CERN geforderte kompakte Systemdesign passt. Da die Module problemlos austauschbar sind und Carrierboard-Designs immer wieder verwendbar sind, gewährleistet dies eine hohe und ressourcenschonende Designsicherheit.

Das Application Programming Interface

Der Hersteller für COM Express, für den man sich dabei entschied, ist Kontron. Wichtig für diese Auswahl ist sowohl die Marktposition als das ausgereifte Produktangebot. So bieten Kontron (Computer on Modules (COMs) mit KEAPI (Kontron Embedded Application Programming Interface) auch eine plattformübergreifende Middleware, die Zugriff und Steuerung von Hardware-Ressourcen in Embedded Applikationen vereinfacht. Applikationsentwickler können eine umfangreiche API-Bibliothek nutzen, die Hardwareinformationen aller neuen Embedded-Plattformen von Kontron bereitstellen. So bietet KEAPI mit bereits vorintegrierte APIs, mit denen man zum Beispiel via l²C das gegenseitige Reset der COMs ermöglichen kann.

Mit diesen APIs,muss die Applikation beim Modulwechsel nicht aufwändig umprogrammiert werden. KEAPI beschleunigt auch Neudesigns und reduziert den Arbeitsaufwand bei der Validierung und Verifikation. Umfangreiche Funktionalitäten zur Fernüberwachung erleichtern die Wartung der Systeme und halten die Kosten für den Betrieb derartig komplexer Anlagen niedrig.

Die Menschen dahinter

Neben der Auswahl der richtigen Technologien und Hardwareplattformen ist für CERN aber mindestens genauso wichtig, mit den richtigen Experten zusammenzuarbeiten. Entwicklung und Produktion wurde realisiert durch Robert Brunner von Brunner Elektronik aus dem schweizerischen Hittnau, spezialisiert im Bereich der CAN-Technologie in partnerschaftlicher Zusammenarbeit mit Walter Weber, Sales & Marketing Manager Embedded Computing vom schweizerischen Kontron Vertriebspartner Ineltro mit Sitz in Regensdorf.

CERN ist mit der entstandenen innovativen Lösung mehr als zufrieden. Beat Jost sagt zustimmend: „Bereits die erste Demonstration des smarten Knotenpunkts war so toll, dass genau dieses System jetzt in Serie geht. Wir sind sehr zufrieden.“

Quellen:

[1] http://lhcb-public.web.cern.ch/lhcb-public/

[2] http://www.weltmaschine.de/news/16112011/ (erste Ergebnisse)

[3] https://ph-collectif-lecc-workshops.web.cern.ch/ph-collectif-lecc-workshops/LEB01_Book/daqdcs/hallgren.pdf

* Josef Fromberger, VP Standard Products, Kontron

(ID:43823379)