Messkarten Digitizer streamt Daten mit bis zu 12,8 Gigabit pro Sekunde

Höhere Bandbreite und höhere Auflösung: Der Wunsch nach leistungsfähigeren Digitizer-Karten erfüllt Spectrum Instrumentation mit der Serie M5i. Eine Besonderheit ist die Mehrfachaufzeichnung. Sie wurde mit dem vierfachen Datendurchsatz im Vergleich zur Serie 4 konzipiert.

Anbieter zum Thema

compmall GmbH

Spectrum Instrumentation GmbH

Ein MRT-Scanner, der kleiner als herkömmliche Tomographen ist, Supernovae, Schwarze Löcher oder den Durchmesser von Sternen vermessen oder in der Atmosphärenforschung das zurück gestreute Licht aus einer Höhe von 100 km messen. Die drei Beispiele für extreme Messanwendungen zeigen, wozu Digitzer-Karten in der Lage sind. Die von Spectrum Instrumentation entwickelten Karten der M4i.22xx-Serie mit 5 GS/s kommen in OEM-Geräten und in der Forschung zum Einsatz. Doch die Entwicklung bleibt nicht stehen.

Jetzt hat das Tech-Unternehmen aus Großhansdorf in der Nähe von Hamburg eine neue Digitizer-Generation auf den Markt gebracht. Mit ihnen lassen sich Daten von bis zu 12,8 GBit/s streamen und in Echtzeit mit 6,4 GS/s verarbeiten. Denn von Seiten der Kunden besteht die Nachfrage nach höherer Auflösung. Entstanden ist eine Produktserie, mit aktuell zwei Familienmitgliedern. Die M5i.3330-x16, eine Einkanal-Karte mit einer Abtastgeschwindigkeit von 6,4 GS/s, sowie eine Zweikanal-Variante, die M5i.3337-x16, mit synchronem 3,2 GS/s-Sampling auf zwei Kanälen. Auf einem Kanal sind das 6,4 GS/s. Beide Karten bieten eine Auflösung von 12 Bit. Damit sind die Karten bis zu 16-mal besser, als bei den meisten digitalen Oszilloskopen oder vergleichbaren Digitizern mit acht Bit.

Der Blick auf die Details wird geschärft

Die zusätzliche Auflösung führt zu einer verbesserten Genauigkeit bei der Spannungsmessung und ermöglicht es, selbst feinste Signaldetails darzustellen, die von Geräten mit niedrigerer Auflösung oft nicht erfasst werden. Timing-Messungen sind dank einer PLL-basierten internen Clock mit einer Genauigkeit von mehr als 1 ppm ebenfalls hoch präzise.

Die Karten sind für ganz unterschiedliche Signale ausgelegt. Sie verfügen zudem über ein voll funktionsfähiges Frontend mit einer Bandbreite von über 2 GHz, programmierbaren Eingängen von ±200 mV bis zu ±2,5 V sowie einem variablen Offset. Dank des integrierten Speichers lassen sich lange und komplexe Wellenformen erfassen. Standardmäßig ist ein Arbeitsspeicher von 4 GByte (2 GSamples) vorhanden. Der lässt sich bei Bedarf auf 16 GByte (8 GSamples) erweitern.

Unterstützt werden Single Shot- und Multiple-Aufzeichnungsmodi, zusammen mit Trigger-Zeitstempel. Die Mehrfachaufzeichnung unterteilt den Arbeitsspeicher in Segmente und erfasst dabei zahlreiche Ereignisse, selbst bei sehr hohen Triggerraten. Damit lassen sich serielle Busse testen oder die Karten bei Stimulus-Response-Anwendungen wie Lidar und Radar einsetzen. Für zusätzliche Flexibilität kann der integrierte Speicher als Ringpuffer verwendet werden, der ähnlich wie ein herkömmliches Oszilloskop funktioniert, oder als FIFO-Puffer für das kontinuierliche Streamen von Daten in die PC-Umgebung.

Die Digitizer-Karten lassen sich in fast jedes Testsystem integrieren, da die Frontplatten über SMA-Buchsen für die Kanaleingänge sowie vier multifunktionale digitale I/O-Leitungen verfügen. Ebenfalls als SMA- Anschlüsse sind die Eingänge und Ausgänge für Takt und Trigger ausgeführt, mit deren Hilfe die Karten mit weiteren Digitizern oder anderen Messgeräten synchronisiert werden können.

Komplett neue Basis mit 4-fachen Datendurchsatz

Dazu Oliver Rovini, Technischer Direktor bei Spectrum Instrumentation: „Da unsere bisherige Kartenplattform M4i mit modernen seriellen A/D-Umsetzern nicht arbeiten konnte und die Systemdatenbandbreite am Limit war, wurde mit der M5i-Plattform eine komplett neue Basis geschaffen, die für insgesamt etwa den 4-fachen Datendurchsatz konzipiert wurde. Die beiden Karten M5i.3330-x16 und M5i.3337-x16 sind die ersten Produkte auf Basis der M5i-Plattform, weitere Produkte in verschiedenen Anwendungsgebieten werden im Laufe der nächsten Zeit folgen.“

Der jetzt mögliche Datendurchsatz von bis zu 12,8 GBit/s zusammen mit den aktuellen CPU- und GPU-Prozessortechniken eröffnet für die Karten völlig neue Anwendungen, bei denen eine intensive Signalverarbeitung notwendig ist. Beispielsweise nutzen Systeme mit künstlicher Intelligenz (KI) jetzt Funk- und Mikrowellensensorik, um Objekte zu erkennen. Dabei werden Signale mit Megahertz oder Gigahertz-Frequenzen erfasst und analysiert. Hier fallen riesige Mengen an Informationen an, die verarbeitet werden müssen. Ein anderes Beispiel ist die Astronomie. Wissenschaftler scannen den Himmel, um Licht oder Radiowellen von entfernten Objekten im Weltall zu sammeln. Auch hier sind die Datenmengen gigantisch und ihre Analyse erfordert eine enorme Rechenleistung.

Maximale Geschwindigkeit bei der Übertragung

Doch um die hohen Geschwindigkeiten bei der Datenübertragung der Digitizer-Karten zu überprüfen, musste das Entwicklerteam von Spectrum die Karten auf einer Vielzahl unterschiedlicher PC-Plattformen testen. Schließlich wurden die maximalen Übertragungsgeschwindigkeiten mit einem AMD EPYC Model 7252 Serverprozessor erreicht. Die Entwickler testeten auch, bei voller Geschwindigkeit, direkte RDMA- (Remote-Direct-Memory-Access-)Datenübertragungen von den Digitizer-Karten zu einer Nvidia-P2000-GPU.

Daten lassen sich direkt auf eine CUDA-GPU (Nvidia-API) streamen und ist mit dem SCAPP-Paket (Spectrum’s CUDA Access for Parallel Processing) möglich. Es ist als kostengünstige Option erhältlich. SCAPP enthält die notwendigen Treiber für die CUDA-GPU-Unterstützung und ermöglicht Benutzern, ihre eigenen Verarbeitungsroutinen zu entwickeln. Arbeitsbeispiele für gängige Funktionen wie kontinuierliche Mittelwertbildung zur Rauschunterdrückung und FFTs zur Spektralanalyse sind ebenfalls enthalten.

Die Digitizer lassen sich auf einem Windows- oder Linux-Betriebssystem in fast jeder gängigen Sprache programmieren. Dazu gehören C, C++, C#, Delphi, VB.NET, J#, Python, Julia, Java, LabVIEW und MATLAB. Jede Karte wird mit einem Software-Development-Kit geliefert, das alle notwendigen Treiberbibliotheken und Programmierbeispiele enthält. Wer keinen eigenen Code schreiben möchte, für den bietet das Unternehmen alternativ SBench 6 an. Über die Software kann man vollständig die Messkarten kontrollieren und bekommt verschiedene Anzeige-, Analyse-, Speicher- und Dokumentationsfunktionen.

PCIe-Interface mit 16 Lanes und PCIe der dritten Generation

Ich habe mich mit Oliver Rovini von Spectrum Instrumentation über die neue Familie der Digitizer-Karten unterhalten. Er ist seit 1995 beim Unternehmen und seit 2000 Chefingenieur/Technischer Direktor. Damit hat er 22 Jahre als Technischer Direktor sämtliche Entwicklungen des Unternehmens verantwortet und begleitet.

Eine neue Generation Messkarten bietet 6,4 GS/s bei einer Auflösung von 12 Bit. Warum die Messkarten und wie ist die Idee entstanden?

Die etwas älteren Karten der Serie M4i.22xx mit 5 GS/s sind ein großer Verkaufserfolg. Sie kommen gerade in OEM-Geräten oder in der Forschung zum Einsatz. Seit längerer Zeit besteht seitens der Kunden die Nachfrage nach höherer Auflösung und nach höherer Bandbreite. Gegenüber der 8-Bit-Karte M4i.22xx ist die Auflösung der neuen Digitizer insgesamt 16-mal so hoch. Selbst die Bandbreite konnten wir um 30 Prozent steigern. Die neue Messkartenserie M5i.33xx war damit eine logische Weiterentwicklung der bestehenden Produkte, die neue Märkte erschließen wird und Forschungsaufgaben mit höherer Genauigkeit und größerem Signalbereich ermöglicht.

Da unsere bisherige Kartenplattform M4i mit modernen seriellen A/D-Umsetzern nicht arbeiten konnte und die Systemdatenbandbreite am Limit war, wurde mit der M5i-Plattform eine komplett neue Basis geschaffen, die für insgesamt etwa den vierfachen Datendurchsatz konzipiert wurde. Die beiden Karten M5i.3330-x16 und M5i.3337-x16 sind die ersten Produkte auf Basis der M5i-Plattform. Weitere Produkte in verschiedenen Anwendungsgebieten werden im Laufe der nächsten Zeit folgen.

Sie sagten, dass die Karten in der Summe ihrer technischen Eigenschaften einzigartig auf dem Markt sind. Können Sie das bitte etwas genauer erklären!

Die M5i.33xx-Serie bietet eine Abtastrate von 6,4 GS/s, eine Auflösung von 12 Bit, vier schaltbare Eingänge, eine Bandbreite von 2 GHz, einen maximalen Speicher von 8 GSample (16 GByte) sowie Streaming -Geschwindigkeiten bis zu 12,8 GByte/s. Es gibt einzelne Produkte von Mitbewerbern mit gleicher Abtastrate und Auflösung sowie einer Bandbreite, die in ähnlicher Größenordnung liegt. Mehr als zwei schaltbare Eingänge gibt es aber nur bei einem anderen Hersteller, einen Speicher von 8 GSample (immerhin mehr als eine Sekunde bei voller Abtastrate) bietet keiner.

Komplett einzigartig ist die Familie aber durch das schnelle PCIe-Interface mit 16 Lanes und PCIe der dritten Generation. Alle anderen Hersteller von Digitizern setzen auf das schmalere PCIe-Interface mit acht Lanes, teilweise sogar nur als zweite Generation – eine Kombination, die schon unsere ältere 8-Bit-Karte M4i.22xx hatte. Damit ist die Streaming-Geschwindigkeit bei allen anderen Karten auf maximal 6 bis 7 GByte/s begrenzt. Das ist die Hälfte von dem, was unsere Kartengeneration M5i bietet. Möchte man kontinuierlich Daten zur online-Analyse mit einer GPU oder zur Speicherung langer Aufnahmen streamen, gab es eine Beschränkung auf 3 GS/s für einen Kanal. M5i.33xx bietet 6,4 GS/s auf einem Kanal oder 3,2 GS/s auf zwei Kanälen.

Stichwort Mehrfach-Aufzeichnung: Was ist das Besondere daran und für welche Anwendungen lässt sich diese Funktion einsetzen?

Im Regelfall sind die meisten Anwendungen durch ein oder mehrere Ereignisse gekennzeichnet, die aufgezeichnet und weiterverarbeitet werden sollen. Als Startmarkierung werden hierbei ein oder auch mehrere Triggersignale, entweder extern eingespeist oder aus den Daten gewonnen, verwendet.

Während Einzelaufnahmen einen großen Overhead haben – Konfiguration, Start der Aufzeichnung, Triggerarmierung, Aufzeichnung, Ende-Erkennung, Datenübertragung – besteht der Charme der Mehrfach-Aufzeichnung (Multiple Recording) darin, mit einer sehr kleinen Totzeit die Aufzeichnungen automatisch hintereinander durchzuführen. So wird direkt nach Ende einer Aufzeichnung der Trigger wieder scharf geschaltet, und die nächste Aufzeichnung, also das nächste Triggerereignis, kann direkt folgen. Die Totzeit ist im Modus Multiple Recording in der Größenordnung von unter 200 Nanosekunden, während Einzelaufnahmen hier eher im Bereich von Millisekunden liegen.

Kombiniert man diesen Modus mit dem FIFO-Modus und ruft so die Daten kontinuierlich ab, kann diese Aufzeichnungsart auch dauerhaft genutzt werden. Solange der Abstand zwischen den Triggereignissen nicht die Summe aus Aufzeichnungsdauer und Totzeit überschreitet, geht dabei auch kein einziges Ereignis verloren.

Angewendet wird der Multiple Recording-Modus bei schnell wiederkehrenden Signalen. Hierzu zählen fiberoptischen Anwendungen, bei denen gepulste Lasersignale Echos in den Leitungen generieren, oder der Bereich Massenspektroskopie, bei der in einer Time-of-Flight- (ToF-)Anwendung die Laufzeit jedes einzelnen verdampften Moleküls gemessen wird. Darüber hinaus ist vielen Teilgebieten der physikalischen Forschung ein gepulster Laser als Anregung für ein Forschungsobjekt Standard – die zu analysierenden Ergebnisse, die eher unregelmäßig kommen, werden dann mit dem Multiple-Recording-Modus aufgezeichnet und später am Rechner ausgewertet.

Von der Astroforschung oder Partikelbeschleuniger überwachen

Welche Anwendungen haben Sie mit den neuen Produkten im Blick?

Generell sind unsere Produkte nicht auf spezielle Anwendungsgebiete festgelegt, sondern als universelles Messinstrument für viele Bereiche nutzbar. Neben den erwähnten Anwendungen, die die Mehrfach-Aufzeichnung (Multiple Recording) nutzen, gibt es einige Anwendungen, die von der schnellen kontinuierlichen Übertragungsrate, der hohen Auflösung und der hohen Bandbreite profitieren. Dazu zählt die Astroforschung, bei dem eigentlich immer kontinuierlich die Aufnahmen von einem oder mehreren Teleskopen analysiert werden, um bestimmte Muster aufzuspüren. Die hohe vertikale Auflösung, die hohe horizontale Auflösung in Form der kontinuierlichen Datentransfers sowie die hohe Bandbreite erlauben hier deutlich bessere Ergebnisse. Zu den Anwendungen zählen außerdem die Noise-Analyse von Übertragungswegen oder die kontinuierliche Überwachung von Partikelbeschleunigern.

Die hohen Übertragungsraten zu überprüfen war bestimmt nicht einfach. Auf welche Probleme sind Sie dabei gestoßen und wie konnten Sie schließlich erfolgreich testen?

Die maximale erreichte Übertragungsrate für eine PCIe-Karte hängt von vielen Faktoren ab. Neben dem eigentlichen PCIe-Interface sind auch diese Elemente sehr wichtig: Die Bereitstellung der Daten im FPGA, die Implementierung des Scatter-Gather-DMA, der Kerneltreiber für die Steuerung der Datenübertragung sowie die Reaktion auf die Interrupts sowie die Anwendungssoftware.

Für einen schnellen Test des Interfaces haben wir in unserer Hardware einen speziellen Testmodus integriert, der die Daten beliebig schnell und unabhängig von der eingestellten Abtastrate oder etwaigen internen Beschränkungen der Aufnahme liefern kann. Damit kann die Schnittstelle maximal ausgereizt und vermessen werden. Nach Evaluierung der maximal möglichen Übertragungsrate wird dann in einem zweiten Schritt mit einer realen Aufnahme im echten FIFO Modus gegengeprüft.

Mit der verwendeten PCIe der dritten Generation können brutto 985 MByte/s pro Lane übertragen werden, auf 16 Lanes also theoretisch 15.760 MByte/s. Von dieser Bruttoübertragungsrate geht allerdings noch der gesamte Protokoll-Overhead sowie die Checksummen ab. Ein entscheidender Faktor bei der maximal zu realisierenden Übertragungsrate ist die sogenannte TLP-Size (TLP = Transaction Layer Packet), denn die Übertragung über den PCIe-Bus erfolgt in einzelnen Paketen. In jedem Paket sind neben der adressierten Speicheradresse und den Daten noch diverse Status- und Control-Felder untergebracht. Da dieser Bereich eine feste Länge hat, wird das Verhältnis zwischen Nutzdaten und Overhead immer besser, je größer die eigentlichen Pakete sind. Die maximal genutzte TLP-Size ist durch den Chipsatz der PC-Architektur definiert und beträgt auf modernen Systemen 128, 256 oder 512 Bytes.

Die Unterschiede in der erreichten Übertragungsrate sind dabei enorm. So erreicht unser Testsystem mit einer TLP von 512 Bytes die erwähnten 12,8 GByte/s, im internen Testmodus sogar noch mehr. Dahingegen erreichen mehrere Systeme mit einer TLP von 256 Bytes nur zwischen 10,5 und 11,7 GByte/s. Das einzige in unserem Testpool verfügbare System mit einer TLP von 128 Bytes und passenden x16 PCIe-Slot kam nur auf schmale 9,2 GByte/s, immerhin fast 30 Prozent weniger als der Spitzenwert.

Leider ist die TLP-Size des Motherboards bzw. des Chipsatzes kein herausgestelltes Merkmal, so dass hier einiges an Recherche notwendig ist, um ein System zu finden, dass diese TLP-Size anbietet. Dazu kommt natürlich aktuell noch die schwierige Liefersituation auf dem Elektronikmarkt, die es leider teilweise unmöglich macht, die Wunschkomponenten mit einer erträglichen Lieferzeit zu bekommen. Unser Referenzsystem besteht aus einem Supermicro H12SSL-NT Motherboard mit AMD EPYC Prozessor, fünf PCIe x16 Slots sowie zwei PCIe x8 Slots.

(ID:48117430)