Suchen

Serielle High-Speed Verbindungen

PCI Express – die Physik fest im Griff

| Autor/ Redakteur: Rudi Ganss* /

Steigende Anforderungen hinsichtlich Funktion und Datendurchsatz moderner Systeme verbunden mit hoher Prozessorleistung erzwingen Verbindungen mit immer höheren Bandbreiten, die die klassischen, parallelen Busse nicht liefern können. Hier haben sich serielle High-Speed Verbindungen durchgesetzt. Der Artikel beschreibt die Herausforderungen beim Design und der Messung dieser Systeme.

Firmen zum Thema

Bild 1: Augendiagramm einer langen 10-GBit/s-Verbindung vor dem Equalizer
Bild 1: Augendiagramm einer langen 10-GBit/s-Verbindung vor dem Equalizer
( Archiv: Vogel Business Media )

Spätestens mit der Einführung von PCI Express haben die seriellen High-Speed Verbindungen Einzug in Bereiche wie Office, Medizintechnik und Industrieanwendungen gehalten. Mit den höheren Datenraten verschärfen sich aber die physikalischen Anforderungen an das Design der Verbindungsstrecke und an die verwendeten Komponenten. Es werden physikalische Effekte dominant, die bei den klassischen, parallelen Bussen aufgrund der kleineren Datenraten keine Rolle spielen. Der Entwickler muss sich dabei die Frage beantworten, wie er kostengünstig diese physikalischen Effekte behandelt um zuverlässige High-Speed Verbindungen zu gestalten.

Serielle High-Speed Verbindungen

PCI Express wurde als leistungsfähiger Nachfolger des PCI-Busses eingeführt. Aufgrund der Software-Kompatibilität von PCI und PCI Express erfolgte eine sehr schnelle, unumkehrbare Penetration des Marktes. PCI Express arbeitet in der ersten Generation mit einer physikalischen Datenrate von 2,5 GBit/s und liefert damit schon im Minimalausbau praktisch dieselbe Bandbreite wie der klassische PCI-Bus im Vollausbau.

PCI Express der zweiten Generation – verfügbar seit Frühjahr 2008 – arbeitet physikalisch mit 5,0 GBit/s und in der dritten Generation – avisiert für Anfang 2010 – mit voraussichtlich 8,0 GBit/s. Auch bei anderen Standards geht der Trend zu höheren Datenraten: 10G Ethernet wird mit fallenden Komponentenpreisen in vielen Systemen das Gigabit Ethernet verdrängen und die IEEE untersucht z.Zt. die Entwicklung von 100G Ethernet. Ähnlich sieht es bei USB, SATA, Firewire, SAS usw. aus.

Topologie serieller High-Speed-Verbindungen

Ein gravierender Unterschied zwischen den klassischen, parallelen Bussen und den seriellen High-Speed Verbindungen liegt in der Topologie, die es erst ermöglicht, die hohen Datenraten physikalisch korrekt zu behandeln. Während bei den klassischen Bussen mehrere Teilnehmer, i.a. in unterschiedlicher Anzahl, auf dasselbe physikalische Medium zugreifen, gibt es bei den seriellen High-Speed Verbindungen nur Punkt-zu-Punkt Verbindungen, die in einer Stern- oder Doppel-Sterntopologie miteinander verbunden werden.

Weiterhin wird bei High-Speed Verbindungen der Takt entweder direkt aus den Daten zurückgewonnen oder aus einem deutlich langsameren Systemtakt abgeleitet. Damit entfällt die High-Speed Taktübertragung.

Mit dieser Topologie ist sehr viel gewonnen: die physikalischen Eigenschaften und die Bandbreite der Verbindung sind mit dem Design klar definiert und nicht wie bei den klassischen Bussen abhängig von der Anzahl der Teilnehmer. Das Timing-Problem, das bei klassischen Bussen immer wieder zu Schwierigkeiten führt, ist deutlich entspannt und existiert praktisch nicht.

Physik serieller High-Speed Verbindungen

Aufgrund der Punkt-zu-Punkt Topologie muss der Entwickler nur die physikalischen Eigenschaften der Einzelkomponenten anschauen, um eine zuverlässige PCI Express Verbindung zu realisieren. Zu diesen Komponenten gehören in erster Linie Sender und Empfänger als aktive Bestandteile der Verbindung. Physikalische Datenraten bis 3,125 GBit/s pro I/O-Port sind als integrierte Lösungen in FPGAs oder Controllern etabliert. Stand der Technik sind integrierte Lösungen mit Datenraten von 6,25 bis 8 GBit/s. Bei physikalischen Datenraten von 10 GBit/s und mehr nähert man sich bei integrierten Lösungen noch den technischen Grenzbereichen. Bei externen Komponenten sind diese hohen Datenraten aber schon jetzt Stand der Technik. Die zugehörigen Gehäuse der aktiven Komponenten stellen aufgrund ihres Aufbaus und der vergleichsweise kleinen Dimensionen kein Problem dar.

Abgesehen von der Selektion der aktiven Komponenten ist für die Zuverlässigkeit einer PCI Express Verbindung der Lagenaufbau und das Material der beteiligten Boards, die Leitungsführung der High-Speed Signale und die elektrischen Eigenschaften der beteiligten Steckverbinder entscheidend. Abgesehen von proprietären Lösungen schreibt PCI Express dabei die zu verwendenden Steckertypen und ihr Pinning vor.

Der Lagenaufbau inklusive Materialauswahl und die Leitungsführung sind die Freiheitsgrade, über die der Entwickler verfügt, und die die Zuverlässigkeit einer PCI Express Verbindung entscheidend beeinflussen. Drei wichtige Punkte sind dabei bestimmend: sorgfältige differentielle Leitungsführung, die Leitungsverluste und das elektrische Verhalten der Durchkontaktierungen.

Vorgaben der High-Speed Standards

Alle High-Speed Standards spezifizieren differenzielle Signalübertragung mit einer definierten Leitungsimpedanz, i.a. differentiell 100 Ω. Weil jede Abweichung des Designs von der differenziellen Leitungsführung unerwünschte Gleichtakt-Störungen erzeugt, muss das Layout entsprechend sorgfältig erfolgen – und zwar auf jedem Teil der Gesamtstrecke von der Ausgangszelle im Sender bis zur Eingangszelle im Empfänger.

Ebenfalls in den Standards spezifiziert werden Gleichlängenbedingungen innerhalb eines differenziellen Paares, wobei die Sinnhaftigkeit hinterfragt werden darf, weil i.a. geometrische Längenunterschiede spezifiziert werden – das Signal betreffen aber nur elektrische Längenunterschiede. Die Längenunterschiede werden so eng bemessen (bei PCI Express 127 µm für die Tochterkarte bzw. 254 µm beim Motherboard), dass die resultierenden Laufzeitunterschiede messtechnisch nicht sinnvoll verifizierbar sind.

Dielektrische Verluste bei Basismaterialien

Bild 2: Augendiagramm der 10-GBit/s-Verbindung aus Bild 1 hinter dem Equalizer (Archiv: Vogel Business Media)

Bei der Einführung der High-Speed Signale in der Telekommunikation vor mehr als zehn Jahren waren die frequenzabhängigen Verluste der verwendeten Basismaterialien dominierend. Es wurden deshalb teure Basismaterialien mit kleinen dielektrischen Verluste entwickelt.

Heute werden in die aktiven Halbleiterkomponenten Signal-Conditioning-Verfahren integriert. Mit diesen Methoden – egal ob Pre-emphasis beim Sender, Equalization beim Empfänger oder beides – lassen sich die frequenzabhängigen Verluste in weiten Bereichen problemlos kompensieren. Die Bilder 1 und 2 geben eine Vorstellung von der Leistungsfähigkeit dieser Verfahren. Die Verwendung des Standard-Basismateriels FR4 für digitale High-Speed Signale ist deshalb keine Frage mehr.

Elektrisches Verhalten von Durchkontaktierungen

Bild 3: Bereiche einer Durchkontaktierung mit störenden elektrischen Effekten für High-Speed Signale (Archiv: Vogel Business Media)

Verschärfte Aufmerksamkeit muss der Entwickler dagegen dem elektrischen Verhalten der Durchkontaktierungen widmen, die zwei negative Auswirkungen haben (Bild 3): der obere Teil auls Bestandteil des Signalpfades hat eine i.a. niederohmigere Impedanz als die angeschlossenen Leitungen, was zu Reflexionen führt. Der untere, ungenutzte Teil erzeugt unerwünschte Resonanzen im Signalweg.

Beide Effekte werden umso bedeutsamer, je höher die Datenrate, je größer der Durchmesser der Durchkontaktierung und je größer die Länge der betreffenden Teile wird. Der Stubeffekt der Durchkontaktierung lässt sich mit dem sogenannten Backdrilling, bei dem man das überflüssige Metall von hinten weg bohrt, beseitigen.

Ob Backdrilling notwendig ist, entscheidet man am besten mittels Simulation der Durchkontaktierung, die die Lage der Stubresonanzen liefert. Liegt eine Stubresonanz im Nutzspektrum, muss der Stub zwingend entfernt werden, weil die Resonanzen des Stubs sehr ausgeprägt sind.

Die Impedanzfehlanpassung des oberen Teils ist dagegen weniger kritisch und spielt erst eine nennenswerte Rolle bei Datenraten ab ca. 8 GBit/s und höher. Abhilfe schaffen hier nur kleinere Längen oder kleinere Bohrdurchmesser der Durchkontaktierung. Für PCI Express in der typischen Tochtercard/Motherboard-Konfiguration sind für die Generation 1 und 2 keine gravierenden Effekte der Stecker-Durchkontaktierungen zu erwarten. Beim Einsatz von PCI Express in proprietären Systemen oder in anderen Plattformen wie z.B. ATCA oder µTCA müssen die Effekte der Durchkontaktierungen aber immer kritisch beachtet werden.

Spannungsversorgung der High-Speed Komponenten

Noch ein wichtiger Aspekt beim Board Design ist die saubere Spannungsversorgung der High-Speed Komponenten und ihre Abblockung. High-Speed Komponenten enthalten immer PLLs (Phase-Locked Loop) und jede Welligkeit auf deren Spannungsversorgung macht sich direkt in einem größeren Jitter der High-Speed Signale bemerkbar. Ein Filtern der PLL-Versorgung ist deshalb unverzichtbar. Aber auch die eigentliche Core-Versorgung muss in Zeiten immer größerer Leistungsaufnahme bei gleichzeitig sinkender Betriebsspannung sorgfältig abgeblockt werden.

Designmethoden für High-Speed Systeme

Während sich bei niedrigen Datenraten funktionierende Designs oft auf neue Systeme übertragen lassen, ist dies bei High-Speed Systemen nicht immer erfolgreich, weil sie deutlich sensitiver auf Änderungen reagieren. Physikalisch sollten Designs für High-Speed Signale mit möglichst breiten Leitungen in geschirmten HF-Kammern mit möglichst kleinen Impedanztoleranzen, möglichst dünnen Boards und möglichst wenig Lagen ausgeführt werden. Alles lässt sich jedoch nicht gleichzeitig realisieren und man muss immer Kompromisse schließen.

Auf der Suche nach dem besten Kompromiss können Applikationshinweise und Daumenregeln helfen. Die beste physikalische Einsicht in das Systemverhalten liefert jedoch die Simulation, mit der man unmittelbar verfolgen kann, welche Auswirkungen Designänderungen auf das Signalverhalten haben. Die auf dem Markt verfügbaren Simulationstools sind von den Algorithmen und der Rechenzeit her problemlos in der Lage, High-Speed Signale zu simulieren.

Die Anforderung an die Genauigkeit der verwendeten Modelle kann dabei sehr stark variieren. Je nach Fragestellung reicht auch bei High-Speed Signalen manchmal eine sehr grobe Modellierung, ein anderes Mal ist eine sehr genaue – High-Speed gerechte – Modellierung erforderlich. In einigen Fällen genügt die Simulation von Einzelkomponenten, z.B. der Stubresonanz einer Durchkontaktierung, in anderen ist die genaue Simulation der Gesamtstrecke erforderlich.

Messen von High-Speed Systemen

Ein gewisses Problem stellt das Messen von High-Speed Systemen dar. Ein irgendwo auf der Strecke gemessenes Augendiagramm stellt kein Maß für die Signalqualität dar. Abgesehen davon, dass High-Speed Signale durch das Messequipment viel leichter gestört werden als Low-Speed Signale, erfolgt die Terminierung bei High-Speed Signalen integriert im Empfänger und nur die Güte des Signals an dieser Stelle zählt – aber dort kann man nicht messen.

PCI Express behilft sich mit der Definition von Masken an zugänglichen Stellen, d.h. am Steckverbinder. Diese Vorgehensweise, die bei Low-Speed Signalen einwandfrei funktioniert, gelangt bei High-Speed Signalen zunehmend an ihre Grenzen: auch wenn zwei PCI Express Boards die Maske einhalten und sämtliche Compliance-Tests bestanden haben, hat man nicht immer die Garantie, dass das physikalische Zusammenspiel der beiden Boards funktioniert.

Diese Tatsache, die sich mit steigender Datenrate verstärkt, ist keine Frage der richtigen Maskendefinition oder der richtigen Tests, sondern eine immanente Problematik des ganzheitlichen Verhaltens der High-Speed Signale bezüglich der physikalischen Eigenschaften der Gesamtstrecke vom Sender zum Empfänger. Die PCI SIG hat darauf reagiert, indem sie weltweit Compliance Workshops anbietet, bei denen Hersteller von PCI Express Boards das Zusammenspiel ihrer Module mit den Boards anderer Hersteller testen können.

Ausblick auf Datenraten über 10 GBit/s

Das Design von PCI Express Boards der Generation 1 oder 2 ist mit der heutigen Technologie problemlos. Die erforderlichen aktiven Komponenten stehen zur Verfügung und übertreffen teilweise sogar die Anforderungen, die PCI Express stellt. Als Basismaterial reicht dank Signal Conditioning das kostengünstige FR4 und die notwendige PCB-Technologie für die erforderlichen Strukturbreiten und Lagenaufbauten steht schon seit Jahren zur Verfügung. Der von PCI Express spezifizierte Steckverbinder genügt Datenraten von 5 GBit/s, für proprietäre Lösungen stehen elektrisch bessere Stecker zur Verfügung.

Die heute vorhandene Verbindungstechnik mit FR4 plus Signal Conditioning, die Leiterplattentechnologie und die verfügbaren High-Speed Steckverbinder reichen für Datenraten bis 12,5 GBit/s aus. Höhere Datenraten sind mit vorhandener Technologie bei Einführung mehrstufiger Übertragungsverfahren – analog zu den PAM-Verfahren bei Ethernet – denkbar, auch wenn sich dabei das Übersprechen verschärft.

Will man die gewohnten NRZ-Signale beibehalten, sind für Datenraten >12,5 GBit/s Weiterentwicklungen im Bereich der Steckverbinder – insbesondere bei den Pins – nötig. Kleinere Pindurchmesser und -längen erlauben kleinere Durchkontaktierungen mit besseren elektrischen Eigenschaften und schieben damit die Grenze der physikalischen Datenraten weiter hinaus. Letztlich wird es immer das verfügbare Halbleitermaterial sein, das die mögliche Datenrate begrenzt.

Dipl.-Ing. Rudi Ganss ist als Entwicklungsingenieur bei TietoEnator Deutschland in München tätig.

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de (ID: 274720)