Thema: Erst eins, dann zwei, dann drei, dann vier RTX3090 für AI Workstation

[maxigs]

Lange ist es her, aber Anfang des Jahres war es wieder an der Zeit für ein kleines Projekt.

Es sollte ein PC werden um etwas mit AI zu experimentieren. Ordentlich Grafikspeicher war nötig, die 16GB der RTX 4080 in meinem normalen PC waren zu knapp. Also ab nach eBay und nach gebrauchten RTX 3090 ausschau gehalten, etwas beobachtet und überlegt welches System darunter Sinn macht.

Am Ende gab es folgende Kombination:

Threadripper CPU, viele PCIe Kanäle. Ältere Generation gibt es zu ziemlich guten Preisen. PCIe3 muss reichen, der Aufpreis zu PCIe4 ist zu krass. Außerdem war praktisch, dass dieser mit normalen DDR-RAM funktioniert, kein super teurer ECC/RDIMM.

Über ein paar Wochen dann gute Angebote gefunden und nach und nach die wichtigsten Komponenten gebraucht zu guten Preisen eingesammelt:

- X399 AORUS PRO, TR4
- Ryzen Threadripper 2920X
- BeQuiet TR4 Kühler
- 4x32GB Kingston DDR4 (neu)
- Fractal Torrent XL (B-Ware, ohne jegliche Macke)
- BeQuiet Dark Power Pro 12 1500W (zu einem Super preis bekommen)

Außerdem gab es noch 2x RTX 3090 Founders Edition. 48GB Grafikspeicher sind schon ordentlich.

[maxigs]

Ledier waren 48GB dann doch noch nicht genug und es sollte eine dritte 3090 dazu kommen. Leider ging das, entgegen der ersten erwartung nicht mehr ordentlich im Gehäuse. War dann doch irgendwie alles zu knapp. Also kurzer Hand eine kleine Erweiterung aus Lego und via Riser-Kabel angeschlossen. Eine zweite Karte durfte auch mit raus, war bequemer anzuschliesen.

[maxigs]

Das ganze sollte dann zurück in das Gehäuse, also musste eine andere Kühlung her. Wasserkühler für Grafikkarten, insbesondere die 3090FE sind super kompakt! Und weil auf eBay gerade ein Angebot für eine mit bereits vormontiertem Wasserkühler war direkt zugeschlagen.

Dazu noch passend einen Radiator und Pumpe. Der 2x180mm MORA passt perfekt.

[maxigs]

Als nächstes wurde eine bestehende 3090 auch auf Wasserkühler umgebaut und das System zum testen aufgebaut.

Weil ich schon dabei war, auch gleich noch die CPU Kühlung mitgenommen und auf Wasserkühler umgestellt. War nicht nötig, aber wenn man schon dabei ist...

Das ganze dann auch zum ersten mal mit 4x 3090 gelaufen. Im Benchmark hat es auch das Netzteil tatsächlich an seine grenze gebracht. Alles auf Vollast waren ca 1500W und nach 10min Benchmark ist das Sytem abgestützt. Sollte im normalen Betrieb aber nie ein Problem sein. Und man kann das Power-Target der Karten auch etwas niedriger stellen.

[maxigs]

4 Grafikkarten hatten dann eine neue Herausforderung verursacht. Ich hatte zwischenzeitlich eine zusätzliche 2,5Gbit Netzwerkkarte eingebaut, da sehr häufig größere Datenmengen hin und her geschoben wurden. Diese hatte keinen Platz mehr, also mit einem Riser-Kabel den Stecker verlegen. Das ganze verläuft später unter den Grafikkarten nach unten weg.

[maxigs]

Dann war es zeit die übrigen Grafikkarten umzubauen – perfektes Timing, da die passenden Kühler gerate im Abverkauf waren.

Verbunden wurden sie mit einer passenden Backplane. Das Monster zusammen und einbauen war eine ziemliche herausforderung. Aber am Ende hat es tatsächlich gepasst.

Bei allen Karten auch noch das Anschlusspannel auf eines mit 2 Slot Höhe getauscht, das untere nur 1 Slot höhe – das gehäuse hat hinten nur 7 Slots.

[maxigs]

Und nach dem ersten Testaufbau, ins Gehäuse

[maxigs]

Alles angeschlossen, verkabelt und die schläuche gezogen.

Radiator und Pumpe mit Kabelbindern provisorisch befestigt. Die Netzwerkkarte liegt auch noch einfach unten im Gehäuse, aber alles ist wieder drin und läuft.

Das ist jetzt leider auch noch immer der aktuelle Stand, nach 3 Monaten Betrieb. Mal sehen wann ich es wieder aufreiße um die Befestigung noch ordentlich zu machen.

[Master Luke]

Und der Aufwand "lohnt" sich? Was zieht das Ding aus der Dose? Idle/Last?

[maxigs]

Zum Heizen ganz praktisch

Im normalen Betrieb, zb. als "Assistent" beim Coden, immer ein paar Sekunden lang 3-400W. Gelegentlich mehr. Die 80-90W Idle summieren sich eher auf. Ein paar Stunden Zocken am normalen PC braucht mehr.

Aktuell, bei Sonnenscheint günstig vom Balkonkraftwerk versorgt, ist der Stromverbrauch aber zu vernachlässigen.

Dass sich die Investition schnell abzahlt bezweifle ich. Hilft aber tatsächlich schon bei der Arbeit. Wird noch interessant was hier kommt.

ABER, seit dem Kauf ist das Ding offenbar im Wert gestiegen. Die Karten sind aktuell wohl ca 20% teurer als Anfang des Jahres, weil noch immer Konkurenzlos und nachgefagt.