Kein Rechenzentrum nötig, um zu starten. Eine einzelne Consumer-Grafikkarte reicht, um ein kompaktes Modell zu betreiben - und eine 24 GB-Karte reicht, um Ihr eigenes zu finetunen. Skalieren Sie auf mehrere GPUs oder einen Cluster, wenn Sie ein größeres Modell brauchen.
Wenn sie genug Speicher und einen unterstützten Treiber-Stack hat, funktioniert sie. Die beiden großen GPU-Familien sind abgedeckt.
RTX 3090, 4090 und 5090 führen das Feld an, dicht gefolgt vom Rest der RTX 30/40/50-Serie - bis hin zu Rechenzentrums-Karten (A100, H100, H200) für große Modelle. Der am breitesten getestete Weg.
Trainieren & betreibenRadeon RX 7900 XTX / 7900 XT, mit der 24 GB 7900 XTX als optimalem Punkt, bis hin zu Instinct MI-Serie-Beschleunigern. Ein vollwertiger, erstklassiger Trainingsweg.
Trainieren & betreibenVRAM ist das, worauf es am meisten ankommt. Ein kompaktes Modell zu betreiben ist genügsam; eines zu finetunen braucht etwas mehr Spielraum.
QLoRA hält den Speicherbedarf niedrig, indem die Basis in 4-Bit geladen wird. Exakte Grenzen verschieben sich mit Modellgröße und Adapter-Rang - das sind praktische Richtwerte, keine harten Grenzen. Größere Modelle skalieren über mehrere GPUs oder einen Cluster.
Linux ist der reibungsloseste Weg für NVIDIA und AMD, und Windows funktioniert über WSL. Die Modelle selbst sind einfache Dateien - es ist ihnen egal, welches OS sie erstellt hat.
Wenn Sie darauf moderne Spiele spielen können, können Sie darauf wahrscheinlich ein Modell finetunen - und wenn Sie mehr brauchen, läuft dieselbe Pipeline auf einem Cluster.
So funktioniert es →