Die Anmietung einer GPU beinhaltete immer mehr Schritte als sie sollte. Sie wählen einen Anbieter aus, warten auf die Kapazität, konfigurieren ein Bild, legen einen Port frei und hoffen, dass die Box erreichbar ist. GPU Die Wolke beseitigt diese Reibung. Sie stellen eine verwaltete GPU-Instanz mit einem Klick bereit, und EmpirioLabs übernimmt die Bereitstellung, das Networking und die sichere Verbindung zu Ihnen.
Die GPU Cloud ist jetzt allgemein für jedes EmpirioLabs-Konto verfügbar. Hier ist, was Sie damit tun können.
Bereitstellen eines Modells mit einem Klick
Der schnellste Weg, GPU Cloud zu verwenden, besteht darin, ein Modell zu bedienen. Fügen Sie eine beliebige Hugging Face-Repository-ID ein, wählen Sie eine GPU aus und stellen Sie sie bereit. EmpirioLabs lädt die Gewichte und bedient das Modell von einem OpenAI-kompatiblen Endpunkt, so dass Ihr vorhandener Client-Code ohne Änderungen funktioniert.
curl https://api.empiriolabs.ai/v1/gpu/instances \ -H "Authorization: Bearer $EMPIRIOLABS API KEY" \ -H "Content-Type: application/json " \ -d '{ "gpu slug": "rtx-4090", "mode": "model", "hf id": " Qwen/Qwen2.5-7B-Instruct " }'Der Aufruf gibt eine Instanz-ID mit einem Status von bereitstellungDie Instanz abfragen, bis sie laufenund dann Anfragen an seinen Verbindungspfad senden. Für ein Modell ist dieser Pfad eine Standard-OpenAI-Basis-URL:
curl https://api.empiriolabs.ai/v1/gpu/connect/$INSTANCE_ID/v1/chat/completions \ -H "Authorization: Bearer $EMPIRIOLABS API KEY" \ -H "Content-Type: application/json " \ -d '{ "model": " Qwen/Qwen2.5-7B-Instruct ", "messages": [{ "role": "user", "content": "Hello" }] }Chatten Sie mit Ihrem Modell direkt im Dashboard
Sie müssen keinen Code schreiben, um ein Modell auszuprobieren, das Sie gerade bereitgestellt haben. Jede Instanz, die eine OpenAI-kompatible API bedient, erhält eine integrierte Chat-Seite im Dashboard. Öffnen Sie die Instanz von der GPU-Cloud-Seite, klicken Sie auf Chat mit diesem Modell und beginnen Sie mit der Eingabe. Die chat-seite streamt antworten, unterstützt eine systemaufforderung und die üblichen probekontrollen und lässt sie bilder oder audio für multimodale modelle anhängen. Es läuft über die gleiche sichere verbindung wie die api, so dass es nichts extra zu installieren und keine separate abrechnung gibt, da die instanz bereits um die sekunde gemessen wird.
Vorlagen und benutzerdefinierte Container
Nicht jeder Workload ist ein Chat-Modell. GPU Cloud liefert One-Click-Vorlagen für die gängigsten Umgebungen, einschließlich PyTorch mit JupyterLab, ComfyUI, einem Webterminal und Ollama. Wählen Sie eine Vorlage, wählen Sie eine GPU, und die Umgebung wird in Ihrem Browser über das Dashboard geöffnet.
Wenn Sie die volle Kontrolle benötigen, stellen Sie Ihr eigenes CUDA Docker-Image bereit. Punkt-GPU Cloud auf dem bild, listen sie die ports auf, die es bedient, und erreichen sie es über den gleichen verbindungspfad, den ein modell verwenden würde.
curl https://api.empiriolabs.ai/v1/gpu/instances \ -H "Authorization: Bearer $EMPIRIOLABS API KEY" \ -H "Content-Type: application/json " \ -d '{ "gpu slug": "rtx-4090", "mode": "template", "template slug": "pytorch-jupyter", "disk gb": 150 }Preisgestaltung
GPU Cloud wird pro Sekunde Laufzeit abgerechnet. Der Stundensatz wird angezeigt, bevor Sie bereitstellen und ist für die Lebensdauer dieser Instanz gesperrt, so dass eine Preisänderung niemals eine Miete betrifft, die bereits läuft. Das Stoppen oder Zerstören einer Instanz gibt die GPU frei und stoppt die Abrechnung sofort, und der ephemere Speicher wird gelöscht, wenn die Instanz stoppt, also behandeln Sie ihn als Scratch Space. Lebenszeit und Ausgaben pro Instanz sind auf der GPU-Cloud-Seite und durch /v1/account/usage.
Beginn
Offen GPU Cloud im dashboard, um ihre erste instanz bereitzustellen, oder lesen sie die GPU Cloud Dokumentation für die vollständige API.
