ओपन मॉडल ने तेजी से पकड़ लिया है। Qwen, DeepSeek, GLM, Kimi, और मिस्ट्रल जैसे लैब्स हगिंग फेस पर मजबूत ओपन टेक्स्ट मॉडल शिपिंग करते हैं, और बहुत सारे काम के लिए वे आपको आवश्यक हैं। कठिन हिस्सा कभी मॉडल नहीं रहा है। यह चारों ओर सब कुछ है: एक GPU ढूँढना, सही ड्राइवर स्थापित करना और स्टैक की सेवा करना, भार को लोड करना, एक पोर्ट को उजागर करना और अपने ऐप में एक स्थिर कनेक्शन वापस प्राप्त करना।.
GPU Cloud उस काम को हटा देता है। आप एक प्रबंधित GPU तैनात करते हैं, एक Hugging Face रिपॉजिटरी आईडी पेस्ट करते हैं, और EmpirioLabs मॉडल को OpenAI-संगत एंडपॉइंट के पीछे सेवा प्रदान करता है। चूंकि एंडपॉइंट मानक OpenAI API को दर्शाता है, आप लगभग किसी भी टूल को इसे इंगित कर सकते हैं: SillyTavern जैसे चैट फ्रंटएंड, कोडिंग असिस्टेंट, आपकी अपनी स्क्रिप्ट्स, या आधिकारिक OpenAI SDK। यह गाइड पूरे प्रवाह को बताता है, जिसमें GPU चुनने का तरीका भी शामिल है।
एक मॉडल तैनाती
डैशबोर्ड में GPU Cloud पेज खोलें, मॉडल डिप्लॉय करने का विकल्प चुनें, और किसी भी Hugging Face रिपॉजिटरी आईडी को पेस्ट करें, उदाहरण के लिए TOKENएक GPU चुनें, फिर तैनात करें। EmpirioLabs भार को डाउनलोड करता है, एक उच्च थ्रूपुट सेवा इंजन शुरू करता है, और एक OpenAI-compatible समापन बिंदु पर मॉडल को उजागर करता है। मानक सुरक्षित सेंसर मॉडल को स्वचालित रूप से परोसा जाता है, और quantized GGUF repositories को भी संभाला जाता है, इसलिए Hugging Face पर अधिकांश टेक्स्ट मॉडल बिना किसी अतिरिक्त कॉन्फ़िगरेशन के काम करते हैं।.
आप एपीआई पर एक ही बात कर सकते हैं। परिनियोजित कॉल रिटर्न एक उदाहरण आईडी के साथ स्टेटस ऑफ़ प्रावधानउदाहरण जब तक यह नहीं है दौड़ना।.
कर्ल https://api.empiriolabs.ai/v1/gpu/instances
एक मॉडल पहली बार आने के लिए कुछ मिनट लेता है, क्योंकि वजन को GPU मेमोरी में डाउनलोड और लोड करना पड़ता है। उसके बाद, उदाहरण अनुरोध प्राप्त करने के लिए तैयार है।.
सही GPU चुनें
जो मुख्य बात यह तय करती है कि आपको किस GPU की आवश्यकता है वह कितना स्मृति मॉडल लेता है। एक पाठ मॉडल 16-बिट परिशुद्धता की जरूरत पर लगभग 2 जीबी जीपीयू मेमोरी प्रति अरब मापदंडों, साथ ही संदर्भ विंडो और कुंजी मूल्य कैश के लिए हेडरूम पर काम किया। तो एक 7B मॉडल 16 से 20 जीबी के आसपास कहीं चाहता है, एक 30B मॉडल एक बड़ा एकल कार्ड चाहता है, और एक 70B मॉडल एक साथ सबसे बड़ा एकल कार्ड या कई कार्ड चाहता है। Quantized builds अब तक कम स्मृति का उपयोग करते हैं, जो एक छोटे से जीपीयू पर एक बड़ा मॉडल फिट होने देता है।.
छोटे और मध्यम आकार के टेक्स्ट मॉडल के लिए एक अच्छा डिफ़ॉल्ट RTX A6000 है जिसमें 48 GB प्रति घंटे 0.65 USD है। यह आराम से पूरी परिशुद्धता पर लगभग 13B तक मॉडल चलाता है, और जब वे मात्रात्मक होते हैं तो बहुत बड़े लोग। 30B के आसपास के मॉडल के लिए, 80 GB के साथ A100 या H100 तक चले गए। 70B और ऊपर के लिए, 141 GB के साथ एक H200 का उपयोग करें, या एक ही उदाहरण में कई GPUs में मॉडल को विभाजित करें, जो कि सबसे बड़ा मॉडल कैसे काम किया जाता है। डैशबोर्ड प्रत्येक GPU की स्मृति को अपने घण्टे की कीमत के बगल में दिखाता है, और यदि किसी मॉडल को GPU की तुलना में अधिक स्मृति की आवश्यकता होती है, तो यह प्रक्रिया शुरू होने से पहले अवरुद्ध हो जाती है।.
इसे किसी भी OpenAI-compatible ऐप में उपयोग करें
यह कहाँ उपयोगी हो जाता है। एक रनिंग मॉडल उदाहरण आपको कनेक्ट बेस यूआरएल देता है जो इस तरह दिखता है:
https://api.empiriolabs.ai/v1/gpu/connect/$INSTANCE_ID/v1
यह URL एक ड्रॉप-इन OpenAI बेस URL है। जो कुछ भी ओपनएआई एपीआई से बात कर सकता है वह आपके मॉडल से बात कर सकता है। आपको तीन मानों की आवश्यकता है: ऊपर का आधार यूआरएल, आपके EmpirioLabs API कुंजी बियरर टोकन के रूप में, और मॉडल का नाम, जो आपके द्वारा तैनात सटीक भंडार आईडी है, उदाहरण के लिए TOKENअंत बिंदु भी जवाब देता है TOKENइसलिए ग्राहक जो उम्मीद के अनुसार एक ड्रॉपडाउन कार्य को भरने के लिए एक मॉडल सूची प्राप्त करते हैं।.
कर्ल https://api.empiriolabs.ai/v1/gpu/connect/$INSTANCE_ID/v1/chat/completions
यदि आप OpenAI SDK को पसंद करते हैं, तो उसके आधार URL को उसी कनेक्ट पथ पर इंगित करें और बाकी सब कुछ उसी तरह रहता है:
openai आयात OpenAI क्लाइंट = OpenAI (base url=" https://api.empiriolabs.ai/v1/gpu/connect/INSTANCE_ID/v1", api key="YOUR EMPIRIOLABS API KEY), उत्तर = ग्राहक.chat.completions.create(model=" Qwen/Qwen3.5-4B ", संदेश=[{"role": "user", "content": "Hello"}], प्रिंट (response.choices[0].message.content)
वही तीन मान उन उपकरणों में प्लग करते हैं जिन्हें आप पहले से ही उपयोग करते हैं। ऐसे SillyTavern, ओपन WebUI, या LibreChat के रूप में एक चैट फ्रंटेंड में, OpenAI-compatible या कस्टम प्रदाता का चयन करें, अपने कनेक्ट बेस यूआरएल के लिए API URL सेट करें, अपने EmpirioLabs API कुंजी पेस्ट करें, और उदाहरण पर दिखाया गया मॉडल नाम दर्ज करें। कोडिंग सहायक जो एक कस्टम ओपनएआई बेस यूआरएल को स्वीकार करते हैं, जैसे कि क्लाइन, जारी रखें और एडर को उसी तरह कॉन्फ़िगर किया गया है। रोलप्ले फ्रंटेंड, एजेंट फ्रेमवर्क, पुनर्प्राप्ति पाइपलाइन, और किसी भी घर में सेवा उसी पैटर्न का पालन करें: आधार यूआरएल, कुंजी, मॉडल।.
इसके साथ डैशबोर्ड में चैट करें
आपको अभी-अभी तैनात किए गए मॉडल को आजमाने के लिए किसी बाहरी टूल की आवश्यकता नहीं है। हर वह इंस्टेंस जो OpenAI-संगत API को सेवा देता है, एक बिल्ट-इन चैट पेज प्राप्त करता है। GPU Cloud पेज से इंस्टेंस खोलें, इस मॉडल के साथ चैट पर क्लिक करें, और टाइप करना शुरू करें। चैट पेज प्रतिक्रियाएं स्ट्रीम करता है, सिस्टम प्रॉम्प्ट और सामान्य सैंपलिंग नियंत्रणों का समर्थन करता है, और API के समान सुरक्षित कनेक्शन पर चलता है, इसलिए सेटअप के लिए कुछ अतिरिक्त नहीं होता और कोई अलग बिलिंग नहीं होती, क्योंकि इंस्टेंस पहले से ही सेकंड के हिसाब से मीटर किया जाता है।
जब आप इसका उपयोग नहीं कर रहे हैं तो रोकें
GPU Cloud प्रति सेकंड रनिंग टाइम के हिसाब से बिल किया जाता है, और जब आप डिप्लॉय करते हैं तो प्रति घंटे की दर लॉक होती है, इसलिए मूल्य परिवर्तन कभी भी उस इंस्टेंस को प्रभावित नहीं करता जो पहले से चल रहा हो। जब आपको मॉडल की जरूरत न हो, तो इंस्टेंस को रोक दें। यह GPU को रिलीज़ करता है और बिलिंग तुरंत बंद कर देता है। बाद में फिर से शुरू करें और EmpirioLabs उसी मॉडल को अगले उपलब्ध GPU पर पुनः तैनात करता है। रोकने से इंस्टेंस की अस्थायी स्टोरेज साफ हो जाती है, इसलिए इसे स्क्रैच स्पेस के रूप में समझें, और जब आप इसे पूरा कर लें तो इंस्टेंस को नष्ट कर दें। लाइफटाइम और प्रति-इंस्टेंस खर्च GPU Cloud पेज पर और पूरी तरह दिखाई देते हैं TOKEN।.
शुरू हो जाओ
खुला GPU Cloud डैशबोर्ड में अपने पहले मॉडल को तैनात करने या पढ़ने के लिए GPU Cloud दस्तावेज़ीकरण पूर्ण एपीआई के लिए।.




