एक GPU किराए पर लेना हमेशा उससे अधिक कदमों में शामिल होना चाहिए। आप एक प्रदाता चुनते हैं, क्षमता का इंतजार करते हैं, एक छवि को कॉन्फ़िगर करते हैं, एक बंदरगाह को उजागर करते हैं और उम्मीद करते हैं कि बॉक्स पहुंच योग्य है। जीपीयू क्लाउड उस घर्षण को हटा देता है। आप एक क्लिक में प्रबंधित GPU उदाहरण को तैनात करते हैं, और EmpirioLabs प्रावधान, नेटवर्किंग और सुरक्षित कनेक्शन को आपके पास वापस संभालती है।.
GPU क्लाउड अब आम तौर पर हर EmpirioLabs खाते में उपलब्ध है। क्या आप इसके साथ क्या कर सकते हैं.
एक क्लिक में एक मॉडल को तैनात करें
GPU क्लाउड का उपयोग करने का सबसे तेज़ तरीका एक मॉडल की सेवा करना है। किसी भी Hugging चेहरा भंडार आईडी पेस्ट करें, एक GPU चुनें, और तैनात करें। EmpirioLabs भार को भारित करता है और एक OpenAI-compatible समापन बिंदु से मॉडल को कार्य करता है, इसलिए आपका मौजूदा क्लाइंट कोड बिना परिवर्तन के काम करता है।.
कर्ल https://api.empiriolabs.ai/v1/gpu/instancesकॉल की स्थिति के साथ एक उदाहरण आईडी लौटाता है प्रावधानउदाहरण जब तक यह नहीं है दौड़ना, फिर उसके कनेक्ट पथ पर अनुरोध भेजें। एक मॉडल के लिए, यह पथ एक मानक ओपनएआई बेस यूआरएल है:
कर्ल https://api.empiriolabs.ai/v1/gpu/connect/$INSTANCE_ID/v1/chat/completionsडैशबोर्ड में अपने मॉडल के साथ चैट करें
आपको उस मॉडल की कोशिश करने के लिए कोई कोड लिखने की जरूरत नहीं है जिसे आपने अभी तैनात किया था। प्रत्येक उदाहरण जो OpenAI-compatible API को सेवा प्रदान करता है उसे डैशबोर्ड में एक अंतर्निहित चैट पेज मिलता है। उदाहरण को GPU क्लाउड पेज से खोलें, इस मॉडल के साथ चैट पर क्लिक करें, और टाइपिंग शुरू करें। चैट पृष्ठ प्रतिक्रियाओं को स्ट्रीम करता है, एक सिस्टम प्रॉम्प्ट और सामान्य नमूना नियंत्रण का समर्थन करता है, और आपको मल्टीमॉडल मॉडल के लिए छवियों या ऑडियो संलग्न करने देता है। यह एपीआई के समान सुरक्षित कनेक्शन पर चलता है, इसलिए सेट अप करने के लिए अतिरिक्त कुछ भी नहीं है और कोई अलग बिलिंग नहीं है, क्योंकि उदाहरण पहले से ही दूसरे द्वारा मीटर हो चुका है।.
टेम्पलेट्स और कस्टम कंटेनर
हर कार्यभार एक चैट मॉडल नहीं है। जीपीयू क्लाउड सबसे आम वातावरण के लिए एक-क्लिक टेम्पलेट्स को जहाज करता है, जिसमें जुपीटरलैब, ComfyUI, एक वेब टर्मिनल और ओलामा के साथ PyTorch शामिल है। एक टेम्पलेट चुनें, एक GPU चुनें, और पर्यावरण डैशबोर्ड के माध्यम से अपने ब्राउज़र में खुलता है।.
यदि आपको पूर्ण नियंत्रण की आवश्यकता है, तो अपनी खुद की CUDA Docker छवि को तैनात करें। पॉइंट GPU छवि पर क्लाउड, उस पोर्ट को सूचीबद्ध करें जो वह कार्य करता है, और उसी कनेक्ट पथ के माध्यम से इसे एक मॉडल का उपयोग करेगा।.
कर्ल https://api.empiriolabs.ai/v1/gpu/instancesमूल्य निर्धारण
GPU बादल चल समय के प्रति सेकंड बिल किया जाता है। इससे पहले कि आप तैनाती करते हैं और उस उदाहरण के जीवन के लिए बंद कर दिया जाता है, तो एक मूल्य परिवर्तन कभी भी उस किराये को प्रभावित नहीं करता है जो पहले से ही चल रहा है। एक उदाहरण को रोकना या नष्ट करना जीपीयू को छोड़ देता है और बिलिंग को तुरंत बंद कर देता है, और उदाहरण बंद होने पर ephemeral भंडारण को हटा दिया जाता है। लाइफटाइम और प्रति इंस्टेंस खर्च जीपीयू क्लाउड पेज पर और उसके माध्यम से दिखाई देते हैं TOKEN।.
शुरू हो जाओ
खुला GPU क्लाउड डैशबोर्ड में अपने पहले उदाहरण को तैनात करने या पढ़ने के लिए GPU बादल प्रलेखन पूर्ण एपीआई के लिए।.
