GPU를 임대하면 항상 더 많은 단계를 포함해야합니다. 공급자를 선택, 수용량을 기다리는, 이미지를 구성하고, 항구를 노출하고, 상자가 도달할 수 있는 희망. GPU 지원 Cloud는 마찰을 제거합니다. 한 번의 클릭으로 관리 된 GPU 인스턴스를 배포하고 EmpirioLabs는 프로비저닝, 네트워킹 및 보안 연결을 처리합니다.
GPU Cloud는 이제 모든 EmpirioLabs 계정에서 사용할 수 있습니다. 여기에 당신이 그것을 할 수있는 것은 무엇입니까.
한 번에 모델 배포
GPU Cloud를 사용하는 가장 빠른 방법은 모델을 제공합니다. Hugging Face 저장소 ID를 붙여서 GPU를 선택하고 배포합니다. EmpirioLabs는 무게를로드하고 OpenAI 호환 엔드 포인트에서 모델을 제공하므로 기존 클라이언트 코드는 변경없이 작동합니다.
https://api.empiriolabs.ai/v1/gpu/instances \ -H "Authorization: Bearer $EMPIRIOLABS API KEY" \ -H "Content-Type: application/json " \ -d '{ "gpu slug": "rtx-4090", "mode": "model", "hf id": " Qwen/Qwen2.5-7B-Instruct " }'호출은 인스턴스 ID를 상태로 반환합니다 회사연혁. 그것이 될 때까지 인스턴스를 오염 지원하다, 그 연결 경로에 요청을 보냅니다. 모델의 경우, 경로는 표준 OpenAI 기본 URL입니다:
curl https://api.empiriolabs.ai/v1/gpu/connect/$INSTANCE_ID/v1/chat/completions \ -h "권한: 보유자 $EMPIRIOLABS_API_KEY" \ -h "콘텐츠-유형: application/json" \ -d '{ "model": "Qwen/Qwen2.5-7B-Instruct", "messages": [{ "role": "user", "content": "Hello" }] }''대시보드에서 모델과 채팅
방금 배포 된 모델을 시도 할 수있는 코드를 작성할 필요가 없습니다. OpenAI-compatible API를 제공하는 모든 인스턴스는 대쉬보드의 내장 채팅 페이지를 가져옵니다. GPU Cloud 페이지에서 인스턴스를 열고, 이 모델과 채팅을 클릭하고 입력을 시작합니다. 채팅 페이지는 응답을 스트리밍하고 시스템 프롬프트와 일반 샘플링 컨트롤을 지원하며 멀티모탈 모델에 대한 이미지 또는 오디오를 첨부할 수 있습니다. API와 동일한 보안 연결을 실행하므로 별도의 청구를 설정하고 별도의 청구가 없습니다. 예를 들어 이미 두 번째로 미터화되기 때문입니다.
템플릿 및 사용자 정의 용기
모든 workload는 채팅 모델입니다. GPU 지원 Cloud는 JupyterLab, ComfyUI, 웹 터미널 및 Ollama와 PyTorch를 포함한 가장 일반적인 환경에 대해 하나의 클릭 템플릿을 제공합니다. 템플릿을 선택하고 GPU를 선택하고, 환경은 대쉬보드를 통해 브라우저에서 열립니다.
전체 컨트롤이 필요한 경우, CUDA Docker 이미지를 배치하십시오. 포인트 GPU 이미지에서 Cloud, 포트를 나열하고, 같은 연결 경로 모델을 사용할 수 있습니다.
curl https://api.empiriolabs.ai/v1/gpu/instances \ -h "인증: 보유자 $EMPIRIOLABS_API_KEY" \ -h "콘텐츠-유형: application/json" \ -d '{ "gpu_slug": "rtx-4090", "mode": "template", "template_slug": "pytorch-jupyter", "disk_gb": 150 }'제품정보
GPU Cloud는 실행 시간의 초당 청구됩니다. 시간당 요금은 배포하기 전에 표시되며 그 인스턴스의 수명을 위해 잠겨 있으므로 이미 실행중인 대여에 영향을 미치지 않습니다. 인스턴스를 중지하거나 파괴하는 것은 GPU를 해제하고 즉시 청구를 중지하고, ephemeral 저장소는 인스턴스가 중지될 때 삭제되므로 공간을 스크래치로 치료합니다. 평생 및 per-instance 지출은 GPU 클라우드 페이지에서 볼 수 있으며 /v1/account/usage 에·.
시작하기
기타 GPU 클라우드 대시보드에서 첫 번째 인스턴스를 배포하거나 GPU 클라우드 문서 전체 API의 경우.
