租租一个GPU 总是需要更多的步骤 而不是它应该。 你选择一个提供者,等待能力,配置一个图像,曝光一个端口,希望这个盒子是可到达的. 常规 云去除摩擦. 在一击中部署一个管理好的 GPU 实例, EmpirioLabs 处理供给, 联网, 安全连接返回到您.
GPU Cloud现在一般提供给EmpirioLabs的每个账户。 这是你能做的.
在一击中部署一个模型
使用GPU Cloud最快的方法是服务一个模型. 粘贴任意的 Hugging Face 寄存器 id, 选择一个 GPU, 并部署 。 EmpirioLabs从一个与OpenAI兼容的端点加载权重并服务模型,因此您现有的客户端代码工作时没有变化.
卷 https://api.empiriolabs.ai/v1/gpu/instances ~~~~H "授权:熊熊 $EMPRIOLABS API KEY"~~H "联系: application/json ~"~~D'{"gpu slug":"rtx-4090","mode":"型号","hf id":" Qwen/Qwen2.5-7B-Instruct ~"~~~~~~~")调用返回一个实例ID, 状态为 供给. 调查案件直到 运行,然后将请求发送给其连接路径。 对于一个模型来说,该路径是标准OpenAI基础URL:
卷 https://api.empiriolabs.ai/v1/gpu/connect/$INSTANCE_ID/v1/chat/completions ==-H "授权:熊鼠$EMPRIOLABS API KEY"=========================================================================================================================================================================================在仪表板上和模特儿聊天
你不需要写任何代码来尝试刚刚部署的模型. 每个为OpenAI兼容的API服务的实例都会在仪表板上获得内置聊天页面. 从 GPU 云页面打开实例, 用此模式点击聊天, 并开始打字 。 聊天页面流响应,支持一个系统即时和常用的采样控制,并允许您附加多模式模型的图像或音频. 它运行在与API相同的安全连接上,因此没有额外的设置,也没有单独的计费,因为实例已经被第二位调解.
模板和自定义容器
并不是每个工作量都是聊天模式. GPU 常规 Cloud为最常见的环境,包括带有JupyterLab的PyTorch、一个网络终端的ComfyUI和Ollama一击模板。 选择模板,选择GPU,环境通过仪表板在您的浏览器中打开.
如果您需要全控,请部署自己的 CUDA Docker 图像 。 点 GPU 云在图像,列出它服务的端口,并通过一个模型将使用的相同连接路径到达它.
卷 https://api.empiriolabs.ai/v1/gpu/instances \\-H "授权:熊熊 $EMPRIOLABS API KEY"\-H "连接-Type: application/json "\-d"{"gpu slug":"rtx-4090","mode":"Template","template slug":"pytortorch-jupyter","Disk gb":150}"定价
GPU Cloud每秒运行时间收费. 计时费率在部署前显示,并锁定该实例的生命,因此价格变动绝不影响已经运行的租金。 停止或销毁一个实例会释放GPU并立即停止计费,当实例停止时,麻黄存储会被删除,所以把它当作刮痕空间. 在GPU云页面和通过中可以看到生活时间和常年开支 /v1/account/usage (英语)。 。 。.
