एम्बेडिंग्स API क्या है?

एक एम्बेडिंग API टेक्स्ट को, और कुछ मॉडलों पर छवियों या वीडियो को, संख्याओं के वेक्टर में बदल देता है जो समान अर्थों को एक-दूसरे के करीब रखते हैं। सर्वश्रेष्ठ मिलान पुनः स्कोर करने के लिए एक रिरैंकर के साथ, यह सेमांटिक सर्च और रिट्रीवल-ऑगमेंटेड जनरेशन की पुनः प्राप्ति चरण बनाता है।

मॉडल के प्रकार

एम्बेडिंग क्या है

एम्बेडिंग संख्याओं की एक सूची होती है, जिसे वेक्टर कहा जाता है, जो इनपुट के अर्थ को दर्शाती है। एक एम्बेडिंग मॉडल एक टेक्स्ट का टुकड़ा पढ़ता है और एक निश्चित लंबाई का वेक्टर लौटाता है। समान अर्थ वाले इनपुट ऐसे वेक्टर उत्पन्न करते हैं जो समान दिशाओं में इशारा करते हैं, भले ही वे कोई शब्द साझा न करें: मेरा पासवर्ड रीसेट करें तथा मैं अपने खाते में साइन इन नहीं कर पा रहा हूँ अंत में एक-दूसरे के करीब आ जाते हैं, जबकि मेरा बिलिंग पता अपडेट करें अंत में और दूर हो जाता है।

आप दो वेक्टरों की तुलना समानता माप से करते हैं, जो अक्सर कोसाइन समानता है। उच्च स्कोर का मतलब है कि इनपुट अर्थ में अधिक करीब हैं। वह एक ऑपरेशन सेमांटिक सर्च, भाषा मॉडल के लिए पुनः प्राप्ति, क्लस्टरिंग, डुप्लिकेट डिटेक्शन, सिफारिशें और निकटतम उदाहरण द्वारा वर्गीकरण का समर्थन करता है।

एम्बेडिंग API कैसे काम करता है

आप EmpirioLabs AI भेजते हैं मॉडल तथा इनपुट सेवा मेरे पोस्ट /v1/embeddings. इनपुट एक स्ट्रिंग या स्ट्रिंग्स की सूची होती है, और प्रतिक्रिया में प्रत्येक इनपुट में एक वेक्टर होता है डाटा, प्लस a प्रयोग बिल किए गए टोकन के साथ ऑब्जेक्ट। एम्बेडिंग मॉडल केवल इनपुट टोकन को बिल करते हैं, क्योंकि वे कोई टेक्स्ट उत्पन्न नहीं करते।

  • वेक्टर आकार। उन मॉडलों पर जो एक से अधिक आकार प्रदान करते हैं, आयाम प्रत्येक वेक्टर की लंबाई सेट करता है। बड़े वेक्टर अधिक विवरण रखते हैं; छोटे वेक्टर स्टोर और खोजने के लिए कम खर्चीले होते हैं।
  • एन्कोडिंग। encoding_format वेक्टर को इस रूप में लौटाता है तैरना एरे या कॉम्पैक्ट के रूप में आधार64 स्ट्रिंग्स।
  • छवियां और वीडियो। मल्टीमोडल एम्बेडिंग मॉडल भी लेते हैं छवि तथा वीडियो parts के माध्यम से ताकि टेक्स्ट क्वेरी मेल खाने वाली छवियां प्राप्त कर सके।
  • खोज विकल्प। कुछ मॉडल स्पार्स वेक्टर को थ्रू करते हैं output_type, और स्वीकार करें निर्देश देना यह खोज कार्य का वर्णन करता है जब आप क्वेरीज़ एम्बेड करते हैं।

दो नियम परिणामों को सार्थक बनाए रखते हैं। एक ही मॉडल और समान वेक्टर आकार वाले दस्तावेज़ और क्वेरी एम्बेड करें, क्योंकि विभिन्न मॉडलों के वेक्टर तुलनीय नहीं होते। लंबे दस्तावेज़ों को ऐसे पैसेज में विभाजित करें जो मॉडल की अधिकतम इनपुट लंबाई के अनुरूप हों, और प्रत्येक वेक्टर को उस मार्ग के साथ संग्रहित करें जहाँ से वह आया था। एम्बेडिंग्स API संदर्भ हर फ़ील्ड को सूचीबद्ध करता है।

एक रिरैंकर क्या जोड़ता है

वेक्टर खोज तेज़ होती है क्योंकि प्रत्येक दस्तावेज़ एक बार पहले से एम्बेड किया जाता है, और एक क्वेरी को केवल एक नया वेक्टर चाहिए। समझौता सटीकता है: क्वेरी और प्रत्येक दस्तावेज़ अलग-अलग एन्कोड किए जाते हैं, इसलिए निकटतम वेक्टर अंतिम रैंकिंग के बजाय एक अच्छी शॉर्टलिस्ट बनाते हैं।

एक रीरैंकर क्वेरी और प्रत्येक उम्मीदवार को एक साथ पढ़ता है और स्कोर करता है कि वह उम्मीदवार क्वेरी का कितना अच्छा उत्तर देता है। यह तुलना अधिक सटीक होती है और प्रति दस्तावेज़ अधिक काम मांगता है, इसलिए आप इसे पूरे संग्रह के बजाय एक शॉर्टलिस्ट पर चलाते हैं, जैसे वेक्टर खोज के शीर्ष 50 परिणाम।

EmpirioLabs AI आप एक भेजते हैं सवाल और एक सूची दस्तावेज़ सेवा मेरे पोस्ट /v1/reranks. प्रतिक्रिया में प्रत्येक दस्तावेज़ का मूल विवरण होता है सूचकांक एक के साथ relevance_score 0 से 1 तक, सबसे प्रासंगिक पहले। सेट top_n केवल कुछ सर्वश्रेष्ठ को लौटाना, और return_documents ताकि उनका टेक्स्ट शामिल हो। स्कोर एक अनुरोध के सापेक्ष होते हैं, इसलिए उन्हें विभिन्न क्वेरीज़ में एक निश्चित कटऑफ के बजाय परिणामों को क्रमबद्ध करने के लिए उपयोग करें। देखें API संदर्भ को पुनः रैंक करता है पूरी मांग के लिए।

पुनःप्राप्ति-संवर्धित पीढ़ी में एम्बेडिंग और पुनः रैंकिंग

Retrieval-augmented generation (RAG) आपके अपने कंटेंट से प्रश्नों का उत्तर देता है, सबसे प्रासंगिक अंशों को भाषा मॉडल के प्रॉम्प्ट में रखकर। एम्बेडिंग्स और एक रीरैंकर इसका पुनः प्राप्ति चरण बनाते हैं:

  1. अपने दस्तावेज़ों को पैसेज़ में विभाजित करें, प्रत्येक को एम्बेड करें, और वेक्टर इंडेक्स में संग्रहित करें।
  2. जब कोई प्रश्न आए, तो उसे उसी मॉडल के साथ एम्बेड करें और निकटतम अंश प्राप्त करें।
  3. उन उम्मीदवारों को एक रिरैंकर के पास भेजें और सबसे अधिक स्कोर वाले कुछ लोगों को रखें।
  4. प्रश्न और उन अंशों को एक पाठ मॉडल, जो उनसे जवाब देता है।

री-रैंकिंग प्रॉम्प्ट को छोटा और प्रासंगिक बनाए रखता है: कम, बेहतर पैसेज कम इनपुट टोकन का उपयोग करते हैं और अधिक संदर्भ विंडो उत्तर के लिए। ब्राउज़ करें एम्बेडिंग मॉडल तथा पुनः रैंकर्स, या दोनों को आजमाएं Playground।.

EmpirioLabs AI पर एम्बेडिंग मॉडल

4 मॉडल, जहाँ बिलिंग इकाई एक है वहाँ सबसे सस्ते पहले। हर मॉडल के पेज पर पूरा रेट कार्ड, पैरामीटर और कोड है।

एंडपॉइंट

POST /v1/embeddings

प्रति 1M टोकन, इनपुट दर के क्रम में

मॉडलइनपुटआउटपुट
Text Embedding v4 Alibaba Cloud$0.07-
Tongyi Embedding Vision Flash Alibaba Cloud$0.09-
Tongyi Embedding Vision Plus Alibaba Cloud$0.09-
Skylark Embedding Vision ByteDance$0.25-

EmpirioLabs AI पर पुनर्रैंकर मॉडल

1 मॉडल। हर मॉडल के पेज पर उसका रेट कार्ड, पैरामीटर और कोड है।

एंडपॉइंट

POST /v1/reranks

अक्सर पूछे जाने वाले प्रश्न

एम्बेडिंग मॉडल और रिरैंकर में क्या अंतर है?

एक एम्बेडिंग मॉडल प्रत्येक इनपुट को अपने आप एक वेक्टर में बदल देता है, इसलिए आप क्वेरी की तुलना बड़े संग्रह से जल्दी कर सकते हैं। एक पुनः रैंकर एक क्वेरी और एक उम्मीदवार दस्तावेज़ को एक साथ पढ़ता है और उनकी प्रासंगिकता को अधिक सटीक रूप से स्कोर करता है, इसलिए इसे परिणामों की एक छोटी सूची में उपयोग किया जाता है।

क्या मैं दो अलग-अलग मॉडलों के एम्बेडिंग्स की तुलना कर सकता हूँ?

नहीं। प्रत्येक मॉडल अर्थ को अपने स्वयं के वेक्टर स्पेस में रखता है, इसलिए अपने दस्तावेज़ और क्वेरीज़ को एक ही मॉडल और समान वेक्टर आकार के साथ एम्बेड करें।

एम्बेडिंग और रीरैंक अनुरोधों को कैसे बिल किया जाता है?

एम्बेडिंग और रीरैंक मॉडल आपके भेजे गए इनपुट टोकन को बिल करते हैं। वे कोई टेक्स्ट उत्पन्न नहीं करते, इसलिए बिल करने के लिए कोई आउटपुट टोकन नहीं होते।

रिरैंक प्रासंगिकता स्कोर का क्या मतलब है?

यह 0 से 1 तक की संख्या है जो एक क्वेरी के लिए दस्तावेज़ों को रैंक करती है, जिसमें उच्च का अर्थ अधिक प्रासंगिक होता है। स्कोर अनुरोधों के बीच तुलनीय नहीं होते, इसलिए इन्हें अनुरोध के भीतर परिणामों को क्रमबद्ध करने के लिए उपयोग करें।

क्या एम्बेडिंग्स इमेज और वीडियो खोज सकती हैं?

हाँ, मल्टीमॉडल एम्बेडिंग मॉडल्स के साथ। वे टेक्स्ट, इमेज और वीडियो इनपुट स्वीकार करते हैं, इसलिए टेक्स्ट क्वेरी मेल खाने वाली इमेज या क्लिप्स प्राप्त कर सकती है।

EmpirioLabs AI पर कौन सा एम्बेडिंग मॉडल सबसे सस्ता है?

इस तरह बिल होने वाले 4 एम्बेडिंग मॉडलों में Text Embedding v4 की इनपुट दर सबसे कम है, उसके बाद Tongyi Embedding Vision Flash, Tongyi Embedding Vision Plus आते हैं। इस पेज की कीमत तालिका हर मॉडल की सबसे कम दर और वह किस पर लागू होती है, दिखाती है।

बेहतर समापन बिंदुओं का उपयोग करने के लिए तैयार हैं?

हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।