ما هي واجهة برمجة تطبيقات التضمين؟

تقوم واجهة برمجة تطبيقات التضمين بتحويل النص، وفي بعض النماذج، الصور أو الفيديو، إلى متجهات أرقام تضع معاني متشابهة بالقرب من بعضها. مع إعادة ترتيب لإعادة تقييم أفضل التطابقات، تشكل خطوة الاسترجاع للبحث الدلالي والتوليد المعزز بالاسترجاع.

أنواع النماذج

ما هو التضمين

التضمين هو قائمة من الأرقام، تسمى متجه، وتمثل معنى المدخل. يقرأ نموذج التضمين جزءا من النص ويعيد متجه بطول ثابت. المدخلات ذات المعنى المماثل تنتج متجهات تشير في اتجاهات متشابهة، حتى عندما لا تشترك في كلمات: إعادة تعيين كلمة المرور و لا أستطيع تسجيل الدخول إلى حسابي ينتهي به الأمر قريبا من بعضهما، بينما تحديث عنوان الفوترة الخاص بي ينتهي به الأمر أبعد.

تقارن بين متجهين بمقياس تشابه، وغالبا ما يكون التشابه بجيب التمام. الدرجة الأعلى تعني أن المدخلات أقرب في المعنى. تدعم تلك العملية البحث الدلالي، واسترجاع نماذج اللغة، والتجميع، واكتشاف التكرارات، والتوصيات، والتصنيف حسب أقرب مثال.

كيف تعمل واجهة برمجة تطبيقات التضمين

على EmpirioLabs AI ترسلها النموذج و المدخلات إلى ما بعد /v1/embeddings. المدخل عبارة عن سلسلة نصية أو قائمة سلاسل نصية، وتحمل الاستجابة متجه واحد لكل مدخل في البيانات، زائد a الاستخدام الكائن الذي يحتوي على الرموز المفوترة. نماذج التضمين تفوتر رموز الإدخال فقط، لأنها لا تولد نصا.

  • حجم الفيكتور. في النماذج التي تقدم أكثر من مقاس واحد، الأبعاد يحدد طول كل متجه. المتجهات الأكبر تحتفظ بتفاصيل أكثر؛ أما المتجهات الصغيرة فأقل تكلفة للتخزين والبحث.
  • الترميز. encoding_format تعيد المتجهات ك يطفو مصفوفات أو كمدمجة base64 الأوتار.
  • صور وفيديو. نماذج التضمين متعدد الوسائط أيضا صورة و الفيديو أجزاء بحيث يمكن لاستعلام نصي استرجاع صور مطابقة.
  • خيارات البحث. بعض النماذج ترجع متجهات متفرقة من خلال output_type، وقبول يرشد يصف مهمة البحث عند تضمين الاستعلامات.

قاعدتان تحافظ على معنى النتائج. تضمين المستندات والاستعلامات بنفس النموذج ونفس حجم المتجه، لأن المتجهات من نماذج مختلفة غير قابلة للمقارنة. قسم المستندات الطويلة إلى مقاطع تناسب الحد الأقصى لطول إدخال النموذج، وتخزين كل متجه مع المقطع الذي جاء منه. ال مرجع API للتضمين يعرض كل حقل.

ما الذي يضيفه المراجع

البحث المتجه سريع لأن كل مستند يتم تضمينه مرة واحدة مسبقا، ويحتاج الاستعلام إلى متجه جديد واحد فقط. المقابل هو الدقة: يتم ترميز الاستعلام وكل مستند بشكل منفصل، لذا أقرب المتجهات تشكل قائمة مختصرة جيدة بدلا من ترتيب نهائي.

يقوم المراجع بقراءة الاستعلام وكل مرشح معا ويقيم مدى جودة إجابته على المرشح. هذه المقارنة أكثر دقة وتتطلب جهدا أكبر لكل مستند، لذا تشغل النتيجة على قائمة مختصرة، مثل أفضل 50 نتيجة من البحث المتجه، بدلا من مجموعة كاملة.

في EmpirioLabs AI ترسل استعلام وقائمة ب الوثائق إلى ما بعد /v1/reranks. يدرج الرد الأصل لكل مستند فهرس مع relevance_score من 0 إلى 1، الأكثر صلة أولا. تعيين top_n أن تعيد فقط أفضل القلة، و return_documents لتضمين نصهم. الدرجات نسبية لطلب واحد، لذا استخدمها لترتيب النتائج بدلا من أن تكون نقطة تحديد ثابتة عبر الاستعلامات المختلفة. انظر يعيد ترتيب مرجع API للطلب الكامل.

التضمين وإعادة التصنيف في التوليد المعزز بالاسترجاع

تجيب التوليد المعزز بالاسترجاع (RAG) على الأسئلة من محتواك الخاص بوضع المقاطع الأكثر صلة في طلب نموذج اللغة. تشكل التضمين وإعادة الترتيب خطوة الاسترجاع الخاصة به:

  1. قسم مستنداتك إلى فقرات، وقم بتضمين كل منها، وتخزين المتجهات في فهرس متجه.
  2. عندما يصل سؤال، قم بتضمينه بنفس النموذج واسترجع أقرب المقاطع.
  3. أرسل هؤلاء المرشحين إلى مركز إعادة ترتيب واحتفظ بالقلة التي حصلت على أعلى الدرجات.
  4. مرر السؤال وتلك المقاطع إلى نموذج نصي، والتي تجيب منهم.

إعادة الترتيب تبقي المحفز قصيرا وذا صلة: المقاطع الأقل والأفضل تستخدم رموز إدخال أقل وتترك المزيد من نافذة السياق للحصول على الإجابة. تصفح نماذج التضمين و المعيدون الترتيب، أو جرب كلاهما في Playground.

نماذج التضمينات على EmpirioLabs AI

عدد النماذج: 4، مرتبة من الأرخص حين تشترك في وحدة الفوترة. تعرض صفحة كل نموذج جدول أسعاره الكامل ومعلماته وأمثلة الكود.

نقاط النهاية

POST /v1/embeddings

لكل مليون رمز، حسب سعر الإدخال

النموذجالإدخالالإخراج
Text Embedding v4 Alibaba Cloud$0.07-
Tongyi Embedding Vision Flash Alibaba Cloud$0.09-
Tongyi Embedding Vision Plus Alibaba Cloud$0.09-
Skylark Embedding Vision ByteDance$0.25-

نماذج المعادون الترتيب على EmpirioLabs AI

عدد النماذج: 1. تعرض صفحة كل نموذج جدول أسعاره ومعلماته وأمثلة الكود.

نقاط النهاية

POST /v1/reranks

الأسئلة الشائعة

ما الفرق بين نموذج التضمين ونموذج إعادة التصنيف؟

يحول نموذج التضمين كل إدخال إلى متجه بمفرده، بحيث يمكنك مقارنة الاستعلام مع مجموعة كبيرة بسرعة. يقوم المراجع بقراءة الاستعلام ومستند المرشح معا ويقيم مدى ملاءمتهما بدقة أكبر، لذا يستخدم في قائمة قصيرة من النتائج.

هل يمكنني مقارنة التضمينات من نموذجين مختلفين؟

لا. يضع كل نموذج المعنى في فضاء متجه خاص به، لذا قم بتضمين مستنداتك واستعلاماتك بنفس النموذج ونفس حجم المتجه.

كيف يتم فوترة طلبات التضمين وإعادة الترتيب؟

نماذج التضمين وإعادة الترتيب تفرض فوترة الرموز المدخلة التي ترسلها. لا تولد أي نص، لذلك لا توجد رموز إخراج للفوترة.

ماذا يعني تقييم ملاءمة إعادة الترتيب؟

هو رقم من 0 إلى 1 يصنف المستندات لاستعلام واحد، مع معنى أعلى أكثر صلة. الدرجات لا يمكن مقارنة بين الطلبات، لذا استخدمها لترتيب النتائج داخل الطلب.

هل يمكن للتضمين البحث عن الصور والفيديوهات؟

نعم، مع نماذج التضمين متعددة الوسائط. تقبل مدخلات نصية وصورة وفيديو، بحيث يمكن للاستعلام النصي استرجاع صور أو مقاطع مطابقة.

ما أرخص نموذج التضمينات على EmpirioLabs AI؟

من بين 4 من نماذج التضمينات المسعّرة بهذه الطريقة، يعرض Text Embedding v4 أقل سعر إدخال، يليه Tongyi Embedding Vision Flash, Tongyi Embedding Vision Plus. يعرض جدول الأسعار في هذه الصفحة أقل سعر لكل نموذج وما ينطبق عليه.

هل أنت مستعد لاستخدام نقاط نهاية أفضل؟

تحقق من تسعيرنا أو تواصل إذا كنت ترغب في نشر نموذجك الخاص على مجموعتنا.