O que é uma API de embeddings?

Uma API de embeddings transforma texto, e em alguns modelos imagens ou vídeos, em vetores de números que colocam significados semelhantes próximos uns dos outros. Com um reclassificador para reclassificar as melhores correspondências, ele forma a etapa de recuperação da busca semântica e da geração aumentada por recuperação.

Tipos de modelos

O que é um embedding

Um embedding é uma lista de números, chamada de vetor, que representa o significado de uma entrada. Um modelo de embedding lê um pedaço de texto e retorna um vetor de comprimento fixo. Entradas com significado semelhante produzem vetores que apontam em direções semelhantes, mesmo quando não compartilham palavras: Redefinir minha senha e Não consigo entrar na minha conta Acabam juntos, enquanto atualize meu endereço de cobrança acaba ficando mais distante.

Você compara dois vetores com uma medida de similaridade, geralmente similaridade cossenola. Uma pontuação mais alta significa que as entradas são mais próximas em significado. Essa operação suporta busca semântica, recuperação para modelos de linguagem, agrupamento, detecção de duplicados, recomendações e classificação pelo exemplo mais próximo.

Como funciona uma API de embeddings

Na EmpirioLabs AI você enviar modelo e Entrada para POST /v1/embeddings. A entrada é uma string ou uma lista de strings, e a resposta mantém um vetor por entrada em Dados, mais um Uso objeto com os tokens faturados. Os modelos de embedding faturam apenas tokens de entrada, porque eles não geram texto.

  • Tamanho vetorial. Em modelos que oferecem mais de um tamanho, Dimensões define o comprimento de cada vetor. Vetores maiores mantêm mais detalhes; vetores menores custam menos para armazenar e pesquisar.
  • Codificação. encoding_format retorna vetores como flutuar arrays ou compactos base64 cordas.
  • Imagens e vídeo. Modelos de embedding multimodal também tomam imagem e Vídeo partes, para que uma consulta de texto possa recuperar imagens correspondentes.
  • Opções de busca. Alguns modelos retornam vetores esparsos através de output_type, e aceitar um instruir Isso descreve a tarefa de busca quando você incorpora consultas.

Duas regras mantêm os resultados significativos. Incorpore documentos e consultas com o mesmo modelo e o mesmo tamanho vetorial, já que vetores de modelos diferentes não são comparáveis. Divida documentos longos em passagens que se ajustem ao comprimento máximo de entrada do modelo e armazene cada vetor junto com a passagem de onde ela veio. O Referência da API de embeddings lista todos os campos.

O que um reranker acrescenta

A busca vetorial é rápida porque cada documento é incorporado uma vez, antecipadamente, e uma consulta precisa de apenas um vetor novo. A desvantagem é a precisão: a consulta e cada documento são codificados separadamente, então os vetores mais próximos formam uma boa lista curta em vez de uma classificação final.

Um reclassificador lê a consulta e cada candidato juntos e avalia o quão bem esse candidato responde à consulta. Essa comparação é mais precisa e exige mais trabalho por documento, então você a roda em uma lista curta, como os 50 melhores resultados da busca vetorial, em vez de em uma coleção inteira.

Em EmpirioLabs AI você envia um consulta e uma lista de documentos para POST /v1/reranks. A resposta lista o original de cada documento Índice com um relevance_score de 0 a 1, mais relevante primeiro. Definir top_n devolver apenas os melhores poucos, e return_documents para incluir o texto deles. As pontuações são relativas a uma única solicitação, portanto use-as para ordenar resultados em vez de serem um corte fixo entre diferentes consultas. Veja o reranks a referência da API para o pedido completo.

Embeddings e reclassificação na geração aumentada por recuperação

Geração aumentada por recuperação (RAG) responde perguntas do seu próprio conteúdo colocando as passagens mais relevantes no prompt de um modelo de linguagem. Embeddings e um reclassificador formam sua etapa de recuperação:

  1. Divida seus documentos em trechos, incorpore cada um deles e armazene os vetores em um índice vetorial.
  2. Quando uma pergunta chegar, incorpore-a com o mesmo modelo e recupere as passagens mais próximas.
  3. Envie esses candidatos para um reclassificador e mantenha os poucos com as maiores pontuações.
  4. Passe a pergunta e essas passagens para um Modelo de texto, que responde a eles.

Reclassificar mantém o prompt curto e relevante: menos passagens melhores usam menos tokens de entrada e deixam mais do janela de contexto para a resposta. Navegar Embedding de modelos e Rerankers, ou tente ambos no Playground.

Modelos de Incorporações no EmpirioLabs AI

4 modelos, do mais barato para o mais caro quando compartilham uma unidade de cobrança. A página de cada modelo traz a tabela de preços completa, os parâmetros e código.

Endpoints

POST /v1/embeddings

Por 1M de tokens, pela tarifa de entrada

ModeloEntradaSaída
Text Embedding v4 Alibaba Cloud$0.07-
Tongyi Embedding Vision Flash Alibaba Cloud$0.09-
Tongyi Embedding Vision Plus Alibaba Cloud$0.09-
Skylark Embedding Vision ByteDance$0.25-

Modelos de Reclassificadores no EmpirioLabs AI

1 modelos. A página de cada modelo traz a tabela de preços, os parâmetros e código.

Endpoints

POST /v1/reranks

Perguntas frequentes

Qual é a diferença entre um modelo de embedding e um reranker?

Um modelo de embedding transforma cada entrada em um vetor por si só, para que você possa comparar uma consulta com uma grande coleção rapidamente. Um reranker lê uma consulta e um documento candidato juntos e pontua sua relevância com mais precisão, para que ele seja usado em uma lista curta de resultados.

Posso comparar embeddings de dois modelos diferentes?

Não. Cada modelo coloca significado em seu próprio espaço vetorial, então incorpore seus documentos e suas consultas com o mesmo modelo e o mesmo tamanho vetorial.

Como os pedidos de embedding e rerank são faturados?

Modelos de embedding e rerank faturam os tokens de entrada que você envia. Eles não geram texto, então não há tokens de saída para faturar.

O que significa uma pontuação de relevância de rerank?

É um número de 0 a 1 que classifica documentos para uma consulta, sendo que o significado mais alto é mais relevante. As pontuações não são comparáveis entre requisições, então use-as para ordenar resultados dentro de uma requisição.

Os embeddings podem pesquisar imagens e vídeos?

Sim, com modelos de embedding multimodal. Eles aceitam entradas de texto, imagem e vídeo, então uma consulta de texto pode recuperar imagens ou clipes correspondentes.

Qual modelo Incorporações custa menos no EmpirioLabs AI?

Text Embedding v4 tem a menor tarifa de entrada entre os 4 modelos Incorporações com esse tipo de cobrança, seguido de Tongyi Embedding Vision Flash, Tongyi Embedding Vision Plus. A tabela de preços desta página mostra a menor tarifa de cada modelo e a que ela se aplica.

Pronto para usar endpoints melhores?

Confira nossos preços ou entre em contato se quiser que seu próprio modelo seja implementado em nossa pilha.