Was ist eine Echtzeit-Sprach-API?

Eine Echtzeit-Sprach-API hält eine Live-Zwei-Wege-Audiositzung über eine WebSocket-Verbindung: Ihre App streamt Mikrofonaudio an das Modell und spielt deren gesprochene Antwort ab, sobald sie eintrifft. Der Benutzer kann die Antwort jederzeit unterbrechen, und derselbe Endpunkt dient auch der Live-Transkription.

Modellarten

Was eine Echtzeit-Sprach-API ist

Die meisten KI-APIs folgen einem Anfrage- und Antwortmuster: Sie senden eine vollständige Eingabe und warten auf eine vollständige Ausgabe. Eine Echtzeit-Sprach-API hält stattdessen eine Verbindung offen. Audio fließt gleichzeitig in beide Richtungen über einen WebSocket, sodass Ihre Anwendung das Mikrofon eines Benutzers an das Modell streamen kann, während die gesprochene Antwort des Modells zurückgesendet wird. Beide Seiten können jederzeit sprechen, sodass der Benutzer das Modell mitten in der Antwort unterbrechen kann.

Das Modell, mit dem Sie sich verbinden, entscheidet, welche Art von Sitzung Sie erhalten:

  • Rede zu Sprache. Ein gesprochenes Gespräch mit einem Modell, das zuhört und mit seiner eigenen Stimme antwortet.
  • Live-Transkription. Nachricht zurückgekehrt, während der Sprecher noch spricht.
  • Sprachübersetzung. Das Modell antwortet in einer Zielsprache, mit Text und Audio.
  • Text-to-Speech. Du streamst Text herein, und die Sprache kommt zurück, solange der Text noch eintrifft.

Wie eine Echtzeit-Sitzung funktioniert

Sie öffnen einen WebSocket auf wss://api.empiriolabs.ai/v1/realtime?model=MODEL_ID und authentifizieren Sie sich mit Ihrem API-Schlüssel in der Genehmigung Kopfzeile des Handshakes. Sobald die Sitzung beginnt, stellen Sie die Stimme, die Anweisungen und den Modus der Rundenerkennung ein und streamen dann Audio in kleinen Abschnitten. Das Modell sendet Audioabschnitte zum Abspielen, ein Transkript dessen, was es sagt, und ein Ereignis, das das Ende jeder Runde markiert.

Die Rundenerkennung entscheidet, wann das Modell antwortet. Bei serverseitiger Sprachaktivitätserkennung bemerkt das Modell, wenn der Sprecher stoppt und von selbst antwortet, und das Sprechen während der Antwort unterbricht diese. Mit deaktivierter Schalterkennung beendet Ihre Anwendung jeden Zug und fragt nach der Antwort. Viele speech-to-speech Modelle können auch Funktionen aufrufen, die Sie während des Gesprächs deklarieren, und einige akzeptieren Live-Videoframes oder durchsuchen das Web.

Browsercode darf niemals Ihren API-Schlüssel enthalten, daher verbindet sich eine Webseite mit einem kurzlebigen Client-Geheimnis, das Ihr Server erstellt POST /v1/realtime/client_secrets. Der Endpunkt folgt dem OpenAI Realtime-Protokoll, sodass OpenAI SDKs sich damit verbinden können.

Wofür wird Echtzeitsprache verwendet

  • Sprachagenten. Support-, Buchungs- und Empfangslinien, die Fragen beantworten und Ihre Veranstaltungen anrufen, um eine Bestellung nachzuschlagen oder einen Termin zu vereinbaren.
  • In-App-Assistenten. Freihändige Hilfe in einem Produkt oder einem Gerät.
  • Nachhilfe und Sprachpraxis. Mündliche Lektionen, die reagieren, während der Lernende spricht.
  • Live-Untertitel. Text für Meetings, Streams und Events, während die Leute reden.
  • Interpretation. Sprache, die während eines Gesprächs in eine Zielsprache übersetzt wird.

Auswahl eines Modells und wie die Abrechnung funktioniert

Vergleichen Sie Reaktionslatenz, Stimmen und Sprachen, wie das Modell mit Unterbrechungen und Hintergrundgeräuschen umgeht und ob es Funktionsaufrufe, Videoeingabe oder Websuche unterstützt. Überprüfen Sie dann die Abrechnungseinheit auf jeder Modellseite. Sprach-zu-Sprache-Modelle rechnen jeden abgeschlossenen Zug aus den verwendeten Tokens ab, und viele berechnen Audio- und Texttoken getrennt, sodass ein gesprochener Zug und ein getippter Zug gleicher Länge unterschiedliche Summen kosten. Ein Modell pro Minute berechnet stattdessen die Sitzungsdauer. Live-Transkription rechnet nach der Dauer des gesendeten Audios oder nach Tokens bei einigen Modellen.

Probieren Sie ein Echtzeitmodell auf EmpirioLabs AI

Offen PlaygroundWählen Sie ein Echtzeitmodell aus, wählen Sie eine Stimme und beginnen Sie zu sprechen. Um Ihren eigenen Client zu erstellen, erstellen Sie einen API-Schlüssel im Dashboard und folgen Sie dem Leitfaden zur Realtime Voice API, das jedes Echtzeitmodell mit seinen Sprachen und Stimmen, den Ereignissen und einem vollständigen Beispiel auflistet. Echtzeitmodelle erscheinen unter den Audiomodelle und die Transkriptionsmodelle.

Zahlen Sie nach Bezahlung oder wählen Sie einen Plan mit wöchentlichen Zulagen. Die aktuellen Tarife sind auf der preisseite.

Die Modelle auf EmpirioLabs AI

20 Modelle, günstigste zuerst, wo sie eine Abrechnungseinheit teilen. Die Seite jedes Modells zeigt die vollständige Preisliste, Parameter und Code.

Endpunkte

POST /v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices

Preis pro Minute oder Stunde Audio

ModellNiedrigster TarifGilt für
StepAudio 2.5 ASR Stream StepFun$0.40 pro Stunde AudioTranskription
Qwen Audio 3.0 ASR Stream Alibaba Cloud$0.648 pro Stunde AudioTranskription
Deepgram Nova-3 Stream Deepgram$0.025 pro Minute AudioTranskription
OpenAI Whisper 1 OpenAI$0.030 pro MinutePro Minute Audio

Ebenfalls verfügbar: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash

Häufige Fragen

Was ist der Unterschied zwischen einer Echtzeit-Sprach-API und einer text-to-speech-API?

Eine text-to-speech-API verwandelt Text in Audio, eine Anfrage nach der anderen. Eine Echtzeit-Sprach-API hält eine zweiseitige Verbindung offen, sodass das Modell innerhalb einer Sitzung zuhören, sprechend antworten und unterbrochen werden kann.

Warum verwendet eine Echtzeit-Sprach-API einen WebSocket?

Ein WebSocket überträgt Daten gleichzeitig in beide Richtungen über eine einzige Verbindung, sodass Mikrofonaudio zum Modell fließen kann, während seine Antwort zurückfließt. Eine gestreamte HTTP-Antwort überträgt nur die Ausgabe.

Können Nutzer die KI unterbrechen, während sie spricht?

Ja. Bei serverseitiger Sprachaktivitätserkennung unterbricht das Sprechen, während das Modell antwortet, und das Modell reagiert auf die neue Eingabe.

Wie wird eine Echtzeit-Sprachsession abgerechnet?

Speech-to-Speech-Modelle rechnen jeden abgeschlossenen Zug nach seinen Tokens oder nach der Sitzungsdauer pro Minute. Live-Transkriptionsabrechnungen nach der Dauer des gesendeten Audios oder nach Tokens bei einigen Modellen. Auf EmpirioLabs AI können Sie nach Bezahlung zahlen oder einen Tarif mit wöchentlichen Zulagen wählen.

Kann ich mich über einen Browser mit einer Echtzeit-Sprach-API verbinden?

Ja. Ihr Server erstellt mit Ihrem API-Schlüssel ein kurzlebiges Client-Geheimnis, und die Webseite öffnet den WebSocket mit diesem Geheimnis, sodass der API-Schlüssel nie den Browser erreicht.

Bereit, bessere Endpunkte zu nutzen?

Schauen Sie sich unsere Preise an oder kontaktieren Sie uns, wenn Sie Ihr eigenes Modell auf unserem Stack implementieren möchten.