OpenAI और साथ में AI से JSON स्ट्रीमिंग: NDJSON, TTFT सत्यापन और मीटरिंग
कार्य
एप्लिकेशन एलएलएम के माध्यम से कार्डों (उत्पादों, कार्यों, परीक्षण प्रश्नों) की एक सूची तैयार करता है और पूरे उत्तर की प्रतीक्षा करने के बजाय उन्हें वैसे ही दिखाना चाहता है जैसे वे दिखाई देते हैं। आपको एक प्रदाता चुनना होगा और सुनिश्चित करना होगा कि स्ट्रीमिंग आउटपुट को सुरक्षित रूप से पार्स किया जा सके।
यहां कोई "तेज़ कौन है" तालिका नहीं होगी। गति मॉडल, प्रॉम्प्ट लंबाई, क्षेत्र, प्रदाता लोड और दिन के समय पर निर्भर करती है, और अन्य लोगों की संख्या आपके परिदृश्य के लिए बहुत कम मायने रखती है। नीचे बताया गया है कि कोड को प्रदाता से स्वतंत्र कैसे बनाया जाए और इसे स्वयं कैसे मापा जाए।
दो प्रदाताओं के लिए एक ग्राहक
साथ में AI एक OpenAI-संगत API प्रदान करता है, इसलिए baseURL बदलते समय आधिकारिक SDK openai इसके साथ काम करता है:
// lib/llm.ts
import OpenAI from "openai";
export const providers = {
openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};
export const models = {
openai: process.env.OPENAI_MODEL!, // идентификатор модели из каталога OpenAI
together: process.env.TOGETHER_MODEL!, // идентификатор модели из каталога Together
};मॉडल पहचानकर्ताओं को पर्यावरण चर में रखें: कैटलॉग अपडेट किए जाते हैं, और स्विचिंग मॉडल को कोड तैनात करने की आवश्यकता नहीं होनी चाहिए।
एक बड़ा JSON स्ट्रीम क्यों न करें
यदि आप मॉडल को {"items":[...]} वापस करने के लिए कहते हैं, तो {"items":[{"title":"Ко जैसे टुकड़े स्ट्रीम में आते हैं। JSON.parse ऐसे खंड में एक अपवाद फेंकता है, और समापन ब्रैकेट के बाद ही उपयोगकर्ता को कुछ दिखाया जा सकता है। आंशिक JSON को पार्स करने के लिए लाइब्रेरी हैं, लेकिन वे कोड को जटिल बनाते हैं और लटकती रेखाओं पर अलग-अलग व्यवहार करते हैं।
प्रारूप बदलना आसान है: एक पंक्ति - एक पूर्ण JSON ऑब्जेक्ट (NDJSON)। प्रत्येक पूर्ण पंक्ति को स्वतंत्र रूप से पार्स और जांचा जाता है।
संकेत और विश्लेषण
// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";
const Card = z.object({
title: z.string().min(1).max(120),
description: z.string().max(500),
tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;
const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;
export async function* streamCards(provider: keyof typeof providers, topic: string) {
const stream = await providers[provider].chat.completions.create({
model: models[provider],
stream: true,
temperature: 0.4,
messages: [
{ role: "system", content: SYSTEM },
{ role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
],
});
let buffer = "";
for await (const chunk of stream) {
buffer += chunk.choices[0]?.delta?.content ?? "";
let nl: number;
while ((nl = buffer.indexOf("\n")) !== -1) {
const line = buffer.slice(0, nl).trim();
buffer = buffer.slice(nl + 1);
const card = parseLine(line);
if (card) yield card;
}
}
const last = parseLine(buffer.trim());
if (last) yield last;
}
function parseLine(line: string): Card | null {
if (!line || line.startsWith("```")) शून्य वापसी;
प्रयास करें {
स्थिरांक परिणाम = कार्ड.सुरक्षित पार्स (JSON. पार्स (लाइन));
वापसी परिणाम.सफलता? परिणाम.डेटा: शून्य;
} पकड़ो {
शून्य वापसी; // टूटी हुई लाइन: पूरी स्ट्रीम को छोड़ने के बजाय छोड़ें
}
}Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.
Structured Outputs и JSON mode
У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.
У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.
Измерение: TTFT и полное время
// स्क्रिप्ट/बेंच.ts
"../lib/stream-cards" से आयात { स्ट्रीमकार्ड };
एसिंक फ़ंक्शन माप (प्रदाता: "ओपनई" | "एक साथ", विषय: स्ट्रिंग) {
स्थिरांक t0 = Performance.now();
मान लीजिए प्रथम = 0, गिनती = 0;
प्रतीक्षा के लिए (स्ट्रीमकार्ड्स (प्रदाता, विषय) का स्थिरांक _) {
यदि (!प्रथम) प्रथम = प्रदर्शन.अब() - t0;
गिनती++;
}
वापसी { प्रदाता, ttftCardMs: Math.round(first), totalMs: Math.round(performance.now() - t0), count };
}
स्थिरांक विषय = ["कार सेवा के लिए सीआरएम", "ऑनलाइन स्टोर लॉन्च करने के लिए चेकलिस्ट", "एसक्यूएल साक्षात्कार प्रश्न"];
के लिए (स्थिरांक के रूप में ["openai", "एक साथ"] का स्थिरांक p) {
के लिए (विषयों का स्थिरांक टी) कंसोल.लॉग(माप की प्रतीक्षा करें(पी, टी));
}Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.
Отдача клиенту
Из Route Handler удобно отдавать тот же NDJSON:
एसिंक फ़ंक्शन निर्यात करें POST(अनुरोध: अनुरोध) {
स्थिरांक { विषय } = प्रतीक्षा req.json();
स्थिरांक एनकोडर = नया टेक्स्टएनकोडर();
स्थिरांक मुख्य भाग = नया पठनीयस्ट्रीम({
एसिंक प्रारंभ(नियंत्रक) {
प्रयास करें {
प्रतीक्षा के लिए (स्ट्रीमकार्ड का स्थिरांक कार्ड ("एक साथ", विषय)) {
कंट्रोलर.एनक्यू(एनकोडर.एनकोड(JSON.stringify(कार्ड) + "\n"));
}
} अंततः {
नियंत्रक.बंद करें();
}
},
});
नई प्रतिक्रिया लौटाएं (बॉडी, { हेडर: { "सामग्री-प्रकार": "एप्लिकेशन/x-ndjson" } });
}सामान्य त्रुटियाँ
- स्ट्रीम की समाप्ति के बाद बफ़र का शेष भाग संसाधित नहीं होता है, और अंतिम कार्ड खो जाता है।
- स्ट्रीम के बीच में कोई विफलता होने पर अनुरोध दोहराना पहले से दिखाए गए कार्डों की नकल करता है। या तो हेडर द्वारा डुप्लिकेट हटाएं, या फिर से जनरेशन शुरू करें और सूची साफ़ करें।
- यह जाँचे बिना कि उसका मॉडल समान प्रारूप का समर्थन करता है, बैकअप प्रदाता पर स्विच करना।
जब स्ट्रीमिंग की आवश्यकता नहीं है
यदि उत्तर छोटा है या परिणाम प्रोग्रामेटिक रूप से उपयोग किया जाता है (वर्गीकरण, फ़ील्ड निष्कर्षण), तो स्ट्रीमिंग केवल कोड को जटिल बनाती है। संरचित आउटपुट या JSON मोड के साथ एक नियमित अनुरोध और अंत में एक सत्यापन सरल और अधिक विश्वसनीय है।
Нужна реализация под ваш проект или аудит архитектуры?
Разрабатываем сайты на Next.js, Telegram-ботов, интеграции с CRM и ИИ-агентов под ключ.