Truyền phát JSON từ OpenAI và Together AI: xác thực và đo lường NDJSON, TTFT
Nhiệm vụ
Ứng dụng tạo danh sách các thẻ (sản phẩm, nhiệm vụ, câu hỏi kiểm tra) thông qua LLM và muốn hiển thị chúng khi chúng xuất hiện, thay vì chờ đợi toàn bộ câu trả lời. Bạn cần chọn nhà cung cấp và đảm bảo rằng đầu ra phát trực tuyến có thể được phân tích cú pháp một cách an toàn.
Sẽ không có bảng “ai nhanh hơn” ở đây. Tốc độ phụ thuộc vào kiểu máy, độ dài lời nhắc, khu vực, lượng nhà cung cấp và thời gian trong ngày cũng như số lượng của những người khác không có ý nghĩa gì đối với trường hợp của bạn. Dưới đây là cách làm cho mã độc lập với nhà cung cấp và cách tự đo lường mã đó.
Một khách hàng cho hai nhà cung cấp
AI cùng nhau cung cấp API tương thích với OpenAI, do đó SDK chính thức openai sẽ hoạt động với API đó khi thay đổi baseURL:
// lib/llm.ts
import OpenAI from "openai";
export const providers = {
openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};
export const models = {
openai: process.env.OPENAI_MODEL!, // идентификатор модели из каталога OpenAI
together: process.env.TOGETHER_MODEL!, // идентификатор модели из каталога Together
};Giữ mã nhận dạng mô hình trong các biến môi trường: danh mục được cập nhật và việc chuyển đổi mô hình không yêu cầu triển khai mã.
Tại sao không phát trực tiếp một JSON lớn
Nếu bạn yêu cầu mô hình trả về {"items":[...]} thì các phần như {"items":[{"title":"Ко sẽ xuất hiện trong luồng. JSON.parse ném ra một ngoại lệ trong một đoạn như vậy và nội dung nào đó chỉ có thể được hiển thị cho người dùng sau dấu ngoặc đóng. Có các thư viện để phân tích cú pháp một phần JSON, nhưng chúng làm phức tạp mã và hoạt động khác nhau trên các dòng lơ lửng.
Việc thay đổi định dạng sẽ dễ dàng hơn: một dòng - một đối tượng JSON đầy đủ (NDJSON). Mỗi dòng hoàn thành được phân tích cú pháp và kiểm tra độc lập.
Nhắc và phân tích cú pháp
// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";
const Card = z.object({
title: z.string().min(1).max(120),
description: z.string().max(500),
tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;
const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;
export async function* streamCards(provider: keyof typeof providers, topic: string) {
const stream = await providers[provider].chat.completions.create({
model: models[provider],
stream: true,
temperature: 0.4,
messages: [
{ role: "system", content: SYSTEM },
{ role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
],
});
let buffer = "";
for await (const chunk of stream) {
buffer += chunk.choices[0]?.delta?.content ?? "";
let nl: number;
while ((nl = buffer.indexOf("\n")) !== -1) {
const line = buffer.slice(0, nl).trim();
buffer = buffer.slice(nl + 1);
const card = parseLine(line);
if (card) yield card;
}
}
const last = parseLine(buffer.trim());
if (last) yield last;
}
function parseLine(line: string): Card | null {
if (!line || line.startsWith("```")) trả về giá trị rỗng;
thử {
const result = Card.safeParse(JSON.parse(line));
trả về kết quả.thành công? result.data: null;
} bắt {
trả về giá trị rỗng; // dòng bị hỏng: bỏ qua thay vì bỏ toàn bộ luồng
}
}Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.
Structured Outputs и JSON mode
У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.
У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.
Измерение: TTFT и полное время
// scripts/bench.ts
nhập {streamCards } từ "../lib/stream-cards";
thước đo hàm async(nhà cung cấp: "openai" | "cùng nhau", chủ đề: chuỗi) {
const t0 = performance.now();
đặt trước = 0, đếm = 0;
cho chờ đợi (const _ của streamCards(nhà cung cấp, chủ đề)) {
if (!first) first = performance.now() - t0;
đếm++;
}
return { nhà cung cấp, ttftCardMs: Math.round(first), TotalMs: Math.round(performance.now() - t0), count };
}
const chủ đề = ["CRM cho dịch vụ ô tô", "danh sách kiểm tra để ra mắt cửa hàng trực tuyến", "Câu hỏi phỏng vấn SQL"];
for (const p of ["openai", " together"] as const) {
for (hằng số chủ đề) console.log(await gauge(p, t));
}Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.
Отдача клиенту
Из Route Handler удобно отдавать тот же NDJSON:
xuất hàm không đồng bộ POST (req: Yêu cầu) {
const { chủ đề } = đang chờ req.json();
bộ mã hóa const = TextEncode mới();
const body = new ReadableStream({
khởi động không đồng bộ (bộ điều khiển) {
thử {
for chờ đợi (thẻ const của streamCards(" together", topic)) {
control.enqueue(encode.encode(JSON.stringify(card) + "\n"));
}
} cuối cùng {
bộ điều khiển.close();
}
},
});
trả về Phản hồi mới(body, { headers: { "Content-Type": "application/x-ndjson" } });
}Các lỗi thường gặp
- Phần đệm còn lại sau khi kết thúc luồng không được xử lý và thẻ cuối cùng bị mất.
- Lặp lại yêu cầu nếu có lỗi ở giữa luồng, sao chép các thẻ đã được hiển thị. Loại bỏ trùng lặp theo tiêu đề hoặc bắt đầu tạo lại và xóa danh sách.
- Chuyển sang nhà cung cấp dự phòng mà không kiểm tra xem mô hình của nó có hỗ trợ định dạng tương tự hay không.
Khi không cần phát trực tuyến
Nếu câu trả lời ngắn hoặc kết quả được sử dụng theo chương trình (phân loại, trích xuất trường), việc truyền trực tuyến chỉ làm phức tạp mã. Một yêu cầu thông thường với Kết quả đầu ra có cấu trúc hoặc chế độ JSON và một lần xác thực ở cuối sẽ đơn giản và đáng tin cậy hơn.
Нужна реализация под ваш проект или аудит архитектуры?
Разрабатываем сайты на Next.js, Telegram-ботов, интеграции с CRM и ИИ-агентов под ключ.