来自 OpenAI 和 Together AI 的 JSON 流:NDJSON、TTFT 验证和计量
任务
该应用程序通过 LLM 生成卡片列表(产品、任务、测试问题),并希望在它们出现时显示它们,而不是等待完整的答案。您需要选择一个提供商并确保可以安全地解析流输出。
这里不会有“谁更快”的表格。速度取决于型号、提示长度、区域、提供商负载和一天中的时间,其他人的数字对您的场景来说意义不大。下面是如何使代码独立于提供者以及如何自己衡量。
两个提供商的一个客户
Together AI 提供了兼容 OpenAI 的 API,因此官方 SDK openai 在更改 baseURL 时可以使用它:
// lib/llm.ts
import OpenAI from "openai";
export const providers = {
openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};
export const models = {
openai: process.env.OPENAI_MODEL!, // идентификатор модели из каталога OpenAI
together: process.env.TOGETHER_MODEL!, // идентификатор модели из каталога Together
};将模型标识符保留在环境变量中:更新目录,并且切换模型不需要部署代码。
为什么不流式传输一个大的 JSON
如果您要求模型返回 {"items":[...]},像 {"items":[{"title":"Ко 这样的片段就会出现在流中。 JSON.parse 在这样的片段中抛出异常,并且只有在右括号之后才能向用户显示某些内容。有一些库可以解析部分 JSON,但它们使代码变得复杂,并且在悬空线上的行为有所不同。
更改格式更容易:一行 - 一个完整的 JSON 对象 (NDJSON)。每个完成的行都会被独立解析和检查。
提示和解析
// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";
const Card = z.object({
title: z.string().min(1).max(120),
description: z.string().max(500),
tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;
const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;
export async function* streamCards(provider: keyof typeof providers, topic: string) {
const stream = await providers[provider].chat.completions.create({
model: models[provider],
stream: true,
temperature: 0.4,
messages: [
{ role: "system", content: SYSTEM },
{ role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
],
});
let buffer = "";
for await (const chunk of stream) {
buffer += chunk.choices[0]?.delta?.content ?? "";
let nl: number;
while ((nl = buffer.indexOf("\n")) !== -1) {
const line = buffer.slice(0, nl).trim();
buffer = buffer.slice(nl + 1);
const card = parseLine(line);
if (card) yield card;
}
}
const last = parseLine(buffer.trim());
if (last) yield last;
}
function parseLine(line: string): Card | null {
if (!line || line.startsWith("```")) 返回 null;
尝试{
const 结果 = Card.safeParse(JSON.parse(line));
返回结果.成功?结果.数据:空;
} 抓住 {
返回空值; // 断线:跳过而不是丢弃整个流
}
}Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.
Structured Outputs и JSON mode
У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.
У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.
Измерение: TTFT и полное время
// 脚本/bench.ts
从“../lib/stream-cards”导入{streamCards};
异步函数measure(provider: "openai" | "together", topic: string) {
const t0 = 性能.now();
让第一个= 0,计数= 0;
for wait (const _ of streamCards(provider, topic)) {
if (!first) first = Performance.now() - t0;
计数++;
}
return { 提供商,ttftCardMs:Math.round(第一),totalMs:Math.round(性能.now() - t0),计数 };
}
const topic = ["汽车服务 CRM", "启动在线商店的清单", "SQL 面试问题"];
for (const p of ["openai", "together"] as const) {
for (const t of topic) console.log(awaitmeasure(p, t));
}Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.
Отдача клиенту
Из Route Handler удобно отдавать тот же NDJSON:
导出异步函数 POST(req: Request) {
const { 主题 } = 等待 req.json();
const 编码器 = new TextEncoder();
const body = new ReadableStream({
异步启动(控制器){
尝试{
for等待(streamCards的const卡(“一起”,主题)){
controller.enqueue(encoder.encode(JSON.stringify(card) + "\n"));
}
}最后{
控制器.close();
}
},
});
返回新的响应(body, { headers: { "Content-Type": "application/x-ndjson" } });
}
````
## 常见错误
- 流结束后缓冲区的剩余部分不被处理,最后一张卡丢失。
- 如果流中间出现故障,则重复请求会重复已显示的卡片。按标头删除重复项,或重新开始生成并清除列表。
- 切换到备份提供商而不检查其型号是否支持相同的格式。
## 当不需要流式传输时
如果答案很短或以编程方式使用结果(分类、字段提取),流式处理只会使代码变得复杂。使用结构化输出或 JSON 模式并在最后进行一次验证的常规请求更简单、更可靠。Нужна реализация под ваш проект или аудит архитектуры?
Разрабатываем сайты на Next.js, Telegram-ботов, интеграции с CRM и ИИ-агентов под ключ.