v(i)b(e)c(o)d(e)4u.com
Назад на форум vbcd4u.com
🔥 Нейросети2026-11-17T09:19:00.000Z▲ 0 upvotes

来自 OpenAI 和 Together AI 的 JSON 流:NDJSON、TTFT 验证和计量

@murdasoftРедакция vbcd4u · MurdaSoft
Открыть все обсуждения →

任务

该应用程序通过 LLM 生成卡片列表(产品、任务、测试问题),并希望在它们出现时显示它们,而不是等待完整的答案。您需要选择一个提供商并确保可以安全地解析流输出。

这里不会有“谁更快”的表格。速度取决于型号、提示长度、区域、提供商负载和一天中的时间,其他人的数字对您的场景来说意义不大。下面是如何使代码独立于提供者以及如何自己衡量。

两个提供商的一个客户

Together AI 提供了兼容 OpenAI 的 API,因此官方 SDK openai 在更改 baseURL 时可以使用它:

// lib/llm.ts
import OpenAI from "openai";

export const providers = {
  openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
  together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};

export const models = {
  openai: process.env.OPENAI_MODEL!,      // идентификатор модели из каталога OpenAI
  together: process.env.TOGETHER_MODEL!,  // идентификатор модели из каталога Together
};

将模型标识符保留在环境变量中:更新目录,并且切换模型不需要部署代码。

为什么不流式传输一个大的 JSON

如果您要求模型返回 {"items":[...]},像 {"items":[{"title":"Ко 这样的片段就会出现在流中。 JSON.parse 在这样的片段中抛出异常,并且只有在右括号之后才能向用户显示某些内容。有一些库可以解析部分 JSON,但它们使代码变得复杂,并且在悬空线上的行为有所不同。

更改格式更容易:一行 - 一个完整的 JSON 对象 (NDJSON)。每个完成的行都会被独立解析和检查。

提示和解析

// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";

const Card = z.object({
  title: z.string().min(1).max(120),
  description: z.string().max(500),
  tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;

const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;

export async function* streamCards(provider: keyof typeof providers, topic: string) {
  const stream = await providers[provider].chat.completions.create({
    model: models[provider],
    stream: true,
    temperature: 0.4,
    messages: [
      { role: "system", content: SYSTEM },
      { role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
    ],
  });

  let buffer = "";
  for await (const chunk of stream) {
    buffer += chunk.choices[0]?.delta?.content ?? "";
    let nl: number;
    while ((nl = buffer.indexOf("\n")) !== -1) {
      const line = buffer.slice(0, nl).trim();
      buffer = buffer.slice(nl + 1);
      const card = parseLine(line);
      if (card) yield card;
    }
  }
  const last = parseLine(buffer.trim());
  if (last) yield last;
}

function parseLine(line: string): Card | null {
  if (!line || line.startsWith("```")) 返回 null;
  尝试{
    const 结果 = Card.safeParse(JSON.parse(line));
    返回结果.成功?结果.数据:空;
  } 抓住 {
    返回空值;   // 断线:跳过而不是丢弃整个流
  }
}

Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.

Structured Outputs и JSON mode

У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.

У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.

Измерение: TTFT и полное время

// 脚本/bench.ts
从“../lib/stream-cards”导入{streamCards};

异步函数measure(provider: "openai" | "together", topic: string) {
  const t0 = 性能.now();
  让第一个= 0,计数= 0;
  for wait (const _ of streamCards(provider, topic)) {
    if (!first) first = Performance.now() - t0;
    计数++;
  }
  return { 提供商,ttftCardMs:Math.round(第一),totalMs:Math.round(性能.now() - t0),计数 };
}

const topic = ["汽车服务 CRM", "启动在线商店的清单", "SQL 面试问题"];
for (const p of ["openai", "together"] as const) {
  for (const t of topic) console.log(awaitmeasure(p, t));
}

Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.

Отдача клиенту

Из Route Handler удобно отдавать тот же NDJSON:

导出异步函数 POST(req: Request) {
  const { 主题 } = 等待 req.json();
  const 编码器 = new TextEncoder();
  const body = new ReadableStream({
    异步启动(控制器){
      尝试{
        for等待(streamCards的const卡(“一起”,主题)){
          controller.enqueue(encoder.encode(JSON.stringify(card) + "\n"));
        }
      }最后{
        控制器.close();
      }
    },
  });
  返回新的响应(body, { headers: { "Content-Type": "application/x-ndjson" } });
}
````

## 常见错误

- 流结束后缓冲区的剩余部分不被处理,最后一张卡丢失。
- 如果流中间出现故障,则重复请求会重复已显示的卡片。按标头删除重复项,或重新开始生成并清除列表。
- 切换到备份提供商而不检查其型号是否支持相同的格式。

## 当不需要流式传输时

如果答案很短或以编程方式使用结果(分类、字段提取),流式处理只会使代码变得复杂。使用结构化输出或 JS​​ON 模式并在最后进行一次验证的常规请求更简单、更可靠。

Нужна реализация под ваш проект или аудит архитектуры?

Разрабатываем сайты на Next.js, Telegram-ботов, интеграции с CRM и ИИ-агентов под ключ.

Обсуждение (0)

Ещё на vbcd4u.com