v(i)b(e)c(o)d(e)4u.com
Назад на форум vbcd4u.com
🔥 Нейросети2026-11-17T09:19:00.000Z▲ 0 upvotes

Transmisión JSON desde OpenAI y Together AI: NDJSON, validación y medición de TTFT

@murdasoftРедакция vbcd4u · MurdaSoft
Открыть все обсуждения →

Задача

Приложение генерирует список карточек (товары, задачи, вопросы теста) через LLM и хочет показывать их по мере появления, а не ждать весь ответ. Нужно выбрать провайдера и сделать так, чтобы потоковый вывод можно было безопасно разбирать.

Здесь не будет таблицы «кто быстрее». Скорость зависит от модели, длины промпта, региона, нагрузки у провайдера и времени суток, и чужие цифры для вашего сценария мало что значат. Ниже — как сделать код независимым от провайдера и как измерить самому.

Один клиент для двух провайдеров

Together AI предоставляет OpenAI-совместимый API, поэтому официальный SDK openai работает с ним при смене baseURL:

// lib/llm.ts
import OpenAI from "openai";

export const providers = {
  openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
  together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};

export const models = {
  openai: process.env.OPENAI_MODEL!,      // идентификатор модели из каталога OpenAI
  together: process.env.TOGETHER_MODEL!,  // идентификатор модели из каталога Together
};

Идентификаторы моделей держите в переменных окружения: каталоги обновляются, и переключение модели не должно требовать деплоя кода.

Почему не стримить один большой JSON

Если попросить модель вернуть {"items":[...]}, в потоке приходят куски вроде {"items":[{"title":"Ко. JSON.parse на таком фрагменте бросает исключение, и показать что-то пользователю можно только после закрывающей скобки. Есть библиотеки для разбора частичного JSON, но они усложняют код и по-разному ведут себя на оборванных строках.

Проще изменить формат: одна строка — один полный JSON-объект (NDJSON). Каждая завершённая строка разбирается и проверяется независимо.

Промпт и разбор

// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";

const Card = z.object({
  title: z.string().min(1).max(120),
  description: z.string().max(500),
  tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;

const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;

export async function* streamCards(provider: keyof typeof providers, topic: string) {
  const stream = await providers[provider].chat.completions.create({
    model: models[provider],
    stream: true,
    temperature: 0.4,
    messages: [
      { role: "system", content: SYSTEM },
      { role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
    ],
  });

  let buffer = "";
  for await (const chunk of stream) {
    buffer += chunk.choices[0]?.delta?.content ?? "";
    let nl: number;
    while ((nl = buffer.indexOf("\n")) !== -1) {
      const line = buffer.slice(0, nl).trim();
      buffer = buffer.slice(nl + 1);
      const card = parseLine(line);
      if (card) yield card;
    }
  }
  const last = parseLine(buffer.trim());
  if (last) yield last;
}

function parseLine(line: string): Card | null {
  if (!line || line.startsWith("```")) return null;
  try {
    const result = Card.safeParse(JSON.parse(line));
    return result.success ? result.data : null;
  } catch {
    return null;   // битая строка: пропускаем, а не роняем весь поток
  }
}

Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.

Structured Outputs и JSON mode

У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.

У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.

Измерение: TTFT и полное время

// scripts/bench.ts
import { streamCards } from "../lib/stream-cards";

async function measure(provider: "openai" | "together", topic: string) {
  const t0 = performance.now();
  let first = 0, count = 0;
  for await (const _ of streamCards(provider, topic)) {
    if (!first) first = performance.now() - t0;
    count++;
  }
  return { provider, ttftCardMs: Math.round(first), totalMs: Math.round(performance.now() - t0), count };
}

const topics = ["CRM для автосервиса", "чек-лист запуска интернет-магазина", "вопросы для собеседования по SQL"];
for (const p of ["openai", "together"] as const) {
  for (const t of topics) console.log(await measure(p, t));
}

Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.

Отдача клиенту

Из Route Handler удобно отдавать тот же NDJSON:

export async function POST(req: Request) {
  const { topic } = await req.json();
  const encoder = new TextEncoder();
  const body = new ReadableStream({
    async start(controller) {
      try {
        for await (const card of streamCards("together", topic)) {
          controller.enqueue(encoder.encode(JSON.stringify(card) + "\n"));
        }
      } finally {
        controller.close();
      }
    },
  });
  return new Response(body, { headers: { "Content-Type": "application/x-ndjson" } });
}

Типовые ошибки

  • Не обрабатывается остаток буфера после конца потока, и последняя карточка теряется.
  • Повтор запроса при сбое посередине потока дублирует уже показанные карточки. Либо дедуплицируйте по заголовку, либо начинайте генерацию заново и очищайте список.
  • Переключение на резервного провайдера без проверки, что его модель держит тот же формат.

Когда стриминг не нужен

Если ответ короткий или результат используется программно (классификация, извлечение полей), стриминг только усложняет код. Обычный запрос со Structured Outputs или JSON mode и одной валидацией в конце проще и надёжнее.

Обсуждение (0)

Ещё на vbcd4u.com