v(i)b(e)c(o)d(e)4u.com
Назад на форум vbcd4u.com
🔥 Нейросети2026-11-17T09:19:00.000Z▲ 0 upvotes

OpenAI および Together AI からの JSON ストリーミング: NDJSON、TTFT 検証および計測

@murdasoftРедакция vbcd4u · MurdaSoft
Открыть все обсуждения →

タスク

アプリケーションは、LLM を通じてカードのリスト (製品、タスク、テスト問題) を生成し、答え全体を待つのではなく、カードが表示されたとおりに表示したいと考えています。プロバイダーを選択し、ストリーミング出力を安全に解析できることを確認する必要があります。

ここには「誰が速いか」という表はありません。速度はモデル、プロンプトの長さ、地域、プロバイダーの負荷、時間帯によって異なり、他の人の数値はシナリオにとってほとんど意味がありません。以下は、コードをプロバイダーから独立させる方法と、それを自分で測定する方法です。

2 つのプロバイダーに対して 1 つのクライアント

Together AI は OpenAI 互換 API を提供するため、baseURL を変更するときに公式 SDK openai が連携して動作します。

// lib/llm.ts
import OpenAI from "openai";

export const providers = {
  openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
  together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};

export const models = {
  openai: process.env.OPENAI_MODEL!,      // идентификатор модели из каталога OpenAI
  together: process.env.TOGETHER_MODEL!,  // идентификатор модели из каталога Together
};

モデル識別子を環境変数に保持します。カタログは更新され、モデルを切り替えるときにコードをデプロイする必要はありません。

1 つの大きな JSON をストリーミングしてみてはいかがでしょうか

モデルに {"items":[...]} を返すように要求すると、{"items":[{"title":"Ко のような部分がストリームに入ります。 JSON.parse はそのようなフラグメントで例外をスローし、右括弧の後にのみユーザーに何かを表示できます。部分的な JSON を解析するライブラリはありますが、コードが複雑になり、ぶら下がった行では動作が異なります。

形式を変更する方が簡単です: 1 行 - 1 つの完全な JSON オブジェクト (NDJSON)。完成した各行は個別に解析およびチェックされます。

プロンプトと解析

// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";

const Card = z.object({
  title: z.string().min(1).max(120),
  description: z.string().max(500),
  tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;

const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;

export async function* streamCards(provider: keyof typeof providers, topic: string) {
  const stream = await providers[provider].chat.completions.create({
    model: models[provider],
    stream: true,
    temperature: 0.4,
    messages: [
      { role: "system", content: SYSTEM },
      { role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
    ],
  });

  let buffer = "";
  for await (const chunk of stream) {
    buffer += chunk.choices[0]?.delta?.content ?? "";
    let nl: number;
    while ((nl = buffer.indexOf("\n")) !== -1) {
      const line = buffer.slice(0, nl).trim();
      buffer = buffer.slice(nl + 1);
      const card = parseLine(line);
      if (card) yield card;
    }
  }
  const last = parseLine(buffer.trim());
  if (last) yield last;
}

function parseLine(line: string): Card | null {
  if (!line || line.startsWith("```")) null を返します。
  {を試してください
    const result = Card.safeParse(JSON.parse(line));
    結果を返します。成功しますか?結果データ: null;
  } キャッチ {
    null を返します。   // 破線: ストリーム全体をドロップする代わりにスキップします
  }
}

Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.

Structured Outputs и JSON mode

У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.

У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.

Измерение: TTFT и полное время

// スクリプト/bench.ts
import { streamCards } から "../lib/stream-cards";

async関数measure(provider: "openai" | "together", topic: string) {
  const t0 = パフォーマンス.now();
  最初 = 0、カウント = 0 とします。
  for await (const _ of streamCards(provider, topic)) {
    if (!first) first = Performance.now() - t0;
    カウント++;
  }
  return { プロバイダー、ttftCardMs: Math.round(first)、totalMs: Math.round(performance.now() - t0)、count };
}

const topic = ["自動車サービス向け CRM"、"オンライン ストア立ち上げのチェックリスト"、"SQL 面接の質問"];
for (const p of ["openai", "together"] as const) {
  for (トピックの定数) console.log(await meter(p, t));
}

Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.

Отдача клиенту

Из Route Handler удобно отдавать тот же NDJSON:

非同期関数のエクスポート POST(req: リクエスト) {
  const { トピック } = await req.json();
  const encoder = new TextEncoder();
  const body = new ReadableStream({
    非同期開始(コントローラー) {
      {を試してください
        for await (const Card of streamCards("together", topic)) {
          controller.enqueue(encoder.encode(JSON.stringify(card) + "\n"));
        }
      最後に {
        コントローラー.close();
      }
    }、
  });
  return new Response(body, { headers: { "Content-Type": "application/x-ndjson" } });
}
「」

## よくあるエラー

- ストリーム終了後のバッファの残りは処理されず、最後のカードは失われます。
- ストリームの途中で障害が発生した場合にリクエストを繰り返すと、すでに表示されているカードが重複します。ヘッダーごとに重複を排除するか、生成を再度開始してリストをクリアしてください。
- モデルが同じ形式をサポートしているかどうかを確認せずに、バックアップ プロバイダーに切り替える。

## ストリーミングが不要な場合

答えが短い場合、または結果がプログラムで使用される場合 (分類、フィールド抽出)、ストリーミングはコードを複雑にするだけです。構造化出力または JSON モードを使用した通常のリクエストと最後に 1 つの検証を行う方が、よりシンプルで信頼性が高くなります。

Нужна реализация под ваш проект или аудит архитектуры?

Разрабатываем сайты на Next.js, Telegram-ботов, интеграции с CRM и ИИ-агентов под ключ.

Обсуждение (0)

Ещё на vbcd4u.com