v(i)b(e)c(o)d(e)4u.com
Назад на форум vbcd4u.com
🔥 Нейросети2026-11-17T09:19:00.000Z▲ 0 upvotes

OpenAI va Together AI-dan JSON oqimi: NDJSON, TTFT tekshiruvi va o'lchash

@murdasoftРедакция vbcd4u · MurdaSoft
Открыть все обсуждения →

Vazifa

Ilova LLM orqali kartalar ro'yxatini (mahsulotlar, topshiriqlar, test savollari) yaratadi va to'liq javobni kutish o'rniga ularni qanday paydo bo'lishini xohlaydi. Siz provayderni tanlashingiz va oqim chiqishi xavfsiz tarzda tahlil qilinishiga ishonch hosil qilishingiz kerak.

Bu erda "kim tezroq" jadvali bo'lmaydi. Tezlik modelga, so'rov uzunligiga, mintaqaga, provayder yukiga va kunning vaqtiga bog'liq va boshqa odamlarning raqamlari sizning stsenariyingiz uchun juda kam ahamiyatga ega. Quyida kodni provayderdan mustaqil qilish va uni o'zingiz qanday o'lchashingiz mumkin.

Ikki provayder uchun bitta mijoz

Birgalikda AI OpenAI-ga mos keladigan API-ni taqdim etadi, shuning uchun baseURL ni o'zgartirganda rasmiy SDK openai u bilan ishlaydi:

// lib/llm.ts
import OpenAI from "openai";

export const providers = {
  openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
  together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};

export const models = {
  openai: process.env.OPENAI_MODEL!,      // идентификатор модели из каталога OpenAI
  together: process.env.TOGETHER_MODEL!,  // идентификатор модели из каталога Together
};

Model identifikatorlarini muhit o'zgaruvchilarida saqlang: kataloglar yangilanadi va modellarni almashtirish kodni joylashtirishni talab qilmasligi kerak.

Nima uchun bitta katta JSONni translatsiya qilmaysiz

Agar siz modeldan {"items":[...]} ni qaytarishni so'rasangiz, {"items":[{"title":"Ко kabi qismlar oqimga kiradi. JSON.parse bunday fragmentda istisno qiladi va foydalanuvchiga faqat yopish qavsdan keyin biror narsa ko'rsatilishi mumkin. Qisman JSONni tahlil qilish uchun kutubxonalar mavjud, ammo ular kodni murakkablashtiradi va osilgan chiziqlarda boshqacha harakat qiladi.

Formatni o'zgartirish osonroq: bir qator - bitta to'liq JSON ob'ekti (NDJSON). Har bir tugallangan satr mustaqil ravishda tahlil qilinadi va tekshiriladi.

Tezkor va tahlil qilish

// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";

const Card = z.object({
  title: z.string().min(1).max(120),
  description: z.string().max(500),
  tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;

const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;

export async function* streamCards(provider: keyof typeof providers, topic: string) {
  const stream = await providers[provider].chat.completions.create({
    model: models[provider],
    stream: true,
    temperature: 0.4,
    messages: [
      { role: "system", content: SYSTEM },
      { role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
    ],
  });

  let buffer = "";
  for await (const chunk of stream) {
    buffer += chunk.choices[0]?.delta?.content ?? "";
    let nl: number;
    while ((nl = buffer.indexOf("\n")) !== -1) {
      const line = buffer.slice(0, nl).trim();
      buffer = buffer.slice(nl + 1);
      const card = parseLine(line);
      if (card) yield card;
    }
  }
  const last = parseLine(buffer.trim());
  if (last) yield last;
}

function parseLine(line: string): Card | null {
  if (!line || line.startsWith("```")) nullni qaytaradi;
  harakat qilib ko'ring {
    const natija = Card.safeParse(JSON.parse(satr));
    natijani qaytarish. muvaffaqiyat ? natija.data: null;
  } tutmoq {
    nullni qaytarish;   // singan chiziq: butun oqimni tashlab yuborish o'rniga o'tkazib yuboring
  }
}

Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.

Structured Outputs и JSON mode

У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.

У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.

Измерение: TTFT и полное время

// skriptlar/bench.ts
"../lib/stream-cards" dan { streamCards } ni import qilish;

async funktsiya o'lchovi (provayder: "openai" | "birga", mavzu: string) {
  const t0 = performance.now();
  birinchi bo'lsin = 0, hisoblash = 0;
  kutish uchun (oqim kartalari soni _(provayder, mavzu)) {
    agar (!birinchi) birinchi = performance.now() - t0;
    count++;
  }
  return { provayder, ttftCardMs: Math.round(birinchi), totalMs: Math.round(performance.now() - t0), hisoblash };
}

const topics = ["Avtomobilga xizmat ko'rsatish uchun CRM", "onlayn do'konni ishga tushirish uchun nazorat ro'yxati", "SQL intervyu savollari"];
for (const p of ["openai", "birgalikda"] const sifatida) {
  for (mavzular soni) console.log(o'lchovni kutish(p, t));
}

Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.

Отдача клиенту

Из Route Handler удобно отдавать тот же NDJSON:

POST asinx funksiyasini eksport qilish (talab: so'rov) {
  const {mavzu} = req.json();
  const encoder = new TextEncoder();
  const tanasi = yangi ReadableStream ({
    async start (controller) {
      harakat qilib ko'ring {
        kutish uchun (stremCardsning konst kartasi("birgalikda", mavzu)) {
          controller.enqueue(encoder.encode(JSON.stringify(karta) + "\n"));
        }
      } nihoyat {
        controller.close();
      }
    },
  });
  yangi Javobni qaytaring (tana, { sarlavhalar: { "Content-Type": "application/x-ndjson" } });
}

Umumiy xatolar

  • Oqim tugagandan keyin buferning qolgan qismi qayta ishlanmaydi va oxirgi karta yo'qoladi.
  • Agar oqim o'rtasida nosozlik bo'lsa, so'rovni takrorlash allaqachon ko'rsatilgan kartalarni takrorlaydi. Sarlavha bo'yicha nusxa ko'chiring yoki qayta yaratishni boshlang va ro'yxatni tozalang.
  • Zaxira provayderiga uning modeli bir xil formatni qo'llab-quvvatlashini tekshirmasdan o'tish.

Striming kerak bo'lmaganda

Agar javob qisqa bo'lsa yoki natija dasturiy jihatdan ishlatilsa (tasniflash, maydonlarni ajratish), oqim faqat kodni murakkablashtiradi. Strukturaviy chiqishlar yoki JSON rejimi va oxirida bitta tekshirish bilan muntazam so'rov oddiyroq va ishonchliroq.

Нужна реализация под ваш проект или аудит архитектуры?

Разрабатываем сайты на Next.js, Telegram-ботов, интеграции с CRM и ИИ-агентов под ключ.

Обсуждение (0)

Ещё на vbcd4u.com