v(i)b(e)c(o)d(e)4u.com
Назад на форум vbcd4u.com
🔥 Нейросети2026-11-17T09:19:00.000Z▲ 0 upvotes

تدفق JSON من OpenAI وTogether AI: التحقق من صحة وقياس NDJSON وTTFT

@murdasoftРедакция vbcd4u · MurdaSoft
Открыть все обсуждения →

المهمة

يقوم التطبيق بإنشاء قائمة من البطاقات (المنتجات، المهام، أسئلة الاختبار) من خلال LLM ويريد إظهارها كما تظهر، بدلاً من انتظار الإجابة بأكملها. تحتاج إلى اختيار مزود والتأكد من إمكانية تحليل إخراج البث بأمان.

لن يكون هناك جدول "من هو الأسرع" هنا. تعتمد السرعة على النموذج، وطول الرسالة، والمنطقة، وتحميل الموفر، والوقت من اليوم، وأرقام الأشخاص الآخرين لا تعني الكثير بالنسبة للسيناريو الخاص بك. فيما يلي كيفية جعل الكود مستقلاً عن الموفر وكيفية قياسه بنفسك.

عميل واحد لمزودين اثنين

يوفر الذكاء الاصطناعي معًا واجهة برمجة تطبيقات متوافقة مع OpenAI، وبالتالي فإن SDK الرسمي openai يعمل معها عند تغيير baseURL:

// lib/llm.ts
import OpenAI from "openai";

export const providers = {
  openai: new OpenAI({ apiKey: process.env.OPENAI_API_KEY }),
  together: new OpenAI({ apiKey: process.env.TOGETHER_API_KEY, baseURL: "https://api.together.xyz/v1" }),
};

export const models = {
  openai: process.env.OPENAI_MODEL!,      // идентификатор модели из каталога OpenAI
  together: process.env.TOGETHER_MODEL!,  // идентификатор модели из каталога Together
};

احتفظ بمعرفات النموذج في متغيرات البيئة: يتم تحديث الكتالوجات، ويجب ألا يتطلب تبديل النماذج نشر التعليمات البرمجية.

لماذا لا تقوم ببث ملف JSON واحد كبير

إذا طلبت من النموذج إرجاع {"items":[...]}، فستظهر أجزاء مثل {"items":[{"title":"Ко في الدفق. JSON.parse يطرح استثناءً في مثل هذا الجزء، ولا يمكن عرض شيء ما للمستخدم إلا بعد قوس الإغلاق. توجد مكتبات للتحليل الجزئي لـ JSON، ولكنها تعقد التعليمات البرمجية وتتصرف بشكل مختلف على الخطوط المتدلية.

من الأسهل تغيير التنسيق: سطر واحد - كائن JSON كامل (NDJSON). يتم تحليل كل سطر مكتمل والتحقق منه بشكل مستقل.

المطالبة والتحليل

// lib/stream-cards.ts
import { z } from "zod";
import { providers, models } from "./llm";

const Card = z.object({
  title: z.string().min(1).max(120),
  description: z.string().max(500),
  tags: z.array(z.string()).max(5),
});
export type Card = z.infer<typeof Card>;

const SYSTEM = `Отвечай только строками NDJSON. Каждая строка — один JSON-объект вида
{"title": string, "description": string, "tags": string[]}.
Без markdown, без обрамляющего массива, без пояснений до и после.`;

export async function* streamCards(provider: keyof typeof providers, topic: string) {
  const stream = await providers[provider].chat.completions.create({
    model: models[provider],
    stream: true,
    temperature: 0.4,
    messages: [
      { role: "system", content: SYSTEM },
      { role: "user", content: `Сгенерируй 8 карточек по теме: ${topic}` },
    ],
  });

  let buffer = "";
  for await (const chunk of stream) {
    buffer += chunk.choices[0]?.delta?.content ?? "";
    let nl: number;
    while ((nl = buffer.indexOf("\n")) !== -1) {
      const line = buffer.slice(0, nl).trim();
      buffer = buffer.slice(nl + 1);
      const card = parseLine(line);
      if (card) yield card;
    }
  }
  const last = parseLine(buffer.trim());
  if (last) yield last;
}

function parseLine(line: string): Card | null {
  if (!line || line.startsWith("```")) return null;
  حاول {
    نتيجة const = Card.safeParse(JSON.parse(line));
    عودة النتيجة. النجاح؟ result.data: null;
  } أمسك {
    عودة فارغة؛   // الخط المتقطع: تخطي الدفق بأكمله بدلاً من إسقاطه
  }
}

Модель иногда оборачивает ответ в markdown-блок, несмотря на инструкцию; строки с тройными обратными кавычками отбрасываются. Невалидные строки стоит логировать с указанием провайдера и модели — это лучший индикатор того, что модель плохо держит формат.

Structured Outputs и JSON mode

У OpenAI есть Structured Outputs: response_format: { type: "json_schema", json_schema: { name, schema, strict: true } } гарантирует соответствие ответа схеме. Это надёжнее инструкции в промпте, но результат — один JSON-документ, а не NDJSON, и проблема частичного разбора при стриминге возвращается. Вариант: схема с массивом, а для показа по мере генерации — парсер частичного JSON, понимая его ограничения.

У Together поддержка JSON mode и схем зависит от конкретной модели. Перед тем как полагаться на неё, проверьте в их документации список моделей с поддержкой и протестируйте на своих данных. Валидация Zod на вашей стороне нужна в любом случае: гарантия провайдера не отменяет проверку бизнес-ограничений вроде длины полей.

Измерение: TTFT и полное время

// البرامج النصية/bench.ts
استيراد {streamCards} من "../lib/stream-cards"؛

قياس وظيفة غير متزامنة (المزود: "openai" | "معًا"، الموضوع: سلسلة) {
  const t0 = Performance.now();
  دع أولا = 0، العد = 0؛
  للانتظار (const _ ofstreamCards(provider, subject)) {
    if (!first) first = Performance.now() - t0;
    العد++;
  }
  return { Provider, ttftCardMs: Math.round(first), TotalMs: Math.round(performance.now() - t0), count };
}

مواضيع ثابتة = ["CRM لخدمة السيارات"، "قائمة مرجعية لإطلاق متجر عبر الإنترنت"، "أسئلة مقابلة SQL"]؛
for (const p of ["openai"، "together"] as const) {
  for (const t of المواضيع) console.log(await Measure(p, t));
}

Здесь измеряется время до первой валидной карточки, а не до первого токена: для пользователя важно именно оно. Запускайте замер несколько раз в разное время суток из того же региона, где работает ваш сервер, и сравнивайте медианы, а не одиночные значения. Учитывайте и долю отброшенных строк: быстрый поток с невалидными объектами хуже медленного с валидными.

Отдача клиенту

Из Route Handler удобно отдавать тот же NDJSON:

تصدير وظيفة غير متزامنة POST (الطلب: طلب) {
  const {موضوع } = انتظار req.json();
  تشفير const = new TextEncoder();
  نص ثابت = ReadableStream جديد ({
    بداية غير متزامنة (وحدة تحكم) {
      حاول {
        للانتظار (بطاقة const الخاصة بـstreamCards("together"، subject)) {
          Controller.enqueue(encoder.encode(JSON.stringify(card) + "\n"));
        }
      } أخيرا {
        وحدة التحكم. إغلاق ()؛
      }
    },
  });
  إرجاع استجابة جديدة (body, { headers: { "Content-Type": "application/x-ndjson" } });
}

أخطاء شائعة

  • لا تتم معالجة ما تبقى من المخزن المؤقت بعد انتهاء الدفق، ويتم فقدان البطاقة الأخيرة.
  • تكرار الطلب إذا كان هناك فشل في منتصف الدفق يكرر البطاقات المعروضة بالفعل. إما إلغاء التكرار حسب الرأس، أو بدء الإنشاء مرة أخرى ومسح القائمة.
  • التبديل إلى مزود النسخ الاحتياطي دون التحقق من أن طرازه يدعم نفس التنسيق.

عندما لا تكون هناك حاجة للبث

إذا كانت الإجابة قصيرة أو تم استخدام النتيجة برمجيًا (التصنيف، استخراج الحقل)، فإن التدفق يؤدي فقط إلى تعقيد التعليمات البرمجية. يعد الطلب المنتظم باستخدام المخرجات المنظمة أو وضع JSON والتحقق مرة واحدة في النهاية أبسط وأكثر موثوقية.

Нужна реализация под ваш проект или аудит архитектуры?

Разрабатываем сайты на Next.js, Telegram-ботов, интеграции с CRM и ИИ-агентов под ключ.

Обсуждение (0)

Ещё на vbcd4u.com