v(i)b(e)c(o)d(e)4u.com
Назад на форум vbcd4u.com
🔥 Нейросети2026-11-17T09:13:00.000Z▲ 0 upvotes

100.000'den fazla belge için MongoDB'de sayfalandırma: atlama yerine tuş takımı imleci

@murdasoftРедакция vbcd4u · MurdaSoft
Открыть все обсуждения →

Uzak sayfalarda yayın akışı neden yavaşlıyor?

Klasik sayfalandırma zararsız görünüyor:

db.posts.find({ status: "published" })
  .sort({ createdAt: -1 })
  .skip((page - 1) * 20)
  .limit(20);

İlk sayfada hızlı. 3000 sayfasında, sunucunun 60.000 kayıttan oluşan dizini geçmesi, bunları atması ve ancak bundan sonra 20'yi döndürmesi gerekir. Maliyet, sayfa numarasıyla doğrusal olarak artar. Toplama hattında, $skip aynı şekilde çalışır: find'u aggregate ile değiştirmek sorunu çözmez ve "toplamaya karşı imleç" karşılaştırması aslında ofset sayfalandırmayı anahtar kümesi sayfalandırmayla karşılaştırmaya gelir.

İkinci bir kusur daha var: Sayfa istekleri arasında yeni gönderiler belirirse, gönderiler kaydırılır ve kullanıcı kopyaları görür veya öğeleri atlar.

Tuş takımı sayfalandırması

Fikir: İstemci sayfa numarası yerine son öğenin sıralama anahtarının değerini iletir ve istek bu noktadan itibaren dizine göre devam eder.

Sıralama anahtarı benzersiz olmalıdır. createdAt kendisi benzersiz değildir; iki gönderi bir milisaniye içinde aynı zamana sahip olabilir. Bu nedenle (createdAt, _id) çiftine göre sıralıyoruz.

db.posts.createIndex({ status: 1, createdAt: -1, _id: -1 });

Dizindeki alanların sırası, MongoDB belgelerinde açıklandığı gibi eşitlik, sıralama, aralık (ESR) kuralını takip eder: önce tam eşleşme alanları (status), ardından alanları sıralayın, ardından aralık koşulları.

Node.js'de uygulama

import { ObjectId, type Collection } from "mongodb";

type Cursor = { c: string; id: string };   // createdAt ISO + _id hex

const encode = (doc: { createdAt: Date; _id: ObjectId }) =>
  Buffer.from(JSON.stringify({ c: doc.createdAt.toISOString(), id: doc._id.toHexString() })).toString("base64url");

const decode = (s: string): Cursor => JSON.parse(Buffer.from(s, "base64url").toString());

export async function listPosts(posts: Collection, after?: string, limit = 20) {
  const filter: Record<string, unknown> = { status: "published" };

  if (after) {
    const { c, id } = decode(after);
    const createdAt = new Date(c);
    const _id = new ObjectId(id);
    filter.$or = [
      { createdAt: { $lt: createdAt } },
      { createdAt, _id: { $lt: _id } },
    ];
  }

  const docs = await posts
    .find(filter, { projection: { title: 1, slug: 1, createdAt: 1 } })
    .sort({ createdAt: -1, _id: -1 })
    .limit(limit + 1)                    // на один больше, чтобы узнать, есть ли следующая страница
    .toArray();

  const hasMore = docs.length > limit;
  const page = hasMore ? docs.slice(0, limit) : docs;
  return {
    items: page,
    nextCursor: hasMore ? encode(page[page.length - 1] as any) : null,
  };
}

İmleç istemciye karşı opaktır: dizeyi olduğu gibi geri iletir. Kodu çözülmüş değeri (geçerli tarih, ObjectId için 24 karakterlik onaltılık) doğruladığınızdan emin olun, aksi takdirde çöp imleci bir istisnaya ve 500 yanıta neden olur.

Açıklama yoluyla kontrol edin

db.posts.find({
  status: "published",
  $or: [
    { createdAt: { $lt: ISODate("2026-10-01T00:00:00Z") } },
    { createdAt: ISODate("2026-10-01T00:00:00Z"), _id: { $lt: ObjectId("6710f0c2a1b2c3d4e5f60718") } }
  ]
}).sort({ createdAt: -1, _id: -1 }).limit(21).explain("executionStats")

executionStats içindeki üç değere bakın:

  • totalKeysExamined ve totalDocsExamined onbinlerce değil, nReturned'a yakın olmalıdır;
  • planın SORT aşaması olmamalıdır - sıralama indekse göre yapılmalıdır;
  • winningPlan yalnızca { createdAt: -1 } değil, bileşik dizininizi kullanır.

Zamanlayıcı $or ile kötü bir plan seçerse, koşulu iki sorguya bölebilir veya hint kullanarak bir dizin önerebilirsiniz.

Toplam miktar

Arayüzler "sayfa 5 / 4312"yi sever. Büyük bir koleksiyondaki tam bir countDocuments filtresi, her sorguda eşleşen tüm dizin anahtarlarından geçer. Seçenekler:

  • sonsuz beslemede toplam sayıyı hiçbir şekilde göstermeyin;
  • estimatedDocumentCount() - hızlı, ancak yalnızca filtre olmadan koleksiyonun tamamı için;
  • sayacı önbelleğe alın ve bir programa göre veya yayınlandığında güncelleyin.

$facet'u veri ve sayaçla tek bir toplamada birleştirmek zarif görünür, ancak her istekte her iki ağır geçişi de gerçekleştirir.

Yaygın hatalar

  • Yalnızca createdAt'a göre sıralama: aynı değerlere sahip öğeler sayfa sınırlarında kaybolur.
  • Başlangıçta status olmadan { createdAt: -1 } dizini: duruma göre filtreleme, belgeler okunduktan sonra yapılır.
  • Sunucuda hâlâ skip biçimine dönüşen, sayfa numarası biçimindeki imleç.
  • Karşılaştırma yönü sıralamayla örtüşmüyor: -1 ile $lt'a ihtiyacınız var, 1 - $gt ile.

Tuş takımı uygun olmadığında

Kullanıcının rastgele bir sayfaya (yönetici panelinde sayfa numaralarını içeren bir tablo) atlaması gerekiyorsa, tuş takımı bunu sağlamaz. Sayfalandırma derinliğinin onlarca sayfayla sınırlı olduğu küçük koleksiyonlar için skip daha basittir ve iyi çalışır. Uzlaşma, maksimum sayfa sayısını sınırlamak ve derin kaydırma yerine filtreler ve arama sunmaktır.

Обсуждение (0)

Ещё на vbcd4u.com