Pagination di MongoDB untuk 100k+ dokumen: kursor keyset alih-alih lewati
Mengapa umpan melambat pada halaman yang jauh?
Penomoran halaman klasik terlihat tidak berbahaya:
db.posts.find({ status: "published" })
.sort({ createdAt: -1 })
.skip((page - 1) * 20)
.limit(20);Di halaman pertama itu cepat. Pada halaman 3000, server perlu melintasi indeks 60.000 catatan, membuangnya, dan baru kemudian mengembalikan 20. Biaya meningkat secara linear dengan nomor halaman. Dalam pipa agregasi, $skip bekerja dengan cara yang sama: mengganti find dengan aggregate tidak menyelesaikan masalah, dan membandingkan “agregasi versus kursor” sebenarnya berarti membandingkan pagination offset dengan pagination keyset.
Ada cacat kedua: jika postingan baru muncul di antara permintaan halaman, postingan akan bergeser dan pengguna melihat elemen duplikat atau dilewati.
Penomoran halaman keyset
Ide: alih-alih nomor halaman, klien meneruskan nilai kunci pengurutan elemen terakhir, dan permintaan dilanjutkan dari titik ini berdasarkan indeks.
Kunci pengurutan harus unik. createdAt sendiri tidak unik - dua postingan dapat memiliki waktu yang sama dalam satu milidetik. Oleh karena itu, kami mengurutkan berdasarkan pasangan (createdAt, _id).
db.posts.createIndex({ status: 1, createdAt: -1, _id: -1 });Urutan bidang dalam indeks mengikuti aturan kesetaraan, pengurutan, rentang (ESR) seperti yang dijelaskan dalam dokumentasi MongoDB: bidang pencocokan tepat terlebih dahulu (status), lalu pengurutan bidang, lalu kondisi rentang.
Implementasi di Node.js
import { ObjectId, type Collection } from "mongodb";
type Cursor = { c: string; id: string }; // createdAt ISO + _id hex
const encode = (doc: { createdAt: Date; _id: ObjectId }) =>
Buffer.from(JSON.stringify({ c: doc.createdAt.toISOString(), id: doc._id.toHexString() })).toString("base64url");
const decode = (s: string): Cursor => JSON.parse(Buffer.from(s, "base64url").toString());
export async function listPosts(posts: Collection, after?: string, limit = 20) {
const filter: Record<string, unknown> = { status: "published" };
if (after) {
const { c, id } = decode(after);
const createdAt = new Date(c);
const _id = new ObjectId(id);
filter.$or = [
{ createdAt: { $lt: createdAt } },
{ createdAt, _id: { $lt: _id } },
];
}
const docs = await posts
.find(filter, { projection: { title: 1, slug: 1, createdAt: 1 } })
.sort({ createdAt: -1, _id: -1 })
.limit(limit + 1) // на один больше, чтобы узнать, есть ли следующая страница
.toArray();
const hasMore = docs.length > limit;
const page = hasMore ? docs.slice(0, limit) : docs;
return {
items: page,
nextCursor: hasMore ? encode(page[page.length - 1] as any) : null,
};
}Kursornya buram bagi klien: ia meneruskan string kembali sebagaimana adanya. Pastikan untuk memvalidasi nilai yang didekodekan (tanggal valid, hex 24 karakter untuk ObjectId), jika tidak, kursor sampah akan menghasilkan pengecualian dan respons 500.
Periksa melalui penjelasan
db.posts.find({
status: "published",
$or: [
{ createdAt: { $lt: ISODate("2026-10-01T00:00:00Z") } },
{ createdAt: ISODate("2026-10-01T00:00:00Z"), _id: { $lt: ObjectId("6710f0c2a1b2c3d4e5f60718") } }
]
}).sort({ createdAt: -1, _id: -1 }).limit(21).explain("executionStats")Lihatlah tiga nilai di executionStats:
totalKeysExamineddantotalDocsExaminedharus mendekatinReturned, bukan puluhan ribu;- rencana tidak boleh memiliki tahap
SORT- penyortiran harus dilakukan berdasarkan indeks; winningPlanmenggunakan indeks gabungan Anda, bukan hanya{ createdAt: -1 }.
Jika penjadwal memilih rencana buruk dengan $or, Anda dapat membagi kondisi menjadi dua kueri atau menyarankan indeks menggunakan hint.
Jumlah total
Antarmuka menyukai "halaman 5 dari 4312". Filter countDocuments yang tepat pada koleksi besar melewati semua kunci indeks yang cocok pada setiap kueri. Pilihan:
- jangan tampilkan jumlah total dalam feed tanpa akhir sama sekali;
estimatedDocumentCount()- cepat, tetapi hanya untuk seluruh koleksi tanpa filter;- simpan penghitung dalam cache dan perbarui sesuai jadwal atau saat dipublikasikan.
Menggabungkan $facet dengan data dan penghitung dalam satu agregasi terlihat elegan, namun melakukan kedua pass yang berat pada setiap permintaan.
Kesalahan umum
- Hanya mengurutkan berdasarkan
createdAt: dengan nilai yang sama, elemen akan hilang pada batas halaman. - Indeks
{ createdAt: -1 }tanpastatusdi awal: filter berdasarkan status dilakukan setelah membaca dokumen. - Kursor berupa nomor halaman yang masih berubah menjadi
skipdi server. - Arah perbandingan tidak sesuai dengan penyortiran: dengan
-1Anda memerlukan$lt, dengan1-$gt.
Bila keyset tidak sesuai
Jika pengguna perlu melompat ke halaman sembarang (tabel di panel admin dengan nomor halaman), keyset tidak menyediakannya. Untuk koleksi kecil yang kedalaman penomorannya dibatasi hingga puluhan halaman, skip lebih sederhana dan berfungsi dengan baik. Komprominya adalah membatasi jumlah halaman maksimum dan menawarkan filter dan pencarian alih-alih menggulir dalam-dalam.