Muhammad Fari Madyan
Hire me

Menguji Semantic Search Elasticsearch: Golden Set, Toleransi Typo, dan Load Test k6 di Blog Sungguhan

Studi kasus yang bisa direproduksi pada 55 artikel blog ini: enam konfigurasi Elasticsearch diukur dengan golden set berlabel, typo yang di-generate, query negatif, dan load test k6 yang ikut menilai relevansi saat beban tinggi. Peningkatan terbesar justru datang dari apa yang di-embed, bukan dari modelnya.

Muhammad Fari Madyan

ยท 18 menit baca

Read in English โ†’

๐Ÿ‡ฌ๐Ÿ‡ง Read in English


Pertanyaannya

Seseorang bertanya ke saya: "Kalau disuruh stress test endpoint search, kamu pakai apa? Saya mau menilai semantic search dan typo tolerance-nya."

Di dalam kalimat itu sebenarnya ada dua pengujian yang berbeda:

  • Kualitas: apakah artikel yang tepat muncul saat query-nya salah ketik, diparafrasekan, atau ditulis dalam bahasa lain? Ini evaluasi dengan data berlabel, bukan load test.
  • Beban: berapa pencarian per detik yang sanggup dilayani sebelum latency jebol, dan apakah hasilnya memburuk saat sistem sibuk?

Daripada menjawab secara teori, saya jalankan keduanya pada sesuatu yang nyata: pencarian di blog ini. Ada 55 artikel, 49 di antaranya tersedia dalam bahasa Inggris dan Indonesia, 6 hanya dalam satu bahasa. Semua yang ada di bawah bisa direproduksi dari repository (tools/search-eval), dan setiap angkanya berasal dari run tersebut.

Ringkasnya, ini temuannya:

  • Meng-embed seluruh isi artikel (cara default memakai semantic_text) hasilnya tidak lebih baik dari BM25 biasa: nDCG@10 0,739 lawan 0,756.
  • Meng-embed judul dan deskripsi saja, dengan model yang sama, menaikkannya menjadi 0,888. Query lintas bahasa naik dari 0,034 ke 0,643.
  • Toleransi typo sebagian besar sudah didapat gratis. BM25 biasa tetap bagus untuk query beberapa kata yang salah ketik. fuzziness: AUTO terutama membuat hasil teratas lebih stabil, tapi juga mengubah "tidak ada hasil" yang benar menjadi hasil yang salah.
  • Tidak ada satu konfigurasi pun yang bisa membedakan query ngawur dari skornya. "Resep rendang padang" mendapat skor 0,918 di semantic search, setara dengan jawaban yang benar.
  • Load test yang mengulang query yang sama hanya mengukur inference cache Elasticsearch, bukan modelnya. Dengan cache dimatikan, satu allocation model mentok di sekitar 13 inferensi per detik, dan setelah itu request menunggu 10 detik lalu gagal dengan HTTP 408.

1. Setup

KomponenPilihan
EngineElasticsearch 9.1.0, single node di Docker (heap 1 GB), di laptop Apple Silicon
Model.multilingual-e5-small, model E5 multilingual yang dikemas Elastic, satu allocation dengan dua thread
Field semanticsemantic_text, yang memecah teks menjadi chunk (berbasis kalimat, 250 kata, overlap 1 kalimat) lalu meng-embed setiap chunk
Field leksikaljudul, deskripsi, dan isi, dengan analyzer english dan indonesian
Korpussatu dokumen per artikel; versi kedua bahasa masuk ke dokumen yang sama

Artikel saya index sebagai teks polos: blok kode, link, dan blok "Navigasi Series" dibuang. Blok navigasi berisi judul semua bagian lain dalam satu series. Kalau dibiarkan, setiap bagian series akan cocok dengan kata kunci bagian lainnya.

Biaya indexing

Indexing 55 artikel memakan 875,6 detik. Hampir seluruhnya habis untuk model yang meng-embed sekitar 94.000 kata di CPU. Indexing BM25 untuk teks yang sama hanya butuh satu detik. Semantic search memindahkan biaya ke waktu ingest: index ulang setelah mengganti model atau cara chunking tidak gratis, jadi perhitungkan dari awal.

Jebakan pertama: download model

Elasticsearch men-download sendiri model berukuran 470 MB. Di koneksi saya (sekitar 350 KB/s), download putus setelah lima menit dengan pesan Model importing failed due to an IOException [java.io.IOException: Premature EOF]. Solusi yang jalan di koneksi apa pun: download tiga file model dengan client yang bisa melanjutkan download (curl -C -), lalu arahkan Elasticsearch ke foldernya dengan xpack.ml.model_repository=file://.... Ini cara resmi untuk cluster tanpa akses internet, dan saya akan tetap memakainya di production supaya deployment tidak bergantung pada download saat startup.

2. Golden Set

Golden set adalah daftar query beserta dokumen yang seharusnya muncul, dengan nilai:

  • 3: artikel yang menjawab query
  • 2: jelas relevan, hasil kedua yang bagus
  • 1: sebagian relevan, boleh muncul di mana saja dalam top 10

Saya menulis 47 query dalam enam kategori, karena "apakah search-nya bagus?" sebenarnya adalah enam pertanyaan berbeda:

KategorinContohYang diuji
exact13optimistic locking spring boot examkata-kata dari artikelnya sendiri
paraphrase12stop two requests from overwriting the same exam answer at the same timemaksud sama, kata berbeda
crosslang6writing someone else's final thesis for money โ†’ artikel berbahasa Indonesia tentang joki skripsibahasa query berbeda dengan satu-satunya bahasa artikel
slang5gmn cara deploy fastapi ke vps pake dockerbahasa Indonesia informal dengan singkatan
spacing6nest js api, rubyonrails clean architecturenama produk yang dipisah atau digabung
negative5resep rendang padang, flutter bloc state managementtidak ada artikel yang menjawabnya

Tiga query negatif sengaja dibuat nyaris mirip. Blog ini punya artikel React Native, Python, dan topik yang berdekatan dengan Android, jadi flutter bloc state management, golang goroutine worker pool, dan kotlin jetpack compose android app terdengar seperti bagian dari blog. Search engine yang dengan yakin mengembalikan sesuatu untuk query ini menyesatkan penggunanya.

Typo di-generate, bukan ditulis tangan

Typo yang ditulis tangan cenderung hanya typo yang terpikir oleh penulisnya. Jadi saya generate (lib/typos.js): untuk setiap query exact, paraphrase, dan slang dibuat satu varian dengan satu edit dan satu dengan dua edit. Satu edit berarti menghapus huruf, menukar dua huruf berdampingan, atau menyisipkan/mengganti huruf dengan tombol tetangganya di keyboard QWERTY. Huruf pertama tidak pernah diubah, dan kata yang kurang dari empat huruf dibiarkan. Generatornya memakai seed, jadi seed yang sama selalu menghasilkan 60 varian yang sama:

optimistic locking spring boolt exam          (1 edit)
optimistic lockin sprint boot exam            (2 edit)
watching studengs live while they take an online tyest
gmn cara deploy fastapi ke vps pake docklee

Totalnya 107 query.

3. Apa yang Diukur

MetrikPertanyaan yang dijawab
nDCG@10Apakah dokumen terbaik ada di atas? Bernilai bertingkat, jadi nilai 3 di peringkat 1 lebih berharga daripada nilai 1.
Recall@10Apakah semua dokumen relevan masuk halaman pertama?
MRRSeberapa jauh ke bawah hasil bagus pertama (nilai 2 ke atas)?
Zero-result rateSeberapa sering query sungguhan tidak mengembalikan apa-apa?
Ketahanan typoUntuk setiap varian typo dibanding query bersihnya: rasio nDCG, irisan dua daftar top 10, dan apakah hasil teratasnya tetap sama.
Kebocoran negatifKalau hasil di bawah skor 10% jawaban benar terlemah dipotong, berapa query ngawur yang masih menampilkan hasil?

Dengan beberapa puluh query per kategori, angkanya noisy. Karena itu evaluator juga melaporkan confidence interval 95% (bootstrap) untuk skor keseluruhan. Selisih yang lebih kecil dari interval itu bukan temuan.

4. Empat Konfigurasi, dan Satu Kejutan

Saya mulai dengan empat konfigurasi:

  • bm25: BM25 biasa di judul (boost 3), deskripsi (boost 2), dan isi
  • bm25_fuzzy: sama, ditambah fuzziness: AUTO
  • semantic: query semantic pada field semantic_text berisi seluruh teks
  • hybrid: Reciprocal Rank Fusion (RRF) dari bm25_fuzzy dan semantic

Kejutannya ada di semantic search untuk query lintas bahasa, padahal ini justru keunggulan model multilingual. Hasilnya paling buruk dari keempatnya. Untuk empat dari enam query lintas bahasa, artikel yang benar ada di peringkat 31 sampai 46 dari 55. Query tentang menulis skripsi orang lain demi uang malah mengembalikan artikel tentang celah IDOR.

Hipotesis 1: prefix E5 tidak dipakai (gugur)

Model E5 dilatih dengan prefix query: dan passage: , dan performanya turun tanpa prefix itu. Jadi saya cek apakah Elasticsearch menambahkannya. Lewat inference API, embedding yang diminta dengan input_type: search identik dengan embedding teks yang diawali query: secara manual (cosine 1,0000), dan berbeda dengan embedding ingest untuk teks yang sama. Elasticsearch sudah menangani prefix-nya. Bukan ini penyebabnya.

Hipotesis 2: chunk dilution (terbukti)

Dengan semantic_text, satu artikel menjadi banyak chunk 250 kata, dan query dinilai terhadap chunk-chunk itu. Dokumen dinilai dari chunk yang paling cocok. Artikel panjang punya banyak paragraf generik (langkah setup, kesimpulan, "di series ini"), dan selalu ada satu yang lumayan mirip dengan query apa pun. Artikel pendek satu bahasa punya peluang lebih sedikit. Keenam target query lintas bahasa adalah artikel satu bahasa.

Untuk mengujinya, saya meng-embed hanya judul dan deskripsi setiap artikel (kedua bahasa), lalu mengurutkan artikel berdasarkan cosine similarity terhadap setiap query parafrase dan lintas bahasa. Model sama, query sama:

QueryPeringkat jawaban terbaik, judul + deskripsiPeringkat jawaban terbaik, chunk seluruh teks
c04 when should an early stage company hire a contract frontend engineer246
c06 writing someone else's final thesis for money338
c01 alasan tidak memakai kontainer saat hosting aplikasi next1331
p07 hosting a react framework site on a cheap server without containers19
MRR jawaban terbaik, 18 query0,6930,486

Modelnya paham query-nya. Cara skor digabungkan dari chunk-chunk itulah yang menenggelamkan jawabannya.

Jadi saya tambahkan field kedua, summary_semantic (judul dan deskripsi dalam dua bahasa), dan dua konfigurasi yang memakainya:

  • semantic_summary: query semantic hanya pada field ringkasan
  • hybrid_summary: RRF dari bm25_fuzzy, semantic seluruh teks, dan semantic_summary

Menambahkan field ini tidak perlu index ulang. Update mapping ditambah partial update lewat bulk untuk satu field itu selesai dalam 39,9 detik, dibanding 875,6 detik untuk seluruh teks, karena hanya field baru yang di-embed.

5. Golden Set-nya Juga Diperbaiki

Evaluator mencatat setiap dokumen tanpa label yang muncul di top 5 (out/unrated.json). Setelah run pertama, ada dokumen tanpa label untuk 42 query. Kebanyakan memang tidak relevan, tapi tidak semuanya. Untuk query watching students live while they take an online test, semantic search mengembalikan Laravel E-Learning Part 6, yang punya satu bagian khusus berjudul "Live Exam Monitor Widget". Artikel itu belum saya label.

Begitulah evaluation set biasanya dibangun (pooling): ambil hasil teratas dari semua sistem yang diuji sebagai kandidat, lalu nilai secara manual. Aturan saya: label hanya ditambahkan kalau artikelnya punya bagian yang menjawab query, dibuktikan dari isi artikel. Sekadar menyebut kata kuncinya tidak dihitung. Hasilnya ada 17 label tambahan, total 84. Tanpa langkah ini, konfigurasi yang menemukan dokumen relevan yang lupa dilabel justru dihukum, dan semantic search lebih sering melakukan itu dibanding BM25.

6. Hasil

Semua angka di bawah berasal dari run terakhir: enam konfigurasi, label final, 107 query.

nDCG@10 per kategori query

Kategorinbm25bm25_fuzzysemantichybridsemantic_summaryhybrid_summary
exact130,9800,9800,9700,9860,9870,990
typo, 1 edit300,8160,7960,8510,8820,8880,924
typo, 2 edit300,7790,7730,7840,8210,8120,877
paraphrase120,5990,5270,7490,7120,8150,845
crosslang60,2880,3980,0340,2710,6430,330
slang50,9100,9100,7290,9890,9730,988
spacing60,9270,8680,9360,9970,9920,997
semua query bersih420,7560,7430,7390,8070,8880,855
CI 95%0,65โ€“0,850,64โ€“0,840,64โ€“0,840,71โ€“0,900,82โ€“0,950,76โ€“0,93

Ketahanan terhadap typo

Setiap varian typo dibandingkan dengan query bersihnya:

Konfigurasi1 edit: rasio nDCG1 edit: hasil teratas sama2 edit: rasio nDCG2 edit: hasil teratas sama
bm251,0090%0,9587%
bm25_fuzzy1,01100%0,9887%
semantic1,0180%0,9367%
hybrid1,0183%0,9470%
semantic_summary0,9790%0,8977%
hybrid_summary0,99100%0,9487%

(Rasio sedikit di atas 1 adalah noise: varian typo kebetulan menaruh dokumen relevan lebih tinggi daripada query bersihnya.)

Query negatif

KonfigurasiAmbang skor (10% jawaban benar terlemah)Query negatif di atas ambang
bm2512,6521 dari 5 (flutter bloc state management)
bm25_fuzzy12,8761 dari 5 (sama)
semantic0,9211 dari 5; empat lainnya antara 0,910 dan 0,918
semantic_summary0,9052 dari 5 (resep rendang padang 0,914, kotlin jetpack compose android app 0,909)
hybrid, hybrid_summarytidak berlakuskor RRF berasal dari peringkat, bukan dari kemiripan

7. Apa Arti Angka-Angka Ini

Toleransi typo: sebagian besar gratis, dan fuzziness ada harganya

Untuk query beberapa kata, BM25 biasa sudah toleran terhadap typo: satu kata salah ketik dari lima kata masih menyisakan empat kata yang cocok. Rasio nDCG-nya untuk typo satu edit adalah 1,00. Yang ditambahkan fuzziness: AUTO adalah stabilitas: hasil teratas tetap sama untuk 100% typo satu edit, bukan 90%.

Harganya:

  • Parafrase memburuk, dari 0,599 ke 0,527. Fuzzy matching membuat kata-kata yang tidak berhubungan tapi berjarak satu edit ikut cocok.
  • "Tidak ada hasil" menghilang. resep rendang padang tidak mengembalikan apa pun di BM25 biasa, dan itu benar. Dengan fuzziness, query yang sama mengembalikan 38 artikel. Highlight menunjukkan resep cocok dengan "reset", rendang dengan "rancang", dan padang dengan "pandang" serta "papan". Semuanya match satu atau dua edit yang sah, dan semuanya salah.
  • Ada biaya latency: median took naik dari sekitar 2 ms ke 16 ms.

Toleransi typo paling penting untuk query satu atau dua kata, ketika satu typo berarti seluruh query-nya salah. Kalau pengguna kamu kebanyakan mengetik query pendek (nama produk, nama orang), fuzziness sepadan dengan harganya. Untuk query berbentuk kalimat, sisi semantic sudah menutupinya.

Semantic pada seluruh teks tidak lebih baik dari BM25

Secara keseluruhan 0,739 lawan 0,756, dengan interval yang bertumpuk. Semantic search membantu parafrase (0,749 lawan 0,599), tapi merugikan query lintas bahasa dan slang. Menyalakan semantic_text tidak otomatis menjadi peningkatan.

Apa yang di-embed lebih penting daripada modelnya

Model kecil yang sama, diberi satu teks pendek per artikel alih-alih puluhan chunk, naik dari 0,739 ke 0,888. Intervalnya (0,82โ€“0,95) nyaris tidak bersentuhan dengan interval seluruh teks (0,64โ€“0,84). Jadi ini satu-satunya selisih keseluruhan di studi ini yang saya anggap nyata. Untuk sebuah blog, judul dan deskripsi menjelaskan artikel itu tentang apa, sedangkan isinya juga membahas banyak hal lain.

Ada kompromi yang terlihat di Recall@10: semantic_summary menemukan jawaban terbaik paling awal (MRR 0,89 untuk parafrase), tapi lebih banyak melewatkan jawaban sekunder (Recall@10 0,65 lawan 0,85), karena ringkasan tidak menyebut semua yang dibahas sebuah artikel.

RRF juga bisa memperburuk hasil

hybrid_summary terbaik atau seri terbaik di lima dari tujuh kategori, dan paling tahan typo. Tapi untuk query lintas bahasa ia turun ke 0,330, padahal ringkasan saja mendapat 0,643. RRF hanya melihat peringkat. Kalau BM25 dan semantic seluruh teks sama-sama menaruh artikel yang salah di atas, keduanya mengalahkan satu-satunya retriever yang benar. Fusion merata-ratakan pendapat, bukan memilih yang paling ahli.

Tidak ada ambang skor yang bisa memisahkan query ngawur dari jawaban

Similarity E5 berada di rentang yang sempit: jawaban benar dan resep rendang sama-sama mendapat skor kira-kira 0,90 sampai 0,94. min_score akan memotong jawaban yang benar sebelum memotong query ngawur. Kalau "tidak ada hasil" penting untuk produk kamu, perlu mekanisme lain: mewajibkan match leksikal (misalnya minimum_should_match di sisi BM25), reranker yang dilatih untuk relevansi, atau classifier untuk "apakah query ini masih dalam cakupan".

Yang akan saya pakai untuk blog ini

hybrid_summary, dengan dua tindak lanjut: jawaban yang lebih baik untuk query lintas bahasa (menaikkan bobot retriever ringkasan, atau menerjemahkan judul saat indexing), dan aturan "tidak ada hasil" yang terpisah. Saya tidak akan men-tuning bobot dengan 47 query ini lalu menyebut hasilnya bukti. Dengan query sesedikit ini, tuning pada data uji adalah cara paling cepat untuk overfit.

8. Load Test

Script k6 (k6/search-load.js) melakukan tiga hal yang tidak dilakukan tes "gempur satu URL":

  • Mengirim campuran query, bukan satu query. Satu query yang diulang hanya menguji cache.
  • Menilai setiap response dengan nDCG@10 terhadap label golden, jadi "kualitas saat beban tinggi" menjadi metrik di samping latency, bukan tebakan.
  • Menandai setiap request dengan tahap bebannya (6 rps, 12 rps, ...), sehingga ringkasan menunjukkan di mana latency jebol, bukan satu rata-rata untuk seluruh run.

Profil stress naik melalui empat tahap (30 detik naik, satu menit ditahan), dengan batas p95 satu detik dan batas error 1%.

Inference cache akan membohongimu

Setelah beberapa run, query semantic yang tadinya 60โ€“80 ms tiba-tiba hanya 2 ms. Statistik deployment menjelaskan sebabnya: deployment model menyimpan inference cache, yang secara default sebesar ukuran modelnya (di sini 448 MB), dan 1.286 dari 1.920 inferensi pertama dilayani dari cache itu. Load test yang mengulang 107 query yang sama hanya mengukur cache tersebut.

Perbaikan pertama saya adalah memberi setiap request typo acak yang baru. Ternyata tidak cukup: query pendek hanya punya beberapa puluh varian satu edit, dan setelah beberapa ribu request variannya berulang. Di run itu 53% inferensi masih kena cache. Untuk angka cold di bawah, deployment saya restart dengan cache_size=0, dan saya pastikan jumlah cache hit tetap nol.

Hasil

Semua run di laptop yang sama, satu allocation model dengan dua thread.

RunTahapLatency p95GagalnDCG@10 (response sukses)
bm25_fuzzy, tanpa model10 / 20 / 30 / 40 rps40 / 32 / 31 / 30 ms0%0,78
hybrid_summary, query golden, cache aktif (100% hit)10 / 20 / 30 / 40 rps90 / 89 / 88 / 89 ms0%0,88
semantic_summary, typo baru, cache mati6 / 12 rps113 / 115 ms0%0,87
18 / 24 rps10 detik (timeout)53% dari seluruh run
hybrid_summary, typo baru, cache mati3 / 6 rps299 / 368 ms0%0,90โ€“0,91
9 / 12 rps10 detik (timeout)57% dari seluruh run

Apa kata load test-nya

Model adalah bottleneck, dan batasnya keras. Tanpa cache, satu inferensi rata-rata butuh 75 ms. Satu allocation menjalankan satu inferensi pada satu waktu, jadi batasnya sekitar 1000 / 75 โ‰ˆ 13 inferensi per detik. Data mengonfirmasinya: semantic_summary (satu inferensi per query) runtuh di antara 12 dan 18 rps, dan hybrid_summary runtuh di antara 6 dan 9 rps. BM25 sama sekali tidak mendekati batas di 40 rps.

hybrid_summary menjalankan model dua kali per query. Jumlah inferensi naik dua per request: setiap klausa semantic meng-embed teks query sendiri-sendiri, walaupun teksnya sama. Dua retriever semantic memotong kapasitas jadi separuh. Embedding query yang dihitung sekali lalu dipakai ulang akan menghindarinya.

Setelah melewati batas, request tidak langsung gagal. Request mengantre di belakang model lalu gagal tepat setelah 10 detik dengan HTTP 408: timeout [10s] waiting for inference result. Saya mereproduksinya dengan 200 query unik sekaligus: 44 berhasil, 156 mendapat 408. Bagi pengguna, artinya sepuluh detik melihat loading, lalu error. Aplikasi di depan Elasticsearch sebaiknya memakai timeout yang lebih pendek lalu jatuh ke hasil BM25, yang hanya butuh 30 ms dan tidak menyentuh model.

Kualitas tidak menurun sebelum kegagalan dimulai. Per kategori, run query golden di bawah beban hampir persis sama dengan evaluasi offline (typo1 0,927 lawan 0,924, paraphrase 0,846 lawan 0,845, crosslang 0,321 lawan 0,330). Tidak ada penurunan diam-diam; bentuk kegagalannya adalah error, bukan hasil yang lebih buruk. Karena itu juga nDCG dari response sukses harus dibaca bersama error rate: request yang timeout bernilai nol bagi pengguna, tapi tidak muncul di rata-rata itu.

Perencanaan kapasitas memakai angka cold. Cache membuat query populer murah (90 ms dan datar di 40 rps), tapi query long-tail kebanyakan unik, dan batas cold-lah yang ditabrak saat query seperti itu datang bersamaan. Throughput naik dengan number_of_allocations (setiap allocation butuh thread CPU sendiri), latency per query dengan threads_per_allocation. Di satu node kecil, kemenangan termurah adalah tidak menjalankan model dua kali per query.

9. Checklist

  1. Pisahkan kualitas dari beban. Load test menjawab "seberapa cepat", golden set menjawab "seberapa bagus". Keduanya perlu.
  2. Beri label per kategori query, termasuk query negatif dan yang nyaris mirip, lalu laporkan tiap kategori terpisah. Satu angka keseluruhan bisa menyembunyikan 0,034.
  3. Generate typo dengan seed dan jumlah edit yang jelas. Bandingkan setiap varian dengan query bersihnya.
  4. Kumpulkan hasil tanpa label dari semua konfigurasi lalu nilai manual. Kalau tidak, sistem yang menemukan apa yang kamu lupakan justru dihukum.
  5. Laporkan confidence interval. Dengan 5 atau 6 query per kategori, kebanyakan selisih per kategori hanyalah noise.
  6. Periksa apa yang di-embed, bukan hanya modelnya. Chunk dilution tidak terlihat sampai kamu membandingkannya dengan ringkasan pendek.
  7. Jangan percaya min_score pada embedding sebelum mengukur query negatif.
  8. Bongkar inference cache saat load test, atau yang kamu ukur hanyalah sebuah hash map.
  9. Ukur relevansi selama load test, bukan hanya latency.

10. Mereproduksinya

BASH
# Elasticsearch 9.1 dengan model dari folder lokal (lihat tools/search-eval/README.md)
cd tools/search-eval
node make-queries.mjs     # golden set + 60 varian typo ber-seed -> out/queries.json
node setup-index.mjs      # inference endpoint, index, 55 artikel (~15 menit di CPU)
node evaluate.mjs         # enam konfigurasi -> out/eval-report.md

# run cold: restart deployment model dengan cache_size=0 dulu (README, "Measuring the cold cost")
docker run --rm -i --network container:es-search-eval -v "$PWD":/work -w /work \
  grafana/k6:1.0.0 run -e CONFIG=hybrid_summary -e QUERY_MODE=fresh \
  -e PROFILE=stress -e PEAK=12 -e P95=1000 k6/search-load.js

Untuk menguji aplikasi kamu sendiri, bukan Elasticsearch langsung, kedua tool menerima endpoint-mu: node evaluate.mjs --api "https://aplikasi-kamu/api/search?q={q}" dan k6 run -e API_URL=.... Ganti golden-set.json dengan query dan label dari domain kamu sendiri; sisanya tetap sama.

Keterbatasan

  • 55 dokumen, satu orang pemberi label (saya), 47 query. Metodenya bisa dipakai di mana saja, angka pastinya tidak.
  • Satu laptop menjalankan Elasticsearch, load generator, dan container lain sekaligus. Angka latency hanya relatif antar konfigurasi, bukan perencanaan kapasitas server.
  • Trial license dinyalakan supaya semua fitur machine learning tersedia. Cek apa yang termasuk dalam subscription kamu sebelum mengandalkan fitur ini di production.
BagikanLinkedInXWhatsApp

Ditulis oleh Muhammad Fari Madyan

Senior Full Stack Engineer dan co-founder LampungDev. Saya menuliskan apa yang saya bangun supaya orang lain bisa ikut belajar.

Ajak kerja sama
tulisan lainKembali ke semua artikel โ†’berikutnya โ†’System Design Roadmap Part 1: Fondasi Jaringan โ€“ Paket Data, TCP/UDP, TLS & REST

Muhammad Fari Madyan

Senior Full Stack Engineer building web and mobile systems that hold up in production. Co-founder of LampungDev. Based in Bandar Lampung, Indonesia (UTC+7), working remote.

Work

Case studiesCahTixExam platform, 4 stacksOpen source

ยฉ 2026 Muhammad Fari Madyan

Designed and built by Muhammad Fari Madyan