๐ฌ๐ง Read in English
Pertanyaannya
Seseorang bertanya ke saya: "Kalau disuruh stress test endpoint search, kamu pakai apa? Saya mau menilai semantic search dan typo tolerance-nya."
Di dalam kalimat itu sebenarnya ada dua pengujian yang berbeda:
- Kualitas: apakah artikel yang tepat muncul saat query-nya salah ketik, diparafrasekan, atau ditulis dalam bahasa lain? Ini evaluasi dengan data berlabel, bukan load test.
- Beban: berapa pencarian per detik yang sanggup dilayani sebelum latency jebol, dan apakah hasilnya memburuk saat sistem sibuk?
Daripada menjawab secara teori, saya jalankan keduanya pada sesuatu yang nyata: pencarian di blog ini. Ada 55 artikel, 49 di antaranya tersedia dalam bahasa Inggris dan Indonesia, 6 hanya dalam satu bahasa. Semua yang ada di bawah bisa direproduksi dari repository (tools/search-eval), dan setiap angkanya berasal dari run tersebut.
Ringkasnya, ini temuannya:
- Meng-embed seluruh isi artikel (cara default memakai
semantic_text) hasilnya tidak lebih baik dari BM25 biasa: nDCG@10 0,739 lawan 0,756. - Meng-embed judul dan deskripsi saja, dengan model yang sama, menaikkannya menjadi 0,888. Query lintas bahasa naik dari 0,034 ke 0,643.
- Toleransi typo sebagian besar sudah didapat gratis. BM25 biasa tetap bagus untuk query beberapa kata yang salah ketik.
fuzziness: AUTOterutama membuat hasil teratas lebih stabil, tapi juga mengubah "tidak ada hasil" yang benar menjadi hasil yang salah. - Tidak ada satu konfigurasi pun yang bisa membedakan query ngawur dari skornya. "Resep rendang padang" mendapat skor 0,918 di semantic search, setara dengan jawaban yang benar.
- Load test yang mengulang query yang sama hanya mengukur inference cache Elasticsearch, bukan modelnya. Dengan cache dimatikan, satu allocation model mentok di sekitar 13 inferensi per detik, dan setelah itu request menunggu 10 detik lalu gagal dengan HTTP 408.
1. Setup
| Komponen | Pilihan |
|---|---|
| Engine | Elasticsearch 9.1.0, single node di Docker (heap 1 GB), di laptop Apple Silicon |
| Model | .multilingual-e5-small, model E5 multilingual yang dikemas Elastic, satu allocation dengan dua thread |
| Field semantic | semantic_text, yang memecah teks menjadi chunk (berbasis kalimat, 250 kata, overlap 1 kalimat) lalu meng-embed setiap chunk |
| Field leksikal | judul, deskripsi, dan isi, dengan analyzer english dan indonesian |
| Korpus | satu dokumen per artikel; versi kedua bahasa masuk ke dokumen yang sama |
Artikel saya index sebagai teks polos: blok kode, link, dan blok "Navigasi Series" dibuang. Blok navigasi berisi judul semua bagian lain dalam satu series. Kalau dibiarkan, setiap bagian series akan cocok dengan kata kunci bagian lainnya.
Biaya indexing
Indexing 55 artikel memakan 875,6 detik. Hampir seluruhnya habis untuk model yang meng-embed sekitar 94.000 kata di CPU. Indexing BM25 untuk teks yang sama hanya butuh satu detik. Semantic search memindahkan biaya ke waktu ingest: index ulang setelah mengganti model atau cara chunking tidak gratis, jadi perhitungkan dari awal.
Jebakan pertama: download model
Elasticsearch men-download sendiri model berukuran 470 MB. Di koneksi saya (sekitar 350 KB/s), download putus setelah lima menit dengan pesan Model importing failed due to an IOException [java.io.IOException: Premature EOF]. Solusi yang jalan di koneksi apa pun: download tiga file model dengan client yang bisa melanjutkan download (curl -C -), lalu arahkan Elasticsearch ke foldernya dengan xpack.ml.model_repository=file://.... Ini cara resmi untuk cluster tanpa akses internet, dan saya akan tetap memakainya di production supaya deployment tidak bergantung pada download saat startup.
2. Golden Set
Golden set adalah daftar query beserta dokumen yang seharusnya muncul, dengan nilai:
- 3: artikel yang menjawab query
- 2: jelas relevan, hasil kedua yang bagus
- 1: sebagian relevan, boleh muncul di mana saja dalam top 10
Saya menulis 47 query dalam enam kategori, karena "apakah search-nya bagus?" sebenarnya adalah enam pertanyaan berbeda:
| Kategori | n | Contoh | Yang diuji |
|---|---|---|---|
| exact | 13 | optimistic locking spring boot exam | kata-kata dari artikelnya sendiri |
| paraphrase | 12 | stop two requests from overwriting the same exam answer at the same time | maksud sama, kata berbeda |
| crosslang | 6 | writing someone else's final thesis for money โ artikel berbahasa Indonesia tentang joki skripsi | bahasa query berbeda dengan satu-satunya bahasa artikel |
| slang | 5 | gmn cara deploy fastapi ke vps pake docker | bahasa Indonesia informal dengan singkatan |
| spacing | 6 | nest js api, rubyonrails clean architecture | nama produk yang dipisah atau digabung |
| negative | 5 | resep rendang padang, flutter bloc state management | tidak ada artikel yang menjawabnya |
Tiga query negatif sengaja dibuat nyaris mirip. Blog ini punya artikel React Native, Python, dan topik yang berdekatan dengan Android, jadi flutter bloc state management, golang goroutine worker pool, dan kotlin jetpack compose android app terdengar seperti bagian dari blog. Search engine yang dengan yakin mengembalikan sesuatu untuk query ini menyesatkan penggunanya.
Typo di-generate, bukan ditulis tangan
Typo yang ditulis tangan cenderung hanya typo yang terpikir oleh penulisnya. Jadi saya generate (lib/typos.js): untuk setiap query exact, paraphrase, dan slang dibuat satu varian dengan satu edit dan satu dengan dua edit. Satu edit berarti menghapus huruf, menukar dua huruf berdampingan, atau menyisipkan/mengganti huruf dengan tombol tetangganya di keyboard QWERTY. Huruf pertama tidak pernah diubah, dan kata yang kurang dari empat huruf dibiarkan. Generatornya memakai seed, jadi seed yang sama selalu menghasilkan 60 varian yang sama:
optimistic locking spring boolt exam (1 edit)
optimistic lockin sprint boot exam (2 edit)
watching studengs live while they take an online tyest
gmn cara deploy fastapi ke vps pake docklee
Totalnya 107 query.
3. Apa yang Diukur
| Metrik | Pertanyaan yang dijawab |
|---|---|
| nDCG@10 | Apakah dokumen terbaik ada di atas? Bernilai bertingkat, jadi nilai 3 di peringkat 1 lebih berharga daripada nilai 1. |
| Recall@10 | Apakah semua dokumen relevan masuk halaman pertama? |
| MRR | Seberapa jauh ke bawah hasil bagus pertama (nilai 2 ke atas)? |
| Zero-result rate | Seberapa sering query sungguhan tidak mengembalikan apa-apa? |
| Ketahanan typo | Untuk setiap varian typo dibanding query bersihnya: rasio nDCG, irisan dua daftar top 10, dan apakah hasil teratasnya tetap sama. |
| Kebocoran negatif | Kalau hasil di bawah skor 10% jawaban benar terlemah dipotong, berapa query ngawur yang masih menampilkan hasil? |
Dengan beberapa puluh query per kategori, angkanya noisy. Karena itu evaluator juga melaporkan confidence interval 95% (bootstrap) untuk skor keseluruhan. Selisih yang lebih kecil dari interval itu bukan temuan.
4. Empat Konfigurasi, dan Satu Kejutan
Saya mulai dengan empat konfigurasi:
bm25: BM25 biasa di judul (boost 3), deskripsi (boost 2), dan isibm25_fuzzy: sama, ditambahfuzziness: AUTOsemantic: querysemanticpada fieldsemantic_textberisi seluruh tekshybrid: Reciprocal Rank Fusion (RRF) daribm25_fuzzydansemantic
Kejutannya ada di semantic search untuk query lintas bahasa, padahal ini justru keunggulan model multilingual. Hasilnya paling buruk dari keempatnya. Untuk empat dari enam query lintas bahasa, artikel yang benar ada di peringkat 31 sampai 46 dari 55. Query tentang menulis skripsi orang lain demi uang malah mengembalikan artikel tentang celah IDOR.
Hipotesis 1: prefix E5 tidak dipakai (gugur)
Model E5 dilatih dengan prefix query: dan passage: , dan performanya turun tanpa prefix itu. Jadi saya cek apakah Elasticsearch menambahkannya. Lewat inference API, embedding yang diminta dengan input_type: search identik dengan embedding teks yang diawali query: secara manual (cosine 1,0000), dan berbeda dengan embedding ingest untuk teks yang sama. Elasticsearch sudah menangani prefix-nya. Bukan ini penyebabnya.
Hipotesis 2: chunk dilution (terbukti)
Dengan semantic_text, satu artikel menjadi banyak chunk 250 kata, dan query dinilai terhadap chunk-chunk itu. Dokumen dinilai dari chunk yang paling cocok. Artikel panjang punya banyak paragraf generik (langkah setup, kesimpulan, "di series ini"), dan selalu ada satu yang lumayan mirip dengan query apa pun. Artikel pendek satu bahasa punya peluang lebih sedikit. Keenam target query lintas bahasa adalah artikel satu bahasa.
Untuk mengujinya, saya meng-embed hanya judul dan deskripsi setiap artikel (kedua bahasa), lalu mengurutkan artikel berdasarkan cosine similarity terhadap setiap query parafrase dan lintas bahasa. Model sama, query sama:
| Query | Peringkat jawaban terbaik, judul + deskripsi | Peringkat jawaban terbaik, chunk seluruh teks |
|---|---|---|
c04 when should an early stage company hire a contract frontend engineer | 2 | 46 |
c06 writing someone else's final thesis for money | 3 | 38 |
c01 alasan tidak memakai kontainer saat hosting aplikasi next | 13 | 31 |
p07 hosting a react framework site on a cheap server without containers | 1 | 9 |
| MRR jawaban terbaik, 18 query | 0,693 | 0,486 |
Modelnya paham query-nya. Cara skor digabungkan dari chunk-chunk itulah yang menenggelamkan jawabannya.
Jadi saya tambahkan field kedua, summary_semantic (judul dan deskripsi dalam dua bahasa), dan dua konfigurasi yang memakainya:
semantic_summary: query semantic hanya pada field ringkasanhybrid_summary: RRF daribm25_fuzzy,semanticseluruh teks, dansemantic_summary
Menambahkan field ini tidak perlu index ulang. Update mapping ditambah partial update lewat bulk untuk satu field itu selesai dalam 39,9 detik, dibanding 875,6 detik untuk seluruh teks, karena hanya field baru yang di-embed.
5. Golden Set-nya Juga Diperbaiki
Evaluator mencatat setiap dokumen tanpa label yang muncul di top 5 (out/unrated.json). Setelah run pertama, ada dokumen tanpa label untuk 42 query. Kebanyakan memang tidak relevan, tapi tidak semuanya. Untuk query watching students live while they take an online test, semantic search mengembalikan Laravel E-Learning Part 6, yang punya satu bagian khusus berjudul "Live Exam Monitor Widget". Artikel itu belum saya label.
Begitulah evaluation set biasanya dibangun (pooling): ambil hasil teratas dari semua sistem yang diuji sebagai kandidat, lalu nilai secara manual. Aturan saya: label hanya ditambahkan kalau artikelnya punya bagian yang menjawab query, dibuktikan dari isi artikel. Sekadar menyebut kata kuncinya tidak dihitung. Hasilnya ada 17 label tambahan, total 84. Tanpa langkah ini, konfigurasi yang menemukan dokumen relevan yang lupa dilabel justru dihukum, dan semantic search lebih sering melakukan itu dibanding BM25.
6. Hasil
Semua angka di bawah berasal dari run terakhir: enam konfigurasi, label final, 107 query.
nDCG@10 per kategori query
| Kategori | n | bm25 | bm25_fuzzy | semantic | hybrid | semantic_summary | hybrid_summary |
|---|---|---|---|---|---|---|---|
| exact | 13 | 0,980 | 0,980 | 0,970 | 0,986 | 0,987 | 0,990 |
| typo, 1 edit | 30 | 0,816 | 0,796 | 0,851 | 0,882 | 0,888 | 0,924 |
| typo, 2 edit | 30 | 0,779 | 0,773 | 0,784 | 0,821 | 0,812 | 0,877 |
| paraphrase | 12 | 0,599 | 0,527 | 0,749 | 0,712 | 0,815 | 0,845 |
| crosslang | 6 | 0,288 | 0,398 | 0,034 | 0,271 | 0,643 | 0,330 |
| slang | 5 | 0,910 | 0,910 | 0,729 | 0,989 | 0,973 | 0,988 |
| spacing | 6 | 0,927 | 0,868 | 0,936 | 0,997 | 0,992 | 0,997 |
| semua query bersih | 42 | 0,756 | 0,743 | 0,739 | 0,807 | 0,888 | 0,855 |
| CI 95% | 0,65โ0,85 | 0,64โ0,84 | 0,64โ0,84 | 0,71โ0,90 | 0,82โ0,95 | 0,76โ0,93 |
Ketahanan terhadap typo
Setiap varian typo dibandingkan dengan query bersihnya:
| Konfigurasi | 1 edit: rasio nDCG | 1 edit: hasil teratas sama | 2 edit: rasio nDCG | 2 edit: hasil teratas sama |
|---|---|---|---|---|
| bm25 | 1,00 | 90% | 0,95 | 87% |
| bm25_fuzzy | 1,01 | 100% | 0,98 | 87% |
| semantic | 1,01 | 80% | 0,93 | 67% |
| hybrid | 1,01 | 83% | 0,94 | 70% |
| semantic_summary | 0,97 | 90% | 0,89 | 77% |
| hybrid_summary | 0,99 | 100% | 0,94 | 87% |
(Rasio sedikit di atas 1 adalah noise: varian typo kebetulan menaruh dokumen relevan lebih tinggi daripada query bersihnya.)
Query negatif
| Konfigurasi | Ambang skor (10% jawaban benar terlemah) | Query negatif di atas ambang |
|---|---|---|
| bm25 | 12,652 | 1 dari 5 (flutter bloc state management) |
| bm25_fuzzy | 12,876 | 1 dari 5 (sama) |
| semantic | 0,921 | 1 dari 5; empat lainnya antara 0,910 dan 0,918 |
| semantic_summary | 0,905 | 2 dari 5 (resep rendang padang 0,914, kotlin jetpack compose android app 0,909) |
| hybrid, hybrid_summary | tidak berlaku | skor RRF berasal dari peringkat, bukan dari kemiripan |
7. Apa Arti Angka-Angka Ini
Toleransi typo: sebagian besar gratis, dan fuzziness ada harganya
Untuk query beberapa kata, BM25 biasa sudah toleran terhadap typo: satu kata salah ketik dari lima kata masih menyisakan empat kata yang cocok. Rasio nDCG-nya untuk typo satu edit adalah 1,00. Yang ditambahkan fuzziness: AUTO adalah stabilitas: hasil teratas tetap sama untuk 100% typo satu edit, bukan 90%.
Harganya:
- Parafrase memburuk, dari 0,599 ke 0,527. Fuzzy matching membuat kata-kata yang tidak berhubungan tapi berjarak satu edit ikut cocok.
- "Tidak ada hasil" menghilang.
resep rendang padangtidak mengembalikan apa pun di BM25 biasa, dan itu benar. Dengan fuzziness, query yang sama mengembalikan 38 artikel. Highlight menunjukkan resep cocok dengan "reset", rendang dengan "rancang", dan padang dengan "pandang" serta "papan". Semuanya match satu atau dua edit yang sah, dan semuanya salah. - Ada biaya latency: median
tooknaik dari sekitar 2 ms ke 16 ms.
Toleransi typo paling penting untuk query satu atau dua kata, ketika satu typo berarti seluruh query-nya salah. Kalau pengguna kamu kebanyakan mengetik query pendek (nama produk, nama orang), fuzziness sepadan dengan harganya. Untuk query berbentuk kalimat, sisi semantic sudah menutupinya.
Semantic pada seluruh teks tidak lebih baik dari BM25
Secara keseluruhan 0,739 lawan 0,756, dengan interval yang bertumpuk. Semantic search membantu parafrase (0,749 lawan 0,599), tapi merugikan query lintas bahasa dan slang. Menyalakan semantic_text tidak otomatis menjadi peningkatan.
Apa yang di-embed lebih penting daripada modelnya
Model kecil yang sama, diberi satu teks pendek per artikel alih-alih puluhan chunk, naik dari 0,739 ke 0,888. Intervalnya (0,82โ0,95) nyaris tidak bersentuhan dengan interval seluruh teks (0,64โ0,84). Jadi ini satu-satunya selisih keseluruhan di studi ini yang saya anggap nyata. Untuk sebuah blog, judul dan deskripsi menjelaskan artikel itu tentang apa, sedangkan isinya juga membahas banyak hal lain.
Ada kompromi yang terlihat di Recall@10: semantic_summary menemukan jawaban terbaik paling awal (MRR 0,89 untuk parafrase), tapi lebih banyak melewatkan jawaban sekunder (Recall@10 0,65 lawan 0,85), karena ringkasan tidak menyebut semua yang dibahas sebuah artikel.
RRF juga bisa memperburuk hasil
hybrid_summary terbaik atau seri terbaik di lima dari tujuh kategori, dan paling tahan typo. Tapi untuk query lintas bahasa ia turun ke 0,330, padahal ringkasan saja mendapat 0,643. RRF hanya melihat peringkat. Kalau BM25 dan semantic seluruh teks sama-sama menaruh artikel yang salah di atas, keduanya mengalahkan satu-satunya retriever yang benar. Fusion merata-ratakan pendapat, bukan memilih yang paling ahli.
Tidak ada ambang skor yang bisa memisahkan query ngawur dari jawaban
Similarity E5 berada di rentang yang sempit: jawaban benar dan resep rendang sama-sama mendapat skor kira-kira 0,90 sampai 0,94. min_score akan memotong jawaban yang benar sebelum memotong query ngawur. Kalau "tidak ada hasil" penting untuk produk kamu, perlu mekanisme lain: mewajibkan match leksikal (misalnya minimum_should_match di sisi BM25), reranker yang dilatih untuk relevansi, atau classifier untuk "apakah query ini masih dalam cakupan".
Yang akan saya pakai untuk blog ini
hybrid_summary, dengan dua tindak lanjut: jawaban yang lebih baik untuk query lintas bahasa (menaikkan bobot retriever ringkasan, atau menerjemahkan judul saat indexing), dan aturan "tidak ada hasil" yang terpisah. Saya tidak akan men-tuning bobot dengan 47 query ini lalu menyebut hasilnya bukti. Dengan query sesedikit ini, tuning pada data uji adalah cara paling cepat untuk overfit.
8. Load Test
Script k6 (k6/search-load.js) melakukan tiga hal yang tidak dilakukan tes "gempur satu URL":
- Mengirim campuran query, bukan satu query. Satu query yang diulang hanya menguji cache.
- Menilai setiap response dengan nDCG@10 terhadap label golden, jadi "kualitas saat beban tinggi" menjadi metrik di samping latency, bukan tebakan.
- Menandai setiap request dengan tahap bebannya (6 rps, 12 rps, ...), sehingga ringkasan menunjukkan di mana latency jebol, bukan satu rata-rata untuk seluruh run.
Profil stress naik melalui empat tahap (30 detik naik, satu menit ditahan), dengan batas p95 satu detik dan batas error 1%.
Inference cache akan membohongimu
Setelah beberapa run, query semantic yang tadinya 60โ80 ms tiba-tiba hanya 2 ms. Statistik deployment menjelaskan sebabnya: deployment model menyimpan inference cache, yang secara default sebesar ukuran modelnya (di sini 448 MB), dan 1.286 dari 1.920 inferensi pertama dilayani dari cache itu. Load test yang mengulang 107 query yang sama hanya mengukur cache tersebut.
Perbaikan pertama saya adalah memberi setiap request typo acak yang baru. Ternyata tidak cukup: query pendek hanya punya beberapa puluh varian satu edit, dan setelah beberapa ribu request variannya berulang. Di run itu 53% inferensi masih kena cache. Untuk angka cold di bawah, deployment saya restart dengan cache_size=0, dan saya pastikan jumlah cache hit tetap nol.
Hasil
Semua run di laptop yang sama, satu allocation model dengan dua thread.
| Run | Tahap | Latency p95 | Gagal | nDCG@10 (response sukses) |
|---|---|---|---|---|
bm25_fuzzy, tanpa model | 10 / 20 / 30 / 40 rps | 40 / 32 / 31 / 30 ms | 0% | 0,78 |
hybrid_summary, query golden, cache aktif (100% hit) | 10 / 20 / 30 / 40 rps | 90 / 89 / 88 / 89 ms | 0% | 0,88 |
semantic_summary, typo baru, cache mati | 6 / 12 rps | 113 / 115 ms | 0% | 0,87 |
| 18 / 24 rps | 10 detik (timeout) | 53% dari seluruh run | ||
hybrid_summary, typo baru, cache mati | 3 / 6 rps | 299 / 368 ms | 0% | 0,90โ0,91 |
| 9 / 12 rps | 10 detik (timeout) | 57% dari seluruh run |
Apa kata load test-nya
Model adalah bottleneck, dan batasnya keras. Tanpa cache, satu inferensi rata-rata butuh 75 ms. Satu allocation menjalankan satu inferensi pada satu waktu, jadi batasnya sekitar 1000 / 75 โ 13 inferensi per detik. Data mengonfirmasinya: semantic_summary (satu inferensi per query) runtuh di antara 12 dan 18 rps, dan hybrid_summary runtuh di antara 6 dan 9 rps. BM25 sama sekali tidak mendekati batas di 40 rps.
hybrid_summary menjalankan model dua kali per query. Jumlah inferensi naik dua per request: setiap klausa semantic meng-embed teks query sendiri-sendiri, walaupun teksnya sama. Dua retriever semantic memotong kapasitas jadi separuh. Embedding query yang dihitung sekali lalu dipakai ulang akan menghindarinya.
Setelah melewati batas, request tidak langsung gagal. Request mengantre di belakang model lalu gagal tepat setelah 10 detik dengan HTTP 408: timeout [10s] waiting for inference result. Saya mereproduksinya dengan 200 query unik sekaligus: 44 berhasil, 156 mendapat 408. Bagi pengguna, artinya sepuluh detik melihat loading, lalu error. Aplikasi di depan Elasticsearch sebaiknya memakai timeout yang lebih pendek lalu jatuh ke hasil BM25, yang hanya butuh 30 ms dan tidak menyentuh model.
Kualitas tidak menurun sebelum kegagalan dimulai. Per kategori, run query golden di bawah beban hampir persis sama dengan evaluasi offline (typo1 0,927 lawan 0,924, paraphrase 0,846 lawan 0,845, crosslang 0,321 lawan 0,330). Tidak ada penurunan diam-diam; bentuk kegagalannya adalah error, bukan hasil yang lebih buruk. Karena itu juga nDCG dari response sukses harus dibaca bersama error rate: request yang timeout bernilai nol bagi pengguna, tapi tidak muncul di rata-rata itu.
Perencanaan kapasitas memakai angka cold. Cache membuat query populer murah (90 ms dan datar di 40 rps), tapi query long-tail kebanyakan unik, dan batas cold-lah yang ditabrak saat query seperti itu datang bersamaan. Throughput naik dengan number_of_allocations (setiap allocation butuh thread CPU sendiri), latency per query dengan threads_per_allocation. Di satu node kecil, kemenangan termurah adalah tidak menjalankan model dua kali per query.
9. Checklist
- Pisahkan kualitas dari beban. Load test menjawab "seberapa cepat", golden set menjawab "seberapa bagus". Keduanya perlu.
- Beri label per kategori query, termasuk query negatif dan yang nyaris mirip, lalu laporkan tiap kategori terpisah. Satu angka keseluruhan bisa menyembunyikan 0,034.
- Generate typo dengan seed dan jumlah edit yang jelas. Bandingkan setiap varian dengan query bersihnya.
- Kumpulkan hasil tanpa label dari semua konfigurasi lalu nilai manual. Kalau tidak, sistem yang menemukan apa yang kamu lupakan justru dihukum.
- Laporkan confidence interval. Dengan 5 atau 6 query per kategori, kebanyakan selisih per kategori hanyalah noise.
- Periksa apa yang di-embed, bukan hanya modelnya. Chunk dilution tidak terlihat sampai kamu membandingkannya dengan ringkasan pendek.
- Jangan percaya
min_scorepada embedding sebelum mengukur query negatif. - Bongkar inference cache saat load test, atau yang kamu ukur hanyalah sebuah hash map.
- Ukur relevansi selama load test, bukan hanya latency.
10. Mereproduksinya
# Elasticsearch 9.1 dengan model dari folder lokal (lihat tools/search-eval/README.md)
cd tools/search-eval
node make-queries.mjs # golden set + 60 varian typo ber-seed -> out/queries.json
node setup-index.mjs # inference endpoint, index, 55 artikel (~15 menit di CPU)
node evaluate.mjs # enam konfigurasi -> out/eval-report.md
# run cold: restart deployment model dengan cache_size=0 dulu (README, "Measuring the cold cost")
docker run --rm -i --network container:es-search-eval -v "$PWD":/work -w /work \
grafana/k6:1.0.0 run -e CONFIG=hybrid_summary -e QUERY_MODE=fresh \
-e PROFILE=stress -e PEAK=12 -e P95=1000 k6/search-load.js
Untuk menguji aplikasi kamu sendiri, bukan Elasticsearch langsung, kedua tool menerima endpoint-mu: node evaluate.mjs --api "https://aplikasi-kamu/api/search?q={q}" dan k6 run -e API_URL=.... Ganti golden-set.json dengan query dan label dari domain kamu sendiri; sisanya tetap sama.
Keterbatasan
- 55 dokumen, satu orang pemberi label (saya), 47 query. Metodenya bisa dipakai di mana saja, angka pastinya tidak.
- Satu laptop menjalankan Elasticsearch, load generator, dan container lain sekaligus. Angka latency hanya relatif antar konfigurasi, bukan perencanaan kapasitas server.
- Trial license dinyalakan supaya semua fitur machine learning tersedia. Cek apa yang termasuk dalam subscription kamu sebelum mengandalkan fitur ini di production.

Ditulis oleh Muhammad Fari Madyan
Senior Full Stack Engineer dan co-founder LampungDev. Saya menuliskan apa yang saya bangun supaya orang lain bisa ikut belajar.
