Kecerdasan Buatan

Vector Database dan Pencarian Semantik: Mengenal Qdrant dan Elasticsearch

Pencarian semantik menemukan dokumen berdasarkan makna, bukan sekadar kata yang sama. Pelajari embedding, algoritma HNSW, dan kapan memakai Qdrant atau Elasticsearch.

Oleh Redaksi Oemah Solution 2 menit baca
Deretan lemari katalog kartu kayu dengan banyak laci di ruang perpustakaan
Foto: Copyright Card Catalog Files oleh Michael Holley Swtpc6800 · Public domain · Wikimedia Commons

Pencarian tradisional mencocokkan kata. Jika pengguna mengetik "cara mengurus SIM hilang", dokumen berjudul "Prosedur penggantian surat izin mengemudi" bisa terlewat karena kata-katanya berbeda. Pencarian semantik mengatasi masalah ini dengan mencari berdasarkan makna.

Embedding: makna sebagai vektor

Model embedding mengubah teks (atau gambar) menjadi deretan angka berdimensi tinggi. Teks dengan makna serupa akan memiliki vektor yang berdekatan. Kedekatan diukur dengan metrik seperti cosine similarity atau dot product.

Mencari jutaan vektor dengan cepat

Membandingkan vektor pertanyaan dengan setiap vektor dokumen satu per satu terlalu lambat pada data besar. Karena itu digunakan Approximate Nearest Neighbor (ANN). Salah satu algoritma yang paling populer adalah HNSW (Hierarchical Navigable Small World), diperkenalkan oleh Malkov dan Yashunin. HNSW membangun graf berlapis sehingga pencarian dapat "melompat" cepat menuju tetangga terdekat dengan akurasi tinggi.

Qdrant

Qdrant adalah vector database open source yang dirancang khusus untuk penyimpanan dan pencarian vektor. Fitur pentingnya antara lain indeks HNSW, filter payload (misalnya membatasi hasil per kategori, wilayah, atau hak akses), dukungan vektor jamak per objek, dan kuantisasi untuk menghemat memori. Qdrant cocok ketika pencarian vektor adalah kebutuhan utama, misalnya pada sistem RAG atau rekomendasi.

Elasticsearch

Elasticsearch dikenal sebagai mesin pencari teks penuh dengan peringkat BM25, agregasi, dan analitik log. Elasticsearch juga mendukung tipe dense_vector dan pencarian kNN, sehingga pencarian kata kunci dan semantik dapat digabungkan dalam satu sistem (hybrid search). Ini cocok untuk organisasi yang sudah memiliki infrastruktur pencarian teks dan ingin menambahkan kemampuan semantik.

Memilih pendekatan

  • Kebutuhan utama pencarian vektor & RAG → vector database khusus seperti Qdrant.
  • Pencarian teks, filter kompleks, dan analitik sudah dominan → Elasticsearch dengan kNN.
  • Banyak istilah spesifik (nomor perkara, kode produk, nama) → gunakan pencarian hibrida, apa pun platformnya.

Apa pun pilihannya, kualitas hasil sangat ditentukan oleh model embedding, strategi pemotongan dokumen, dan evaluasi dengan pertanyaan nyata dari pengguna.

#vector database#qdrant#elasticsearch#pencarian semantik

Sumber & referensi

Artikel ini merupakan ringkasan dan interpretasi tim Oemah Solution atas sumber-sumber di bawah. Untuk detail dan konteks lengkap, rujuk sumber aslinya.

  1. Efficient and robust approximate nearest neighbor search using HNSW graphs (Malkov & Yashunin) arXiv · arxiv.org
  2. Qdrant Documentation Qdrant · qdrant.tech
  3. kNN search in Elasticsearch Elastic · elastic.co