Kecerdasan Buatan

Transformer: Arsitektur di Balik ChatGPT, Gemini, dan Model Bahasa Modern

Makalah "Attention Is All You Need" (2017) memperkenalkan arsitektur Transformer yang kini menjadi fondasi hampir semua model bahasa besar. Begini cara kerjanya secara sederhana.

Oleh Redaksi Oemah Solution 2 menit baca
Pemandangan udara atap pusat data dengan deretan unit pendingin besar saat senja
Foto: Data center roof oleh Rsparks3 · CC0 · Wikimedia Commons

Pada 2017, tim peneliti Google menerbitkan makalah berjudul "Attention Is All You Need" (Vaswani dkk.). Makalah ini memperkenalkan arsitektur Transformer, yang kemudian menjadi fondasi model bahasa besar (large language model, LLM) seperti keluarga GPT, BERT, dan banyak model generatif lain.

Masalah sebelum Transformer

Model bahasa sebelumnya umumnya memakai jaringan saraf berulang (RNN/LSTM) yang memproses kata satu per satu secara berurutan. Pendekatan ini sulit diparalelkan dan sering kesulitan menangkap hubungan antar-kata yang berjauhan dalam kalimat panjang.

Ide utama: self-attention

Transformer meninggalkan pemrosesan berurutan dan mengandalkan mekanisme self-attention. Setiap token (potongan kata) dalam kalimat dapat "memperhatikan" semua token lain sekaligus, lalu menimbang seberapa relevan masing-masing untuk memahami konteksnya.

Contoh sederhana: pada kalimat "Petugas memeriksa laporan itu karena ia meragukannya", attention membantu model mengaitkan "ia" dengan "petugas" dan "-nya" dengan "laporan".

Komponen penting lainnya:

  • Multi-head attention — beberapa "kepala" attention mempelajari jenis hubungan yang berbeda secara paralel.
  • Positional encoding — menambahkan informasi urutan kata, karena attention sendiri tidak mengenal posisi.
  • Arsitektur encoder–decoder — pada makalah asli digunakan untuk penerjemahan mesin.

Mengapa begitu berpengaruh

  1. Dapat diparalelkan sehingga pelatihan pada data dan perangkat keras berskala besar menjadi jauh lebih efisien.
  2. Mudah diskalakan — menambah data, parameter, dan komputasi terbukti meningkatkan kemampuan model.
  3. Serbaguna — Transformer kemudian diadaptasi untuk gambar, audio, kode program, hingga protein.

Keterbatasan yang perlu diingat

Kebutuhan komputasi attention meningkat tajam seiring panjang teks, dan model yang dilatih untuk memprediksi teks dapat menghasilkan jawaban yang terdengar meyakinkan tetapi keliru. Karena itu, penerapan di dunia nyata biasanya dilengkapi teknik seperti retrieval-augmented generation, evaluasi ketat, dan pengawasan manusia.

#transformer#llm#deep learning

Sumber & referensi

Artikel ini merupakan ringkasan dan interpretasi tim Oemah Solution atas sumber-sumber di bawah. Untuk detail dan konteks lengkap, rujuk sumber aslinya.

  1. Attention Is All You Need (Vaswani et al., 2017) arXiv · arxiv.org