Transformer: Arsitektur di Balik ChatGPT, Gemini, dan Model Bahasa Modern
Makalah "Attention Is All You Need" (2017) memperkenalkan arsitektur Transformer yang kini menjadi fondasi hampir semua model bahasa besar. Begini cara kerjanya secara sederhana.

Pada 2017, tim peneliti Google menerbitkan makalah berjudul "Attention Is All You Need" (Vaswani dkk.). Makalah ini memperkenalkan arsitektur Transformer, yang kemudian menjadi fondasi model bahasa besar (large language model, LLM) seperti keluarga GPT, BERT, dan banyak model generatif lain.
Masalah sebelum Transformer
Model bahasa sebelumnya umumnya memakai jaringan saraf berulang (RNN/LSTM) yang memproses kata satu per satu secara berurutan. Pendekatan ini sulit diparalelkan dan sering kesulitan menangkap hubungan antar-kata yang berjauhan dalam kalimat panjang.
Ide utama: self-attention
Transformer meninggalkan pemrosesan berurutan dan mengandalkan mekanisme self-attention. Setiap token (potongan kata) dalam kalimat dapat "memperhatikan" semua token lain sekaligus, lalu menimbang seberapa relevan masing-masing untuk memahami konteksnya.
Contoh sederhana: pada kalimat "Petugas memeriksa laporan itu karena ia meragukannya", attention membantu model mengaitkan "ia" dengan "petugas" dan "-nya" dengan "laporan".
Komponen penting lainnya:
- Multi-head attention — beberapa "kepala" attention mempelajari jenis hubungan yang berbeda secara paralel.
- Positional encoding — menambahkan informasi urutan kata, karena attention sendiri tidak mengenal posisi.
- Arsitektur encoder–decoder — pada makalah asli digunakan untuk penerjemahan mesin.
Mengapa begitu berpengaruh
- Dapat diparalelkan sehingga pelatihan pada data dan perangkat keras berskala besar menjadi jauh lebih efisien.
- Mudah diskalakan — menambah data, parameter, dan komputasi terbukti meningkatkan kemampuan model.
- Serbaguna — Transformer kemudian diadaptasi untuk gambar, audio, kode program, hingga protein.
Keterbatasan yang perlu diingat
Kebutuhan komputasi attention meningkat tajam seiring panjang teks, dan model yang dilatih untuk memprediksi teks dapat menghasilkan jawaban yang terdengar meyakinkan tetapi keliru. Karena itu, penerapan di dunia nyata biasanya dilengkapi teknik seperti retrieval-augmented generation, evaluasi ketat, dan pengawasan manusia.
Sumber & referensi
Artikel ini merupakan ringkasan dan interpretasi tim Oemah Solution atas sumber-sumber di bawah. Untuk detail dan konteks lengkap, rujuk sumber aslinya.


