Context Engineering – Cara Membuat AI Paham Konteks

Kalau Anda pernah menggunakan chatbot atau asisten AI dan merasa jawabannya terdengar “pintar tapi tidak nyambung”, masalahnya sering bukan di modelnya, tetapi di konteks yang diberikan. Di sinilah context engineering berperan, yaitu cara menyusun dan mengelola konteks agar AI memahami situasi, tujuan, dan kebutuhan dengan lebih tepat.

Berbeda dengan prompt engineering yang fokus pada instruksi, context engineering menekankan pada bagaimana data, riwayat, dan aturan sistem disiapkan sebelum AI menjawab. Di artikel ini, Anda akan memahami konsep context engineering dan kenapa pendekatan ini penting untuk hasil AI yang lebih relevan.

Ringkasan Cepat

• Context engineering adalah cara mengatur informasi yang “diberikan” ke AI sebelum menghasilkan jawaban, bukan sekadar menulis prompt.
• Praktiknya mencakup retrieval data relevan, memory (jangka pendek/panjang), filtering, dan (kadang) tool/function calling agar AI punya konteks yang tepat di dalam konteks window yang terbatas.
• RAG (Retrieval-Augmented Generation) adalah pendekatan yang menggabungkan memori parametris (model) dengan memori non‑parametris (index dokumen) untuk membantu tugas knowledge-intensive dan memberi peluang provenance/updates yang lebih baik. Paper RAG (Lewis dkk.) menjelaskan motivasi bahwa kemampuan model mengakses dan memanipulasi knowledge masih terbatas, dan retrieval-augmented generation meningkatkan keluaran yang lebih spesifik dan faktual pada berbagai tugas.
• OWASP menyoroti risiko keamanan untuk aplikasi LLM/GenAI, termasuk Prompt Injection, Sensitive Information Disclosure, dan Excessive Agency, semuanya sangat relevan ketika Anda mulai “mengisi konteks” dari sumber eksternal dan memberi agent kemampuan bertindak.
• NIST AI RMF adalah framework sukarela untuk membantu mengelola risiko AI dan memasukkan trustworthiness ke desain, pengembangan, penggunaan, dan evaluasi sistem AI.
• Retrieval API (vector store + semantic search) adalah contoh implementasi retrieval: semantic search bisa menemukan hasil relevan walau sedikit/tidak ada keyword yang sama, dan berguna untuk menggabungkan data Anda dengan model agar jawaban lebih tepat.

Apa itu context engineering?

Context engineering adalah proses merancang, memilih, dan menyusun konteks berupa informasi pendukung serta aturan yang diberikan kepada model AI agar hasil jawabannya menjadi lebih akurat, relevan, dan konsisten.

Lebih dari sekadar menulis instruksi, context engineering dapat dipahami sebagai praktik membangun “lingkungan informasi” untuk AI. Di dalamnya mencakup apa saja yang boleh diketahui model, data apa yang perlu dibaca sebelum menjawab, bagaimana format jawaban yang diharapkan, hingga cara konteks tersebut diperbarui seiring waktu.

Sejumlah sumber menjelaskan bahwa konsep ini merupakan evolusi dari prompt engineering. Jika prompt engineering berfokus pada bagaimana menyusun instruksi, maka context engineering berfokus pada bagaimana membentuk ekosistem informasi tempat AI bekerja. AI tidak hanya menerima perintah, tetapi juga mengambil data dari berbagai sumber, menyusun informasi yang relevan, lalu menyajikannya dalam format yang bisa dipahami dengan baik oleh LLM.

Untuk mempermudah pemahaman, context engineering bisa dibayangkan seperti memberikan brief lengkap kepada sebuah tim. Bukan hanya sekadar meminta “buat artikel”, tetapi juga menjelaskan gaya penulisan, data yang harus digunakan, batasan yang perlu dihindari, contoh output yang diharapkan, hingga referensi yang wajib dijadikan acuan.

Bedanya context engineering vs prompt engineering

Prompt engineering berfokus pada cara menyusun instruksi agar AI memberikan jawaban yang tepat, sedangkan context engineering berfokus pada pengelolaan informasi dan aturan yang mengelilingi instruksi tersebut. Keduanya tidak saling menggantikan, justru sering digunakan bersama untuk menghasilkan sistem AI yang lebih stabil dan akurat.

Sejumlah sumber memberikan gambaran yang cukup jelas mengenai perbedaannya:

• Prompt engineering cocok untuk tugas yang bersifat sekali jalan, seperti “tulis email profesional untuk klien”
• Context engineering dibutuhkan untuk sistem yang berjalan berkelanjutan, di mana AI perlu memahami data tambahan seperti profil pengguna dan riwayat interaksi

Untuk memperjelas batasannya, pendekatan ini bisa dilihat dari konteks penggunaannya:

Prompt-only (kapan cukup)

• Ide konten sekali pakai
• Email atau surat formal
• Caption media sosial

Context-engineered system (kapan wajib)

• Chatbot customer support yang harus memahami status tiket pengguna
• Asisten internal yang harus mengikuti SOP perusahaan
• AI agent yang menjalankan tugas seperti membuat tiket atau mengambil data secara otomatis

Dalam praktiknya, perbedaannya sering terlihat dari kebutuhan sistem untuk “mengingat” dan memahami konteks jangka panjang. Semakin kompleks dan berkelanjutan sebuah sistem, semakin besar peran context engineering di dalamnya.

Pro tip dari tim: jika sudah mulai muncul kebutuhan seperti “AI harus tahu X, Y, dan Z sebelum menjawab”, biasanya masalahnya sudah tidak lagi di level prompt, melainkan sudah masuk ke ranah context engineering.

Cara AI menyusun konteks agar jawaban lebih akurat

Tujuan utama context engineering adalah memasukkan informasi yang paling relevan ke dalam context window yang terbatas. Caranya bukan dengan menumpuk semua data, tetapi dengan memilih informasi secara cerdas melalui retrieval, memory, filtering, dan guardrails.

Sejumlah sumber menekankan bahwa tantangan terbesar dalam sistem ini adalah keterbatasan context window. Tidak semua informasi bisa dimasukkan sekaligus, sehingga sistem harus mampu menentukan mana yang paling relevan untuk digunakan dalam proses pengambilan keputusan oleh AI.

Agar lebih mudah dipahami, berikut mental model yang sering digunakan dalam context engineering:

1. System rules atau policies

Berisi aturan dasar seperti gaya bahasa, batasan respons, larangan tertentu, serta format output yang diharapkan. Bagian ini menjadi “kerangka kerja” utama sebelum AI memproses permintaan.

2. User request

Merupakan pertanyaan atau tugas yang diberikan pengguna. Ini adalah inti dari instruksi yang harus dijawab oleh sistem.

3. Memory

• Short-term memory: rangkuman percakapan terakhir agar konteks tetap nyambung
• Long-term memory: preferensi pengguna, profil, dan kebiasaan yang disimpan dengan izin

4. Retrieval

Proses mengambil informasi yang relevan dari sumber eksternal seperti FAQ, SOP, dokumen, atau database agar jawaban lebih akurat dan berbasis data.

5. Filtering dan deduplication

Tahap ini berfungsi untuk membuang informasi yang tidak relevan serta menghindari pengulangan data yang tidak diperlukan, misalnya memasukkan beberapa dokumen yang isinya hampir sama.

6. Tooling (opsional)

Sistem dapat memanggil fungsi tertentu seperti “cek stok”, “buat tiket”, “ambil invoice”, atau aksi lain yang diperlukan untuk menyelesaikan tugas secara langsung.

Contoh pendekatan modern dijelaskan dalam dokumentasi OpenAI, di mana retrieval API memungkinkan semantic search pada data pengguna. Pendekatan ini membantu menemukan informasi yang relevan secara makna, meskipun tidak memiliki kata kunci yang sama, dan sangat efektif ketika digabungkan dengan model bahasa untuk menghasilkan jawaban yang lebih akurat.

Pertanyaan sederhana yang sering digunakan dalam desain sistem ini adalah: “Jika hanya boleh memasukkan 10 potong informasi ke dalam konteks, mana saja yang paling menentukan jawaban menjadi benar?”

Contoh penerapan context engineering di dunia nyata

Tiga contoh yang paling mudah dipahami adalah RAG, AI agent, dan AI coding assistant, semuanya hidup dari konteks yang dikelola. Di bawah ini adalah penjelasannya:

1. RAG (Retrieval-Augmented Generation)

Sumber menjelaskan RAG sebagai pendekatan di mana AI tidak hanya mengandalkan pengetahuan training, tetapi “membaca” data eksternal yang relevan lalu memasukkannya ke konteks sebelum menjawab.

Paper RAG (Lewis dkk.) menjelaskan motivasi: LLM menyimpan pengetahuan di parameter, tetapi akses/manipulasi knowledge terbatas; pada tugas knowledge-intensive performa bisa tertinggal dan provenance/updates adalah masalah. RAG menggabungkan memori parametris dan non‑parametris (dense vector index) untuk generation dan menunjukkan hasil lebih faktual/spesifik pada berbagai tugas.

Jika disederhanakan, RAG dapat dipahami sebagai: AI menjawab dengan “membawa catatan” dari dokumen yang relevan.

2. AI agent

Dalam pendekatan AI agent, context engineering menjadi lebih dinamis. Sistem tidak hanya menunggu instruksi, tetapi juga dapat memutuskan apakah perlu mengambil data tambahan, memanggil API, atau langsung memberikan jawaban berdasarkan konteks yang tersedia.

Pendekatan ini membuat kemampuan sistem menjadi lebih fleksibel, namun di saat yang sama juga menambah kompleksitas dan risiko jika konteks yang dikelola tidak terkontrol dengan baik.

3. AI coding assistant

Pada AI coding assistant, sistem tidak hanya membaca satu file, tetapi memahami keseluruhan proyek secara menyeluruh. Ini mencakup hubungan antar file, struktur dependensi, hingga gaya penulisan kode yang digunakan dalam proyek tersebut.

Semua pemahaman ini tidak terjadi secara otomatis, melainkan merupakan hasil dari context engineering yang mengatur informasi apa saja yang dimasukkan ke dalam konteks sebelum AI menghasilkan solusi atau rekomendasi kode.

Manfaat utama context engineering

Dengan pengelolaan konteks yang tepat, performa AI dapat meningkat secara signifikan. Jawaban menjadi lebih konsisten, tingkat hallucination menurun, dan sistem menjadi lebih efisien karena hanya informasi relevan yang dikirim ke model.

Sejumlah sumber juga menyoroti manfaat lain dari context engineering, seperti peningkatan kualitas output, efisiensi biaya, konsistensi respons, serta fleksibilitas sistem untuk dikembangkan lebih lanjut sesuai kebutuhan.

Jika dilihat dari praktik di lapangan, ada beberapa dampak yang langsung terasa:

• Tim non teknis lebih mudah mengandalkan AI karena hasilnya lebih stabil
• Auditability meningkat, terutama jika konteks dan sumber data disertakan secara jelas

Dalam banyak implementasi nyata, termasuk pengalaman di proyek Rumahweb, ketika retrieval dan struktur konteks sudah ditata dengan baik, kualitas output AI dapat meningkat secara signifikan tanpa perlu mengganti model yang digunakan. Hal ini sering kali menjadi temuan yang cukup mengejutkan karena perbaikannya bukan berasal dari model yang lebih besar, tetapi dari konteks yang lebih tepat.

Tabel: Prompt-only vs Context-engineered system

Risiko & Kesalahan Umum dalam Context Engineering

Semakin kaya konteks yang diberikan dan semakin “berdaya” sebuah AI agent, semakin besar pula risiko yang ikut muncul. Tanpa kontrol yang tepat, hal ini dapat membuka peluang kebocoran data, hingga tindakan sistem yang tidak diinginkan. Karena itu, aspek keamanan harus naik level seiring dengan kompleksitas sistem.

Panduan dari OWASP melalui Top 10 for LLM menyoroti beberapa risiko utama dalam sistem berbasis LLM, seperti:

• Prompt injection
• Sensitive information disclosure
• Excessive agency
• Overreliance

Selain itu, NIST melalui AI Risk Management Framework (AI RMF) juga menekankan pentingnya pengelolaan risiko agar sistem AI tetap trustworthy, mulai dari tahap desain, pengembangan, hingga evaluasi dan penggunaan.

Dalam praktiknya, beberapa kesalahan yang sering terjadi antara lain:

• Memasukkan dokumen sensitif tanpa proses filtering yang jelas
• Tidak memisahkan antara “instruksi sistem” dan “data mentah”, sehingga raw HTML atau email bisa menjadi media prompt injection
• Memberikan akses write kepada agent tanpa mekanisme persetujuan atau approval gate

Pro tip dari tim: semua data eksternal sebaiknya diperlakukan sebagai untrusted input. Jika sistem AI diberikan akses untuk membaca email, tiket, atau halaman web, maka selalu ada potensi jalur prompt injection yang harus diantisipasi sejak awal desain sistem.

Checklist implementasi context engineering dari pemula hingga menengah

Implementasi context engineering yang efektif sebaiknya dimulai dari skala kecil, kemudian dievaluasi, dan diperluas secara bertahap. Pendekatan ini jauh lebih aman dibanding langsung memasukkan seluruh data sekaligus tanpa kontrol yang jelas.

Berikut checklist praktis yang bisa digunakan sebagai panduan awal:

1. Tentukan tujuan: AI untuk apa?
2. Tentukan data: dokumen mana yang boleh diakses?
3. Buat retrieval sederhana (semantic search + top-k)
4. Buat format konteks (template) yang konsisten
5. Tambahkan guardrails (policy, redaction, allowlist tools)
6. Logging + evaluasi (jawaban salah karena apa?)
7. Iterasi

Butuh server stabil untuk RAG/agent/worker

Kalau Anda mulai membangun RAG atau agent, biasanya Anda butuh komponen server seperti:

• vector database / vector store
• worker untuk indexing
• API service internal

Untuk itu, Anda bisa mulai dari VPS KVM dari Rumahweb.

FAQ

Kesimpulan

Context engineering pada dasarnya adalah cara membangun agar AI benar benar “paham situasi”, bukan hanya menerima instruksi. Di dalamnya bukan hanya prompt, tetapi juga data, aturan, memori, dan tools yang disusun secara rapi dalam batasan context window yang terbatas.

Prompt tetap memiliki peran penting, tetapi untuk sistem AI yang lebih serius seperti chatbot, AI agent, atau coding assistant, konteks menjadi faktor pembeda utama. Semakin baik konteks yang disusun, semakin relevan hasil yang diberikan, semakin konsisten responsnya, dan semakin tinggi tingkat kepercayaannya.

Jika dimulai dari hal sederhana seperti retrieval dasar, template konteks yang konsisten, serta penerapan guardrails, itu sudah menjadi langkah awal yang kuat menuju sistem AI yang benar benar bisa digunakan secara praktis dan berkelanjutan.

Referensi

• Paper RAG (Lewis dkk., NeurIPS 2020)
• OWASP Top 10 for LLM Applications / GenAI Security Project
• NIST AI Risk Management Framework (AI RMF)
• OpenAI Retrieval guide