Manajemen Konteks AI
Bagaimana Gawwe mengelola memori percakapan AI Agent
Masalah
Setiap kali AI Agent menjawab pesan, agent perlu "membaca" pesan-pesan sebelumnya untuk memahami konteks percakapan. Namun, ada masalah jika percakapan berlangsung sangat panjang:
- Biaya meningkat — Semakin banyak pesan yang dibaca, semakin banyak kredit yang digunakan
- Respons melambat — AI butuh waktu lebih lama untuk memproses banyak teks
- Batas model — Model AI memiliki batas jumlah teks yang bisa diproses sekaligus
Solusi: Sliding Window + Summarization
Gawwe menggunakan dua teknik untuk mengatasi masalah ini:
Sliding Window
Agent hanya membaca N pesan terakhir dari percakapan (default: 20 pesan). Pesan yang lebih lama tidak dibaca secara langsung.
Ini seperti manusia yang mengingat percakapan terakhir dengan jelas, tapi lupa detail percakapan yang sudah lama.
Summarization (Ringkasan Otomatis)
Ketika percakapan melewati ambang batas tertentu (default: 50 pesan), Gawwe membuat ringkasan otomatis dari pesan-pesan lama. Ringkasan ini mencakup:
- Preferensi pelanggan yang sudah disampaikan
- Masalah yang sedang ditangani
- Keputusan yang sudah diambil
- Informasi penting lainnya
Ringkasan ini disimpan dan diberikan ke agent bersama pesan-pesan terakhir, sehingga agent tetap memahami konteks tanpa harus membaca semua pesan dari awal.
Pengaturan per Agent
Anda bisa mengatur konfigurasi konteks di Pengaturan Lanjutan setiap agent:
| Pengaturan | Default | Fungsi |
|---|---|---|
| Context Window Size | 20 pesan | Jumlah pesan terakhir yang dibaca |
| Summary Threshold | 50 pesan | Kapan ringkasan otomatis dibuat |
Dampak pada Kredit
| Pengaturan | Kredit Lebih Hemat | Konteks Lebih Kaya |
|---|---|---|
| Window kecil (10) | Ya | Tidak |
| Window besar (40) | Tidak | Ya |
| Threshold rendah (30) | Ya (ringkasan lebih sering) | Ya |
| Threshold tinggi (100) | Tidak | Tidak |
Tips
Untuk kebanyakan bisnis, pengaturan default (window 20, threshold 50) memberikan keseimbangan yang baik antara konteks dan biaya.