Tev & Tev-Gym (arXiv:2610.18868): Scaling Long-Horizon Agentic Environments via Latent-World-First Synthesis, Progress-Potential Reward Shaping (PPRS), dan Mengatasi Masalah Starvasi GRPO

1. Dilema Long-Horizon: Krisis Data Sintesis dan Starvasi Gradien GRPO

Dalam beberapa tahun terakhir, ambisi kecerdasan buatan telah bergeser dari sekadar model obrolan instan (single-turn conversationalists) menuju agen otonom horizon panjang yang mampu bekerja berjam-jam hingga berhari-hari tanpa supervisi manusia. Kemampuan ini menjadi fondasi mutlak bagi penemuan ilmiah otonom (automated discovery) dan perbaikan mandiri rekursif (Recursive Self-Improvement / RSI).

Namun, di balik keberhasilan model komersial teratas (seperti Claude Opus 5 atau GPT-6 Astra), model-model terbuka (open-source models) mengalami stagnasi tajam saat dihadapkan pada tugas yang membutuhkan lebih dari 20–50 langkah interaksi bash/lingkungan. Tim peneliti Tev mengidentifikasi dua akar penyebab matematis yang saling mengunci:

• Kelangkaan Data dan Skalabilitas Lingkungan Terverifikasi: Kurasi tugas riil (seperti SWE-bench atau benchmark keamanan) sangat lambat, rawan kebocoran data (data contamination), dan mustahil diskalakan secara procedural tanpa merusak validitas deterministik sistem.
• Starvasi Gradien pada Group-Relative RL (GRPO): Algoritma RL mutakhir seperti Group Relative Policy Optimization (GRPO) mengandalkan normalisasi keunggulan (advantage) di dalam kelompok sampel trajektori $G$:

Jika sebuah model hanya diberi reward terminal biner ($R_i = \mathbb{1}[\tau_i \text{ passes}]$), di mana nilai 1 hanya diberikan jika seluruh tugas selesai sempurna dan lolos uji verifier akhir, maka pada tugas horizon panjang yang sulit di mana probabilitas keberhasilan model mula-mula adalah rendah ($p \le 0.05$):

Gambar 1: Alur kerja Tev. Sintesis mundur dari Latent World $W$, DAG tahapan eksekusi, rendering berkas publik, dan perumusan reward bertingkat PPRS (Sumber: Hu et al., arXiv:2610.18868).

2. Paradigma Latent-World-First: Sintesis Tugas Mundur (Backward Generation)

Sebagian besar sistem sintesis tugas agen sebelumnya membuat prompt terlebih dahulu, lalu mencoba membuat lingkungan buatan dengan script bash parsial. Pendekatan ini rapuh dan sering menghasilkan kondisi balapan (race condition) atau skenario tanpa solusi logis.

Tev memperkenalkan paradigma Latent-World-First. Alih-alih membuat tugas dari depan, sistem bekerja secara terbalik (backward generation):

Gambar 2: Contoh tugas Tev-Gym: Rekonsiliasi dashboard penagihan multi-akun AWS, validasi anomali biaya, dan pembuatan sidecar JSON yang akurat secara deterministik.

3. Progress Contract & Prerequisite-Gated Credit: Formulasi Matematika PPRS

Bagaimana cara menilai progres agen di tengah eksekusi tanpa terjebak dalam reward hacking (misalnya agen yang langsung melompat membuat dummy file keluaran tanpa menyelesaikan pembersihan data)?

Tev memperkenalkan konsep Prerequisite-Gated Credit. Setiap lingkungan mendefinisikan himpunan simpul $V$ dengan bobot $w_v > 0, \sum_{v \in V} w_v = 1$, dan himpunan prasyarat $\mathrm{pre}(v)$. Penilai parsial $c_v(s) \in [0, 1]$ menguji workspace $s$ secara langsung terhadap $W$.

Namun, skor yang diakui bukanlah $c_v(s)$ mentah, melainkan nilai gated:

Artinya, jika agen memalsukan tabel hasil akhir ($c_{\text{final}} = 1.0$) tetapi tahap validasi skema dasar gagal ($c_{\text{schema}} = 0.0$), maka skor simpul akhir secara otomatis digugurkan menjadi 0.0! Nilai fungsi potensial workspace $\Phi(s)$ kemudian dirumuskan sebagai:

Progress-Potential Reward Shaping (PPRS)

Pada teori reward shaping klasik (Ng et al., 1999 - PBRS), potensial terminal dinolkan untuk menjaga invariansi kebijakan optimal. Sebaliknya, Tev secara sengaja mempertahankan suku terminal untuk memberi insentif pada trajektori yang kehabisan batas turn/token tetapi telah mencapai 90% progres pekerjaan nyata:

Karena suku penjumlahan berteleskop (telescoping sum) secara bersih: $r_t = \Phi(s_t) - \Phi(s_{t-1})$ dan $\Phi(s_0) = 0$, total reward pembentukan pada akhir rollout hanyalah fungsi dari workspace akhir $\Phi(s_T)$. Dua trajektori yang mencapai status workspace yang sama melalui jalur bash yang berbeda akan menerima reward pembentukan yang persis identik, menghilangkan bias jalan pintas sintaksis.

4. Evaluasi Empiris: Tev-27B vs Frontier API Models (ALE-CM & Terminal-Bench)

Peneliti melatih model Tev-27B (berbasis Qwen3.8-27B dengan DPPO pada 4 node B200 / 8 node A100 selama 4 hari) dan mengevaluasinya pada suite pengujian horizon panjang yang paling menuntut di dunia: Agents' Last Exam (ALE-CM) dan Terminal-Bench (TB) 3.0 / 4.0.

Hasil pengujian membuktikan fakta dramatis: model open-weight berukuran 27B parameter yang dilatih dengan resep Tev-Gym & PPRS mampu menyamai tingkat keberhasilan model frontier proprietary kelas berat (GPT-6 Astra dan Claude Opus 5) pada metrik Pass@5 ALE-CM, sekaligus mengungguli GLM-5.2 dan Gemini 3.7 Flash pada tugas eksternal Terminal-Bench yang tidak pernah dilihat selama pelatihan.

5. Implementasi Referensi: Tev Progress Potential Engine & Advantage Resolver

Berikut adalah implementasi referensi modul evaluasi kontrak progres dan kalkulasi advantage bebas starvasi dalam TypeScript untuk integrasi ke dalam harness agen otonom produksi:

${TEV_CODE_SNIPPET}

6. Blueprint Rekayasa Sistem Agen 2026: Pelajaran Kritis untuk Platform AI

Penelitian Tev menetapkan standar baru bagi rekayasa sistem agen otonom generasi berikutnya:

1. Tinggalkan Evaluasi LLM-as-a-Judge untuk Trajektori Panjang: Menggunakan model LLM lain untuk menilai apakah agen bekerja dengan benar adalah sumber noise terbesar. Menghitung potensial deterministik $\Phi(s)$ langsung dari file system dan artefak keluaran terhadap ground truth terbukti 100x lebih stabil dan anti-halusinasi.
2. Gunakan Prerequisite Gating untuk Mencegah Kebocoran Reward (Hacking): Setiap metrik parsial harus dikunci oleh validitas tahapan sebelumnya. Jangan memberikan reward pada penulisan laporan jika data pipeline ETL yang mendasarinya belum berhasil dieksekusi.
3. Pertahankan Nilai $\lambda = 0.25$ pada PPRS: Nilai $\lambda$ yang terlalu tinggi membuat agen puas dengan pekerjaan setengah jalan tanpa pernah melakukan aksi submit; sebaliknya, $\lambda$ yang terlalu rendah mengembalikan sistem ke kondisi starvasi gradien GRPO. Nilai empiris 0.25 adalah sweet spot yang menjaga submission tetap sebagai prioritas tertinggi sekaligus mengalirkan gradien pada setiap kegagalan dekat (near-miss).