Harness Engineering 2026: Anatomi Sumber Kode 11 Production Coding Agents, 7 Subsistem Kanonikal, dan Evaluasi Anti-Framework & Deterministic Retrieval
Analisis arsitektural empiris dari 4 juta baris kode pada 11 production coding harnesses (arXiv:2609.00006, September 2026): Claude Code, Codex CLI, Hermes, Gemini CLI, dan OpenHands. Membedah 7 subsistem kanonikal, kepunahan framework generik, determinisme ripgrep/AST atas vector DB, serta adopsi SKILL.md yang melampaui MCP.
Dalam kurun waktu lima bulan pertama tahun 2026, istilah Harness Engineering telah bermutasi dari sekadar terminologi praktisi menjadi disiplin arsitektural paling fundamental dalam pengembangan kecerdasan buatan otonom. Model fondasi seperti Claude 3.7 Sonnet, GPT-5, ataupun Gemini 2.5 Pro hanyalah mesin kalkulasi probabilitas token; harness-lah yang mengubah inteligensi mentah tersebut menjadi rekayasawan perangkat lunak otonom yang mampu memodifikasi ribuan baris kode produksi secara aman dan deterministik.
Executive Architectural Summary & Empirical Foundation
Makalah ilmiah tengara "Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents — A Source-Code Study of Eleven Systems" (arXiv:2609.00006, September 2026) oleh Paul Barbaste dkk. (Wavestone AI Lab & Inclusive Brains) menyajikan audit sumber kode komprehensif pertama terhadap 11 sistem produksi: Claude Code (Anthropic), Codex CLI (OpenAI, 1,1 juta baris Rust), Gemini CLI (Google), Mistral Vibe (Mistral), Hermes (Nous Research), OpenHands, Aider, Mini-SWE-Agent, Pi, OpenCode, dan OpenClaw, ditambah Omnigent (Databricks). Dari 4 juta baris kode yang diteliti, ditemukan konsensus mengejutkan: 0 dari 11 harness mengimpor framework generik (seperti LangChain atau CrewAI), 0 dari 11 harness menggunakan vector embeddings untuk kode repositori, dan adopsi spesifikasi format SKILL.md kini resmi mengungguli Model Context Protocol (MCP).
1. Definisi Formal & Paradoks "The Two Absences" (Zero Framework & Zero Vector DB)
Secara operasional, coding harness didefinisikan sebagai lapisan runtime yang membungkus model bahasa dan memungkinkannya berinteraksi secara otonom, terukur, dan aman terhadap repositori perangkat lunak nyata. Studi sumber kode lintas vendor ini menyingkap dua fakta empiris yang membongkar mitos arsitektur AI yang selama ini beredar di kalangan akademisi dan pemula:
Zero Agentic Frameworks
Dari 4 juta baris kode produksi, tidak ada satu pun runtime yang mengimpor LangChain, LangGraph, AutoGen, CrewAI, ataupun Semantic Kernel. Bahkan Gemini CLI tidak menggunakan framework kepemilikan Google sendiri. Seluruh sistem mengandalkan hand-rolled asynchronous state machines berbasis Tokio (Rust) atau Native Async Loops (TypeScript/Python) untuk memastikan latensi minimal, kendali penuh terhadap buffer context window, dan toleransi kegagalan deterministik.
Zero Vector Embeddings untuk Kode
Tidak ada satu pun coding agent produksi yang menggunakan vector databases (seperti Pinecone, Chroma, atau Weaviate) untuk mengambil potongan kode dari repositori. Alih-alih pencarian kemiripan kosinus (cosine similarity) yang sarat hallucination dan false positives, industri secara konsensus beralih 100% ke Deterministic Retrieval: ripgrep berlatensi sub-15ms, tree-sitter AST symbol extraction, path globbing, dan penemuan otomatis berkas konteks berbobot tinggi seperti AGENTS.md dan SKILL.md.
2. Dekomposisi 7 Subsistem Kanonikal Agent Harness
Studi Wavestone memetakan seluruh sistem ke dalam 7 subsistem kanonikal (D1–D7). Setiap subsistem memiliki spektrum implementasi dari yang paling minimalis (minimal observed form) hingga yang paling mutakhir (maximal observed form):
| Subsistem | Minimal Implementation | Maximal Implementation | Studi Kasus Dominan |
|---|---|---|---|
| D1: Agent Loop | Mini-SWE-Agent: Linear while-loop (~100 baris) | OpenHands: Event-sourced conversation engine | Codex CLI: Tokio multi-phase async state machine |
| D2: LLM Integration | Single LiteLLM abstraction call | Hermes: 5 owned transports & 29 provider profiles | Hermes Agent: Dynamic reasoning effort overrides & tiered streaming |
| D3: Tools & Actions | Mini-SWE-Agent: 1 tool tunggal (bash) | OpenClaw: 109+ tools via remote gateway | Codex CLI: Embedded V8 JavaScript runtime tool composition |
| D4: Memory & Context | Unbounded linear message history | Codex CLI: Agent-maintained persistent pipeline | Agen merawat direktori memories/ secara mandiri lintas sesi |
| D5: Safety & Sandbox | Batas biaya (token cost) & step limits | Codex CLI: 4-Layer Security Stack | Starlark rules + Hooks + Guardian LLM + Native OS Sandbox |
| D6: Orchestration | Aider: Deliberate absence (fokus single-agent) | Claude Code: Recursive subagent delegation | Omnigent: Meta-harness orchestration lintas runtime CLI |
| D7: Extensibility | Structural static typing interfaces | Pi: Everything-is-an-extension runtime | SKILL.md (adopsi 9/11) melampaui Model Context Protocol / MCP (8/11) |
3. Deep Dive Arsitektural: Embedded V8 pada Codex CLI & Four-Layer Safety Stack
Salah satu temuan paling mengejutkan dalam pembedahan kode Codex CLI (1,1 juta baris Rust) adalah bagaimana OpenAI menangani eksekusi perkakas (tool invocation). Berbeda dengan mayoritas agen yang melakukan fungsi pemanggilan berjenis typed dispatch langsung di Rust, Codex membundel seluruh invokasi alat sebagai blok kode JavaScript dan mengeksekusinya di dalam mesin embedded V8 engine.
Arsitektur ini memberikan kapabilitas dynamic tool composition tingkat tinggi: sebuah alat dapat secara kondisional mendelegasikan tugas ke alat lain di level JavaScript sebelum mengembalikan hasil agregat ke harness Rust, memangkas overhead round-trip serialisasi antarsistem.
Anatomi Four-Layer Safety Stack pada Autonomous Agent Modern
~/.ssh, atau token cloud host.
4. Konvergensi Industri: Dari Standarisasi Hooks Hingga Dominasi SKILL.md atas MCP
Analisis longitudinal selama 90 hari (April hingga Juli 2026) mengungkapkan dinamika persaingan yang berubah menjadi peniruan langsung (convergence becoming imitation) di antara para pengembang harness tier-1:
-
Standardisasi Hook Vocabulary: Codex CLI mengadopsi struktur penamaan lifecycle hook milik Claude Code kata-demi-kata (seperti
PreToolUse,PostToolUse,Interrupt) dan bahkan merilis utilitas importir untuk file konfigurasi sesi Claude Code. -
SKILL.md Memimpin Adopsi Industri (9/11 vs 8/11 MCP): Meskipun Anthropic gencar mempromosikan Model Context Protocol (MCP) dengan transport RPC JSON yang lebih berat, format deklaratif Markdown berbasis SKILL.md kini diadopsi oleh 9 dari 11 harness. Alasan utamanya adalah portabilitas zero-dependency: model bahasa mampu membaca, memvalidasi aturan, dan mengeksekusi referensi dokumen teks biasa tanpa overhead proses server background terpisah.
-
Agent-Maintained Persistent Memory Index: Alih-alih mengandalkan context compaction heuristik otomatis yang sering membuang detail penting, harness modern mempercayakan perawatan memori ke agen itu sendiri. Agen secara eksplisit menulis file catatan di direktori
memories/yang bertindak sebagai indeks retrival aktif saat sesi di-resume.
5. Spesifikasi TypeScript: Arsitektur Modular Coding Agent Harness
Berikut adalah spesifikasi arsitektur TypeScript berstandar produksi yang mengimplementasikan 7 subsistem kanonikal tanpa ketergantungan pada framework eksternal, dilengkapi sandboxing berlapis dan pencarian deterministik:
${HARNESS_ENGINEERING_CODE_SNIPPET}6. Panduan Praktis Rekayasa Sistem untuk Tim Pengembang AI 2026
Berdasarkan 18 rekomendasi desain yang disarikan dari audit sumber kode 4 juta baris tersebut, tim engineering modern wajib memegang 4 prinsip utama saat merancang autonomous coding pipeline:
- Hindari Framework Bloat: Jangan gunakan LangChain atau CrewAI untuk tugas pengkodean berlatensi kritis. Bangun loop asynchronous minimal yang memberikan visibilitas langsung terhadap antrean event dan konteks token.
- Terapkan Sandboxing Bertingkat (Defense-in-Depth): Jangan pernah hanya mengandalkan system prompt instruction untuk mencegah perintah destruktif. Pisahkan aturan Starlark, event hooks, dan isolasi native OS container.
- Gunakan Ripgrep & AST Parser: Singkirkan infrastruktur vector database untuk kode sumber. Kecepatan dan determinisme
ripgrepmengeliminasi kesalahan grounding pada repositori skala besar. - Pilih Standar SKILL.md untuk Ekstensibilitas Agen: Manfaatkan format Markdown terstruktur untuk mendefinisikan SOP, dependensi tools, dan workflow agar agen Anda dapat dipindahkan lintas harness tanpa vendor lock-in.
Referensi & Sumber Terverifikasi
- [1]Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents — A Source-Code Study of Eleven Systems(arXiv:2609.00006 [cs.SE, cs.AI] — Inclusive Brains & Wavestone AI Lab)
- [2]Inside the Harness: What a Source-Code Study of Eleven Coding Agents Reveals About Codex CLI Architecture(Systems & Architecture Research Journal / Daniel Vaughan)
- [3]Codex CLI v0.152.0-alpha: Proactive Multi-Agent Instructions & Starlark Execution Policy Engine(OpenAI Engineering Releases & Architecture Specifications)
- [4]Hermes Agent Architecture & Dynamic Transports: 5 Owned Transports and 29 Provider Profiles(Nous Research Engineering Documentation)
Butuh Arsitektur Web & AI Berkualitas Tinggi?
Tim engineering NEWSAINT siap membantu merancang website berkecepatan tinggi, sistem AI autonomous, dan solusi SaaS terukur untuk bisnis Anda.
Artikel Terkait Lainnya
Bellman Language Models (arXiv:2610.24871): Discretize-Then-Decide, Eliminasi Redundant LLM Invocations hingga 98%, dan Optimal Control pada Agentic Workflows
Analisis arsitektur sistemik riset frontier arXiv:2610.24871 (Adarsh Vatsa & William Eiers): Mengapa workflow agen otonom terus-menerus memboroskan komputasi untuk mendeduksi ulang keputusan yang berulang pada setiap turn? Memperkenalkan Bellman Language Models (BLM) dan paradigma "Discretize, Then Decide" yang memodelkan interaksi agen sebagai Markov Decision Process (MDP) diskret dan menyelesaikannya via persamaan optimalitas Bellman. Pada benchmark tau^2-bench telecom, controller mandiri tanpa model LLM mampu menyelesaikan 79% tugas; dipasangkan dengan Qwen3.8-27B, akurasi melonjak dari 29% menjadi 96% dengan pemangkasan 93% panggilan model; serta memangkas 98% biaya Claude Opus 5.5. Artikel ini membedah teori saturasi ruang keputusan, formulasi Bellman controller, batasan pada open synthesis, dan implementasi TypeScript produksi.
Acceptance Is Not Speed (arXiv:2610.23818): Ilusi Akselerasi Lossy Speculative Decoding, Mengapa Relaxed Sampling Memperpanjang Reasoning Trace 1.54x, dan Solusi Length-Corrected Verification
Investigasi empiris komprehensif arXiv:2610.23818 (Chiatzen Wang, Bill Xu, Haochen Gu, Hongyang Zhang — University of Waterloo): Mengapa peningkatan rasio penerimaan token (accepted length) pada lossy speculative decoding gagal menghasilkan akselerasi wall-clock? Evaluasi 360 konfigurasi lintas 12 pasangan target-drafter (GPT-OSS-20B, Qwen3-8B, Llama-3.1-8B dengan EAGLE-3, DSpark, dan standalone drafter) membuktikan fenomena sistemik "Length Inflation": relaksasi verifikasi menerima token probabilitas rendah yang mendeformasi lintasan penalaran, menyebabkan model berpikir 1.54x lebih panjang (bahkan 3.3x pada EAGLE-3). Lebih dari 90% token ekstra terbuang di dalam reasoning trace (<think>), memicu kehabisan token budget pada AIME24 dan evaluasi redundan pada GSM8K. Artikel ini membedah taksonomi 5 metode lossy (CACTUS, Mentored Decoding, rFSD, Speculative Cascades), batas matematis net-win, serta implementasi TypeScript Length-Corrected Speculative Harness.
DLite (arXiv:2610.23787): History-Free Speculative Decoding untuk Agentic AI, Eliminasi Draft KV Cache, dan Akselerasi 2.74x pada SWE-bench
Bedah arsitektur dan evaluasi empiris riset frontier arXiv:2610.23787 (Jiaming Xu, Guohao Dai et al. — SJTU, Tsinghua, Shanghai Innovation Institute): Mengapa metode speculative decoding konvensional seperti EAGLE-3, DFlash, dan DSpark mengalami degradasi acceptance length hingga 80% pada beban kerja agen otonom? DLite memperkenalkan paradigma History-Free Speculative Decoding yang sepenuhnya mengeliminasi draft KV cache, menggunakan parallel backbone berbasis reuse hidden state target model dengan learnable depth embeddings, lightweight low-rank RNN sequential head di ruang representasi tersembunyi, serta two-stage distillation training (isomorphic teacher warm-up dan total variation alignment). Evaluasi pada Qwen3-4B dan Qwen3-8B via SGLang membuktikan lonjakan acceptance length hingga 3.19 token dan akselerasi end-to-end 2.74x pada SWE-bench tanpa kehilangan kualitas generasi.