Mengenal Bot Preference Sync dari Cloudflare

Setiap pemilik website memiliki prioritas yang berbeda. Ada yang ingin kontennya semudah mungkin ditemukan, ada pula yang justru ingin melindungi kontennya dengan kebijakan keamanan seketat mungkin. Di antara dua kutub tersebut, terdapat banyak cara untuk mengelola trafik bot — mulai dari sekadar menyatakan preferensi melalui file robots.txt dan mengharapkan crawler menghormatinya, hingga benar-benar memblokirnya secara teknis melalui solusi Bot Management.

Masalahnya, mengelola dua lapisan ini secara terpisah cukup merepotkan. Tidak jarang terjadi, robots.txt sebuah website menyatakan bahwa crawler tertentu dilarang mengakses (disallowed), tetapi aturan enforcement di level jaringan sebenarnya tidak memblokir crawler tersebut sama sekali. Ketika preferensi yang dinyatakan dan aturan yang benar-benar diberlakukan tidak selaras, sejumlah crawler menjadikan hal ini sebagai celah untuk mengabaikan preferensi tersebut atau bahkan mencoba menerobosnya.

Beberapa tahun lalu, Cloudflare memperkenalkan cara mudah untuk melarang penggunaan konten website sebagai data pelatihan AI dengan menyelaraskan dua lapisan tersebut, nilai terkelola (managed value) pada robots.txt yang memberi tahu daftar crawler AI Training utama agar tidak melatih model dari konten yang bersangkutan, sekaligus pemblokiran di level edge terhadap crawler-crawler tersebut. Kemudian, pada 1 Juli 2026, Cloudflare meluncurkan opsi yang lebih fleksibel untuk mengelola berbagai jenis trafik AI, sehingga pemilik website dapat menentukan sikap terpisah untuk trafik Search, Agent, dan Training di website mereka.

Kini, Cloudflare mengumumkan fitur terbarunya: Bot Preference Sync, yang tersedia bagi seluruh pelanggan mulai dari paket Free hingga Enterprise. Fitur ini membuat robots.txt secara otomatis mencerminkan pengaturan bot AI yang telah ditentukan pada dashboard, dan dapat diaktifkan atau dinonaktifkan kapan saja. Pemilik website tidak perlu lagi mengelola file statis secara manual, cukup menentukan preferensi sekali, dan Cloudflare akan menyesuaikan robots.txt secara otomatis.

Pertanyaan Baru yang Dihadapi Dunia Digital

Selama bertahun-tahun, pertanyaan paling umum di ranah ini adalah “Apakah konten saya digunakan untuk melatih model AI tanpa izin?” Pertanyaan tersebut tetap relevan dan tidak akan hilang begitu saja. Namun, kini muncul pertanyaan-pertanyaan baru yang sama pentingnya, “Bagaimana caranya agar konten dapat muncul ketika seseorang bertanya kepada asisten AI mengenai sesuatu yang dapat dijawab oleh website tersebut? Seberapa besar trafik yang sebenarnya berasal dari crawler AI dibandingkan pengunjung manusia? Konten mana yang benar-benar mendatangkan trafik rujukan, dan seberapa besar nilainya bagi bisnis?”

Jawabannya berbeda-beda, bergantung pada model bisnis masing-masing. Toko daring (e-commerce) mungkin menginginkan seluruh kontennya di-crawl dan digunakan untuk pelatihan AI, agar produknya muncul ketika calon pembeli bertanya kepada chatbot mengenai “sofa terbaik untuk apartemen kecil”. Sebaliknya, penerbit media yang mengandalkan pendapatan iklan mungkin menginginkan hal yang berlawanan, tetap terindeks pada mesin pencari agar pembaca tetap diarahkan ke halamannya, tetapi kontennya tidak digunakan untuk melatih model AI dan yang tidak kalah penting, memiliki cara untuk memverifikasi bahwa kontennya benar-benar tidak disalahgunakan.

Tidak ada satu jawaban yang berlaku untuk semua pihak, dan hal itulah yang menjadi inti persoalannya. Kontrol yang dimiliki pemilik website seharusnya mencerminkan strategi bisnis masing-masing, dan Bot Preference Sync hadir untuk menyatukan seluruh lapisan kontrol tersebut, sehingga preferensi yang ditentukan adalah preferensi yang benar-benar dipublikasikan.

Transparansi sebagai Syarat, Bukan Sekadar Anjuran

Sejak 1 Juli 2026, Cloudflare menyoroti persoalan crawler “mixed-use”, bot yang menggabungkan fungsi search, agent, dan training di balik satu user agent yang sama karena hal ini menyulitkan pemilik website untuk memisahkan mana yang diizinkan dan mana yang tidak. Posisi Cloudflare terhadap transparansi ini tidak berubah, dan kini diperkuat dengan syarat yang lebih konkret.

Agar tidak diblokir secara otomatis ketika pemilik website memilih opsi “Disallow Training”, operator bot yang menjalankan fungsi Search sekaligus Training diwajibkan memenuhi sejumlah syarat transparansi berikut:

Menghormati preferensi “no training” pada robots.txt, melalui mekanisme apa pun.
Memberikan pemilik website cara untuk keluar (opt out) dari ringkasan AI atas kontennya.
Menyediakan visibilitas pada level URL mengenai halaman mana saja yang digunakan untuk training, lengkap dengan metrik hasil pencarian, sehingga pemilik website dapat melihat sendiri bagaimana kontennya digunakan.
Mampu menunjukkan secara terbuka bahwa opsi “Disallow Training” tidak merugikan performa pencarian organik mereka.

Bot dari penyedia layanan dan model AI besar yang memenuhi kriteria tersebut dipantau secara publik pada bagian AI Bot Transparency di Cloudflare Radar, termasuk contoh praktik yang telah dijalankan dengan baik maupun yang belum. Crawler yang tidak transparan tidak memperoleh keringanan apa pun: crawler tersebut tetap diblokir begitu pemilik website memilih Disallow Training. Dengan kata lain, transparansi kini menjadi syarat mutlak, bukan lagi sekadar nilai tambah.

Cara Kerja Bot Preference Sync

Bot Preference Sync menjaga agar robots.txt sebuah website selalu selaras dengan preferensi bot AI yang telah ditentukan untuk kategori Search, Agent, dan Training pada dashboard zona Cloudflare. Apabila pemilik website telah memiliki robots.txt sebelumnya, konten dari Bot Preference Sync akan ditambahkan pada bagian awal file tersebut, sehingga aturan Disallow yang sudah ada tetap dipertahankan.

Pemilik website tidak perlu lagi mengelola file statis secara terpisah. Cloudflare akan membuat atau memperbarui robots.txt secara otomatis berdasarkan konfigurasi yang telah ditentukan, sehingga apa yang dinyatakan kepada publik dan apa yang benar-benar diberlakukan pada level edge senantiasa konsisten.

Untuk kategori Search dan Agent, tiga opsi yang telah diumumkan sejak 1 Juli 2026 tetap berlaku yaitu Allow (mengizinkan), Block pada halaman yang memuat iklan, atau Block pada seluruh halaman. Untuk kategori Training, opsi Disallow kini disempurnakan, preferensi “no training” akan dituliskan pada robots.txt, sehingga crawler mixed-use yang kooperatif yang telah memenuhi syarat transparansi tambahan tetap dapat mengakses konten untuk keperluan pengindeksan pencarian. Dengan demikian, visibilitas website pada hasil pencarian dari crawler yang kooperatif tidak terganggu, sementara kontrol atas data training tetap berada di tangan pemilik website.

Sebagai contoh, apabila sebuah website menerapkan kebijakan “Allow Search, Allow Agents, Disallow Training” dan mengaktifkan Bot Preference Sync, maka robots.txt-nya akan otomatis memuat baris berikut pada bagian awal:

#BEGIN Cloudflare Bot Preference Sync
User-agent: TrainingBot1
User-agent: TrainingBot2
User-agent: TrainingBot3
User-agent: MixedUseBot-Extended
Disallow: /

…
# END Cloudflare Bot Preference Sync

Daftar bot yang dimasukkan ke dalam robots.txt tersebut diperbarui secara berkala berdasarkan data dari BotBase, basis data bot terverifikasi milik Cloudflare. Daftar lengkap bot terverifikasi pada kategori Search, Agent, dan Training dapat dilihat kapan saja melalui direktori bot publik Cloudflare Radar.

Pengaturan Default yang Berbeda untuk Kebutuhan Berbeda

Bagi pelanggan baru, Bot Preference Sync akan aktif secara default agar pengelolaan blokir dan preferensi selalu konsisten sejak awal. Bagi pelanggan lama yang masih menggunakan fitur managed robots.txt versi sebelumnya, Cloudflare akan meminta peninjauan dan konfirmasi ulang preferensi pada saat transisi ke Bot Preference Sync.

Bagi pelanggan yang membutuhkan kontrol lebih terperinci, misalnya memiliki kesepakatan khusus dengan perusahaan tertentu untuk memberikan pengecualian akses, perlu dicatat bahwa Bot Preference Sync dirancang untuk kebijakan berbasis kategori, bukan aturan kasus per kasus yang lebih kompleks. Fitur ini tidak akan secara otomatis membaca aturan kustom yang lebih rumit. Meski demikian, sinkronisasi ini tetap dapat dinonaktifkan kapan pun, sehingga file robots.txt dapat diatur secara manual sesuai kebijakan khusus tersebut.

Terdapat pula penyesuaian bagi penerbit atau website berbasis iklan, pada saat onboarding, tersedia opsi “Saya memonetisasi domain ini melalui iklan pada halaman”, yang secara otomatis mengatur Training menjadi Disallow sebagai default (pengaturan ini tetap dapat diubah kapan saja). Dengan demikian, website tetap terindeks pada mesin pencari sekaligus terlindungi dari penggunaan konten sebagai data training. Bagi pelanggan non-penerbit, tidak ada blokir atau disallow apa pun yang diaktifkan secara default saat onboarding, seluruh keputusan sepenuhnya berada di tangan pemilik website.

Kapan Bisa Mulai Digunakan?

Bot Preference Sync akan tersedia bagi seluruh pelanggan Cloudflare, pada semua paket, dalam waktu dekat. Perkembangan terbaru dapat dipantau melalui changelog resmi Cloudflare, serta notifikasi pada dashboard dan email untuk konfirmasi preferensi.

Ini merupakan satu langkah dari upaya yang lebih panjang. Cloudflare terus bekerja sama dengan operator bot besar untuk memastikan tidak ada kompromi, baik pada isu lama seperti penggunaan konten tanpa izin, maupun isu baru seperti discoverability dan engagement di era AI. Seluruh upaya ini berpijak pada satu tujuan: mendorong transparansi dan kontrol yang lebih besar bagi pemilik website.