SHENZHEN, Tiongkok, 5 Februari 2026 /PRNewswire/ — Meningkatnya kebutuhan data untuk pelatihan model Generative AI mendorong aktivitas pengambilan data (scraping) dalam skala yang semakin besar. Di sisi lain, kondisi ini menghadirkan tantangan baru bagi para pengembang: bagaimana mengelola akses dari AI crawler secara efektif, sekaligus melindungi konten orisinal dan menjaga efisiensi biaya infrastruktur.
Menjawab kebutuhan tersebut, Tencent Cloud EdgeOne secara resmi menghadirkan Basic Bot Management untuk seluruh pengguna, termasuk pengguna Free Plan. Pembaruan ini memperkenalkan dua kapabilitas utama: AI Crawler Control (Kontrol Perayap AI) dan CAPTCHA Page (Halaman Tantangan), yang dirancang untuk membantu pengembang mengelola lalu lintas bot dengan lebih terukur tanpa mengorbankan pengalaman pengguna.
EdgeOne merilis kemampuan Manajemen Bot Dasar gratis
ADVERTISEMENT
SCROLL TO RESUME CONTENT
Stop Main "Kucing-Kucingan" sama Crawler
Berbeda dari web crawler tradisional, AI crawler modern cenderung beroperasi lebih senyap, dalam skala besar, dan semakin sulit dibedakan dari lalu lintas yang sah. Akibatnya, pengembang sering terjebak dalam pola mitigasi reaktif—memblokir satu alamat IP, namun kemudian menghadapi kemunculan IP baru dalam jumlah besar dengan variasi dan penyamaran yang berbeda. Situasi ini berpotensi menimbulkan dua dampak utama: scraping konten orisinal tanpa otorisasi serta pemborosan bandwidth dan sumber daya server
Melalui AI Crawler Control, EdgeOne mengatasi tantangan tersebut dengan kemampuan identifikasi berbasis User-Agent yang diperkuat dan terus diperbarui. Sistem ini dirancang untuk mendeteksi bot AI populer, termasuk GPTBot, ClaudeBot, dan Google-Extended, sehingga pengembang tidak perlu menyusun skrip atau aturan kompleks secara manual.
Pengguna dapat mengatur kebijakan sesuai kebutuhan bisnis melalui konsol EdgeOne, antara lain:
- Monitor: memantau perilaku crawler tanpa intervensi
- Block: menghentikan pengambilan data yang tidak sah secara langsung
- Allow: memberikan akses bagi bot yang diizinkan
- Challenge: menerapkan verifikasi pada lalu lintas yang terindikasi mencurigakan
Pendekatan ini memungkinkan pengembang menerapkan kontrol yang lebih fleksibel: meminimalkan risiko dari scraping berbahaya, sekaligus tetap membuka ruang untuk ekosistem AI yang dinilai relevan dan bernilai bagi bisnis.
Strategi AI Crawler Control yang fleksibel disesuaikan untuk berbagai skenario
Perlindungan Tambahan untuk Skenario Bernilai Tinggi dengan CAPTCHA Page
Selain kontrol terhadap crawler, EdgeOne juga menghadirkan CAPTCHA Page untuk memitigasi serangan otomatis. Fitur ini secara cerdas mengidentifikasi perilaku bot yang mencurigakan dan memicu verifikasi manusia–mesin guna memastikan akses yang masuk berasal dari pengguna yang valid.
CAPTCHA Page dirancang agar tetap menjaga kenyamanan pengguna asli, sekaligus memperkuat perlindungan pada skenario berisiko tinggi seperti perlindungan hak konten digital, flash sale e-commerce, serta transaksi keuangan—mencegah skrip otomatis memanipulasi metrik maupun mengganggu layanan.
Manajemen Bot Dasar EdgeOne diterapkan di berbagai industri
Beralih dari Pertahanan Pasif ke Manajemen Akses yang Lebih Proaktif
"Dengan pesatnya evolusi teknologi AI, tata kelola akses konten dan data akan menjadi tantangan jangka panjang," ujar Tim EdgeOne. "Dengan menghadirkan Basic Bot Management secara gratis, kami ingin membantu setiap pengembang beralih dari pertahanan pasif ke manajemen akses yang lebih proaktif, sehingga mereka memiliki kendali lebih besar atas aset digitalnya," lanjutnya.
Ketersediaan Fitur
AI Crawler Control dan CAPTCHA Page kini telah tersedia di konsol EdgeOne. EdgeOne juga berkomitmen untuk terus menyempurnakan kapabilitas Bot Management dan keamanan secara berkelanjutan, guna membantu pengembang menetapkan batas yang jelas antara pemanfaatan teknologi AI dan perlindungan hak konten.
Tentang Tencent Cloud
Tencent Cloud merupakan salah satu penyedia layanan cloud terkemuka di dunia yang berkomitmen menghadirkan solusi inovatif untuk menjawab tantangan nyata sekaligus mempercepat transformasi digital di berbagai industri. Didukung infrastruktur global yang luas, Tencent Cloud menyediakan produk dan layanan cloud yang andal dan aman bagi bisnis di seluruh dunia, dengan memanfaatkan teknologi seperti komputasi awan, analitik big data, kecerdasan buatan (AI), Internet of Things (IoT), serta keamanan siber. Tencent Cloud terus menjalankan misinya untuk memenuhi kebutuhan beragam sektor, termasuk game, media dan hiburan, layanan keuangan, kesehatan, properti, ritel, perjalanan, dan transportasi.
Informasi lebih lanjut:
https://edgeone.ai/?from=ai_crawler_control
