Cloudflare เพิ่มฟีเจอร์สำหรับการบล็อคเว็บจากบอตที่ผู้พัฒนา AI ใช้ดูดข้อมูลเพื่อการฝึก AI ของตัวเอง หลังจากสำรวจพบว่าลูกค้าถึง 85% ต้องการบล็อคไม่ได้ AI เหล่านี้มาดูดข้อมูลไป แต่ในความเป็นจริง เว็บจำนวนมากกลับเขียน robots.txt ไม่ครบถ้วน โดยอาจห้ามเพียงบอตดังๆ เช่น GPTBot ของ OpenAI เท่านั้น

ฟีเจอร์ใหม่นี้เป็นตัวเลือกเดียว กดแล้วบล็อคบอตทุกตัวพร้อมกันหมด โดย Cloudflare จะเป็นผู้ติดตามข้อมูลว่าบอตแต่ละตัวมาจากช่องทางไหนบ้าง และเพิ่มมาตรการบล็อคให้อัตโนมัติ

ในแง่ของปริมาณการดูดเว็บ GPTBot กลับไม่ใช่บอตที่ดูดข้อมูลเว็บมากที่สุด แต่เป็น Bytespider, Amazonbot, และ ClaudeBot แล้วจึงตามด้วย GPTBot

ตัว Bytespider นั้นไม่ได้ระบุชัดเจนว่าทำขึ้นมาเพื่อดูดข้อมูลไปฝึก AI แต่ก็มีรายงานก่อนหน้านี้ว่ามีการใช้งานข้อมูลเพื่อฝึก LLM ขณะที่ ClaudeBot ของ Anthropic นั้นชัดเจนว่าใช้เพื่อดูดข้อมูลไปฝึกแน่นอน

ที่มา - Cloudflare Blog