เครื่องตรวจการมองเห็นของ AI Crawler
ตรวจสอบ robots.txt และ meta tags สำหรับกฎ AI crawler - GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Bytespider - พร้อมผลรายตัวและสคริปต์บล็อก
Loading tool...
เครื่องตรวจการมองเห็นของ AI Crawler คืออะไร?
เครื่องตรวจการมองเห็นของ AI Crawler ตรวจสอบ robots.txt และ meta tags ของหน้าเพื่อเปิดเผยว่า AI crawler หลัก - GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended และ Bytespider - เข้าถึงคอนเทนต์ของคุณได้หรือไม่ พร้อมผลรายตัวและสร้างกฎบล็อกแบบคัดลอก-วาง ทำงานออฟไลน์ทั้งหมด
ประโยชน์หลัก
- ผลราย crawler ทันที แทนการอ่าน robots.txt เอง
- เลียนแบบวิธีจับคู่ user-agent เฉพาะก่อนของ crawler จริง
- ตรวจจับการประกาศ noai และ TDM-Reservation ระดับหน้า
- สคริปต์บล็อก AI crawler หลักทั้งหมดในคลิกเดียว
- ทำงานออฟไลน์ทั้งหมด - ไม่มีการ fetch หรืออัปโหลด
กรณีการใช้งาน
- •สำนักพิมพ์ที่กำลังตัดสินนโยบายปฏิเสธการเทรน AI
- •ตรวจเว็บหลังย้าย CMS ที่อาจทำกฎ robots หาย
- •เช็คว่ากฎ wildcard เผลออนุญาต AI bot หรือไม่
- •สร้างกฎบล็อกสำหรับ robots.txt หลายเว็บพร้อมกัน
- •ยืนยันว่า head ของหน้ามีการประกาศ noai ตามที่ต้องการ
วิธีตรวจการเข้าถึงของ AI Crawler
- วาง robots.txt ของคุณ: คัดลอก robots.txt จริงจาก yoursite.com/robots.txt ใส่ช่องแรก
- วาง head ของหน้าเพจ: ใส่ HTML head ของหน้าสำคัญเพิ่มได้เพื่อตรวจการประกาศ noai และ TDM-Reservation
- วิเคราะห์: กดวิเคราะห์เพื่อดูตารางผลราย crawler - บล็อก, อนุญาตด้วยกฎเฉพาะ หรืออนุญาตด้วยค่าเริ่มต้น wildcard
- คัดลอกสคริปต์บล็อก: ถ้ามี crawler ที่ยังอนุญาต ให้นำกฎ robots.txt และ meta tag ที่สร้างให้ไปวางบนเว็บของคุณ
คุณสมบัติหลัก
- ตรวจ AI crawler หลัก 6 ตัวในรอบเดียว
- จับคู่ robots.txt แบบกฎเฉพาะก่อน เหมือน crawler จริง
- สแกน head ของหน้าหา noai, noimageai และ TDM-Reservation
- ผลอนุญาตหรือบล็อกรายตัวพร้อมระบุการ fallback แบบ wildcard
- สคริปต์ robots.txt และ meta พร้อมคัดลอกเพื่อบล็อก AI crawler
- ออฟไลน์ทั้งหมด - ไฟล์ของคุณไม่เคยออกจากเบราว์เซอร์
คำถามที่พบบ่อย
เครื่องมือนี้ตรวจ AI crawler ตัวไหนบ้าง?
GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), PerplexityBot, Google-Extended และ Bytespider - crawler ที่ถูกพูดถึงบ่อยที่สุดในเรื่องการปฏิเสธการใช้ข้อมูลเทรน AI
การบล็อก AI crawler กระทบอันดับ Google Search หรือไม่?
การบล็อก Google-Extended ไม่ได้ลบเว็บคุณออกจาก Google Search - มันแค่จำกัดการเทรนและ grounding ของ Gemini ส่วนการบล็อก Googlebot จึงจะกระทบการค้นหา แต่ Googlebot เป็น user agent ต่างหาก
AI crawler จำเป็นต้องปฏิบัติตาม robots.txt หรือไม่?
Crawler ที่สุภาพอย่าง GPTBot, ClaudeBot และ CCBot ระบุว่าเคารพ robots.txt แต่การปฏิบัติเป็นไปโดยสมัครใจ - ไม่ใช่กำแพงทางเทคนิค การจำกัดอัตราฝั่งเซิร์ฟเวอร์หรือ firewall ควบคุมได้แน่นกว่า
Meta tag noai คืออะไร?
เป็นส่วนขยายที่เสนอของ meta tag robots ซึ่งยังไม่เป็นทางการ บางบริการ AI ส่งสัญญาณว่ารองรับ แต่ความครอบคลุมไม่สม่ำเสมอ - กฎใน robots.txt ยังเป็นสัญญาณที่ได้รับการยอมรับกว้างที่สุด