ตัวทดสอบ robots.txt ตรวจสอบอะไรบ้าง?

มันแยกวิเคราะห์ robots.txt ที่คุณวางเป็นกลุ่ม User-agent และจำลองว่าแต่ละ agent ได้รับอนุญาต (ALLOWED) หรือถูกห้าม (DISALLOWED) ไม่ให้ crawl path ที่กำหนด โดยใช้กฎของ robots.txt ที่ว่ากฎที่ match ยาวที่สุดชนะ และถ้ายาวเท่ากัน Allow จะมีลำดับความสำคัญกว่า

wildcard ใช้งานได้ในตัวทดสอบนี้หรือไม่?

ใช่ รองรับ wildcard * (match อักขระลำดับใดก็ได้) และ anchor ท้าย URL $ ซึ่งเป็น wildcard สองแบบที่กำหนดในมาตรฐาน robots.txt ที่ Google, Bing และ crawler หลักอื่นใช้

เนื้อหา robots.txt ของฉันถูกอัปโหลดไปที่ใดหรือไม่?

ไม่ การแยกวิเคราะห์และการ match ทั้งหมดทำงานในเบราว์เซอร์ของคุณด้วย JavaScript เท่านั้น ไม่มีข้อมูลใดถูกส่งไปเซิร์ฟเวอร์ จึงปลอดภัยสำหรับทดสอบกฎภายใน staging หรือที่ยังไม่เปิดเผย

ทำไม Disallow ที่ว่างถึงแสดงผลว่าอนุญาต?

ตามไวยากรณ์ robots.txt ค่า Disallow ที่ว่างหมายถึง "ไม่มีข้อจำกัด" สำหรับกลุ่มนั้น และถ้าไม่มีกฎใด match path ที่ทดสอบเลย การ crawl จะอนุญาตตามค่าเริ่มต้น ซึ่งเป็นพฤติกรรมมาตรฐานที่ crawler จริงใช้

ตัวทดสอบ Robots.txt

ทดสอบ robots.txt ออนไลน์ฟรี วิเคราะห์กฎ robots.txt และตรวจสอบว่า user-agent ใด crawl URL ใดได้บ้าง พร้อมผลลัพธ์ Allow/Disallow รองรับ wildcard และคำเตือน directive ทำงานทั้งหมดในเบราว์เซอร์

ตัวทดสอบ Robots.txt คืออะไร?

ตัวทดสอบ robots.txt คือเครื่องมือวินิจฉัยที่แยกวิเคราะห์กฎ robots.txt และจำลองการเข้าถึงของ crawler: วางไฟล์ของคุณ ใส่ URL และมันจะบอกได้ว่า user-agent ใดได้รับอนุญาตหรือถูกบล็อกไม่ให้ crawl path นั้น รวมถึงการจัดการ wildcard และลำดับความสำคัญของ Allow/Disallow

ประโยชน์หลัก

ป้องกันการ block ทั้งเว็บโดยไม่ตั้งใจก่อนที่หน้าของคุณจะหายจาก search engine
ยืนยันว่า Googlebot, Bingbot และ AI crawler เข้าถึงเนื้อหาที่คุณต้องการให้ index ได้
รู้ว่ากฎใดชนะสำหรับ URL ใด ๆ แทนการเดาลำดับความสำคัญ
ตรวจสอบ wildcard pattern อย่าง /*.pdf$ ที่เขียนผิดง่าย
ทำงานออฟไลน์ทั้งหมด - ปลอดภัยกับกฎ robots.txt ภายใน staging หรือที่ยังไม่เปิดเผย

กรณีการใช้งาน

•ตรวจ SEO ก่อนเปิดตัว robots.txt ใหม่ก่อน deploy ขึ้น production
•หาสาเหตุที่หน้าเว็บหายจาก Google หลังแก้ robots.txt
•ตรวจสอบว่า AI crawler อย่าง GPTBot หรือ ClaudeBot ถูก block หรืออนุญาตตามต้องการ
•ยืนยันว่ากฎของ staging หรือ environment ภายในไม่รั่วไหลไปความผิดปกติของ production
•เรียนรู้ว่าลำดับความสำคัญ Allow/Disallow และ wildcard ตัดสินกันอย่างไรกับ path ที่ซับซ้อน

วิธีทดสอบกฎ Robots.txt

วาง robots.txt ของคุณ: คัดลอกเนื้อหา robots.txt จากเว็บของคุณ (yoursite.com/robots.txt) ลงในช่องข้อความ หรือกดโหลดตัวอย่างเพื่อสำรวจ

ใส่ URL ที่ต้องการทดสอบ: พิมพ์ URL เต็มของหน้าที่ต้องการตรวจสอบ ระบบจะใช้เฉพาะ path ในการ match เหมือนที่ crawler จริงทำ

ระบุ user-agent: ใส่ชื่อ agent คั่นด้วยเครื่องหมายจุลภาค เช่น Googlebot, Bingbot หรือ GPTBot หรือเว้นว่างเพื่อทดสอบทุกกลุ่มในไฟล์

ดูผลลัพธ์: กดทดสอบเพื่อดี ALLOWED หรือ DISALLOWED ราย agent กฎที่ชนะ Crawl-delay, directive ที่แยกวิเคราะห์แล้ว และคำเตือนต่าง ๆ พร้อมคัดลอกผลเป็น JSON ได้

คุณสมบัติหลัก

จำลองผลการ crawl ราย user-agent ด้วยกฎ Allow/Disallow แบบ longest-match

รองรับ wildcard ของ robots.txt: * (ลำดับอักขระใดก็ได้) และ $ (ท้าย URL)

ตาราง directive ครอบคลุมบรรทัด User-agent, Allow, Disallow, Crawl-delay และ Sitemap

แจ้งเตือน directive ที่ไม่รู้จักและกลุ่มกฎที่ไม่มี User-agent

ทดสอบหลาย user-agent พร้อมกันและคัดลอกรายงานผลเป็น JSON ได้

คำถามที่พบบ่อย

ตัวทดสอบ Robots.txt

เนื้อหา robots.txt

URL ที่ต้องการทดสอบ

User-agent ที่ต้องการทดสอบ

เกี่ยวกับเครื่องมือนี้

ตัวทดสอบ Robots.txt นี้แยกวิเคราะห์กฎ robots.txt ของคุณทั้งหมดในเบราว์เซอร์ และจำลองว่า user-agent ใดได้รับอนุญาตหรือถูกห้ามไม่ให้ crawl path ที่ระบุ รองรับลำดับความสำคัญ Allow/Disallow (ตัวที่ match ยาวกว่าชนะ), wildcard *, anchor ท้าย URL $, Crawl-delay และ directive Sitemap - ไม่ต้องอัปโหลด ไม่ใช้เซิร์ฟเวอร์ ทำงานออฟไลน์ทั้งหมด

ทำไมต้องใช้

จับข้อผิดพลาดในการ block ก่อนกระทบ SEO - Disallow ผิดจะทำให้ทั้งเว็บถูกถอดจากผลค้นหา
ตรวจสอบว่า Googlebot, Bingbot หรือ AI crawler เข้าถึงหน้าที่คุณต้องการให้ index ได้
เข้าใจลำดับความสำคัญ Allow/Disallow ด้วยกฎ longest-match แทนการเดา
ตรวจสอบ wildcard pattern อย่าง /*.pdf$ ที่พลาดง่ายเวลาเขียนมือ
ข้อมูลไม่ออกจากเบราว์เซอร์ - ปลอดภัยกับกฎ robots.txt ภายในหรือ staging

คุณสมบัติ

จำลองผลการ crawl ราย user-agent ด้วยกฎ Allow/Disallow แบบ longest-match
รองรับ wildcard ของ robots.txt: * (ลำดับใดก็ได้) และ $ (ท้าย URL)
ตาราง directive ที่แยกวิเคราะห์ User-agent, Allow, Disallow, Crawl-delay และ Sitemap
เตือนเมื่อพบ directive ที่ไม่รู้จักหรือกลุ่มที่ไม่มี User-agent
คัดลอกผลลัพธ์เป็น JSON และทดสอบหลาย user-agent พร้อมกัน 100% client-side

Loading tool...