เครื่องมือสร้าง robots.txt
สร้างไฟล์ robots.txt ตามแนวปฏิบัติที่ดีที่สุด เครื่องมือสร้าง robots.txt ฟรี
Loading tool...
เครื่องมือสร้าง robots.txt คืออะไร?
robots.txt generator สร้างไฟล์มาตรฐานที่บอก search engine crawlers ว่าหน้าใดควร index และหน้าใดควรละเว้น ควบคุมการเข้าถึงของ bot ปกป้องเนื้อหาส่วนตัว และปรับแต่ง crawl budget
ประโยชน์หลัก
- สร้างง่าย
- ตรวจสอบ syntax
- หลายกฎ
- อ้างอิง sitemap
กรณีการใช้งาน
- •ควบคุม SEO
- •เนื้อหาส่วนตัว
- •ปรับแต่ง crawl
- •จัดการ bot
วิธีสร้าง robots.txt
- เพิ่ม user agents: ระบุ bots ที่กฎเหล่านี้ใช้
- ตั้ง allow/disallow: กำหนด paths ที่จะ index หรือบล็อก
- เพิ่ม sitemap URL: รวมตำแหน่ง sitemap ของคุณ
- ดาวน์โหลดไฟล์: ดาวน์โหลดและอัปโหลดไปยัง site root
คุณสมบัติหลัก
- สร้างไฟล์ robots.txt
- กำหนด user-agent
- สร้างกฎ Disallow/Allow
- รวม Sitemap URL
- ตั้งค่า crawl-delay
- พรีเซ็ตทั่วไป
คำถามที่พบบ่อย
robots.txt คืออะไร?
robots.txt เป็นไฟล์ที่บอก search engine crawlers ว่าหน้าใดควร index และหน้าใดควรละเว้น ควบคุมการเข้าถึงของ bot ในไซต์ของคุณ
robots.txt บล็อกการเข้าถึงไหม?
ไม่ เป็น directive ไม่ใช่มาตรการความปลอดภัย บอก bots ที่ประพฤติดีว่าควรข้ามอะไร แต่ไม่ป้องกันการเข้าถึง
ควร disallow อะไร?
disallow ทั่วไป: /admin/, /api/, /internal/, หน้า login, เนื้อหาซ้ำ และ development environments
อนุญาตเฉพาะ Google อย่างไร?
ใช้ User-agent: Googlebot พร้อม Allow rules จากนั้น User-agent: * พร้อม Disallow: / เพื่อบล็อกอื่น
อยู่ในชุดเครื่องมือ:ชุดเครื่องมือปรับแต่ง SEO ครบวงจร