เครื่องมือสร้าง robots.txt
สร้างไฟล์ robots.txt ตามแนวปฏิบัติที่ดีที่สุด เครื่องมือสร้าง robots.txt ฟรี
Loading tool...
เครื่องมือสร้าง robots.txt คืออะไร?
robots.txt generator สร้างไฟล์มาตรฐานที่บอก search engine crawlers ว่าหน้าใดควร index และหน้าใดควรละเว้น ควบคุมการเข้าถึงของ bot ปกป้องเนื้อหาส่วนตัว และปรับแต่ง crawl budget
ประโยชน์หลัก
- สร้างง่าย
- ตรวจสอบ syntax
- หลายกฎ
- อ้างอิง sitemap
กรณีการใช้งาน
- •ควบคุม SEO
- •เนื้อหาส่วนตัว
- •ปรับแต่ง crawl
- •จัดการ bot
วิธีสร้าง robots.txt
- เพิ่ม user agents: ระบุ bots ที่กฎเหล่านี้ใช้
- ตั้ง allow/disallow: กำหนด paths ที่จะ index หรือบล็อก
- เพิ่ม sitemap URL: รวมตำแหน่ง sitemap ของคุณ
- ดาวน์โหลดไฟล์: ดาวน์โหลดและอัปโหลดไปยัง site root
คุณสมบัติหลัก
- สร้างไฟล์ robots.txt
- กำหนด user-agent
- สร้างกฎ Disallow/Allow
- รวม Sitemap URL
- ตั้งค่า crawl-delay
- พรีเซ็ตทั่วไป