Robots.txt Generator ฟรี — สร้างไฟล์ robots.txt ออนไลน์
สร้างไฟล์ robots.txt พร้อมกฎ allow/block, sitemap, crawl-delay และตัวควบคุม AI crawler แต่ละตัวเช่น GPTBot, ClaudeBot
เหมาะกับ: เจ้าของเว็บและคนทำ SEO ที่ต้องการคุมว่า search engine กับ AI crawler เข้าถึงหน้าไหนได้บ้าง
- ฟรี
- ไม่ต้องสมัคร
- ใช้ได้ทันที
Google ไม่สนใจค่านี้เลย (ใช้ Crawl rate settings ใน Search Console แทนไม่ได้แล้ว Google ปรับความถี่เองอัตโนมัติ) แต่ Bing และ crawler บางเจ้ายังอ่านค่านี้อยู่
รายการนี้อ้างอิงจากเอกสารที่แต่ละบริษัทประกาศไว้เอง (อัปเดตล่าสุด ณ วันที่เขียนเครื่องมือนี้) ผู้ให้บริการอาจเปลี่ยน user-agent หรือเพิ่ม/ลด bot ได้ทุกเมื่อ ควรกดลิงก์เอกสารเพื่อเช็กก่อนเชื่อ 100%
Google-Extended และ Applebot-Extended ไม่ใช่ crawler ที่ดึงหน้าเว็บ แต่เป็น token ควบคุมว่าจะให้เนื้อหาไปใช้เทรน/ตอบ AI หรือไม่ — บล็อกสองตัวนี้ไม่กระทบการเก็บดัชนี Google Search หรือ Apple ปกติแต่อย่างใด
Google-Extended (Google · control token)
ไม่ใช่ crawler — เป็น token สำหรับบอก Google ว่าไม่ให้นำเนื้อหาไปใช้กับ Gemini
ดูเอกสารต้นทางApplebot-Extended (Apple · control token)
ไม่ใช่ crawler — เป็น token บอก Apple ว่าไม่ให้นำเนื้อหาไปเทรน AI
ดูเอกสารต้นทางrobots.txt ที่สร้างได้
User-agent: * Allow: /
สิ่งที่ควรรู้ก่อนใช้ robots.txt
robots.txt เป็นแค่ "คำขอ" ไม่ใช่การบังคับ crawler ที่ทำตัวดี เช่น Googlebot จะเคารพกฎนี้ แต่ crawler ที่ไม่แคร์กฎก็เพิกเฉยได้เลยโดยไม่มีบทลงโทษทางเทคนิคใด ๆ
บล็อก URL ใน robots.txt ไม่ได้ทำให้หน้านั้นหลุดจากดัชนี Google — ถ้ามีเว็บอื่นลิงก์มาที่หน้านั้น Google ยังอาจแสดงหน้านั้นในผลการค้นหาได้ (แค่ไม่มี snippet เพราะเข้าไปอ่านเนื้อหาไม่ได้) ถ้าต้องการให้หน้าใดหายไปจากผลการค้นหาจริง ๆ ให้ใส่ meta tag noindex ในหน้านั้นแทน และต้องปล่อยให้ Google เข้าไป crawl หน้านั้นได้ Google ถึงจะเห็น tag noindex นี้ — เว็บจำนวนไม่น้อยพลาดตรงนี้ คือบล็อกหน้าที่มี noindex ไว้ใน robots.txt ทำให้ Google เข้าไม่ถึงหน้านั้นเลย และไม่มีทางเห็น tag noindex ที่ใส่ไว้ หน้านั้นเลยยังคงค้างอยู่ในดัชนีต่อไป
robots.txt ถูกสร้างในเบราว์เซอร์ของคุณทั้งหมด ไม่มีการส่งข้อมูลที่กรอกไปยังเซิร์ฟเวอร์ใด ๆ
Robots.txt Generator คืออะไร
Robots.txt Generator คือเครื่องมือที่ช่วยสร้างไฟล์ robots.txt จากฟอร์มโดยไม่ต้องพิมพ์ syntax เอง เลือกได้ว่าจะอนุญาตหรือบล็อกทั้งเว็บ ระบุ path ที่ต้องการกันไม่ให้ crawler เข้า ใส่ลิงก์ sitemap และเลือกบล็อก AI crawler แต่ละเจ้าอย่าง GPTBot หรือ ClaudeBot ได้ทีละตัว ทุกอย่างสร้างในเบราว์เซอร์และมีคำเตือนตรงไปตรงมาว่า robots.txt ทำอะไรได้จริงและทำอะไรไม่ได้
วิธีใช้
เลือกกฎเริ่มต้นของทั้งเว็บ
ส่วนใหญ่เว็บทั่วไปควรเลือก "อนุญาตให้เก็บข้อมูลทั้งเว็บ" แล้วค่อยกำหนด path เฉพาะที่ต้องการกันไว้ต่างหาก เลือก "กำหนดเอง" ถ้ามีหน้าอย่างตะกร้าสินค้าหรือหน้า admin ที่ไม่อยากให้ crawler เสียเวลาเข้าไป
ใส่ path ที่ต้องการ Disallow (ถ้ามี)
พิมพ์ path ทีละบรรทัด เช่น /admin หรือ /cart ระบบจะเติม / นำหน้าและตัดรายการซ้ำให้อัตโนมัติ
เลือกบล็อก AI crawler ที่ไม่ต้องการให้เก็บเนื้อหา
ถ้าไม่อยากให้เนื้อหาไปเทรนโมเดล AI เจ้าไหน กดบล็อกทีละตัวได้ พร้อมกดดูเอกสารต้นทางของแต่ละเจ้าเพื่อยืนยันว่า user-agent ยังตรงกับปัจจุบัน
ใส่ sitemap แล้วคัดลอกไปวางที่ root ของเว็บ
ดาวน์โหลดหรือคัดลอกไฟล์ที่ได้ไปวางที่ https://yourdomain.com/robots.txt แล้วตรวจสอบว่าเปิดได้จริงจากเบราว์เซอร์
สิ่งที่เครื่องมือนี้ทำได้
- เลือกกฎเริ่มต้นได้ 3 แบบ: อนุญาตทั้งเว็บ, บล็อกทั้งเว็บ, หรือกำหนด path เอง
- normalize path ให้อัตโนมัติ (เติม / นำหน้า ตัดคอมเมนต์และรายการซ้ำ)
- ใส่ลิงก์ sitemap ได้หลายลิงก์ พร้อมเตือนถ้าไม่ใช่ URL แบบเต็ม
- ตั้งค่า crawl-delay พร้อมคำเตือนว่า Google ไม่สนใจค่านี้
- บล็อก AI crawler ได้ทีละตัวจากรายชื่อ 12 ตัวที่อ้างอิงเอกสารทางการของแต่ละเจ้า พร้อมลิงก์ตรวจสอบ
- แยกอธิบาย Google-Extended และ Applebot-Extended ว่าเป็น control token ไม่ใช่ crawler ที่ดึงหน้าเว็บ
ใช้ตอนไหนได้บ้าง
กันไม่ให้ crawler เข้าหน้าที่ไม่มีประโยชน์ต่อ SEO
หน้าอย่างตะกร้าสินค้า หน้า login หรือ query parameter ซ้ำ ๆ ไม่ควรให้ Google เสีย crawl budget ไปกับมัน ใส่ path พวกนี้ใน Disallow
ตัดสินใจเรื่อง AI crawler อย่างมีข้อมูล
ก่อนบล็อก GPTBot หรือ ClaudeBot ควรรู้ว่าแต่ละตัวทำอะไร เครื่องมือนี้อธิบายให้ก่อนตัดสินใจ แทนที่จะบล็อกตามกระแสโดยไม่รู้ผลกระทบ
ประกาศตำแหน่ง sitemap ให้ search engine เจอง่ายขึ้น
ใส่ลิงก์ sitemap.xml ใน robots.txt ช่วยให้ crawler เจอสิ่งที่ต้องการ index ได้เร็วขึ้น โดยเฉพาะเว็บที่เพิ่งเปิดใหม่
ตัวอย่าง
เว็บทั่วไปที่อยากกันหน้า admin
- กรอก
- กฎเริ่มต้น: อนุญาตทั้งเว็บ, Disallow: /admin, /cart
- ได้ผลลัพธ์
- robots.txt ที่อนุญาตให้เก็บข้อมูลทุกหน้ายกเว้น /admin และ /cart พร้อมลิงก์ sitemap
เว็บที่ไม่ต้องการให้ AI เทรนจากเนื้อหา
- กรอก
- บล็อก GPTBot, ClaudeBot, CCBot
- ได้ผลลัพธ์
- robots.txt ที่มีกลุ่ม User-agent แยกสำหรับแต่ละ bot พร้อม Disallow: / เฉพาะ bot นั้น ส่วน Google/Bing ยังเข้าได้ตามปกติ
ความเป็นส่วนตัว
ข้อมูลที่คุณกรอกถูกประมวลผลในเบราว์เซอร์ของคุณทั้งหมดเพื่อสร้างข้อความ robots.txt ไม่มีการส่งขึ้นเซิร์ฟเวอร์หรือบันทึกไว้ที่ใด
ข้อผิดพลาดที่เจอบ่อย
- บล็อกหน้าที่มี meta tag noindex ไว้ใน robots.txt ทำให้ Google เข้าไม่ถึงหน้านั้นและไม่มีทางเห็น noindex เลย หน้านั้นเลยยังค้างอยู่ในดัชนีต่อไปทั้งที่ตั้งใจจะเอาออก
- เข้าใจว่าบล็อกใน robots.txt แล้วหน้านั้นจะหายจากผลการค้นหาทันที ทั้งที่จริงแล้ว Google ยังอาจแสดง URL นั้นได้ถ้ามีเว็บอื่นลิงก์มา เพียงแต่ไม่มี snippet
- ตั้ง Crawl-delay แล้วคาดว่า Google จะเคารพ ทั้งที่ Google ประกาศชัดว่าไม่ใชช้ค่านี้
- บล็อกทั้งเว็บ (Disallow: /) ไว้ตอนพัฒนาแล้วลืมเอาออกตอนเปิดเว็บจริง
- เชื่อว่า robots.txt ป้องกันคนหรือ crawler ที่ไม่ทำตามกฎได้ ทั้งที่มันเป็นแค่คำขอ ไม่ใช่การบังคับทางเทคนิค
คำถามที่พบบ่อย
robots.txt ป้องกันไม่ให้คนอื่นเข้าเว็บได้จริงไหม
ไม่ได้ robots.txt เป็นแค่คำขอให้ crawler ที่ทำตัวดีเคารพกฎ ไม่ใช่การบังคับทางเทคนิค crawler หรือคนที่ไม่สนใจกฎนี้ยังเข้าถึง URL ได้ตามปกติถ้ารู้ลิงก์ ถ้าต้องการป้องกันจริง ๆ ต้องใช้ authentication หรือปิดกั้นระดับ server
บล็อก URL ใน robots.txt แล้ว Google จะเอาออกจากผลการค้นหาไหม
ไม่แน่นอน บล็อกใน robots.txt แค่บอกว่าอย่าเข้ามาอ่านเนื้อหา แต่ถ้ามีเว็บอื่นลิงก์มาที่ URL นั้น Google ยังอาจแสดง URL นั้นในผลการค้นหาได้ เพียงแต่จะไม่มี snippet เพราะเข้าไปอ่านไม่ได้ ถ้าต้องการเอาหน้าออกจากดัชนีจริง ๆ ให้ใช้ meta tag noindex บนหน้าที่ Google ยังเข้าไป crawl ได้
ควรบล็อก AI crawler อย่าง GPTBot หรือ ClaudeBot ไหม
ขึ้นกับเป้าหมายของเว็บ ถ้าไม่อยากให้เนื้อหาไปเทรนโมเดล AI ก็บล็อกได้ แต่ถ้าอยากให้แบรนด์ถูกพูดถึงใน ChatGPT หรือ Claude เวลาคนถามคำถามที่เกี่ยวข้อง การปล่อยให้ crawler เก็บข้อมูลไว้ก็มีข้อดีเช่นกัน ไม่มีคำตอบที่ถูกเสมอไปสำหรับทุกเว็บ
Google-Extended กับ Applebot-Extended ต่างจาก crawler ตัวอื่นยังไง
สองตัวนี้ไม่ใช่ crawler ที่ดึงหน้าเว็บ แต่เป็น control token ที่บอกว่าเนื้อหาที่ Googlebot หรือ Applebot เก็บไปแล้วให้นำไปใช้กับ AI (Gemini/Apple AI) ได้หรือไม่ บล็อกสองตัวนี้ไม่กระทบการจัดอันดับใน Google Search หรือ Siri ตามปกติ
ต้องมี robots.txt ทุกเว็บไหม
ไม่จำเป็นต้องมี ถ้าไม่มีไฟล์นี้ crawler ส่วนใหญ่จะถือว่าเข้าได้ทุกหน้า แต่การมีไว้ช่วยประกาศตำแหน่ง sitemap และกันไม่ให้ crawler เสียเวลากับหน้าที่ไม่มีประโยชน์ จึงแนะนำให้มีไว้แม้เว็บเล็ก ๆ
เครื่องมืออื่นที่ใช้ต่อกันได้
- Schema Markup Generator — สร้าง JSON-LD structured data สำหรับ Article, BreadcrumbList, LocalBusiness, Organization, Product และ FAQPage พร้อมคำเตือนตรงตามจริงว่า Google รองรับรูปแบบไหนบ้าง
- Website Audit Lite — Checklist ตรวจเว็บ 20 ข้อ ครอบคลุม SEO, UX, CTA และ Tracking พร้อมจัด priority
- SEO Title Generator — สร้าง SEO Title 10 แบบ พร้อม H1 และ Meta title จาก keyword และโทนที่ต้องการ
บทความที่เกี่ยวข้อง
SEOOn-page SEO พื้นฐานสำหรับมือใหม่
On-page SEO คือการจัดหน้าเว็บให้ Google เข้าใจง่ายและติดอันดับได้ดีขึ้น บทความนี้สรุปสิ่งที่ต้องทำใน 30 นาทีต่อบทความ เข้าใจง่ายสำหรับเจ้าของธุรกิจ
อ่านประมาณ 8 นาที
SEOGoogle Search Console ดูอะไรบ้าง
Google Search Console คือเครื่องมือฟรีที่บอกได้ตรงที่สุดว่าเว็บไซต์ของเราอยู่จุดไหนใน Google บทความนี้พาไล่ดูทีละเมนูแบบเข้าใจง่ายสำหรับมือใหม่
อ่านประมาณ 9 นาที
SEOตรวจเว็บไซต์ก่อนจ้าง SEO ต้องเช็กอะไรบ้าง
ก่อนจ่ายเงินจ้างทำ SEO ควรตรวจเว็บไซต์ตัวเองก่อน 6 เรื่องหลัก เพื่อรู้ว่าเว็บพร้อมแค่ไหนและไม่โดนขายบริการที่ไม่ตรงปัญหาจริง
อ่านประมาณ 9 นาที
อยากให้ช่วยตีความผลลัพธ์กับธุรกิจของคุณ?
ส่งผลลัพธ์จากเครื่องมือนี้พร้อมบริบทธุรกิจมาให้ช่วยดูเบื้องต้นได้