Robot don't come here!!!

ปกติแล้วเมื่อทำการออกแบบเว็บไซด์ เราต้องการให้ Bot หรือ Robot หรือชื่ออื่นเช่น Spider , Crawler จาก Search Engine ต่างๆ วิ่งข้ามาทำ Index กับหน้าเพจต่างๆ ของเรา เพื่อการทำ SEO โปรโมตเว็บไซด์

แต่ในหลายครั้งในเว็บเพจบางหน้า หรือบาง Folder นั้นเราไม่ต้องการให้ bot เข้ามาทำ Index เนื่องจากมันอาจล้วงเอาความลับบางอย่างจากเราไปก็ได้

แต่ทั้งนี้เราสามารถป้องกันจาก bot ด้วยวิธีการสร้างไฟล์ robots.txt ไว้ที่ root directory ตามละเอียดที่ http://blog.gootum.com/seo-blog/robotstxt เลยนะครับ

ขออนุญาตจากคุณ Gootum เจ้าของ http://blog.gootum.com/seo-blog/robotstxt ด้วยครับ สำหรับบทความดีๆ