robots.txt 攔截所有的機器人的設定值

資料來源: http://zh.wikipedia.org/wiki/Robots.txt

直接設成下面這2行, 禁止所有 spider 或 crawl 來存取您的網站,
通常管理介面, 不希望他們來 趴, 免得程式沒寫好被發理:
--------------------
User-agent: *
Disallow: /




* 附註: 通常管理用的後台, 不需要進 search engine 裡...