robots.txt - 可列印版本

robots.txt - 可列印版本

+- 餅乾工坊 (http://ninja.s12.xrea.com/mybb)
+-- 版面: 電腦網路 (http://ninja.s12.xrea.com/mybb/forumdisplay.php?fid=2)
+--- 版面: 網頁相關 (http://ninja.s12.xrea.com/mybb/forumdisplay.php?fid=13)
+--- 主題: robots.txt (/showthread.php?tid=135)

robots.txt - NINJA - 04-26-2009

用法
User-agent: {Spider名}
Disallow: {檔案/目錄位置}
Allow: {檔案/目錄位置}

範例1:禁止BOT抓取所有資料

程式碼:
User-agent: *

Disallow: /

範例2:禁止Googlebot抓取 admin.htm 和 tmp 目錄下資料

程式碼:
User-agent: Googlebot

Disallow: /admin.htm

Disallow: /tmp/