robots.txt

[NINJA]

用法
User-agent: {Spider名}
Disallow: {檔案/目錄位置}
Allow: {檔案/目錄位置}

範例1:禁止BOT抓取所有資料

程式碼:

User-agent: *
Disallow: /

範例2:禁止Googlebot抓取 admin.htm 和 tmp 目錄下資料

程式碼:

User-agent: Googlebot
Disallow: /admin.htm
Disallow: /tmp/