04-26-2009, 05:07 PM
用法
User-agent: {Spider名}
Disallow: {檔案/目錄位置}
Allow: {檔案/目錄位置}
範例1:禁止BOT抓取所有資料
範例2:禁止Googlebot抓取 admin.htm 和 tmp 目錄下資料
User-agent: {Spider名}
Disallow: {檔案/目錄位置}
Allow: {檔案/目錄位置}
範例1:禁止BOT抓取所有資料
程式碼:
User-agent: *
Disallow: /程式碼:
User-agent: Googlebot
Disallow: /admin.htm
Disallow: /tmp/