App下載

在線robots.txt文件生成工具

　這款在線robots.txt生成器提供多種常見的設置選項供站長選擇使用，可根據(jù)具體需要生成符合robots協(xié)議的robots文件，是一款非常實用的SEO工具


默認 - 所有機器人是:  
檢索間隔:
Sitemap: (留空為無)
   
普通搜索機器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti
   
特殊搜索機器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9
   
限制目錄: 路徑是相對的，但每個路徑之前都要包含："/"
 
 
 
 
 
   
   

現(xiàn)在，你創(chuàng)建一個空白的文本文件，命名為：“robots.txt”，然后把上面的內(nèi)容，復制并粘貼到“robots.txt”中去。把“robots.txt”放在你網(wǎng)站的根目錄，并確保他能讓訪問者（如搜索引擎）訪問到。