|
ÎÒÃÇ¿ÉÒÔʹÓÃrobots.txtÀ´¿ØÖÆËÑË÷ÒýÇæ×¥È¡Ò³Ãæ£¬Í¬ÑùµØ£¬ÎÒÃÇÒ²¿ÉÒÔÔÚÒ³ÃæÎļþÖÐʹÓá°noindex¡±»ò¡°nofollow¡±ÊôÐÔÀ´¿ØÖÆËÑË÷ÒýÇæSpiderÔÚÍøÕ¾ÄÚµÄÅÀÐУ¬ÄÇô£¬robots.txt¶ÔÓÚÍøÕ¾ÊDZØÐèµÄô£¿
¡¡¡¡ÀíÂÛÉÏ˵£¬robots.txtÖ»ÊǸæËßËÑË÷ÒýÇæµÄSpiderÍøÕ¾ÄÚÄÄЩÄÚÈݲ»ÔÊÐíÆäË÷ÒýÓëÊÕ¼£¬Ëü²¢²»ÊÇÍøÕ¾µÄ±Ø²»¿ÉÉÙµÄ×é³É²¿·Ö£¬Ò»¸öδÅäÖÃrobots.txtµÄÍøÕ¾Ö»²»¹ý¶ÔËÑË÷ÒýÇæSpiderµÄÅÀÐв»×÷ÏÞÖÆ¶øÒÓ¡£´ÓÕâ¸ö½Ç¶È¿´£¬²»ÉèÖÃrobots.txt¶ÔÍøÕ¾¹¦ÄÜûÓÐÓ°Ïì¡£
¡¡¡¡µ«ÁíÒ»·½Ã棬ǡµ±µØÉèÖÃrobots.txt£¬¿ÉÒÔ¸üºÃµØÎ¬»¤Web ·þÎñÆ÷£¬Ìá¸ßÍøÕ¾µÄ×ÛºÏÐÔÄÜ¡£´ÓÕâ¸ö½Ç¶È£¬ÍøÕ¾×îºÃÅäÖÃrobots.txt¡£
Robots.txt´øÀ´µÄºÃ´¦
¡¡¡¡¼¸ºõËùÓеÄËÑË÷ÒýÇæSpider¶¼×ñÑrobots.txt¸ø³öµÄÅÀÐйæÔò£¬ÐÒ鹿¶¨ËÑË÷ÒýÇæSpider½øÈëij¸öÍøÕ¾µÄÈë¿Ú¼´ÊǸÃÍøÕ¾µÄrobots.txt£¬µ±È»£¬Ç°ÌáÊǸÃÍøÕ¾´æÔÚ´ËÎļþ¡£¶ÔÓÚûÓÐÅäÖÃrobots.txtµÄÍøÕ¾£¬Spider½«»á±»Öض¨ÏòÖÁ404 ´íÎóÒ³Ãæ£¬Ïà¹ØÑо¿±íÃ÷£¬Èç¹ûÍøÕ¾²ÉÓÃÁË×Ô¶¨ÒåµÄ404´íÎóÒ³Ãæ£¬ÄÇôSpider½«»á°ÑÆäÊÓ×÷robots.txt¡ª¡ªËäÈ»Æä²¢·ÇÒ»¸ö´¿´âµÄÎı¾Îļþ¡ª¡ªÕ⽫¸øSpiderË÷ÒýÍøÕ¾´øÀ´ºÜ´óµÄÀ§ÈÅ£¬Ó°ÏìËÑË÷ÒýÇæ¶ÔÍøÕ¾Ò³ÃæµÄÊÕ¼¡£
¡¡¡¡robots.txt¿ÉÒÔÖÆÖ¹²»±ØÒªµÄËÑË÷ÒýÇæÕ¼Ó÷þÎñÆ÷µÄ±¦¹ó´ø¿í£¬Èçemail retrievers£¬ÕâÀàËÑË÷ÒýÇæ¶Ô´ó¶àÊýÍøÕ¾ÊÇûÓÐÒâÒåµÄ£»ÔÙÈçimage strippers£¬¶ÔÓÚ´ó¶àÊý·ÇͼÐÎÀàÍøÕ¾À´ËµÆäҲûÓÐÌ«´óÒâÒ壬µ«È´ºÄÓôóÁ¿´ø¿í¡£
¡¡¡¡robots.txt¿ÉÒÔÖÆÖ¹ËÑË÷ÒýÇæ¶Ô·Ç¹«¿ªÒ³ÃæµÄÅÀÐÐÓëË÷Òý£¬ÈçÍøÕ¾µÄºǫ́³ÌÐò¡¢¹ÜÀí³ÌÐò£¬ÊÂʵÉÏ£¬¶ÔÓÚijЩÔÚÔËÐÐÖвúÉúÁÙÊ±Ò³ÃæµÄÍøÕ¾À´Ëµ£¬Èç¹ûδÅäÖÃrobots.txt£¬ËÑË÷ÒýÇæÉõÖÁ»áË÷ÒýÄÇЩÁÙʱÎļþ¡£
¡¡¡¡¶ÔÓÚÄÚÈݷḻ¡¢´æÔںܶàÒ³ÃæµÄÍøÕ¾À´Ëµ£¬ÅäÖÃrobots.txtµÄÒâÒå¸üÎªÖØ´ó£¬ÒòΪºÜ¶àʱºòÆä»áÔâÓöµ½ËÑË÷ÒýÇæSpider¸øÓèÍøÕ¾µÄ¾Þ´óѹÁ¦£ººéË®°ãµÄSpider·ÃÎÊ£¬Èç¹û²»¼Ó¿ØÖÆ£¬ÉõÖÁ»áÓ°ÏìÍøÕ¾µÄÕý³£·ÃÎÊ¡£
¡¡¡¡Í¬ÑùµØ£¬Èç¹ûÍøÕ¾ÄÚ´æÔÚÖØ¸´ÄÚÈÝ£¬Ê¹ÓÃrobots.txtÏÞÖÆ²¿·ÖÒ³Ãæ²»±»ËÑË÷ÒýÇæË÷ÒýºÍÊÕ¼£¬¿ÉÒÔ±ÜÃâÍøÕ¾Êܵ½ËÑË÷ÒýÇæ¹ØÓÚ duplicate contentµÄ³Í·££¬±£Ö¤ÍøÕ¾µÄÅÅÃû²»ÊÜÓ°Ïì¡£
robots.txt´øÀ´µÄ·çÏÕ¼°½â¾ö
¡¡¡¡·²ÊÂÓÐÀû±ØÓбף¬robots.txtͬʱҲ´øÀ´ÁËÒ»¶¨µÄ·çÏÕ£ºÆäÒ²¸ø¹¥»÷ÕßÖ¸Ã÷ÁËÍøÕ¾µÄĿ¼½á¹¹ºÍ˽ÃÜÊý¾ÝËùÔÚµÄλÖá£ËäÈ»ÔÚWeb·þÎñÆ÷µÄ°²È«´ëÊ©ÅäÖõõ±µÄǰÌáÏÂÕâ²»ÊÇÒ»¸öÑÏÖØµÄÎÊÌ⣬µ«±Ï¾¹½µµÍÁËÄÇЩ²»»³ºÃÒâÕߵĹ¥»÷ÄѶȡ£
¡¡¡¡±ÈÈç˵£¬Èç¹ûÍøÕ¾ÖеÄ˽ÃÜÊý¾Ýͨ¹ýwww.yourdomain.com/private/index.html ·ÃÎÊ£¬ÄÇô£¬ÔÚrobots.txtµÄÉèÖÿÉÄÜÈçÏ£º
User-agent: * Disallow: /private/
¡¡¡¡ÕâÑù£¬¹¥»÷ÕßÖ»Ðè¿´Ò»ÏÂrobots.txt¼´¿ÉÖªÄãÒªÒþ²ØµÄÄÚÈÝÔÚÄÄÀÔÚä¯ÀÀÆ÷ÖÐÊäÈëwww.yourdomain.com/private/ ±ã¿É·ÃÎÊÎÒÃDz»Óû¹«¿ªµÄÄÚÈÝ¡£¶ÔÕâÖÖÇé¿ö£¬Ò»°ã²ÉÈ¡Èçϵİ취£º
- ÉèÖ÷ÃÎÊȨÏÞ£¬¶Ô/private/ÖеÄÄÚÈÝʵʩÃÜÂë±£»¤£¬ÕâÑù£¬¹¥»÷Õß±ãÎÞ´Ó½øÈë¡£
- ÁíÒ»ÖÖ°ì·¨Êǽ«È±Ê¡µÄĿ¼Ö÷Îļþindex.html¸üÃûΪÆäËû£¬±ÈÈç˵abc-protect.html£¬ÕâÑù£¬¸ÃÄÚÈݵĵØÖ·¼´±ä³Éwww.yourdomain.com/private/abc-protect.htm£¬Í¬Ê±£¬ÖÆ×÷Ò»¸öеÄindex.htmlÎļþ£¬ÄÚÈÝ´óÖÂΪ¡°ÄãûÓÐȨÏÞ·ÃÎÊ´ËÒ³¡±Ö®À࣬ÕâÑù£¬¹¥»÷ÕßÒò²»ÖªÊµ¼ÊµÄÎļþÃû¶øÎÞ·¨·ÃÎÊ˽ÃÜÄÚÈÝ¡£
ʹÓÃrobots.txt¿ØÖÆËÑË÷ÒýÇæ×¥È¡
¡¡¡¡ËÑË÷ÒýÇæÊý¾Ý¿âÖеÄËùÓÐÍøÒ³£¬¶¼ÊÇÓÉRobot³ÌÐò×Ô¶¯×¥È¡ÊÕ¼µÄ¡£µ«ÎÒÃÇÍøÕ¾ÉÏ×Ü»áÓв¿·Ö˽ÃÜÐÔÊý¾Ý²»Ï£Íû±»ËÑË÷ÒýÇæ×¥È¡£¬Õâʱºò£¬¾ÍÐèÒªrobots.txt¡£
¡¡¡¡robots.txt ÊÇÒ»¸ö±ê×¼Îĵµ£¬ÒâÔÚ×èÖ¹ËÑË÷ÒýÇæµÄSpider(Ö©Ö룩´ÓÄúµÄ Web ·þÎñÆ÷ÏÂÔØÄ³Ð©»òÈ«²¿ÐÅÏ¢£¬¿ØÖÆSpiderµÄËÑË÷·¶Î§¡£robots.txtµÄÉèÖúܼòµ¥£¬Ö»ÒªÓüÇʱ¾»òÆäËûÎı¾±à¼Æ÷£¬ÒÀÕÕ×Ô¼ºµÄÍøÕ¾ÐèÇó£¬É趨һϵÁÐÑ¡ÏȻºó½«ÆäÉÏ´«µ½ÍøÕ¾¸ùĿ¼¼´¿É¡£robots.txtµÄÉèÖÃÈçÏ£º
¡¡¡¡ÔÚ¸ÃÎļþÖпÉÒÔʹÓÃ#½øÐÐ×¢½â
User-agent: ËÑË÷ÒýÇæµÄspider´úºÅ Disallow: ÊäÈëÊý¾Ý¼Ð»òÎļþÃûµÄ·¾¶
¡¡¡¡ÈçÉ趨ËùÓеÄspider¶¼Äܹ»ËÑË÷¼°×¥È¡Õû¸öÍøÕ¾¡£
User-agent: * Disallow:
¡¡¡¡Èç¾Ü¾øGoogleËÑË÷¼°×¥È¡Õû¸öÍøÕ¾£¬µ«ÔÊÐíÆäËüµÄ
User-agent: Googlebot Disallow:
¡¡¡¡Èç¾Ü¾øËùÓеÄSpider
User-agent: * Disallow: /
¡¡¡¡Èç¾Ü¾øËùÓеÄSpiderËÑË÷¼°×¥È¡protectĿ¼¼°seoĿ¼ÏÂabc.htmlÎļþ
User-agent: * Disallow: /protect/ Disallow: /seo/abc.html
¡¡¡¡Èç¾Ü¾øgoogleËÑË÷¼°×¥È¡protectĿ¼¼°seoĿ¼ÏÂabc.htmlÎļþ£¬µ«ÔÊÐíÆäËûµÄ
User-agent: Googlebot Disallow: /protect/ Disallow: /seo/abc.html
¡¡¡¡ºÜ¼òµ¥°É£¿ÁíÓÐÒ»µãÇë¼Çס£¬ËÑË÷ÒýÇæ²»»áÁ¢¼´¶Ôrobots.txt ÎļþËù×÷µÄ¸ü¸Ä×÷³ö·´Ó¦£¬±ØÐëµÈµ½ËÑË÷ÒýÇæÏÂÒ»´Î¶ÁÈ¡¸ÃÎļþ¡£Õâ¶Îʱ¼ä£¬ÒÀËÑË÷ÒýÇæ¼°¾ßÌåÍøÕ¾Çé¿ö£¬´Ó¼¸Ð¡Ê±µ½¼¸Ìì²»µÈ¡£
|