数字营销的推动者

常见网络蜘蛛名称和标志有哪些

添加时间:2018-06-01


1.谷歌Google蜘蛛 Googlebot Googlebot-Mobile Googlebot-Image Mediapartners-Google Adsbot-Google 
2.百度(Baidu)蜘蛛 Baiduspider 
3.雅虎(Yahoo)蜘蛛 Yahoo!+Slurp Yahoo!+Slurp+China:雅虎中国蜘蛛 
4.有道(Yodao)蜘蛛 YodaoBot YoudaoBot YodaoBot-Image 
5.搜搜(Soso)蜘蛛 Sosospider Sosoimagespider 
6.微软(Bing和MSN)蜘蛛 bingbot msnbot msnbot-media 
7.搜狗(Sogou)蜘蛛 Sogou Web Sprider Sogou Orion spider Sogou-Test-Spider

详细介绍:
1. 谷歌Google蜘蛛
1) Googlebot:从Google的网站索引和新闻索引中抓取网页
2) Googlebot-Mobile:针对Google的移动索引抓取网页
3) Googlebot-Image:针对Google的图片索引抓取网页
4) Mediapartners-Google:抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下,Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google:抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。
2. 百度(Baidu)蜘蛛名称:Baiduspider
3. 雅虎(Yahoo)蜘蛛
1) Yahoo!+Slurp:雅虎总站蜘蛛
2) Yahoo!+Slurp+China:雅虎中国蜘蛛
4. 有道(Yodao)蜘蛛
1) YodaoBot:有道蜘蛛
2) YoudaoBot:有道蜘蛛
3) YodaoBot-Image:有道图片蜘蛛
5. 搜搜(Soso)蜘蛛
1) Sosospider:搜搜蜘蛛
2) Sosoimagespider:搜搜图片蜘蛛
6. 微软(Bing和MSN)蜘蛛
1) bingbot:必应蜘蛛
2) msnbot:MSN蜘蛛,这个蜘蛛只在我的网站爬行了robots.txt
3) msnbot-media:MSN蜘蛛
7.搜狗(Sogou)蜘蛛
1) Sogou Web Sprider:搜狗网页蜘蛛
2) Sogou Orion spider:搜狗蜘蛛






转载请注解来源:http://www.wanqitui.com/news/seobaike/2018/0601/138.html