您现在的位置是：首页 > 站长新闻站长新闻

CCbot蜘蛛你有见过吗？

2021-02-06【站长新闻】人已围观

简介不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛，访问名称为：CCBot/2.0，下面我们具体来了解一下CCbot是什么蜘蛛?一. CCbot是什么蜘蛛?CCbot，全称为Common Crawl Bot，是一个非营利性基金会致力于提供

不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛，访问名称为：CCBot/2.0，下面我们具体来了解一下CCbot是什么蜘蛛?

一. CCbot是什么蜘蛛?

CCbot，全称为Common Crawl Bot，是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

二. 你如何处理CCbot蜘蛛?

方法1. 使用robots.txt

使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中，蜘蛛来访问时会先查找并查看robots.txt文件，并遵守robots协议来访问网站上的内容，允许访问则访问，不允许访问蜘蛛则离开。

①. 不允许任何蜘蛛访问您站点的任何部分

User-agent：*

Disallow：/

②. 允许任何蜘蛛访问您站点的任何部分

User-agent：*

Disallow：

③. 不允许CCbot蜘蛛访问网站的任何部分

User-agent：ccbot

Disallow：/

④. 允许CCbot蜘蛛访问您站点的任何部分

User-agent：ccbot

Disallow：

⑤. 允许CCbot蜘蛛访问您站点，但不允许CCbot访问“wp-admin”文件夹

User-agent：ccbot

Disallow：/wp-admin

方法2. 使用元标记

可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板，则可以在和之间添加元标记， 它将适用于使用该模板的所有页面。如果要控制特定页面，可以在和之间的各个页面上添加元标记 。

①. 允许所有蜘蛛访问您的页面

②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

③. 允许所有蜘蛛访问您的网页，但不允许他们跟踪链接

④. 不允许任何蜘蛛访问您的网页

⑤. 允许CCbot访问您的网页

⑥. 不允许CCbot访问您的页面

⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

如果你在网站日志中也发现了CCbot，不要惊慌，你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义，一旦发现这类蜘蛛爬行比较频繁，最好的方式就是禁止这些蜘蛛继续访问我们的网站。

Tags：见过   你有   蜘蛛   CCbot

很赞哦！ ()

上一篇：搭建什么样的网站才满足SEO优化的条件

下一篇：http和https的区别

相关文章

随机图文

文章评论

点击排行

为大家推荐6个超好用的网盘搜索引擎

本站推荐

网站内容页在网站优化中如何设计

标签云

猜你喜欢

站点信息

  • 建站时间：2020-2-22
  • 网站程序：帝国CMS7.5
  • 文章统计：9933篇文章
  • 标签管理：标签云
  • 统计数据：百度统计
  • 微信号：扫描二维码，联系我