您现在的位置是:首页 > 站长新闻站长新闻

SEO优化|用excle处理网站未收录页面抓取

2021-02-27【站长新闻】人已围观

简介这篇文章写了很多天,一直没顾上修改,拖到今天才想起来要发。终于算是觉得“狗命”差不多了,早准备更的,大病一场人也变得懒蛋了。主要是也换了工作,生病那段时间在老家养病,脑子整天迷迷瞪瞪的,稀里糊涂的把原工作辞掉了,接受了

这篇文章写了很多天,一直没顾上修改,拖到今天才想起来要发。终于算是觉得“狗命”差不多了,早准备更的,大病一场人也变得懒蛋了。

主要是也换了工作,生病那段时间在老家养病,脑子整天迷迷瞪瞪的,稀里糊涂的把原工作辞掉了,接受了新公司的邀请。

同时接手了一个新站,刚接手时,要权重没权重,要排名没排名,要收录没收录,域名也是新域名。

搞了一个月,终于把百度权重从0+0做到1+1(电脑端和移动端权重都是1),几个主要关键词也给做到了首页,紧跟百度百科后面。

其实,这网站到手时就发现,最大的问题是没有收录,没收录当然不会有关键词,没关键词又怎么可能有排名。

而导致没收录的原因,是因为所有的首页/栏目页/关键词页,居然全用一样的TDK,触犯了百度规则。所以,只好逐一对TDK,链接规则重新修改,并在百度站长申请网站改版。

反正经过这一个月一系列的操作之后,关键词终于上了首页。

而现在,最大的问题依然是收录。一个网站几百个页面,我们不可能一个个复制粘贴检查是否收录,这时候就需要一些工具辅助了。

这个工具是:爱站工具箱

一款免费的站长工具,有需要的自己下载,里面功能挺多的,今天需要用到的就是收录率/死链功能。其他功能大家可以自己测试,都挺好用,不过sitemap功能不推荐使用,不知为何,制作的地图百度不抓取。

我们只需要绑定网站,设置后,右键网站并选择:抓取URL查收录率和状态码,即可。

提示任务完成就算完成了。

不过,这个工具有点不方便的是不能直接提取分列数据,所以只能将爬取的数据复制出来,再手工处理一遍。当然如果你有很多时间,也可以慢慢来。

首先复制粘贴到EXCLE中,删除掉多余的链接,只留下显示“收录”及“未收录”的链接。

其次,利用excle-查找替换功能,将“被百度收录/未被百度收录”替换成“ 被百度收录/ 未被百度收录(前面加空格)”。

再次,借用excle-数据-分列功能,选择“空格”分类(这就是上一步添加空格的原因),即可将数据分裂出来。

最后,再添加下“筛选”,我们就可以很方便管理网站链接。

另外,同样通过筛选将index(分页)/tags(标签页)这些页面可以删除,最好设置robots(可查看以前文章介绍robots),这样能吸引蜘蛛更好的抓取网站。

之后,将未收的链接进行整理,通过百度站长,手动或自动提交都可。

以前经常会用这种方式处理网站日志,这期没准备好软件分享,所以写了篇运营笔记,在处理大量规则型数据时的方法,能节省大量时间。文中提到的软件可以直接去官网下载。

最后,www.zhibushi.com,是我唯一网站,以前发布的资源陆续在转到网站上,先资源也会优先发在那里。

Tags:抓取   收录   优化   页面   处理

很赞哦! ()

文章评论

站点信息

  • 建站时间:2020-2-22
  • 网站程序:帝国CMS7.5
  • 文章统计9933篇文章
  • 标签管理标签云
  • 统计数据百度统计
  • 微信号:扫描二维码,联系我