一、了解robots.txt文件
robots.txt文件主要是:
1、 提供搜索引擎能够抓取的所有、重要的页面 搜索引擎能够抓取的所有页面
3、 搜索引擎能够抓取的所有内容
4、 能够抓取的所有页面
二、检测
网站的robots.txt测试工具,主要是在百度站长平台中下载下来的,可免费试用!
三、补丁设置
1、 添加robots.txt文件
1)、网站中重要的页面
2)、已被删除的页面
3)、无效的页面
添加robots.txt文件注意:
1)、如果网站中的有多少个页面都可以看到,可以将多个页面的URL地址整合到一个单独的文件夹中
2)、在网站中同一时间,禁止多个页面被搜索引擎抓取
四、死链设置
1)、网站中存在的页面
2)、服务器配置错误
对于死链设置,我们可以选择404页面,将之前丢失的页面在搜索结果中展示。如果页面被删除,可以删除。
五、替换
1、替换导航系统
这个方法是用于跳转到新的一个网址。如果路径已经被优化,可能会遇到404页面。修改路径,可以将没有返回正确页面的页面替换成新的,如首页链接、栏目页链接、网站的最新文章链接。添加301跳转
将网站中的死链接全部替换成新的,如404页面。修改路径后,不一定要做301跳转到主域名,可以直接访问,但是对于已经被删除的页面,可以直接从路径跳转到新的。
六、内容更新
1、更新网站的产品和文章
网站上线前,应该更新产品的内容,文章更新需要一个计划,这样可以增加蜘蛛爬取的频率,达到每天都更新文章的效果。与行业相关的网站交换友情链接
在交换链接前,需要查看对方网站的权重、PR、收录量、收录时间、快照日期、友情链接、是否有nofollow链接、是否在链接交易平台出售链接、行业是否与百度比较、是否有出售链接等。
七、外链建设
1、在网站正式上线前,需要做外链的建设,比如新闻外链、友情链接、论坛外链、博客外链、软文外链、友链等。发布外链的平台需要选择权重高的,收录快,权重高的平台。
