idm 爬取网站 跳转路径_咻咻SEO：上线3个月迟迟未收录，找大神才知道网站地图是错的，如何设置robots、sitemap...

一、网站地图/sitemap制作流程：

XML：主要针对搜索引擎制作，提高网站各页面收录率；

HTML：主要针对用户制作，索引用户浏览网站内容。

Sitemap：谷歌制定规则，100个网页链接地址。提高蜘蛛工作效率。

1. 生成sitemap文件；

安装SEO工具包-网站地图-添加网站

抓取网址类型选择静态URL地址。

点击生成XML文件

URL地址规范化：

首页：http://www.abc.com/

栏目页：http://www.abc.com/123/

Html版本中将不规范链接所在的<li></li>整体删除/修改；

XML版本中将不规范链接所在的<url></url>整体删除/修改；

2.上传sitemap文件；

后台—模块—文件管理器--文件上传功能

域名/sitemap.xml验证是否上传成功。

3.增加首页入口：

底部导航位置，增加sitemap链接。

<a href="http://www.webyy.cn/sitemap.xml">站点地图</a>

<a href="http://www.webyy.cn/sitemap.html">网站地图</a>

4.提交搜索引擎

http://Ziyuan.baidu.com

网站支持（登录百度账户、验证网站权限）--链接提交—自动提交—sitemap（只能填写XML版本地址）

http://Zhanzhang.so.com（注册360站长账户）

http://Zhanzhang.sogou.com

5.定期更新（定期制作、定期上传、定期提交）

一般建议sitemap一周一更新。

“文件管理器”不替换原有文件，需将原文件删除再上传。

搜索结果中的图片设置：

http://Ziyuan.baidu.com—网站支持—站点属性—上传logo。

二、robots.txt(网站机器人)

搜索引擎蜘蛛爬取网站时读取的第一个文件；文就只能保存在根目录。

User-agent:指定搜索引擎制定规则

Allow：允许搜索引擎爬取的目录/文件

Disallow:不允许搜索引擎爬取的目录/文件。

*：通配符，指所有

Sitemap:指定网站地图地址。

三、404错误页面

作用：减少用户跳出率，减少搜索引擎蜘蛛丢失率。

制作404要求：

• 必须有返回首页链接；
• 不能使用强制跳转功能（URL地址是否变化）；
• 尽量保持趣味性-用户体验。

1.制作404错误页面：

http://www.webyy.cn/123

网页乱码——网页编码错误；

UTF-8：国际通用版

GBK：中文简体版

绝对路径：从根目录开始；（/404.jpg;http://www.webyy.cn/a/404.jpg）

相对路径：文件的相对位置（直接写文件名称；../;./）

2.上传404错误页面

模块—文件管理器—文件上传

3.设置404：

登录主机控制面板：

http://Cp.aliyun.com

基础环境设置—404页面设置。

四、301重定向

http://3.cn http://jingdong.com http://jd.com

https://www.jd.com/

作用：实现域名间流量导入；可实现域名间权重导入。

应用场景：网站更换域名；

http://Ucfo.com.cn

301重定向

http://Ucfo.com

301重定向制作方法：

1.主机控制面板

2.使用.htaccess文件

生效条件：将文件放置在源域名的根目录下。