网站收录提交,个人网站如何做到被各大搜索软件收录

网站收录提交,个人网站如何做到被各大搜索软件收录 。这个问题网为您提供更多相关信息让你了解 。
robot.txt文件

网站收录提交,个人网站如何做到被各大搜索软件收录

文章插图
网站收录提交,个人网站如何做到被各大搜索软件收录

文章插图
网站收录提交,个人网站如何做到被各大搜索软件收录

文章插图
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容 。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取 。
格式:
1.User-agent:
用于指定搜索引擎的名称,如谷歌为User-agent: Googlebot,*代表所有搜索引擎
2.Disallow:
表示禁止蜘蛛访问的文件
User-agent: *
Disallow:
表明:允许所有搜索引擎访问网站下的所有内容 。
User-agent: *
Disallow: /
表明:禁止所有搜索引擎对网站下所有网页的访问 。
User-agent: *
Disallow: /cgi-bin/
表明:禁止所有搜索引擎进入网站的cgi-bin目录及其下所有子目录 。需要注意的是对每一个目录必须分开声明 。
User-agent: Roverdog
Disallow: /
表明:禁止Roverdog访问网站上的任何文件 。
User-agent: Googlebot
Disallow: cheese.htm
表明:禁止Google的Googlebot访问其网站下的cheese.htm文件 。
3.注释
以”#”开头的行,均被视为注解内容,注释需要单独成一行
Disallow: bob #comment是错误的
4.Allow行
Allow行还未普遍使用,对于网站地图,直接写为Sitemap: /sitemap.xml
编辑模式:
在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传 。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端,所以在编辑robots.txt文件时,一定要确保你的文本编辑器是在UNIX模式下 。
或者使用工具如爱站工具生成robots,直接粘贴复制到网站后台 。
检测robots是否生效:
在百度站长后台检测robots
二 robots和nofollow的区别是什么
robots只用于站内链接 。禁止蜘蛛抓取进行收录;
nofollow的链接蜘蛛依然可以收录,但是不会传递权重,一般用于站外链接或者是公司电话,地址的页面有助于网址权重的集中 。
三 网站误封robots后的处理
1.解封robots,然后到百度站长后台检测并更新Robots 。
2.在百度站长后台抓取检测,此时显示抓取失败,通常更改完robots不会立即生效,需要等待几天,可以多点击抓取几次,触发蜘蛛抓取站点 。
3.在百度站长后台抓取频次,申请抓取频次上调 。
4.百度反馈中心,反馈是因为误操作导致了这种情况的发生 。
5.百度站长后台链接提交处,设置数据主动推送(实时) 。
6.更新sitemap网站地图,重新提交百度,每天手工提交一次 。
四.新站robots的设置
对于已经上线但是还没有设置好的新站在robots中用
User-agent:*
Disallow:/
来禁止蜘蛛进行访问
meta标签
meta robots 标签是页面head部分meta标签的一种,用于指令搜索引擎禁止索引(收录)本页内容 。
meta robots 标签的写法:
【网站收录提交,个人网站如何做到被各大搜索软件收录】
标签的意义:禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接 。
Noindex:搜索引擎不索引此网页(可以抓取,但不出现在搜索结果中) 。
Nofollow: 搜索引擎不继续通过此网页的链接索引搜索其它的网页 。
=”robots”content=”noindex” >
标签的意义:禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重 。
使用了noindex meta robots标签的页面会被抓取,但不会被索引,也就是说页面URL不会出现在搜索结果中,这一点与robots文件不同 。
meta robots 标签的作用:
1、不想让网站被收录使用meta robots 标签,禁止搜索引擎索引本页,同时禁止跟踪页面上的链接 。
2、禁止索引本页面,但是允许蜘蛛跟踪页面链接,也可以传递权重 。
meta robots标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取 。因此还是推荐用robots.txt文件来限制抓取.
有违规记录的域名
有些站长会选择购买有一定注册年份的域名,但是需要注意这些域名是否曾经被搜索引擎惩罚过,如果这样,网站也是非常难收录的 。
建议对于这种情况,站长可以查看一下网站日志,如果蜘蛛未爬取,只需要去站长后天提交即可 。如果蜘蛛有爬取记录,但是没有收录,就可能是域名的问题 。当然也不排除网站自身存在一定的问题 。例如镜像网站等 。
如何让网站收录
熊账号后台提交:熊账号对于原创文章的收录要求较高,但是通常首页的收录是非常快的,一般第二天就可以看到效果 。而且熊掌号会显示不收录的原因,方便站长进行整改 。

    推荐阅读