爬取搜索引擎擎爬不爬取robots.txt文件不在协议范围内,只是道德约束

一、选择题(共40分,其中1-10题为单选,11;1.下列说法中错误的一项是(D);A.SEO是搜索引擎优化的英文缩写;B.外贸SEO要分析潜在客户使用的搜索引擎;C.国内SEO排名分析主要针对百度;D.SEO优化网站只能排在百度百科之下;2.下面说法正确的一项是(D);A.文章只有更新至首页才能被收录;B.增加外链不会增加网站被收录的机会;C.网站发布文章
一、选择题(共40分,其中1-10题为单选, 11-20题为多选,每题均2分。多选题均为两个正确答案)
1.下列说法中错误的一项是(D)。
A.SEO是搜索引擎优化的英文缩写
B.外贸SEO要分析潜在客户使用的搜索引擎
C.国内SEO排名分析主要针对百度
D.SEO优化网站只能排在百度百科之下
2.下面说法正确的一项是(D)。
A.文章只有更新至首页才能被收录
B.增加外链不会增加网站被收录的机会
C.网站发布文章后就会被搜索引擎收录
D.坚持更新原创文章更容易被搜索引擎收录
3.关于网站标签说法正确的一项是(C)。
A.网页中&title&标签可有可无
B.&strong&标签只是用来加粗,物理上显示文字效果
C.&img&标签内alt属性可以帮助搜索引擎更好的识别图片信息和内容
D.&a&标签内alt为必须属性
4.原创文章的好处,下列哪一项是错误的(D)。
A.原创文章更容易被搜索引擎收录
B.原创文章更容易被别人转载
C.原创文章容易获得外链
D.原创文章对流量的提升无任何帮助和影响
5.下列关于robots的说法错误的一项是(D )。
A.搜索引擎爬不爬取robots.txt文件不在协议范围内,只是道德约束
B.robots.txt可以让搜索引擎知道哪些可以爬取哪些不可以爬取
C.robots.txt文件放在根目录下
D.robots.txt文件屏蔽隐私文件,在网络上安全可靠
6.关于关键词说法错误的一项是(B )。
A.SEO中关键词可以分为核心关键词和长尾关键词两类
B.核心关键词选择最先考虑推广难度(流行度)
C.长尾关键词选择最先考虑推广难度
D.长尾关键词一般存在非常多个
7.下列选项中对网站权重理解错误的一项是( B)。
A.首页的权重高低会影响内容页的权重
B.PR值越高,百度排名越好(pr不是影响排名唯一因数)
C.页面权重会影响搜索排名
D.站内原创文章的数量会影响网站权重
8.关于URL优化,下面说法正确的一项是(D )。
A.a.com和对搜索引擎来说是两个不同的url
B.伪静态URL易于搜索引擎收录
C.URL层级缩减有助于提升搜索排名
D.以上说法都正确
9.外部链接的认识,错误的一项是( A)。
A.友情链接的数量越多越好
B.注重质量,不要单纯性追求数量
C.外链内容一定要有相关性
D.外链要循环渐进,不要一下增加很多
10.关于SEO的说法,下列说法哪一个是错误的( B)。
A.SEO优化可提升关键词在搜索引擎上的自然排名
B.自然搜索结果是按排名点击收费的
C.SEO的优化效果可以积累,可以为企业节省费用
D.SEO优化需要考虑到搜索引擎算法
11.网站在本地搭建过程中,准备工作中需要包含以下哪两项( BC)。
A.网站的域名
B.网站后台的环境安装
C.网站的CMS后台管理系统
D.网站的主机
12.下列关于日志分析的说法正确的两项是(A B)。
A.光年SEO日志分析系统可以同时分析多个日志文件
B.日志分析时,重点看蜘蛛抓取的时间和页面,隐私页面等等信息
C.光年日志分析工具只能一次分析一个文件
D.我们最常用的网站流量来源的搜索词的查看工具,是光年日志分析工具
13.关于收集关键词的说法,正确的两项是(AB)。
A.可使用百度关键词工具收集关键词
B.可以使用第三方工具来收集关键词
C.竞争对手的关键词不适合做参考
D.大型门户站无需收集关键词
14.下列关于网站URL结构的说法错误的两项是(BC )。
A.常见网址隐藏了80端口的显示
B.URL层级越多表述的信息越清晰越易被收录
C.URL层级多于三层搜索引擎将拒绝收录
D.URL层级随意优化改动或者删除,可能会造成大量死链接
15.下列关于网站收录的说法,错误的两项是(AC )。
A.页面中存在原创的内容的版块一定会被收录
B.网站有规律性的更新内容,有助于加快收录
C.即使页面没有收录,页面的关键词也会有排名
D.网站有了收录才可能有流量
16.下列关于关键词排名说法错误的两项是( AB)。
A.站内链接设计对于提升重点关键词的排名影响不大
B.页面内的关键词越多,越有利于提升关键词排名
C.想提高关键词排名,需要优质的内容和一定数量的外链做支持
D.关键词选取时要考虑相关性,搜索量,竞争度
17.下列关于网站内容更新,说法错误的两项是(BD )。
A.优化过程中,文章不一定要原创,只要内容没有被搜索引擎收录就行。
B.原创文章的搜索引擎友好性较高,但是对提高用户体验影响不大
C.根据时下相关的热门词汇,结合长尾关键词来撰写文章
D.一定要使用概括性小标题,最好包含关键词, 不然无优化效果
18.下列关于站内链接的优化方法,错误的两项是( BC)。
A.首页可以指向重要的频道页
B.首页不必为其他页面建设内部链接,避免分散权重
C.导航栏上的每一个栏目页面,都应该是本站的重要页面
D.首页必须指向每一个内容页面,以保证权重的传递
内容页面必须指向首页
19.移动端SEO的说法,下列错误的两项是(CD)。
A.移动端SEO的目的:提高网站手机端的访客数量
B.移动设备的发展改变了人们的生活习惯和工作习惯
C.百度PC端和WAP端不是同一个爬虫
D.移动端和PC端的排名结果完全一样
20.关于APP的优化,下面哪两项是错误的说法(CD)。
A.APP的下载量能够影响APP的自然排名。
B.APP的使用频率能够影响APP的自然排名
C.APP的更新频率不会影响APP的自然排名
D.APP的评论量也不会影响APP的自然排名
二、判断题(共10分,每题1分)
1. 在应用商店中的APP,其链接被传播的次数不会影响APP的自然排名 F
2. 移动端网站URL优化同样采用树形结构,同时层级保持在三层以内 T
3. 移动搜索引擎结果页中,会展示自然排名和竞价,及相关搜索等信息 T
4. 网站内部的死链接过多会影响网站的整体权重 T
5. 友情链接和免费建设的外链一样,对于网站的权重提高有一定帮助 T
6. 和网站交换友情链接的时候,我们需要检查对方是否有网站作弊的现象 T
7. 页面质量,url层级和站内链接都是页面收录的影响因素 T
8. 网站的titile标签是关键词部署的重要位置,同时会展示在搜索结果中展示给用户 T
9. 网站首页一般情况下要部署本站的核心关键词,文章页一般部署长尾关键词 T
10. 一般情况下,网站的流量分为三大类:搜索流量,直接流量,引荐流量 T
三、简答题(共20分,每题10分)
1. 页面权重的影响因素有哪些?
答:网站有规律的更新内容,网站页面中要有原创内容,做好站内、站外链接
影响权重直接因数:导入链接强度
2,作为一个SEO人员,如何判断一个关键词的竞争度(写出主要参考纬度)
寻找与本网站相关行业 查询收录 通过外链来看网站的外链数量 查网站的权重,越高越好
四、 实战题(共30分,第一题10分,第二题20分)
1. 请查看网站www.weidian.cc,
,分析是否需要制作404页面,并给出你的分析
答:www.weidian.cc这个网站需要制作网站404页面,当用户访问的页面打不开或者不存在的时候,页面会自动跳转到404页面,用户就可以点击404页面中的链接回到网站中,有效的避免了用户直接关闭当前网站的窗口,大大提高了用户体验度。
这网站虽然已经有了404页面,但用户体验不足,
包含各类专业文献、专业论文、文学作品欣赏、行业资料、生活休闲娱乐、外语学习资料、幼儿教育、小学教育、各类资格考试、中学教育、高等教育、58网络营销阶段考试试卷_SEO模块等内容。 
 2014级网络营销SEO周考试题(2)_从业资格考试_资格考试/认证_教育专区。该试题...考试前请认真阅读注意事项 1、自觉维护考场纪律。 2、每个人卷面答案统一写到...  网络营销期末考试试卷_理学_高等教育_教育专区。本学期江西财经大学期末考试试卷网络...SEO 的中文含义是 二、判断(1*5=5) 判断( ) 1、网络营销就是在网上买卖...  北大青鸟网络营销seo试题-答案卷_互联网_IT/计算机_专业资料。北大青鸟网络营销seo试题-答案卷 一、单项选择题(请选择最正确的选项,填写在后面的括号中;共 50 题...  网络营销考试试题及答案_管理学_高等教育_教育专区。《网络营销》期末考试重点 ...购买后的一段时间,网络消费者的购买过程可以粗略的 分为五个阶段,那五个阶段?...  电子商务专业网络营销策划考试试卷模板_其它考试_资格考试/认证_教育专区。电子...( ) 9、 网络市场交易的方式和范围处于第三阶段的时候,是属于什么类型的网络...  网络营销工程师 考试试卷附答案_IT认证_资格考试/认证_教育专区。CETTIC 赛德国际...B.差异营销策略 D.市场差异化策略 )几个阶段。 B.添加文件名 D.初步筛选 B...   学年度第二学期 09 级《网络营销》期末考试试卷( A 卷 ) 一、单选题(每空 2 分,共 40 分) 1.企业可借助互联网将不同的营销活动进行统一规划...  2014级网络营销SEO周考试题1_计算机软件及应用_IT/计算机_专业资料。考试前请认真阅读注意事项 1、自觉维护考场纪律。 2、每个人卷面答案统一写到答题卡中,并以“...  网络医疗SEO专业技能考试试题和答案_销售/营销_经管营销_专业资料 暂无评价|0人阅读|0次下载|举报文档 网络医疗SEO专业技能考试试题和答案_销售/营销_经管营销_专业...您的访问出错了(404错误)
很抱歉,您要访问的页面不存在。
1、请检查您输入的地址是否正确。
进行查找。web站点下robots.txt文件的书写与注意事项
时间: 06:40:46
&&&& 阅读:68
&&&& 评论:
&&&& 收藏:0
标签:&&&&&&& Robots协议(爬虫协议)是国际互联网界通行的道德规范,一般是在一个web站点的根目录下写的robots.txt文件,用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取,可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。&&&&通常的写法格式如下:User-agent:&*&
#这里的*通配符代表搜索引擎种类,*就是匹配所有的蜘蛛
#以上2个都表示允许蜘蛛抓取所有文件
Allow:&/test
#表示允许抓取test整个目录
Disallow:&/
#站点根目录,表示禁止蜘蛛抓取站点
Disallow:&/A/
#表是禁止爬取A目录下的所有目录
Allow:&/A/
#表示允许爬取A目录下的所有目录
Disallow:&/A/a.html
#表示禁止访问A目录下的a.html页面
Allow:&/A/a.html
#表示仅允许访问A目录下的a.html页面
Disallow:&/A/*.html
#表示禁止访问A目录下的所有".html"结尾的url,包括子目录
Disallow:&/A/.html$
#表示禁止访问A目录下所有".html"为后缀的url
Allow:&/A/.html$
#表示仅允许访问A目录下所有".html"为后缀的url
Disallow:&/A/.jpg$
#表示禁止爬取A目录下的所有jpg图片
Allow:&/A/.jpg$
#表示仅允许爬取A目录下的所有jpg图片
Disallow:&/*?*
#禁止访问网站中所有包含问号&(?)&的url
Sitemap:&domain.html
#告诉爬虫这个页面是网站地图,谷歌为xml格式,百度为html格式,留空表示无基本就是这样的写法爬虫机器人就会遵守Robots协议,当然还有几个特殊的选项Robot-version:&Version&1.0
#用来指定使用的robot协议的版本号1.0
Crawl-delay:&5
#检索间隔5秒,留空表示无
Visit-time:&
#允许1点到10点爬取,留空表示无
Request-rate:&40/1m&0100&-&0759
#允许在1:00到07:59之间访问,但是只能以每分钟40次的频率进行访问,留空表示无除此之外还有几个注意事项,如果目录是敏感文件夹,如站点根目录下有admin文件夹(一般是站点的后台)那么一定要禁止爬虫,但是不能 Disallow: /admin/ 这样写,这样不仅没有用,还泄露信息,引起爬虫更猛烈的爬取,最好的办法就是改掉默认的文件夹名字,但是如果不能改目录结构的话,要Disallow: /ad 这样使用局部的名称写;还有如果根目录下有passwords.txt、admin.php这样的敏感文件也不能直接使用Disallow: passwords.txt&Disallow:&admin.php这样写,原理同前者,最好的办法是把这些敏感文件放在隔离的目录下,当然如果不能改变目录的结构的话,需要Disallow: .txt$ Disallow: .php$写 本文出自 “” 博客,谢绝转载!标签:&&&&&&
&&国之画&&&& &&
版权所有 京ICP备号-2
迷上了代码!}

我要回帖

更多关于 爬取谷歌搜索引擎数据 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信