[讨论]关于搜索引擎的问题-付费问答-看雪-安全社区|安全招聘|kanxue.com

[旧帖] [讨论]关于搜索引擎的问题 0.00雪花

发表于: 2009-10-28 11:21 1480

[旧帖] [讨论]关于搜索引擎的问题 0.00雪花

chenfagui

活跃值

1

2009-10-28 11:21

1480

搜索引擎在访问网站的网页时，都会先查看网站根目录下的robots.txt来确定网站的哪些网页可以收录，但是搜索引擎是不是可以选择不遵守这个约定呢？就像机械公敌里的那个机器人桑尼，他体内存储了机器人三大定律，但是他自己可以选择是否遵守？

[培训]内核驱动高级班，冲击BAT一流互联网大厂工作，每周日13:00-18:00直播授课

收藏・0

免费・0

支持

分享

最新回复 (2)
plaodj 雪币： 403 活跃值： (25) 能力值： ( LV2，RANK：10 ) 在线值：发帖 5 回帖 52 粉丝 0 关注私信	plaodj 2 楼哈哈现在还是人统治机器人的时代并且人类绝不会放弃这个权力搜索引擎就是程序而已都是由人设定的你可以设定任何规则包括你想要的1+1=3 2009-10-28 11:56 0
poonline 雪币： 1 活跃值： (10) 能力值： ( LV2，RANK：10 ) 在线值：发帖 0 回帖 2 粉丝 0 关注私信	poonline 3 楼每个搜素引擎的爬虫都有自己的规则，不会理会你的robots.txt 2009-10-30 17:37 0
	游客登录 \| 注册方可回帖回帖表情雪币赚取及消费高级回复

返回

chenfagui

发帖

回帖

RANK

他的文章

看雪公众号

专注于PC、移动、智能设备安全研究及逆向工程的开发者社区

//