当前位置:首页 > 其它技术 > 正文内容

判断搜索引擎真假蜘蛛访问

曾经4周前 (06-21)其它技术2801

主流搜索引擎蜘蛛抓取网站,都会自带UA特征,比如百度蜘蛛UA(Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在网站的访问日志中也会相应记录,但UA是可以伪造的,目前越来越多伪造UA的扫描器或采集器都在伪造搜索引擎UA来迷惑管理员,造成无法判断是否是正规搜索引擎蜘蛛。

我们在不知道蜘蛛IP段的情况下,可以通过运行命令:nslookup 来判断真假蜘蛛。

首先以百度蜘蛛为例,在访问日志中找到带有UA记录的IP,如:220.181.108.*  在运行cmd命令输入 nslookup 220.181.108.* ,运行后结果中带有: baiduspider-220-181-108-*.crawl.baidu.com 字样,说明是真百度蜘蛛,反之如果没有则为假。


扫描二维码推送至手机访问。

版权声明:本文由珍惜发布,如需转载请注明出处。

本文链接:https://www.zp68.com/article/67.html

分享给朋友:
返回列表

上一篇:SQLite3数据类型

没有最新的文章了...

“判断搜索引擎真假蜘蛛访问” 的相关文章

Nginx 日志配置Json格式

nginx日志输出配置json格式nginx服务器日志相关指令主要有两条:(1) 一条是log_format,用来设置日志格式(2) 另外一条是access_log,用来指定日志文件的存放路径、格式和缓存大小。log_format指令用来设置日志的记录格式,它的语法如下:log_format nam...

宝塔面板nginx自定义日志配置详细介绍

网站配置里面设置access_log  /www/wwwlogs/web.com.log main;nginx配置文件http{}里面进行自定义日志配置log_format main '$remote_addr - $remote_user&...

SQLite3数据类型

SQLite 中的数据类型官网说明1. SQLite 中的数据类型大多数 SQL 数据库引擎(据我们所知,除 SQLite 之外的所有 SQL 数据库引擎)都使用静态、刚性类型。使用静态类型时,值的数据类型由其容器(存储值的特定列)决定。SQLite 使用更通用的动态类型系统。在 SQLi...

评论列表

游客
1周前 (07-11)

很经典,收藏了!http://wfw22.lkjk.cn

游客
1周前 (07-11)

楼主的头像是本人吗?http://ccsu.nbqywh.com

游客
1周前 (07-11)

楼主是男的还是女的?http://www.2qukuai.com

游客
1周前 (07-11)

白富美?高富帅?http://19b0mg.xyxsh.com

游客
1周前 (07-11)

楼上的心情不错啊!http://z32.lkjk.cn

游客
1周前 (07-11)

很有看点!http://m56rty.51ysh.com

游客
1周前 (07-11)

刚分手,心情不好!http://50b.zwygmy.com

游客
1周前 (07-11)

灌水不是我的目的!http://b62cu.xmyw.net

游客
1周前 (07-11)

终于看完了,很不错!http://j65.enleader.com

游客
1周前 (07-11)

楼上的说的很多!http://156egh.tjbyj.com

游客
1周前 (07-11)

很多天不上线,一上线就看到这么给力的帖子!http://drxc.fsxjlw.com

游客
1周前 (07-11)

看在楼主的面子上,认真回帖!http://ie01qc.gzcyoooooo.net

游客
1周前 (07-11)

听楼主一席话,省我十本书!http://dhhy.51ysh.com

游客
1周前 (07-11)

雷锋做好事不留名,都写在帖子里!http://www.gxmlm.com

游客
1周前 (07-11)

看在楼主的面子上,认真回帖!http://4wl.hooby.cn

游客
1周前 (07-11)

很有品味!http://www.ddman.net

游客
1周前 (07-11)

求加**!http://wme67y.gdlydzkj.cn

游客
1周前 (07-11)

楼上的说的很多!http://d92.sxscwo.com

游客
1周前 (07-11)

今天的心情很不错啊http://7vt3u1.zhoutan.net

游客
1周前 (07-11)

楼主就是我的榜样哦http://81z.lkjk.cn

游客
1周前 (07-11)

楼主很有艺术范!http://t8v29.gzcyoooooo.net

游客
1周前 (07-11)

你觉得该怎么做呢?http://ffrc.tuopi120.com

游客
1周前 (07-11)

楼主是好人!http://www.gxmlm.com

游客
1周前 (07-11)

楼主主机很热情啊!http://5ch.lkjk.cn

游客
7天前

楼主主机很热情啊!http://nr6i.gzcyoooooo.net

游客
7天前

每次看到楼主的帖子都有惊吓!http://omh8kz.schtwl.com

游客
7天前

楼上的很有激情啊!http://628kmn.xincms.net

游客
7天前

看了这么多帖子,第一次看到这么高质量内容!http://42xpj.nbqywh.com

游客
7天前

回帖也有有水平的!http://xh33rl.nbqywh.com

游客
7天前

一口气看完了,我要下去回味回味了!http://u55b1.znboke.com/l/4.html

游客
7天前

大神就是大神,这么经典!http://5a4ga.446115.com/32/4.html

游客
7天前

写的太好啦,评论一个http://4dsi.hooby.cn

游客
7天前

收藏了,以后可能会用到!http://ej78.hooby.cn

游客
7天前

好无聊啊!http://4t6.hooby.cn

游客
7天前

在哪里跌倒,就在那里多爬一会儿!http://qzig.jxkspx.com

游客
7天前

勤奋灌水,天天向上!http://73gv.ymyzncp.com

游客
7天前

我默默的回帖,从不声张!http://zqgka.ymyzncp.com

游客
7天前

看了这么多帖子,第一次看到这么有深度了!http://v7u0l.gdlydzkj.cn

访客
7天前

莆田鞋https://ccc444.com

游客
7天前

雷锋做好事不留名,都写在帖子里!http://q51.lkjk.cn

访客
7天前

安福相册https://ccc444.com

访客
7天前

安福货源网https://ccc444.com

游客
7天前

以后要跟楼主好好学习学习!http://c456.akirakirakira.com

游客
7天前

今天是个特别的日子,值得纪念!http://178om6.253fe.com

游客
7天前

看了这么多帖子,第一次看到这么经典的!http://a3sutw.21asp.com

游客
7天前

这里的资源非常丰富,帮助我解决了很多问题。http://kf27j.yysjfd.com/07/3.html

游客
7天前

楼主加油,看好你哦!http://ijr06.21asp.com

游客
7天前

哥回复的不是帖子,是寂寞!http://8k89.schhzsjt.com

游客
7天前

不灌水就活不下去了啊!http://ni5h.nbqywh.com

游客
7天前

每次看到楼主的帖子都有惊吓!http://9igr0.nbqywh.com

游客
7天前

这么版块的帖子越来越有深度了!http://gt7zb.lifeland.com.cn

游客
7天前

很有看点!http://lj4hb.lifeland.com.cn

游客
7天前

楼主是一个典型的文艺青年啊!http://40dua4.fulihua0415.com

游客
7天前

回帖也有有水平的!http://h9ca.fulihua0415.com

游客
7天前

对牛弹琴的人越来越多了!http://44x.lkjk.cn

游客
7天前

东方不败外加灭绝师太啊!http://b0w5wd.lifeland.com.cn

游客
7天前

太邪乎了吧?http://8yhm.lifeland.com.cn

游客
7天前

吹牛的人越来越多了!http://6g3tjb.sc-mty.cn

游客
7天前

看帖不回帖的人就是耍流氓,我回复了!http://q9b8n.lkjk.cn

游客
7天前

经典!http://losultimosteatro.com/news/2e099547.html

游客
7天前

看帖回帖一条路!http://gjhdek.sc-mty.cn

游客
7天前

以后就跟楼主混了!http://8f9.4gcdma.com

游客
7天前

回帖也有有水平的!http://yxr.ncdxjj.com

游客
7天前

知识就是力量啊!http://nqqac.ncdxjj.com

游客
7天前

楼主很有艺术范!http://z3wul3.lkjk.cn

游客
7天前

突然觉得楼主说的很有道理,赞一个!http://r34e.tuopi120.com

游客
7天前

支持一下,下面的保持队形!http://824h.dreamlalinen.com

游客
7天前

楼上的真不讲道理!http://y32.tuopi120.com

游客
7天前

支持一下,下面的保持队形!http://y82.dreamlalinen.com

游客
7天前

楼主的帖子提神醒脑啊!http://dx3z7z.51ysh.com

游客
7天前

今天上网不回帖,回帖就回精华帖!http://zy1c5.dreamlalinen.com

游客
7天前

赞一个!http://20e975.sunpuyangguang.com

游客
7天前

突然觉得楼主说的很有道理,赞一个!http://t6j.xincms.net

游客
7天前

文章论点明确,论据充分,说服力强。http://u2imq.yanjunjinshu.com/2024/3.html

游客
7天前

一口气看完了,我要下去回味回味了!http://diqq7.xincms.net

游客
7天前

网页的加载速度非常快,不会影响用户体验。http://mwd4.enleader.com

游客
7天前

今天怎么了,什么人都出来了!http://is08.enleader.com

游客
7天前

论坛人气好旺!http://nwt.enleader.com

游客
7天前

今天上网不回帖,回帖就回精华帖!http://ciil.0075612.com

游客
7天前

突然觉得楼主说的很有道理,赞一个!http://p917.aochengyy.com

游客
7天前

知识就是力量啊!http://1mq.lkjk.cn

游客
7天前

十分赞同楼主!http://2ppey3.lkjk.cn

游客
7天前

楼主的文笔不错!http://d6ukn5.fsxjlw.com

游客
7天前

太邪乎了吧?http://ftns1.narenwu.com/4/5.html

游客
7天前

我默默的回帖,从不声张!http://y9rerh.lkjk.cn

游客
7天前

顶顶更健康!http://wr2s3.5fgo149.com/20240712/4.html

游客
7天前

看了这么多帖子,第一次看到这么高质量内容!http://67ccn8.lkjk.cn

游客
7天前

楼主是一个神奇的青年!http://kr48.cityxz.cn

游客
7天前

论坛人气好旺!http://r741pb.ads898.com

游客
7天前

楼上的心情不错啊!http://tl38a.cityxz.cn

游客
7天前

态度决定一切,不错!http://pnz.1317gdql.com

游客
6天前

文章写太挺好了,真的值得推荐http://t9ul.ymyzncp.com

游客
6天前

刚分手,心情不好!http://6vvx9.iranforoush.com/d/3.html

游客
6天前

楼主今年多大了?http://vv1jz8.446115.com

游客
6天前

楼上的真不讲道理!http://1sbk0.kekoukelu.com/20240712/4.html

游客
6天前

我默默的回帖,从不声张!http://nnm.akirakirakira.com

游客
6天前

你觉得该怎么做呢?http://vd2eii.21es.cn

游客
6天前

楼主写的很经典!http://2l6.sophmoon.cn

游客
6天前

支持一个http://47b.lkjk.cn

游客
6天前

终于看完了,很不错!http://3i4o8.zti-stone.com/07/5.html

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。