首页
社区
课程
招聘
问答 CTF 排行榜 知识库 工具下载 峰会 看雪商城 证书查询
  1. 社区
  2. Android安全
    3. 发新帖
[求助]请问大家有做过爬虫爬取网上的apk文件没有
发表于: 2011-11-22 10:54 11953

[求助]请问大家有做过爬虫爬取网上的apk文件没有

xiaoweiz 活跃值
2011-11-22 10:54
11953
我自己用python写了一个爬虫，在一个网站上爬了9000多个apk文件，但是对于那种需要登录之后才能爬的东西，我不知道该怎么爬，大家有这方面的经验吗？我看到过网上有很多代码实现这个功能，我想要了解这些代码的原理，而不是简单的复制；比如：为什么要用cookie？第一次登录之后，下一次还需不需要登录？如果不需要的话，原理是什么，是通过什么机制避开了之后的登录验证？登录有没有时间限制，在多长时间之后本次登录就失效了，等等？反正就是这些东西的原理。感觉还是了解原理之后，写起来得心应手，照着别人的代码写感觉有点不靠谱，出了错都不知道该怎么改

[注意]传递专业知识、拓宽行业人脉——看雪讲师团队等你加入！

收藏
免费 ・0
支持
分享
最新回复 (6)
苏打
雪    币： 218
活跃值： (10)
能力值： ( LV2，RANK：10 )
在线值：
发帖
回帖
粉丝
私信
2 楼
我做过。也有代码。我可以给你代码，你可不可以先告诉我Immunity Debugger调驱动的问题你解决没有哦？
2012-2-11 18:54
0
xiaoweiz
雪    币： 18
活跃值： (10)
能力值： ( LV2，RANK：10 )
在线值：
发帖
回帖
粉丝
私信
3 楼
我去，你好执着啊，这个问题我一直没有解决，不知道怎么回事，现在也不用这个东西了！不过还是对你的执着表示一下佩服！
2012-4-1 22:21
0
小覃
雪    币： 615
活跃值： (172)
能力值： ( LV9，RANK：140 )
在线值：
发帖
回帖
粉丝
私信
4 楼
原理就是在第一次登录之后服务器响应是SetCookie（不管服务器是用session还是cookie认证方式），
之后本地生成了一个Cookie，你获取本地这个cookie，在爬这个网站的页面时候请求的头部添加这个cookie就是了
2012-4-1 22:52
0
小覃
雪    币： 615
活跃值： (172)
能力值： ( LV9，RANK：140 )
在线值：
发帖
回帖
粉丝
私信
5 楼
如果想知道原理，建议你安装个google浏览器，使用google开发人员工具的网络分析功能来
查看各种类型的请求包实现过程... ie8以上版本的也可以.
2012-4-1 22:55
0
promsied
雪    币： 589
活跃值： (119)
能力值： ( LV11，RANK：190 )
在线值：
发帖
回帖
粉丝
私信
6 楼
用HTTPCookieProcessor
2012-4-1 23:54
0
king少
雪    币： 5
活跃值： (369)
能力值： ( LV2，RANK：10 )
在线值：
发帖
回帖
粉丝
私信
7 楼
有个模块可以实现登录的！
2012-6-5 17:14
0
游客
登录 | 注册 方可回帖
回帖 表情 雪币赚取及消费
高级回复
返回
//