用爬虫群每隔一段时间卡一会

joanne

主题名东方财富爬取9
失败线索号 13409013

我开了9个爬虫群速度比一个爬虫群只快了3倍
因为爬的过程总是爬一会卡一会卡一会爬一会
真的很慢啊

shengchengx · 发表于 2017-7-17 10:04:41

我这边加载不了你的失败线索号呢，你把错误的网址下吧。

shengchengx · 发表于 2017-7-17 10:10:29

把每一轮的线索数设置的大一点试试有没有问题呢。

joanne · 发表于 2017-7-17 17:46:40

shengchengx 发表于 2017-7-17 10:10
把每一轮的线索数设置的大一点试试有没有问题呢。

不行啊太慢了一个小时一个爬虫群才爬200条真的慢到没话说啊

shengchengx · 发表于 2017-7-17 17:56:11

joanne 发表于 2017-7-17 17:46
不行啊太慢了一个小时一个爬虫群才爬200条真的慢到没话说啊

滚屏参数和延时抓取都会影响，然后一轮线索数量改成200
滚屏没用的话就直接关掉吧

共 4 个关于本帖的回复最后回复于 2017-7-17 17:56

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页