请问,主题名pinduoduo,网页是无限自动加载的,可是为什么爬数据会自动停止,谢谢
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2018-8-15 18:42

沙发
Fuller 管理员 发表于 2018-8-15 16:08:36 | 只看该作者
我测试了你的规则,连续动作的目标主题名不用起另一个主题名,就用当前主题名就行。我测试了,运行挺好,你设置了翻页30次,应该能采集到31页,因为有一页是动作前的那一页,后30页是滚屏动作的结果
举报 使用道具
板凳
Fuller 管理员 发表于 2018-8-15 16:09:49 | 只看该作者
如果你想采集更多也,就要把滚屏次数设置大一些。

另外,请注意,DS打数机一定不能开启自动滚屏功能,会跟连续动作的滚屏冲突。关闭DS打数机自动滚屏的方法是用菜单 配置-》自动滚屏,把滚屏次数设置成0
举报 使用道具
地板
jancolin 新手上路 发表于 2018-8-15 17:52:09 | 只看该作者
Fuller 发表于 2018-8-15 16:09
如果你想采集更多也,就要把滚屏次数设置大一些。

另外,请注意,DS打数机一定不能开启自动滚屏功能,会跟 ...

谢谢!想问一下有没有办法快一点?
举报 使用道具
5#
Fuller 管理员 发表于 2018-8-15 18:42:46 | 只看该作者
jancolin 发表于 2018-8-15 17:52
谢谢!想问一下有没有办法快一点?

每次滚屏数 可以设置大一些,比如,3屏,这样就一下跳三屏,也不能太大,太大的话可能会漏数据,比如,一下跳8屏,也许第4屏的就没有加载上来。像这样的网站,都是滚一下加载几屏
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 怎样让GooSeeker分词工具使用宋体画词云图
  • 使用BERTopic时遇到的c-TF-IDF是什么?
  • gooseeker分词工具的命名实体识别和词形还
  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?

热门用户

GMT+8, 2026-5-15 03:38