网络爬虫软件使用交流,网页数据采集技术讨论

新窗 | 最新 | 热门 | 精华

新窗更多 \| 显示置顶	作者	回复/查看	最后发表

	15687 已经保存到本地的html文件可以采集吗？ 5 氧分子网于 2016-10-20 发表最后回复 2018-9-11 08:52
	21864 求助：如何解决抱歉！页面无法访问. 3 houyulin1993 于 2018-9-9 发表最后回复 2018-9-10 10:00
	16635 采集网络作家的微博 7 zhouer 于 2018-9-9 发表最后回复 2018-9-9 10:43
	10005 采集当当网新书榜单 1 MYK-鸿鹄于 2018-9-9 发表最后回复 2018-9-9 09:49
	17209 请问一下如何解决爬取数据页面不一致的问题呢？爬取好大夫在线的医生数据，但是医生有的有开通个人网站有的没有开通，而我又希望能进入个人网站爬取数据，因此把医生的个人网站设... 7 瑛姑于 2018-9-7 发表最后回复 2018-9-8 16:03
	10673 有可以解决网页结构不一致的方法吗？想要爬取好大夫在线网站的医生信息，但是医生个人网站链接里面由于开通的功能不一样，网页的结构有所差异导致爬出的数据有的是空白的请问有... 1 瑛姑于 2018-9-8 发表最后回复 2018-9-8 16:02
	17271 同一结构的网页中，有一个小地方的形式不同，如何解决？ 5 xiaohongseeker1 于 2018-2-14 发表最后回复 2018-9-8 16:01
	8956 为什么今天爬数据老是失败呢，开始还可以爬20多页，越试越少了，现在爬3也就失败了 2 boyi88 于 2018-9-8 发表最后回复 2018-9-8 15:14
	22156 怎样修改useragent 5 shenzhenwan10 于 2016-5-25 发表最后回复 2018-9-7 16:17
	10064 关于网页图片数量采集问题请教 1 gooseeker_influen 于 2018-9-7 发表最后回复 2018-9-7 11:52
	17286 规则测试成功，但是正式抓取时抓取的数据项是空的，请教各位什么原因呢 4 gooseeker_influen 于 2018-9-7 发表最后回复 2018-9-7 11:49
	20317 同一网址如何实现翻页采集 6 ellachen 于 2018-9-6 发表最后回复 2018-9-7 09:35
	11403 如果我要采集非固定格式的内容怎么操作？ 5 13675159803 于 2018-4-28 发表最后回复 2018-9-5 17:11
	11708 请教关于xpath规避采集元素不定出现的情况 1 haowowvoe 于 2018-9-5 发表最后回复 2018-9-5 16:30
	10989 抓取京东商品信息，连续动作的输入动作好像不起作用 1 friday5 于 2018-9-5 发表最后回复 2018-9-5 10:56
	15139 映射给记号的节点没有包容在映射给线索的节点内部？ 5 diane5 于 2018-8-29 发表最后回复 2018-9-3 08:52
	29922 翻页区无法选定，没有对应dom 11 HydraL 于 2018-9-1 发表最后回复 2018-9-2 19:07
	14693 怎麼會重複重複抓取3次內容 5 huangh 于 2018-9-1 发表最后回复 2018-9-1 10:47
	19111 如何抓取页面中不规则的url地址？ 3 huang3878221 于 2018-5-4 发表最后回复 2018-8-31 22:15
	26170 问一下怎么把网页上的图片也采集下来呢？我看了网上的教程发现还是采集不下来，多图片网页 6 王秋菊的春天于 2018-4-20 发表最后回复 2018-8-31 16:56