请教：批量添加线索，但是统计只有一条，怎么回事？

请教：批量添加线索，但是统计只有一条，怎么回事？

在哪里加的，打数机？

对

线索很长，是不是这个原因？

ovna123 发表于 2018-7-14 19:53
线索很长，是不是这个原因？

比如，淘宝这样的网址，会特别长，如果每个网址的有区别的部分是在前面，在前面250个字符内，那么爬虫就会当成不同的网址进行处理。如果区别发生在250个以外，爬虫分不出来，这样就只能产生一条线索。

有两个解决方法：
1，利用网络上的短网址服务，把网址变成短网址，再交给爬虫去爬
2，调整一下网址参数，那些&key=value 这样的参数，把有区别的调到前面，通常调位置不影响网址的有效性

好的。