各位，有研究网络爬虫的朋友吗？

peacock66

UID: 38013
帖子: 197
积分: 453
在线时间: 2 天 5 小时

1^# peacock66 发表于 2008-05-04 10:05

各位，有研究网络爬虫的朋友吗？

各位，有研究网络爬虫的朋友吗？
想知道如何拒绝那些不遵守协议的网络爬虫！

hmglly

UID: 27205
帖子: 2
积分: 4
在线时间: 10 分钟

2^# hmglly 发表于 2008-05-04 10:32

可参考jivejdon的网络爬虫

harbinbeer

UID: 987
帖子: 1
积分: 2
在线时间: 10 分钟

3^# harbinbeer 发表于 2008-05-04 14:02

以前有人问过，我写过一个rewrite，可以翻翻，应该不远

bencol

UID: 34717
帖子: 54
积分: 124
在线时间: 4 小时

4^# bencol 发表于 2008-12-24 15:00

我也正在研究这个，大家可以一起交流下啊，QQ：564134957

longjianyin

UID: 32512
帖子: 62
积分: 142
在线时间: 5 小时

5^# longjianyin 发表于 2008-12-25 15:59

好像可以拒绝蜘蛛协议？