我同意吟梦痕的看法,内存大小和网络带宽是限制Spider的两个因素;至于病毒的检测,那就不得不看杀毒软件的能力了。我目前使用ClamAV来检测,不少病毒在avast下可以被查出来有QQ、木马之类的病毒,但是ClamAV并不能检查出来,不过clamAV最好的就是免费了。
http://resting-fmri.sourceforge.net/cgi-bin/virus_report.cgi 只是我的一个临时结果,大家可以给点意见。
另外,招标者要所有版权(程序+源代码),还只是这么点钱,看了觉得很不爽啊。
我的机器:
Celeron M 1.6
1.2G Memory
4200 rpm Disk
500 MB Quota
2MB Download Quota
目前运行结果:
2008-3-11 15:22:41 --------------------------------------------------------------------------------
2008-3-11 15:22:41 Database Status Checking...
2008-3-11 15:22:43 Count of [Links] is: 848241
2008-3-11 15:22:45 Count of [Links] is: 828219(Waiting...)
2008-3-11 15:22:48 Count of [Links] is: 17544(Good Url)
2008-3-11 15:22:49 ________________________________________________________________________________
2008-3-11 15:22:50 Count of [Links_Infected] is: 934