本帖最后由 dingyangfan 于 2014-8-27 09:24 编辑 , _& c5 _/ m6 X% J1 `* N4 f5 W
! @% Q% w8 E6 P! ~( G3 U这个站群软件开发目的一是为了流量,二是为了镜像。+ E4 @: s% [, s* ?; A% n1 \0 k
. H1 }# z6 F% C2 M! A1 c3 i不管是亚马逊还是易趣脸谱等什么网站,都可以瞬间镜像到我的域名下,可以一个域名对多个目标站,也可以一个域名对一个站。还可以自动蔓延,爬虫会顺着目标网站的外链爬啊爬。。。经2周测试,4个域名,到现在2014年8月20日21点06分,已经镜像了3568645个网站 ,谷歌收录数将近57w,之前测试阶段日流量最高达到9000IP每天。可以预见将来的流量只会更多哦~4 N1 m' v) j" ]6 n5 P3 [) B& z
% l- ~1 Z7 k( T/ a" b; o
下面开发计划还有 关键词蔓延,同义词替换,各种语言替换,以及CS注入等功能,各位有需求的也可以向我反映下,我会根据计划逐步开发
$ I9 D) _. i9 q1 b
目前,这套程序已经上线测试。但是一个人开发这套软件,确实耗用了大量精力,我也无意靠开发软件去赚这个钱,本意还是想在英文网络营销,IM的世界里走的更远。借鉴一句话:如果想走的快,请独行;如果想走的远,请结伴!
1 n- q& n- C$ s. x a
现诚心诚意召唤小伙伴,共同奋斗{:soso_e130:} ; S; h' i6 h. h: y
站群软件功能如下: 基本功能:顶级域名镜像多个网站,多个域名镜像一个网站都行。限制一个域名镜像一个网站(镜像,域名覆盖,单域对多镜像,多域对单镜像) 替换功能:支持文本替换,正则替换 代理功能:支持使用代理访问镜像网站(可以防止被网站主k掉我们的服务器) 错误状态码功能:可以指定错误的返回码显示的友好页面 缓存功能:设置多种文件格式是否被缓存,设置css js image html等常用文件的缓存时间 代码插入功能:可以在网页中头部和尾部插入代码(可以是广告,可以是统计代码) 域名功能:设置不允许被镜像的域名或者.com \.cn后批不允许被添加进镜像 自动蔓延功能:在没有对域名进行限制的情况下,网站会把网站中的外链变成自己的网站,一直循环下去,让爬虫出不去 插件功能:目前插件有手机网页插件,原镜像网站统计代码去除插件,翻译插件,同义词插件(目前性能不稳定),轮链接插件 日志功能:通过日志可以查看哪些镜像网站把我们的服务器封掉了,或者别人的网站出现问题或者打不开的情况。然后我们通过插件或者代理做出调整 + o# |, S$ m$ _% M* c8 P$ x% ]& b
, ?& R5 V1 S9 k& ~8 M# f
视频:http://v.youku.com/v_show/id_XNzUzNTM5OTc2.html & p6 d4 N& T6 C& d" O& t
如果不可以放链接,请版主手下留情,帮我去掉就可以了。
8 Y9 m5 ]( Z! S J, {- k" i! m l- Z3 C4 Y( D) m$ l
今晚准备新添加一个功能$ d2 n/ Y0 _9 V( ~3 j4 L4 L+ G
1 S: d6 M+ ^* p
xxx.com + alias decode 查询 主机是否存在 不存在就是默认的
9 q2 M' N1 W7 S) g" F9 g! t& ~5 ]8 L& l, ~
http://xxx.com1 G/ U @% g- w% M
[img]http://xxx.com/image/1.jpg对不起,我们不允许远程图片. 请将图片上传到论坛& Y2 }% B0 A( H" z; w' Z
[img]http://xxx.com/alias/1.jpg对不起,我们不允许远程图片. 请将图片上传到论坛, @# k! S- _5 [) H4 U" D# K9 {) H
* _+ }' t- K1 ? m' Y& O
替换中的实现, i0 V2 I8 Q7 |) Y" p9 ]
替换之前要补全网址,因为对应的二级目录是一个域名镜像,所以我们要把/开头的网址自动补全http://xxx.com/alias/xxxx/aaaa.htm9 W# W8 g L# k1 j9 P" q1 A. @
查找,替换的时候通过currentdomain中的值来判断是否为二级目录,进行实现二级目录功能
4 ?. I7 b. t6 d' w2 D
?. [; K2 Y+ G测试4 a! r# d& b- Y" [% @0 T5 t; H4 Q6 p ^
, u( _3 B# ?8 O5 \( H/ w: D
8 m9 S0 F. Z& C2014.8.24号更新+ s; e w) q1 p( G1 w; X, J
增强替换功能(优化替换方式,增强性能,增中路径匹配替换,三种替换方式,[普通替换,正则替换,DOM替换])/ P" w* J, h# d1 _; k6 Q7 a
信息数据收集(账号,email数据收集中,为建立统一的垃圾库做准备,使得系统得到的email或者其他信息都是90%有效的)开关自动蔓延功能
+ X. K, U9 w! J- {7 d- {( T' j& d) G后台批量添加镜像
1 ], P) x* h, S) C5 ^( b+ d' a/ @) G T* W/ y" t
9 M- ^3 O# I7 f3 c |