大洲的小偷程序非常让人眼馋，无奈本diao丝程序员，一无RMB，二无论坛币，只能望洋兴叹，所幸我有web程序开发的经验，对于这个小偷程序的基本原理能猜到不少，本着自力更生，服务大众的精神，我自己实现了一个简易版，在此开源给大家，希望能赚点论坛币，早日进入email版见见世面。
2 k/ ?$ Y; n0 d% ?% Q& g
+ {: B; U& f8 c0 Q( {% b; J一、原理) ?8 `6 ?6 ^" ~1 a" _9 H
1.用户访问流程：; F3 F9 S; s) f6 Z5 q! v
（1）用户访问我们的冒牌站（A.com）9 U3 M1 c5 [/ I* Q2 u# I: @
（2）网站后台程序根据用户的query参数（包括get/post/cookie）构造原始网站B.com的url，用后台程序去访问该url，此时可以拿到原始网站的html和header输出。这里有一点需要注意的是原始网站输出的头也不可以忽略，里面的set-cookie信息也可以转发给用户的，这样就可以实现注册和登陆原网站啦。
+ R' K9 D1 S- ^2 p. U0 y（3）对原始网站的html输出和header输出按某些规则做替换，比如把某些广告去掉啦，把B.com的地址替换成A.com啦，其实这一步是最关键的，也是玩法最多最好玩的部分
" f5 v$ [2 Z4 o7 u7 F5 Y（4）将替换后的html和header输出给用户。
% v; Q, G7 x$ T
- R0 D! {8 v0 J2.规则替换的几种玩法：1 q+ [# t& [6 l K3 N7 t
（1）最简单的当然是字符串和正则表达式了，这就不多说了
* \3 z1 p' q m! y7 @# ^/ U" @（2）用html解析库对html的dom节点做操作，然后重新生成html，比如可以把页面中的text node翻译成另一种语言，或者做文章重写，这样比较容易逃过搜索引擎的法眼。, e2 o- C- F6 G. V" d! o
据我所知每种语言都由若干个html库，比如php的有DOM、phpQuery等，java的有htmlcleaner等9 d' a3 `5 ^: N/ ^4 G) ?4 i8 P- B2 g
（3）在原始html代码的后面加入一些javascript代码，用来隐藏一些页面元素，或加入一些广告代码等
- D+ m# \5 |: y, W0 a, ~9 N1 y% ^
! ?/ ?. o' f$ o9 t) b8 X9 j3.关于速度和性能：- n* Z+ |" l0 E1 g% W1 I0 N8 {
（1）提到性能第一个想到的当然是缓存啦，我觉得最适合加缓存的地方就是上文1.1.2中提到的生成原始网站url后，这里可以对原始url做md5编码，访问一次改url后就把它的内容和头存到硬盘上，这样就不用每次都去原网站拉取了。做缓存的另一个好处是不用担心被原网站屏蔽。. i/ y5 P/ u$ G7 `# b* @$ k
; Y1 {; \ I" R8 p5 e: d
（2）对于css，图片，js等静态文件，其实不用每个文件都让php访问原网站拉取，可以直接返回个302，让浏览器直接去原网站拉取。; |- Q9 v% x$ t. O4 N V
- O9 }2 b3 p7 H( ]# [0 P3 G1 T1 d' }/ ?: t$ s3 t$ l
二、实现
0 A E4 H% E: y, ~1.程序语言：: i% Z, Y4 c% f! P
其实这个东西哪种语言都能搞定，也都不麻烦，我对php比较熟，就选了php。
; V, L- k, i$ N! K3 o/ @1 H% X2.一些准备工作：
, G) Y* k8 k! @( }+ W（1）修改apache的rewrite规则，因为我们的程序只有一个文件，我们必须把所有接收到的请求都重定向到这个文件，这里我假设重定向到index.php，在apache的<VirtualHost>中加入这几句,如果是虚拟主机的话就修改.htaccess吧，不过我没试过，所以不知道怎么写re它的write规则
# ^! r0 O& N5 z: y+ C6 I' w4 }7 { RewriteEngine on6 r' F2 `7 H, O0 |
RewriteCond %{DOCUMENT_ROOT}%{SCRIPT_FILENAME} -s [OR]4 I- p- a: D& v; P8 V
RewriteCond %{DOCUMENT_ROOT}%{SCRIPT_FILENAME} -l [OR]
8 Y* R" t! C4 v( y/ T1 O5 h RewriteCond %{DOCUMENT_ROOT}%{SCRIPT_FILENAME} -d
4 U- S% \5 O; u+ {6 D, f RewriteRule ^.*$ - [NC,L]
: G. f2 W; S3 M: ?+ A3 U- G RewriteRule ^.*$ /index.php [NC,L]
) b5 U5 b4 Y$ ?1 y; m' |: b) s* V8 I0 }/ d
（2）安装php的http模块
1 J6 I* ^4 w- S5 U! C2 jphp发http请求的函数库找了好几个，发现http模块是用起来最简单的，不过需要你会linux操作哦，安装方法在这里http://php.net/manual/en/http.install.php
% g4 f. _+ O" [, o+ I- `% Xps：如果安装不上或没有vps，请把下面程序的http模块的函数换成phpcurl等http lib3 C$ Z* p5 n6 i! |
3 c* {5 H0 b8 a, v* P3.index.php的代码：
4 B( ~8 `7 A0 I/ P& ^
5 c1 |# [* F9 q7 E9 L5 c! M) N5 _4 s. S) Z
$host = $_SERVER['HTTP_HOST'];
7 N7 t) D+ _- Q8 A* Y8 r//这里把假站的域名替换成原始网站的，用于生成原始url
- `- B: ~, t: t* k0 M% w0 _7 H$host = str_ireplace('fake.com', "true.com", $host);. b) O6 f6 a9 ?7 p
$toUrl = sprintf("http://%s%s", $host,$_SERVER['REQUEST_URI']);; \7 y' D9 Y( b2 G+ D1 i: v
3 \" ]* |: K4 ?- D% [% L& A$script_name = $_SERVER['SCRIPT_NAME'];
+ s# G$ Y1 O" u/ W( I7 Y* V4 q$arr = explode(".", $script_name);, |9 l0 |1 W% N+ d/ e
$endName = $arr[count($arr) - 1];
a; ~, L: @8 T0 j% E+ W( M' c0 Y! n' e8 _, P6 E Q# B' j
- E, m& _$ k: j) X7 \; F) I% i
//这些后缀结尾的url直接返回302 ?. _0 r7 f! X, k4 @! J$ `3 s
$STATIC_END_NAME = array('css','xml','rss','gif','jpg','jpeg','js','axd','atom',- y, O- r2 P! g2 i7 I
'mml','txt','jad','htc',1 l" }! s1 ?1 {; n
'png','tif','tiff','wbmp','ico','jng','bmp','svg',
/ j- W0 Y, _: P7 V" }3 C/ o& t 'jar','war','ear','hqx','doc','pdf','ps','eps','ai',! }1 s5 _+ |/ ^
'rtf', 'xls', 'ppt', 'wmlc', 'xhtml', 'cco', 'jardiff',. m4 h4 e1 o' t( k
'jnlp', 'run', 'pl', 'pm', 'prc', 'pdb', 'rar', 'rpm',
# Q* R( P% _7 i 'sea', 'swf', 'sit', 'tcl', 'tk', 'der', 'der', 'crt',
9 p1 D6 ^4 F$ j/ B* [. V. a9 @4 M 'xpi', 'zip', 'bin', 'exe', 'dll' ,'deb', 'dmg', 'eot',8 [) B2 _. h+ ]4 n2 t
'iso', 'img', 'msi', 'msp', 'msm' ,'mid', 'midi', 'kar',! }( y+ @( t& ]. G
'mp3', 'ra', '3gpp', '3gp', 'mpeg', 'mpg', 'mov', 'flv',2 k. ?! x; f8 H/ A) ?
'mng', 'asx', 'asf', 'wmv', 'avi');. Y- S$ j$ ~( p2 }/ H
' h9 {% g, e8 c; C! Iif(in_array($endName ,$STATIC_END_NAME))
9 g& J& e9 n' A{2 s" v( P$ w5 S- Q( F
$headerStr = sprintf("Location: %s", $toUrl);, A( S- E5 l+ Y) {2 Z
header( $headerStr, true, 302);
5 ?) G6 y1 S& ]; I% e* \5 @ exit;! j& {% w% {$ O1 p, Z9 J
}
/ P0 L* A1 b, U6 F4 F7 l5 Y; x. p4 ~! x- o5 l3 Y$ m( ?
//一个简单的cache
: t+ @9 f+ g: {1 b0 ifunction GetFromCache( $url)" E- `+ z% S7 f J: p' b( `+ ^
{
8 ^: E- T2 [2 X7 \6 g $current_dir = dirname(__FILE__);/ ~* {% T: c2 n8 @) v
$cache_dir = $current_dir . "/cache/";* p$ R9 T: E, N7 t
if( !is_dir( $cache_dir))9 I8 `* h; y V4 {
{6 \2 ^* J6 i5 y! g! ^) J% E8 L
' y1 b% E$ w/ E mkdir($cache_dir);
! J w* |# l7 m" s }
6 }, S* M, K0 b6 ], v4 f4 h, Z A }9 Z, e
$cache_file = $cache_dir . md5($url);% U7 V; [' t9 R, r9 Z* ~+ s, n
if(file_exists( $cache_file))
; n0 `+ w2 Z. ~, l% q {5 P; m. J8 u, ~4 [$ H) J& U- a) V! W( {
$html = file_get_contents( $cache_file);# s& |2 T9 G5 s! D4 x: {
if($html == false)
! r! d# R: i4 G, g8 p0 E {0 D5 E4 w# \/ Z: d- ~; h
$html = "";
$ C. Y0 Z' ?3 y: O2 N5 S3 | }
E. G; M8 C, X7 y& `( A: M }else% @' f% F! c' w! G" Z8 U! O! d
{
2 m0 v* s. C' x I) h. R3 `" i //访问原始网站
6 A. t* J. N3 D4 v $data = http_get($url ,array('redirect' => 5, 'timeout' => 10), $http_info );
T4 A/ y- j6 E( `4 K" y $message = http_parse_message($data);
& C! V% `2 L! ~' @: B. M* O4 L
$html = trim($message->body);
8 I! m1 v2 b! b7 Z1 {6 K4 y4 e% }
file_put_contents( $cache_file, $html);6 d3 f, c; O" n [
}
o) a- s- P, ~3 S; k9 Z& S1 o0 Q- T' ~. s+ h* H& W
return $html;
l- _; f U( _0 `/ n}
5 x2 y; {3 x" t: k( u. \$ B* K6 }* P/ b \1 z& x
$html = GetFromCache( $toUrl );2 w! x0 E' ?2 d h
/ S) K; F" t" w/ ~/ j! ?$ z/ _5 ?! a6 Z J/ F) y
$html = str_replace("circleid.com", "circleid.us", $html);# d+ M1 H# P8 Y( C2 z! D7 G+ H
7 v2 ^$ _8 V) N0 S. f
$html = preg_replace('/<meta name=.*>/', "", $html);
: d* w& t2 `7 D% R! _* K7 s, E& ~8 ^& J* d* w) E+ K
7 b- Q7 ]" H) ?1 b/ x//注释的这两句是用phpquery操作
# V; `' A6 Y6 m* t' k2 H//$body = htmlqp($body)->find('#header')->remove()->html();
: p( v& I9 G0 G7 R& `9 F//$html = htmlqp($html)->find('#header')->remove()->document->saveHTML();! v4 l P( L; [/ B) J
& X4 \2 k" s; o9 m9 }0 ~/ F$script = <<<EOD: g% g6 @% ]$ A; _5 C! |, @) s
<script>/ q! @* J$ I3 y& d1 ?
$(document).ready(function() {
- o2 L6 C/ Q; y: D5 A2 R* T3 | $("#footer").remove();
% a. A; n/ `% y; H6 {( C4 x6 S) S) B8 {6 J
});' s, G$ K& b& ^
% I5 ~# H% ^2 ~( b
</script>
" ^. p8 l) p+ I0 `
4 ?$ `# k) N; g$ JEOD;
8 U1 ] z6 \3 d- ^& Z/ ?& W' \" x& E+ n" t( O
echo($html . $script);
7 w' u: r0 v8 v' ~
( E1 `. i: N) {' |% N- a1 Y- I3 ~ a% m/ ?% `1 a/ w
三、最后
* O7 D; r J- P* U3 S" y( D1.总之，这个程序还很简陋，没有处理post和cookie参数，也没有配置管理模块，距离大洲的程序差距有一个大洲那么大，仅适合稍微懂点程序又有点好奇心的新手玩玩
( n3 X- d( K& P7 @3 R* j2.最后当然是希望大家不令赐分啦，您的论坛币是我继续分享的动力，哈哈
( M4 f* M+ z! |- ?7 X' l2 r7 a( i& b- x
|
发表于 2013-5-22 18:49:44
发表于 2013-5-22 19:15:10
发表于 2013-5-22 19:49:04
发表于 2013-5-22 19:49:15
楼主
