一个开源的正文提取程序

bjzhush

6 Y8 q7 B; p, m: ^8 D
# f5 a* M$ e+ |   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
0 O/ [' V6 {( R" \- E2 k: t有篇blog对这个介绍的比较详细,我就不在这里赘述了
  ^8 O& U4 E; x% r6 G0 G& r2 s0 p
; s  m: |1 I- Y$ C  g0 I9 y0 d这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
% j+ |$ i6 M: p; v* N: i
, j. W3 L" v; }4 f6 n  J- u2013年09月29日17:47:27 补充


5 o$ u# q& Y! D: b2 Z0 P. ~
; P* S; `6 b3 |  I' a8 ]2 v. ]) | 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码


# v' j# c3 E( \/ z9 x9 z3 E只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!


2 N& h" \0 o! o9 q4 b! u0 z

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

这个东西做一个接口非常容易的
/ E/ `/ W0 R( z       $title   = $Data['title'];
        $content = $Data['content'];
# d0 n! y2 K4 Y( U9 L' w3 P        include 'template/reader.html';
* Y3 V$ q: e% y) k$ [5 F0 v3 _, \这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
        echo json_encode($Data);
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
3 G  w+ a7 T) l+ F& A( m) W如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
8 U; a% V* O9 L( j- @. x自从用过这个之后，自己用的模板就全修改了一遍

$ I$ f/ n% k! n  I什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
防止被这种程序提取内容

2 w6 ^: J( j* q, T; V- X真的要扒你的站,你是防不住的
( `8 T3 D# Y: \( y+ R不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

0 K; Y& T! J" z+ z  o我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
; @" x8 W3 ]7 F- p- l* r# s1 L
7 r8 c, T/ Y7 n% ?" {
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!
7 y% O$ @6 |; B9 }
今天刚刚发现的