一个开源的正文提取程序

bjzhush

7 |* r1 \  w8 q' m2 n   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
& d; @! F+ L4 ?5 W) f有篇blog对这个介绍的比较详细,我就不在这里赘述了
* r7 R  [0 @' J6 z3 D3 X
这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
6 ?/ V% R0 b1 L, N* E2 V1 b8 {
3 F# n1 g6 A, A% h2 p2013年09月29日17:47:27 补充
5 R) g! B' e, s
, G* ?$ v3 T, u; i3 Z
* P  T; T/ ~+ y* O% H
我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
4 V* d: q; p  [$ V# m2 K( [( a- e' v
6 b" T3 k9 H" z  ^( m
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
2 _7 |- y) P6 G

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
! S% l) \  @/ K. u  b3 m* O不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

* k: }+ K7 j3 s* I. L6 G这个东西做一个接口非常容易的
5 g0 E( j' E. R5 Q8 ~: W$ U. \       $title   = $Data['title'];
        $content = $Data['content'];
        include 'template/reader.html';
2 H+ P" R4 d* J这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
8 I6 p. m, ~  ~# m4 r: o/ n; F        echo json_encode($Data);
0 f2 ^% [, ^. _& s! I就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
" O! Z7 U, L7 a( U+ ~如果还不清楚,可以继续问
, F# Q5 I& L! F: l) ^% R8 [- g

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
1 q6 \, a  v  n自从用过这个之后，自己用的模板就全修改了一遍

什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
# E& H* L) m6 G  K7 p( q. l防止被这种程序提取内容

2 f5 ~% k% m9 W+ B" ^真的要扒你的站,你是防不住的
不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
! s( E9 b" ^5 j, M7 o8 e

$ @, ^) f& |# r/ a( z只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!

今天刚刚发现的