一个开源的正文提取程序

bjzhush

( I4 R6 Z4 I. m( b6 c+ S   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
5 _) k6 A3 p: i+ P做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
2 w, h6 A% k) B( q- t6 M有篇blog对这个介绍的比较详细,我就不在这里赘述了
$ H2 S0 E" ~" O4 ^& J6 m. H$ z
' U" C) b' ?/ _7 A+ p这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:

2013年09月29日17:47:27 补充



7 j9 y- W+ n* `4 j$ R) {* y 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
3 m/ A$ |1 ]( I( g& Z6 @

只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
! {  h) }9 R& M

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
3 ~% D4 T, |* b1 W9 S7 D不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

! w: y9 W! q# X& ^* X这个东西做一个接口非常容易的
       $title   = $Data['title'];
- Z( Y# @7 m! A0 G' N: D. i  Z        $content = $Data['content'];
" F7 M/ d+ E/ L; O- e        include 'template/reader.html';
4 M6 s9 u) o; o0 ^这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
- W6 C" p2 @! B        echo json_encode($Data);
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
3 Q: H$ J/ K% v4 e7 B如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
自从用过这个之后，自己用的模板就全修改了一遍

% U& l. N4 N7 s# Q) l什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
+ F* \% T% E) P7 _$ E什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
, `6 n9 z3 p$ B# M5 Y9 q. }防止被这种程序提取内容

( x  H) z* B' u/ K6 @) E真的要扒你的站,你是防不住的
3 r3 \: m' |0 k4 L3 _% }不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码

3 h  ]- e( h' N( B* U$ g
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!

. Y7 g; ?6 c" v6 r( u/ Y今天刚刚发现的