一个开源的正文提取程序

bjzhush

   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
; {& a6 G3 g" u" f" ~做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
/ M% V; e! u( `) I' f9 m有篇blog对这个介绍的比较详细,我就不在这里赘述了
+ {% m5 g# O0 U' B; y) n
这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
3 z% m8 {# D& G* c, V9 x8 D% |: D
2013年09月29日17:47:27 补充


% Q2 [# F0 \4 @( Q
% h5 m. K6 K8 y* g3 \3 l$ O 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
" D3 E' Y/ R+ T9 j$ q) ]
: m+ b" B1 c- J& U
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!


' w- i1 E4 P. S

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

这个东西做一个接口非常容易的
       $title   = $Data['title'];
        $content = $Data['content'];
! G) j- ~, i4 t& [" ]        include 'template/reader.html';
这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
        echo json_encode($Data);
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
4 w$ }9 [! c8 h$ d, y  P0 |' U# Z& S0 P如果还不清楚,可以继续问
& u; [9 I* v9 `5 x; l" t1 O

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
自从用过这个之后，自己用的模板就全修改了一遍

+ {/ W  N3 J% I: t" t什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
3 E: G6 [5 P0 l什么意思呢? 为什么要修改模板

, n# j  ^/ v! {% i# O防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
, N9 A' B' b. V$ D& L( w2 M: m防止被这种程序提取内容

8 L% u9 d4 b3 |/ x$ q! F/ k4 w真的要扒你的站,你是防不住的
不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码

0 n. z$ U+ A; _+ V1 t2 [
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!
1 ]+ m  `" ~) w3 A
今天刚刚发现的