一个开源的正文提取程序

bjzhush

   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
6 M9 T/ t1 \8 o9 `2 Y) M+ c做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
, w6 \1 i) E& c4 m- M有篇blog对这个介绍的比较详细,我就不在这里赘述了

这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:

: {8 z; Y2 k7 Z* k# A) Z$ F2013年09月29日17:47:27 补充


, d5 c. `( b( u% ?8 M; H
7 E+ ^: {0 ?' T" x  ^; {* \ 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
3 T) Z& u* w5 J6 A, U! V

; \) Y6 y5 {. T: N5 q1 n; n只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
3 Y0 T8 L+ Z9 }  b6 E0 c

2 v' X  w1 n9 e9 V7 T. C: k

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

这个东西做一个接口非常容易的
) l/ T2 `  l- q3 g5 N       $title   = $Data['title'];
        $content = $Data['content'];
        include 'template/reader.html';
" v2 n  f9 K, s+ I1 @$ J6 w5 a这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
! e8 w* N8 _+ o  W8 |3 F# s% P        echo json_encode($Data);
4 |' g+ u6 b7 w9 D' g1 U就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
自从用过这个之后，自己用的模板就全修改了一遍

4 J3 j; g7 E4 a; G' G% c: m什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
防止被这种程序提取内容

真的要扒你的站,你是防不住的
' m* c6 ]7 [# K: c' A* p8 Q! ~! {不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

, X2 P* b1 q1 V, k9 s我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
1 u9 G2 c1 b/ @+ W  Q( c4 c
; Q$ j" y3 C! `* X) r* q/ _( |) c! M
0 M- a# ?6 r  I: ^# V3 W只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!
. i3 z# E$ N: f  w
今天刚刚发现的