一个开源的正文提取程序

bjzhush

& z& h7 d( F) Q$ J, _
6 d: j! Z" _0 B1 z: S  T* P   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
9 K- f5 G" f" m* ?0 g" ^1 C做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
& J' {, s, H2 M$ @! u" m有篇blog对这个介绍的比较详细,我就不在这里赘述了
+ E$ T* t; t9 U
这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
+ @+ i; k2 p+ z
2013年09月29日17:47:27 补充

3 O- A1 m* Q) Y. @' K/ w2 |9 m

/ n% v, m) ^4 V: }7 S' F 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
: _' M7 c' P6 z9 w9 h! A3 E( G
0 g2 c3 {7 ~( @: y* A; v3 M
+ ]% U) o& j# n6 l% d/ a0 S/ Q只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
- d6 Z' H$ J3 ~* k6 z1 L
$ G" L# B/ E: b6 T4 n& f

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
. ^$ ^( ?6 p( R4 R" J" E. u不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

' ?6 i; E/ j; D9 j4 o这个东西做一个接口非常容易的
       $title   = $Data['title'];
        $content = $Data['content'];
1 m( Y8 z1 L) s9 x/ \        include 'template/reader.html';
! o7 v8 q5 N& Y6 X& b( r这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
        echo json_encode($Data);
$ M( t: ~* f- M; D" G( T就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
7 V& Y3 t$ ^6 a+ ^( V如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
+ i% {. u# x) Z3 Z8 w: y自从用过这个之后，自己用的模板就全修改了一遍

什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
防止被这种程序提取内容

" }" }$ E* y( X# I3 i0 Y真的要扒你的站,你是防不住的
* E& A6 v" o8 I不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
' f, E6 _% ?: Q2 Y) e
7 W* t6 T* X* G4 H/ u+ G5 j
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!

  X8 F2 Y! E' D- G9 o- p% A今天刚刚发现的