一个开源的正文提取程序

bjzhush

   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
有篇blog对这个介绍的比较详细,我就不在这里赘述了
, C& k+ {5 ?5 z1 `
3 E5 T5 O! }  U, U这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
6 R, J0 w. |$ @- x( r; R. R) _: {
# y4 C) S; P1 `8 h2013年09月29日17:47:27 补充


: S, V( P! S$ s# I+ z
我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
9 c, x( j  [% ]# \2 @& W

4 B; ~6 U' N5 d4 ]8 O# s只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!

- W, a9 z0 j$ y0 i# ^3 }: o
2 H: H$ m# m! V3 Z7 Q2 g* m

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
' r1 r$ X+ [- V$ l6 h不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

这个东西做一个接口非常容易的
9 @% w! P; Q( {0 u# L8 Z8 g       $title   = $Data['title'];
8 Z1 ]8 J( m% H6 S! l) v3 U# v        $content = $Data['content'];
/ x9 j" q. J; O! I" ]' T7 N        include 'template/reader.html';
这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
        echo json_encode($Data);
0 x# f- K4 x; `就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
" k4 j* M+ t1 K* X如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
  l+ |8 a& w( @自从用过这个之后，自己用的模板就全修改了一遍

& c: M" @( P; q什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
; {$ q' v: o, T8 C  F. R9 U防止被这种程序提取内容

- d6 s7 q8 T* `" I7 A" r: t( V真的要扒你的站,你是防不住的
不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

( Z5 S# v3 ]: e1 H我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
& l! C" s3 b* g6 s7 ?, @- A
+ l3 o# t" u3 v4 J. D
6 y) K, z; F5 E; D只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!
2 g# g$ v3 {  N8 w$ C  A) @2 m
& t8 m1 }; \$ E今天刚刚发现的