一个开源的正文提取程序

bjzhush

3 f# R' F: _( m
   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
有篇blog对这个介绍的比较详细,我就不在这里赘述了
8 p& W6 {% i0 r# S. S0 E- _
5 p! S' W. y$ r9 _' N- w  U! ]! Q  l这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:

1 H( o1 ]) h9 j2013年09月29日17:47:27 补充
3 q5 x  |3 ?* Z


+ f  w. C) v/ I/ E. W 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码

- m' @0 h4 B' A+ d- t
; u$ s0 Y' j- d! |4 k: C4 ^! p只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
: S% |" V9 n3 Y% ^
" F8 v* \7 M! ?5 k. }2 r
" D0 B# S9 x: z2 z, Z

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
9 y" o0 R# y7 z7 u3 ?( [不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

. |- ~+ v& r( p6 S" n这个东西做一个接口非常容易的
% j: f* Q7 e2 y: u       $title   = $Data['title'];
        $content = $Data['content'];
% ]3 v) Q" l" }        include 'template/reader.html';
1 \; }+ P" ^, ]/ s# f( I. z这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
( h% [, Z$ @3 X( w        echo json_encode($Data);
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
如果还不清楚,可以继续问
; n+ D6 C  }, m  F

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
自从用过这个之后，自己用的模板就全修改了一遍

什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
" p; D1 g4 f3 O; i' s什么意思呢? 为什么要修改模板

$ j! M8 @1 r3 `: w; W# K2 s* f防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
防止被这种程序提取内容

真的要扒你的站,你是防不住的
不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
. s, z3 @3 w! C$ _7 ~( V不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
$ o5 w! n/ |  E2 a/ S/ I( V
- O; @3 z* l: N% H) S
2 q3 P/ m; V) j2 {9 C7 E; n只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!
- H. U9 I4 p. Z
2 {# Z6 ?. b$ Z. v今天刚刚发现的