一个开源的正文提取程序

bjzhush

" H( W/ E  P6 s( S
) A& Q; z0 P+ h% k' h   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
, @' r+ _% H* ^$ t) r; z* g8 ^0 @做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
& z0 x0 l/ g( I+ l) i% o有篇blog对这个介绍的比较详细,我就不在这里赘述了

8 L& c6 Y( g+ L5 c) {6 d这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:

& g/ z1 d: A& Z" [4 v. S4 B2013年09月29日17:47:27 补充
, D7 c. b' |2 B& T6 T! ?$ r
) A2 W" R) ]- E& `7 @( u
& A- d/ b1 N/ K, N4 p2 ]7 L5 \
& d; \8 w4 }$ L 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
6 m$ C& e' m/ W9 J- Q; J4 K4 x
  \3 I! d6 }& E! V
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!

: F$ O; D  ^3 s: O, N; E
$ `5 g. d( K% E- _) _/ X

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
2 e6 c+ F5 o/ a2 E9 ~# o不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

) F0 o  m" x* A4 u$ y' G5 B+ L: j这个东西做一个接口非常容易的
       $title   = $Data['title'];
* q. L+ K0 L" C+ w4 {        $content = $Data['content'];
        include 'template/reader.html';
这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
) Z3 _; j) V5 _" P5 z3 X# [6 Z% H        echo json_encode($Data);
6 [; I- ?- [; a0 u* z2 ~就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
1 U- Y# d5 a2 ^* n5 t如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
自从用过这个之后，自己用的模板就全修改了一遍

什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
3 s; a# U. m$ a! T& @什么意思呢? 为什么要修改模板

7 M5 r7 o' U4 k) E防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
( Y* _* y/ f$ m$ l防止被这种程序提取内容

真的要扒你的站,你是防不住的
% N* l8 T3 x0 A4 Q) Z/ h4 Y  C/ {# L; r不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

# j3 u) s0 \) q6 D% e+ {6 u2 X; M% ~我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码

4 d% X& s+ Q6 r5 R% B! j! w& q& Q/ L
6 `1 H- w. R/ i: |只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!

9 V8 @* \) T- r( L9 `今天刚刚发现的