一个开源的正文提取程序

bjzhush

   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
/ \. j6 b# P3 C( p2 L有篇blog对这个介绍的比较详细,我就不在这里赘述了
: y, ?7 B, ~4 [. i3 y
; I2 |0 G9 j% D7 q- e这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
- q( ]! j# C$ ?% O, }6 ~8 S
2 L' q" S% b: n5 r2013年09月29日17:47:27 补充
) J$ H, x- k! d  q, c* C
7 A1 Z8 O: \2 F' |9 ]7 _- O* K

我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码

! _1 ]) z+ }6 R4 W+ J% |2 x9 C
& J$ F2 y4 Z" e6 o  |5 g- ?  l6 _只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
7 @7 F: P+ W( n# q+ ~' i8 O7 }7 E
2 @! Z9 d! t9 g% {
3 c) }2 ?$ d: t0 ~

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
  O! E. u: l" B: U2 X不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

这个东西做一个接口非常容易的
       $title   = $Data['title'];
        $content = $Data['content'];
9 T4 P6 y, H1 \$ r" k" M: @$ c# Y& ^        include 'template/reader.html';
  F7 i1 @+ J* a8 s这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
        echo json_encode($Data);
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
如果还不清楚,可以继续问
9 S5 `5 p  G! f% T9 ]0 ?

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
+ _: u9 p' E& K$ }  h自从用过这个之后，自己用的模板就全修改了一遍

2 `. h4 ^8 A) r$ Z0 Y7 m什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
什么意思呢? 为什么要修改模板

/ P& B+ Q6 G, K' e防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
% l3 [$ `/ s9 g5 K+ w$ ~0 R防止被这种程序提取内容

真的要扒你的站,你是防不住的
7 E/ `2 J$ g! O2 b不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
' T# @0 b) s) y( H: V- H

只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!
) w4 L1 B, U9 y- G: t
$ C# X" j& p% n今天刚刚发现的