一个开源的正文提取程序

bjzhush

) q7 W; G* A6 W% j5 C9 v- J9 ^+ Y
   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
1 I+ F1 M1 a. E做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
有篇blog对这个介绍的比较详细,我就不在这里赘述了

; w  a) l4 [7 `7 o' M3 ~+ W这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
5 G+ W! v- \7 i/ Q/ q
3 `5 W% O: H9 n( d8 [! }2013年09月29日17:47:27 补充


( U0 C$ l* o7 M; ?6 \* j* x
, }' }2 o- c9 E4 c) _ 我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
5 Q7 J3 _4 f# ?, s9 O7 l2 q3 e5 i
9 Z% v# ^' h0 k2 A2 X; w3 `! D6 |
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
. m, p4 k6 z; R4 a

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
' T4 h) |+ C( y" u  a- E3 o6 n不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

0 f/ I4 ?+ j: Y这个东西做一个接口非常容易的
8 H# a. t. R8 j. r9 D5 F. w       $title   = $Data['title'];
+ I; M, H* l  G5 O. D( v        $content = $Data['content'];
" ]: m5 C% y7 ~* s        include 'template/reader.html';
" A3 G8 f( S, z这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
, Z4 ^7 Z8 P0 r( u$ u        echo json_encode($Data);
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
7 g8 M! T" _. }0 c' j* z$ D如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
% r/ x; n; c$ }2 ^7 y8 ^) y自从用过这个之后，自己用的模板就全修改了一遍

% ~% q; T* Q; |什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
# e+ G* m4 Q/ [5 n. l* _什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
防止被这种程序提取内容

/ l. B) Z+ D7 N- T+ R1 o# e真的要扒你的站,你是防不住的
( C: j4 @4 ]* y, I* u不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

. z; e6 t" W! B# p  d我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码


- z1 q2 W5 ?; v: Z只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!

! Q5 d* a, t" \4 p) v/ n  P今天刚刚发现的