AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G需要代理IP?⚡️Proxysites.ai⚡️指纹浏览器,就用AdsPower
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
FB BM不限额,短id账单户E.PN 虚拟卡DuoPlus专注打造跨境电商云手机BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户9Proxy ⚡️ $0.04/IP, 无限带宽
IPCola原生住宅IP⚡️$1.8/条双ISPGoogle、Bing官方总代  联盟流量开户fb耐用号0.01一个fb账号官方合作商
FB资源,账单户,分享户,国内一手FB企业户BM户账单户源头收FB代投工作室,收TrafficFactory账号IPWO全球住宅代理⚡️免费测试⚡️
FB海外三不限-户源多 费率低PTM全球虚拟卡—进来交个朋友!PTM虚拟卡⚡️费率透明⚡️额度随心FB虚拟卡⚡️消费越多返现越多
广告位出租虚拟卡返佣1%,国内持牌机构  
查看: 6852|回复: 9

[软件工具] 一个开源的正文提取程序

[复制链接]

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

发表于 2013-9-28 19:08:26 | 显示全部楼层 |阅读模式
Lemft
本帖最后由 finder 于 2014-12-28 11:24 编辑 2 q7 g2 o8 P! n! m; U) g6 n/ D. O
8 h$ s$ m$ l( Y9 _
   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
* ~7 _, F4 V3 k0 P. O做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题% C) c( o- ~7 T$ s2 J8 x4 `
有篇blog对这个介绍的比较详细,我就不在这里赘述了
" t6 a/ ^6 S& n1 a' e
/ R# ]( Q( F6 G2 |. ]3 e5 M) S- m这里可以看详细的介绍以及DEMO :
  1. http://urlshort.shuaizhu.com/1k2
复制代码
这里你可以输入一个URL进行测试:
  1. http://urlshort.shuaizhu.com/1k3
复制代码
这里你可以直接下载程序安装到本地:
  1. http://urlshort.shuaizhu.com/1k4
复制代码
PS:- M! R8 m1 Q' M

9 G0 ~* b8 g* f5 [% _1 }/ Q, }2013年09月29日17:47:27 补充 - Y6 ^/ K: K; B

2 s4 G: L" o0 R* `# Z5 R
# e- q1 r7 k6 A6 ^: j. J& |) `+ f* c# F( P! P
我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码 2 i3 W  h$ X* E+ e
& d7 d- A( j7 f- J$ Y# z
2 V  d/ F# o' }1 [
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!' j8 U) s7 J; @" V
' p4 ^" B- f  Y0 B& v2 K! F
# J' @- h& i8 i- g9 Z

评分

参与人数 3广告币 +6 收起 理由
JasonLee + 2 很给力!
雷克傻死 + 2 NB!
阴天的下午 + 2 赞一个!

查看全部评分

相关帖子
回复

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

 楼主| 发表于 2013-9-28 22:18:29 | 显示全部楼层
感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意
回复 支持 反对

使用道具 举报

63

主题

418

广告币

635

积分

中级会员

Rank: 3Rank: 3

积分
635

社区QQ达人

发表于 2013-9-28 22:31:06 | 显示全部楼层
不错,好东西,刚试试了下网页版的还可以,不知道工具有无批量转换的功能。
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

 楼主| 发表于 2013-9-28 22:35:44 | 显示全部楼层
阴天的下午 发表于 2013-9-28 22:31
. e. J$ m6 r3 u0 K  {+ x6 E不错,好东西,刚试试了下网页版的还可以,不知道工具有无批量转换的功能。 ...

5 k* Q0 _4 A; F# ~8 D5 _/ J这个东西做一个接口非常容易的) v0 C1 @+ a. i! g! z- {8 m2 Q
       $title   = $Data['title'];
1 j. V4 R* f7 y        $content = $Data['content'];- @. N8 W1 y, p. R( H# p9 F
        include 'template/reader.html';$ a: `9 S  t  k; `+ e
这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
+ c( I2 ^# ?4 z; o5 z% b6 b        echo json_encode($Data);6 U) G, E) ]: O
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了' d5 }5 W- Z+ N0 ~- K( `  I7 _$ n
如果还不清楚,可以继续问
. R0 i# j4 h% u
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2013-9-29 07:55:00 | 显示全部楼层
自从用过这个之后,自己用的模板就全修改了一遍
回复 支持 反对

使用道具 举报

47

主题

1154

广告币

1531

积分

高级会员

Rank: 4

积分
1531

社区QQ达人

发表于 2013-9-29 10:32:56 | 显示全部楼层
感谢 真心很不错的 希望楼主以后能继续分享类似的
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

 楼主| 发表于 2013-9-29 11:07:47 | 显示全部楼层
阿百川 发表于 2013-9-29 07:55 $ {, ?; K; q; b* n$ C. s2 x" [
自从用过这个之后,自己用的模板就全修改了一遍
& E6 [, s9 k$ h: C4 e  @+ L
什么意思呢? 为什么要修改模板
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2013-9-29 11:42:16 | 显示全部楼层
bjzhush 发表于 2013-9-29 11:07
% H/ u2 `% K- D; x什么意思呢? 为什么要修改模板

7 w: v7 l6 Y; R$ b防止被这种程序提取内容
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

 楼主| 发表于 2013-9-29 11:53:13 | 显示全部楼层
阿百川 发表于 2013-9-29 11:42 . P" i- _. K1 W
防止被这种程序提取内容

, t8 |! G6 Y. q- k真的要扒你的站,你是防不住的9 D. u+ Y  w2 \! o5 Q( v
不怕贼偷,就怕贼惦记,哈哈
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

 楼主| 发表于 2013-9-29 17:48:25 | 显示全部楼层
阴天的下午 发表于 2013-9-28 22:31
1 M* |( g7 [9 Q) u不错,好东西,刚试试了下网页版的还可以,不知道工具有无批量转换的功能。 ...
6 k$ Q; q6 y/ ?5 \; b
我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码 & u! y( V  C: |( h5 {
$ E: d) H8 T( `) Z2 _; M- d! V
2 e# U+ ?/ T* x$ }
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!0 O' D- |5 q/ X# O. D0 S$ I9 u

  d! `( J# R! t, n) L( o今天刚刚发现的  
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-5-2 16:17 , Processed in 0.048746 second(s), 15 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表