找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇
✔Taboola海外户源头广告位出租虚拟卡返佣1%,国内持牌机构 
查看: 14230|回复: 11

[讨论] 现在采集用什么软件?

[复制链接]

82

主题

649

广告币

1203

积分

高级会员

积分
1203

社区QQ达人

发表于 2016-4-1 11:13:23 | 显示全部楼层 |阅读模式
Binom_AdvertCN
WordPress博客,想手动采集一部分,文字、图片、链接之类的,采集好之后直接发布,有什么采集软件或者采集脚本吗?+ f. V3 R4 s/ \% |: D! c  Q
wprobot这个玩意儿好不好用?+ _2 o8 ~* c/ t8 w
4 u. Q& {8 Z; I% ~! k
相关帖子
回复

使用道具 举报

3

主题

932

广告币

1975

积分

高级会员

积分
1975

社区QQ达人

发表于 2016-4-1 11:33:24 | 显示全部楼层
火车头   

点评

谢谢回复! 火车头是不是必须要买收费版本的? 另外火车头可以直接写到WordPress数据库吗?  详情 回复 发表于 2016-4-1 11:44
回复 支持 反对

使用道具 举报

82

主题

649

广告币

1203

积分

高级会员

积分
1203

社区QQ达人

 楼主| 发表于 2016-4-1 11:44:12 | 显示全部楼层
yinliang 发表于 2016-4-1 11:33' y; P" }4 M7 @
火车头
7 c5 _. _" l) q9 U$ P$ x6 v0 n
谢谢回复!0 G1 I3 r% L. S5 B* ^9 ~
火车头是不是必须要买收费版本的?
& T3 R2 L, C0 |另外火车头可以直接写到WordPress数据库吗?
5 w5 W5 a4 Z( B

点评

有破解版本的,另外,写数据库,这个是我自己写的脚本,你看有没有其它方法  详情 回复 发表于 2016-4-1 11:47
回复 支持 反对

使用道具 举报

3

主题

932

广告币

1975

积分

高级会员

积分
1975

社区QQ达人

发表于 2016-4-1 11:47:14 | 显示全部楼层
gresh 发表于 2016-4-1 11:44
! ~3 b8 E5 w/ {* P谢谢回复!; g* f% X: S3 A. \0 e% ^3 v
火车头是不是必须要买收费版本的?
: o/ A" x* U+ d: \另外火车头可以直接写到WordPress数据库吗?
& \4 R4 f8 O: }' S6 i' q
有破解版本的,另外,写数据库,这个是我自己写的脚本,你看有没有其它方法

点评

自己写!太厉害了,不知道这个脚本网上有没有什么教程,或者如何编写的资料可以参考?  详情 回复 发表于 2016-4-1 12:52
回复 支持 反对

使用道具 举报

82

主题

649

广告币

1203

积分

高级会员

积分
1203

社区QQ达人

 楼主| 发表于 2016-4-1 12:52:26 | 显示全部楼层
yinliang 发表于 2016-4-1 11:47$ G" N: I, ^4 ~- D
有破解版本的,另外,写数据库,这个是我自己写的脚本,你看有没有其它方法 ...
1 {& J3 O: f9 s) F& \
自己写!太厉害了,不知道这个脚本网上有没有什么教程,或者如何编写的资料可以参考?
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2016-4-1 13:16:04 | 显示全部楼层
gresh 发表于 2016-4-1 12:52
2 J& G6 w' |3 L自己写!太厉害了,不知道这个脚本网上有没有什么教程,或者如何编写的资料可以参考? ...
6 a$ B* x5 l* ]9 E/ t
可以参考火车头的wp免登陆接口,调用wp自身的发布函数,效率很高

点评

非常感谢,我去找一下  详情 回复 发表于 2016-4-1 14:32
回复 支持 反对

使用道具 举报

82

主题

649

广告币

1203

积分

高级会员

积分
1203

社区QQ达人

 楼主| 发表于 2016-4-1 14:32:54 | 显示全部楼层
阿百川 发表于 2016-4-1 13:16% l$ I% F/ ?9 ]5 M0 S2 _& L
可以参考火车头的wp免登陆接口,调用wp自身的发布函数,效率很高

1 b3 R$ e: w& t非常感谢,我去找一下

点评

淘宝上几块钱就能解决 火车头是无论如何得学会使用的,学会火车头其他任何采集软件基本手到擒拿!  详情 回复 发表于 2016-4-1 17:06
回复 支持 反对

使用道具 举报

103

主题

1830

广告币

2709

积分

高级会员

积分
2709

社区QQ达人

发表于 2016-4-1 17:06:28 | 显示全部楼层
gresh 发表于 2016-4-1 14:32
1 d) s9 r  R, C* r2 y非常感谢,我去找一下
" F& O0 g- W7 l8 i
淘宝上几块钱就能解决
5 F. N) l, e( }. V火车头是无论如何得学会使用的,学会火车头其他任何采集软件基本手到擒拿!
回复 支持 反对

使用道具 举报

18

主题

500

广告币

767

积分

中级会员

积分
767

社区QQ达人

发表于 2016-4-1 19:20:38 | 显示全部楼层
wordpress发布模块  v/ _. s7 Z; b! j2 e( |
在網上求的,沒測試能否使用
8 i1 J; U4 v$ C0 K8 b3 {http://pan.baidu.com/s/1ge6Bg8j

点评

非常感谢,我在火车头论坛也看到很多插件,我先试试看!  详情 回复 发表于 2016-4-1 20:58
回复 支持 反对

使用道具 举报

82

主题

649

广告币

1203

积分

高级会员

积分
1203

社区QQ达人

 楼主| 发表于 2016-4-1 20:58:04 | 显示全部楼层
kc0203 发表于 2016-4-1 19:20- C3 O0 \  N. W: q( E( [" A( B
wordpress发布模块6 F+ _* b2 Z& C3 C1 }0 I
在網上求的,沒測試能否使用
  w5 k: x! m' _7 F2 Ghttp://pan.baidu.com/s/1ge6Bg8j

2 c! S% G/ X6 N; e' A0 g( B非常感谢,我在火车头论坛也看到很多插件,我先试试看!
回复 支持 反对

使用道具 举报

0

主题

7

广告币

17

积分

新手上路

积分
17
发表于 2016-5-3 16:43:52 | 显示全部楼层
看自身需求,火车头有能采集的,也有不能采集的,还需要自己写规则,必然要懂点程序,不会的话,可以试试八爪鱼,话说都是收费的。
回复 支持 反对

使用道具 举报

6

主题

114

广告币

154

积分

初级会员

技术流 / 爬虫党

积分
154
发表于 2016-5-3 17:22:28 | 显示全部楼层
我这边公司主业之一是帮人抓数据,我并不是要在这推广我们公司业务,只是提点小建议:1 z$ S  L+ g9 j! D) ]4 o
1. 简单网站的话,用火车头八爪鱼之类的,比较好。简单不简单的判断在于,页面数量,是否更新频率非常高,是否需要分布式抓取,是否ajax网站,对方反爬机制是否很强大。比如说,你打算抓点新闻或者一些博客这种量级的需求,那桌面小软件还是可以的。
6 s, Q% }/ N  a  b! B* h2. 火车头的好处并不是抓取本身,而是有很多的再发布模块可用,这个确实很省事。如果不考虑发布模块,那其实很多免费的软件可用,包括一些是全可视化操作的,非常方便
& f! U7 J" C  X/ n% X3. 如果你需要抓取的源网站逻辑比较复杂,而且你的时间成本还比较高的话,那你还是上淘宝找个人帮你做好火车头的规则把,如你时间成本高,那性价比还是不错的: d6 Q0 f: _& l# z& s" k; w
4. 对于那些逻辑复杂且极强反爬策略的,那还是考虑换个数据源把,自己做,花大量时间还不见得能成功抓取,如果找别人抓取,那成本也不低
http://www.jiashidata.com/gg/
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-10-3 12:40 , Processed in 0.123398 second(s), 35 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表