找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 81011|回复: 35

[讨论] 做大型多语言采集站哪种方案好些?

[复制链接]

27

主题

1395

广告币

1983

积分

高级会员

积分
1983

社区QQ达人

发表于 2020-10-2 21:16:51 | 显示全部楼层 |阅读模式
采集量可能比较大,在千万以上,能想到两个解决方法,不知道哪更合适些,请指教。
) t9 G/ f( A( J) s0 g6 n1,只采集源语言,其他语言版本用google api翻译并生成,网站本身不存储其它语言版本的内容,这样便于管理成本也小,缺点就是时刻依赖google api,似乎不可控。
# F4 L# b) G+ t0 t7 v; u! |/ o2,采集源语言的时候并翻译成多种语言版本然后再发布,但这样成本就成倍数增长,数据库也占用太多,负载重。( S$ i; G2 x- @5 E" ]. T9 }
1 T. [: p" Z2 g( J# a+ M+ k3 D
请问哪个解决方法要好些,一般都是怎么处理这样的问题的。另外不管1和2这样动态的网页可否交给cloudflare来缓存要好些?
) _7 A) e) G* m. N8 H谢谢
; v* e1 r" C6 {( W' E
相关帖子
Binom_AdvertCN
回复

使用道具 举报

19

主题

1123

广告币

2035

积分

高级会员

积分
2035

社区QQ达人

QQ
发表于 2020-10-4 22:31:08 | 显示全部楼层
gatsby 发表于 2020-10-4 21:24
/ ?4 x" e2 x% ?4 Y正是准备使用lnmp搭建wordpress,这可如何是好
8 V: A4 ?( V7 k8 y& c- a3 I
别想那么远,干了再说,说不定你几万数据时候就已经放弃这个站了

点评

不错,干了再说  详情 回复 发表于 2020-10-4 22:56
努力奋斗
回复 支持 1 反对 0

使用道具 举报

0

主题

18

广告币

40

积分

初级会员

积分
40

社区QQ达人

发表于 2020-10-2 21:58:11 来自手机 | 显示全部楼层
采集一个版本,之后用翻译插件

点评

用第三方插件的话,一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站,怕第三方停止服务或者流量大的话不知道是否会有影响。  详情 回复 发表于 2020-10-2 22:19
回复 支持 反对

使用道具 举报

27

主题

1395

广告币

1983

积分

高级会员

积分
1983

社区QQ达人

 楼主| 发表于 2020-10-2 22:19:10 | 显示全部楼层
cxd44 发表于 2020-10-2 21:58
3 K$ q4 \# S; x) g. R# d采集一个版本,之后用翻译插件

( }* `/ m7 V! u+ F* Q* M用第三方插件的话,一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站,怕第三方停止服务或者流量大的话不知道是否会有影响。
回复 支持 反对

使用道具 举报

75

主题

810

广告币

1353

积分

高级会员

积分
1353

社区QQ达人

发表于 2020-10-2 22:44:17 | 显示全部楼层
现在硬盘那么便宜。) a8 J* T8 h. S  E. [  G
说说我的方法吧,买个德国VPS,然后采集英语,入库。' v0 _% N- N" W- t; R9 u
再翻译成德语,法语,西班牙语,葡萄牙语等等,放入不同字段。' a: u* f( ?  B  R
然后搞个火车头免登陆接口发布。
+ R. V4 N+ v1 s/ P1 `6 {" D打完,收工。

点评

大神用的什么翻译api?是免费的吗  详情 回复 发表于 2020-10-3 07:26
抱歉,资质愚钝没太明白。 采集入库后怎么翻译? “放入不同字段。然后搞个火车头免登陆接口发布”也没明白 另外火车头采集千万数据的话采集排重是不是比较困难,采集也可能比较慢。 我是想学下scrapy分布式抓取  详情 回复 发表于 2020-10-2 23:20
回复 支持 反对

使用道具 举报

27

主题

1395

广告币

1983

积分

高级会员

积分
1983

社区QQ达人

 楼主| 发表于 2020-10-2 23:20:06 | 显示全部楼层
东方人 发表于 2020-10-2 22:440 J0 u$ O& s( k
现在硬盘那么便宜。
0 w0 I( w- ^: n* K4 x& v说说我的方法吧,买个德国VPS,然后采集英语,入库。0 \; S9 F. @  M" i; P. B
再翻译成德语,法语,西班牙语, ...
+ E, K! Q/ t. ~2 |0 V& X; ?
抱歉,资质愚钝没太明白。
  e4 f  y& F' s  @; y/ G4 x+ X采集入库后怎么翻译?  “放入不同字段。然后搞个火车头免登陆接口发布”也没明白0 p' I0 k" M" P+ m# Q  M
另外火车头采集千万数据的话采集排重是不是比较困难,采集也可能比较慢。
% ?) @5 O/ b; e$ g6 l我是想学下scrapy分布式抓取用布隆过滤器。
回复 支持 反对

使用道具 举报

3

主题

516

广告币

595

积分

中级会员

积分
595
发表于 2020-10-2 23:51:20 | 显示全部楼层
我的经验:全部翻译好入库,硬盘的成本是最低的,不要丢了西瓜捡了芝麻,cf可以用,但是不要想着靠cf来节省硬盘,千万级内容,你系统的负载能力要好,否则并发上来就跪了。根本等不到用cf。爬虫就爬死了。

点评

非常感谢,wordpress可行不?  详情 回复 发表于 2020-10-3 00:34
回复 支持 反对

使用道具 举报

27

主题

1395

广告币

1983

积分

高级会员

积分
1983

社区QQ达人

 楼主| 发表于 2020-10-3 00:34:04 | 显示全部楼层
yrj 发表于 2020-10-2 23:519 G) u; o# [5 l% O
我的经验:全部翻译好入库,硬盘的成本是最低的,不要丢了西瓜捡了芝麻,cf可以用,但是不要想着靠cf来节省 ...
. [7 N" v  p( z2 g8 b
非常感谢,wordpress可行不?

点评

。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。  详情 回复 发表于 2020-10-3 21:23
yrj
wordpress 我用的不多,堆缓存也许可以。  详情 回复 发表于 2020-10-3 03:23
回复 支持 反对

使用道具 举报

3

主题

516

广告币

595

积分

中级会员

积分
595
发表于 2020-10-3 03:23:41 | 显示全部楼层
gatsby 发表于 2020-10-3 00:34
9 h- [1 q5 y/ ]- j非常感谢,wordpress可行不?

* N# c: v! k1 C! \! t" U1 P4 cwordpress 我用的不多,堆缓存也许可以。
回复 支持 反对

使用道具 举报

50

主题

962

广告币

1412

积分

高级会员

积分
1412
发表于 2020-10-3 07:26:46 | 显示全部楼层
东方人 发表于 2020-10-2 22:44
2 D# E0 i' P( R+ c( Q& T& ?, p5 }* n现在硬盘那么便宜。
8 a2 |: Q% h6 X" ~, U; ^说说我的方法吧,买个德国VPS,然后采集英语,入库。
" b8 v0 X( j8 S再翻译成德语,法语,西班牙语, ...

/ h) ]3 b4 W- |9 N) @2 D3 i  u大神用的什么翻译api?是免费的吗
回复 支持 反对

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2020-10-3 09:04:59 | 显示全部楼层
明显第2种

点评

好的,就使用本地存储数据靠谱些。  详情 回复 发表于 2020-10-3 11:46
回复 支持 反对

使用道具 举报

27

主题

1395

广告币

1983

积分

高级会员

积分
1983

社区QQ达人

 楼主| 发表于 2020-10-3 11:46:12 | 显示全部楼层
54clz 发表于 2020-10-3 09:043 J  e3 U' ~1 m' B5 K/ I4 t
明显第2种

7 J( v9 {3 \! [6 M3 C5 Y. m/ J好的,就使用本地存储数据靠谱些。
回复 支持 反对

使用道具 举报

27

主题

326

广告币

475

积分

中级会员

积分
475
发表于 2020-10-3 17:30:02 | 显示全部楼层
这么大的量级?你先评估一下对数据库优化的水平,千万级可是另外一个门槛了

点评

那数据量大一般都用传统的cms吗?  详情 回复 发表于 2020-10-3 22:20
回复 支持 反对

使用道具 举报

5

主题

34

广告币

86

积分

初级会员

积分
86
发表于 2020-10-3 21:23:52 | 显示全部楼层
gatsby 发表于 2020-10-3 00:34
$ ]9 N( j! ?/ T. R, Z/ @0 u7 ~非常感谢,wordpress可行不?

5 x# c  r) X; P9 I4 @8 h- s, |) ^。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。

点评

如果wordpress用上缓存,再用上cdn缓存,这样应该就能缓解很大负担了吧?  详情 回复 发表于 2020-10-3 22:16
低调做人,高调做事
回复 支持 反对

使用道具 举报

27

主题

1395

广告币

1983

积分

高级会员

积分
1983

社区QQ达人

 楼主| 发表于 2020-10-3 22:16:58 | 显示全部楼层
golang 发表于 2020-10-3 21:23, [/ s! l% k; Q/ e7 f
。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。
4 Q4 k- d2 G% m. }* t2 r. B
如果wordpress用上缓存,再用上cdn缓存,这样应该就能缓解很大负担了吧?
回复 支持 反对

使用道具 举报

27

主题

1395

广告币

1983

积分

高级会员

积分
1983

社区QQ达人

 楼主| 发表于 2020-10-3 22:20:48 | 显示全部楼层
buyabag 发表于 2020-10-3 17:30
% _1 B+ O: H" L* ?! }6 y这么大的量级?你先评估一下对数据库优化的水平,千万级可是另外一个门槛了 ...

- _6 ~+ V% O  v6 F那数据量大一般都用传统的cms吗?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 14:07 , Processed in 0.095150 second(s), 27 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表