请选择 进入手机版 | 继续访问电脑版

AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
 谷歌+必应一级代理商开户 
招募合伙人: 精通原生广告BINOM TRACKER 60% OFF!4000万非常干净 <住宅代理IP>
VMLogin防关联多登+AMZ测评FB养号AMZ测评/FB养号多登首选AdsPower布谷工作室|狗狗币登月谷歌/FB/Opera/Yahoo代理商开户
ADPLEXITY + ADVERTCNPropellerAds - 你的流量来源7200W全球动态不重复住宅IP代理供应Fb/Ins/Twitter/Linkedin账户
收一切印度广告/流量出售FB等各类社交媒体账号Facebook双重验证号+BM连接FB/AMZ/抖音..防关联必备Multilogin
台菲泰马COD物流 预支款或签收回款FaceBook受限解封号+BM链接把流量变收入让TS为您的事业打拼!出售FB解封号/公司BM/Gmail
顶尖Sweeps和黑五联盟+快速付款防檢測瀏覽器Gologin-免費獲得7天免费使用Tracker跑SmartlinkFB账单*广告*各类号Q492249100
Proxy302 - 又便宜又好用的代理大佬们都在用的facebook专页号$FB美国企业号-认证BM-虚拟卡$9500万住宅纯净代理IP-->免费试用
FB号源头!市场最低价!FB广告自动化工具 四天免费用广告专用虚拟卡0开卡费FaceBook一手海外企业户,无开户费
EVADAV – 排名第一流量平台出售FB超耐用广告号+BM号虚拟卡寻泰越GG代投, 月耗百万
AdsEmpire-CPA offers+Smartlink大量收FB广告号大量收FB广告号q1750355275原创Cloak 技术指导不满意退全额
广告位出租   
查看: 7806|回复: 35

[讨论] 做大型多语言采集站哪种方案好些?

[复制链接]

25

主题

740

广告币

1051

积分

中级会员

Rank: 3Rank: 3

积分
1051

社区QQ达人

发表于 2020-10-2 21:16:51 | 显示全部楼层 |阅读模式
采集量可能比较大,在千万以上,能想到两个解决方法,不知道哪更合适些,请指教。
# p0 x- B! o. e" [1 C1,只采集源语言,其他语言版本用google api翻译并生成,网站本身不存储其它语言版本的内容,这样便于管理成本也小,缺点就是时刻依赖google api,似乎不可控。: F5 s1 y8 s7 }8 a
2,采集源语言的时候并翻译成多种语言版本然后再发布,但这样成本就成倍数增长,数据库也占用太多,负载重。  ^/ ]" b8 e# Q4 P, z6 \

8 C: A1 A4 n" ]请问哪个解决方法要好些,一般都是怎么处理这样的问题的。另外不管1和2这样动态的网页可否交给cloudflare来缓存要好些?
  H" w4 d5 M: C谢谢
0 F5 L, ^/ p* d* m$ L( l
相关帖子
WeweMedia
回复

使用道具 举报

19

主题

987

广告币

1914

积分

高级会员

Rank: 4

积分
1914

社区QQ达人

QQ
发表于 2020-10-4 22:31:08 | 显示全部楼层
gatsby 发表于 2020-10-4 21:24
+ t6 w' _/ @+ |8 Z6 D7 b正是准备使用lnmp搭建wordpress,这可如何是好
0 z# T) I9 D3 Q+ {: c
别想那么远,干了再说,说不定你几万数据时候就已经放弃这个站了

点评

不错,干了再说  详情 回复 发表于 2020-10-4 22:56
努力奋斗
回复 支持 1 反对 0

使用道具 举报

0

主题

1

广告币

14

积分

新手上路

Rank: 1

积分
14

社区QQ达人

发表于 2020-10-2 21:58:11 来自手机 | 显示全部楼层
采集一个版本,之后用翻译插件

点评

用第三方插件的话,一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站,怕第三方停止服务或者流量大的话不知道是否会有影响。  详情 回复 发表于 2020-10-2 22:19
回复 支持 反对

使用道具 举报

25

主题

740

广告币

1051

积分

中级会员

Rank: 3Rank: 3

积分
1051

社区QQ达人

 楼主| 发表于 2020-10-2 22:19:10 | 显示全部楼层
cxd44 发表于 2020-10-2 21:58
4 L, D9 j' B5 [+ Z# k& u8 y8 ^采集一个版本,之后用翻译插件

( ]  k+ p9 j: ~+ d: x6 B用第三方插件的话,一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站,怕第三方停止服务或者流量大的话不知道是否会有影响。
回复 支持 反对

使用道具 举报

70

主题

722

广告币

1256

积分

高级会员

Rank: 4

积分
1256

社区QQ达人

发表于 2020-10-2 22:44:17 | 显示全部楼层
现在硬盘那么便宜。
( I; c" N5 n& d0 {) n; }+ }说说我的方法吧,买个德国VPS,然后采集英语,入库。
0 |: x* E! D: o' L* ~! U9 T再翻译成德语,法语,西班牙语,葡萄牙语等等,放入不同字段。
- [% z2 z! K- i# O" ~9 l然后搞个火车头免登陆接口发布。
/ v, _; H0 C& U$ a* ^% J打完,收工。

点评

大神用的什么翻译api?是免费的吗  详情 回复 发表于 2020-10-3 07:26
抱歉,资质愚钝没太明白。 采集入库后怎么翻译? “放入不同字段。然后搞个火车头免登陆接口发布”也没明白 另外火车头采集千万数据的话采集排重是不是比较困难,采集也可能比较慢。 我是想学下scrapy分布式抓取  详情 回复 发表于 2020-10-2 23:20
回复 支持 反对

使用道具 举报

25

主题

740

广告币

1051

积分

中级会员

Rank: 3Rank: 3

积分
1051

社区QQ达人

 楼主| 发表于 2020-10-2 23:20:06 | 显示全部楼层
东方人 发表于 2020-10-2 22:44
' J5 `! m" f# L2 I现在硬盘那么便宜。: Z' q0 F$ I& |0 U* I
说说我的方法吧,买个德国VPS,然后采集英语,入库。. Q# L+ a; Y9 i$ V8 Y" i) }
再翻译成德语,法语,西班牙语, ...
; ]* f! [; [  v) O# S1 Y+ o+ h' i$ f
抱歉,资质愚钝没太明白。
* j* V: l( A) v# h2 v采集入库后怎么翻译?  “放入不同字段。然后搞个火车头免登陆接口发布”也没明白
3 u8 R2 Q) M0 Z2 }3 I* x1 K/ V另外火车头采集千万数据的话采集排重是不是比较困难,采集也可能比较慢。
6 Y  O) ?# E8 Y4 E: w( A) n; J我是想学下scrapy分布式抓取用布隆过滤器。
回复 支持 反对

使用道具 举报

1

主题

336

广告币

359

积分

初级会员

Rank: 2

积分
359
发表于 2020-10-2 23:51:20 | 显示全部楼层
我的经验:全部翻译好入库,硬盘的成本是最低的,不要丢了西瓜捡了芝麻,cf可以用,但是不要想着靠cf来节省硬盘,千万级内容,你系统的负载能力要好,否则并发上来就跪了。根本等不到用cf。爬虫就爬死了。

点评

非常感谢,wordpress可行不?  详情 回复 发表于 2020-10-3 00:34
回复 支持 反对

使用道具 举报

25

主题

740

广告币

1051

积分

中级会员

Rank: 3Rank: 3

积分
1051

社区QQ达人

 楼主| 发表于 2020-10-3 00:34:04 | 显示全部楼层
yrj 发表于 2020-10-2 23:51
) m  Y( \5 I/ A: ~1 \1 `5 m我的经验:全部翻译好入库,硬盘的成本是最低的,不要丢了西瓜捡了芝麻,cf可以用,但是不要想着靠cf来节省 ...
0 R9 d, C' ^% u; a3 c  z0 ?
非常感谢,wordpress可行不?

点评

。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。  详情 回复 发表于 2020-10-3 21:23
yrj
wordpress 我用的不多,堆缓存也许可以。  详情 回复 发表于 2020-10-3 03:23
回复 支持 反对

使用道具 举报

1

主题

336

广告币

359

积分

初级会员

Rank: 2

积分
359
发表于 2020-10-3 03:23:41 | 显示全部楼层
gatsby 发表于 2020-10-3 00:34
& l9 |. e6 i# D2 V. v  S' }/ c% Y非常感谢,wordpress可行不?

# z3 v! h4 ~' [! awordpress 我用的不多,堆缓存也许可以。
回复 支持 反对

使用道具 举报

39

主题

151

广告币

553

积分

中级会员

Rank: 3Rank: 3

积分
553
发表于 2020-10-3 07:26:46 | 显示全部楼层
东方人 发表于 2020-10-2 22:44% l3 X0 Z# K. E8 ?( G! i
现在硬盘那么便宜。0 H' g9 ]4 L. j9 S% i- |0 R
说说我的方法吧,买个德国VPS,然后采集英语,入库。4 `. I: z# ~2 q9 g9 O
再翻译成德语,法语,西班牙语, ...
4 z( J, L9 `- P1 G5 |
大神用的什么翻译api?是免费的吗
回复 支持 反对

使用道具 举报

16

主题

1004

广告币

2242

积分

高级会员

Rank: 4

积分
2242
发表于 2020-10-3 09:04:59 | 显示全部楼层
明显第2种

点评

好的,就使用本地存储数据靠谱些。  详情 回复 发表于 2020-10-3 11:46
回复 支持 反对

使用道具 举报

25

主题

740

广告币

1051

积分

中级会员

Rank: 3Rank: 3

积分
1051

社区QQ达人

 楼主| 发表于 2020-10-3 11:46:12 | 显示全部楼层
54clz 发表于 2020-10-3 09:04
4 X! _3 Q5 |3 D' Z4 j) g明显第2种

( W8 j( K$ k. u& D# I/ H好的,就使用本地存储数据靠谱些。
回复 支持 反对

使用道具 举报

19

主题

259

广告币

354

积分

初级会员

Rank: 2

积分
354
发表于 2020-10-3 17:30:02 | 显示全部楼层
这么大的量级?你先评估一下对数据库优化的水平,千万级可是另外一个门槛了

点评

那数据量大一般都用传统的cms吗?  详情 回复 发表于 2020-10-3 22:20
回复 支持 反对

使用道具 举报

4

主题

5

广告币

50

积分

初级会员

Rank: 2

积分
50
发表于 2020-10-3 21:23:52 | 显示全部楼层
gatsby 发表于 2020-10-3 00:344 `" i$ p1 s6 @+ W6 h
非常感谢,wordpress可行不?
5 z9 F6 W+ h0 f; n4 B$ t
。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。

点评

如果wordpress用上缓存,再用上cdn缓存,这样应该就能缓解很大负担了吧?  详情 回复 发表于 2020-10-3 22:16
低调做人,高调做事
回复 支持 反对

使用道具 举报

25

主题

740

广告币

1051

积分

中级会员

Rank: 3Rank: 3

积分
1051

社区QQ达人

 楼主| 发表于 2020-10-3 22:16:58 | 显示全部楼层
golang 发表于 2020-10-3 21:23
8 o. j: m/ a2 \2 N) ?& E5 P。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。

' ~- m7 c: Z7 ?( @如果wordpress用上缓存,再用上cdn缓存,这样应该就能缓解很大负担了吧?
回复 支持 反对

使用道具 举报

25

主题

740

广告币

1051

积分

中级会员

Rank: 3Rank: 3

积分
1051

社区QQ达人

 楼主| 发表于 2020-10-3 22:20:48 | 显示全部楼层
buyabag 发表于 2020-10-3 17:30; ^4 u/ f, B* T# N5 C' k/ q
这么大的量级?你先评估一下对数据库优化的水平,千万级可是另外一个门槛了 ...

9 Z7 R+ H+ _+ t: r# o6 j那数据量大一般都用传统的cms吗?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Binom

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2021-6-22 00:52 , Processed in 0.056085 second(s), 15 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表