设为首页收藏本站English Version

 找回密码
 立即注册

QQ登录

只需一步，快速开始

PropellerAds
AdvertCN - 广告中国»社区 › Affiliate Marketing： 联属网络营销交流 › 综合讨论区: General Discussion › 做大型多语言采集站哪种方案好些？
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程（持续更新、欢迎交流）FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户（优势）IPCola原生住宅IP⚡️$1.8/条双ISPFB资源，账单户，分享户，国内一手TK加白户/二解户/FB海外户/GG老户
海外CL企业户源头最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审GG,FB,TK, 欧美源头, 欢迎合作❤️
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇⚡️Spend.net — 美元卡仅需$0⚡️✔Taboola海外户
广告位出租8500万高质量住宅IP，助力各种需求虚拟卡返佣1%，国内持牌机构 
123下一页
返回列表 发新帖
查看: 80521|回复: 35

[讨论] 做大型多语言采集站哪种方案好些？

[复制链接]
gatsby

27

主题

1394

广告币

1982

积分

高级会员

积分
1982

社区QQ达人
发表于 2020-10-2 21:16:51 | 显示全部楼层 |阅读模式
AdvertCN官方群组 | 发帖或者回复被审核? | 广告中国能给我什么？ | 论坛广告币独家攻略 ( 2022-09-08 更新)
采集量可能比较大，在千万以上，能想到两个解决方法，不知道哪更合适些，请指教。
* Z! o& C# P& y7 K% b7 B) m( X1，只采集源语言，其他语言版本用google api翻译并生成，网站本身不存储其它语言版本的内容，这样便于管理成本也小，缺点就是时刻依赖google api，似乎不可控。
2 A# \7 _4 `. w! f, ~2，采集源语言的时候并翻译成多种语言版本然后再发布，但这样成本就成倍数增长，数据库也占用太多，负载重。/ y! O# L4 I# Y/ p% O

8 i& Y- o) @6 c# ?* T. N请问哪个解决方法要好些，一般都是怎么处理这样的问题的。另外不管1和2这样动态的网页可否交给cloudflare来缓存要好些？
' Q8 k. W2 g3 T  w+ I8 G谢谢: x# {& U$ c% m/ [4 m& N
相关帖子
回复

使用道具 举报

laoyebin

19

主题

1114

广告币

2027

积分

高级会员

积分
2027

社区QQ达人

QQ
发表于 2020-10-4 22:31:08 | 显示全部楼层
真正物美价廉的Tracker | 7200W全球动态不重复住宅IP代理
gatsby 发表于 2020-10-4 21:243 A+ |" H! b" Z6 q! u( v
正是准备使用lnmp搭建wordpress，这可如何是好

! \+ p( n9 O4 H' C7 J别想那么远，干了再说，说不定你几万数据时候就已经放弃这个站了

点评

gatsby
不错，干了再说  详情 回复 发表于 2020-10-4 22:56
努力奋斗
Binom专属AdvertCN会员优惠 - 60%
回复 支持 1 反对 0

使用道具 举报

cxd44

0

主题

18

广告币

40

积分

初级会员

积分
40

社区QQ达人
发表于 2020-10-2 21:58:11 来自手机 | 显示全部楼层
采集一个版本，之后用翻译插件

点评

gatsby
用第三方插件的话，一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站，怕第三方停止服务或者流量大的话不知道是否会有影响。  详情 回复 发表于 2020-10-2 22:19
ADPLEXITY + ADVERTCN = ???
回复 支持 反对

使用道具 举报

gatsby

27

主题

1394

广告币

1982

积分

高级会员

积分
1982

社区QQ达人
 楼主| 发表于 2020-10-2 22:19:10 | 显示全部楼层
cxd44 发表于 2020-10-2 21:58. C) X# ]0 ^# e/ G4 Z6 I
采集一个版本，之后用翻译插件
/ i9 Y. T( w* f+ w' q8 c$ ^
用第三方插件的话，一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站，怕第三方停止服务或者流量大的话不知道是否会有影响。
回复 支持 反对

使用道具 举报

东方人

75

主题

810

广告币

1353

积分

高级会员

积分
1353

社区QQ达人
发表于 2020-10-2 22:44:17 | 显示全部楼层
现在硬盘那么便宜。
+ w- _2 d2 ?; z说说我的方法吧，买个德国VPS，然后采集英语，入库。) m* n* }$ ~) D  i
再翻译成德语，法语，西班牙语，葡萄牙语等等，放入不同字段。
7 p7 z& x0 G' T. }7 O1 q然后搞个火车头免登陆接口发布。
6 x1 b1 b' i8 v9 R# Q打完，收工。

点评

kongkong0926
大神用的什么翻译api？是免费的吗  详情 回复 发表于 2020-10-3 07:26
gatsby
抱歉，资质愚钝没太明白。 采集入库后怎么翻译？ “放入不同字段。然后搞个火车头免登陆接口发布”也没明白 另外火车头采集千万数据的话采集排重是不是比较困难，采集也可能比较慢。 我是想学下scrapy分布式抓取  详情 回复 发表于 2020-10-2 23:20
回复 支持 反对

使用道具 举报

gatsby

27

主题

1394

广告币

1982

积分

高级会员

积分
1982

社区QQ达人
 楼主| 发表于 2020-10-2 23:20:06 | 显示全部楼层
东方人 发表于 2020-10-2 22:44  K9 H) \- f' B; ?& h
现在硬盘那么便宜。
. Z4 Y3 a9 \$ \- C( I' l# I说说我的方法吧，买个德国VPS，然后采集英语，入库。" Z: D  G1 B4 B& g
再翻译成德语，法语，西班牙语， ...

! x8 f  `6 J9 F) H3 e2 R抱歉，资质愚钝没太明白。
  E  n8 x0 S: J3 m2 B! b采集入库后怎么翻译？  “放入不同字段。然后搞个火车头免登陆接口发布”也没明白: ^/ n/ A7 |. R! d, E- T6 I
另外火车头采集千万数据的话采集排重是不是比较困难，采集也可能比较慢。
% f+ r! k. V9 C0 M6 A0 r" R  r+ Z我是想学下scrapy分布式抓取用布隆过滤器。
回复 支持 反对

使用道具 举报

yrj

3

主题

516

广告币

595

积分

中级会员

积分
595
发表于 2020-10-2 23:51:20 | 显示全部楼层
我的经验：全部翻译好入库，硬盘的成本是最低的，不要丢了西瓜捡了芝麻，cf可以用，但是不要想着靠cf来节省硬盘，千万级内容，你系统的负载能力要好，否则并发上来就跪了。根本等不到用cf。爬虫就爬死了。

点评

gatsby
非常感谢，wordpress可行不？  详情 回复 发表于 2020-10-3 00:34
回复 支持 反对

使用道具 举报

gatsby

27

主题

1394

广告币

1982

积分

高级会员

积分
1982

社区QQ达人
 楼主| 发表于 2020-10-3 00:34:04 | 显示全部楼层
yrj 发表于 2020-10-2 23:51+ S* R  a. F, U5 l4 A
我的经验：全部翻译好入库，硬盘的成本是最低的，不要丢了西瓜捡了芝麻，cf可以用，但是不要想着靠cf来节省 ...

3 e/ O- M+ g% `0 ?) L$ h& B非常感谢，wordpress可行不？

点评

golang
。。。。。看到你说WordPress ，别说千万了，5万信息量，F5 刷新就能瘫痪。  详情 回复 发表于 2020-10-3 21:23
yrj
wordpress 我用的不多，堆缓存也许可以。  详情 回复 发表于 2020-10-3 03:23
回复 支持 反对

使用道具 举报

yrj

3

主题

516

广告币

595

积分

中级会员

积分
595
发表于 2020-10-3 03:23:41 | 显示全部楼层
gatsby 发表于 2020-10-3 00:34
2 Y' F$ e6 S2 |- W6 |: Q4 G3 n3 h  P4 s非常感谢，wordpress可行不？
# x3 D; P4 M- P5 W# v
wordpress 我用的不多，堆缓存也许可以。
回复 支持 反对

使用道具 举报

kongkong0926

50

主题

961

广告币

1411

积分

高级会员

积分
1411
发表于 2020-10-3 07:26:46 | 显示全部楼层
东方人 发表于 2020-10-2 22:44& V0 U8 H% X& J# |
现在硬盘那么便宜。# u1 y# t# |  Y8 L9 Y' D: ]" a! c
说说我的方法吧，买个德国VPS，然后采集英语，入库。
& J5 ~/ A, Q* Z, c再翻译成德语，法语，西班牙语， ...
' c5 o/ z+ @- w" b! B  s* S  ]
大神用的什么翻译api？是免费的吗
回复 支持 反对

使用道具 举报

54clz

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2020-10-3 09:04:59 | 显示全部楼层
明显第2种

点评

gatsby
好的，就使用本地存储数据靠谱些。  详情 回复 发表于 2020-10-3 11:46
回复 支持 反对

使用道具 举报

gatsby

27

主题

1394

广告币

1982

积分

高级会员

积分
1982

社区QQ达人
 楼主| 发表于 2020-10-3 11:46:12 | 显示全部楼层
54clz 发表于 2020-10-3 09:04' d& |$ f' q' G* K1 r0 e' C
明显第2种

+ |# f) N4 W/ U- l* N: h6 ^好的，就使用本地存储数据靠谱些。
回复 支持 反对

使用道具 举报

buyabag

27

主题

326

广告币

475

积分

中级会员

积分
475
发表于 2020-10-3 17:30:02 | 显示全部楼层
这么大的量级？你先评估一下对数据库优化的水平，千万级可是另外一个门槛了

点评

gatsby
那数据量大一般都用传统的cms吗？  详情 回复 发表于 2020-10-3 22:20
回复 支持 反对

使用道具 举报

golang

5

主题

33

广告币

85

积分

初级会员

积分
85
发表于 2020-10-3 21:23:52 | 显示全部楼层
gatsby 发表于 2020-10-3 00:34% z  h/ w/ J  H: v7 p
非常感谢，wordpress可行不？

% l$ Z# a# a, x0 H  Q& p。。。。。看到你说WordPress ，别说千万了，5万信息量，F5 刷新就能瘫痪。

点评

gatsby
如果wordpress用上缓存，再用上cdn缓存，这样应该就能缓解很大负担了吧？  详情 回复 发表于 2020-10-3 22:16
低调做人，高调做事
回复 支持 反对

使用道具 举报

gatsby

27

主题

1394

广告币

1982

积分

高级会员

积分
1982

社区QQ达人
 楼主| 发表于 2020-10-3 22:16:58 | 显示全部楼层
golang 发表于 2020-10-3 21:23
, I; w0 W! l3 Y( e# p2 r! O。。。。。看到你说WordPress ，别说千万了，5万信息量，F5 刷新就能瘫痪。
" O- e, X8 v0 @9 [
如果wordpress用上缓存，再用上cdn缓存，这样应该就能缓解很大负担了吧？
回复 支持 反对

使用道具 举报

gatsby

27

主题

1394

广告币

1982

积分

高级会员

积分
1982

社区QQ达人
 楼主| 发表于 2020-10-3 22:20:48 | 显示全部楼层
buyabag 发表于 2020-10-3 17:309 Y# s& ]* o0 ^: j! v% H
这么大的量级？你先评估一下对数据库优化的水平，千万级可是另外一个门槛了 ...
  B* i$ L7 }  g1 I" X
那数据量大一般都用传统的cms吗？
回复 支持 反对

使用道具 举报

下一页 »
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-8-12 00:00 , Processed in 0.125774 second(s), 27 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表