做大型多语言采集站哪种方案好些？

buyabag · 发表于 2020-10-3 22:44:09

没接触过千万级内容的站，不过我估计，首先程序肯定得是自写的了，起码魔改，要不然很多地方都不合你的需求。其次对你整个流程的架构都是个考验，从硬件到软件，从采集到节点。

另外啊，其实国外内容站很不好做，你要知道google是面向全球，资讯站早已极大丰富，基本上什么内容都很完整且优秀，完全饱和了。光靠采集翻译什么的，九成九是没排名的，跟国内内容荒漠的网络环境完全不是一回事。所以论坛内大佬都跑CPS那些赚分成。

gatsby · 发表于 2020-10-3 23:22:21

buyabag 发表于 2020-10-3 22:44
: {4 b! y) H; f; z3 b$ n7 W没接触过千万级内容的站，不过我估计，首先程序肯定得是自写的了，起码魔改，要不然很多地方都不合你的需求 ...

确实是这样，对各方面都是个考验，就当时个学习的历程。人们收入下降消费欲望降低，cps同样也不好做。跟不上时代，处于逐渐被淘汰的边缘，做什么都不容易，难。

比特人 · 发表于 2020-10-4 15:25:49

wordpress不要说千万级了，连50w就很困难了，特别是用lnmp

gatsby · 发表于 2020-10-4 21:24:24

比特人发表于 2020-10-4 15:257 Y ~' E- u$ r5 e: j& E) L
wordpress不要说千万级了，连50w就很困难了，特别是用lnmp

正是准备使用lnmp搭建wordpress，这可如何是好

laoyebin · 发表于 2020-10-4 22:31:08

gatsby 发表于 2020-10-4 21:24- j3 I+ z& V" }# `
正是准备使用lnmp搭建wordpress，这可如何是好

别想那么远，干了再说，说不定你几万数据时候就已经放弃这个站了

gatsby · 发表于 2020-10-4 22:56:07

laoyebin 发表于 2020-10-4 22:31- S2 G& x0 X) {; l, B. q1 N
别想那么远，干了再说，说不定你几万数据时候就已经放弃这个站了

不错，干了再说

我是c罗 · 发表于 2020-10-5 20:35:11

量大调用API根本不现实，不管是google还是其他引擎都是要钱的。
你可以下载个有道词典，然后用selenium 写个自动化在桌面自动翻译完成入库。可以各种语言和软件之间倒腾几次。

gatsby · 发表于 2020-10-5 21:21:58

我是c罗发表于 2020-10-5 20:35: n5 c2 K; P- J% j( _7 d" S9 a
量大调用API根本不现实，不管是google还是其他引擎都是要钱的。
, w) P% D+ y# d你可以下载个有道词典，然后用selenium 写 ...

好的，谢谢，翻译的话反复考虑了很多方法都没法简单实现，只能来回多倒腾几次了。

大洲 · 发表于 2020-10-15 15:08:22

不翻译，硬干。硬盘网络成本低于翻译API。

正好有个任务，目前index了2300万文章，采集了1000万成果。

gatsby · 发表于 2020-10-16 09:52:25

大洲发表于 2020-10-15 15:083 l( m7 j# x* L6 Y$ y ]4 F
不翻译，硬干。硬盘网络成本低于翻译API。

不愧为钱大大，用什么内容管理系统去承载这么大的数据量呢，另外简繁转换容易些，多语言就得用api了，现成的googletrans库也不靠谱。

dengwen168 · 发表于 2020-10-16 10:12:50

大洲发表于 2020-10-15 15:08/ P" u2 \* }/ v. n: `9 R+ d) u% q
不翻译，硬干。硬盘网络成本低于翻译API。

牛人，，
还自己写了界面，，

dengwen168 · 发表于 2020-10-16 10:15:29

我是c罗发表于 2020-10-5 20:35: L) ~2 c1 ^" V6 q* m
量大调用API根本不现实，不管是google还是其他引擎都是要钱的。
% ?7 I W9 _2 j! c( s* ?你可以下载个有道词典，然后用selenium 写 ...

请问selenium操作有道词典是如何弄的？

有道词典也支持一篇文章这样的全文翻译么？谢谢。

大洲 · 发表于 2020-10-16 16:38:14

gatsby 发表于 2020-10-16 09:527 k9 }* o0 }( C& g
不愧为钱大大，用什么内容管理系统去承载这么大的数据量呢，另外简繁转换容易些，多语言就得用api了，现 ...

CMS也是自写。MR9.AS 。单机独服单域名亿数据能扛得住。

hhqq · 发表于 2020-10-18 12:08:02

大洲发表于 2020-10-15 15:08 C! S) v7 c/ J
不翻译，硬干。硬盘网络成本低于翻译API。

请问采集的源站是中文的还是英文的呀？

gingko · 发表于 2020-10-19 16:38:01

先干，边走边换服务器

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）
FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	IPCola原生住宅IP⚡️$1.8/条双ISP	FB资源，账单户，分享户，国内一手
TK加白户/二解户/FB海外户/GG老户	海外CL企业户源头	最大欧洲Nutra网盟BA找量	FB高权重耐操个号⚡️稳定过审
GG,FB,TK, 欧美源头, 欢迎合作❤️	FB企业户海外户,授信户,TK加白户	联盟收款/海外资金下发/服贸结汇	域名防红⚠斗篷工具/可试用3天
广告位出租	8500万高质量住宅IP，助力各种需求	虚拟卡返佣1%，国内持牌机构

[讨论] 做大型多语言采集站哪种方案好些？

点评

点评

点评

点评

本帖子中包含更多资源

点评

点评

社区QQ达人