|
|
发表于 2022-12-29 17:47:24
|
显示全部楼层
个人建议用python搞采集,python的scrapy框架搞采集非常方便。而且python跨平台,可以直接部署到linux的vps上通过cron定时运行。最重要的是python的库非常多,想要的功能直接网上就能找到相应的库,开发效率绝对比易语言高。9 j, ~, r/ W( x! L( U6 ]
翻译github上也有python的谷歌翻译接口,直接拿来用。
9 F& E# V, m1 {: g5 ?$ {3 U2 U" `, K2 U" I% }1 `$ g5 R4 \
选定好一个niche再进行采集,感觉现在采集站还是可以搞的,不要追求内容的数量,你的网站采集多了垃圾内容在谷歌眼里也成了垃圾站了,搜录全删光光。
# b2 F9 [& c. L
8 c9 k4 @& d, v网站程序直接用wordpress,毕竟是wordpress全世界使用最多的cms,很多坑都别人踩过了,遇到问题也好解决。或者直接用hexo、hugo等直接生成静态网站。# u! y% T5 V6 L; i
' x/ I! n, |8 }1 j) [) W7 t
前期资金紧张,可以用国外的免费图床,HTTP抓包后自己写接口上传图片。后期发现网站流量不错,再把图片本地化。有的图床有反盗链,自己进行反代,简单可以用 https://wsrv.nl/?url= 代理访问,不行的自己写个接口伪造来路、user-agent后大部分都可以访问。
4 R& V v7 O! b( `& i8 n! i" K/ k. w' Z* r$ x6 k
我就是搞的那种小型的采集站,以后准备继续扩大规模,展示下我的采集站, 这是最多的一个每天2000多ip:
4 G; B% I/ X( E8 n+ Z4 w
2 i, R+ K( z$ _7 _" x纯纯的采集,文章也就几千篇,爬虫放在vps上定时任务去采。
6 x" D% a, S1 x& W p1 A2 o" y+ _+ l w: D4 I, Z
( b4 A) i7 H9 L& ]9 k
5 z- {/ z! ~6 z; c# s" W3 q
采集后调用谷歌翻译整的英文垃圾站,内容不到5000,平均每天100多ip,就整了一个翻译的站,感觉批量搞搞应该还行,以后在整。
: _0 x/ x. Z0 k$ I# h$ H$ p6 \( U0 S/ r3 x
爬虫全部署到vps定时采集,网站基本每天更新,总之一切都要全自动,以后才能批量搞!  2 H/ \% d+ a; o p0 P- P
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
评分
-
查看全部评分
|