楼下哥们儿说"采集必死",我只想说“呵呵”

zaishanfeng

楼主目前有多少个站  流量有多少

weiai789

白龙君 发表于 2016-1-21 14:51
2 M$ y( L1 S5 s3 q! j除了火车头还能用啥采集啊。。。。。。。。

真要做全自动，一定要学python
5 y, \1 z+ H, t# A7 b) x
0 d# W: w+ n5 v: H( ~还有一些，比如验证码和代理。这2个可以用钱解决。

ads419

weiai789 发表于 2016-1-21 14:49
BeautifulSoup用来解析 html
0 K; R- o& z" f3 r
selenium用来做自动登录，有些内容是动态js调用的，比如QQ空间这种，你用c++ ...

: f5 z. B1 N: p# S+ G* P6 S% L* G7 o刚才了解了一下，这个是自动化工具，我以为是爬虫，用爬虫也有专门的JS渲染插件。

kaylin0212

别人说有多好或不好，还不如自己去实践一遍

aabbccli

ads419 发表于 2016-1-21 14:54
4 u( i* r  h( m5 X7 `刚才了解了一下，这个是自动化工具，我以为是爬虫，用爬虫也有专门的JS渲染插件。 ...

/ D% f2 M. b* D& s' m0 j8 E" ^爬虫的JS渲染插件也是用的WEBKIT内核，比如pyspider就是用的phantomjs来渲染JS，和selenium调用phantomjs渲染效果一样。不过好像pyspider是把phantomjs运行起来当作服务器调用的(可以通过ip调用),而selenium是通过子进程调用来实现的，应该是pyspider性能要好一点吧。

阿百川

1 {5 ]5 e& ]) U: v& D
5 d4 M8 T/ A2 g, C3 |, `; P大把大把的采集站大把大把的拿流量

jb51.net都N年了，百度、谷歌排名都很好
  ?  E5 I2 }9 s6 ]
补几个卡饭seo：
4 X% X! B& S9 @0 s: O3 v/ x6 J' Hhttps://www.v2ex.com/t/232328
6 ^( k6 ~4 ?  O5 yhttps://www.zhihu.com/question/33195862
" o% @. ?% t: N, hhttps://www.zhihu.com/question/35467213
2 _3 \" H* o: X7 `http://bbs.kafan.cn/thread-1858326-1-1.html
% V, L# l' M5 F. Chttp://koubei.baidu.com/s/kafan.cn?fr=search
$ p% v1 f  O2 ?

tufei

楼主有推荐的python教程吗

一米

太专业不懂

laihappy

你们太骚了，哈哈 我学不来

moneybooks

都是技术流。。。

k_king

都是技术流，看不懂，擦

weiai789

tufei 发表于 2016-1-21 17:30
1 K, Z  Z1 \5 ?  e3 _楼主有推荐的python教程吗

python核心编程
/ [3 ?' b8 k4 \% Y3 f  N* c1 ~教程看一下就行了，都是那些东西，一通百通，函数，类。

" G! F, p! w7 K会用模块就行。

上帝的假牙

那文章我主要是说采集和搜索引擎之间的关系好吧？！
4 f" c5 b5 f7 c1 K8 S/ ^不处理采集问题，搜索引擎会被采集网站“淹”死，而机器无法很好的识别采集网站，只有人工干预才能处理好采集问题，但是人工干预成本又会降低搜索引擎公司的利润，甚至拖垮搜索引擎公司。。。对搜索引擎公司来说这是一个两难的问题。

那文章写于2013年，正是谷歌人工干预最厉害的时候。

weiai789

上帝的假牙 发表于 2016-1-22 15:56
% D  {% h9 _  H2 X那文章我主要是说采集和搜索引擎之间的关系好吧？！
不处理采集问题，搜索引擎会被采集网站“淹”死，而机 ...

9 B! V6 }  u7 c' l兄弟，没别的意思，表达一下做这行的感受而已。

若水

weiai789 发表于 2016-1-22 17:01
( z6 R& v2 g. F; _" ]! X4 n兄弟，没别的意思，表达一下做这行的感受而已。

' a( W! a9 X2 i2 G做的国内的 还是国外的？ 兄弟