请选择 进入手机版 | 继续访问电脑版
设为首页收藏本站English Version

AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

Admitad
易赚网长期兑换paypal美元 值得信赖的顶级空间会员请立即修改密码ADPLEXITY + ADVERTCN收项目
收项目Best FB SPY for COD/仿品广告位出租  
查看: 1069|回复: 25

也说说大数据站的收录

[复制链接]

37

主题

477

广告币

737

积分

中级会员

Rank: 3Rank: 3

积分
737

社区QQ达人

发表于 2018-10-11 12:01:56 | 显示全部楼层 |阅读模式
分享到:
先界定下
1. Niche:tube站,老司机都懂的。2. 收录数量:底部翻页有10页,在google中site时显示的数量。研究别人的站也不可能看GWT的数据吧。
3. 收录数>100万

观察的:
1. 一大批收录数过百万的都被拔毛。不管是不是spam,都可能被拔毛。
2. 观察到有两类都被拔毛:
    1)没有外链或很少的外链,站群间很少互链,收录数1000w+。被拔毛应该是人工,往往一锅端。
    2)对deep link进行spam,收录数1000w+。被拔毛是单个站,没有一锅端。


测试的( 没有或很少外链,新注册域名    的情况下):

1. 站内各种内链使自然收录。慢,很慢,很很慢
2. 各种方式提交url,依然可以让spider大规模爬行(单站一天10w+的爬行,持续不到一周),但流量不会像以前那样的一个月就开始流量飙升。
3. deep link spam 还没测试。目前来看这种方式存活的久,被拔毛也能止损
4. 站群间deep link:还没测,但之前看过有阿三的站这么搞。

顺带一提:
tube本身就没什么内容,曾进行过各种伪原创: 用指纹算法检查过相似度,用markov组合过数据.......对收录测试结果几乎没有影响。






相关帖子
回复

使用道具 举报

79

主题

1012

广告币

1735

积分

高级会员

Rank: 4

积分
1735
发表于 2018-10-11 15:38:13 | 显示全部楼层
测试的( 没有或很少外链,新注册域名    的情况下):

1. 站内各种内链使自然收录。慢,很慢,很很慢

垃圾站的收录确实很慢,还有大量收录后,收录量会不断减少的情况,一个有几十W网页的网站到最后可能只能收录几千页了。
idvert
回复 支持 反对

使用道具 举报

33

主题

2497

广告币

5575

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
5575

社区QQ达人MobVista达人

发表于 2018-10-11 16:22:29 | 显示全部楼层
这种站放adsense不怕封么?
见过阿三的大数据站流量都很大,mp3、电影、大人站。
我也曾经想试来着,卡在收录上。1000万数据怎么采集和伪原创处理?很费劲啊。

点评

这种不放adsense啊,pop/cpm。也有国人买这种流量,然后hijack 搞adsense作弊的,一直活了好些年,现在还在搞。 采集原始数据真不是问题,有的有现成的数据混合一下,1000w+的数据量就有了。有的得花点时间自动收集  详情 回复 发表于 2018-10-12 09:10
回复 支持 反对

使用道具 举报

37

主题

477

广告币

737

积分

中级会员

Rank: 3Rank: 3

积分
737

社区QQ达人

 楼主| 发表于 2018-10-12 09:10:36 | 显示全部楼层
billy 发表于 2018-10-11 16:22
这种站放adsense不怕封么?
见过阿三的大数据站流量都很大,mp3、电影、大人站。
我也曾经想试来着,卡在收 ...

这种不放adsense啊,pop/cpm。也有国人买这种流量,然后hijack 搞adsense作弊的,一直活了好些年,现在还在搞。
采集原始数据真不是问题,有的有现成的数据混合一下,1000w+的数据量就有了。有的得花点时间自动收集下,但初始搞个700w+的数据也不成问题。
伪原创没什么好思路,这类站点信息量很少,随便弄下,跟原始数据就有差异了。但事实上,效果却没有,既不正面也不负面....
收录是大问题:一是时间,二是数量。
阿三的一些站有年头了,过去收录这个太容易。今年以来,新上的站越来越难收录了。

点评

pop单价太低了,cpm1刀不到,得几十万流量吧。  详情 回复 发表于 2018-10-12 11:31
回复 支持 反对

使用道具 举报

33

主题

2497

广告币

5575

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
5575

社区QQ达人MobVista达人

发表于 2018-10-12 11:31:46 来自手机 | 显示全部楼层
bluescharp 发表于 2018-10-12 09:10
这种不放adsense啊,pop/cpm。也有国人买这种流量,然后hijack 搞adsense作弊的,一直活了好些年,现在还 ...

pop单价太低了,cpm1刀不到,得几十万流量吧。
回复 支持 反对

使用道具 举报

10

主题

148

广告币

484

积分

中级会员

Rank: 3Rank: 3

积分
484
发表于 2018-10-12 11:55:32 | 显示全部楼层
本帖最后由 wellos 于 2018-10-12 12:08 编辑

tube站最终拼的是带宽资源和用户体验。
回复 支持 反对

使用道具 举报

4

主题

5

广告币

28

积分

初级会员

Rank: 2

积分
28

社区QQ达人

QQ
发表于 2018-10-12 15:14:57 | 显示全部楼层
本人做站群,收录都是百万左右,谷歌确实k站k的厉害
回复 支持 反对

使用道具 举报

4

主题

5

广告币

28

积分

初级会员

Rank: 2

积分
28

社区QQ达人

QQ
发表于 2018-10-12 15:15:40 | 显示全部楼层
收录根本就不是问题,问题是如何不被k

点评

被清零根本不是问题,再上一批就行了啊 难的就是快速收录  详情 回复 发表于 2018-10-12 19:32
k站是收录减少了还是清零了? 收录减少是不是被判断为内容重复? 清零了的话就牛x了...  详情 回复 发表于 2018-10-12 16:41
为什么俺 的站,就收录的内容特别少呢?是因为外链少吗?  详情 回复 发表于 2018-10-12 16:15
回复 支持 反对

使用道具 举报

79

主题

1012

广告币

1735

积分

高级会员

Rank: 4

积分
1735
发表于 2018-10-12 16:15:08 | 显示全部楼层
行走的路人甲 发表于 2018-10-12 15:15
收录根本就不是问题,问题是如何不被k

为什么俺 的站,就收录的内容特别少呢?是因为外链少吗?
回复 支持 反对

使用道具 举报

33

主题

2497

广告币

5575

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
5575

社区QQ达人MobVista达人

发表于 2018-10-12 16:41:15 来自手机 | 显示全部楼层
本帖最后由 billy 于 2018-10-12 16:46 编辑
行走的路人甲 发表于 2018-10-12 15:15
收录根本就不是问题,问题是如何不被k


k站是收录减少了还是清零了?
收录减少是不是被判断为内容重复?
清零了的话就牛x了...
版权问题被人工了?

收录怎么解决?都卡在收录上了,速度很慢。
回复 支持 反对

使用道具 举报

37

主题

477

广告币

737

积分

中级会员

Rank: 3Rank: 3

积分
737

社区QQ达人

 楼主| 发表于 2018-10-12 19:32:34 | 显示全部楼层
行走的路人甲 发表于 2018-10-12 15:15
收录根本就不是问题,问题是如何不被k

被清零根本不是问题,再上一批就行了啊
难的就是快速收录
回复 支持 反对

使用道具 举报

6

主题

543

广告币

554

积分

中级会员

Rank: 3Rank: 3

积分
554

社区QQ达人

发表于 2018-10-14 15:03:46 | 显示全部楼层
1000万数据 怎么储存一般php程序很容易崩溃的
与其在那悲叹自己的命运,不如努力去改变。。。
回复 支持 反对

使用道具 举报

53

主题

1124

广告币

6880

积分

金牌会员

Rank: 6Rank: 6

积分
6880
发表于 2018-10-15 12:48:06 | 显示全部楼层
有案例站吗
回复 支持 反对

使用道具 举报

18

主题

30

广告币

126

积分

初级会员

Rank: 2

积分
126
发表于 2018-10-15 13:37:57 | 显示全部楼层
如果一天所有用户的在线时间比较可观的话,挂点JS挖矿也不错的。
回复 支持 反对

使用道具 举报

4

主题

576

广告币

612

积分

中级会员

Rank: 3Rank: 3

积分
612

社区QQ达人

QQ
发表于 2018-10-16 18:06:30 | 显示全部楼层
测试过一段时间 大概6000万数据,后台提交网站地图,收录飞快。
大概一个月左右上量能过一万IP,然后很快被人工审核K掉,心累

点评

放adsense了?  详情 回复 发表于 2018-10-16 22:31
google管理员后台提交?1000多个文件链接都提交了?  详情 回复 发表于 2018-10-16 22:30
你这个应该不是最近测的吧  详情 回复 发表于 2018-10-16 19:39
专业数据抓取、爬虫定制、工具开发请联系QQ:28706988
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Github|联系我们|广告服务|小黑屋|手机版|Archiver|AdvertCN ( 津ICP备17003502号-1|网站地图  

GMT+8, 2018-12-14 14:02 , Processed in 0.096512 second(s), 9 queries , Gzip On, Memcache On.

Powered by Discuz

© 2007-2016 AdvertCN.

快速回复 返回顶部 返回列表