请教一个网页元素抓取编程问题

zghz · 发表于 2013-8-2 11:14:15

我想写一个软件，想实现以下功能：

1采集网页上的某些元素
2自动把采集来的一些关键词提交到谷歌关键词工具查询并采集结果
3自动把一些文件上传到某些网站，可能需要设置代理，有可能的话需要输入验证码。

打算用C#来写，请问实现这些功能主要是不是调用webkit这类的浏览器内核来实现呢？

yincthh · 发表于 2013-8-2 11:39:47

selenium2

beijixing · 发表于 2013-8-2 11:51:42

搜索web自动化测试工具

zghz · 发表于 2013-8-2 13:06:54

yincthh 发表于 2013-8-2 11:39
selenium2

非常感谢！

zghz · 发表于 2013-8-2 13:10:01

beijixing 发表于 2013-8-2 11:51
搜索web自动化测试工具

非常感谢！

joul · 发表于 2013-8-2 18:51:27

本帖最后由 joul 于 2013-8-2 18:52 编辑

分析网页元素，如果想自己灵活控制，可以用HtmlAgilityPacK

潜水大帝 · 发表于 2013-8-2 22:48:46

C#的话感觉用HTTP + DOM 灵活些。

bobrey · 发表于 2013-8-4 11:24:09

C#可以直接调用系统的IE 控件哦，然后根据dom控制赋值和点击等操作哦

bjzhush · 发表于 2013-8-23 12:21:48

我以PHP为例来回答你的问题
1.采集可以用一些采集类，支持模拟UA，获取和保存cookie，redirect这些就差不多了，比如PHP的curl
2.这个应该是解析页面，同理有对应的类
3.代理C#肯定是支持的，验证码如果可以自己识别当然更简单，不能识别可以找一些验证码平台来调用（可能收费）

TMM · 发表于 2013-8-28 22:35:34

高手在民间啊

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	泰国仓储，本土仓发货2-3元/单
指纹浏览器，就用AdsPower	谷歌/FB/Bing/Yahoo代理商开户	7200W全球动态不重复住宅IP代理	全球优质流量，选TrafficStars
出售Facebook,友缘号,FB广告号,ins	FB/TT/KW 加白开户	ADPLEXITY + ADVERTCN	比Adplexity还好用的Spy工具
广	告	开	户
FB/Google/TK	海外多媒体	极速	下户
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
虚拟信用卡+独立站收款	行业首创新型指纹Cloak, 谷歌奇效!	BINOM TRACKER 60% OFF!	Kookeey⚡️100%独享⚡️原生住宅IP
⚡IPFoxy春日企划全场88折⚡	全球虚拟卡, 支持U充值	免账户投放 FB 广告（送项目）	2024做什么 - Media buy 项目库
免费黑五教程（持续更新、欢迎交流）	Facebook 批量上广告	Bridgeway - 联盟营销网络	IPCola 全新住宅代理 ⚡️ 免费试用
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	Adsterra 的CPA/CPM/CPC 网站流量	在线注册美国/英国/香港等海外公司
EU KETO/CBD - Jumbleberry	FB二三解1元/个	9Proxy ⚡️ $0.04/IP, 无限带宽	cloak斗篷/ss/nutra/cpa/Dating
E.PN 虚拟卡	Asocks代理服务器$3/GB	高薪诚求实力FB投手（独立站）	《全新虚拟卡+全球收付款》
广告位出租	全球低价纯净住宅/移动IP-免费试用	广告代投, 东南亚物流, 虚拟信用卡	VMLogin指纹浏览器+多账号防关联

请教一个网页元素抓取编程问题

评分

评分

社区QQ达人