江南平台手游手把手教你怎样从互联网搜集海量数据

　　爬虫分为两种，一种像百度（黑）那样什么都抓的搜索引擎爬虫。另一种便是开发的，只准确地抓取所需的内容：比如我只需二手房信息，周围的广告和新闻一概不要。

　　爬虫这样的姓名并不好听，所以我给这套软件起名为Hawk，指代为鹰，可以准确，快速地捕捉猎物。 根本不需编程，经过图形化拖拽的操作来快速规划爬虫，有点像Photoshop。它能在20分钟内编写群众点评的爬虫（简化版只需3分钟），然后让它运转就好啦、

　　网页是一种有结构的树，而重要信息地点的节点，往往枝繁叶茂。 举个不恰当的比如，一大家子人构成树状族谱，谁最厉害？当然是：

　　咱们对整个树结构进行打分，天然就能找到那个最牛的节点，便是咱们要的表格。找到最牛爸爸之后，儿子们尽管类似：个子高，长得帅，两条臂膀两条腿，但这些都是共性，没有信息量，咱们关怀的是特性。大儿子锥子脸，跟其他人都不相同，那脸蛋便是重要信息；三儿子最有钱——钱也是咱们关怀的。 因而，比照儿子们的不同特点，咱们就能知道哪些信息是重要的了。

　　回到网页搜集这个比如，经过一套风趣的算法，给一个网页的地址，软件就会主动地把它转成Excel!（听不懂吧？听不懂正常， 不要介意这些细节！）

　　获取了一页的数据，这还不行，咱们要获取一切页面的数据！这简略，咱们让程序顺次地恳求第1页，第2页...数据就搜集回来了

　　就这么简略吗？网站怎样可能让自己名贵的数据被这么轻松地抓走呢？所以它只能翻到第50页或第100页。链家便是这样：

　　这也难不倒咱们，每页有30个数据，100页最多能出现3000条数据。北京有16个区县两万个小区，但每个区的小区数量就没有3000个了，咱们可别离获取每个区的小区列表。每个小区最多有300多套在售二手房，这样就能获取链家的一切二手房了。

　　然后咱们发动抓取器，Hawk就会给每个子线程（可以理解为机器人）分配使命：给我抓取这个小区的一切二手房！ 然后你就会看到壮丽的局面：一堆小机器人，同舟共济地从网站上搬数据，超牛迅雷有没有？一起100个使命！！上个厕所回来就抓完了！！！

　　但你会看到，里边会有些古怪的字符应该去去掉。xx平米应该都把数字提取出来。而价格，有的是2130000元，有的是373万元，这些都很难处理。

　　此处的意思当然不是去破解用户名暗码，还没强到那个程度。 有些网站的数据，都需求登录才干拜访。这也难不倒咱们。

　　当你敞开了Hawk内置了嗅探功用时，Hawk就像一个录音机相同，会记载你对方针网站的拜访操作。之后它就会将其重放出来，然后完成主动登录。

　　你会不会忧虑Hawk保存你的用户名暗码？不保存怎样主动登录呢？可是Hawk是开源的，一切代码都经过了检查，是安全的。你的私密信息，只会躺在你自己的硬盘里。

　　理论上是的。但道高一尺魔高一丈，不同的网站千差万别，对立爬虫的技能也有很多种。并且小虫虫对细节十分灵敏，只需错一点，后边的过程就可能进行不下去了。

　　假如你有其他网站的获取需求，可以去找你身边的程序员同学，让他们来帮助抓数据，或让他们来试试Hawk，看看谁的功率更高。

　　假如你是文科生妹子，那仍是主张你多看看东野奎吾和村上春树，直接上手这么杂乱的软件会让你抓狂的。那该找谁帮助抓数据呢？嘿嘿嘿...

　　HAWK是一种数据搜集和清洗东西，根据GPL协议开源，可以灵敏，有效地搜集来自网页，数据库，文件， 并经过可视化地拖拽，快速地进行生成，过滤，转化等操作。其功用最适合的范畴，是爬虫和数据清洗。

　　HAWK运用C# 编写，其前端界面运用WPF开发，支撑插件扩展。经过图形化操作，可以快速树立解决方案。