随着大数据和社交网络的火爆发展,社交网络上产生的数据也越来越有价值,特别是微博微信作为时下最火热的社交平台,如果能对这两个平台上的数据进行深入分析挖掘,那么价值将非常巨大,但是如果要开发一套爬虫程序的话也绝非易事,通过多方比较尝试,笔者最终顺利完成了整个数据采集过程,要采集的数据为指定城市的所有微博用户的相关信息。比如微博名称,微博地址,微博数量,粉丝数量,名片等等,进入正题,看看具体一步一步怎么操作来实现的。
打开采集器,新建一个任务之后,如下图选择分组:新浪微博,这里其实随便什么分组都可以,我是把新浪微博专门放了一个分组,以便管理采集微博的多个任务。任务名称,这里按照自己的情况输入即可,我这里采集的是沈阳的微博信息。然后输入备注。
接上一步，这里看下半部分流程，下半部分第一步是打开沈阳用户列表，然后是一个Loop循环：循环翻页，因为我们要采集所有页面的数据，在这个循环内部，还有一个循环：循环当前页所有用户，这样就能采集到一个页面的多个用户的数据，微博一页有20个用户的数据。这个循环内部有一个提取数据的步骤，这一步就是真正提取数据，不过他提取的是当前循环用户的数据。我们只需要在页面上点击要采集的数据，系统就会自动配置好，所以这一步很容易。
经过以上几个步骤就算配置好了，我们下一步，进行一个测试，从图中可以看到已经顺利采集到了数据，当采集完成之后，即可导出为Excel等使用了。
