黑科技!当会爬虫的Python遇上会画图的FineBI

前言

大家平时在用Python爬取网页上的数据时,对爬取到到的数据做数据分析展现有很多种方式,比如可以通过echart图表接口、python提供的第三方库甚至还可以用matlab工具来进行数据统计和图表可视化展现。可是无论是以上的哪一种方式,都需要通过代码来调用Python爬好的数据来进行画图,图表样式属性设置等方面还是比较繁琐的。

今天呢,小编将给大家推荐一件轻量级数据分析可视化展现的神器——FineBI(个人使用完全免费,仅对企业收费),操作简单上手快,无须任何代码,直接在浏览器端通过FineBI工具的鼠标拖拽和点击操作即可生成色彩绚丽的可视化图表效果。特别是对于企业的业务人员来说,有了这一款只需托拖拽拽的数据分析统计神器,老板再也不用盯着之前做的密密麻麻和单调的excel图表看啦!

原理介绍

黑科抚AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

在此之前简单给大家讲讲我们这次给大家分享的Python爬虫+FineBI数据展现的系统原理,如上图所示,数据层方面我们先通过Python抓取到WEB端的网页数据,之后对爬取到数据进行解析再而存储到MYSQL数据入库;最后应用层的数据处理、数据计算统计、图表可视化呈现等工作全都交由我们的FineBI工具完成。

最近因为想看看南京房价数据,但是网站上的很多数据都是以HTM5的形式进行呈现的,所以考虑通过Python来进行网页数据抓取和入库,数据分析方面通过FineBI工具直接和数据库进行无缝对接和可视化呈现,空想不如行动~说干就干。

实现步骤

1.引入相关python库包

首先新建python工程,引入本次爬取网页数据和写入MySQL数据库所需要的requests、pymysql、bs4这三个包:

黑科抚AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

2.获取网页数据

然后如下图所示,通过编写Python代码获取到某一个房产网页的南京售房平台的网页信息:

黑科抚AIeW9k+S8mueIrOiZq+eahFB5dGhvbumBh+S4iuS8mueUu+WbvueahEZpbmVCSQ=="/>

3.HTML标签解析

接着再对DIV样式下的HTML数据包进行逐一解析,获取到我想看的房源名称、地址、小区、户型、面积、总价、单价、区域等数据:

黑科技!当会爬虫的Python遇上会画图的FineBI

其中对应网页的标签样式可以通过浏览器的F12开发选项进行快速获取,如下图所示的定位房源信息截图,我们只需要右键浏览器在所需要获取标签样式名称的地方点击检查元素即可(房源名称的标签即位house-title的title元素)。

黑科技!当会爬虫的Python遇上会画图的FineBI

4.MySQL数据回写

解析好数据之后,再将解析好的数据写入到MySQL数据库中:

黑科技!当会爬虫的Python遇上会画图的FineBI

循环遍历该平台在南京最近七天的网页售房信息数据,页面17页,共计377条数据:

黑科技!当会爬虫的Python遇上会画图的FineBI

5.安装FineBI&&验证数据入库

通过FineBI官网下载并按照引导安装好软件:

黑科技!当会爬虫的Python遇上会画图的FineBI

直接通过FineBI提供的数据配置端的功能,添加SQL数据集(或者直接添加表也行),查看我和验证刚刚爬取并且入库的数据是否已经真正成功入库到MySQL中了。

如下图所示,Python果然不辱使命,我要的该平台的七天南京的房价售房数据都已经成功写入到了我的MySQL数据库中了。

黑科技!当会爬虫的Python遇上会画图的FineBI

6.FineBI可视化制作&&成果展示

通过FineBI的简单拖拽,我这边以南京各小区房价分布图为例给大家简单展示FineBI的可视化呈现过程(操作真的非常简单,小白可以通过FineBI官网的帮助文档或者视频快速入门~会用excel的,基本半个小时就能上手):

黑科技!当会爬虫的Python遇上会画图的FineBI

仅仅简单十分钟,刷刷的就将我想要看的南京售房信息(房源面积均价、套房总均价、小区房价四象限分布图、区域房价分析、房型价格分析)以可视化的形式呈现出来了。

黑科技!当会爬虫的Python遇上会画图的FineBI

最后就是本次成果展示啦,也晒出来跟大家分享下,如下所示:

黑科技!当会爬虫的Python遇上会画图的FineBI

1.目前南京房源均价为3.78万每平方米,总均价为401.38万,总体上还是比较高的。

2.建邺区房价最高,果然房价还是紧跟国家政策啊,建邺目前城区开发建设政府的扶持力度在南京都是走在前面的。鼓楼、玄武、秦淮分别排在二、三、四的位置,雨花台和江宁房价相对较低,综合市区位置来看,还是秦淮区性价比最高啊 。

3.房型方面,6室3厅的豪华大宅总均价接近一千万,比如紫檀雅居、碧水湾别墅、滨江奥城听雨苑这一类土豪小区,多集中在建邺和鼓楼区域;一室一厅的房子均价大概在150万的样子,比如托乐嘉单身公寓、经纬城市花园等小区,适合单身贵族或者情侣小夫妇居住,南京各个大区都有;比较主流的三室一厅房价在300万左右,比如乔虹苑小区、良辰美景家园、白云园,多集中在秦淮和鼓楼区域。

后记

Python完成对网页数据的抓取和解析存储之后,配合FineBI强大的数据可视化呈现能力则圆满地完成了我本次对南京售房数据的统计和分析需求,绝对是良心软件!

网页爬虫数据抓取,Python首屈一指,对于数据统计和可视化展现方面来说,操作简单便捷、拖拽式的FineBI绝对是数据分析小白的入门上佳之选,小编在此给大家强烈推荐学习。

黑科技!当会爬虫的Python遇上会画图的FineBI

最后特别是对于企业经营来说,FineBI的企业级数据管控和自助分析经营能力更加强大,由于篇幅有限,感兴趣的可以自行到FineBI产品的官网进行学习试用。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2018-06-29
黑科技!当会爬虫的Python遇上会画图的FineBI
前言大家平时在用Python爬取网页上的数据时,对爬取到到的数据做数据分析展现有很多种方式,比如可以通过echart图表接口、python提供的第三方库甚至还可

长按扫码 阅读全文