爬取链家二手房房价数据存入mongodb并举行分析

感谢您的关注！须要完备源码品评区获取~【实行目的】1. 利用 python 将爬虫数据存入 mongodb； 2. 利用 python 读取 mongodb 数据并举行可视化分析。【实行原理】       MongoDB 是文档数据库，接纳 BSON 的结构来存储数据。在文档中可嵌套其他文档 范例，使得 MongoDB 具有很强的数据形貌本事。本节案例利用的数据为链家的租房信 息，源数据来自于链家网站，以是起主要获取网页数据并分析出本案例所须要的房源信 息，然后将分析后的数据存储到 MongoDB 中，末了基于这些数据举行都会租房信息的 查询和聚合分析等。【实行环境】        OS：Ubuntu16.04         Python3         MongoDB：v3.6 【实行步调】        一：利用 python 将爬虫数据存入 mongodb         分析租房信息起主要获取原始的房源数据，本例利用 python 爬虫技能获取链家网页 的新居楼盘信息。如图所示，对房源信息举行分析须要获取房源地点地区、小区名、房 型、面积、具体位置、代价等信息。        

分析数据：

实行loupanAnaly.py文件：

mongo shell终端 数据分析：

（1）求每个地区的均匀房价和最高房价：

（2）查找全部住宅地区的均匀房价：

（3）查察某个特定地区的全部房价信息

（4）查找某个地区的最大房价：

（5）按地区统计房源数量

（6）找出最贵的房源信息

（7）地区房价的分布（代价区间统计）

（8）按楼盘开辟商统计房源均价

（9）统计每个地区的房价标准差