基于大数据的房价数据可视化分析预测系统
温馨提示:文末有 CSDN 平台官方提供的学长 QQ 名片 :)
1. 项目背景
房地产是促进我国经济持续增长的基础性、主导性产业,二手房市场是我国房地产市场不可或缺的组成部分。由于二手房的特殊性,目前市场上实时监测二手房市场房价涨幅的情况较少,影响二手房价的因素错综复杂,价格并非呈传统的线性变化。
本项目利用Python实现某一城市二手房相关信息的爬取,并对爬取的原始数据进行数据清洗,存储到数据库中,通过 flask 搭建后台,分析影响二手房房价的各类因素,并构建递归决策树模型,实现房价预测建模。
B站详情与代码资料下载:基于大数据的房价数据可视化分析预测系统_哔哩哔哩_bilibili
基于大数据的房价数据可视化分析预测系统
2. 二手房数据
二手房信息爬取流程为,先获取该市所有在售楼盘,以保定市为例,其中,p1 表示分页的页码,因此可以构造循环,抓取所有分页下的楼盘数据。
base_url = 'https://baoding.xxxx.com/community/p{}/'
all_xqlb_links = set()
for page in range(1, 51):
url = base_url.format(page)
# 获取 html 页码,并进行dom解析
# ...
通过分析 html 页面的 Dom 结构,利用 Bootstrap 进行解析,获取楼盘的详细字段信息。
同理,获取楼盘下所有在售房源信息:
def get_house_info(house_link):
"""获取房屋的信息"""
headers = {
'accept': '*/*',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
'cookie': 'Your cookie',
'referer': house_link,
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-origin',
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'
}
response = requests.get(house_link, headers=headers)
response.encoding = 'utf8'
soup = BeautifulSoup(response.text, 'lxml')
省略其他代码
total_price = soup.select('span.maininfo-price-num')[0]
total_price = total_price.text.strip()
house_info['总价'] = total_price
。。。。。。
tags = soup.select('div.maininfo-tags')[0].text
if '电梯' in tags:
house_info['配套电梯'] = '有'
# 所属区域
for line in soup.select('div.maininfo-community-item'):
text = line.text.strip()
if '所属区域' in text:
house_info['所在位置'] = text.split(' ')[1].split('\xa0')[0]
return house_info
3. 二手房数据清洗与存储
抓取的原始数据可能存在数据异常、缺失等情况,需要进行数据清洗和数据类型转换等预处理操作。清洗后的数据存储到 mysql 或 sqlite 等关系型数据库中。
for house_info in all_house_infos:
for key in all_keys:
if key not in house_info:
house_info[key] = '暂无'
if isinstance(house_info['单价'], float):
continue
house_info['单价'] = float(house_info['单价'][:-3].strip())
house_info['总价'] = float(house_info['总价'].strip())
省略其他代码
if '(' not in house_info['所在楼层']:
house_info['所在楼层'] = '底层({})'.format(house_info['所在楼层'])
house_info['总楼层'] = list(map(int, re.findall(r'(\d+)', house_info['所在楼层'])))[0]
house_info['所在楼层'] = house_info['所在楼层'][:2]
4. 二手房价可视化分析预测系统
系统采用 flask 搭建 web 后台,利用 pandas 等工具包实现对当前城市二手房现状、二手房价格影响因素等进行统计分析,并利用 bootstrap + echarts 进行前端渲染可视化。系统通过构建机器学习模型(决策树、随机森林、神经网络等模型),对二手房价格进行预测。
4.1 系统首页/注册登录
4.2 小区楼盘名称关键词抽取与词云展示
4.3 二手房房屋类型与产权年限分布
4.4 不同区域在售二手房房源数量与均价对比
4.5 房价影响因素分析
房价影响因素包括:建造年代、建筑面积、房屋户型、朝向、房屋类型、楼层、装修程度、配套电梯、房本年限、产权性质、唯一住房、所在区域、周边设施等等诸多因素。我们对每类因素的影响情况分别进行可视化展示:
4.6 基于机器学习模型的二手房价格预测
通过一些列的特征工程、数据标准化、训练集验证集构造、决策树模型构建等操作,完成决策树模型的交叉验证训练和模型评估:
print('---> cv train to choose best_num_boost_round')
dtrain = xgb.DMatrix(train_X, label=train_Y, feature_names=df_columns)
xgb_params = {
'learning_rate': 0.005,
'n_estimators': 4000,
'max_depth': 3,
'min_child_weight': 1.5,
'eval_metric': 'rmse',
'objective': 'reg:linear',
'nthread': -1,
'silent': 1,
'booster': 'gbtree'
}
cv_result = xgb.cv(dict(xgb_params),
dtrain,
num_boost_round=4000,
early_stopping_rounds=100,
verbose_eval=400,
show_stdv=False,
)
best_num_boost_rounds = len(cv_result)
mean_train_logloss = cv_result.loc[best_num_boost_rounds-11 : best_num_boost_rounds-1, 'train-rmse-mean'].mean()
mean_test_logloss = cv_result.loc[best_num_boost_rounds-11 : best_num_boost_rounds-1, 'test-rmse-mean'].mean()
print('best_num_boost_rounds = {}'.format(best_num_boost_rounds))
print('mean_train_rmse = {:.7f} , mean_valid_rmse = {:.7f}\n'.format(mean_train_logloss, mean_test_logloss))
模型训练结果:
---> cv train to choose best_num_boost_round
[0] train-rmse:4.10205 test-rmse:4.10205
[400] train-rmse:0.59919 test-rmse:0.605451
[800] train-rmse:0.20857 test-rmse:0.230669
[1200] train-rmse:0.185981 test-rmse:0.21354
[1600] train-rmse:0.181188 test-rmse:0.211841
[2000] train-rmse:0.177933 test-rmse:0.211291
[2400] train-rmse:0.174346 test-rmse:0.210886
best_num_boost_rounds = 2512
mean_train_rmse = 0.1733781 , mean_valid_rmse = 0.2108875
测试集预测结果与真实值分布情况:
print('决策树模型在验证集上的均方误差 RMSE 为:', rmse(valid_Y, predict_valid))
>> 决策树模型在验证集上的均方误差 RMSE 为: 0.19991482173207226
二手房价格预测模型交互式页面:
5. 总结
本项目利用Python实现某城市二手房相关信息的爬取,并对爬取的原始数据进行数据清洗,存储到数据库中,通过 flask 搭建后台,分析影响二手房房价的各类因素,并构建递归决策树模型,实现房价预测建模。
欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。
精彩专栏推荐订阅:
1. Python 毕设精品实战案例
2. 自然语言处理 NLP 精品实战案例
3. 计算机视觉 CV 精品实战案例
征途黯然.:
This 基于深度学习的面部关键点识别系统 article is very inspiring, and I've learned a lot of new things.
Python极客之家: 两个算法没看到吗,而且聚类算法怎么不可以,相当于看看过去几年某个月份的一个情况
fff%%0z321458: 天气预测怎么可能用聚类算法?
你的啊阿豪: 免费的吗
程序边界: 非常不错的技术领域文章分享,解决了我在实践中的大问题!博主很有耐心,更有对知识的热忱和热爱,写了这么实用有效的分享,值得收藏点赞。