【Python毕业设计大作业】基于scrapy的二手房数据爬取系统（源码+数据库+论文+PPT）

爬虫等程序都是鉴于被爬网站的机制设计，网站机制修改可能导致爬虫无法爬取数据。

本商品2020年04月已聘请专业Python爬虫工程师进行一次修复。赠送录制的搭建视频。

项目较为繁琐复杂，无docker或python的Django、scrapy经验慎拍。

论文概述：

1 绪论

1.1 研究背景、概况及意义

自21世纪以来，互联网已真正进入千家万户，特别是随着时代的发展和网络技术的变化，快速便捷的网络随处可见，世界真正成为一个地球村。如今的各行各业都受到互联网的影响。席卷全球的“互联网+”迫使几乎所有传统行业都找到了自己的新增长点。例如，传统媒体行业正在经历新媒体的激烈冲击。微博和微信公众账号等媒体充斥着人们的日常生活，而报纸和其他媒体则失去了往日的魅力。 4G技术的快速发展为人们提供了随时随地网上体验。同时在第三届世界互联网大会上，高通公司带来的5G技术原型非常吸引人，5G和我们之间的距离正在逐步接近了。即使在传统医疗行业，手持式医疗应用也在不断挑战该行业的运营法则。

随着Internet的发展，网络数据在数据量和数据复杂性方面呈指数级增长。根据世界知名咨询公司IDC发布的研究报告，预计到2020年全球数据总量将达到35ZB。[9] 2017年中国存储产业联盟会议召开全球IP网络流量报告指出，在2015-2020期间数据每年增加44％，预计2020可能到达5ZB。[11]在当前网络环境中，大量涌现了各种数据类型，其中有结构化数据，半结构化数据和非结构化数据，而非结构化数据已超过一半。随着传感器，万物互联网和其他技术的发展，非结构化数据的比例将进一步增加。数据规模巨大，数据类型复杂，数据在人们的日常生活中起着非常重要的作用。在互联网时代，如何从这些动态生成的数据中快速准确地找到所需数据，以及如何筛选，清理和利用它们，似乎已成为互联网时代的必修课程。在各种数据应用场景中，房屋购买和租赁是一个非常重要的方面。

我国房屋购买人口基数大，现代青年拥有房产的社会压力很大，面对于价格不断攀升的新房价格大多数人成为了最xin的一代房奴，此时二手房也许成了很多人青睐的对象。二手房其实是一手房市场的补充，是房地产市场的重要组成部分。随着城镇化住房制度的不断改革和深化，国家对新建商品房的宏观调控以及存量房数量的不断增加，二手房市场逐渐兴起并迅速发展，加上其搭上互联网高速发展的快车，我国二手房交易规模逐年扩大，热点城市交易量远超新房，使其具有以下三个特点：

第1，虚拟性。互联网上的一个重要的特点就是虚拟性，它可以打破地域之间的限制，人们可以在不同的城市之间选择不同类型的房屋。当然有时正是由于它的虚拟性会给二手房市场环境带来一定的挑战。经笔者观察，很多房源发布者要求客户提供诸如支付宝信用积分的证明，防止虚假用户。

第二，广泛性，现在互联网上有好多的售房租房平台，比如链家网、58同城、安居客、搜房网房天下等等，它们能够收集到大量的房源信息，并能根据房源的情况，有针对性的对房源进行分类整理，使用户可以根据自己的想法搜索房源信息，从中选出契合自己需求的房源，极大的节省了租客的时间。

第三，即时性，房源发布者通过房产网站可以随时的发布和更新自己的房源信息，而用户也可以随时随地的访问网站来查询需要的房源信息。

贝壳研究院发布了《2018全国购房者调查报告》（后面简称为《报告》），通过对购房者的购房诉求、购房目的、购房手段等多维度研究，在剔除乡村、县城、四线城市下的调查样本后，无论是一线城市还是二三线城市，二手房购买成为了一些人的最hao选择，其中80后居多，北上广深的二手房用户超过了30%，省会以及二三线城市的用户比例明显增加4%[13]（由于是通过网上调研，以问卷的方式获得反馈结果，考虑到参与调查的被调查者的人数因素，结果会存在一定的偏差）。《报告》显示，受购房成本制约，一线城市的购房者者住的最为拥挤，购买面积较小，在考虑价格差价和性价比之间的平衡，一些人选择了购买二手房。但是网络中提供二手房房源信息的网站很多，用户在海量的数据和众多的选择面前，不知道怎样选择二手房才能做到省钱、省时、省事，购买到自己心满意足的房屋。

笔者认为，一个具有实际应用价值的数据爬取系统才是一个好系统，所以结合以上背景，本次将使用Python语言，实现scrapy架构下二手房数据的爬取与数据分析，该系统应该能帮助到实际中需要二手房购买的用户，具有实际应用的价值。

1.2 国内外研究现状

1.2.1 爬虫技术概述

爬虫是指一段自动的向互联网上某些网页发出请求并接收响应，根据一定规则继续爬取链接或从响应中提取出有价值的信息的一段程序，即爬虫是一段完成特定功能的程序。从原理上讲，任何具有网络通信功能的高级程序设计语言均可设计实现爬虫程序。爬虫与浏览器访问网页，究其原理，都是通过网络协议去请求互联网中的某个特定数据（不一定特指网页数据，音频、图片等数据也是爬取的对象）。不同点在于，其一，爬虫一般只需要运行编写好的爬虫程序即可完成网页请求；其二，浏览器一般运行在客户端，这与爬虫不同。

自上世纪90年代起，爬虫技术就得到了不少计算机工作者的重视，随着技术的发展，爬虫技术已经逐步趋于成熟，并在很多领域发挥巨大作用，尤其是在搜索引擎领域。爬虫为搜索引擎从互联网上下载网页，是搜索引擎技术中十分重要的组成部分[7]。

一个传统的爬虫往往是从一批URL开始的，爬虫先请求这批URL的网页内容，得到正确的应答后，对页面内容进行解析，然后根据预先设计好的规则从网页中找到某些URL加入到请求队列中，或者从网页中定位到所需要的信息，并将信息进行封装保存。循环往复，不断从请求队列中提取URL进行请求，直至请求队列为空或某些其他情况导致爬虫程序终止为止。

python语言在爬虫设计与实现中具有独特的优势。首先，python有scrapy等一些其他的成熟爬虫框架，其中已经考虑到了cookie，并行爬取等众多令人头疼的问题，让程序员大可不必“造轮子”，而是直接可以站在巨人的肩膀上。其次，即便不使用框架，python依然提供了众多成熟的第三方库如request、Beautiful解析库等等，其中也集成了部分反爬取的高级功能，开发起来又快又好。虽然以上功能很多语言都可以完成，但均没有使用python来的简洁舒适，正如python的设计标语“Life is short,you need python”。最hou，python对爬取到的数据进行处理十分方便。总之，各种优点造就了现在python在爬虫编写领域的地位，其已经是现在编写爬虫使用最广泛的语言。

1.2.2 爬虫设计者面临的问题与反爬虫技术现状

在互联网时代，爬虫是一个较为普及的技术，很多人做项目、做调查，都离不开大量数据的支撑，编写爬虫似乎成了大家一致的选择。准入门槛低、网上现成的代码使得网络上爬虫横行。[8]然而，爬虫又面临着很多问题，比如爬虫是自动化的访问大量网页，访问速度快，频率高，占用了服务器大量的带宽，如若短时间访问量过于巨大，轻则造成对方服务器反映缓慢，影响到正常用户的访问，重则给予对方服务器类似于Dos攻击的效果，造成宕机。依据某知名企业在网络上举办的技术分享视频上的介绍，其某个页面一分钟的浏览量为1.2万，真实用户仅有500人左右，爬虫流量占比峰值曾达到了98%。其次，网络爬虫还面临着一定的法律风险。现如今，知识产权观念深入人心，网站上的内容作为其公司经济利益与知识产权的载体，理应收到一定的保护[9]。相关法律法规出台的滞后性、适用法律的模糊性以及技术手段的多样性都造成了如今使用爬虫可能面临一定的风险。某些网站本身商业利益来源就是其数据，这类网站会想方设法对爬虫行为进行限制。

反爬虫[1;2]，顾名思义，是与爬虫技术相对抗的一种技术，具体又指一系列限制网络爬虫行为的技术集合。一般网站从多个方面进行反爬虫：

附运行截图：

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

—————本店顾客优惠——————

本店特价腾讯云阿里云大品牌服务器：

300/半年，500/年。赠送服务器环境搭建服务。

请勿拿小品牌服务商比价。

【半价服务器、解析接口、影视APP开发、无人货架小程序、毕设   联系店长QQ756325647】

【抖音、微博等点赞，评论，转发，关注，大学生网课代看、创业咨询、店长QQ756325647】

店长推荐：TV端原生影视APP

推荐理由：Google推荐的安卓原生电视APP框架，安卓4.0+，2亿台设备，

0.6亿台年出货量，千亿市场蓝海，多年开发经验。

【Python毕业设计】基于scrapy爬虫的二手房数据爬取系统设计实现（源码+数据库+论文等

本店声明：

1、部分源码理论无bug，不保证终身可用。从来没有源码程序不需要维护，运维成本远高于开发成本。仿站源码不保证一模一样，部分影视等源码的接口服务不包含在源码商品范围内。服务器环境配置安装也不包括在源码商品内。

2.1   源码商品难免存在bug，只是开发过程中未发现。并不保证售卖过程中不会由于各方因素产生新的bug。本店源码产品存在倒卖，一分钱一分货。本店所有商品定价均符合源码价值。比价者不要打扰了，外面泛滥的有没有售后有没有后门不敢保证。贪小便宜吃大亏。

2.2  关于毕设 

毕业设计购买咨询请联系咨询客服顾惘：1092443301

店内【思源毕业设计】可免费提供安装和搭建服务或指导

jsp，asp，Python毕业设计。计算机毕业设计、自动化毕业设计、电子专业毕业设计定制开发联系    思源毕设客服顾惘：1092443301

验证务必填写（否则无法通过）：互站思源毕设

本店毕业设计大作业类商品，自行配置编译器和环境变量，自行安装sql和IDE等。部分项目源码带论文，开题报告，视频教程。由于本地环境配置较为繁琐，仅有简单指导，不包含论文查重降重代写，本地环境配置等相关服务。毕业设计大作业源码二开修改，如需该服务请咨询店长。毕业设计大作业相关商品如拍下前未联系店长，不提供免费的环境配置服务。所有毕设均提供可免费提供源码安装服务（源码安装不包含ide配置，mysql安装等环境配置服务）。毕业设计商品的价格和毕业设计的代码量、UI、模块数量以及该毕业设计流传程度有关。价格较高的源码流传较少，质量好的毕设价格略高，论文仅供参考使用，本科查重无法通过。源码基本都是可用正常运行的，可自行修改添加功能完成毕设。由于每个高校对毕设要求不同，请确定好需要哪个毕设再下单，不保证每所高校都能成功选题开题，可酌情修改，售出不退。（含有买1送n字样的毕业设计商品，送n 为 赠送java开发全套相关软件安装包+相关软件安装配置视频。本店思源毕业设计的商品全部包安装配置等服务。）

jsp，asp，Python等毕业设计。计算机毕业设计、自动化毕业设计、电子专业毕业设计定制开发联系    思源毕设客服QQ：1092443301

验证务必填写（否则无法通过）：互站思源毕设

3、本店上架源码前均会进行测试，按照环境安装不存在无法运行的可能。若上架后出现bug，属于运维范围。不属于源码重大质量问题。本店酌情免费提供维护或付费维护服务。

4、威胁，恐吓，辱骂本店或利用源码从事违法犯罪行为 ，本店有权保留证据以备移交有关部门并停止任何相关技术服务。

5、数据迁移，服务器环境搭建，美工设计，二次开发等均属于额外付费服务范畴，本店有权按需定价。店内所有售价低于1000元源码均没有免费安装服务赠送，不同源码安装价格不一样。需提前咨询店长，源码都会附带教程。

源码商品价格只包含对应功能的源码，如需页面或功能调整属于二次开发，本店无义务免费修改。

6、如需开发定制，请提供详细需求文档，确定项目交付周期。开发过程中可能存在各种开发风险（包括不可抗力因素）该风险本店不承担，确定好需求文档和交付时间本店会尽自己义务尽快交付如遇特殊情况会沟通协商解决。开发过程中如遇到特殊问题，本店有权通知买方项目开发资金调整金额，由买方决定是否继续开发。如不继续开发，将交付到该阶段开发出来的源码，因此导致项目不能正常交付风险由买家承担。

7、凡在本店下单的顾客，即视为已知晓以上细则。并同意本店声明。无须一一通知买家或在所有源码商品备注。谢谢合作。