Python爬虫
可选择的IDE和编辑器
- IDE：PyCharm、Spyder、Visual Studio等
- 编辑器：Vim、Sublime Text、Atom等
Python3 是大势所趋， python2 正在逐步淘汰 毋庸置疑，我们选择python3
为什么要做网络爬虫？
首先请问：都说现在是"大数据时代"，那数据从何而来？
企业产生的数据：百度搜索指数、腾讯公司业绩数据、阿里巴巴集团财务及运营数据、新浪微博微指数 等...
大型互联网公司拥有海量用户，有天然的数据积累优势，还有一些有数据意识的中小型企业，也开始积累自己的数据。
数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所 等...
在各个数据交易平台上购买各行各业各种类型的数据，根据数据信息、获取难易程度的不同，价格也会有所不同。 数据堂、国云数据市场、贵阳大数据交易所
政府/机构公开的数据：中华人民共和国国家统计局数据、中国人民银行调查统计、世界银行公开数据、联合国数据、纳斯达克、新浪财经美股实时行情 等...
通常都是各地征服统计上报，或者是行业内专业的网站、机构等提供。
数据管理咨询公司：麦肯锡、埃森哲、尼尔森、中国互联网络信息中心、艾瑞咨询 等...
通常这样的公司有很庞大的数据团队，一般通过市场调研、问卷调查、固定的样本检测、与各行各业的其他公司合作、专家对话来获取数据，并根据客户需求制定商业解决方案。
爬取网络数据：
如果数据市场上没有需要的数据，或者价格太高不愿意购买，那么可以利用爬虫技术，抓取网站上的数据。
网络爬虫是什么？
爬虫的更多用途
- 12306抢票
- 网站上的投票
- 短信轰炸