新手向网络爬虫在搭建化工数据库中的应用（上）

原创 SDFutures 盛达期货

作者：黄骏

从业资格号：F3055288

产品诞生很大一部分原因来自需求。因为工作关系，我平时需要关注化工板块的不少品种，而化工品期货有个很大的特点就是几乎国内独有。所以不像原油或贵贱金属研究员一样直接用彭博路透便能自动更新数据库。有人可能会说万得终端，但是万得数据非他们自己采集，也是来源各大资讯网站，化工综合网站常用的有卓创、隆众、金联创、华瑞、中宇等，而万得数据并非跟所有资讯网站都有合作，目前看下来仅隆众和金联创有部分，所以在某些时候一旦终止合作，数据来源是个大问题，曾经我在校对数据的时候发现过，万得在某几项中悄悄更换过数据源，并且跟某家资讯网的价格有时间位移，更别说很多数据是没有的。所以对于追求精度的投资者来讲，这可能会造成一些困扰。并且有些投资者需要写日报，那么万得更新也有时滞。

所以，肯定存在像我一样的研究员，数据都是自己手动更新，而假如5个品种上下游产业链都加起来，可能更新数据就占据了大部分时间，那么这部分体力劳动挤占了研究员一块本应该用来深度思考的时间。如果能每天能自动摘录更新，这对提升行业整体效率有很大帮助。我在2014年刚入行的时候曾经提出过网络爬虫用于数据摘录，但由于精力财力能力有限，一直耽搁着。后来自己写过这方面一些思考的文章，最终也只是停留在构想中。这两年友司某期货公司实现了这一功能，听说开发出功能强大的数据系统。最近友司的研究员们发朋友圈说图片突破1万张，给他们点赞。

构建大数据系统的好处。假如数据标准化，最底层的数据结构保持一致，或形成一套行业规范，对行业整体工作效率是一大提升，并且数据交换合作共用方面更加顺畅。再者，分析能更加细化，之前因为时间和数据源问题，很多数据就错过了，但是大数据系统能弥补人工带来的限制，尽量存储并调用到自己想要的数据。再加上现在开始流行“基本面量化”，一套相对规范的大数据系统事半功倍。

所以在去年春节（有点久了，最近也是写不出文章把塞下箱底的存货拿出来晒晒），正好也有个开发数据库的同学有空，一起尝试做了一个DEMO实例，并且运行成功。写这篇文章也是抛砖引玉，给有一定实力的个人和公司提供一点儿思路。

本文尽量用通俗易懂的语言表达，上篇阐述一些概念和前因后果，下篇讲具体的实例应用与代码（主要因为可以当两篇文章来完成例行报告，手动狗头）。网络爬虫定义非常宽泛，简单来讲，就是用把自己的想法写成计算机程序代码，自动抓取网络数据的程序。每天鼠标只需轻轻一点，程序便自动将网页上的数据摘下来，保存成数据库或其他形式，最后根据自己的排版使用甚至可视化呈现。说简单其实也简单，基本上计算机大类的大三学生便能做出初级的全套，说难也难，需要具备的技能较多做精不容易，如果还要加入期货研究的分析思路构造，那么要求还会更高。举个爬虫的应用例子，比如EIA报告、USDA报告、非农报告等，在数据出来一瞬间，爬虫自动化抓取关键数据并且通过事先设定好的一系列程序，能自动、迅速对账户进行风险管理。这也是为何关键数据出来时市场瞬间剧烈波动的原因之一。

工具的选择上，目前大部分研究员对数据的处理还是停留在EXCEL阶段，用的最多的就是VLOOKUP函数和数据透视表，中高级的用一些复杂条件判断语句甚至VBA。用EXCEL的好处就是非常方便最容易上手，处理一般工作绰绰有余，用得好的比如投行报告那种也是赏心悦目看上去高大上。不过在本文中，因为实力有限，最后的呈现模式仍然用EXCEL，但是编写爬虫程序用的是当下比较火的语言python，存储数据形式用mySQL。

这里又要插入几个概念。Python作为一门编程语言这几年发展速度非常快，我毕业之前大学课程主要还是以C、C++、JAVA为主，没有提到python，而世界编程语言排行榜python已经挤下C++排名第三。因为它语法简洁优美, 功能强大，标准库和第三方库非常丰富（“库”可以理解为实现了小功能小模块的代码）, 应用领域在数据科学、机器学习和学术研究中非常广泛。Python是语言，我们写代码需要借助软件平台帮我们去翻译（集成编辑器、编译器、调试器、图形界面、各种工具包库等），这里我选择的是anaconda版本号4.4，与我同学版本保持一致。

SQL即结构化查询语言，一种用来操作数据库的语言，即用于将摘下来的数据储存，并对其进行增加、删除、修改、查找。而MySQL就是一种基于SQL语言的数据库管理系统，因为其开放源代码软件，免费，降低了成本（其他数据库管理系统动辄上百万），对于一般用户和中小型企业来说，功能绰绰有余。

主要就是使用这两种工具来实现网络爬虫。一般全功能版采用MVC编程模式，简单理解，M（模型）就是后台数据库，V（视图）就是直观界面呈现的前端，C（控制器）就是连接前后两端的操作程序。目前我们只实现了中后台部分即MC部分，就是将网站数据摘下来储存到数据库中，前端的如何可视化界面能力有限无法完成，最后的呈现只能以文本或EXCEL格式导出，最后仍然需要通过EXCEL做图实现。其实像卓创红桃3、金联创商务决策系统，甚至是路透、彭博、万得等终端都是采用这种模式，区别在于卓创和金联创的数据源是自己采集，而后三者的数据源主要购买这些资讯公司数据。

假如一家小公司来实现这些基本功能的系统供小范围使用，需要耗费多少金钱和时间呢？所有核心是人才，一个负责数据爬虫和数据维护，须具备python、javaweb、数据库等技能（软件工程专业只要四年认真学这几门课都是必修）；一个负责前端展示，不仅需要计算机基础，可能需要了解期货证券相关（比如画K线图画技术指标，需要理解这些指标的意思，不过在GITHUB、CSDN等网站上有开发者提供已经做好的库）；一个负责服务器端操作与维护。应届生暂时还难以直接上手，至少需要两到三年开发经验，按照目前市场上价格，每个人的年薪20-30万。硬件投入上，暂时只需要稍好点的服务器，开支不算大。而主要的数据源就是无底洞了，不过这部分本身就已经含在研究院的成本之中，不算是新增成本。这样一年的成本估摸上百万。从接触到熟练应用，快的话三个月到半年。当然，如果招的研究员自带python技能，可以省心不少，但要求太高，大部分来讲学一门编程语言还不如天天手动输入。

最大的风险在于，前文我都用“摘数据”而没用“爬数据”这个词语，涉及到是否会与资讯网站引起不必要的纠纷，假如数据自用，一般资讯网站也就默许，假如做成类似红桃3的系统用作商用，资讯网站可能不允许。那么简单的做法就是直接屏蔽访问量大的IP，但因为程序可能一天执行一次，完全模拟手工访问的轨迹，那即使采用“白名单”制度也没辙，除非拒绝合作。或者增加抓取难度，比如采用金联创的图片形式或者华瑞不显示明文以调用数据库形式取数。假如能以30万的总价谈下与各家资讯网站数据直供，那就省去了爬虫这一步。

上篇就介绍到这儿，下篇将展示并讲解实例。

继续滑动看下一个

新手向网络爬虫 在搭建化工数据库中的应用（上）

新手向网络爬虫在搭建化工数据库中的应用（上）