SACC2013大数据社会对证券公司的挑战与机遇•资深项目经理毛义彬SACC2013主要内容一、迎接大数据社会二、大数据的特性三、大数据社会：Ready？四、大数据的支撑五、大数据的应用SACC2013一、迎接大数据社会中国古典计数体系：1、《孙子算经》中记载：“凡大数之法，万万曰亿，万万亿曰兆，万万兆曰京，万万京曰垓（gāi），万万垓曰秭（zǐ），万万秭曰穰，万万穰曰沟，万万沟曰涧，万万涧曰正，万万正曰载。”2、由小到大依次为一、十、百、千、万、亿、兆、京、垓、秭、穰、沟、涧、正、载、极、……；3、万以下是十进制，万以后则为万进制，即万万为亿，万亿为兆、万兆为京、万京为垓，……；SACC2013一、迎接大数据社会1、2008年新产生数字信息的比特数：3,892,179,868,480,350,000,000用中文表示为38垓9217京9868兆4803亿5千万约等于39垓（音gāi）也可计作38.9217986848035万亿亿，约等于39万亿亿。2、SACC2013一、迎接大数据社会3、Sysomos表示，在史蒂夫·乔布斯(SteveJobs)辞世之后的13个小时内，Twitter用户发布的与乔布斯相关的信息多达250万条。4、亚洲社交媒体的传播特性：分享——导致更多的信息传播SACC2013二、大数据的特性IDC表示，首先必须成本低廉特征，其次是满足多样性（variety）、容量（volume）和速度（velocity）这三个标准中的两个。1、Variety2、Volume3、VelocitySACC2013二、大数据的特性1、互联网与Wiki2、WikIT：指互联网技术的应用发展到今天，人们通过这个开放的环境进行协作，通过娱乐、交流和交易，形成的一种新型的关系，这样一种新型关系所潜在的巨大的社会价值我们所忽略，而去挖掘这样里的金矿，就是维基-IT(WikIT)的内涵。——进入的是维基-IT时代。WikIT-er3、例证：web1.0招聘与facebook应用从解决商业信息的不对称性到协同合作共赢模式4、3Q大战——自觉与不知觉的开放二、大数据的特性SACC20131、改变了IT的生态环境Appstore：全民参与；prosumer2、激活终端客户和partner共赢，倒逼商业模式的变更云计算；3、开放、有序产生价值SACC2013三、大数据社会：Ready？什么是数据中心：数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合。1、从应用层面看，包括业务系统、基于数据仓库的分析系统；2、从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成/整合流程；3、从基础设施层面看，包括服务器、网络、存储和整体IT运行维护服务。数据中心逻辑图(MPP架构）SACC2013交易交易数据服务平台数据数据DD清算A清算A元数据管理和质量管理呼叫数据数据中心TTAA营销S营销S营销数据数据平台TTEAAODSTEDW财务G财务GL财务数据E数据E系统其它E其它E门户数据T数据T商业智能工具网站LL非结规整其它构化数据系统数据管理平台并行数据流引擎SACC2013MPP核心技术MapReduce代码（Python、Perl等）ODBCQueryPlanner交易管理器JDBC并行数据流引擎及优化器(SQL)及日志文件etc•利用原生MapReduce模型实现，比传统快数十倍外部存储数据库存储•全部SQL逻辑都可以并行执行•并行技术加载和导出数据•并行数据备份和恢复MasterandSegmentNodeSACC2013MasterNode•建立与客户端的连接和管理•SQL的解析并形成执行计划MasterMaster•执行计划向Segment的分发•收集Segment的执行结果•Master不存储应用业务数SegmentSegmentSegment…Segment据，只存储数据字典SegmentNode•业务数据的存储和存取•用户查询SQL的执行四、大数据的支撑SACC2013四、大数据的支撑SACC2013三、建设过程：开发过程SACC2013SACC2013四、大数据应用探索SACC20131、公众舆论与对冲基金2、数据中心及数据挖掘的应用构建细分模型的一般过程SACC2013Cross-IndustryStandardProce