时间:2023-02-14 11:09:54
导言:作为写作爱好者,不可错过为您精心挑选的10篇企业大数据解决方案,它们将为您的写作提供全新的视角,我们衷心期待您的阅读,并希望这些内容能为您提供灵感和参考。
1 前言
在全球已经全面进入信息时代的今天,数据已经成为与水、石油、天然气同等重要的国家战略资源。IDC报告指出,截止2011年底,全球的数据量已达到了1.8万亿GB,未来十年还将增长50倍,迅速积累的海量数据蕴含着重大的商业价值和社会价值。作为云计算领域的重要延伸,大数据在行业内的热度在不断升温。2012年我国大数据市场规模为4.5亿元,同比增长40.6%。IDC预计,全球大数据2016年将达238亿美元,中国市场规模未来5年将增长近7倍。
大数据技术最近几年在迅速发展,国内外的厂商和组织已经推出了多种大数据解决方案。在金融领域,已经利用大数据技术解决诈骗检验、IT风险管理和自助服务等问题,未来大数据技术将会起到越来越重要的作用。目前国内外很多金融机构如摩根大通、花旗银行,以及风电、太阳能发电、石化企业等制造业企业也开始采用大数据的解决方案进行设备监控、优化和故障预防[1]。
由于国内外针对商业机构系统频频发生的安全事件,国内各行业的信息化目前正在向基于国产软硬件和自主可控方向发展,大数据也是目前国内各行业重点关注的技术。很多厂商和企业纷纷进行技术研究、方案准备和内部测试,并逐步开始在历史数据查询、分析,非结构化数据检索等方向上开始使用[2]。从最近几年的趋势来看,安全、自主可控的大数据解决方案在大数据的行业领域有非常大的市场需求。
国内的很多关键行业应用,如金融信息系统的许多关键设备都没有采用国产产品,导致无法准确判断其安全隐患,这使得我国信息化建设的安全底数不清。迫切需要国内IT企业和行业共同研发自主可控、自主知识产权的信息系统、信息环境和信息安全产品。针对这种状况国家银监会提出了“自主可控,持续发展,科技创新”的三大战略[3],国产的信息化产品,在金融领域的应用已经开始了破冰之旅,事实也已经开始证明,自主可控的软硬件产品,在关键行业领域的应用是可行的,但是缺乏完整的经过验证的整体解决方案和实际案例,无法复制和推广。
本文基于国产软硬件产品进行自主可控的大数据体系架构研究要打破国外技术依赖,掌握技术命脉。针对现有行业关键系统多数是直接引用国外成熟技术,关键、复杂、核心的应用系统大多是建立在非自主产品上,形成了对国外的技术严重依赖的现状,本文的研究将可以在大数据领域打破国外技术的垄断,形成有竞争力的国产解决方案。
2 主要研究内容
本文主要研究面向行业应用、基于自主可控基础软硬件产品的大数据体系架构,研究内容主要包括:
2.1 行业大数据应用的需求分析
2.1.1 面向多源异构业务数据的采集和管理需求
在客户信息为例,行业内的集团企业经常会面临急需解决的数据集成问题,企业存在大分散的客户信息资源,并由各系统自主采集和维护,没有良好的共享体系,客户信息、订单信息等异构的存在不同数据源中,没有横跨多个业务领域的客户信息的统一管理和分发体系。因此,要求统一建设行业信息大数据管理系统,是一套为所有在线业务服务的、整合的行业信息大数据管理与分析系统,并具有行业先进水平的大数据管理和分析能力,以满足企业形成市场竞争优势的要求。
2.1.2 针对海量异构大数据的高性能存储需求
通过调研发现很多大型企业的信息系统已经积累了大量的业务数据,而且随着业务拓展的需求,大数据分析的数据源已经不仅局限于企业内部,如对客户流失分析或者产品销售趋势预测,就还需要互联网社交网络或者电商消费信息等。这些多源、异构、海量的数据对于大数据平台的存储提出了极高的要求。以某大型企业集团的客户和生产经营信息为例,数据规模已经达到上百TB容量,且相关数据量,特别是生产线的传感器数据和用户行为等数据还在持续大幅增长。
2.1.3 多样性大数据分析和处理需求
大数据分析系统不但集成了多个系统的数据源,未来大数据分析应用系统也会被多个部门,多个业务中使用,而且不同的部门和不同业务对大数据分析处理 的响应时间、数据量、结果准确程度以及具体的分析算法都会有很大差异。因此需要完整的对这些分析和处理需求进行分析,以便于设计满足当前和潜在需求的大数据分析处理架构。
2.1.4 行业大数据的安全监控和隐私保护需求
面向行业和企业的大数据平台都将集成来自于不同数据源的数据,其中有很多数据会涉及商业秘密和个人隐私等安全问题,所以这些数据在大数据平台中应该被合理的授权使用,并有完善的安全监控和隐私保护措施,以避免引起数据泄密或者隐私纠纷。
2.1.5 行业大数据平台的业务应用和可视化展现的需求
华为企业云战略规划部部长高明在分论坛上发表了“打造开放的云端大数据产业生态”的主题演讲。
中国整个大数据产业,仍然处在发展初期阶段。高明提到:“我们的数据积累还不够,具有数据思维的人才方面积累也是不够的,应用案例偏少,需要完善产业生态。可喜的是今天积累数据和以前积累数据的方式相比容易了,因为今天互联网的发展,数据的积累会更加容易一些。”
据了解,在目前中国,应用大数据最多的是互联网公司,进行广告营销;其次就是政府,现在政府数据确实比较多,包括在智慧城市,公安刑侦、舆情检测这几个领域应用比较多;再一个就是金融行业,在互联网带动下,金融行业在拥抱大数据方面非常积极。很多客户都在探索构建自己的大数据平台。“简单地说中国的大数据主要集中在三个领域,政府、互联网、公共事业,还有一小部分在其他领域。我们再看一下大数据应用需要的能力,实际上大数据是很专业、很复杂的工作,涉及到数据的采集,数据的处理、咨询和应用等等,首先要从各个领域搜集到相关的数据,这个数据量非常大;其次要用很快的速度把它分析出来,应用到各种各样的统计学模型,基于这个模型对业务进行预测。”高明总结说。
大数据的落地需要云的支撑,没有云服务的技术很难落地大数据。今天人们谈到大数据的时候,一定是全量的海量数据,能够实时分析和预测,其实云计算服务是非常匹配大数据IT需求的。从另一个方面来看,云计算本身有开放平台特性,有利于大数据的数据、共享、安全交易等等,完全可以作为承载体,来构建开放的大数据生态,促进大数据产业的应用落地。
据高明介绍,华为企业云专注于打造云基础设施服务,发挥华为在技术方面的优势,基于软硬件平台方面的优势,去构建云平台,为大数据产业落地提供技术和商业平台。华为一直聚焦在技术的层面,是永不进行数据变现的,这是华为公司高层一直强调的观念,华为的盈利不是通过客户的数据变现去完成。
华为在全球布局了六大数据研究中心,持续投入大数据核心技术的研究。跟很多做公有云的服务商不太一样,华为的企业云布局是三层架构,除了在北上广深这些大城市构建了一级节点,还在自然条件比较好,成本比较低的地方,构建了一级节点成本中心,另外在每个省都构建二级节点,这主要是为了满足当地IT的需求,以及当地的云计算和大数据产业的需求。
此外,华为还做了开放的大数据联盟,聚合国内80%以上的大数据生态伙伴,了大数据企业年度排行榜等等相关的成果,也被很多企业广泛的引用,开放联盟里的成员从事以下几大领域:数据价值咨询、大数据源、数据整合、数据可视化以及商业应用。
大数据助推智能制造
美林数据技术有限公司是国内首个军工制造业大数据落地提供商。美林数据营销总监张鹏飞认为,实现工业大数据落地是一件非常困难的事情,工业大数据若想做好,应从以下三方面考虑。
第一做好顶层设计,两化融合的架构图中心就是数据,所有的流程和组织都是围绕数据开展的。第二重视人才培养。中国大数据的技术环境还处于起步阶段,需要培养一批懂业务、懂数据、懂分析的人才,企业也要做好人才培养工作。第三做好从数据流程化向数据资产化转移。以前企业在生产过程中产生的数据,更多的是作为备份、归档、查阅使用,将来对生产过程中产生的数据,就要进行资产化的利用,发挥数据资产的价值。
利用大数据可以对产品的研发进行创新,帮助数字化车间更好地实现生产管控,提升产品质量,优化供应链以及更高效地完成产品维护。张鹏飞提到了在制造业做的典型案例:“当时客户遇到了这样一个问题,他们生产的钢铁缺陷率比较高,每年都在30%左右,客户计划用传统的解决方案去解决。
传统的解决方案一般有三种,一是对高炉进行改造,二是做原材料成分改进,三是做生产线的改造,这些方法不是时间长就是成本高。我们的团队跟客户一块儿探讨提出了解决方案,在定制了建模以后,给客户提供了工艺控制的方案,客户按照我们提供的模型去进行工艺参数的设置。缺陷率从原来的30%降低到了1.8%,每年大约节省2800万元。”
在谈到供应链优化时,张鹏飞说:“像航空领域的企业库存占资金的比重非常高,每年大概有4个亿左右的库存资金。这对企业的影响非常大,由于采购的影响因素非常多,它的预测没有办法用线性方法去完成。我们给客户提供了一个方案,构建了安全库存的模型,缩短了10到15天的采购周期,另外也降低了库存的资金占比,每年节省了大概1.2亿元的资金占比。”张鹏飞如是说。
为大数据应用插上云的翅膀
英特尔大中华区行业解决方案总经理王加森在演讲中提到:“英特尔CPO在数据中心市场目前占了95%的份额,不管是阿里巴巴还是亚马逊,谷歌还是百度,它的数据中心绝大部分都是Intel的处理器,还有网卡技术,所以英特尔有责任做更多的努力,促进云计算和大数据的发展。”
创新无止境
HDS是一家典型的技术型厂商,一贯奉行“少说多做”的原则,所以人们很少听说或看见HDS在跟风炒作某个新概念。闪存、软件定义存储、云计算等,HDS都不是第一个推出相关产品或解决方案的。但是,一旦产品后,HDS就一定能保证这些产品是具有HDS特色的、成熟且可以大规模商用的,能够给企业客户带来实实在在的价值。
在存储虚拟化技术领域,HDS基于存储控制器的虚拟化技术在业界一枝独秀,尽管当时基于存储网络的虚拟化技术风光正劲,但HDS始终“我行我素”。最终结果表明,HDS的存储虚拟化技术是过硬的,其存储虚拟化产品一直保持着很高的用户认可度。在很多用户的印象中,HDS一直是一家专业的存储厂商。
但是进入云计算时代,一向比较谨慎、低调的HDS开始变得活跃起来。从技术和产品的角度看,HDS很快便采纳了“融合”的理念,推出了业界影响力可与其经典的存储产品相媲美的统一计算平台。如今,在亚太地区,HDS统一计算平台已经成了最受企业客户欢迎的解决方案。
多在技术上下功夫,很少谈及理念的HDS如今也开始热衷于谈论新的概念,并陆续抛出了与云计算、软件定义等最新趋势相关的战略、技术框架和蓝图。许多人能够脱口而出的HDS“三朵云”战略――基础架构云、内容云、信息云,成了HDS云计算的行动纲领。HDS的新产品研发和市场推广策略都是围绕着“三朵云”展开的。
云计算是基础架构,是工具,它的价值在于可以更好地支持行业客户的应用。在以大数据、物联网、智慧城市等为代表的新一波应用浪潮兴起时,云计算开始慢慢走向后台,成为推动大数据、物联网、智慧城市等应用发展的幕后的那只手。云计算技术与大数据、物联网、智慧城市等应用之间的互相渗透、融合将成为IT市场发展的主旋律。
HDS全球解决方案、社会化创新营销副总裁Ravi Chalaka表示:“以前,人们都知道HDS是一家存储公司。但是今天,HDS的技术和解决方案已经跨越了多个市场和应用领域。HDS已经从一家专注于存储的厂商演变为提供融合性解决方案的厂商,产品包含服务器、存储、网络、嵌入式软件等。近几年,HDS一直在大力发展自己的软件,并取得了突破性的成果。HDS的软件解决方案主要包括虚拟化软件、管理软件和应用软件等。”
今天的HDS已经不再是人们印象中那个专注于存储的HDS了。特别是经过过去几年云计算、大数据的洗礼,HDS已经有了新的定位,制定了新的战略。
HDS的变化主要表现在以下几方面。第一,HDS最直接的竞争对手已经不再是EMC、IBM这样的存储厂商,而是像通用电气公司、西门子、Oracle这样在社会化创新领域有很大投入的企业。第二,HDS进一步明确了自己的目标市场,就是大中型企业客户。目前,HDS在全球拥有1.4万个客户。在“财富100强”企业中,81%是HDS的客户。第三,HDS公司内部软件和硬件的收入比重也发生了很大变化。最新的统计数据显示,HDS业务收入的54%来自于软件和服务,而三年前这一比例只有25%。在过去4年中,HDS进行了大大小小9次收购,被收购的厂商大部分是做软件、服务或大数据解决方案的。从收入比例来看,HDS不再是一家单纯的提供存储硬件的厂商,而是正慢慢转型为一家解决方案提供商。
为了配合解决方案的需要,HDS越来越重视与生态系统中的合作伙伴的合作,特别是与增值分销商、系统集成商的合作。通过这些合作伙伴,HDS可以更好地为企业级客户提供服务。
Pentaho是敲门砖
以前,HDS也能为大数据提供支持,但仅限于硬件和存储架构。以收购数据集成、可视化和分析软件厂商Pentaho为标志,HDS真正融入了大数据领域,并打开了通往物联网市场的大门。
在今年4月举行的HDS Connect 2015大会上,HDS对Pentaho的收购成了谈论最多的话题之一。当时,由于HDS还没有完成对Pentaho的收购,Pentaho这样一个很可能决定HDS未来大数据策略走向的产品是继续保持其独立性,还是完全融入HDS原有的产品中成了人们关注的焦点。
6月,尘埃落定,HDS正式完成了对Pentaho的收购。Pentaho成为HDS公司旗下一员,但原品牌名称保持不变。Pentaho平台除了继续独立提供服务以外,也会与HDS的其他相关分析软件结合,从而进一步扩展HDS的大数据解决方案。
以前,HDS的大数据解决方案主要集中在基础架构层面,为大数据分析提供平台支撑。有了Pentaho的分析软件以后,HDS可以深入大数据分析的核心,也更贴近客户的应用,可以把大数据分析的主动权尽量掌握在自己手中。
还记得HDS著名的“三朵云”吗?在HDS公布的大数据愿景中,基础架构云、内容云和信息云仍起到了核心的支撑作用,但也有了细微的变化,变成了相对应的软件定义基础架构、内容管理云架构和信息智能云。在这三层云架构之上是HDS通用的高端数据分析和访问平台。三层云架构与数据分析与访问平台合在一起,构成了HDS社会化创新的基石。
HDS倡导的社会化创新与物联网市场是遥相呼应的。在社会化创新方面,HDS选定了六大行业作为突破口,包括电信、医疗、商业分析、公共安全、石油和天然气、汽车。“物联网是下一轮技术革新的重点。”Ravi Chalaka分析说,“一台大型机可以支持数百个客户,一台小型机可以支持数千个客户,而在物联网时代,数以十亿计的设备被连接在一起,每个设备,甚至每双鞋都在产生数据。这就是物联网的能量。在未来的20~30年中,大部分的数据分析和计算都会围绕着由物联网产生的数据和信息进行。HDS关注的只是物联网中能够产生价值的那部分数据。只有通过对这些有价值的数据和信息进行分析,才能产生洞见,才能让整个社会变得更加健康、安全、美好。HDS希望更快速地交付能够达到上述目标的物联网解决方案。”
确立主导地位
处理全数据
市场研究机构IDC的调研结果显示,到2020年全球数据容量将达到35 ZB(即35万亿TB),且数据的类型和种类将更加复杂。多数分析师认为,其中高达85%的新数据都是非结构化的数据。
巧妇难为无米之炊,想要挖掘大数据的价值,首先要收集存储。微软大数据解决方案的数据管理平台可以无缝地存储和处理包括结构化、非结构化和实时数据在内的所有类型的数据。像其推出的HDInsight是一种适合企业使用的、基于HDP的Hadoop服务,它将Windows的简易性和可管理性带给Hadoop,提供了结合Hadoop的扩展平台,并为大数据提供了灵活且可扩展的云,用户可以根据自己的需求选择平台。
让数据为我所用
如能搜集全世界相关数据作为参照系来分析企业收集的大数据资料,更能够提高数据分析结果的代表性并提升对企业的指导价值。微软大数据解决方案,通过将数据和模型与公开的数据服务相结合,实现了突破性的数据发现。通过使用Windows Azure Marketplace中的应用程序和智能挖掘算法,用户还能发现更多隐藏的信息与数据挖掘模式。此外,微软大数据解决方案还能通过企业信息化管理工具将原始数据转换成可靠一致的数据,并通过SQL Server 分析服务的高级分析功能来实现数据的精炼。
雅虎通过将其庞大的存储在Apache Hadoop开源框架中的数据整合到微软SQL Server 2008 R2当中,成功地帮客户提高了广告投放的效率,并成功让广告商增加了在雅虎网站的广告投放费用。
大数据落地有方法
在最近十年内,制造业先进国将会有大转型,数字垂直消灭大规模的产能过剩,同时实现点对点精准定制。因为大数据与智能互联,基于信息不对称的产能过剩会大规模消失,根据客户需求产生精确订单,过剩的产品根本不会有出现的机会。
工业4.0解决方案的核心组件是能够对数据集中分析和应用。通过分析,可以集中审视企业流程,从而能够根据审视结果优化这些流程。有汽车供应商通过实施大数据解决方案提升了交付产品的质量和可靠性,基于复杂的分析(高达8000亿数据条目以及50TB的年数据规模),此大数据方案实现了海量传感器数据的互联和处理。有了大数据方案,该公司能够及时发现有缺陷的部件,从而在生产流程中尽早排除。
在2014年的汉诺威国际物流技术展览会(CeMAT)上,英特诺首次向全球展示其新型内部物流模块式输送机平台。根据不同的需求,英特诺可以为客户量身定制应用于不同驱动装置的输送机模块。虽然价格略高,但客户节约了更多的成本。德国最大的港口汉堡和软件开发商SAT进行合作,将卡车司机以及道路信息等连接起来,物流更高效,解决货车空驶等难题。
“一张CT扫描图像,就含有约150MB的数据;一个基因组序列文件大小约为750MB;标准的病理图的数据量接近5GB。如果将这些数据量乘以人口数量和平均寿命的话,仅一个社区医院累积的数据量,就可达数TB甚至数PB之多,而且其中还富含图像、视频等非结构化数据,更别说规模更大的医疗机构,甚至是地区医疗主管部门汇集的数据集了。”嘉和美康副总经理范可方摆出的数据充分说明原有行业解决方案急需针对大数据做出调整和升级,以满足医疗行业对数据处理的需求。
从建立大数据存储、管理和查询平台入手,嘉和美康不断优化应用软件和解决方案,以帮助医疗单位跨过大数据这道门槛。“大数据在医疗行业的前景和收益是嘉和美康最根本的驱动力,作为医疗行业信息系统的开发者和建设者,嘉和美康必须在产品上、技术上、应用上迈上一个大的台阶。”试想,小到辅助临床医生做出更为科学和准确的诊断和用药决策或帮助医院根据患者潜在需求开发全新个性化服务及自动服务,大到帮助研究机构实现突破性的医疗方法和药物革新或支持地区甚至全国医疗行业主管部门优化医疗资源及服务配置,这些美好规划实现的前提即是大数据好好为医疗行业所用。
“嘉和美康在电子病历的基础上,推出了新一代的临床数据中心系统――基于CDR的临床信息系统。” 范可方介绍,这个系统是面向临床的深度应用,基于CDR平台借助大数据处理技术推出的新一代产品。
携手英特尔
随着后PC时代的到来,在迈克尔·戴尔的推动之下,戴尔向IT服务转型。戴尔的转型动作越来越大,而此次戴尔在大数据存储方面的举动,不仅有投资基金,近期还收购了相关存储技术公司。
戴尔步步用心地布局大数据领域的同时,惠普、甲骨文、EMC等企业早已入局。据IDC预测,到2020年全球数据量将达到35ZB(1ZB等于一万亿GB字节),这意味着当下即将进入大数据的时代,数据量急速攀升,加上云计算正成为厂商们争夺商业价值的关键节点,大数据领域竞争加剧。
大数据助戴尔转型
戴尔的转型慢于IBM公司,但是比惠普公司坚定。当戴尔离PC老大的位置越来越远时,戴尔转向了企业服务业务。如今随着大数据领域日益受关注,戴尔借助大数据业务抢占市场,助力企业转型。
随着PC业务在全球日渐式微,戴尔的转型越来越迫切。在其公司创始人迈克尔·戴尔的全力推动之下,2007年戴尔开始向IT服务业转型。根据戴尔2012年财报显示,其企业级解决方案和服务的营收达到186亿美元,占总营收的比重已由启动转型时的23%,上升到了30%。而且戴尔称,企业级服务业务为公司贡献超过50%的利润。这些数据表明戴尔的转型取得了初步成功。
然而戴尔进入IT服务业的时间并不算早,在整个IT服务领域,相对于IBM,戴尔发力较晚。当大数据出现后,众多厂商都对大数据表示了极大的兴趣并且蠢蠢欲动时,戴尔却在此方面几乎没有举动,再次落后。正当行业开始怀疑戴尔要错过大数据的时机时,2010年8月,戴尔通过与Cloudera合作推出支持后者Hadoop部署的参考架构和硬件,开始涉足大数据领域。
而此次戴尔用6000万美元投资存储初创公司,更是表明其在大数据领域的决心。戴尔投资总经理吉姆·卢西尔表示,“作为对戴尔并购、研发、合作伙伴的战略补充,戴尔投资开拓另一条创新、利润潜在增长的大路。戴尔投资致力于早期增长阶段投资,围绕一些战略领域进行,包括存储、分析、BI大数据、终端用户计算等。”
戴尔这笔基金,会向5-10家存储创业型公司分别投资300万-500万美元。迈克尔·戴尔指出,大数据是当前的热点业务类别,是新兴创业公司面临的“庞大的机会”,也是戴尔公司的一个“巨大业务领域”。戴尔不是关注纯粹的存储,而是帮助企业(特别是职员少于1万人的企业)访问和使用实时的已存储“大量数据”。
就目前而言,这仅仅是个开始,面对着未来可能出现的数百亿美元的市场,此次戴尔的千万基金,并不是它的唯一一项行动。有分析指出,戴尔从初创公司入手,剑指整体大数据业务的布局。
并购加速
由于是大数据领域的后来者,戴尔在此领域的举动更多的是通过收购来完成,而这是缩短与IBM、甲骨文等厂商之间差距的最快途径。
目前戴尔更关注大数据分析存储方面,将他们的存储平台和数据库捆绑在一起用于大数据保留。在今年的戴尔全新存储产品活动上,戴尔推出了流动数据架构以解决大数据时代的难题,该解决方案集成了戴尔多个文件存储平台,为客户提供一个公用的企业级分布式文件系统。
对此,戴尔企业存储副总裁兼总经理汤玛斯表示,“这是为了采集和储存所有的相关数据,从大数据分析设置中驱动商业智能价值,使人们有可能获得支持创新和商业价值的见解。”而戴尔能迅速在大数据领域有所作为,与其采取的收购方式有着紧密联系。
自戴尔进入大数据领域后,其完成了几次关键的收购,初步完成了对大数据领域的布局。2011年2月,戴尔收购了康贝存储技术公司。数据存储服务供应商康贝为企业和云计算环境提供高度虚拟化的存储解决方案,该解决方案提供自动数据管理功能。而完成此次收购的5个月后,戴尔收购了一家数据中心网络解决方案公司。有分析认为,戴尔的此项收购完善了其下一代数据中心以及智能化数据管理的需求,提升了戴尔在企业数据中心市场的影响力,率先占领市场优势。
此后戴尔的收购应接不暇。今年戴尔就已收购了相关数据备份厂商和网络安全公司。戴尔计划在2016财年以前,使数据中心产品和技术对营收的贡献达到275亿美元,较此前提高45%。
硝烟弥漫
大数据概念自麦肯锡的一份研究报告提出后,被业界广泛关注。
据IDC的全球大数据技术和服务预测数据显示,该市场预计将从2010年的32亿美元增长至2015年的169亿美元。基于对大数据市场数百亿美元的认识,全球领先的IT企业们已经把注意力转向大数据,并提到战略高度,大数据潜在的价值正在被不断挖掘,进而形成企业的新的利润来源。
对于未来的这个数百亿美元的市场,EMC董事长、总裁兼首席执行官乔·图斯认为,“大数据时代已经到来。它已不仅停留于概念,社会各界对大数据都有需求,大数据中将产生巨大的商业价值。”微软亚太研发集团首席技术官孙博凯表达了类似的看法,“大数据不仅仅是技术,事实上是通过数据管理获得新的洞察力。如今大数据已成为企业的竞争力,而应用解决方案意味着大商机。”
大数据确实具有大价值,但它并不是万能的,用好大数据必须具有大智慧,用得不好就是大忽悠。“大数据”公司不少,但大数据落地,最难的是商业模式,真正能接上地气,将大数据产品化的公司不多。
受资本关注度极高的大数据产业,也无法逃脱泡沫周期的洗礼。而泡沫浪潮退去,才能看出谁在裸泳。一批中国大数据公司,正找到自己的商业模式,逐渐在细分领域站稳脚跟。近期的《中国大数据企业评级白皮书》,首次对中国近400家大数据企业进行了评级。在一共7个维度的评级榜单上,数据堂、BBD (数联铭品)、美林数据、华院数据这四家公司表现突出,分别至少在其中2个维度上被评为“五星级”(最高级)。可以说,中国大数据行业的“四大”格局正初步显现。
可以说,大数据“四大”所代表的,是当前大数据行业的几种典型模式。高端的金融征信,时髦的数字营销,传统的工业、制造业,以及围绕数据本身的数据交易,每一种方式,都在努力释放数据的价值。我们就以这“四大”为代表,来看看它们如何在各自领域接上地气。
数据交易
代表:数据堂
数据堂成立于2011年,总部位于北京,它其实最开始是由科研和人工智能大数据服务商发展而来的,是国内首家专注于互联网综合数据交易和服务的公司。提供数据定制、数据云服务、数据交易等服务,致力于融合和盘活各类大数据资源,实现数据价值最大化,推动相关技术、应用和产业的创新。
目前,数据堂的业务领域拓展到包括到智慧交通、健康医疗、金融征信、政府大数据运营等诸多领域,逐渐形成多业务多模式立体化的集团式发展。已成功为国内外多家企业提供数据定制服务,包括百度,腾讯,阿里巴巴、奇虎360、联想、Microsoft、NEC、Canon、Intel、Samsung、Nuance、Fujitsu等。
产品分析:
数据堂的产品可以概括为两个方面,一是面向B端客户提供定制化数据源服务,二是大数据交易平台。数据堂的B端客户包括百度、腾讯、阿里巴巴等,主要业务有代采集、处理和制作数据或出售和租赁数据。数据堂的C端客户是需要数据的个体,可以通过数据交易平台购买和租赁数据。
其中大数据交易平台的目标是打通数据拥有方和需求方的需求,通过数据拥有方合作,积累了征信、交通、健康、医疗等数十个领域的数据集。第二步数据加工处理分析,把分析结果放到云上,当前服务BAT在内的一千家企业以上。
金融大数据
代表:BBD(数联铭品)
BBD(数联铭品)成立于2013年,至今才2年多时间,但发展势头迅速。作为大数据金融风险管理专家,这家公司还是商业大数据行业标准COSR的制定者。除了位于成都的总部,还在北京、上海、深圳和杭州设有分支机构,并在香港和新加坡设有子公司。2015年,BBD被评为国家高新技术企业,还拿到中国人民银行审批通过的《企业征信业务经营备案证》。
在大数据领域,有“南周北孙”的说法。“南周”就是指BBD创始人兼首席科学家周涛。这位27岁时就当上教授的明星科学家,刚刚当选央视年度科技创新人物,与屠呦呦一同获奖。
截至目前,BBD已覆盖2300万家企业法人主体的基本数据,建立了最全面的工商、诉讼、专利、招聘、社交、招中标数据库,尤其是对诉讼数据进行了深度挖掘,所采集的数据全部来自于公开数据。
服务对象包括银行、会计师事务所、律所、投资机构、征信评级机构、金融信息终端、媒体和咨询机构等,典型客户有毕马威、普华永道、长沙银行、重庆银行、中证信用、中经社、《财富》(中文版)、财新传媒、四川省旅游局等。
产品分析:
目前国际上领先的金融服务机构缺少标准的方法论和模型,对轻资产高研发高成长的新经济企业进行评级和分析。BBD提供可靠且可验证的金融大数据和技术方案,基于大数据框架和国际标准建立中国特色的Fin-Tech,建设新经济框架下,中小企业信用体系尤其是轻资产高研发高成长企业信用体系。
数据科学家和金融科学家组成的团队,研究了一套新经济企业的行为模型,建立了一个企业行为数据库,模型分为七个维度:企业的基本信息;行业数据信息;法人治理结构信息;关联方信息;财务和非财务KPI;社交媒体信息;无形资产和资产质押数据。
BBD旗下的明星产品HIGGS Credit是一款企业全息画像搜索引擎,依托于全面的企业数据库,可以提供企业DNA全息画像、企业行为KPI数据与行业比对、实时动态的企业尽职调查数据、关联方异动数据监测等数据服务。公司还有BBD Finance,BBD Index,BBD Anti-Fraud, BBD Innovation、BBD Credit等针对不同领域的多条产品线。
工业大数据
代表:美林数据
如果要给美林贴上一个标签的话,应该是“工业大数据”。这家公司位于西安,旗下有数据分析产品、行业大数据解决方案、数据运营服务三大核心业务。公司深耕大数据行业应用,面向电力、军工制造、金融领域提供定制化大数据落地解决方案。深度参与国家“中国制造2025”、“一带一路”、“大数据”战略计划,并成立国内首家“一带一路大数据交易所”,主要客户群为电力、军工制造、金融等相关领域,是国内首家军工制造业大数据落地方案提供商。
产品分析:
去年5月,美林数据国内首款集数据可视化探索与数据深度发掘功能于一体的大数据分析平台(Tempo-DataAnalysis),面向企业不同领域和不同层级的数据分析、价值应用人员,提供数据可视化探索、数据深度分析和数据应用开发的一体化服务,持续为用户打造“专业、敏捷、易用“的产品体验。
该平台的特点在于可视化(分析过程可视化、分析结果可视化、高维数据可视化)、智能化(数据模型自动识别、数图智能匹配)、增值化(发掘数据规律、获取商业洞察力、创造商业价值)、大数据支持(分布式并行计算、内存计算)、多数据源接入支持(文件数据格式、关系型数据库、HDFS、H )等。
美林的大数据产品线还包括数据挖掘平台、统计分析平台、企业门户平台、数据资源管理平台等。
营销大数据
代表:华院数据
华院数据位于上海,提供基于数据挖掘的面向营销分析和管理、客户关系管理和决策支持的应用软件和咨询解决方案。
这家成立于2002年的企业,一直为传统运营商、银行、保险、航空等具有海量数据的机构提供数据挖掘和分析解决方案。几年前,随着数据采集、存储和传输技术的发展,华院开始了以数据分析为核心的多元化尝试,将足迹延伸到电商、制造业、医疗、安防、物流等更多的新兴行业。
华院也着力于产业大数据生态孵化,培育了数云、数创、数真等十余家围绕垂直行业的大数据企业。
召开一次全省信息化领导小组工作会议,回顾五年多来《浙江省信息化促进条例》贯彻实施情况,统筹研究全省信息化发展工作;
做好国家信息化顶层――《国家信息化发展战略纲要》和《“十三五”国家信息化规划》在浙江省的宣贯工作;
做好《浙江省信息化发展“十三五”规划(“数字浙江2.0”发展规划)》和《浙江省信息化和工业化深度融合国家示范区建设“十三五”规划(2016-2020年)》的实施工作,指导督促各地、各部门落实规划目标任务相关工作,推进全省信息化领域中重大工程、重大平台和重大项目的实施;
开展信息化发展水平考核评价和全省区域两化整合发展水平评估工作,继续做好对全省各市、县(市、区)信息化发展水平评价工作。进一步完善指标体系,优化工作流程,更加科学高效地开展区域两化融合水平评估工作,以评估为抓手,形成地区间比学赶超发展氛围。在此基础上,年度信息化发展和全省区域两化融合发展水平评估报告。
以制造业与互联网融合为主线,深入推进信息化与工业化深度融合国家示范区建设
深化“两化”深度融合国家示范试点区域建设。抓好26个“两化”深度融合国家示范区、6个试点区、160家两化融合综合示范试点企业建设,进一步按照示范区建设实施方案的内容加紧实施机联网、数字工厂、绿色制造等项目。加强对首批18个振兴实体经济(传统产业改造)财政专项激励的工业大县两化融合推进工作的指导,确定两化融合的相关考核内容,推动示范区开展制造业与互联网融合的相关示范试点工程。制定两化深度融合国家示范区验收管理办法,并对首批8个两化融合国家综合示范区和4个专项示范区开展检查验收工作。组织开展示范试点典型案例总结宣传推广。
积极推动制造业互联网“双创”平台建设。引导大型制造企业、互联网企业、电信运营商开放技术、人才、渠道等资源,构建基于互联网的制造业“双创”新生态,支持内外部创业创新。在全省创建20个制造业互联网“双创”示范平台,其中振兴实体经济(传统产业改造)财政专项激励的工业大县至少创建1个“双创”示范平台。引导龙头企业结合特色小镇、高新园区、开发区,建设“双创”空间,力争创建1个国家级制造业互联网“双创”示范平台。组织举办中国产业互联网“双创”大赛。
大力发展基于互联网的制造业新模式。引导制造业企业建立网络化制造资源协同平台,开展协同制造;推动传统生产模式向大规模个性定制转变,发展C2M个性化定制和柔性生产模式;推进企业运用互联网开展在线增值服务,鼓励企业发展面向智能产品和装备的产品全生命周期管理和服务。重点在服装、家电、家具等消费品行业和汽车、机床、叉车、船舶、电梯等装备制造行业培育100个个性化定制和一批协同制造、服务型制造等示范试点企业。鼓励企业申报国家有关基于互联网的制造新模式示范试点项目。
大力推进工业互联网、工业云和工业大数据应用。推进全省2000家重点工业企业开展工业互联网、工业云和工业大数据应用,发展智能制造。建成10个省级智能制造试点示范区,培育100家数字工厂(智能制造)示范企业。利用工业互联网、工业云、RFID(射频识别)与图像识别等智能识别技术,实现工厂内人与机器、机器与物料、机器与机器之间的互联和数据实时采集,运用大数据技术构建数据链,促进基于数据的生产、物流、仓储等环节高效协同,提升柔性化生产能力、精细化管控能力和智能化决策能力。
实施中小企业上云计划。聚焦中小企业云应用,依托产业集群和龙头企业,建设一批专业或行业性云平台,培育10万家上云企业。鼓励中小企业在研发、生产、管理、销售、服务等环节使用云技术,开展个性化定制、网络化协同制造、服务型制造和网上销售等活动,实现客户、供应商资源共享和产业链协同。发展工业电子商务,推进中小制造企业与电商企业、物流企业和金融企业的合作,基于电商云平台整合线上线下资源,打造制造、营销、物流和金融服务等高效协同的一体化新生态。组织召开云计算应用和产业推进大会,办好云栖大会,开展企业上云专项培训。
深入推进“机器换人”和智能装备发展。坚持“分类指导、典型示范、资金扶持、机制保障”的原则,大力推进机器换人、机器联网,推进30家机器换人行业试点,举办百场现场交流会,新增培育省级工程服务公司20家以上。落实“机器人+”行动计划,编制重点行业机器人应用指导意见,完成新增工业机器人1万台目标任务。推进感知互联的智能新产品新装备的研发,大力发展智能传感器、网络终端、工业机器人、数控装备、智能成套装等高端装备产业。
继续实施企业信息化“登高”计划。推动企业信息化从单向应用向综合集成、协同创新阶段登高,从内部纵向集成向企业之间横向集成和产业价值链端到端集成延伸,提升全产业链的要素资源配置效率。全省2000家重点工业企业资源计划普及率达到85%,制造执行系统普及率达到50%,机器联网率达到35%,供应链管理普及率达到70%,产品全生命周期管理系统普及率达到60%,装备数控化率达到50%,企业电子商务采购额和销售额占总采购额和总销售额的比例分别达到40%和55%以上,进入两化融合集成创新阶段的企业达到35%以上。
扎实推进两化融合管理体系贯标工作。重点抓好工信部批复的118家企业管理体系贯标试点,积极争取新增30家企业列入今年的工信部贯标试点。在振兴实体经济(传统产业改造)财政专项激励的工业大县、两化深度融合国家示范区,分别确定10家和5家贯标试点企业。贯标通过评定的企业数力争突破60家。加快培育互联网环境下的企业创新能力,依托两化融合咨服务平台,开展企业两化融合自评估、自诊断、自对标,力争在工信部的两化融合发展地图上有新突破。以两化融合管理体系标准为指导,推动企业业务流程再造和组织方式变革,提升企业管理能力。
以应用需求为引向,大力发展软件和信息技术服务业
提升两化融合的服务支撑能力。以提升行业系统解决方案设计、集成和应用能力为重点,支持重点行业工业互联网、信息物理系统(CPS)开发和应用试点。培育一批行业系统解决方案提供商,加快优秀解决方案的推广普及;培育一批服务于重点行业智能工厂建设的工业信息工程公司,新创建10家云工程云服务和工业信息工程省级重点企业研究院。加强两化融合产业链企业的合作,构建服务于两化融合的产业生态。发展集聚工业信息工程公司的产业互联网小镇。配合工信部召开全国两化融合系统解决方案现场会。
加快软件和信息技术服务业的创新发展。抓好《浙江省“十三五”软件和信息服务业发展规划》的实施,出台支持软件业发展的政策意见,落实好软件企业和软件产品税收优惠政策,完善产业统计制度。加快推进软件和信息服务业9个示范基地、10个特色基地和15个创业基地建设,提升杭州中国软件名城建设水平。加强工业软件支撑能力建设,开展工业技术软件化行动,重点发展以自动控制与感知技术、核心工业软硬件、工业互联网、工业云和智能服务平台“新四基”为核心的技术体系,推进人工智能、区块链、虚拟现实和增强现实等新兴产业的培育,全面提升制造业与互联网融合的有效供给能力。
培育大数据产业。贯彻落实《浙江省促进大数据发展实施计划》,扶持并培育一批大数据分析、大数据应用服务的龙头企业、一批创新型大数据应用类中小企业,加快形成协调发展的大数据产业体系。组织开展第二批大数据产业应用示范企业培育试点工作,建立一批大数据省级重点企业研究院,推动创建一批大数据应用示范工程,拓展大数据应用领域。培育数据资源交易市场试点。
加强工业控制信息安全保障。按照《工业控制系统信息安全防护指南》,指导企业做好工业控制系统信息安全防护,明确工业企业主体责任,提高安全防护意识,细化信息安全防护措施。加快完善网络与信息安全基础设施,研究建立面向工业领域的信息安全技术支撑、检查评估综合保障体系,开发并鼓励企业使用自主可控、安全可靠的工业控制系统。开展工业领域重点行业工业控制系统及相关信息系统安全检查和风险评估。
深化智慧城市建设与农业信息化发展
组织开展对20个省级智慧城市示范试点项目的检查验收及绩效评价工作。重点加快智慧政务、智慧高速、智慧交通、智慧车联网、智慧安防、智慧安监、智慧环保、智慧能源、智慧旅游、智慧健康服务、智慧物流、智慧消防等示范试点项目在全省推广与覆盖。
加快9个省级农业信息化示范试点建设,并筹备建O一批示范试点区。重点围绕农业产业集聚区与现代特色农业强镇建设,在温室大棚、畜禽养殖、大田生产、生态环境监控等重点领域与关键环节,推进信息技术应用。引导互联网企业建立一批农业销售服务平台,加强产销衔接。
强化城镇光网覆盖,城市全面具备100M以上接入能力。4G网络实现城乡全覆盖,争取5G试验网建设。实施农村海岛“扫盲除点”工程,基本具备50M以上接入能力。推进中国互联网络信息中心浙江分中心建设。细化落实省政府与中国电信、中国移动、中国联通和中国铁塔的战略合作协议,推进新技术产业应用示范项目,推进杭州国家互联网骨干直联点建设。全面推进全省三网融合。推进数据中心集约化绿色化,推广公众云计算和大数据服务。推进中小企业信息网络提速降费。
以营造发展氛围为目标,积极组织各类活动
牵头做好第四届世界互联网大会信息化工作部工作,组织筹备好大会期间的新技术新产品、浙江分论坛和互联网之光博览会、双创热土项目对接活动等重大活动;
筹办好中国产业互联网大会,充分发挥制造业和互联网双重基础优势,力争把大会打造为国内外有影响力的产业互联网新平台。
我国的大数据产业还处在初始发展阶段,无论是社会还是产业,对大数据的需求还有巨大的挖掘潜力。在市场和政策的双重刺激下,赛迪顾问认为,大数据产业的高速增长态势将继续保持,预计2017年,增速将保持在40%以上,针对大数据的IT投资规模将突破250亿元。
大数据产业快速发展
2016年,我国大数据产业生态化进程加快,上海大数据联盟、中国大数据产业生态联盟等行业组织纷纷成立,数据源、解决方案提供商、研究机构、投资方、行业用户等生态参与者之间的联系更加紧密。
特别是2016年8月,中国大数据产业生态联盟的正式成立,为大数据产业内的共生互赢、交流合作搭建了平台,成为我国大数据产业生态建设的一大标志性事件。
区域集聚效应初步显现
在区域发展方面,我国2016年大数据产业的集聚效应初步显露,形成了京津冀、长三角、珠三角、西部地区和东北地区五个各具特色的产业集聚区。
其中京津冀地区打造大数据协同发展体系,长三角地区城市将大数据与当地智慧城市、云计算发展紧密结合,珠三角地区在产业管理和应用发展等方面率先垂范,中西部已经成为大数据产业发展新的增长极,东北地区将行业大数据作为发展重点。
企业融资估值日趋增高
经过前几年的发展,我国大数据产业格局日趋成熟,处在A轮融资阶段的初创型企业占比有所减少,越来越多的企业走向了B轮甚至C轮的融资。而这些进行B轮或C轮融资的企业,由于经受过市场的检验,赢得了投资人的信任,融资估值也日趋增高。
过去两年,大数据的热潮催生出大批大数据企业和解决方案。2017年,随着大数产业的日趋成熟,各界对大数据的理解不断加深,大数据产业内的优胜劣汰将更加明显。
一部分在技术层面领先,或在行业扎根程度与实践积累较深的优秀企业,将拥有更大的话语权与竞争力;而另一部分技术水平不突出,且对细分行业理解不深、缺少行业资源的大数据企业,将在业务的开展开拓中面临较大困难,甚至逐渐被市场淘汰。
行业内竞争的加剧,将放大产业内的投资风险。而随着虚拟现实、人工智能、Fintech等投资热点的不断涌现,大数据产业也不再是资本炒作的最佳领域。
可以预见,大数据产业内的投资热度将有所下降,投资规模、频率的增长会有所放缓。但这并不意味着大数据产业已丧失投资价值,恰恰相反,大数据产业内值得投资的主题依然众多(如金融大数据、医疗大数据、工业大数据),只是对投资对象的选择将更趋于谨慎理性。
产业进入投资冷静期后,资本将更有针对性地流向优质的企业和项目,从而进一步促进行业内的优胜劣汰,同时投资方获得投资回报,融资方获得发展助力,形成产业的良性发展。
重点行业领域迎来应用爆发