期刊在线咨询服务,期刊咨询:400-888-9411 订阅咨询:400-888-1571股权代码(211862)
时间:2023-03-07 15:19:22
导言:作为写作爱好者,不可错过为您精心挑选的10篇互联网数据分析报告,它们将为您的写作提供全新的视角,我们衷心期待您的阅读,并希望这些内容能为您提供灵感和参考。
TalkingData围绕“移动互联网行业概况”、“移动互联网用户行为”、“移动应用整体盘点”、“移动互联网用户线下消费习惯”等不同主题,多维度分析了2014年中国移动产业的整体发展状况,力争做到报告数据精准、精细、精确。据大数据分析获知:移动互联网网民近6成为男性,80后中青年是移动网民的主力军,90后青少年也逐渐成为新生力量。从用户使用习惯分析,大屏幕移动设备越来越受网民青睐,使用4-5英寸屏幕设备的用户增长最快,iOS用户对操作系统的更新行为更加积极。而对于运营商的选择,安卓用户更倾向于选择中国移动,iOS用户则青睐中国联通。在接入网络方式方面,Wi-Fi上网用户占比最大,并且有越来越多的用户转向4G网络,使得上网环境得到明显改善,加速移动互联网的深层演进。
在对各类移动应用进行整体盘点后,发现移动即时通信依然是网民的首选,而游戏的日均使用时长最高,可见娱乐需求地位稳固。
报告指出,2010年是教师触网的“分水岭”。2010年后,越来越多的教师开始利用网络资源进行备课、教学。以文库为例,在全国教师量基本稳定的情况下,文库中教师的数量不断增加,从2010年的220万,增加到2013年的846万,3年时间里增长了近4倍,占全国教师总量近60%,打破了优秀教学资源之间的信息孤岛局面,成为教育界全新的教育平台。
教学方式互联网化,资源流动缩小教育鸿沟
全国近60%的教师群体触网,也带来了教学方式的大转型。传统的线下备课、制作教案、公开课分享的方式已经开始向网络资源搜索、电子化制作、网络分享转变。同时,互联网教育分享也令教育资源的流动速度加快、传播范围更广, 有效地克服了时间差、地区差,缩小了教育的地区鸿沟。百度文库数据显示,山东、江苏、广东等教育大省的教师成为文档资源主要贡献者,而中西部教育相对落后省份的教师通过百度文库下载教育文档而从中受益。互联网带来了教育资源的流动,形成了发达地区支援落后地区的正向循环。
根据网宿的数据分析,人们大多喜欢在刚上班时关注金融、证券的行情;中午休息时,网页游戏则更受欢迎;下午股市、证券等网站的交易时间结束前,这类网站会再度集中“迎客”;下班后,社交类网站和视频网站才是大多网民最爱去的地方。而7×24小时开业的网上商城已经渐渐成为网民生活的一部分,随时都会有人想要“逛逛街”。
北京人最爱SNS
该报告显示,SNS(社交网络)的访问高峰出现在20:00;网页游戏白天的访问高峰期出现在12:00,晚上的高峰期出现在19:00;视频网站的访问高峰出现在21:00;政府和企业网站访问集中在工作时间;招聘类网站网民访问峰值出现在工作日10:00~11:00;财经类网站的访问最高峰出现在上午9:00、下午13:00~14:00以及晚上21:00,而电子商务网站的访问时间整体比较平稳,没有明显峰值。
网宿的报告还显示,人口和经济发达程度对网民地理分布比例有重要影响,人口多、经济越发达地区网民访问比例越高,反之则比较低。2011 年第一季度, 对于SNS(社交网络),来自北京、江苏、山东的网民访问频率最高;广东、山东、河北的网民则更钟爱网页游戏;对电子商务类网站的访问量,广东、上海、北京最高;对视频类网站的访问量,广东、浙江、江苏排在前三位;访问政府、企业类网站的时候,来自广东、北京和江苏三省的访问量名列前三。
中图分类号:G642.0 文献标志码:A 文章编号:1674-9324(2014)49-0248-02
随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、互联网应用的丰富,更多的传感设备、移动终端接入到网络,由此产生的数据及增长速度将比历史上的任何时期都要多,都要快。“大数据”时代已经来临,它对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。大数据是指海量数据集,其来源包括动漫数据、企业IT应用带来的数据、博客、点击流数据、社交媒体、机器和传感数据等。它是互联网、电子商务的又一次重大革命,对数据处理、数据挖掘、数据分析提出了新的挑战。如今互联网行业、电子商务行业中的数据应用及分析已经相当普遍,为了应对大数据时代的要求,同时要具备较强的统计学功底和娴熟的计算机软件运用能力,而今完全具备这些能力的数据分析专业人才是极其匮乏的。数据分析师便应运而生,不仅互联网行业、电子商务行业需要大量的数据分析师,近年来项目数据分析事务所不断涌现,而项目数据分析师因其专业技能及量化的数据分析为客户以及所在单位控制决策风险、保证利益最大化而备受各界青睐,以待遇优厚和地位尊崇而闻名国际,也被视为我国21世纪的黄金职业。《华商报》将项目数据分析师纳入了新七十二行,《HR管理世界》将项目数据分析师评为七大赚钱职业。本文就如何在统计学专业开展数据分析方向进行了阐述,首先论述了数据分析的重要意义,其次讨论了数据分析方向的课程构建,最后分析了如何加强理论与实践环节的结合。
一、数据分析的重要意义
大数据预测美国总统:美国时代周刊报道称,数据驱动的竞选决策才是奥巴马竞选获胜的关键。数据分析团队在筹集竞选经费、锁定目标选民、督促选民投票等各个环节的决策中都发挥了重要作用。这意味着华盛顿竞选专家的作用极具下降,能够分析大数据的量化分析家和程序员的地位却大幅提升。如今从事专业数据分析工作的企业如项目数据分析师事务所、数据挖掘公司等都应市场需求而大力发展,并且受到风险投资的青睐。如美国社交数据挖掘公司Datasift于2012年宣布,获得1500万美元风险投资。2013年,DataSift成为Twitter的“认证合作伙伴”,主要负责海量微博社交数据分析。这是该公司今年第二笔融资,五月份其曾融资720万美元。又如面向开发者的大数据应用软件平台服务提供商Continuity最近获得1000万美元的融资,目前融资总额已经达到1250万美元。
数据分析的应用无处不在,那什么是数据分析呢?数据分析就是用适当的统计方法对数据进行分析,以求最大化地开发数据的功能,发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析技术不仅能通过对真实数据的分析去发现问题,还能够通过经济学原理建立数学模型,对投资或其他决策是否可行进行分析,预测未来的收益及风险情况,为做出科学合理的决策提供依据。在提高工作效率的基础上,也增强企业管理的科学性。无论是在国家政府部门,还是企事业单位中,数据分析工作都是进行决策和做出工作决定之前至关重要的一个环节。因此,针对项目可行性、风险承载力、投资回报率以及相关经济效益指标等方面的分析工作显得格外重要。在这个工作过程中,专业的数据分析人员扮演着无比重要的角色,数据分析成果的质量高低直接决定着项目投资、企业经营决策计划最终的方向。所以,各个行业对数据分析人员的需求之多是不言而喻的。传统行业,如政府机构:一类是计委、经委、统计局等一些经济综合管理部门所设有的调研处、研究室和情报所。第二类是商业、粮食、物资、银行等经济主管业务部门会设有信息中心或调研室,从本系统、本部门的业务出发进行专业性调研,提供支持本部门的市场信息。而伴随着数据分析应用的扩大,其在新兴行业中也得到了发展,如计算机软硬件及IT行业、电子商务与网络游戏、金融保险、消费品、咨询业与广告媒体、大型设备与重工业以及房地产行业等对数据分析师的需求量很大,尤其是电子商务,由于利用互联网,能够比传统零售业具有更好的数据收集和管理能力,能积累海量的数据,因此更看重从海量数据中挖掘出用户偏好和市场机会。研究机构:比如市场研究公司、咨询公司、证券公司、研究院。自主创业:取得注册项目数据分析师(CPDA)资格证可以自主创建或就业于项目数据分析师事务所等。所以,数据分析的行业应用是极其广泛的,并且随着大数据时代的到来,数据分析尤其是数据挖掘将借助互联网的发展,逐步形成人们依靠的重点,并可能成为未来发展与竞争的重点之一。由此我们可以看到数据分析师的就业前景是非常广泛而乐观的,无论是数学专业、统计专业,还是计算机专业的学生,都可以通过系统的学习数据分析课程来适应对数据分析人才的要求。
二、课程体系构建
1.主干课程。主干课程包含高代、数分、概率论、数理统计、多元统计分析、时间序列分析、市场调查与分析、统计预测与决策、数据结构、C语言、数据分析、数据挖掘、大数据分析与展示。理论课程的学习可以使学生了解数据分析的基本内容,学会如何对已获取的数据进行加工处理,如何对实际问题进行定量分析,以及如何解释分析的结果。掌握几种常用数据分析方法的统计思想及基本步骤,并具备一定的分析论证能力。
2.实验课程。数据分析的操作离不开计算机。目前数据分析行业常用的一些统计软件有SAS、SPSS和R软件。SAS软件是一个模块化、集成化的大型应用统计系统。它的功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等。SPSS软件是一个社会科学统计软件包,是采用图形菜单驱动界面的统计软件,SPSS的基本功能包括数据管理、统计分析、图表分析、输出管理等。R软件是一套完整的数据处理、计算和制图软件系统,包括:数据存储和处理系统、完整连贯的统计分析工具、优秀的统计制图功能、可操纵数据的输入和输入等功能。这三个软件在数据分析中针对不同行业的需求有不同方向的应用。
3.专业课程。从数据分析的行业需求出发,好的数据分析人员不仅要有较强的数据分析能力,还要有该行业的背景及相关知识的储备,这样才能将数据分析与行业特性联系起来,发挥数据分析的最大功能,即所谓的“因地制宜”。同时要兼顾学生的兴趣与学习的联系,需提供多领域的课程选择,如:经济学、金融学、保险学、管理学、会计学等。而在软件学习方面也要拓宽渠道,除了实验课程安排学习的软件,学生可根据自身发展意向再多掌握一些软件如:SQL数据库,熟悉office常用功能,尤其熟练运用Word和PowerPoint、Excel图表及数据分析等。同时还应该结合对数据分析师的要求设置一些相关课程:投资数据分析、市场调研与预测、预测技术分析、现金流量表编制、风险投资项目筛选、不确定性分析、编制数据分析报告等。
三、实践环节
培养数据分析的专业型人才目的就是为了学以致用。数据分析本身就是为了从数据中发现问题、建立模型、预测收益风险企业决策进而做出合理正确的决策判断。因此,学习了基本的知识和技能就要运用到实际操作中。学校可以和本地的数据分析事务所,或者大量需求数据分析人员的互联网行业建立实训基地,进行合作式教学,使得学生在实习的过程中能够理论联系实际,切身体会数据分析的商业操作体系,这样就能够促进学生有目的、有取舍地针对自身情况学习钻研,继而就能够培养出适应经济发展,满足市场需求的应用型人才。
四、结语
在大数据时代到来之时,数据分析在互联网中的应用将会空前广泛,与此同时对数据分析师的需求也将会井喷,无论是在军事、工业、企业还是在政治上,大数据分析都将会十分紧缺。因此,目前对数据分析师的培养刻不容缓。本文从分析数据分析行业发展及其重要意义、数据分析专业课程设置以及教学实践环节方面对构建数据分析课程体系进行了探讨。不仅从教学课程的内容上予以安排,而且更加注重引导学生自主学习,特别强调理论结合实践的合作式教学。希望能够结合行业需求合理地构建课程,培养出专门从事数据分析的项目数据分析师,从而能够满足市场需求和自身发展。
参考文献:
[1]范金城.数据分析[M].科学出版社,2010.
摘 要:根据CNNIC的统计,截止到2013年年底,我国移动电话用户超过12亿户,超过人口总数的85%;固定互联网宽度接入用户达到1.86亿户,其中4M以上用户占宽带用户总数的比重达到75.4%;移动互联网用户达到8.2亿户,其中3G上网用户占比超过30%。中国平均每天用手机上网时长124分钟,手机上网时间比电脑上网时间长29%,毫无疑问,中国已经进入以4V(多量、多样、价值、速度)基于互联网的大数据时代大数据的到来,更是一场人类思维、教育的革命。大数据不仅在颠覆传统经济模型、概念、而且也对传统的工业性社会中的职业及其发展的观念进行碰撞和冲刷。如何对处于大数据时代的高校学生进行富有成效的就业指导工作已经成为就业工作的新方向。本文结合大数据时代的教育发展趋势,提出大数据时代高等院校的就业指导工作的若干建议和意见。
关键词 :大数据;多媒体;顾客体验;数据挖掘
中图分类号:F241.21文献标志码:A文章编号:1000-8772(2014)22-0220-02
收稿日期:2014-07-20
作者简介:阳昆(1979-),女,湖北武汉人,硕士,讲师。研究方向:生涯规划,就业指导。
一、引言
著名的未来学家弗里德曼在《世界是平的》这个书里面,提出了互联网3.0时代的概念,告诉我们通过宽带及互联网,个人可以变得更加强大,而世界怎变得更小。比如,现在青年学生可以通过软件的客户端,点击不同老师甚至不同学校的的同一门课程。各种微课堂,e——learning课堂的层出不穷,给予学生们更多的拇指投票的权力,学习方式和教育模式的变革也导致高等教育机构的管理和服务的革新。显而易见,青年学生对移动互联网的日益增长的需求与传统的高等教育的供给模式矛盾将不断深化,大数据的到来,也带来了象牙塔的革命!高校的就业指导工作是高校教育供给机制的促进和改良剂,也是提高象牙塔学生就业质量的重要环节。如何在大数据特别移动互联网时代因时而动,率先占据主体地位,获得就业指导在互联网时代的话语权,是个值得探索的话题。
二、传统的高校就业指导工作在大数据时代危机重重
1.就业指导形式已经无法满足现代大学生个性化、多样化、特质化的需求。
传统的就业指导表现为更多的是行政性指导和形势政策的分析报告会和辅导员、班主任的个人谈心形式,传统的满堂灌、一言堂在高校的课堂,班级的会议中屡见不鲜,效果是可想而知的。现在的大学生大多数都是中国互联网的同龄人,他们甚至比高校老师更懂得、更需要大数据时代的红利和前景。学生价值多元、个性多样、需求多角度的现状给予高等教育的学生管理和服务的驾驭能力提出了新的挑战。
2.高校的就业指导的主体地位也面临着多媒体、多信息服务平台的挑战。
由于大数据时代特有的互联网和软件平台,个人价值的尊重与诉求得到空前的表现,人性化、个性化的服务性的理念凸显出来。人人都是麦克风,个个都有发言权,互联网时代,将使得在家上学、教育空间设计、面向未来的学校界限的消失成为趋势。多种媒体和信息平台更加充实着90后大学生的网络生活(他们可能是中国生活网络化程度最高的群体了),而青年大学生都处于自我价值逐渐形成时期,社会阅历不足,分析能力和判断力尚未成熟。多元化价值观、一些消极、不健康的价值取向借助互联网、大数据时代的便车,也进入了校园,这对高校的就业指导的主体地位和话语权提出了严峻的挑战。
3.高校的就业指导教师的数据分析能力将在大数据时代面临着提升。
高校的就业指导老师承担着课堂的授课和课下的指导工作,他们必须具丰富的专业知识和一定的人生阅历,对行业和时代的发展趋势有一定的分析与判断能力。他们的专业能力是衡量教学和指导质量最重要的方面,也是学生衡量一个教师优劣的重要标准。面对着与互联网同龄的90后们,尽管专业知识占据着重要位置,尽管他们有着丰富的社会阅历,有种重要的能力可能乃至将来会成为评估一个教师专业化的重要指标——教育数据的分析,老师如何从学生纷纷复杂的教学活动中、实际指导工作中,通过对相关数据的分析、关联、总结与预测、有效提高学生的成绩,理性引导他们充分就业、完成职业生涯的良好开端,数据分析的能力显得尤为重要。
4.数据分析技术及成果应用尚未引起高校的足够的重视
当前高校的就业形势严峻,使得各个高校异常重视毕业生工作,从计划到总结,从过程到结果,高校的毕业生工作可谓是事无巨细。虽然就业工作总结能够使高校的就业指导工作、甚至人才培养工作得到回馈,但由于很多高校尚未转变观念,或因技术条件不足,尚未将数据分析的技术及其成果应用于就业指导的全过程,这个只是零散的,不规则的,部分的,阶段性的,反馈的结果也带有片面性。学生对人才培养质量的满意程度、学生的就业规律这些都隐藏在数字下面,潜在价值尚未体现。
三、更新观念、转换思维,积极应对大数据时代的挑战
1.形成以学生为中心,学生职业价值观为核心,满足学生需求,劳动力市场需求,建立起劳动者与劳动市场双向动态匹配指导的新模式。
在注重体验和个人价值的大数据时代,高校的就业指导将在基于大数据以及软件平台应用背景的前提下,以学生个人体验为中心,以学生需求、劳动力市场为两个基本点,对在校大学生提供实时、在线、个性化、全程化的就业信息服务的全过程。积极、主动、关注学生的服务体验经验、贴近学生的心灵,走进互联网特别是移动互联网将是大数据时代高校就业指导服务将是学校在各种媒体和平台的竞争中拔得头筹的关键。就业指导服务部门将于学生工作工作部门合作,积极开展对学生就业价值观、职业价值观的引导和教育工作,发挥校内主流媒体的舆论导向作用,通过课堂与课下、线上与线下的的教育和实践工作,引导学生正确、理性对待社会的不良职业价值理念和人生观,形成积极、健康的职业价值观。
不可否认,传统的大课堂、传统的咨询与辅导将依旧坚守在课堂中,更多的是就业指导人员深入互联网,进入微信群,走进学生的网络社交空间,贴近学生的现实交往群体,就业指导人员将和就业求助人员将建立平等的对话关系,倡导关注学生体验,提升学生就业指导服务的满意度。
2.以生涯发展为基本点,熟练运用数据挖掘和分析技术,提升学生的就业质量
自职业规划大师舒伯提出以自我发展为核心的的生涯发展理论后,如何引导学生进行连续而又稳定的职业生涯规划和实践变成了就业指导的发展方向,这项工作则在大数据时代中走向了积极的实践阶段。高校就业指导部门将从海量的学生个人信息和劳动市场信息的挖掘与分析中,找寻个性不同、需求迥异、价值多元的个性化的就业指导服务类型来匹配学生的需求,届时,实时、在线的形势政策分析报告会与量身定做的“微服务”、“微自信”“微指导”将同时进入学生的移动职能终端中,比如在线职业倾向测评、在线面试指导、在线的求职策略,在线工作分析等,学生通过移动智能终端将大大提升他们的求职成功率。学生甚至可以根据个人喜好、需求选择不同的就业指导信息服务载体,学生将从传统的就业指导的接受对象反客为主,成为就业指导服务的的主体。就业指导管理及服务部门将因学生需求不同不断运用海量数据挖掘技术与分析技术,学生的数据将有效得到整合、挖掘、分析,数据潜在的价值将得以体现。高校就业服务部门随之探求企业需求规律、学生求职轨迹、市场及行业发展趋势,不同性别、不同地域、不同种族学生的求职,为学生提供更加真实和具体的就业信息服务,学生稳定就业、高校有效指导、劳动力市场需求得到有效反馈,最终实现三者的动态平衡。
3.避开盲点——保护求职者个人隐私,将成为大数据时代高校就业指导工作新亮点;
自从美国的斯洛登披露了棱镜事件之后,大数据无处不在的第三只眼使得互联网社会的公民都毫无任何隐私而言。学生在校期间的数据是否由于信息安全的不确定性将被社会上的不法机构或者不法分子侵占,作为不正当的使用。而青年学生普遍存在网络个人隐私保护意识淡薄,使得在就业系统系统中,学生的人格倾向、兴趣倾向、身体等个人隐私信息,如何被有效保护和有效识别,高校的学生工作服务系统,高校就业指导服务系统,等其他社会力量的多远参与,将是高校就业指导工作中数据隐私保护的多元力量。
4.倡导建立终生、多媒体、多渠道的教师学习模式,打造一支适应大数据时代就业指导的服务团队。
大数据时代的4个V(volume,Varity,Value,Velocity)在一方面提高了就业指导服务的效率的同时,也给就业指导人员提出了更高的挑战。大数据时代是云技术、分布式处理、数据挖掘和数据分析技术大张旗鼓的时代,数据勘探和数据分析软件可以通过提供实时反馈学生职业生涯规划的实现状况来帮助学生,教师可以使用这些工作来研究学生的职业发展模式并修正后期规划以便满足学生个人的需要,而这些都需要就业指导的人员对新技术、新媒体、新渠道、新的数据分析方法的理解、掌握和应用,只有不断学习,不断适应,才能打造一支业务过硬的就业指导队伍。
5.建立一个中心,两个基本点的线上与线下、实时与多时就业指导服务的绩效评价体系。
正如《世界是平的》所说,互联网的无线小与个人价值的无限大形成了一个极大的反差。在倡导个人主观体验,个人价值的大数据时代,就业服务的多媒体和多视角给就业服务的绩效评价体系新的思考方向。评价就业指导的服务,可以以学生主体满地度为中心,学生家庭、供职单位为两个基本点的线上与线下、实时与多时、多角度的就业指导辅导的绩效评价体系。以评促进,以评促改,以评促建,切实让高校在大数据多媒体的时代下最大程度地获得影响学生职业与就业行为的影响力。
参考文献:
[1]王国强沙嘉祥吴艺雄关于在教育业倡导顾客满意战略的一些想法第八届亚太质量组织(APQO)会议,2002年9月15日.
[2][日]城田真琴著,周自恒译大数据的冲击人民邮电出版社2013.6.
[3]白永生焦艳新媒体背景下就业指导课课程教学改革教育与职业2012.9第26期.
大数据加速安全产品协同化
现代战争需要协同陆、海、空各个兵种联合的力量才能有机会取得胜利,我们已经看不到依靠单一兵种能够取得战争胜利的例子。网络攻击如今就像置身于现代战争一样,不能只依靠终端或者防火墙等单一产品来防范和发现各类威胁和攻击了。
齐向东表示,传统网络安全防护模式已经无法应对日益频繁的,新的和更高级的网络攻击。在提出了数据驱动安全理念后,360在今年互联网安全大会上又提出了协同联动的安全理念。希望能够实现不同的安全设备之间的协同联动,来提升应对网络威胁的防护能力。
为了构建这样一个协同安全产品,360在2016年先后了新一代的威胁感知系统(360天眼)、新一代的终端安全系统(360天擎)、新一代智慧防火墙(360天堤)。现在只缺一个情报枢纽,将数据进行汇总分析协同响应,贯穿监测与防护整个体系,来达到智慧安全的协同,这就是今天的360态势感知与安全运营平台,也叫NGSOC。
根据Gartner的2016年安全信息与事件管理(SIEM)市场分析报告显示,在产品功能方面,国际SIEM厂商都在加入威胁情报、异常检测、行为监测、用户行为分析功能。领先的SIEM厂商则在将其产品与大数据平台进行整合。这说明结合大数据分析平台和威胁情报支持将是SOC产品的未来方向。
齐向东介绍, NGSOC自身具有很多的优势。首先,360创新性地将互联网大数据分析平台用在NGSOC中,能够实现海量数据的存储、实时挖掘和分析。对海量日志进行数据分析,是确保360态势感知和安全运营平台有异常行为发现的能力,使得平台可以更加准确及时地发现各种潜在威胁和攻击,并及时响应和处置。这也是国内第一个把实时的挖掘分析、告警、响应和处置联动起来的一套系统。
其次,态势感知和安全运营可视化分析技术,可以将企业内外部安全态势进行直观的呈现。在一个平台上既可以感知到企业外网即外部世界的安全态势,同时又能够可视化直观地展示企业内部即现在所面临的安全态势,NGSOC都能快速定位和处置并拓展分析,从而可以保障企业业务系统的顺利进行。
同时,360态势感知与安全运营平台对传统SOC的革新与丰富,基本上是符合、甚至是引领业界方向的。
智能、可视化的平台
作为一家从互联网起家的安全公司,360一直具有浓厚的互联网基因。360态势感知与安全运营平台也是360核心优势技术集中的一个产品,除了大数据分析等技术之外,另外一个就是可视化技术。据了解,360在三年之前就开始接触可视化技术,并参加了当时全球最大的一个竞赛项目,竞赛的目的就是将真实的数据拿过来进行可视化分析,看看它到底能给安全带来哪些帮助和作用。
360企业安全集团总裁吴云坤表示,“可视化分析的作用是这样,数据评比有时候是杂乱无章的,通过不同的眼睛和视觉,呈现出来的所谓的异常,包括一些规律性的东西,通过可视化可以让人通过肉眼的方式找到。” 可视化分析技术将企业内外部安全态势进行直观的呈现,使得企业的管理者能够实时掌握企业内的安全状况,甚至对行业、地域的安全态势进行对比;而对于安全运维人员,以资产和人为视角出发的安全管理,丰富的安全运维与服务工具,也会帮助提升日常的安全管理运维效率。
目前可视化技术已经在国内很多行业进行了应用,一些高校和竞赛中也开始对此进行研究和实践。通过可视化技术(不仅仅是数据,还有图片等等信息),还可以实现溯源分析,甚至在一些特殊机构中可以进行间谍行为分析。
2013年1月底,国双科技在北京正式宣布成立“国双数据中心”,该中心拥有基于OLAP技术的强大交互式数据挖掘平台,可以将数据仓库中的每一个数据通过上百个维度和指标进行关联、交叉、演绎,提供不同深度的分析报告,满足不同视角的数据挖掘和分析需求。当天,国双数据中心首次对外《2012中国互联网发展数据报告》和《2012中国政府网站发展数据报告》。
“基于海量在线数据和先进的网络营销云统计分析平台,国双数据中心将专注于数字化环境下的在线媒体研究和受众研究,并将定期互联网行业报告,向业界分享专业的在线媒体数据研究成果,促进产业发展。”祁国晟表示。
数据也“性感”
“球场上球员的表现不再是谁能进球谁的贡献最大了。”国双科技高级副总裁续扬表示,以足球为例,从门将开出球的那一刻,价值就产生了,哪个球员传出最具威胁对方的球?哪个球员在最关键的时刻盯住对方核心球员?一场比赛下来,功劳最大的不一定是最终进球的那个球员。
“同样,国双科技告诉广告主的不是用户最终达成交易的数据,而是整个用户选择的过程。”续扬认为,广告主往往很难判断,消费者的购买和市场推广有多大的关系,国双科技的职责就是帮助广告主精准地测算出广告的效果。
随着全球互联网的快速发展,越来越多的网络用户通过多种终端、多种平台输出数字内容,驱动整个互联网世界迈入到“大数据时代”,海量数据的运用已成为未来竞争和增长的基础,运用大数据分析用户特征并通过分析提升企业的业务价值,提高企业的核心竞争力。
来自国双科技数据中心的报告显示,数据对企业决策运营越来越重要,大数据时代来临,企业最终需要的是有价值的数据而不是大数据,通过海量数据挖掘用户特征,企业可获取有价值的用户信息,科学分析用户行为,是了解用户、贴近用户最为有效的方式,帮助企业明确品牌定位、优化营销策略。
今天的Facebook日均上传数据100TB,Twitter一天的发推量也会达到2.3亿,全球Email的发送量为2940亿封……企业毋庸置疑地正在迎来一个大数据时代。数据优化和数据分析将成为炙手可热的产业,国双科技也在把握这样一个发展契机。
可口可乐的粉丝喜欢留存可乐的瓶盖,他们会非常熟悉地将瓶盖上的13位字符串敲在网站上,然后满足地拿到可口可乐给他们的积分。事实上,这也包含了国双科技为可口可乐提供的一项专业技术:度量并优化在线渠道对13位字符串转化的贡献。
“我们每天需要分析所有登录iCoke官网的流量数据,然后通过各种分析工具的挖掘,让可口可乐的线上营销方案趋于更加合理。”国双科技国际业务总监吴铮介绍自己每天的工作,除此以外,他还要帮助客户建立从SEM(搜索引擎广告、SEO(搜索引擎优化)、UEO(用户体验优化)等在内的一系列基于效果的在线营销方式。
“通常我们会先帮客户建立一个KPI,这主要是让客户清楚如何去度量自己所投的各种在线广告。”吴铮用流量分析为例,他会把媒体拆分得非常细,哪些是自然流量,哪些是从SEM(搜索引擎营销)过来的,并且也会分析流量与搜索引擎的不同产品线之间有什么关系。不同的产品有不同的属性,衡量标准也各有不同。
树立行业“风向标”
如今,面对移动和社交快速发展的态势,没有人能够忽略其中蕴藏的机会。而国双数据中心的成立,也正式宣告让这样的机会更加明显地出现在消费者、广告主、商家面前。
在国双科技的《中国互联网发展数据报告2012》中显示:网民每日网购在上午10点达到最高峰;52%的消费者在访问4~6次网页后产生购买行为;在在线多媒体营销中,搜索媒体对消费者购买决策的贡献率达到58%,其次为垂直媒体。
定制化项目效率低下
艾瑞咨询集团(iResearch)是一家专注于网络媒体、电子商务、网络游戏、无线增值等新经济领域,深入研究和了解消费者行为,并为网络行业和传统行业客户提供市场调查研究和战略咨询服务的专业市场调研机构。
目前,艾瑞咨询集团可以向企业提供线下报告和软件两种定制化咨询报告服务。但是,企业客户的定制化需求非常多变,艾瑞咨询集团生成一份线下报告交付周期需要3至4周,提供软件的交付周期则需要半年。再加上项目所需人工成本升高、迭代周期延长,艾瑞咨询集团往往不敢承接太多定制化项目。
通过调研,笔者发现了艾瑞咨询集团的真正需求:根据时间维度和网站汇总对用户的来源地区、来路域名、页面访问次数、停留时间、有效访问次数、跳出率、回访者、新访问者、回访次数和回访相隔天数等相关数据进行统计分析,并且还能够在动态添加条件之后,通过对监测用户行为获得的数据进行分析,以最终得出更加详细、清楚的用户行为习惯。
因此,艾瑞咨询集团迫切需要一种更加敏捷、高效的大数据分析工具提升定制化业务的效率。
大数据面前:敏捷BI PK传统BI
在解决艾瑞咨询集团面临的难题时,传统BI的做法是,IT人员事先根据需求分析进行建模,建好二次表或打Cube并提前汇总好数据,业务人员才能在前端查看到分析结果的报表。虽然这种做法很成熟,但是解决不了艾瑞咨询集团的难题。
首先,业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改。例如,定好了求和或求平均数,再想改成求方差必须再去修改模型。
其次,分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较慢。
最后,有些企业的数据量很小,也需要按照此流程和架构来进行大费周折的数据分析。
造成这些问题的本质原因是,过去的技术架构针对海量数据的计算能力不足,企业用户需要通过建模、二次表、Cube提前进行数据运算汇总。
艾瑞咨询集团希望为企业客户提交这样一份分析报告,不仅能看还能动态分析。对于艾瑞咨询集团来说,数据展现应该是起点而不是终点。看到了数据,要能交互式分析、深入向下挖掘,要能发现问题并找到答案,还要能采取行动。与数据交互的过程要足够快,如果用户每次点击需要等三五分钟才出结果,就无法进行交互分析。
并且,分析报告应能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。同时,敏捷BI的实施和操作要简单化,让业务人员可直接使用。
同时,分析报告需求经常需要牵涉到数据层的改动,需要IT部门去改进数据层和业务层,传统BI平台需要一两个月才能完成模型梳理。敏捷BI无需事先建模,可以在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察力决策力。
与传统BI的重量建模、统一视图不同,敏捷BI采取轻量建模、N个视图的方法,不建二次表和Cube,数据导入后可以直接进行分析,并且业务人员可以实时调整分析的维度和度量的计算方式,极大地增加了灵活性,真正做到和数据对话。
既然有这么便捷的方式,为何传统BI不采用这种架构呢?那是因为,传统技术架构没有引入大数据技术,面对海量数据无法在用户点击后的几秒内就展现企业客户需要的分析结果,因此必须通过建模提前把数据汇总好,才能保证分析报表展现时的速度。
因此,实现敏捷BI的前提是采用新架构处理数据,其涉及的技术包括分布式计算、内存计算、列存储、库内计算等。敏捷BI可以通过更低的成本、更短的上线周期,快速让企业洞察到数据的含义和价值。
业务效率数倍提升
深入研究艾瑞咨询集团要分析的数据,笔者发现,艾瑞咨询集团每天要分析的数据量达几千万条,且不同企业客户的分析需求各不相同。因此,复杂多变的多维度分析需求对分析工具的分析性能提出了更高的挑战,而传统的数据库和Hadoop架构已经无法满足高性能和即时分析的需求。
为此,艾瑞咨询集团考察过国外一些知名的产品,但是当他们获知产品的价格和后续的服务费用之后只能放弃。而国内大多数的分析工具大多是上一代BI,需事先建模再进行分析,难以应对灵活的多维度分析变化需求,且针对大数据量的处理能力不能满足要求。
最终,艾瑞咨询集团选择了永洪敏捷BI技术。当艾瑞咨询集团将三个月的细节数据(约50亿条)导入敏捷BI系统,直接就可以展现出定制分析报告。对比原先基于Excel和SQL编程的分析方法,艾瑞咨询集团的业务效率获得数倍的提升:线下报告交付周期从3至4周缩短至小于1周,软件交付从半年缩短至一个月。
同时,艾瑞咨询集团原来由于担心需求变化导致没有能力交付的很多项目被收入囊中。采用敏捷BI工具后,艾瑞咨询集团可以在几天内快速搭建原型向客户展示,任意的需求变更都可以一周内调整完毕。这种快速原型试错的方式,使得艾瑞咨询集团有能力承接很多此类项目。
由于业务效率的极大提升,有能力承接更多的项目,艾瑞咨询集团的收入空间也出现了数倍的增长。与此同时,艾瑞咨询集团的客户满意度也稳步提升。
不仅如此,为了提供更加直观可交互的分析报告,提升企业用户体验,艾瑞咨询集团基于敏捷BI工具,构建了一个新型SaaS平台。艾瑞咨询集团把企业客户用Hadoop架构存储的数据,通过敏捷BI提供的接口导入到数据集市内,然后通过敏捷BI快速呈现出结果。
无人机视频采集。无人机具有极强的灵活性、便捷性和阔的视野,并可以实现远程视频直播,是对地面采集的有力补充。
车载移动图像采集。利用机动车(主要是汽车)机动性强的特点,加装车载移动视频装置,主要应用于区域范围大、受干扰因素多的区域问题采集。
无线图像专项采集。无线图像专项采集是利用2G/3G/4G、微波等通信技术智能视频分析、延时抓拍等技术将现场图像实(定)时回传到控制室。
“互联网+采集”模式兴起
城管APP应用兴起,市民五动增强。随着移动互联网技术的逐浙兴起,各地城管部门积极应变,先后开通了微博、微信的官方频道,还有一些城市开发了自己的APP。如杭州城管的“贴心城管”。
“云+端”服务模式,政府更专注于服务。随着云计算、互联网、物联网技术的成熟,政府将可以不再需要直接建设技术复杂、维护困难、建设成本高的应用系统(如数字城管信息系统),直接使用云端软件,将系统中的数据应用于公共管理和公共服务。而这一切(云、软件、数据等)都可以来自一家专业的信息服务公司。
大数据的应用成为精准采集的支柱
多维信息采集是城管大数据应用的基础。多维信息采集将引入智能视频、自动传感、RFID等物联网技术手段对信息进行自动感知、智能采集,实现对城市状态数据、城市运行数据、城市管理全要素数据的采集。
多维信息采集在大数据应用中体现在以下几方面。实时感知城市容貌,结合多维电子地图,可清晰看到街景实景,展现容貌状态评估内容、状态量化评价和状态分析报告。全面掌握容貌动态,通过对一段时间的城市运行数据分析,建立城市容貌评价统计表、容貌评价变化趋势、城市问题占比、主要问题发生分布图等,展现城市特定时间状态评价和状态报告。科学评估管理绩效,通过数据定期衡量各职能部门履行职责情况,自动生成管理成效综合评估报告。
2015年7月,国务院的《关于积极推进“互联网+”行动的指导意见》明确指出:能源要从生产、运输、消费各个环节,与互联网进行深度融合,实现从生产到消费的全方位变革,对我国能源发展将具有重大意义。互联网对解决能源利用效率不高、供需不匹配、产业活力不足等问题提供了必要的技术支撑。
互联网+传统能源:智能技术的引入推动能源革命
时至今日,在我国一次能源消费结构中,所占比重最大的仍是煤炭。在对煤炭行业出路的深入探索中,越来越多的目光锁定在了煤炭流通环节。引入“互联网+”的创新理念与应用技术,无疑将为煤炭运销体系带来颠覆式变革。据统计,目前国内有80多家电子交易平台涉及煤炭交易,部分煤炭企业甚至直接建立了自己的电子交易平台。特别是中煤集团,不断尝试以“互联网+煤炭”的思路来应对企业经营模式转型带来的挑战。它历时5年完成了ERP(企业资源规划)对整个集团的全覆盖,同时加强露天矿GPS卡车调度系统、固定岗位无人值守数字化矿山、O2O大宗煤炭电商平台等“乌金科技”的实际应用。此外,与工业4.0中的数字工厂相类似,数字化矿山建设正成为煤炭行业生产转型的重要环节,因为它实现了煤矿生产管理与计算机网络管理的一体化,通过远程化、自动化、无人化等技术手段,大幅降低了生产安全事故发生的概率并减轻了由此造成的损失。
石化行业的“互联网+”涉及生产、流通、消费的全产业链,渗透到产业互联网、消费互联网及金融互联网等各个领域。石化产品大多是危险化学品,传统物流效率低下,监管困难,事故频发,随着RFID(无线射频识别)技术的发展、物联网技术的运用,借助交通部推行的电子运单系统,未来危险化学品物流的发展方向是智能匹配、集约高效、可视化监管、平台化运营。在石化产业电商的推进过程中,加油站成为一个很好的结合点,它上游链接生产、物流、贸易企业,下游链接消费者,油品的商品属性、消费属性、金融属性在加油站这一节点上能够得到很好的呈现。目前,数字化油站的建设已经拉开序幕,未来油品与非油品的精准组合营销和油品跨行业的相互联通将成为主要的营销模式,消费者将享受到更加便捷多元的服务,甚至可以借助互联网平台进行储油理财。华东石油交易中心成功搭建加油站O2O管理平台,就是利用互联网技术,提供信息资讯服务、采购配送服务、油站信息化建设和运维及油站管理服务,进行品牌策划运营,并于2015年下半年开始在山东、北京选定了40家加油站进行试点,预计今年将建成1000家加油站O2O联盟并推出联盟加油卡。
互联网+新能源:能源可持续发展的必然趋势
我国太阳能技术的应用和发展有目共睹,目前已经成为全球第一大光伏应用市场,而“互联网+”带来的数据化、开放性,无疑将有助于该行业可持续发展。在东部沿海地区,分布式光伏系统已经模糊了电力生产者与电力消费者之间的界限。分布式光伏发电系统将光伏电池板、汇流箱置于家庭、企业办公楼、厂房等建筑物的屋顶,通过光伏逆变器、配电柜及其他设备直接将太阳能转化为电能,并入电网,实行“自发自用、余电上网、就近消纳、电网调节”的运营模式,能够有效解决电力在升压及长途运输中的损耗问题。同时,通过互联网搭建一个太阳能光伏项目运营资源整合平台,统筹技术研发、金融投资、生产运营等各项资源,提供一站式太阳能光伏电站体验服务,能够促进资源运用进一步优化。
在各类新能源开发中,风力发电是技术相对成熟并具备大规模开发和商业开发条件的发电方式。目前,风电设备的智能化趋势也越来越明显,利用智能风机和智慧风场管理平台,结合物联网、云计算技术,风场一切数据和运转情况全部可以实现远程监控。采用一体化解决方案将所有的电气控制都由一体化设计来完成,可以增加用户收益,提高可靠性和可用率,增加电量产出,降低成本。远景能源作为风电设备行业的后起之秀,已在智能风机的设计与制造、智能传感、云计算、大数据等技术应用上有了诸多尝试和探索。通过在风机上安装附带自我诊断功能的传感器,可实时监控风电机组的运行情况,如遇到运行故障,工作人员可选择远程复位重启,而非进行传统的拆开检修,让工作变得更便捷更精确。
互联网+能源管理:能源信息流的有效监控与分配
大数据的综合利用,正在构建“互联网+”能源管理新模式,进而实现能源数据与信息流的有效监控与分配。能源产业借助互联网打造智能化能源管理平台和数据中心,以此整合全国乃至全球的能源数据,可以实现组织公共资源,提供数据存储、实时监控、可视化管理、数据分析、风险控制、能效分析等功能。构建行业级的应用和服务平台十分重要,互联网只有掌握大量数据并进行更多有效分析,才能提供有针对性的服务,进而管理能源消耗。
基于互联网下的能源大数据管理服务平台将企业与社会公用能耗统计由过去的后置变为前置。对能源行业本身来说,其最大作用是将原本分散的能源数据统筹分配、合理协调,通过对来自于各能源企业的数据进行统一分析比较,为行业发展方向提供数据支持,并达到节能减排的目的;对于节能行业公司来说,充分使用大数据及互联网技术,能加大节能力度,增加透明度,对于融资、运营都有很大的帮助;对于政府部门来说,互联网可以为能源监管提供便利,提高其工作效率,为政府决策提供依据;对于能源单位来说,可以将企业纳入到整个行业当中,并从数据中得出清晰明确的分析报告。