关键词：煤炭开采 大数据处理 分布式 服务器集群 存储技术 

摘要：针对我国煤炭开采技术已步入机械化、自动化、智能化无人开采及建设智慧矿山阶段,煤炭开采与其他工业领域一样逐步进入新的依靠数据生产的时代,由此产生的海量数据处理的问题,提出构建煤炭开采的大数据处理平台。在分析了我国煤炭开采生产中产生的数据量大、多样性、时效性强、数据失真可能性大、预判性要求高、数据价值密度低等特点,提出了以大数据理论和技术为基础,从硬件和软件两部分架构平台。硬件部分:提出基于原有信息化建设所选配服务器基础上,应用服务器集群技术搭建服务器集群,对其进行升级改配,不足部分再根据运行需要不断增配和调整;对集群服务器中的结点名称服务器内存大小,根据管理文件数量多少、文件块的大小、管理服务器的数量及每个服务数据的存储量,并结合服务器CPU的虚拟内核数及超线程数计算出其内存配置;对于服务器的CPU,提出主结点服务器用多内核多线程的CPU;对于集群存储系统,提出将服务器应用软件存储与海量数据储存分离,服务器本机选用固态盘用于存储应用软件,海量数据存储系统采用网络接入存储和存储区域网络集成整合模式,实现数据统一、集中管理、扩充容易、容错,保障网络无单点故障,提高集群I/O速度。软件部分:经分析平台构建需满足实现批量处理和流式计算及透明性,实现增量计算、分布式内存并行计算、高可用高可扩展的内存计算;满足煤炭开采生产中对各类数据的计数、求和、平均等计算,各类大量实时数据采集传感器数据的融合决策中的方差、标准差等实时计算等需要;满足多维度、长时间、多次重新计算等需要,提出采用Hadoop及Storm为主构建分布式大数据处理系统,其服务器操作系统用CentOS、日志消息处理用Flume软件、数据接入缓冲用kafka软件等关键技术,平台数据可视化

煤炭学报杂志要求:

{1}来稿请在末页附上第一作者简介（包括姓名、出生年、籍贯、性别、民族、职称、学位、研究方向、联系电话、电子信箱）以及工作单位、详细通信地址、邮政编码。

{2}必须是作者独立取得的原创性、学术研究成果，不侵犯任何著作权和版权，不损害第三方的其他权利，引用部分文字的要在参考文献中注明，署名和作者单位无误，切勿一稿多投，文责自负。

{3}题名：简明、具体、概括文章的要旨，一般不超过20个汉字。题名中应避免使用非公知公用的缩略语、字符、代号以及结构公式。

{4}参考文献置于文末，以阿拉伯数字外加方括号（如“［1］”）标序。

{5}关键词论著须分别在中、英文摘要后标引2～5个中、英文关键词。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社