|本期目录/Table of Contents|

[1]刘黎志,何经纬.空气质量监测大数据区间的统计问题[J].武汉工程大学学报,2019,(02):179-183.[doi:10. 3969/j. issn. 1674?2869. 2019. 02. 015]
　LIU Lizhi,HE Jingwei.Big Data Interval Statistics for Air Quality Monitoring[J].Journal of Wuhan Institute of Technology,2019,(02):179-183.[doi:10. 3969/j. issn. 1674?2869. 2019. 02. 015]
点击复制

空气质量监测大数据区间的统计问题(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
期数:
2019年02期
页码:
179-183
栏目:
机电与信息工程
出版日期:
2019-04-18

文章信息/Info

Title:
Big Data Interval Statistics for Air Quality Monitoring
文章编号:
20190215
作者:
刘黎志; 何经纬
智能机器人湖北省重点实验室（武汉工程大学），湖北 武汉 430205
Author(s):
LIU Lizhi;  HE Jingwei
Hubei Key Laboratory of Intelligent Robot （Wuhan Institute of Technology）， Wuhan 430205， China
关键词:
协处理器; 大数据; 区间统计; HBase
Keywords:
co-processor;  big data; interval statistics;  Hbas
分类号:
TP311
DOI:
10. 3969/j. issn. 1674?2869. 2019. 02. 015
文献标志码:
A
摘要:
为降低客户端和服务端之间的远程过程调用（RPC）通讯，提高对存储空气质量监测数据的HBase表的区间统计效率，提出了一种基于协处理器的大数据区间统计方法。使用终端协处理器可以将区间统计过程放在服务端运行，通过特定的协议将区间统计所需的参数从客户端传递到服务端，协处理器调用结束后，将结果返回到客户端，客户端对返回的消息进行处理汇总，最终得到区间统计结果。实验证明，使用终端协处理器进行空气质量监测数据区间统计较使用客户端扫描方式至少快一个数量级，极大地提高了统计效率。
Abstract:
To reduce the remote procedure call communications between the client and the server， and improve the interval statistical efficiency of the HBase table that stores air quality monitoring data， we proposed a big data interval statistics method based on co-processor. Interval statistics process was put into an endpoint co-processor running on server side， then the required parameters for interval statistics were transmitted from the client to the server through a specific protocol. The response message which was processed and summarized was returned to client when calling co-processor was finished， thus the interval statistics result was finally obtained. The experiments prove that using endpoint co-processor to do interval statistics for air quality monitoring data is at least one order of magnitude faster than using client scan method， so the statistics efficiency is promoted dramatically.

参考文献/References:

1］　中华人民共和国环境保护部. 环境空气质量标准： GB 3095-2012［S］. 北京：中国环境科学出版社， 2012. ［2］　中华人民共和国环境保护部. 环境空气质量指数AQI技术规定： HJ 633-2012［S］. 北京： 中国环境科学出版社， 2012. ［3］　中华人民共和国环境保护部. 环境空气质量评价技术规范（试行）： HJ 663-2013［S］. 北京： 中国环境科学出版社， 2013. ［4］　王珊， 王会举， 覃雄派，等. 架构大数据： 挑战、现状与展望［J］. 计算机学报， 2011， 34（10）： 1741-1751. ［5］　孟小峰， 慈祥. 大数据管理：概念、技术与挑战［J］. 计算机研究与发展， 2013， 50（1）： 146-169. ［6］　陈吉荣，乐嘉锦.基于Hadoop生态系统的大数据解决方案综述［J］.计算机工程与科学，2013，35（10）： 25-35. ［7］　MBARKA S， FOUTSE K， SOFIENE T. Task scheduling in big data platforms： a systematic literature review［J］. The Journal of Systems & Software，2017，134： 170-189. ［8］　YI Z， SHUBBHI T， GAUTAM D， et al. Towards thermal-aware Hadoop clusters［J］. Future Generation Computer Systems， 2018， 88： 40-54. ［9］　WU W T， LIN W W， HSU C H， et al. Energy-efficient hadoop for big data analytics and computing： A systematic review and research insights［J］. Future Generation Computer Systems， 2018， 86： 1351-1367. ［10］　Apache Software Foundation. Apache Hadoop［EB/OL］. （2014-06-30）［2018-09-06］. http：//hadoop.apache.org. ［11］　Apache Software Foundation. Apache HBase ［EB/OL］. （2014-10-16）［2018-10-18］. http：//hbase.apache.org. ［12］　MINGJIE L， EUGENE K， ANDREW P. Coprocessor introduction ［EB/OL］. （2012-02-01）［2018-10-26］. https： // blogs . apache . org / hbase / entry / coprocessor_ introduction. ［13］　VASHISHTHA H， STROULIA E. Enhancing query support in HBase via an extended coprocessors framework［C］//4th European Conference on Towards a Service-Based Internet. Berlin： Springer-Verlag， 2011：75-87. ［14］　HAN D， STROULIA E. A three-dimensional data model in HBase for large time-series dataset analysis［C］//IEEE 6th International Workshop on the Maintenance and Evolution of Service-Oriented and Cloud-Based Systems（MESOCA）. Piscataway： IEEE， 2012：47-56. ［15］　刘黎志，吴云韬. 环境空气质量监测大数据存储模式研究［J］.环境科学与技术，2016，39（5）： 123-128. ［16］　刘黎志， 邓介一， 吴云韬. 基于HBase的多分类逻辑回归算法研究［J］. 计算机应用研究， 2018， 35（10）： 3007-

相似文献/References:

[1]殷秀叶.大数据环境下的相似重复记录检测方法[J].武汉工程大学学报,2014,(09):66.[doi:103969/jissn16742869201409013]
　YIN Xiu ye.Method for detecting approximately duplicate database records in big data environment[J].Journal of Wuhan Institute of Technology,2014,(02):66.[doi:103969/jissn16742869201409013]
[2]刘黎志,彭　贝.Spark集群中还贷问题的逻辑回归模型研究[J].武汉工程大学学报,2020,42(01):113.[doi:10.19843/j.cnki.CN42-1779/TQ.201907020]
　LIU Lizhi,PENG Bei.Logistic Regression Model for Loan Repayment in Spark Cluster[J].Journal of Wuhan Institute of Technology,2020,42(02):113.[doi:10.19843/j.cnki.CN42-1779/TQ.201907020]
[3]彭　贝,刘黎志*,杨　敏,等.基于Hive的空气质量大数据查询优化方法[J].武汉工程大学学报,2020,42(04):467.[doi:10.19843/j.cnki.CN42-1779/TQ.202003009]
　PENG Bei,LIU Lizhi*,YANG Min,et al.Hive-Based Query Optimization for Air Quality Big Data[J].Journal of Wuhan Institute of Technology,2020,42(02):467.[doi:10.19843/j.cnki.CN42-1779/TQ.202003009]

备注/Memo

备注/Memo:
收稿日期：2018-11-29作者简介：刘黎志，硕士，副教授。E-mail：[email protected]基金项目：武汉工程大学第十届研究生教育创新基金引文格式：刘黎志，何经纬. 空气质量监测大数据区间的统计问题［J］. 武汉工程大学学报，2019，41（2）：179-183.
更新日期/Last Update: 2019-04-20