• 西安外事学院在省茶艺大赛中创多项佳绩西安外事学院-陕西教育新闻 2019-10-25
  • 人民网评:让军人成为全社会最尊崇的职业 2019-10-17
  • 新规:续航150公里以下新能源车取消补贴 2019-10-11
  • 法国革命时代,女人流行穿什么 2019-10-11
  • 黑龙江省县(市、区)委统战部长培训班举办 2019-10-06
  • “夏季第一瓜”竟是它! 2019-10-06
  • 《阿古顿巴》藏语版在藏语卫视首播 2019-09-06
  • 晋中市“三同步”推动互联网治理创新 2019-08-27
  • 法媒:研究称美国人常用药物或增加抑郁风险 2019-08-27
  • 宝贝是地名,你能想到这么浪漫的地名在哪儿吗? 2019-08-15
  • 何树山副省长到方圆机电调研指导工作 2019-08-15
  • 三分赛车彩票可靠吗:Hadoop参考设计的实现及性能:HiBench性能测试

    来源:本网整理

    彩票双色球历史开奖结果 www.s9h6.com 该工具在业界引起巨大反响。总结该成果的发表论文The HiBench benchmark suite: Characterization of the MapReduce-based data analysis[]被广泛引用,仅国际权威学术期刊IEEE上发表的引用它的论文就有7篇之多。Intel已将该工具的源代码提交给Apache,社区反映相当热烈。

    Hadoop参考设计的实现及性能:HiBench性能测试

    IEEE论文链接

    //ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=5452747

    下载地址

    https://github.com/intel-hadoop/HiBench

    测试准备:

    1. 从https://github.com/intel-hadoop/HiBench上下载HiBench到主节点上。

    2. 打开hibench-master/bin/hibench-config.sh,在第27-30行中补上Hadoop目录位置:

    HADOOP_EXECUTABLE= /usr/lib/hadoop/conf/bin/hadoop

    HADOOP_CONF_DIR = /usr/lib/hadoop/conf

    HADOOP_EXAMPLES_JAR=/usr/lib/hadoop/hadoop-examples-1.0.3-Intel.jar

    在/usr/lib/hadoop/conf目录下,打开hadoop-env.sh,27行去掉#号,改为

    exportJAVA_HOME=/usr/java/latest

    3. 打开hive和hbase功能;参数都在各个测试目录下的conf目录中设置,之后在bin目录中执行。

    Hibench-dfsioe

    测试目的:

    通过同时执行大量读写任务来测试集群的吞吐量,包括每个map任务的I/O速率和吞吐量,以及HDFS的综合吞吐量。

    参数设置:

    RD_NUM_OF_FILES=256

    RD_FILE_SIZE=200

    WT_NUM_OF_FILES=256

    WT_FILE_SIZE=100

    测试命令:

    在dfsioe/bin下依次执行 prepare-read.sh,run-read.sh,run-write.sh。

    测试通过准则:

    在hibench.report中输出:

    Hadoop参考设计的实现及性能:HiBench性能测试

    Hibench-nutchindexing

    MapReduce最重要的用途之一就是大规模搜索索引。该测试会自行产生大量的web数据,然后通过nutch搜索引擎来搜索以及索引这些数据。

    参数设置:

    PAGES=100000

    NUM_MAPS=96

    NUM_REDS=48

    测试命令:

    在nutchindexing/bin下依次执行 prepare.sh,run.sh。

    测试通过准则:

    在hibench.report中输出:

    Hadoop参考设计的实现及性能:HiBench性能测试

    Hibench-bayes

    测试目的:

    MapReduce的另一个功能就是大规?;餮?,该测试同样会自行产生大量数据以供Mahout机器学习库处理。

    参数设置:

    PAGES=40000

    CLASSES=100

    NUM_MAPS=96

    NUM_REDS=48

    NGRAMS=3

    测试命令:

    在bayes/bin下依次执行 prepare.sh,run.sh。

    测试通过准则:

    在hibench.report中输出:

    Hadoop参考设计的实现及性能:HiBench性能测试

    Hibench-hivebench

    测试目的:

    这个负载的开发基于SIGMOD 09的一篇论文“A Comparison of Approaches to Large-Scale Data Analysis”和HIVE-396,包含执行典型OLAP查询的Hive查询(Aggregation and Join),使用自动生成的Web数据,Web数据中的链接符合Zipfian分布。

    参数设置:

    NUM_MAPS=96

    NUM_REDS=48

    测试命令:

    在hivebench/bin下依次执行 prepare.sh,run-aggregation.sh,run-jion.sh。

    测试通过准则:

    在hibench.report中输出:

    Hadoop参考设计的实现及性能:HiBench性能测试

    测试结果:

    Hadoop参考设计的实现及性能:HiBench性能测试

    测试结果:

    Hadoop参考设计的实现及性能:HiBench性能测试

    Hadoop参考设计的实现及性能:HiBench性能测试

  • 本文相关:
  • Hadoop参考设计的实现及性能:HBase应用性能测试方法
  • 利用CentOS系统IPtables防火墙添加360网站卫士节点IP白名单
  • 了解Lambda表达式和接口类更改如何使得Java 8成为一种新语言
  • Hadoop参考设计组组件及关键步骤:Linux系统安装(二)
  • Hadoop参考设计组组件及关键步骤(一)
  • Hadoop参考设计组组件及关键步骤:Apache Hadoop英特尔分发版安装(三)
  • 利用IBM Bluemix快速且轻松地扩展您的应用程序能力
  • IBM Rational案例及和故障排除技巧
  • 开源Hadoop HDFS高可用性介绍、安装与配置
  • 使用OpenStack云操作系统为私有云构建Linux和Windows映像
  • 免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 彩票双色球历史开奖结果 - 频道导航
    Copyright © 2017 彩票双色球历史开奖结果 www.s9h6.com All Rights Reserved
  • 西安外事学院在省茶艺大赛中创多项佳绩西安外事学院-陕西教育新闻 2019-10-25
  • 人民网评:让军人成为全社会最尊崇的职业 2019-10-17
  • 新规:续航150公里以下新能源车取消补贴 2019-10-11
  • 法国革命时代,女人流行穿什么 2019-10-11
  • 黑龙江省县(市、区)委统战部长培训班举办 2019-10-06
  • “夏季第一瓜”竟是它! 2019-10-06
  • 《阿古顿巴》藏语版在藏语卫视首播 2019-09-06
  • 晋中市“三同步”推动互联网治理创新 2019-08-27
  • 法媒:研究称美国人常用药物或增加抑郁风险 2019-08-27
  • 宝贝是地名,你能想到这么浪漫的地名在哪儿吗? 2019-08-15
  • 何树山副省长到方圆机电调研指导工作 2019-08-15
  • 大乐透基本走势图表图2 全天江苏快3精准免费计划 甘肃快3助手下载 lol哪个大区高手多 彩宝贝 飙车游戏破解版下载 极速飞艇开奖结果历史记录 海南体彩电话销售 网上怎么赚钱 刘伯温三肖中特马 买大小单双技巧 彩经网杀号定胆 双色球合买软件推荐 湖北十一选五走势图 宁夏11选五开奖结果