Hadoop
Hadoop集群datanode磁盘不均衡的解决方案
Hadoop集群datanode磁盘不均衡的解决方案
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,当hdfs出现不平衡状况的时候,将引发很多问题。...
(0)人顶过2016-09-26
Hadoop MapReduce如何进行WordCount自主编译运行
Hadoop MapReduce如何进行WordCount自主编译运行
上次我们已经搭建了Hadoop的伪分布式环境,并且运行了一下Hadoop自带的例子–WordCount程序,展现良好。但是大多数时候还是得自己写程序,编译,打包,然后运行的,所以做一次自编译打包运行的实验。...
(0)人顶过2016-09-26
实现R与Hadoop联合作业的三种方法
实现R与Hadoop联合作业的三种方法
实现R与Hadoop的联合作业,R就拥有了在分布式文件系统(HDFS)上处理大数据的能力。本文的目的就是阐述实现二者联合作业的不同技术。但同时,这几种方法也各有利弊。...
(0)人顶过2016-06-23
暴风某站Elasticsearch未授权访问和Hadoop未授权访问
暴风某站Elasticsearch未授权访问和Hadoop未授权访问
任意命令执行 广州银行信用卡中心链接:http: creditcard gzcb com cn mall ui giftIndex action存在Struts S2-032风险,如图可以上传文件、可知代码执行 可正常上传jsp文件等 广...
(0)人顶过2016-06-22
简单总结Hadoop和Spark集群技术的不同点
简单总结Hadoop和Spark集群技术的不同点
这篇文章主要介绍了简单总结Hadoop和Spark集群技术的不同点,一般情况下人们普遍认为Spark的性能要比Hadoop好很多,需要的朋友可以参考下...
(0)人顶过2016-06-22
云上运行 Hadoop 会面临哪些挑战
云上运行 Hadoop 会面临哪些挑战
在云上运行Hadoop,很多人担心性能。因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。确实,在云上运行Hadoop对平台方还是面临一些挑战的,下面主要讲...
(0)人顶过2016-06-11
呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性
呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性
Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。...
(0)人顶过2016-06-11
部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation
部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation
hadoop1的核心组成是两部分,即HDFS和MapReduce。在hadoop2中变为HDFS和Yarn。新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。...
(0)人顶过2016-06-01
Hadoop 2.x伪分布式环境搭建详细步骤
Hadoop 2.x伪分布式环境搭建详细步骤
这篇文章主要为大家详细介绍了Hadoop 2.x伪分布式环境搭建详细步骤,感兴趣的朋友可以参考一下...
(0)人顶过2016-05-23
elk+kafka+rsyslog+hadoop-hdfs+zookeeper搭建及其应用笔记
elk+kafka+rsyslog+hadoop-hdfs+zookeeper搭建及其应用笔记
本人之前搭建elkredis架构收集日志,出现瓶颈,现使用新架构(elskafkarsysloghadoop-hdfszookeeper),解决方案。 二:搭建过程A rsyslogd服务通过对 rsyslog官方...
(0)人顶过2016-05-04
PentahoWorkwithBigData(七)——从Hadoop集群抽取数据
PentahoWorkwithBigData(七)——从Hadoop集群抽取数据
一、把数据从HDFS抽取到RDBMS1 从下面的地址下载示例文件。 http: wiki pentaho com download attachments 23530622 weblogs_aggregate txt zip?version=1modificationDate=13270678580002 用下面的命...
(0)人顶过2016-05-04
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
Hadoop的专家们审查流程时发现几个常见的经常性的优化模式,并在此基础上,我们决定开始一个新的实验项目,同时优化Hadoop平台开发者和Hadoop使用者的时间。这就是Dr.Elephant的诞生过程。...
(0)人顶过2016-04-21
Hadoop 如何推动现代数据仓库技术的变革
Hadoop 如何推动现代数据仓库技术的变革
2006年雅虎等团队开始研发Hadoop技术至今已整整十年。在此之间技术发展迅速,Hadoop上的生态系统逐渐扩大。各个行业的用户逐渐开始基于这一新的技术来开发全新的应用,甚至将原先的应用向Hadoop之上进行迁...
(0)人顶过2016-04-21
WOT2016黄慧攀:海量日志处理可以不用Hadoop或Spark
WOT2016黄慧攀:海量日志处理可以不用Hadoop或Spark
4月14-15日在北京珠三角JW万豪酒店,bitsCN将举办WOT互联网运维与开发者峰会。WOT秉承专注技术,服务技术人群的理念,自 2012年首次举办以来,历经4届,积累了大量的技术资源,成为广大技术从业者和技术爱...
(0)人顶过2016-04-09
不同Hadoop上的SQL数据库引擎如何适配BI工作
不同Hadoop上的SQL数据库引擎如何适配BI工作
Hadoop上的SQL引擎Impala是一种新型查询系统基准,发现Spark和Hive在BI的工作负载中有自己的优势与弱势。根据最新的基准,三个主要的SQL-on-Hadoop引擎,Apache Impala 2.3, Apache Spark 1.6 和Apache Hi...
(0)人顶过2016-03-29
    共9页/129条
  1. 首页
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10. 9
  11. 末页
武松娱乐注册