大数据处理技术领域比较复杂,变化节奏很快,如何学习运用这些技术变得不知从何处下手。Hadoop是一种开源大数据处理技术框架,已经成为业界大数据处理技术的事实标准。对于想从事大数据处理工作的人来说,是绕不过Hadoop的。《Hadoop基础教程》是一本学习Hadoop入门的图书,进入大数据处理绝好途径之一。这本书可以帮助读者理解什么是Hadoop、Hadoop是如何工作的、以及我们如何通过Hadoop从海量的数据中获取有价值的数据信息。
这次试读是本书的第一章和第四章。第一章详细介绍了Hadoop的产生历史背景,Hadoop是什么,业界使用Hadoop的情况。Hadoop的作者Doug Cutting也是开源网页搜索引擎Nutch的作者,其在开发Nutch同时其受到Google的两篇著名的论文GFS与MapReduce的启发,开发了这个分布式大数据处理框架,并以他儿子喜爱的玩具象Hadoop来命名,也可以这么说Hadoop是开源GFS与MapReduce的技术实现,设计运行在低成本的硬件做成的集群平台来处理大规模的数据集。在本章中介绍了Hadoop的组成部分:HDFS、MapReduce。HDFS是一个可以存储极大数据集的文件系统,它是通过向外扩展方式构建的主机集群。MapReduce是一个数据处理范式,它规范了数据在两个处理阶段(被称为Map和Reduce)的输入和输出,并将其应用于任意规模的大数据集。MapReduce与HDFS紧密结合,确保在任何情况下,MapReduce任务直接在存储所需数据的HDFS节点上运行。
第四章介绍如何使用Hadoop重要组成部分之一MapReduce来解决实际问题。从编程角度来看,问题的解决在于如何编写符合要求的MapReduce程序。从本章中我们可以学习使用Hadoop Streaming脚本语言(Ruby、Python等)编写map和reduce任务;如何利用ChainMapper在一个作业中执行多个mapper任务;如果利用Distributed Cache在所有节点间共享数据;通过MapReduce Web UI了解任务状态信息和debug日志进行高效的作业分析。
总的来说,这本书是一本hadoop基础入门的好书,书中提供了详细的实例帮助我们更好掌握Hadoop技术。同时有Hadoop开发经验的技术人员也适用,对于可以进一步加深对Hadoop的理解。
相关推荐
很不错的hadoop基础教程,就是书有点老了,可以作为基础拿来看
大数据Hadoop视频教程大数据Hadoop视频教程大数据Hadoop视频教程
Hadoop基础讲解
hadoop教程ppt.ppt
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
hadoop系列教程详细讲解hadoop的安装和实例讲解,包括HDFS和MapReduce的实例。
大数据之Hadoop学习教程+笔记合计_超详细完整.zip
hadoop基础入门,便于初学者及高级程序员快速学习hadoop
Hadoop入门教程 Hadoop开发者 2010入门专刊 出品Hadoop技术论坛
Hadoop安装教程_单机_伪分布式配置
网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。
hadoop中文基础教程
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
Hadoop教程.pdf
hadoop入门教程,ubuntu 下 安装配置 hadoop,Eclipse 连接hadoop开发程序入门
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04