相关文章
更多最近更新
更多Hadoop in Action
2019-03-25 21:50|来源: Chuck Lam
DESCRIPTION
Big data can be difficult to handle using traditional databases.Apache Hadoop is a NoSQL applications framework that runs on distributed clusters. This lets it scale to huge datasets. If you need analytic information from your data, Hadoop’s the way to go.
Hadoop in Action introduces the subject and teaches you how to write programs in the MapReduce style. It starts with a few easy examples and then moves quickly to show Hadoop use in more complex data analysis tasks. Included are best practices and design patterns of MapReduce programming.
This book requires basic Java skills. Knowing basic statistical concepts can help with the more advanced examples.
WHAT’S INSIDE
Introduction to MapReduce
Examples illustrating ideas in practice
Hadoop’s Streaming API
Other related tools, like Pig and Hive
About the Author
Chuck Lam is a Senior Engineer at RockYou! He has a PhD in pattern recognition from Stanford University.
WHAT REVIEWERS ARE SAYING
“I really love this book, is made for normal people just trying to get something done. The streaming coverage is perty good, it’s the best book for python type of people I’ve seen.”
Hadoop in Action teaches readers how to use Hadoop and write MapReduce programs. The intended readers are programmers, architects, and project managers who have to process large amounts of data offline. Hadoop in Action will lead the reader from obtaining
相关问答
更多-
你要做应用开发还是系统管理？应用开发只需要理解MapReduce模型，Hadoop的API就够了
-
关于hadoop的问题，进来看看呀[2023-07-31]
java是执行文件，不是目录 java path默认是java_home/bin/目录 这个目录底下应该 java和javac等文件 -
hadoop fs -mkdir /input hadoop:未找到命令[2022-04-23]
如果你已经进入hadoop/bin目录下，应该是 ./hadoop fs -mkdir /input 如果你没有进入hadoop/bin目录，你应该打全路径或相对路径 假设你的hadoop安装在/home/hadoop下，你可以打 /home/hadoop/bin/hadoop fs -mkdir /input 一般情况下你都在/home/hadoop默认目录下，你可以打 bin/hadoop fs -mkdir /input -
虽然传统的Hadoop集群将数据存储在HDFS （Hadoop分布式文件系统）中，但建议Amazon EMR集群将其源数据和最终输出存储在Amazon S3中 。 使用Amazon S3进行存储可带来以下好处 ： 无限存储（而HDFS是群集中的固定大小） 持久数据存储（当Amazon EMR集群终止时，HDFS中的数据丢失） 更容易与知道如何读/写Amazon S3的其他系统集成 许多Hadoop服务可以与Amazon S3本地交互，而不是通过引导操作从Amazon S3加载数据。 例如，这是一个Hive命 ...
-
你的任务有几个问题。 正如你所看到的，Hadoop本身不处理图像。 但是，您可以将所有文件名和路径作为文本文件导出，并调用一些Map函数。 因此，对本地磁盘上的文件调用ImageMagick应该不是什么大问题。 但是 ，你如何处理数据局部性？ 您无法在HDFS中的文件上运行ImageMagick（只有Java API和FUSE挂载不稳定），并且无法预测任务计划。 因此，例如，可以将映射任务安排到图像不存在的主机。 当然你可以只使用一台机器和一项任务。 但是你没有改进。 然后你会有一堆开销。 从Java任务中 ...
-
问题解决了：
oozie.use.system.libpath true oozie.use.system.libpath true -
Oozie Hadoop Streaming(Oozie Hadoop Streaming)[2022-04-18]
能够通过在Workflow.xml中添加以下内容来解决此问题 HADOOP_USER_NAME = $ {WF：用户（）} Able to fix this by adding below in Workflow.xml HADOOP_USER_NAME=${wf:user()} -
我想出了自己的问题 在应对ssh密钥时 你需要添加打开和关闭 -----开始RSA私钥----- ############################################################### ################################################################ ################################################################ ############# ...
-
我刚刚在Bluemix Analytics for Apache Hadoop服务上测试了一个Oozie Java Action，并且可以确认它是否有效。 I have just tested an Oozie Java Action on the Bluemix Analytics for Apache Hadoop service and can confirm that it worked.
-
设置数据节点时Hadoop中的特权操作异常？(Privileged action exception in Hadoop while setting up data nodes?)[2022-05-03]
我得到了这个工作。 虽然解决方案是微不足道的，但我想在此发布，以便其他新手Hadoopers可能会受益。 1）在master（ nameNode ）和所有从属（ dataNodes ）中都有core-site.xml ， hdfs-site.xml和mapred-site.xml的完全副本。 我认为master中的core-site.xml和mapred-site.xml并不重要。 但它是。 他们打开他们听的端口。 在这些端口上， dataNode可以到达nameNode 。 2）当您在master上运行j ...