知识点
相关文章
更多最近更新
更多Hadoop storm大数据分析 知识体系结构
2019-03-02 23:52|来源: 网路
最近工作工作有用到hadoop 和storm，最近看到一个网站上例句的hadoop 和storm的知识体系。所以列出来供大家了解和学习。来自哪个网站就不写了以免以为我做广告额。
目录结构知识点还是挺全的，可以按照点学习。
| 一、Hadoop入门，了解什么是Hadoop | 二、分布式文件系统HDFS，是数据库管理员的基础课程 |
| 1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外Hadoop应用案例介绍 4、国内Hadoop的就业情况分析及课程大纲介绍 5、分布式系统概述 6、Hadoop生态圈以及各组成部分的简介 7、Hadoop核心MapReduce例子说明 |
1、分布式文件系统HDFS简介 2、HDFS的系统组成介绍 3、HDFS的组成部分详解 4、副本存放策略及路由规则 5、NameNode Federation 6、命令行接口 7、Java接口 8、客户端与HDFS的数据流讲解 9、HDFS的可用性（HA） |
| 三、初级MapReduce，成为Hadoop开发人员的基础课程 | 四、高级MapReduce，高级Hadoop开发人员的关键课程 |
| 1、如何理解map、reduce计算模型 2、剖析伪分布式下MapReduce作业的执行过程 3、Yarn模型 4、序列化 5、MapReduce的类型与格式 6、MapReduce开发环境搭建 7、MapReduce应用开发 8、更多示例讲解，熟悉MapReduce算法原理 |
1、使用压缩分隔减少输入规模 2、利用Combiner减少中间数据 3、编写Partitioner优化负载均衡 4、如何自定义排序规则 5、如何自定义分组规则 6、MapReduce优化 7、编程实战 |
| 五、Hadoop集群与管理，是数据库管理员的高级课程 | 六、ZooKeeper基础知识，构建分布式系统的基础框架 |
| 1、Hadoop集群的搭建 2、Hadoop集群的监控 3、Hadoop集群的管理 4、集群下运行MapReduce程序 |
1、ZooKeeper体现结构 2、ZooKeeper集群的安装 3、操作ZooKeeper |
| 七、HBase基础知识，面向列的实时分布式数据库 | 八、HBase集群及其管理 |
| 1、HBase定义 2、HBase与RDBMS的对比 3、数据模型 4、系统架构 5、HBase上的MapReduce 6、表的设计 |
1、集群的搭建过程讲解 2、集群的监控 3、集群的管理 |
| 九、HBase客户端 | 十、Pig基础知识，进行Hadoop计算的另一种框架 |
| 1、HBase Shell以及演示 2、Java客户端以及代码演示 |
1、Pig概述 2、安装Pig 3、使用Pig完成手机流量统计业务 |
| 十一、Hive，使用SQL进行计算的Hadoop框架 | 十二、Sqoop，Hadoop与rdbms进行数据转换的框架 |
| 1、数据仓库基础知识 2、Hive定义 3、Hive体系结构简介 4、Hive集群 5、客户端简介 6、HiveQL定义 7、HiveQL与SQL的比较 8、数据类型 9、表与表分区概念 10、表的操作与CLI客户端演示 11、数据导入与CLI客户端演示 12、查询数据与CLI客户端演示 13、数据的连接与CLI客户端演示 14、用户自定义函数（UDF）的开发与演示 |
1、配置Sqoop 2、使用Sqoop把数据从MySQL导入到HDFS中 3、使用Sqoop把数据从HDFS导出到MySQL中 十三、Storm1、Storm基础知识：包括Storm的基本概念和Storm应用 2、Storm集群搭建：详细讲述Storm集群的安装和安装时 3、Storm组件介绍: spout、bolt、stream groupings等 4、Storm消息可靠性：消息失败的重发 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm编程实战 |
| 十四、论坛日志分析项目 | |
| 该项目的数据来自于某网站论坛的日志，它是为本课程量身定做的，非常适合我们Hadoop课程学习。有的同学觉得应该介绍更多项目，其实做过几个项目后，就会发现项目的思路是相同的，只是业务不同而已。 大家写过这个项目后，就对Hadoop的各个框架在项目中是如何使用的，以及Hadoop与JavaEE结合有一个比较清晰的认识与了解。 |
|
转自：http://www.cnblogs.com/ExMan/p/3877180
相关问答
更多-
电脑知识体系结构[2022-07-29]
计算机体系结构的定义：程序员所看到的计算机的属性，即概念性结构与功能特性。l 按照计算机系统的多级层次结构，不同级程序员所看到的计算机具有不同的属性。lAmdahl提出的体系结构：传统机器级的体系结构。 定义二：l 计算机系统结构主要研究软硬件功能分配和对软硬件界面的确定 计算机系统由软件、硬件和固器组成，它们在功能上是同等的。同一种功能可以用硬件实现，也可以用软件或固件实现。不同的组成只是性能和价格不同。 传统机器级所具有的属性 即一般所说的机器语言程序员所看到的传统机器级所具有的属性。 对于通用寄存器型 ... -
大数据分析Hadoop工具有什么特点[2022-04-29]
大数据分析工具有哪些，有什么特点？ 答：1. 开源大数据生态圈 Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。 开源生态圈活跃，并免费，但Hadoop对技术要求高，实时性稍差。 -
hadoop怎么数据分析[2023-12-19]
Hadoop被设计用来在大型数据集上能进行有效的工作。Hadoop有一个专为大尺寸文件(如几G)设计的文件系统(HDFS)。因此，如果你的数据文件尺寸只是几M的话，建议你合并(通过zip或tar)多个文件到一个文件中，使其尺寸在几百M到几G范围内。HDFS把大文件们拆分存储到以64MB或128MB或更大的块单元中。 如果你的数据集相对较小，那它就不会是hadoop的巨型生态系统的最佳使用之地。这需要你去对你的数据比以往理解更多一些，分析需要什么类型的查询，看看你的数据是否真得“大”。另一方面，只是通过数据库 ... -
做运维 ，又不需要太好的java ，最基础的Linux 环境配置，
-
大数据分析是一定要学习Hadoop吗[2023-04-16]
学习这个了会比较好，也可以不学这个，学别的替代Hadoop，看你之后想往哪一方面发展 -
hadoop学会了就可以去面试大数据分析吗[2024-01-15]
HADOOP是一种分布式结构的数据库，但是仅仅学会这个还不够，你还得学会ORACLE、SQL SERVER等传统的数据库，最好学会GA等网络分析工具，因为大数据必然是在互联网方面优势更大（尤其是移动互联网），还有要学会EXCEL、SPSS或SAS等分析软件，同时你还要懂业务，否则数据分析也是无源之水。 -
如何让Hadoop结合R语言做大数据分析[2022-06-07]
R语言和Hadoop让我们体会到了，两种技术在各自领域的强大。很多开发人员在计算机的角度，都会提出下面2个问题。问题1: Hadoop的家族如此之强大，为什么还要结合R语言？ 问题2: Mahout同样可以做数据挖掘和机器学习，和R语言的区别是什么？下面我尝试着做一个解答：问题1: Hadoop的家族如此之强大，为什么还要结合R语言？ a. Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算），成为了可能。 b. R语言的强大之处，在于统计分析，在没有Hadoop之前，我们 ... -
目前国内hadoop社区还是非常火的，各种培训机构也是如雨后春笋，我觉得要做数据分析的话，你只要掌握hadoop使用就行了，当然学习的话肯定要从搭建开发环境开始，然后自己写MapReduce程序，相关的框架hive。hbase也要去学习。。基础的话，Java。Python。Linux
-
以Python Disco项目为例。 好。 玩这个 使用RHIPE包并查找玩具数据集和问题区域。 精细。 也玩这个。 不要发现“大”数据集。 即使是小数据集也是非常有趣的问题。 的确，任何数据集都是一个起点。 我曾经建立了一个小星空模式来分析一个组织的6000万美元预算。 源数据是电子表格，基本上是不可理解的。 所以我把它卸载成一个星型模式，并在Python中编写了几个分析程序来创建相关数字的简化报告。 找到正确的信息，以便我决定是否需要从RDBMS类型的数据库移动到NoSQL 这很容易 首先，获取数据仓库 ...
-
Hadoop和RDBMS(Hadoop and RDBMS)[2023-09-10]
您可以使用Sqoop将数据从RDBMS导入Hadoop。 Hadoop会处理非结构化数据，因为您将约束（创建结构化数据）推到了最后。 这也允许创建什么样的结构，这将定义您可以提取的信息类型。 永远不会说您无法处理结构化数据，但获得的里程数很低。 RDBMS可以高效地处理结构化数据。 You can use Sqoop to import data from RDBMS to Hadoop. Hadoop shines at processing unstructured data because you a ...