Hadoop作为大数据主流的基础架构选择，至今仍然占据着重要的地位，而基于Hadoop的分布式文件系统HDFS，也在大数据存储环节发挥着重要的支撑作用。今天的大数据入门分享，我们就主要来讲讲HDFS分布式文件管理系统。
当active Namenode出现故障或者宕机的时候，standby会自动切换为新的active Namenode对外提供服务，并且HA对外提供了统一的访问名称，对于用户来说，不管访问的Namenode是active状态还是standby状态都是无感知的。
Hadoop生态技术体系下，负责大数据存储管理的组件，涉及到HDFS、Hive、Hbase等。Hive作为数据仓库工具，最初的存储还是落地到HDFS上，这其中就有一个关键的环节，是小文件的处理。今天的大数据开发分享，我们就主要来讲讲，Hive小文件合并。
客户端读取文件时，会先校验该信息文件与读取的文件，如果校验出错，便请求到另一DataNode读取数据，同时向NameNode汇报，以删除和复制这个数据块。
这个Container通过Application Master启动进程，Application Master里面运行的是Flink程序，即Flink-Yarn ResourceManager和JobManager。
在Java基础入门学习阶段，Java基础数据类型无疑是基础当中的重点，掌握基础数据类型，对于后续去理解和掌握更深入的理论，是有紧密的关联性的。今天的大数据开发基础学习，我们就来讲讲，Java八种基础数据类型。
企业级的大数据平台，Hadoop至今仍然占据重要的地位，而基于Hadoop去进行数据平台的架构设计，是非常关键且重要的一步，在实际工作当中，往往需要有经验的开发工程师或者架构师去完成。今天我们就来讲讲，基于Hadoop的数仓设计。
Kafka在大数据技术生态当中，以作为消息系统而闻名，面对活跃的流式数据，提供高吞吐量的服务，在实时大数据处理场景下，可以说是一大利器，国内外大厂都有应用。今天的大数据开发技术分享，我们就主要来讲讲Kafka框架的工作原理。
作为大数据重要基础的Java语言，在大数据学习当中的重要性还是非常高的。Java作为一门有着悠久历史的语言，想要学好还是有很多可参考借鉴的学习思路的。今天的Java大数据开发分享，我们主要来讲讲Java基础类库和API。
通过Kafka提供的API可以处理同一消费者组中多个消费者之间的分区平衡以及消费者当前分区偏移的存储。值得特别注意的是，Kafka是按照预先配置好的时间保留分区中的消息，而不是根据消费者是否消费了这些消息。
在分布式存储技术体系当中，分布式文件存储是其中的分类之一，也是大数据架构当中常常用到的。得益于Hadoop的高人气，Hadoop原生的HDFS分布式文件系统，也广泛为人所知。但是分布式文件存储系统，并非只有HDFS。今天的大数据开发分享，我们就主要来讲讲常见的分布式文件存储系统。
Hadoop MapReduce，作为分布式计算的第一代引擎，其经典的地位是不容动摇的，而越是经典越是有代表性的东西，也就越需要去深入理解其中的原理和运行机制。今天的大数据开发分享，我们主要来讲讲MapReduce排序问题。
大数据平台当中的数据仓库，往往需要通过建模来更好地对数据进行存储和管理，这其中涉及到性能、成本、效率、质量等多方面的综合考量，对于工程师来说，也需要细细规划。今天的大数据开发分享，我们主要来讲讲数据仓库建模方法与模型。
在数据仓库领域，提起数据建模，范式建模作为一种经典的理论，其地位是不容小觑的。Inmon的范式建模理念，在传统业务的数据仓库建模当中，尤其受到青睐。今天的大数据开发分享，我们就来讲讲数据仓库建模之范式建模。
作为大数据的第二代代表性框架，Spark在大数据生态圈的地位，不必特意强调，大家也能看得清楚。Spark在学习初期，进行部署配置是非常关键的一个环节，今天的大数据开发分享，我们就主要来讲讲Spark的几种部署方式。
今天给大家带来的是大数据开发-Centos常用管理命令解析，本篇内容主要是讲的命令。这种基础性的知识还是需要记住，这样才能帮助我们提高工作的效率，以下就是Centos常用管理命令。
本期带来的文章是大数据开发-HDFS Shell命令，可能大家会好奇，前面是不是有见过shell命令了，这次怎么还有。注意，这次shell面前还有HDFS，指的是在HDFS存储中进行文件夹和文件操作的命令，下面就开始本章节的内容。
本期又是大家最喜欢的命令合集，今天给大家带来的是大数据开发-zookeeper命令操作。作为大数据开发学习的基础，最基本的可不能落下，下面就开始zookeeper的命令操作的学习吧！
本期就给大家带来HBase的合并的小技巧。无论是在大数据开发的学习中还是其他的学习，小技巧都能够在我们的学习路上带来很多实用的帮助。HBase表的基本单位是Region，日常调用HBase API操作一个表时，交互的数据也会以Region的形式进行呈现。前面介绍过HBase Region拆分策略原理，一个表可以有若干个Region，本文主要介绍Region合并的一些问题和解决方法。
事务事实表：可以看做是保存某一事务的日志数据，事务一旦被提交就成为历史数据，只能以增量的方式维护。维度表：从某个角度观察事实数据的窗口，存储的数据用来从某个角度描述事实。
在大数据技术生态当中，分布式集群是解决大规模数据处理任务的主要解决思路，主流的几代框架，如Hadoop、Spark、Flink都是基于分布式去进行设计。而分布式系统，关于容错的问题就非常关键了。今天我们就来讲讲Hadoop与Spark是如何设计容错的？
已经到底了...
查看更多