Hadoop分布式文件系统使用指南
目的 本文档的目标是为Hadoop分布式文件系统（HDFS）的用户提供一个学习的起点，这里的HDFS既可以作为Hadoop集群的一部分，也可以作为一个独立的分布式文件系统。虽然HDFS在很多环境下被设计成是可正确工作的，但是了解HDFS的工作原理对在特定集群上 … 阅读全文
Hadoop分布式文件系统：架构和设计
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署 … 阅读全文
Hadoop集群搭建
目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决条件 确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软 … 阅读全文
Hadoop快速入门（一）
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Ha … 阅读全文
spark开发环境配置
搭建spark本地环境 java环境安装 (1)到官网下载JDK下载地址:点击这里(2)解压缩到指定的目录 (3)设置路径和环境变量 在文件的最后加上 (4)让配置生效 (5)验证安装是否成功 安装Scala (1)到官网下载安装包点击这里 (2)解压缩到指定 … 阅读全文
docker创建ansible
环境 Centos 7.6 Docker version 18.09.6, build 481bc77156 关键点： Dockerfile 编写优化 Docker-compose.yml 编写 ansible-ssh 免密钥登录 … 阅读全文