最好是两个做成HA。6T的数据容量，看你副本数量设置是多少，一般默认为3，那么仅这些就需要18T硬盘，稍微大一点20T吧；这仅仅是HDFS存储，（这里我说的是一个月的，你数据保存几个月，就乘几倍）。
1、Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出 得、运行于各个计算节点的工作单元称为“任务（task）”。
2、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker， 然后由JobTracker创建每一个Task（即MapTask和ReduceTask）并将它们分发到各个TaskTracker服务中去执行。
3、一般如果正常启动hadoop，我们可以看到以下5个进程：[root@master ~]# jps 19803 SecondaryNameNode 19994 TaskTracker 31144 Jps 19571 NameNode 19672 DataNode 19887 JobTracker 如果你少了某个，就是那个进程没有启动起来。去hadoop\etc\hadoop底下看你的配置文件都配置对了没有，这部分网上教程很多。
4、一段时间后，重新启动hadoop之后，没有显示应有的五个进程。一般情况下从logs目录出发，进行修改。最经常报的错误是：这种情况下一般是端口占用，执行命令 netstat -anp |grep 端口号 ，查看占用该端口的进程，并执行 kill 9 进程号 ，再次重启即可。
5、你是用的伪分布模式激动的吧。command not found 指的是，你没有把HADOOP_HOME 放到.bashrc 这个文件中，就像windows下的环境变量一样。当然你也可以进到hadoop安装的目录下的bin 目录下执行hadoop 命令。希望对你有用。
在搭建Hadoop大数据平台之前，首先需要准备相应的硬件和软件环境。硬件环境通常包括多台服务器或者虚拟机，用于构建Hadoop的分布式集群。软件环境则包括操作系统、Java运行环境等。例如，可以选择CentOS或Ubuntu等Linux发行版作为操作系统，安装JDK（Java Development Kit）以提供Java运行环境。
我选Vmware。安装操作系统 Centos，红帽开源版，接近于生产环境。Ubuntu，操作简单，方便，界面友好。
可以，在电脑上安装虚拟机，虚拟出3个节点，就可以搭建一个完全分布式的Hadoop集群了。虚拟机建议选VirtualBox，安装完比较小（相比于VMWare ）。关于虚拟机的安装请百度教程。
linux服务器系统多使用CentOS、uBuntu、Gentoo、FreeBSD、Debian。服务器操作系统应该选择 Ubuntu 还是 CentOS ，CentOS目前市场占有率第一。
创建虚拟机阶段，作者提到直接创建多个Ubuntu虚拟机，如hadoop2和hadoop3，而非克隆已有虚拟机，以避免网络连接问题。对于Ubuntu的安装，步骤包括配置系统镜像位置、设置启动方式、选择无桌面版安装、跳过更新、配置网络连接和键盘设置等。安装过程中，务必保持网络畅通，以保证快速安装。
1、选择云服务：推荐天翼云，价格亲民，但界面需自找功能；腾讯云和阿里云经验丰富，特别是腾讯云售后服务好；预算充足可选亚马逊云，但需VISA卡。这里不再提供链接，自行决定。SSH工具：FinalShell，国产高效SSH工具，强烈推荐。服务器配置：设置hostname和host，安装Java和Hadoop，JDK8和Hadoop3需从官网下载。
2、建议三台机器使用双系统，并且分配硬盘空间尽量大，因为可能处理1GB的数据时需要5GB的空间。三台机器可以找一台性能比较靠谱的当master，剩下的当slave即可。具体教程可以看看Running Hadoop On Ubuntu Linux （Single-Node Cluster），Running Hadoop On Ubuntu Linux （Multi-Node Cluster）。
3、本文通过在vmware workstation上建立三台虚拟机来搭建hadoop集群环境，其中一台作为namenode，两台作为datanode。
4、Maven是一个项目管理工具，可以通过一小段描述信息来管理项目的构建，报告和文档的项目管理。大数据技术往往运行在Linux环境下，大数据的分布式集群（Hadoop，Spark）都是搭建在多台Linux系统上，对集群的执行命令都是在Linux终端窗口输入...想从事大数据相关工作，需要掌握Linux系统操作方法和相关命令。
5、作为DataNode数据节点的数据存储。之前的上一台机器作为Master主节点进行管理。这里先来梳理一下整个Hadoop集群的物理架构图，大家有一个直接的观念和认识，上表中已经和明确了，总共需要5台服务器来使用，四台用来搭建Hadoop集群使用，另外一台（可选）作为MySQL等外围管理Hadoop集群来使用。
6、总体上讲，对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。 核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备（OSD），构建存储系统，每个对象存储设备具备一定的职能，能够自动管理其上的数据分布。
启动hadoop的命令行：start-all.sh启动所有的Hadoop守护进程。包括NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTrack。start-dfs.sh启动HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNode。hadoop-daemons.shstartnamenode单独启动NameNode守护进程。
启动hadoop的命令是：`start-dfs.sh` 和 `start-yarn.sh`。这两个命令分别用于启动Hadoop分布式文件系统（HDFS）和Hadoop资源管理器（YARN）。要启动Hadoop，请按照以下步骤操作：打开终端或命令提示符窗口。导航到Hadoop的安装目录。
Hadoop集群启动命令。启动NameNode，DataNode。启动JournalNode，JournalNode在hdfs-site.xml中指定editslog存储的位置，主备NameNode共享数据，方便同步。3）、启动DFSZKFailoverController，HA会启用ZooKeeperFailoverController。启动YARN守护进程ResourceManager，NodeManager。
1、启动Hadoop集群的步骤包括： 确认所有节点都已安装并正确配置了Hadoop。 在所有节点上启动NFS服务，以便能够共享存储。 在所有节点上启动YARN资源管理器，以便能够分配计算资源。 在一个节点上启动NameNode，作为集群的主节点，负责存储数据。
2、启动hadoop的命令是：`start-dfs.sh` 和 `start-yarn.sh`。这两个命令分别用于启动Hadoop分布式文件系统（HDFS）和Hadoop资源管理器（YARN）。要启动Hadoop，请按照以下步骤操作：打开终端或命令提示符窗口。导航到Hadoop的安装目录。
3、启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。格式化一个新的分布式文件系统：bin/hadoop namenode -format 在分配的NameNode上，运行下面的命令启动HDFS：bin/start-dfs.sh bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。
4、启动hadoop的命令行：start-all.sh启动所有的Hadoop守护进程。包括NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTrack。start-dfs.sh启动HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNode。hadoop-daemons.shstartnamenode单独启动NameNode守护进程。
5、Hadoop集群启动命令。启动NameNode，DataNode。启动JournalNode，JournalNode在hdfs-site.xml中指定editslog存储的位置，主备NameNode共享数据，方便同步。3）、启动DFSZKFailoverController，HA会启用ZooKeeperFailoverController。启动YARN守护进程ResourceManager，NodeManager。