❶ hadoop在Linux下的简单配置
实际生产环境中，员工不会直接登陆服务器，而是通过远程连接工具，进行远程登陆。那么就需要知道服务器的IP地址，一个用户名和密码。
1）安羡巧困装(略)
2）连接虚拟机（前提是物理机能ping通虚拟机）
当我们频繁的在一台机器A上连接另外一台机器B时，不论是复制文件还是删除文件，或者是进行其他操作。那么都要使用机器B的用户名和密码。每次都需要输入密码，那么效率降低了。这个时候，如果可以不输入密码，还有一定的安全性，可以防止黑客在中间截取信息。那么就需要一种安全认证技术。
1）准备工作
2）测试
3）原理
[图片上传失败…(image-3835b9-1576065751546)]
在搭建HDFS的完全分布式集群时，需要以下环境要求:
1）说明
2）配置域名映射
1）准备工作
2）解压jdk到/opt/apps/
3）更名操作
4）配置环境变量
4.1）说明
4.2）配置
4.3）使当前窗口生效（或者reboot）
4.4）验证
1）解压缩
2）更名
3）配置
4）使当前窗口生效
5）验证
1）守护进程布局
2）配置文件的说明
1）配置core-site.xml
2）hdfs-site.xml
3）mapred-site.xml
4）yarn-site.xml
5）slaves文件：配置所有datanode节点的主机名
6）hadoop-env.sh
7）yarn-env.sh
1）说宽耐明，使用完整克隆，克隆manager
2）克隆步骤
3）修改新克隆机器的主机名
4）修改新克隆机器的IP地址
5）重启后，验证免密登陆认证是否有效
1）目的
2）格式化的命令
注意：一定要选择namenode所在的节点上进行格式化
1）开启集群的命令
2）使用jps查看节点上的守护进程
3）使用http协议查看分布式文件系统
5）暴力解决节点不正常的方式
3.1 常用指令：
4.1.1 解压hadoop-2.7.6.tar.gz到本地兄念磁盘，如下图：
4.1.2 配置环境变量
4.1.3 由于Hadoop是在32位系统上编译的，并且对windows支持不好，所以需要把64的编译本地库文件(下图的两个文件)，放入bin目录中。
10.1.4 验证环境变量是否生效：
10.1.5 如果报错:Error: java_HOME is incorrectly set
为了方便开发，我们可以将相关的jar提取出来。
❷ HADOOP安装(安装详情私)-
2.1 准备 克隆三台虚拟机：hadoop102 hadoop103 hadoop104，修改克隆虚拟机的静态 IP：vim /etc/sysconfig/network-scripts/ifcfgens33 修改主机名称 vim /etc/hostname 配置 Linux 克隆机主机名称映射 hosts 文件：vim /etc/hosts reboot 安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK 解压、配置 JDK 环境变让游量，测试：java -version Hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 解压、将 Hadoop 添加到环境变量 2.2 Hadoop 重要目录 bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本 etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件 lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能） sbin 目录：存放启动或停止 Hadoop 相关服务的脚本 share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例 2.3 Hadoop运行模式 Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模 拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产环境使用。 完全分布式运行模式（开发重点） 分析：1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称） 2）安装 JDK 3）配置环境变量 4）安装 Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置 ssh 9）群起并测试集群编写集群分发脚本 xsyncscp安全拷贝语法:scp -r $pdir/$fname [email protected]$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称rsync 远程同步工具语法：rsync -av $pdir/$fname [email protected]$host:$pdir/$fname命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称rsync 和 scp 区别：仔橡用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更 新。scp 是把所有文件都复制过去。rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。SSH 无密登录配置命令：ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免密登录的目标机器上：ssh–id hadoop1022.4 集群安装 注意NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在 同一台机器上。 Hadoop 配置文件分两类：默认配置念滑旁文件和自定义配置文件，只有用户想修改某一默认 配置值时，才需要修改自定义配置文件，更改相应属性值自定义配置文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径
❸ hadoop单机模式和伪分布式模式的异同
1、运行模式不同：
单机模式是Hadoop的默认模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。
伪分布模式这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点。
2、配置不同：
单机模式（standalone）首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。
伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。
3、节点交互不同：
单机模式因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapRece程序的应用逻辑。
伪分布模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。
(3)完全分布式不需要修改的配置文件扩展阅读：
核心架构:
1、HDFS：
HDFS对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。
2、NameNode
NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。
3、DataNode
DataNode 也是在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。
❹ VMware搭建完全分布式Hadoop集群
环境 ：
修改名称和存储位置即可。
1.3.1 查看你PC上为VMware分配的IP地址段、子网掩码和网关。打开终端，输入如下命令：答伏搏 more /Library/Preferences/VMware Fusion/vmnet8/dhcpd.conf
添加以下信息：
重启机器即可完成静态IP的清祥修改。记得 ping www..com 测试网络的连通性。
1.4.1 修改主机名称 sudo vim /etc/hostname 将文件修改为你的主机名，例如hadoop101 1.4.2 修改主机名和host的映射 sudo vim /etc/hosts
1.4.3 重启机器，并使用 ping hadoop10x 测试连通性。
如果你在第一台虚拟机上完成了伪分布模式的搭建，那么此时克隆的两台机器也同样拥有JDK和Hadoop。
scp命令 此时，如果只有一台机器完成了jdk和Hadoop的安装配置，我们可以使用 scp 命令完成数据的安全拷贝。 命令格式： scp -r 要拷贝的文件路径/名称 [email protected]:目的路径/名称
rsync命令 与 scp 相同的还有一个命令时 rsync ，其主要用于备份和镜像。 rsync 做文件的复制要比 scp 的速度快， rsync 只对差异文件做更新。 scp 将所有文件都复制过去。使用方法和 scp 一样。 基本格式： rsync -rvl 源文件 目的路径
集群分发脚本 脚本sxync.sh可以更好的同步数据到其他机器上
这个很重要，后面的所有配置都是按照这个来的
3.2.1 配置hadoop-env.sh
3.2.2 配置hdfs-site.xml文件
3.3.1 配置yarn-env.sh
3.3.2 配置yarn-site.xml文件
3.4.1 配置mapred-env.sh
3.4.2 配置mapred-site.xml文件
xsync /opt/mole/hadoop-x.x.x/
rm -rf data/ logs/
根据集群配置图，我们可以发现NameNode在hadoop102上，所以我们连接hadoop102，并执行如下命令： bin/hdfs namenode -format 此时，不允许有任何错，否则格式化失败
4.4.1 在hadoop101上启动DataNode。 sbin/hadoop-daemon.sh start datanode 4.4.2 在hadoop102上启动NameNode和DataNode。 sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode 4.4.3 在hadoop101上启动DataNode和SecondaryNode sbin/hadoop-daemon.sh start datanode sbin/hadoop-daemon.sh start secondarynamenode
在浏览器中输入 http://hadoop102:50070 查看集群是否启动成功。如果本机的hosts里边没有Hadoop102到ip地址的映射，此时会无法访问，两种办法：第一，使用过ip:端厅迅口号访问；第二，在本机hosts文件里加入三个节点的主机名到ip地址的映射。
5.1.1 在hadoop101上使用指令ssh-keygen -t rsa生成公钥和密钥
6.2.1 在hadoop102上启动HDFS sbin/start-dfs.sh
7.1 一个大文件个一个小文件 bin/hdfs dfs -put wcinput/wc.input / bin/hdfs dfs -put /opt/software/hadoop-x.x.x.tar.gz 7.2 在浏览器中输入 http://hadoop102:50070 查看上传结果：
大功告成，告别从入门到放弃！
❺ hadoop2.2在windows下面如何安装啊
Hadoop三种安装模式：单机模式，伪分布式，真正分布式一 单机模式standalone单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapRece程序的应用逻辑。二 伪分布模式安装tar xzvf hadoop-0.20.2.tar.gzHadoop的配置文件：conf/hadoop-env.sh 配置JAVA_HOMEcore-site.xml 配置HDFS节点名称和地址hdfs-site.xml 配置HDFS存储目录，复制数量mapred-site.xml 配置maprece的jobtracker地址配置ssh，生成密匙，使到ssh可以免密码连接(RSA算法，基于因数不对称加密：公钥加密私钥才能解密，私钥加密公钥才能解密)cd /rootssh -keygen -t rsacd .sshcp id_rsa.pub authorized_keys覆盖公钥，就能免密码连接启动Hadoop bin/start-all.sh停止Hadoop bin/stop-all.sh三 完全分布式模式1. 配置etc/hosts文件,使主机名解析为IP 或者使用DNS服务解析主机名2. 建立hadoop运行用户: useradd grid>passwd grid3. 配置ssh密码连入: 每个节点用grid登录，进入主工作目录，ssh -keygen -t rsa生产公钥，然后将每个节点的公钥复制到同一个文件中，再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录，这个每个节点之间彼此可以免密码连接4. 下载并解压hadoop安装包5. 配置namenode，修改site文件6. 配置hadoop-env.sh7. 配置masters和slaves文件8. 向各个节点复制hadoop9. 格式化namenode10.启动hadoop11.用jps检验各后台进程是否成功启动。
❻ HBase配置文件详解（一）
HBase使用与Hadoop相同的配置系统，所有配置文件都位于 conf/ 目录中，需要保持群集中每个节点的同步。
在对HBase进行配置，即编辑hbase-site.xml文件时，确保语法正确且XML格式良好。我们可以使用 xmllint 检查XML格式是否正确，默认情况下， xmllint 重新流动并将XML打印到标准输出。如果检查格式是否正确，并且只在存在错误时才打印输出，可以使用以下命令：
当在完全分布式环境下运行HBase时，在对HBase配置文件进行修改后，确保将 /conf/ 目录下的配置文件同步到集群其他节点上，可以使用 rsync 、 scp 或其他安全机制将配置文件复制到其他节点上。（对于大多数配置，服务器需要重新启动配置才能生效）
