配置xen环境及hadoop集群环境的学习笔记

### 配置XEN环境及Hadoop集群环境学习笔记 #### XEN虚拟机的安装配置 **XEN** 是一种开源虚拟化技术，允许在一台物理机器上运行多个操作系统实例，这些实例通常被称为“域”（Domains）。XEN 的安装配置涉及到安装所需的软件包、编译XEN hypervisor 和 tools、配置内核等多个步骤。 ##### 安装所需软件包 在 Ubuntu 上安装 XEN 首先需要准备一个最小化的 Ubuntu 系统，之后安装一系列用于编译和运行 XEN 所需的软件包。根据文档中的描述，需要安装的软件包包括但不限于 `gcc`, `g++`, `make`, `patch`, `libssl-dev`, `bzip2`, `gettext`, `zlib1g-dev`, `python`, `libncurses5-dev`, `libjpeg62-dev`, `libx11-dev`, `libgcrypt11-dev`, `pkg-config`, `bridge-utils`, `bcc`, `bin86`, `libpci-dev`, `libsdl-dev`, `python-dev`, `texinfo`, `libc6-dev`, `uuid-dev`, `bison`, `flex`, `fakeroot`, `build-essential`, `crash`, `kexec-tools`, `made`, `dump`, `file`, `libncurses5`, `libncurses5-dev`, `iasl`, `gawk` 等。通过命令行的方式可以快速完成这些软件包的安装： ```bash $sudo apt-get update $sudo apt-get install gcc g++ make patch libssl-dev bzip2 gettext \ zlib1g-dev python libncurses5-dev libjpeg62-dev libx11-dev \ libgcrypt11-dev pkg-config bridge-utils bcc bin86 libpci-dev \ libsdl-dev python-dev texinfo libc6-dev uuid-dev bison flex fakeroot \ build-essential crash kexec-tools made dump file libncurses5 \ libncurses5-dev iasl gawk ``` ##### 编译安装 XEN Hypervisor 和 Tools 接下来，需要下载并编译 XEN 源代码。这一步骤包括解压、编译、安装等标准的 Linux 软件源码安装流程。以 Xen 4.0.0 版本为例，具体步骤如下： 1. **下载 XEN 源代码**：访问 Xen 官方网站（http://www.xen.org/products/xen_source.html）下载最新版本的 XEN 源代码，例如 xen-4.0.0.tar.gz。 2. **解压并进入目录**：使用 `tar zxvf xen-4.0.0.tar.gz` 解压源代码，并进入 `xen-4.0.0/` 目录。 3. **编译 XEN**：执行 `make xen tools stubdom` 进行编译。 4. **安装 XEN**：使用 `sudo make install-xen install-stubdom PYTHON_PREFIX_ARG=...` 完成安装。其中 `PYTHON_PREFIX_ARG` 是为了兼容 Python 2.6 而设置的参数。 5. **设置自动启动**：使用 `sudo update-rc.d xend defaults 20` 和 `sudo update-rc.d xendomains defaults 21 20` 将 XEN 设置为开机自动启动。 ##### 安装 Xen 内核 由于 Linux kernel 2.6 不直接支持 Domain 0，因此还需要下载并打补丁以支持 XEN。具体步骤如下： 1. **下载 Xen 内核**：使用 `wget http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.31.8.tar.bz2` 下载内核源代码。 2. **解压内核源代码**：使用 `tar -xjf linux-2.6.31.8.tar.bz2` 解压。 3. **下载并解压补丁包**：使用 `wget http://gentoo-xen-kernel.googlecode.com/files/xen-patches-2.6.31-10.tar.bz2` 下载补丁包，并解压至专门的目录。 4. **应用补丁**：使用循环命令 `for i in \`ls ../xenpatch-2.6.31.8/\`; do patch -p1 < ../xenpatch-2.6.31.8/"$i"; done` 应用所有补丁。 5. **配置内核**：拷贝现有的内核配置文件 `config-2.6.31-14-server` 并进行适当调整以支持 XEN。主要需要启用以下选项：Processor type and features -> Enable Xen compatible kernel, Networking support -> Networking options -> 802.1d Ethernet Bridging, Device Drivers -> XEN -> Privileged Guest (domain0), Backend driver support, Block-device backend, Network-backend support, etc. #### Hadoop集群环境的安装配置 **Hadoop** 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 集群环境的搭建主要包括 Hadoop 的安装配置、配置文件的编辑、HDFS 和 YARN 的启动等步骤。 ##### 安装 Hadoop 1. **下载 Hadoop**：访问 Apache Hadoop 官方网站下载最新的稳定版 Hadoop。 2. **解压安装**：将下载的压缩包解压至指定位置。 3. **配置环境变量**：编辑 `/etc/profile` 文件，添加 Hadoop 的路径到环境变量中。 ##### 配置 Hadoop 1. **修改 `core-site.xml`**：配置 HDFS 的默认存储位置。 2. **修改 `hdfs-site.xml`**：配置 HDFS 的副本数量以及其他关键参数。 3. **修改 `mapred-site.xml`**：配置 MapReduce 的相关参数。 4. **修改 `yarn-site.xml`**：配置 YARN 的相关参数。 ##### 启动 Hadoop 集群 1. **格式化 HDFS**：在 NameNode 上执行 `hdfs namenode -format` 命令格式化 HDFS。 2. **启动 HDFS 和 YARN**：在集群的每个节点上启动相应的守护进程，如 NameNode、DataNode、ResourceManager、NodeManager 等。 3. **验证集群状态**：通过 Web 界面或命令行工具检查 HDFS 和 YARN 的状态。 以上步骤概述了在 Ubuntu 上安装配置 XEN 虚拟机的过程以及 Hadoop 集群环境的搭建。这些步骤是基于文档中提供的信息进行总结的，实际操作过程中可能会遇到不同的问题，需要根据具体情况进行调整。