大数据运维linux详细知识点

大数据运维Linux详细知识点 本文档涵盖了大数据运维Linux的详细知识点，包括磁盘管理、用户管理、权限管理和软件包管理等方面的内容。 一、磁盘管理 磁盘管理是大数据运维Linux中非常重要的一部分，包括磁盘的接口、分区管理、挂载磁盘等。 1. 磁盘的接口：IDE（并口）、SATA（串口）、SCSI 等。其中，SATA 速度快，纠错能力强，而 SCSI 转速快，CPU 占用资源低。 2. 分区的分类：主分区、逻辑分区、扩展分区。一个磁盘可以是 4 个主分区，也可以是 3 个主分区 + 1 个扩展分区（一个磁盘最多只能有一个扩展分区），扩展分区包含多个逻辑分区。 3. fdisk 命令：fdisk -l /dev/vad1 查看磁盘分区，显示所有挂载和未挂载的分区，不显示系统文件。fdisk /dev/vad1 硬盘的分区操作，m 列出指令帮助，p 查看现有的分区列表，n 新建分区，d 删除分区，q 放弃更改并退出，w 保存更改并退出。 4. 其他磁盘管理命令：df -T 查看已经挂载的分区和文件系统类型，partprobe 命令刷新分区表，parted -l 查看未挂载的文件系统类型，以及哪些分区尚未格式化，lsblk -f 查看未挂载和挂载的文件类型。 5. 挂载磁盘：创建文件夹，mkdir 文件路径、文件夹名字，然后磁盘挂载到新建文件夹下面，mount 磁盘路径[/dev/] 文件夹的路径。文件系统类型拷贝到新建文件夹下面，cp /etc/fstab /mnt/part2/fstab.txt。 二、用户管理 用户管理是大数据运维Linux中非常重要的一部分，包括用户和用户组的概念、用户信息、用户组信息等。 1. 用户和用户组的概念：uid=1001(dzqc01) 用户信息，gid=1001(dzqc01) 用户组信息，groups=1001(dzqc01) 用户所属的所有组的 id。 2. 用户信息文件：/etc/passwd（用户信息）7 个字段，包括用户名称、密码占位符、用户 uid、主组 gid、注释性描述、用户主目录、用户的 shell;/etc/shadow（密码信息）9 个字段，包括用户名字、加密后的密码、最近改动密码的时间、密码不可变更的时间、密码重新变更时间、密码过期时间、密码过期宽恕时间、用户失效时间、保留;/etc/group（用户组信息）。 3. 用户和用户组的操作：useradd 用户名 -u uid 修改 id -g gid 修改组 -G 多个组 id/名字 修改所属的所有组 id，groupadd 用户组名 -g gid 修改用户组信息。查看用户的基本信息 id 用户名，删除用户、用户组 userdel 用户名，groupdel -r 用户组名。修改密码 passwd 用户名，su 切换用户，sudo 提权，给普通用户赋予 root 权限。 三、权限管理 权限管理是大数据运维Linux中非常重要的一部分，包括文件权限、ACL 等。 1. 文件权限：基本权限 UGO，包括所属者、所属组、其他用户。rwx 代表什么含义 读写执行，421 代表什么含义 所属者、所属组、其他用户。chmod 命令修改文件权限，包括数字权限和字母权限。 2. ACL 概念：是访问控制列表的缩写，类似于防火墙。查询：getfacl 路径，设置：setfacl -m u：用户名字：权限 路径，删除：setfacl -x u：用户名字：权限 路径，setfacl -b 路径。 四、软件包管理 软件包管理是大数据运维Linux中非常重要的一部分，包括安装软件包、压缩包的管理等。 安装软件包：安装软件包的命令包括 rpm、yum、apt-get 等。 压缩包的管理：tar 命令压缩和解压缩文件，zip 命令压缩和解压缩文件。