Linux基础

一、Linux简介

相关概念

• OS是管理和控制计算机硬件与软件资源的程序。运行在系统硬件上的软件，也是其他软件赖以运行的基础环境。
• Linux由芬兰的Linus Torvalds开发，开源且免费。主要运行在Intel x86系列CPU上，支持32位和64位存储器寻址宽度。
• Linux系统版本号格式：主版本号.次版本号.修订次数号。此版本号为奇数时为测试版，偶数时为稳定版。
• Linux继承UNIX，以网络为核心思想，采用模块化的结构，内核主要由5个子系统组成：进程调度，内存管理，文件系统，网络接口和进程通信。其中以对CPU的进程调度为核心。
• Linux整体层次结构，最底层是硬件层，依次为操作系统层，系统调用层，shell接口，应用程序层和用户层。
• 尽量有台自己的Linux环境，可以买个云主机，也可以是kvm、Xen、virtualbox、vmware等虚拟机。
• Linux有众多发行版本，比如红帽系的RHEL、CentOS、Fedora，Debian系的Debian、Ubuntu，其他包括SuSE、FreeBSD等。
• 硬件，主要由中央处理器CPU，随机存取存储器RAM，硬盘Hard Disk，输入输出设备I/O组成。其中内存有以下几类：

层次	访问时间	容量	说明
CPU寄存器	1ns	<1KB	cpu中，1个cpu周期
CPU高速缓存	2ns	4MB	L1,L2,L3 cache，3-40个周期
内存	10ns	1-16GB	RAM
磁盘	10ms	1-4TB	一种机械装置，比内存慢100万倍

CentOS

• CentOS基于Red Hat Enterprise Linux内核重新编译而成。
• CentOS目前也有桌面图形系统，但是作为一个独立的应用程序存在。主要有X-Window、GNOME和KDE这3种。

CentOS目录如下：

目录名称	功能描述	分类
/bin	常用命令	指令集合
/boot	启动文件	系统运行
/dev	外部设备	外部文件
/etc	系统管理配置文件和目录	系统运行
/home	用户目录	账户
/lib	动态连接共享库	系统运行
/media	U盘光驱等外部设备	外部文件
/mnt	临时挂载目录	外部文件
/opt	安装软件目录	拓展
/proc	系统内存映射的虚拟目录	运行时
/root	系统管理员目录	账户
/run	系统启动后的信息，临时文件系统	临时文件
/sbin	超级用户常用命令	指令集合
/srv	服务启动后提取数据	拓展
/sys	安装2.6内核的文件系统sysfs	系统运行
/tmp	临时文件	临时文件
/usr	用户应用程序和文件	账户
/usr/bin	用户使用程序	账户
/usr/sbin	超级用户使用程序	账户
/usr/src	内核源码	账户
/var	经常修改的目录，如日志	运行时

CentOS内核代码位于/usr/src/kernels/。相关目录如下：

目录名称	功能描述
arch	硬件相关
block	块设备
crypto	加密函数库
drivers	设备驱动程序
fs	文件系统
ipc	进程通信
init	内核初始化
kernel	内核核心
lib	通用内核函数
net	网络通信
mm	内寸管理
samples	内核例子
scripts	配置脚本
security	系统安全
sound	音频体系
usr	用户代码

系统启动初始化

1、BIOS加电自检
2、grup2引导程序
3、内核映像加载
4、INIT进程初始化，分为：

• 初始化系统运行级别的文件
• 相关设备初始化
• systemd启动系统后台进程
• 启动用户自定义服务
• 执行/bin/login登录程序
• 执行/etc/profile文件初始化用户环境
• 启动~/.bash_profile脚本

二、基础环境配置

防火墙

CentOS7使用firewalld（第4代）作为系统默认的防火墙，但原有的iptables（第3代）依然存在。

$ service firewalld status #防火墙状态
$ service firewalld stop #关闭防火墙
$ systemctl status firewalld.service #防火墙状态
$ systemctl stop firewalld.service #关闭防火墙
$ systemctl start firewalld.service #打开防火墙
$ systemctl restart firewalld.service # 重启防火墙
$ firewall-cmd --zone=public --add-port=80/tcp --permanent #添加80端口永久有效
$ firewall-cmd --reload #永久性打开端口需要刷新
$ firewall-cmd --remove-port=80/tcp #删除80端口

SELinux

$ sestatus #查看SELinux状态
$ cat /etc/selinux/config #可设置SELINUX属性为禁用或者启用。修改后需要重启系统

系统网络状态

$ ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.26.21.137  netmask 255.255.240.0  broadcast 172.26.31.255
        inet6 fe80::216:3eff:fe03:fc16  prefixlen 64  scopeid 0x20<link>
        ether 00:16:3e:03:fc:16  txqueuelen 1000  (Ethernet)
        RX packets 9946  bytes 1265996 (1.2 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 11370  bytes 10542055 (10.0 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 55  bytes 743610 (726.1 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 55  bytes 743610 (726.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:16:3e:03:fc:16 brd ff:ff:ff:ff:ff:ff
    inet 172.26.21.137/20 brd 172.26.31.255 scope global dynamic noprefixroute eth0
       valid_lft 315343044sec preferred_lft 315343044sec
    inet6 fe80::216:3eff:fe03:fc16/64 scope link 
       valid_lft forever preferred_lft forever

$ ping 172.26.21.137
PING 172.26.21.137 (172.26.21.137) 56(84) bytes of data.
64 bytes from 172.26.21.137: icmp_seq=1 ttl=64 time=0.063 ms
64 bytes from 172.26.21.137: icmp_seq=2 ttl=64 time=0.063 ms
64 bytes from 172.26.21.137: icmp_seq=3 ttl=64 time=0.061 ms

本地YUM服务配置

YUM是一个基于RedHat系Linux的RPM管理的后台程序，解决软件包的依赖问题。对应Debian系的apt。
新一代的RPM软件包管理器是DNF工具，后续会取代YUM。

$ rpm -qa | grep yum # 查看是否安装YUM
$ cat /etc/yum.repos.d/CentOS-Sources.repo # 网络YUM源配置 
$ cat /etc/yum.repos.d/CentOS-Media.repo # 本地YUM源配置 
$ yum list # 列出所有软件
$ yum list installed # 列出已安装的软件
$ yum info SOFTWARENAME # 查看某软件信息
$ yum install SOFTWARENAME # 安装某软件

远程访问配置

# ssh服务
$ cat /etc/ssh/sshd_config #对ssh登录进行服务器端配置
$ cat /etc/ssh/ssh_config #对ssh登录进行全局客户端配置

#ssh过期时间设置
$ vim /etc/ssh/sshd_config
#ClientAliveInterval 60
#ClientAliveCountMax 3600
$ systemctl restart sshd.service

# telnet服务
$ systemctl start xinetd
$ systemctl start telnet.socket

三、shell

• shell介于系统内核和用户之间，负责解析输入的命令和输出二进制码。
• shell是命令语言，命令解释程序及程序设计语言的统称。
• shell可独立自由开发，CentOS可支持多种shell。
• shell命令有内部命令和外部命令之分，内部命令多数在/usr/bin目录下的可执行二进制文件。
• shell的命令格式如下： command [options] [arguments]

$ cat /etc/shells  # 查看支持的shell
/bin/sh
/bin/bash # 默认shell，Bourne-Again shell(简称bash)
/usr/bin/sh
/usr/bin/bash
$ echo ${SHELL} # 查看默认shell，一般为bash
$ bash xx.sh #执行shell脚本
$ sh xx.sh
$ ./xx.sh
# shell的环境变量设置
# export PATH=/xxx:$PATH 
$ source /root/.bashrc # 当前环境下读取并执行文件中的命令。等同于点命令(. /root/.bashrc)
$ yum install man man-pages #如使用manual命令，需要安装
$ man type # 查看帮助，很常用
$ man 2 accept  # 查看第2章节的accept命令。以下为9个章节的介绍
#1、Standard commands （标准命令）
#2、System calls （系统调用）
#3、Library functions （库函数）
#4、Special devices （设备说明）
#5、File formats （文件格式）
#6、Games and toys （游戏和娱乐）
#7、Miscellaneous （杂项）
#8、Administrative Commands （管理员命令）
#9、其他（Linux特定的）， 用来存放内核例行程序的文档。
$ ll /usr/bin # 查看/usr/bin中的命令
$ type pwd #查看pwd是否内部命令
pwd is a shell builtin
$ file /bin/ls  #ls是外部命令，是可执行文件
/bin/ls: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[sha1]=937708964f0f7e3673465d7749d6cf6a2601dea2, stripped, too many notes (256)

符号

• 通配符，用*代表全部，?代表一个字符，[a-z]匹配a-z的字符，[^a-z]不匹配a-z的字符。
• 单引号，阻止空格和特殊字符被解释，在单引号内的字符串会一成不变的输出。
• 双引号，和单引号类似，单对于$ \ `这三种特殊字符先进行解释后输出。
• 反引号，反引号里的字符视为命令来执行

$ kernal=4 18 #报错
$ kernal='4 18' #正常
$ echo "kernel version $kernal"
kernel version 4 18
$ echo 'kernel version $kernal'
kernel version $kernal
$ echo `date`
Thu Mar 31 22:33:03 CST 2016

文件管理命令

# cat命令（concatenate），将文件内容连接后输出。-n为输出编号，-b忽略空白行编号。
$ cat -n -b /etc/hosts 
     1  ::1     localhost       localhost.localdomain   localhost6      localhost6.localdomain6
     2  127.0.0.1       localhost       localhost.localdomain   localhost4      localhost4.localdomain4

     3  172.26.21.137   iZ8vbb8ogl0s1dkimprjuhZ iZ8vbb8ogl0s1dkimprjuhZ

# cd命令（change directory），切换目录位置
$ cd /usr/bin 
$ cd .. # 返回上一级目录

# chmod命令（change mode），更改文件的访问权限（r可读，w可写，x可执行）。使用-R参数递归更改文件夹下所有文件。
$ ll
-rw-r--r-- 1 root root  0 Aug 31 22:46 a.log # -代表文件，644，rw-代表所有者权限可读可写不可执行（6），r--代表组权限和公共权限可读（4）。
$ chmod +x a.log # +号为添加，-号为取消。x为执行权限。
$ ll
-rwxr-xr-x 1 root root  0 Aug 31 22:46 a.log # 755
$ chmod -c -x a.log # -c代表完成后显示更改信息
mode of 'a.log' changed from 0755 (rwxr-xr-x) to 0644 (rw-r--r--)

# chown命令（change owner），更改文件所有者和组。使用-R参数递归更改文件夹下所有文件。
$ chown nginx:nginx a.log
$ ll
-rw-r--r-- 1 nginx nginx  0 Aug 31 22:46 a.log

# du命令（disk usage），统计文件大小
$ du -sh /boot # -s显示每个文件大小，-h计算每个目录大小
206M    /boot
$ du -sh /boot/*
184K    /boot/config-4.18.0-147.5.1.el8_1.x86_64
184K    /boot/config-4.18.0-147.el8.x86_64
0       /boot/efi
...

# find命令，查找文件并输出结果
$ find / -name vmlinuz*
/usr/lib/modules/4.18.0-147.el8.x86_64/vmlinuz
/usr/lib/modules/4.18.0-147.5.1.el8_1.x86_64/vmlinuz
/boot/vmlinuz-4.18.0-147.el8.x86_64
/boot/vmlinuz-0-rescue-20200329120406274300456323469997
/boot/vmlinuz-4.18.0-147.5.1.el8_1.x86_64

# split命令，将文件分割成指定大小的子文件
$ split -b 5 a.log # -b用于指定子文件的字节数。-l指定子文件的行数，默认1000。-d用数字代替字符后缀
$ ll x*
-rw-r--r-- 1 root root 5 Aug 31 23:16 xaa
-rw-r--r-- 1 root root 5 Aug 31 23:16 xab
-rw-r--r-- 1 root root 5 Aug 31 23:16 xac
-rw-r--r-- 1 root root 3 Aug 31 23:16 xad

文件操作

$ vim a.log
# vim命令模式下
$ /user # 搜索关键字user
$ n #查看下一个匹配
$ N #查看上一个匹配
$ noh / set noh #关闭高亮
$ insert #开始编辑
$ :wq #保存退出

$ tail
$ cat

磁盘管理命令

$ dd /dev/temp of=dist.img #将分区的数据复制到dist.img文件中
$ mkswap /dev/swap #用磁盘分区创建swap分区
$ fdisk /dev/sd #若磁盘已分区则显示描述，若未分区可进入交互模式
$ df -h # 以KB/MB/GB输出磁盘分区信息
$ mount -o ro /dev/sdb1 /mnt #以只读模式将磁盘分区挂载到文件系统

压缩和解压缩命令

# 格式为.bz2
$ bzip2 -vz dist.img #bzip2压缩文件，-v（verbose）为显示压缩详情，-z为强制执行压缩
$ bunzip2 -v dist.img.bz2 #bzip2解压，-v为显示解压详情

# 格式为.gz
$ gzip -v dist #gzip压缩文件
$ gunzip -v dist.gz #gzip解压

# 格式为.tar
$ tar vzxf dist.tar.gz #解压
$ tar vzcf dist.tar.gz dist # 对dist目录归档并压缩
# -c（create）为创建归档文件，-z（gzip）为压缩或解压归档文件，-v显示执行详情，-f（file）指定归档的文件，-x（extract）为解压归档文件

# 格式为.zip
$ zip -r dist.zip dist # 对dist目录以及子目录进行压缩。-r（recursive）为递归处理
$ unzip dist.zip # 对文件解压缩，如目录有中文乱码，可添加参数-O CP936

软件包管理命令

1、RPM格式安装包：

• RPM（RedHat Package Manager）是RedHat系Linux的一种开放式的软件包管理程序，可安装、卸载、升级、发布软件包，以及查询验证软件包GPG和MD5数字签名。
• 系统中存在一个与RPM有关的数据库，记录包之间的依赖关系。
• RPM命名方式，软件包名称-版本号-修正版.硬件平台.rpm（rpm-4.8.0-27.el6.i686.rpm）。

$ rpm -ivh dialog-1.2-4.el7.x86_64.rpm 
# -i（install）为安装软件，-v为显示安装过程，-h为用"#"显示软件安装进度，-u（upgrade）为旧版本升级，-e（erase）为删除

2、源代码软件安装包

由配置（configure）、编译（make）、安装（make install）3个步骤组成。

$ tar vzxf nagois-plugins-1.5.tar.gz # tar.gz文件解压
$ cd nagois-plugins-1.5
$ ./configure --prefix=/usr/nagios-plugins # 配置
$ make # 编译程序、库、文档等，等同于make all
$ make install # 安装已经编译好的程序
$ make clean # 删除由make命令产生的文件
$ make distclean # 删除由./configure产生的文件

系统管理命令

$ kill -l # 显示共64种信号。默认为SIGTERM（15）。SIGKILL（9）为不可忽略。
$ kill -9 8080 # 强制终止PID为8080的进程。 -s可指定要发送的信号

$ last # 显示登录系统用户信息（登录ip、用户名、日期等）
root     pts/0        x.x.x.x     Wed Apr 2 19:44   still logged in
root     pts/1        x.x.x.x     Mon Apr 1 22:15 - 23:19  (01:04)

$ free -m #显示系统内存信息，以-m为以MB为单位。-s (seconds)为持续显示内存使用状况。
              total        used        free      shared  buff/cache   available
Mem:            821         203         155           0         462         457
Swap:             0           0           0

$ uname -a # 显示当前系统名称，-a为显示系统概要信息
Linux iZ8vbb8ogl0s1dkimprjuhZ 4.18.0-147.5.1.el8_1.x86_64#1 SMP Wed Feb 5 02:00:39 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

$ hwclock # 显示系统硬件时钟，可设置
2016-04-02 20:37:52.941210+08:00

$ reboot # 重启操作系统
$ shutdown -h 5 # 5分钟后关闭操作系统，-h为关机后切断电源，-r为重启，-c为取消关闭

$ ip addr # ip命令用于系统ip地址的管理，替代ifconfig
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:16:3e:03:fc:16 brd ff:ff:ff:ff:ff:ff
    inet 172.26.21.137/20 brd 172.26.31.255 scope global dynamic noprefixroute eth0
       valid_lft 315092818sec preferred_lft 315092818sec
    inet6 fe80::216:3eff:fe03:fc16/64 scope link 
       valid_lft forever preferred_lft forever

$ systemctl start/restart/stop httpd.service # 管理服务进程，将service和chkconfig集成
$ service httpd start/restart/stop # 被替换的旧命令

日志相关命令

$ tail -f xxx.log
$ less -N xxx.log #和vim的操作类似
#q退出
#g为开始，G为最后
#/** ，向下搜索。
#?**，向上搜索。
#n为下一个，N为上一个

其他命令

$ man crontab # man为命令在线帮助手册（manual pages），获取任何命令的使用方式
$ crontab --help # 获取简要帮助
$ info crontab # 可获得更多帮助信息

# tab按键适用于补全命令或者目录、文件名等
$ chk "tab" # tab为键盘按键，会自动补全命令chkconfig
$ ch "tab" # 如无法区分，需要按两次tab符，出现补全提示
chacl        chardetect   chcat        chcpu        checkpolicy  chgpasswd    chkconfig    chmod        chpasswd     chronyd      chrt         chvt         
chage        chattr       chcon        checkmodule  chfn         chgrp        chmem        chown        chronyc      chroot       chsh     

$ who # 查看已登录系统的用户，使用的tty和时间。使用-b可查看重启时间
root     pts/0        2016-04-02 19:44 (219.238.47.2)
$ ps -ef | grep pts/0 # 可根据用户tty获取PID
root      6673  6671  0 19:44 ?        00:00:00 sshd: root@pts/0
root      6674  6673  0 19:44 pts/0    00:00:00 -bash
root      6831  6674  0 20:55 pts/0    00:00:00 ps -ef
root      6832  6674  0 20:55 pts/0    00:00:00 grep --color=auto pts/0
$ kill -9 6673 # 终止用户的shell进程

shell脚本编程

• shell的变量分为局部变量、环境变量和特殊变量，局部变量通过set命令设置，环境变量通过env命令获取，特殊变量有$*（所有参数）和$@（某个参数），@可以是数字，代表第几个参数。

hello.sh内容如下：

#!/bin/sh
echo 'hello world'
echo

# 执行方式1
$ chmod +x hello.sh
$ ./hello.sh
# 执行方式2
$ bash hello.sh

# 赋值
$ var=2
$ echo $var # 2
$ let var2=4
$ echo $var2 #4

# 循环，包括for、while和until语句。

#!/bin/sh
for j in $(seq 1 5) #1-5循环
do
   echo $j
done

# 分支，包括if和case

#!/bin/bash
echo -n "enter a number:"
read number
if [ $number -lt 8 ] 
then
        echo "big"
else
        echo "small"
fi

# 函数

#!/bin/sh
hello(){
        echo "hello"
}
hello

服务管理命令

service和systemctl

> systemctl enable xxx
> systemctl start xxx

https://www.jianshu.com/p/a0ab0ccb8051 Linux查看CPU详细信息

五、用户和用户组

用户管理

$ cat /etc/passwd # 用户信息
#格式为username:x:UID:GID:用户信息:用户主目录:用户登录shell
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
...

$ cat /etc/shadow #用户的影子文件，保存了用户的密码
#格式为username:用户密码:修改密码天数:允许修改密码的天数:密码有效期:提醒修改密码天数:::
root:$6$rHfcFl0tGiWai$4nnogzkWXWolAqtwBGy9iv.zm.PaymTIIi4M8s778yh4oC3PVUDAPUIPym/zQLIQajD61pKXXFL6a8y7beDuE/:18504:0:99999:7:::
bin:*:18078:0:99999:7:::
daemon:*:18078:0:99999:7:::
adm:*:18078:0:99999:7:::
...

#增加用户

$ cat /etc/default/useradd  #创建用户时的模板
# useradd defaults file
GROUP=100
HOME=/home
INACTIVE=-1
EXPIRE=
SHELL=/bin/bash
SKEL=/etc/skel
CREATE_MAIL_SPOOL=yes

# 创建用户和设置密码
$ useradd nginx
$ passwd nginx
Changing password for user nginx.
New password: 
Retype new password: 
passwd: all authentication tokens updated successfully.

# 修改用户密码
$ passwd nginx #修改nginx用户密码
$ passwd  #修改root用户密码
$ passwd -l nginx # 锁定用户账户
$ passwd -u nginx # 解锁用户账户
$ userdel -r #删除用户账户和目录

# 切换用户
$ sudo #暂时切换到超级用户模式以执行超级用户权限，提示输入密码是当前用户密码，每次执行超级用户权限都要在命令前加上sudo
$ sudo -i #为了频繁的执行某些只有超级用户才能执行的权限，而不用每次输入密码，可以使用该命令。提示输入密码时该密码为当前账户的密码。
$ su xx #切换到xx用户模式，提示输入密码为切换后账户的密码。如果后面不加账户时系统默认为root账户，密码也为超级账户的密码。

用户组管理

$ cat /etc/group # 用户组信息
#格式为groupname:x:GID:该组成员名称
root:x:0:
bin:x:1:
daemon:x:2:
sys:x:3:
adm:x:4:
...

$ cat /etc/gshadow #用户组的影子文件，保存了用户组密码
#格式为用户组名:用户组密码:用户组管理者:组成员
root:::
bin:::
daemon:::
sys:::
adm:::
...

# 创建用户组和设置密码
$ groupadd nginx
$ gpasswd nginx
$ gpasswd -a USER nginx #将某用户（第1个参数）添加到nginx用户组（第2个参数）
$ gpasswd -A USER nginx #设置用户组管理员
$ gpasswd -d USER nginx #用户组中删除某用户

用户环境配置管理

用户成功登录后，会依次读取配置文件来初始化工作环境。

• /etc/profile文件
• 然后读取 ~/.bash_profile、 ~/.bash_login、 ~/.profile中第一个存在的文件
• 如果 ~/.bash_profile存在，还会执行 ~/.bashrc

六、文件系统和数据存储空间

文件系统的组成

• 普通文件
• 目录
• 链接文件：分为软链接和硬链接。硬链接实现不复制的情况下实现文件共享，减少磁盘的浪费。软链接采用不同的文件名引用同一数据，好处是确保目录文件结构的兼容性。
• 特殊文件：包括块设备文件b、套接字文件s、字符设备c和命名管道文件p。不包含任何数据，用于建立一个物理设备和文件名之间的映射。特殊的是/dev/null，黑洞的空设备文件。

$ ll
-rwxr-xr-x 1 root root  47 Oct  3 14:03 a.sh
# 普通文件，以"-"为标识，rwxr-xr-x是用户和组的权限，1代表文件的链接数，root root为文件所属的用户和组
# 47 代表文件大小，Oct 3 14:03代表创建时间，a.sh为文件的名称
$ file a.sh  #文件所属类型
for.sh: POSIX shell script, ASCII text executable

$ ll
dr-xr-x---.   5 root root  248 Oct  3 14:14 root
# 目录，以"d"为标识。每个目录都包含两个特殊目录，父目录以..表示，当前目录以.表示。

$ cd /etc
$ ll
lrwxrwxrwx   1 root root       12 Dec 19  2019 yum.conf -> dnf/dnf.conf
# 软链接，以"l"为标识。文件名是指向链接文件。

磁盘分区

• 系统的磁盘分区，由主引导分区、主分区和拓展分区组成。
• 主引导分区是系统自动保留的512字节大小的分区，用于保存磁盘启动的引导信息，磁盘分区等。
• 主分区可直接使用，主分区不多于4个。
• 拓展分区需要划分成逻辑分区后才可以使用。

$ df -h
#格式：被挂在的设备名 总大小 已用空间 剩余空间 已用空间/总空间 挂载点的路径
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        396M     0  396M   0% /dev
tmpfs           411M     0  411M   0% /dev/shm
tmpfs           411M  476K  411M   1% /run
tmpfs           411M     0  411M   0% /sys/fs/cgroup
/dev/vda1        40G  3.0G   37G   8% /
tmpfs            83M     0   83M   0% /run/user/0

$ fdisk -l /dev/vda # 查看磁盘分区
Disk /dev/vda: 40 GiB, 42949672960 bytes, 83886080 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x9a699527

Device     Boot Start      End  Sectors Size Id Type
/dev/vda1  *     2048 83886046 83883999  40G 83 Linux

$ ll /dev/vda* #查看有多少块磁盘
brw-rw---- 1 root disk 253, 0 Oct  3 15:33 /dev/vda
brw-rw---- 1 root disk 253, 1 Oct  3 15:33 /dev/vda1

$ mke2fs -b 4096 /dev/vda #整个磁盘格式化
$ mke2fs -b 4096 /dev/vda1 #某个磁盘分区格式化

$ fdisk /dev/vda # 管理磁盘分区（创建 删除等）

Welcome to fdisk (util-linux 2.32.1).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


Command (m for help):

$ mount /dev/vda1 / # 挂载磁盘分区
$ mkfs -t ext4 /dev/vda1 #需先指定分区文件系统的类型
$ cat /etc/fstab #配置该文件，重启后自动挂载分区
$ rsync SRC DEST # 数据同步工具，用于数据的本地和远程备份。

七、系统性能监控

常用系统性能监控工具

监测工具	作用说明
dstat	综合的信息采集统计工具
iostat	I/O负载监控
iptraf	网络状况
mpstat	CPU利用率
netstat	网络状况
netperf	网络性能监视
sar	系统资源使用
tcpdump	网络抓包
tcptrace	数据包分析
top	进程活动和CPU内存状态
vmstat	虚拟内存、进程和CPU状态

磁盘监控

$ fdisk -l /dev/vda #磁盘分区描述
$ df -h #磁盘使用情况
$ du -sh /* #根目录下各目录的磁盘占用

$ time dd if=/dev/zero of=rdata.dbf bs=8k count=2 #测试磁盘写能力
$ time dd if=/dev/vda1 of=/dev/null bs=8k #测试磁盘读能力
$ time dd if=/dev/vda1 of=rdata.dbf bs=8k #同时测试磁盘读写能力
$ badblocks -s -v /dev/vda #坏道检查

$ iostat -kx 2 2 #对顺序IO性能进行评测

内存管理

$ free -m #内存静态信息
              total        used        free      shared  buff/cache   available
Mem:            821         173          84           0         563         516
Swap:             0           0           0

$ vmstat 2 3 #每2秒读取1次，共读取3次
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 2  0      0  86880   2104 574752    0    0     0     2   13    5  0  0 99  0  0
 0  0      0  86760   2104 574776    0    0     0     0  178  428  1  1 99  0  0
 0  0      0  86760   2104 574776    0    0     0     0  163  401  0  0 99  0  0

CPU管理

$ ll /dev/cpu #查看cpu
total 0
drwxr-xr-x 2 root root 80 Aug 30 18:28 0
$ cat /proc/cpuinfo  #查看cpu详细信息
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6

$ vmstat 2 3 #每2秒读取1次，共读取3次
#格式，用户进程消耗百分比 内核进程消耗百分比 空闲状态百分比 IO等待占用CPU百分比 虚拟进程等待CPU百分比
------cpu-----
us sy id wa st
0  0 99  0  0
1  1 99  0  0
0  0 99  0  0

$ sar 2 3
Linux 4.18.0-147.5.1.el8_1.x86_64 (iZ8vbb8ogl0s1dkimprjuhZ)     10/03/2020      _x86_64_        (1 CPU)

04:22:56 PM     CPU     %user     %nice   %system   %iowait    %steal     %idle
04:22:58 PM     all      0.50      0.00      0.50      0.00      0.00     99.00
04:23:00 PM     all      0.00      0.00      0.50      0.00      0.00     99.50
04:23:02 PM     all      0.50      0.00      0.50      0.00      0.00     99.00
Average:        all      0.33      0.00      0.50      0.00      0.00     99.17

进程状态监控

$ pstree # 查看进程树
$ ps -ef 
#格式： 用户id 进程id 父进程id 进程占用cpu百分比 进程启动时间 启动时使用的虚拟终端 进程消耗的CPU时间 进程启动命令
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  0 Aug30 ?        00:00:27 /usr/lib/systemd/systemd --switched-root --system --deserialize 17
root         2     0  0 Aug30 ?        00:00:00 [kthreadd]
root         3     2  0 Aug30 ?        00:00:00 [rcu_gp]
root         4     2  0 Aug30 ?        00:00:00 [rcu_par_gp]

网络性能评估

监控Linux网络带宽的工具有一大把，下面是按功能划分的命令名称。

• 监控总体带宽使用――nload、bmon、slurm、bwm-ng、cbm、speedometer和netload
• 监控总体带宽使用（批量式输出）――vnstat、ifstat、dstat和collectl
• 每个套接字连接的带宽使用――iftop、iptraf、tcptrack、pktstat、netwatch和trafshow
• 每个进程的带宽使用――nethogs

$ ping 172.26.21.137 # 网络连通性测试，TTL在100-130之间则为windows，50-60或240-255之间则为linux。
$ netstat -i # 网络接口详细信息
Kernel Interface table 
Iface             MTU    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0             1500  1420597      0      0 0       1468264      0      0      0 BMRU
lo              65536       61      0      0 0            61      0      0      0 LRU

$ /proc/sys/net/ipv4/icmp_* # ICMP配置
$ /proc/sys/net/ipv4/ip_* # IP配置
$ /proc/sys/net/ipv4/tcp_* # TCP配置
$ /proc/sys/net/ipv4/inet_* # INET配置

网络抓包

最近需要对服务器的网络进行抓包统计，便用到了tcpdump。『官网传送门』，可去查看最新版本以及相关用法。用简单的话来定义tcpdump，就是：dump the traffic on a network，根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。

tcpdump安装：

# 安装依赖
$ yum install flex  
$ yum install bison  
$ yum install gcc 
# 下载安装
$ wget http://www.tcpdump.org/release/libpcap-1.8.1.tar.gz    
$ wget http://www.tcpdump.org/release/tcpdump-4.9.2.tar.gz    
$ tar -zxvf libpcap-1.8.1.tar.gz    
$ cd libpcap-1.8.1    
$ ./configure    
$ make install    

$ cd ..    
$ tar -zxvf tcpdump-4.9.2.tar.gz    
$ cd tcpdump-4.9.2    
$ ./configure    
$ sudo make install  

首先需要查看设备上有哪些设备可以抓取，通过tcpdump -D会列出可以抓取的网络设备名以及编号

1.eth0 [Up, Running]
2.eth1 [Up, Running]
3.any (Pseudo-device that captures on all interfaces) [Up, Running]
4.lo [Up, Running, Loopback]
5.usbmon0 (All USB buses)
6.nflog (Linux netfilter log (NFLOG) interface)
7.nfqueue (Linux netfilter queue (NFQUEUE) interface)
8.usbmon1 (USB bus number 1)

如需要可视化页面来分析，可以安装大名鼎鼎的wireshark。最新版本是支持windows和mac了的。

可以通过tcpdump导出cap文件，供wireshark直接打开。

$ tcpdump tcp -i 2 -t -s 0 -c 2000 -w x.cap

$ tcpdump -XvvennSs 0 -i 7 tcp[20:2]=0x4745 or tcp[20:2]=0x4854 -w x.cap

相关参数的含义请参考官网文档。

网络参数配置

包括网卡参数、主机名、服务、域名解析等配置。

• /etc/hosts，主机和ip映射
• /etc/host.conf，如何解析主机名
• /etc/resolv.conf，配置DNS客户端
• /etc/services，记录服务名和端口号映射
• /etc/sysconfig/network
• /etc/sysconfig/network-scripts/ifcfg-lo，系统还回地址
• /etc/sysconfig/network-scripts/ifcfg-eth0，网卡设备配置文件
• /etc/nsswitch.conf，多个配置文件查找顺序

/etc/services对端口号的分配策略如下：

• 0，不使用
• 1-1023，系统保留，由root用户进程使用
• 1024-4999，由客户端程序自由分配
• 5000-65535，由服务端程序自由分配

八、IO基础

基础概念

1、用户空间与内核空间

• 由于CPU某些指令比较危险，如果错用会导致系统崩溃，为了保护系统，Linux将内存空间划分为了两部分：内核空间和用户空间。以32位为例，最高的1G（内核空间）供内核使用，较低的3G（用户空间）给各个进程使用。
• 内核空间，运行内核和驱动程序，存放的是内核代码和数据，可以运行最高级别（ring0）的指令。用户空间，运行应用程序，存放的是用户程序的代码和数据，不能直接调用系统资源（只能运行ring3级别指令），必须通过内核暴露的系统调用接口（system call）向内核发出指令。
• 当进程运行在内核空间时，它就处于内核态；当进程运行在用户空间时，它就处于用户态。通过系统调用，进程可以从用户空间切换到内核空间。
• 每个进程有私有的用户空间，其他进程无法访问。但内核空间是所有进程和内核共享的。从单个进程来看，他可以拥有4G字节的虚拟空间。

2、DMA（直接内存访问，Direct Memory Access）

POI模式中，读取磁盘文件到内存需要经过CPU存储转发。DMA模式取代了POI。
在DMA模式下，CPU只需要向DMA控制器下达指令，让DMA控制器来处理数据的传送即可，DMA控制器通过系统总线来传输数据，传送完毕再通知CPU，这样就在很大程度上降低了CPU占有率。

3、中断

允许设备（如键盘、网卡等）表明它们需要CPU。一旦CPU接收了中断请求，CPU就会暂时停止执行正在运行的程序，并调用一个称为中断服务程序的特定程序。之后，CPU会恢复执行之前被中断的程序。

磁盘IO和网络IO流程

当我们需要进行IO操作时，如读写硬盘文件、读写网卡数据等，进程需要从用户态切换到内核态，否则无法进行这样的操作，无论是从内核态切换到用户态，还是从用户态切换到内核态，都需要进行一次上下文的切换。一般情况下，应用不能直接操作内核空间的数据，需要把内核态的数据拷贝到用户空间才能操作。

一个网络请求想访问服务器上的某个静态文件，服务器的IO流程如下：

• 进程发起一个系统调用sys_read，读取磁盘的文件。
• DMA将磁盘文件数据拷贝到内核空间的read缓冲区。
• CPU把内核空间read缓冲区数据拷贝到用户空间的缓冲区。
• 进程发起一个系统调用socket_write，向网卡写数据。
• CPU把用户空间缓冲区的数据拷贝到内核空间的socket缓冲区。
• 最后DMA把内核空间的socket缓冲区数据拷贝到网卡。

如使用了sendfile命令，涉及零复制(zero copy)技术，流程可以简化为：

• DMA copy将磁盘数据copy到kernel buffer中
• 向socket buffer中追加当前要发送的数据在kernel buffer中的位置和偏移量
• DMA gather copy根据socket buffer中的位置和偏移量直接将kernel buffer中的数据copy到网卡上。

$ nc -l 9999
$ nc 127.0.0.1 9999
$ strace -ff -o xx nc -l 9999 #是一个集诊断、调试、统计与一体的工具，跟踪进程执行时的系统调用和所接收的信号

$ cd /proc/32392 #一切皆文件
fd
$ ss -s #linux的socket使用情况
Total: 216 (kernel 264)
TCP:   112 (estab 73, closed 3, orphaned 0, synrecv 0, timewait 3/0), ports 0

Transport Total     IP        IPv6
*         264       -         -        
RAW       0         0         0        
UDP       2         1         1        
TCP       109       97        12       
INET      111       98        13       
FRAG      0         0         0