掘金后端 ( ) • 2024-04-23 14:55

theme: channing-cyan

Linux文件系统

一、inode 与 block

文件数据包括元信息与实际信息；
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节。
一个文件必须占用一个inode, 并且至少占用一个block

1. block：（块）的概念

连续的八个扇区组成一个block（4k）；
是文件存取的最小单位
操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取

2. inode：（索引节点）的概念

存储文件元信息( 比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode号；
中文译名为“索引节点”，也叫i节点；
用于存储文件元信息；
inode不包含文件名，文件名是存放在目录当中的。

3. 文件数据的概念

文件数据包括实际数据与元信息。文件数据存储在block中，文件元信息存在inode中。而文件名是存放在目录当中的。

文件数据存放位置实际数据 block 元信息 inode 文件名目录

二、inode表的结构

每个文件的属性信息，比如：文件的大小，时间，类型，权限等，称为文件的元数据(meta data)。

元数据是存放在inode（index node）表中。inode 表中有很多条记录组成，第一条记录对应的存放了一个文件的元数据信息。

每一个inode表记录对应保存了文件的元信息：

inode number 节点号
文件类型
文件的读、写、执行权限
文件属主的UID
文件属组的GID
链接数（指向这个文件名路径名称个数）
该文件的大小和不同的时间戳
指向磁盘上文件的数据块指针
有关文件的其他数据

三、inode 的大小

inode也会消耗硬盘空间
- 每个inode的大小一般是128字节或256字节
格式化文件系统时确定inode的总数
- 如果磁盘还有空间，但inode号被全部占用，也无法创建新文件。
- inode号在同一个文件系统内唯一，在不同的文件系统中可以重复

使用 "df -i" 命令可以查看每个硬盘分区的inode总数和已经使用的数量

删除文件后空间不释放的处理方法：

删除文件后，如果磁盘空间没有释放，是因为文件正在被其他人打开。其他人退出使用该文件后空间会被释放。

可以使用 w 命令或 lsof 命令查看是否有人在使用该文件。

如果确定有人打开了该文件，可以使用三种方法释放空间：

将被打开的文件变成空文件，依赖shell环境：echo " " > f1.txt
导入空文件：cat /dev/null > f1.txt
查看被删除的文件和对应PID，之后杀死该进程：

lsof | grep f1.txt

kill -9 PID

注意：

删除文件前，一定要确认清除的该文件是否为有效文件。

四、访问文件的简单流程

用户通过文件名打开文件时，系统内部的过程：

用户访问文件时，系统先去查找文件所属目录中的目录项，根据文件名找到对应的inode号码。
通过inode号码，获取inode信息。
根据inode信息，判断用户是否具备访问权限。
- 如果有访问权限，则利用指针去指向实际数据所在的block，读出数据。
- 如果没有访问权限，则返回Permission denied。根据inode信息，利用指针去指向实际数据所在的block，读出数据。

查看inode号码的方法：

ls -i 命令：查看文件名对应的inode号码
stat 命令：查看文件inode信息中的inode号码

五、Linux系统文件中三个主要的时间属性

atime（access time)：最近访问

最后一次访问文件的时间
mtime（modify）：最近更改

最后一次更改文件内容的时间
ctime（change time）：最近改动

最后一次改变文件元信息的时间

注意：

不打开文件的话，atime不变。例如使用echo追加内容，atime不会变，因为文件没有被打开访问。
修改文件内容的话，mtime会变，ctime也会变。
如果只修改文件的权限，ctime变，mtime不变

日志分析

一、日志文件介绍

日志的功能：

用于记录系统、程序运行中发生的各种事件
通过阅读日志，有助于诊断和解决系统故障

日志文件的分类：

内核及系统日志：

这种日志数据由系统服务rsyslog统一管理，根据其主配置文件/etc/rsyslog.conf中的设置，决定将内核消息及各种系统程序消息记录到什么位置。日志格式基本相似。
用户日志：

记录用户登录及退出系统的相关信息，包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。
程序日志：

有些应用程序会选择由自己独立管理一份日志文件（而不是交给rsyslog服务管理），用于记录本程序运行过程中的各种事件信息。记录格式不统一。

日志保存位置：

主要日志文件介绍：

日志位置描述内核及公共消息日志 /var/log/messages 它是核心系统日志文件，其中包含了系统启动时的引导信息，以及系统运行时的其他状态消息。I/O 错误、网络错误和其他系统错误都会记录到此文件中。其他信息，比如某个人的身份切换为 root，以及用户自定义安装软件的日志，也会在这里列出。计划任务日志 /var/log/cron 记录与系统定时任务相关的曰志系统引导日志 /var/log/dmesg 记录了系统在开机时内核自检的信息，也可以使用dmesg命令直接查看内核自检信息。邮件系统日志 /var/log/maillog 记录邮件信息的曰志用户登录日志： /var/log/lastlog 记录系统中所有用户最后一次的登录时间的曰志。这个文件是二进制文件.不能直接用 vi 查看，而要使用 lastlog 命令查看。 /var/log/secure 记录验证和授权方面的倍息，只要涉及账户和密码的程序都会记录。比如系统的登录、ssh的登录、su切换用户，sudo授权，甚至添加用户和修改用户密码都会记录在这个日志文件中。 /var/log/wtmp 永久记录所有用户的登录、注销信息，同时记录系统的启动、重启、关机事件。同样，这个文件也是二进制文件，不能直接用 vi 查看，而要使用 last 命令查看。 /var/tun/ulmp 记录当前已经登录的用户的信息。这个文件会随着用户的登录和注销而不断变化，只记录当前登录用户的信息。同样，这个文件不能直接用 vi 查看，而要使用w、who、users等命令查看。

二、内核及系统日志

由系统服务 rsyslog 统一管理，根据其主配置文件 /etc/rsyslog.conf。

软件包：rsyslog-8.24.0-12.el7.x86_64 （可使用 ”rpm -q“ 命令查看）
主要程序：/sbin/rsyslogd
配置文件：/etc/rsyslog.conf （可使用 ”rpm -qc“ 命令查看）

日志消息的级别：

级号消息级别说明 0 EMERG 紧急会导致主机系统不可用的情况 1 ALERT 警告必须马上采取措施解决的问题 2 CRIT 严重比较严重的情况 3 ERR 错误运行出现错误 4 WARNING 提醒可能会影响系统功能的事件 5 NOTICE 注意不会影响系统但值得注意 6 INFO 信息一般信息 7 DEBUG 调试程序或系统调试信息等

日志记录的一般格式：

事件产生的时间。
产生事件的服务器的主机名。
产生事件的服务名或程序名。
事件的具体信息。

三、用户日志分析

保存了用户登录、退出系统等相关信息：

/var/log/lastlog：最近都用户登录事件。二进制文件，使用 lastlog 命令查看。
/var/log/secure：与用户验证有关的安全性事件。
/var/log/wtmp：用户登录、注销，及系统开、关机事件。二进制文件，使用 last 命令查看。
/var/run/utmp：当前登录的每个用户的详细信息。二进制文件，使用w、who、users等命令查看。

示例：

users：查询最近三次登录的用户信息。

who：查看当前登录的用户、终端、登录时间、IP地址。

w：查看当前登录的用户、终端、IP地址、登录时间、占用CPU的情况、进程等。

last：读取 /var/log/wtmp 文件，显示登录系统的用户信息。

lastb：读取 /var/log/btmp 文件，显示登入系统失败的用户信息。

四、程序日志分析

由相应的应用程序独立进行管理：

Web服务：/var/log/httpd/
- access_log、error_log
代理服务：/var/log/squid
- access.log、cache.log
FTP服务：/var/log/xferlog

分析工具：

文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具

五、系统日志

1. sysklogd 系统日志服务

CentOS 5 之前版本采用的日志管理系统服务

syslogd: system application 记录应用日志
klogd: linux kernel 记录内核日志

事件记录格式：

日期时间主机进程[pid]: 事件内容

C/S架构：

通过TCP或UDP协议的服务完成日志记录传送，将分布在不同主机的日志实现集中管理

2.rsyslog 系统日志

rsyslog是CentOS 6以后版本的系统管理服务：它提供了高性能，出色的安全性和模块化设计。尽管rsyslog最初是常规的syslogd，但发展成为一种瑞士军刀式的记录工具，能够接受来自各种来源的输入，并将其转换，然后输出到不同的目的地。

当应用有限的处理时，RSYSLOG每秒可以将超过一百万的消息传递到本地目的地。即使在远程的目的地和更精细的处理中，性能通常也被认为是惊人的”。

官网：www.rsyslog.com/

rsyslog 特性：

多线程
UDP, TCP, SSL, TLS, RELP
MySQL, PGSQL, Oracle实现日志存储
强大的过滤器，可实现过滤记录日志信息中任意部分
自定义输出格式
适用于企业级中继

查看 rsyslog 工具的详细信息：

3. ELK

ELK：由Elasticsearch、Logstash、Kibana三个软件组成。

非关系型分布式数据库基于apache软件基金会jakarta项目组的项目lucene；
Elasticsearch是个开源分布式搜索引擎，可以处理大规模日志数据，比如：Nginx、Tomcat、系统日志等功能；
Logstash对日志进行收集、分析，过滤，并将其存储供以后使用；
Kibana 可以提供的日志分析友好的 Web 界面。

六、rsyslog管理

1 系统日志术语

facility：设施，从功能或程序上对日志进行归类

内置分类：auth（验证）, authpriv, cron（定时任务）, daemon，ftp，kern, lpr, mail, news, security(auth), user, uucp, syslog

自定义的分类：

local0-local7

Priority 优先级别，从低到高排序
参看帮助： man 3 syslog，man logger

日志等级：

服务名称（即什么服务产生的日志）：

服务名称说明 auth(LOG AUTH) 安全和认证相关消息 (不推荐使用authpriv替代） authpriv(LOG_AUTHPRIV) 安全和认证相关消息（私有的） cron (LOG_CRON) 系统定时任务cront和at产生的日志 daemon (LOG_DAEMON) 与各个守护进程相关的曰志 ftp (LOG_FTP) ftp守护进程产生的曰志 kern(LOG_KERN) 内核产生的曰志（不是用户进程产生的） Iocal0 ~ local7 (LOG_LOCAL0-7) 为本地使用预留的服务 lpr (LOG_LPR) 打印产生的日志 mail (LOG_MAIL) 邮件收发信息 news (LOG_NEWS) 与新闻服务器相关的日志 syslog (LOG_SYSLOG) 存syslogd服务产生的曰志信息（虽然服务名称己经改为reyslogd，但是很多配罝依然沿用了 syslogd服务的，所以这里并没有修改服务名称） user (LOG_USER) 用户等级类别的日志信息 uucp (LOG_UUCP> uucp子系统的日志信息，uucp是早期Linux系统进行数据传递的协议，后来也常用在新闻组服务中