Linux系统一般有4个主要部分内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构它们使得用户可以运行程序、管理文件并使用系统。1. linux内核内核是操作系统的核心具有很多最基本功能它负责管理系统的进程、内存、设备驱动程序、文件和网络系统决定着系统的性能和稳定性。Linux 内核由如下几部分组成内存管理、进程管理、设备驱动程序、文件系统和网络管理等。如图系统调用接口SCI 层提供了某些机制执行从用户空间到内核的函数调用。这个接口依赖于体系结构甚至在相同的处理器家族内也是如此。SCI 实际上是一个非常有用的函数调用多路复用和多路分解服务。在 ./linux/kernel 中您可以找到 SCI 的实现并在 ./linux/arch 中找到依赖于体系结构的部分。1.1 内存管理对任何一台计算机而言其内存以及其它资源都是有限的。为了让有限的物理内存满足应用程序对内存的大需求量Linux 采用了称为“虚拟内存”的内存管理方式。Linux 将内存划分为容易处理的“内存页”对于大部分体系结构来说都是 4KB。Linux 包括了管理可用内存的方式以及物理和虚拟映射所使用的硬件机制。不过内存管理要管理的可不止 4KB 缓冲区。Linux 提供了对 4KB 缓冲区的抽象例如 slab 分配器。这种内存管理模式使用 4KB 缓冲区为基数然后从中分配结构并跟踪内存页使用情况比如哪些内存页是满的哪些页面没有完全使用哪些页面为空。这样就允许该模式根据系统需要来动态调整内存使用。为了支持多个用户使用内存有时会出现可用内存被消耗光的情况。由于这个原因页面可以移出内存并放入磁盘中。这个过程称为交换因为页面会被从内存交换到硬盘上。内存管理的源代码可以在 ./linux/mm 中找到。1.2 进程管理进程实际是某特定应用程序的一个运行实体。在 Linux 系统中能够同时运行多个进程Linux 通过在短的时间间隔内轮流运行这些进程而实现“多任务”。这一短的时间间隔称为“时间片”让进程轮流运行的方法称为“进程调度” 完成调度的程序称为调度程序。进程调度控制进程对CPU的访问。当需要选择下一个进程运行时由调度程序选择最值得运行的进程。可运行进程实际上是仅等待CPU资源的进程如果某个进程在等待其它资源则该进程是不可运行进程。Linux使用了比较简单的基于优先级的进程调度算法选择新的进程。通过多任务机制每个进程可认为只有自己独占计算机从而简化程序的编写。每个进程有自己单独的地址空间并且只能由这一进程访问这样操作系统避免了进程之间的互相干扰以及“坏”程序对系统可能造成的危害。为了完成某特定任务有时需要综合两个程序的功能例如一个程序输出文本而另一个程序对文本进行排序。为此操作系统还提供进程间的通讯机制来帮助完成这样的任务。Linux 中常见的进程间通讯机制有信号、管道、共享内存、信号量和套接字等。内核通过 SCI 提供了一个应用程序编程接口API来创建一个新进程fork、exec 或 Portable Operating System Interface [POSⅨ] 函数停止进程kill、exit并在它们之间进行通信和同步signal 或者 POSⅨ 机制。1.3 文件系统和 DOS 等操作系统不同Linux 操作系统中单独的文件系统并不是由驱动器号或驱动器名称如 A: 或 C: 等来标识的。相反和 UNIX 操作系统一样Linux 操作系统将独立的文件系统组合成了一个层次化的树形结构并且由一个单独的实体代表这一文件系统。Linux 将新的文件系统通过一个称为“挂装”或“挂上”的操作将其挂装到某个目录上从而让不同的文件系统结合成为一个整体。Linux 操作系统的一个重要特点是它支持许多不同类型的文件系统。Linux 中最普遍使用的文件系统是 Ext2它也是 Linux 土生土长的文件系统。但 Linux 也能够支持 FAT、VFAT、FAT32、MINIX 等不同类型的文件系统从而可以方便地和其它操作系统交换数据。由于 Linux 支持许多不同的文件系统并且将它们组织成了一个统一的虚拟文件系统.虚拟文件系统VirtualFileSystem,VFS:隐藏了各种硬件的具体细节把文件系统操作和不同文件系统的具体实现细节分离了开来为所有的设备提供了统一的接口VFS提供了多达数十种不同的文件系统。虚拟文件系统可以分为逻辑文件系统和设备驱动程序。逻辑文件系统指Linux所支持的文件系统如ext2,fat等设备驱动程序指为每一种硬件控制器所编写的设备驱动程序模块。虚拟文件系统VFS是 Linux 内核中非常有用的一个方面因为它为文件系统提供了一个通用的接口抽象。VFS 在 SCI 和内核所支持的文件系统之间提供了一个交换层。即VFS在用户和文件系统之间提供了一个交换层。VFS在用户和文件系统之间提供了一个交换层:在 VFS 上面是对诸如 open、close、read 和 write 之类的函数的一个通用 API 抽象。在 VFS 下面是文件系统抽象它定义了上层函数的实现方式。它们是给定文件系统超过 50 个的插件。文件系统的源代码可以在 ./linux/fs 中找到。文件系统层之下是缓冲区缓存它为文件系统层提供了一个通用函数集与具体文件系统无关。这个缓存层通过将数据保留一段时间或者随即预先读取数据以便在需要时就可用优化了对物理设备的访问。缓冲区缓存之下是设备驱动程序它实现了特定物理设备的接口。因此用户和进程不需要知道文件所在的文件系统类型而只需要象使用 Ext2 文件系统中的文件一样使用它们。1.4 设备驱动程序设备驱动程序是 Linux 内核的主要部分。和操作系统的其它部分类似设备驱动程序运行在高特权级的处理器环境中从而可以直接对硬件进行操作但正因为如此任何一个设备驱动程序的错误都可能导致操作系统的崩溃。设备驱动程序实际控制操作系统和硬件设备之间的交互。设备驱动程序提供一组操作系统可理解的抽象接口完成和操作系统之间的交互而与硬件相关的具体操作细节由设备驱动程序完成。一般而言设备驱动程序和设备的控制芯片有关例如如果计算机硬盘是 SCSI 硬盘则需要使用 SCSI 驱动程序而不是 IDE 驱动程序。1.5 网络接口NET提供了对各种网络标准的存取和各种网络硬件的支持。网络接口可分为网络协议和网络驱动程序。网络协议部分负责实现每一种可能的网络传输协议。众所周知TCP/IP 协议是 Internet 的标准协议同时也是事实上的工业标准。Linux 的网络实现支持 BSD 套接字支持全部的TCP/IP协议。Linux内核的网络部分由BSD套接字、网络协议层和网络设备驱动程序组成。网络设备驱动程序负责与硬件设备通讯每一种可能的硬件设备都有相应的设备驱动程序。2. Linux Shellshell是系统的用户界面提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行是一个命令解释器。另外shell编程语言具有普通编程语言的很多特点用这种编程语言编写的shell程序与其他应用程序具有同样的效果。目前主要有下列版本的shell。1Bourne Shell是贝尔实验室开发的。2BASH是GNU的Bourne Again Shell是GNU操作系统上默认的shell,大部分linux的发行套件使用的都是这种shell。3Korn Shell是对Bourne SHell的发展在大部分内容上与Bourne Shell兼容。4C Shell是SUN公司Shell的BSD版本。3. linux 文件系统文件系统是文件存放在磁盘等存储设备上的组织方法。Linux系统能支持多种目前流行的文件系统如EXT2、 EXT3、 FAT、 FAT32、 VFAT和ISO9660。3.1 文件类型Linux下面的文件类型主要有普通文件C语言元代码、SHELL脚本、二进制的可执行文件等。分为纯文本和二进制。目录文件目录存储文件的唯一地方。链接文件指向同一个文件或目录的的文件。设备文件与系统外设相关的通常在/dev下面。分为块设备和字符设备。管道(FIFO)文件: 提供进程之间通信的一种方式套接字(socket) 文件该文件类型与网络通信有关可以通过ls –l, file, stat几个命令来查看文件的类型等相关信息。3.2 Linux目录文件结构是文件存放在磁盘等存贮设备上的组织方法。主要体现在对文件和目录的组织上目录提供了管理文件的一个方便而有效的途径。Linux使用标准的目录结构在安装的时候安装程序就已经为用户创建了文件系统和完整而固定的目录组成形式并指定了每个目录的作用和其中的文件类型。完整的目录树可划分为小的部分这些小部分又可以单独存放在自己的磁盘或分区上。这样相对稳定的部分和经常变化的部分可单独存放在不同的分区中从而方便备份或系统管理。目录树的主要部分有 root、/usr、/var、/home 等。这样的布局可方便在 Linux 计算机之间共享文件系统的某些部分。Linux采用的是树型结构。最上层是根目录其他的所有目录都是从根目录出发而生成的。微软的DOS和windows也是采用树型结构但是在DOS和windows中这样的树型结构的根是磁盘分区的盘符有几个分区就有几个树型结构他们之间的关系是并列的。最顶部的是不同的磁盘分区如CDEF等。但是在linux中无论操作系统管理几个磁盘分区这样的目录树只有一个。从结构上讲各个磁盘分区上的树型目录不一定是并列的。3.3 Linux磁盘分区主分区扩展分区和逻辑分区linux分区不同于windows,硬盘和硬盘分区在Linux都表示为设备.硬盘分区一共有三种主分区扩展分区和逻辑分区。硬盘的分区主要分为主分区(Primary Partion)和扩展分区(Extension Partion)两种主分区和扩展分区的数目之和不能大于四个。主分区(Primary Partion)可以马上被使用但不能再分区。扩展分区(Extension Partion)必须再进行分区后才能使用也就是说它必须还要进行二次分区。逻辑分区((Logical Partion))由扩展分区建立起来的分区逻辑分区没有数量上限制。扩展分区只不过是逻辑分区的“容器”实际上只有主分区和逻辑分区进行数据存储。Linux下硬盘分区的标识硬盘分区的标识一般使用/dev/hd[a-z]X或者/dev/sd[a-z]X来标识其中[a-z]代表硬盘号X代表硬盘内的分区号。整块硬盘分区的块号标识:Linux下用hda、hdb、sda、sdb 等来标识不同的硬盘;其中IDE接口硬盘表示为/dev/hda1、/dev/hdb …SCSI 接口的硬盘、SATA接口的硬盘表示为/dev/sda、/dev/sdb … … 硬盘内的分区如果X的值是1到4,表示硬盘的主分区包含扩展分区逻辑分区从是从5开始的比如/dev/hda5肯定是逻辑分区了例如用hda1、hda2、 hda5、hda6 来标识不同的分区。其中字母a代表第一块硬盘b代表第二块硬盘以此类推。而数字1 代表一块硬盘的第一个分区、2 代表第二个分区依次类推。1 到4 对应的是主分区(Primary Partition)或扩展分区(Extension Partition)。从5开始对应的都是硬盘的逻辑分区(Logical Partition)。一块硬盘即使只有一个主分区逻辑分区也是从5开始编号的这点应特别注意。总结一个硬盘分区首先要确认在哪个硬盘然后再确认它所在硬盘内的哪个分区。对于/dev/hda 类似的表示方法也并不陌生吧我们在Linux通过fdisk -l 就可以查到硬盘是/dev/hda还是/dev/hdb[rootlocalhost ~]# fdisk -l Disk /dev/hda: 80.0 GB, 80026361856 bytes 255 heads, 63 sectors/track, 9729 cylinders Units cylinders of 16065 * 512 8225280 bytes Device Boot Start End Blocks Id System /dev/hda1 * 1 970 7791493 7 HPFS/NTFS /dev/hda2 971 9729 70356667 5 Extended /dev/hda5 971 2915 15623181 b W95 FAT32 /dev/hda6 2916 4131 9767488 83 linux /dev/hda7 4132 5590 11719386 83 linux /dev/hda8 5591 6806 9767488 83 linux /dev/hda9 6807 9657 22900626 83 linux /dev/hda10 9658 9729 578308 82 linux swap / Solaris请注意第一行 Disk /dev/hda: 80.0 GB, 80026361856 bytes 这个就是表示机器中只有一个硬盘设备/dev/hda 体积大小为 80.0G下面的就是硬盘的分区每个分区都有详细的信息在这里不详细说了Linux下磁盘分区和目录的关系如下– 任何一个分区都必须挂载到某个目录上。– 目录是逻辑上的区分。分区是物理上的区分。– 磁盘Linux分区都必须挂载到目录树中的某个具体的目录上才能进行读写操作。– 根目录是所有Linux的文件和目录所在的地方需要挂载上一个磁盘分区。3.4 linux主要目录的功用。/bin 二进制可执行命令/dev 设备特殊文件/etc 系统管理和配置文件/etc/rc.d 启动的配置文件和脚本/home 用户主目录的基点比如用户user的主目录就是/home/user可以用~user表示/lib 标准程序设计库又叫动态链接共享库作用类似windows里的.dll文件/sbin 系统管理命令这里存放的是系统管理员使用的管理程序/tmp 公用的临时文件存储点/root 系统管理员的主目录呵呵特权阶级/mnt 系统提供这个目录是让用户临时挂载其他的文件系统。/lostfound 这个目录平时是空的系统非正常关机而留下“无家可归”的文件windows下叫什么.chk就在这里/proc 虚拟的目录是系统内存的映射。可直接访问这个目录来获取系统信息。/var 某些大文件的溢出区比方说各种服务的日志文件/usr 最庞大的目录要用到的应用程序和文件几乎都在这个目录。其中包含/usr/X11R6 存放X window的目录/usr/bin 众多的应用程序/usr/sbin 超级用户的一些管理程序/usr/doc linux文档/usr/include linux下开发和编译应用程序所需要的头文件/usr/lib 常用的动态链接库和软件包的配置文件/usr/man 帮助文档/usr/src 源代码linux内核的源代码就放在/usr/src/linux里/usr/local/bin 本地增加的命令/usr/local/lib 本地增加的库3.5 linux文件系统文件系统指文件存在的物理空间linux系统中每个分区都是一个文件系统都有自己的目录层次结构。linux会将这些分属不同分区的、单独的文件系统按一定的方式形成一个系统的总的目录层次结构。一个操作系统的运行离不开对文件的操作因此必然要拥有并维护自己的文件系统。1.文件系统类型ext2 早期linux中常用的文件系统 ext3 ext2的升级版带日志功能 RAMFS 内存文件系统速度很快 NFS 网络文件系统由SUN发明主要用于远程文件共享 MS-DOS MS-DOS文件系统 VFAT Windows 95/98 操作系统采用的文件系统 FAT Windows XP 操作系统采用的文件系统 NTFSWindows NT/XP 操作系统采用的文件系统 HPFS OS/2 操作系统采用的文件系统 PROC : 虚拟的进程文件系统 ISO9660 大部分光盘所采用的文件系统 ufsSun : OS 所采用的文件系统 NCPFS Novell 服务器所采用的文件系统 SMBFS Samba 的共享文件系统 XFS 由SGI开发的先进的日志文件系统支持超大容量文件 JFS IBM的AIX使用的日志文件系统 ReiserFS : 基于平衡树结构的文件系统 udf: 可擦写的数据光盘文件系统2.文件系统特性磁盘分区完毕后还需要进行格式化(format)之后操作系统才能够使用这个分区。格式化的目的是能使操作系统可以使用的文件系统格式即我们上面提到文件系统类型.每种操作系统能够使用的文件系统并不相同. 如windows 98 以前的微软操作系统主要利用的文件系统是 FAT (或 FAT16)windows 2000 以后的版本有所谓的 NTFS 文件系统至于 Linux 的正统文件系统则为 Ext2 (Linux second extended file system, ext2fs)这一个。此外在默认的情况下windows 操作系统是不会认识 Linux 的 Ext2 的。传统的磁盘与文件系统之应用中一个分区就是只能够被格式化成为一个文件系统所以我们可以说一个 filesystem 就是一个 partition。但是由于新技术的利用例如我们常听到的LVM与软件磁盘阵列(software raid) 这些技术可以将一个分区格式化为多个文件系统(例如LVM)也能够将多个分区合成一个文件系统(LVM, RAID)所以说目前我们在格式化时已经不再说成针对 partition 来格式化了 通常我们可以称呼一个可被挂载的数据为一个文件系统而不是一个分区喔那么文件系统是如何运行的呢这与操作系统的文件数据有关。较新的操作系统的文件数据除了文件实际内容外 通常含有非常多的属性例如 Linux 操作系统的文件权限(rwx)与文件属性(拥有者、群组、时间参数等)。文件系统通常会将这两部分的数据分别存放在不同的区块权限与属性放置到 inode 中至于实际数据则放置到 data block 区块中。另外还有一个超级区块 (superblock) 会记录整个文件系统的整体信息包括 inode 与 block 的总量、使用量、剩余量等。对于一个磁盘分区来说在被指定为相应的文件系统后整个分区被分为 10242048 和 4096 字节大小的块。根据块使用的不同可分为超级块(Superblock): 这是整个文件系统的第一块空间。包括整个文件系统的基本信息如块大小inode/block的总量、使用量、剩余量指向空间 inode 和数据块的指针等相关信息。inode块(文件索引节点) : 文件系统索引,记录文件的属性。它是文件系统的最基本单元是文件系统连接任何子目录、任何文件的桥梁。每个子目录和文件只有唯一的一个 inode 块。它包含了文件系统中文件的基本属性(文件的长度、创建及修改时间、权限、所属关系)、存放数据的位置等相关信息. 在 Linux 下可以通过 “ls -li” 命令查看文件的 inode 信息。硬连接和源文件具有相同的 inode 。数据块(Block) :实际记录文件的内容若文件太大时会占用多个block。为了提高目录访问效率Linux还提供了表达路径与inode对应关系的dentry结构。它描述了路径信息并连接到节点inode它包括各种目录信息还指向了inode和超级块。就像一本书有封面、目录和正文一样。在文件系统中超级块就相当于封面从封面可以得知这本书的基本信息inode 块相当于目录从目录可以得知各章节内容的位置而数据块则相当于书的正文记录着具体内容。Linux正统的文件系统(如ext2、3等)将硬盘分区时会划分出超级块、inode Table区块和data block数据区域。一个文件由一个超级块、inode和数据区域块组成。Inode包含文件的属性(如读写属性、owner等以及指向数据块的指针)数据区域块则是文件内容。当查看某个文件时会先从inode table中查出文件属性及数据存放点再从数据块中读取数据。我们将 inode与block区块用图解来说明一下如下图所示文件系统先格式化出inode与block的区块假设某一个文件的属性与权限数据是放置到 inode 4号(下图较小方格内)而这个inode记录了文件数据的实际放置点为 2, 7, 13, 15 这四个 block 号码此时我们的操作系统就能够据此来排列磁盘的阅读顺序可以一口气将四个 block 内容读出来那么数据的读取就如同下图中的箭头所指定的模样了。这种数据存取的方法我们称为索引式文件系统(indexed allocation)。那有没有其他的惯用文件系统可以比较一下啊有的那就是我们惯用的闪盘(闪存)闪盘使用的文件系统一般为 FAT 格式。FAT 这种格式的文件系统并没有 inode 存在所以 FAT 没有办法将这个文件的所有 block 在一开始就读取出来。每个 block 号码都记录在前一个 block 当中 其读取方式有点像下图所示:上图中我们假设文件的数据依序写入1-7-4-15号这四个 block 号码中 但这个文件系统没有办法一口气就知道四个 block 的号码他得要一个一个的将 block 读出后才会知道下一个 block 在何处。如果同一个文件数据写入的 block 分散的太过厉害时则我们的磁盘读取头将无法在磁盘转一圈就读到所有的数据 因此磁盘就会多转好几圈才能完整的读取到这个文件的内容**常常会听到所谓的“碎片整理”吧**需要碎片整理的原因就是文件写入的 block 太过于离散了此时文件读取的效能将会变的很差所致。这个时候可以透过碎片整理将同一个文件所属的 blocks 汇整在一起这样数据的读取会比较容易啊想当然FAT 的文件系统需要经常的碎片整理一下那么 Ext2 是否需要磁盘重整呢由于 Ext2 是索引式文件系统基本上不太需要常常进行碎片整理的。但是如果文件系统使用太久 常常删除/编辑/新增文件时那么还是可能会造成文件数据太过于离散的问题此时或许会需要进行重整一下的。不过老实说鸟哥倒是没有在 Linux 操作系统上面进行过 Ext2/Ext3 文件系统的碎片整理说似乎不太需要啦可以用ln命令对一个已经存在的文件再建立一个新的连接而不复制文件的内容。连接有软连接和硬连接之分软连接又叫符号连接。它们各自的特点是硬连接原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接硬连接不能跨越文件系统不能跨越不同的分区文件在磁盘中只有一个拷贝节省硬盘空间由于删除文件要在同一个索引节点属于唯一的连接时才能成功因此可以防止不必要的误删除。符号连接用ln -s命令建立文件的符号连接符号连接是linux特殊文件的一种作为一个文件它的数据是它所连接的文件的路径名。类似windows下的快捷方式。可以删除原有的文件而保存连接文件没有防止误删除功能。这一段的的内容过于抽象又是节点又是数组的我已经尽量通俗再通俗了又不好加例子作演示。大家如果还是云里雾里的话我也没有什么办法了只有先记住日后在实际应用中慢慢体会、理解了。这也是我学习的一个方法吧。3.6 文件系统在内核中的表示内核数据结构Linux内核的VFS子系统可以图示如下文件与IO: 每个进程在PCBProcess Control Block中都保存着一份文件描述符表文件描述符就是这个表的索引每个表项都有一个指向已打开文件的指针现在我们明确一下已打开的文件在内核中用file结构体表示文件描述符表中的指针指向file结构体。在file结构体中维护File Status Flagfile结构体的成员f_flags和当前读写位置file结构体的成员f_pos。在上图中进程1和进程2都打开同一文件但是对应不同的file结构体因此可以有不同的File Status Flag和读写位置。file结构体中比较重要的成员还有f_count表示引用计数Reference Count后面我们会讲到dup、fork等系统调用会导致多个文件描述符指向同一个file结构体例如有fd1和fd2都引用同一个file结构体那么它的引用计数就是2当close(fd1)时并不会释放file结构体而只是把引用计数减到1如果再close(fd2)引用计数就会减到0同时释放file结构体这才真的关闭了文件。每个file结构体都指向一个file_operations结构体这个结构体的成员都是函数指针指向实现各种文件操作的内核函数。比如在用户程序中read一个文件描述符read通过系统调用进入内核然后找到这个文件描述符所指向的file结构体找到file结构体所指向的file_operations结构体调用它的read成员所指向的内核函数以完成用户请求。在用户程序中调用lseek、read、write、ioctl、open等函数最终都由内核调用file_operations的各成员所指向的内核函数完成用户请求。file_operations结构体中的release成员用于完成用户程序的close请求之所以叫release而不叫close是因为它不一定真的关闭文件而是减少引用计数只有引用计数减到0才关闭文件。对于同一个文件系统上打开的常规文件来说read、write等文件操作的步骤和方法应该是一样的调用的函数应该是相同的所以图中的三个打开文件的file结构体指向同一个file_operations结构体。如果打开一个字符设备文件那么它的read、write操作肯定和常规文件不一样不是读写磁盘的数据块而是读写硬件设备所以file结构体应该指向不同的file_operations结构体其中的各种文件操作函数由该设备的驱动程序实现。每个file结构体都有一个指向dentry结构体的指针“dentry”是directory entry目录项的缩写。我们传给open、stat等函数的参数的是一个路径例如/home/akaedu/a需要根据路径找到文件的inode。为了减少读盘次数内核缓存了目录的树状结构称为dentry cache其中每个节点是一个dentry结构体只要沿着路径各部分的dentry搜索即可从根目录/找到home目录然后找到akaedu目录然后找到文件a。dentry cache只保存最近访问过的目录项如果要找的目录项在cache中没有就要从磁盘读到内存中。每个dentry结构体都有一个指针指向inode结构体。inode结构体保存着从磁盘inode读上来的信息。在上图的例子中有两个dentry分别表示/home/akaedu/a和/home/akaedu/b它们都指向同一个inode说明这两个文件互为硬链接。inode结构体中保存着从磁盘分区的inode读上来信息例如所有者、文件大小、文件类型和权限位等。每个inode结构体都有一个指向inode_operations结构体的指针后者也是一组函数指针指向一些完成文件目录操作的内核函数。和file_operations不同inode_operations所指向的不是针对某一个文件进行操作的函数而是影响文件和目录布局的函数例如添加删除文件和目录、跟踪符号链接等等属于同一文件系统的各inode结构体可以指向同一个inode_operations结构体。inode结构体有一个指向super_block结构体的指针。super_block结构体保存着从磁盘分区的超级块读上来的信息例如文件系统类型、块大小等。super_block结构体的s_root成员是一个指向dentry的指针表示这个文件系统的根目录被mount到哪里在上图的例子中这个分区被mount到/home目录下。file、dentry、inode、super_block这几个结构体组成了VFS的核心概念。对于ext2文件系统来说在磁盘存储布局上也有inode和超级块的概念所以很容易和VFS中的概念建立对应关系。而另外一些文件系统格式来自非UNIX系统例如Windows的FAT32、NTFS可能没有inode或超级块这样的概念但为了能mount到Linux系统也只好在驱动程序中硬凑一下在Linux下看FAT32和NTFS分区会发现权限位是错的所有文件都是rwxrwxrwx因为它们本来就没有inode和权限位的概念这是硬凑出来的。3.7 挂载文件系统linux系统中每个分区都是一个文件系统都有自己的目录层次结构。linux会将这些分属不同分区的、单独的文件系统按一定的方式形成一个系统的总的目录层次结构。这里所说的“按一定方式”就是指的挂载。将一个文件系统的顶层目录挂到另一个文件系统的子目录上使它们成为一个整体称为挂载。把该子目录称为挂载点.例如要读取硬盘中的一个格式化好的分区、光盘或软件等设备时必须先把这些设备对应到某个目录上而这个目录就称为“挂载点mount point”这样才可以读取这些设备。挂载后将物理分区细节屏蔽掉用户只有统一的逻辑概念。所有的东西都是文件。注意1、挂载点必须是一个目录。2、一个分区挂载在一个已存在的目录上这个目录可以不为空但挂载后这个目录下以前的内容将不可用。对于其他操作系统建立的文件系统的挂载也是这样。但是需要理解的是光盘、软盘、其他操作系统使用的文件系统的格式与linux使用的文件系统格式是不一样的。光盘是ISO9660软盘是fat16或ext2windows NT是fat16、NTFSwindows98是fat16、fat32windows2000和windowsXP是fat16、fat32、 NTFS。挂载前要了解linux是否支持所要挂载的文件系统格式。挂载时使用mount命令其格式mount [-参数] [设备名称] [挂载点]其中常用的参数有-t 指定设备的文件系统类型什么提到的文件类型-o 指定挂载文件系统时的选项。有些也可用在/etc/fstab中。常用的有codepageXXX 代码页 iocharsetXXX 字符集 ro 以只读方式挂载 rw 以读写方式挂载 nouser 使一般用户无法挂载 user 可以让一般用户挂载设备例如挂载windows的文件系统1首先我们使用sudo fdisk -l查看挂载的设备例如最下面有/dev/hda52mkdir创建一个目录这里的目录是作为挂在目录就是你要把E盘挂到这个目录下mk /mnt/winc3windows和linux使用的不是一个文件系统一般情况下linux不挂载windows文件系统所以要你手动mount# mount -t vfat /dev/hda5 /mnt/winc -t vfat指出这里的文件系统fat32现在就可以进入/mnt/winc等目录读写这些文件了。2.挂载光盘# mk /mnt/cdrom# mount -t iso9660 /dev/cdrom /mnt/cdrom (光盘的名字一般都是cdrom这条命令一般都通用)3.虚拟机共享文件夹例如在VirtualBox下主机是WindowsUbuntu是Guest。共分三步1). 首先要安装虚拟电脑工具包在VirtualBox的菜单里选择”设备”-”安装虚拟电脑工具包”你会发现在Ubuntu桌面上多出一个光盘图标这张光盘默认被自动加载到了文件夹/media/cdom0而且/cdrom自动指向这个文件夹。默认设置下文件管理器会自动打开这张光盘可以看到里面有个”VBoxLinuxAdditions.run”文件。打开一个命令行终端依次输入”cd /cdrom”和”sudo sh ./VBoxLinuxAdditions.run”不含双引号开始安装工具包。安装完毕会用英文提示要重启Ubuntu建议立刻重启。重启后比较明显的变化是鼠标是共享模式并且剪贴板也和Windows共享了。如果有这些变化说明虚拟电脑工具包已经装成功。2). 下一步设置共享文件夹。在共享文件夹设置窗口中单击右侧的”添加一个共享文件夹”路径选择你想要共享的Windows文件夹共享名任取一个自己喜欢的比如”myshare”选项read-only是指是否只允许ubuntu读这个文件夹请根据需要选择这个选项。3). 在ubuntu下挂载这个共享文件夹:sudo mount -t vboxsf myshare /media/share其中”myshare”是之前取的共享文件夹的名字”/media/share”是要挂载到的目标文件.3.8 自动挂载windows分区每次开机访问windows分区都要运行mount命令显然太烦琐为什么访问其他的linux分区不用使用mount命令呢其实每次开机时linux自动将需要挂载的linux分区挂载上了。那么我们是不是可以设定让linux在启动的时候也挂载我们希望挂载的分区如windows分区以实现文件系统的自动挂载呢这是完全可以的。在/etc目录下有个fstab文件它里面列出了linux开机时自动挂载的文件系统的列表。我的/etc/fstab文件如下/dev/hda2 / ext3 defaults 1 1 /dev/hda1 /boot ext3 defaults 1 2 none /dev/pts devpts gid5,mode620 0 0 none /proc proc defaults 0 0 none /dev/shm tmpfs defaults 0 0 /dev/hda3 swap swap defaults 0 0 /dev/cdrom /mnt/cdrom iso9660 noauto,codepage936,iocharsetgb2312 0 0 /dev/fd0 /mnt/floppy auto noauto,owner,kudzu 0 0 /dev/hdb1 /mnt/winc vfat defaults,codepage936,iocharsetcp936 0 0 /dev/hda5 /mnt/wind vfat defaults,codepage936,iocharsetcp936 0 0在/etc/fstab文件里第一列是挂载的文件系统的设备名第二列是挂载点第三列是挂载的文件系统类型第四列是挂载的选项选项间用逗号分隔。第五六列不知道是什么意思还望高手指点。在最后两行是我手工添加的windows下的CD盘加了codepage936和iocharsetcp936参数以支持中文文件名。参数defaults实际上包含了一组默认参数rw 以可读写模式挂载suid 开启用户ID和群组ID设置位dev 可解读文件系统上的字符或区块设备exec 可执行二进制文件auto 自动挂载nouser 使一般用户无法挂载async 以非同步方式执行文件系统的输入输出操作大家可以看到在这个列表里光驱和软驱是不自动挂载的参数设置为noauto。如果你非要设成自动挂载你要确保每次开机时你的光驱和软驱里都要有盘呵呵。)3.9 软连接、硬链接可以用ln命令对一个已经存在的文件再建立一个新的连接而不复制文件的内容。连接有软连接和硬连接之分软连接又叫符号连接。它们各自的特点是硬连接是给文件一个副本原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接硬连接不能跨越文件系统不能跨越不同的分区文件在磁盘中只有一个拷贝节省硬盘空间修改其中一个与其连接的文件同时被修改。如果删除其中任意一个其余的文件将不受影响。由于删除文件要在同一个索引节点属于唯一的连接时才能成功因此可以防止不必要的误删除。符号连接软连接用ln -s命令建立文件的符号连接符号连接是linux特殊文件的一种作为一个文件它的数据是它所连接的文件的路径名。类似windows下的快捷方式。当然删除这个连接也不会影响到源文件但对连接文件的使用、引用都是直接调用源文件的。具体关系可以看下图从图上可以看出硬链接和软链接的区别1硬链接原文件和新文件的inode编号一致。而软链接不一样。2对原文件删除会导致软链接不可用而硬链接不受影响。3对原文件的修改软、硬链接文件内容也一样的修改因为都是指向同一个文件内容的。3.10 文件目录管理命令磁盘和文件空间 fdisk df du文件目录与管理cd pwd mkdir rmdir ls cp rm mv查看文件内容 cat、tac、more、less、head 、tail文件目录与权限 chmod chown chgrp umask文件查找which、whereis、locate、find、find4. linux 应用标准的Linux系统一般都有一套都有称为应用程序的程序集它包括文本编辑器、编程语言、X Window、办公套件、Internet工具和数据库等。5. linux内核参数优化内核参数是用户和系统内核之间交互的一个接口通过这个接口用户可以在系统运行的同时动态更新内核配置而这些内核参数是通过Linux Proc文件系统存在的。因此可以通过调整Proc文件系统达到优化Linux性能的目的。坐在工位上我脑海里不断浮现老张泪流满面的背影和自己倒计时的声音。是的时代像一台冰冷的机器无情地筛掉我们这些“沙子”。但那一刻一道念头劈开了我的迷茫程序员的终点从来不是因为年龄而被淘汰而是因为我们没看清方向、忽略了核心竞争力的提升。真正的终点不在年龄本身而在于不断打磨能扛起重担的本领在程序员这个行业放眼望去网络安全恰恰就是那个“越老越吃香”的行业。它不惧岁月反倒因经验积累而价值倍增资深工程师的洞悉力能应对复杂的黑客攻击行业缺口巨大国家预计2027年缺口将达327万机会遍地。转行也好继续深耕也罢只要肯学肯钻三四十岁的“高龄”反而成了金字招牌轻松拿下一份不菲的收入。如果你是也准备转行学习网络安全黑客或者正在学习这些我购买的资源可以分享给你们互勉①网络安全学习路线②20份渗透测试电子书③安全攻防357页笔记④50份安全攻防面试指南⑤安全红队渗透工具包⑥网络安全必备书籍⑦100个漏洞实战案例⑧安全大厂内部视频资源⑨历年CTF夺旗赛题解析一、网络安全黑客学习路线网络安全黑客学习路线形成网络安全领域所有的知识点汇总它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。二、网络安全教程视频我们在看视频学习的时候不能光动眼动脑不动手比较科学的学习方法是在理解之后运用它们这时候练手项目就很适合了。三、网络安全CTF实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这里带来的是CTFSRC资料HW资料毕竟实战是检验真理的唯一标准嘛~四、网络安全面试题最后我们所有的作为都是为就业服务的所以关键的临门一脚就是咱们的面试题内容所以面试题板块是咱们不可或缺的部分这里我给大家准备的就是我在面试期间准备的资料。网安其实不难难的是坚持和相信自己我的经验是既然已经选定网安你就要相信它相信它能成为你日后进阶的高效渠道这样自己才会更有信念去学习才能在碰到困难的时候坚持下去。机会属于有准备的人这是一个实力的时代。人和人之间的差距不在于智商而在于如何利用业余时间只要你想学习什么时候开始都不晚不要担心这担心那你只需努力剩下的交给时间这份完整版的网络安全学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 Linux系统详解：内核、Shell、文件系统与应用程序
Linux系统一般有4个主要部分内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构它们使得用户可以运行程序、管理文件并使用系统。1. linux内核内核是操作系统的核心具有很多最基本功能它负责管理系统的进程、内存、设备驱动程序、文件和网络系统决定着系统的性能和稳定性。Linux 内核由如下几部分组成内存管理、进程管理、设备驱动程序、文件系统和网络管理等。如图系统调用接口SCI 层提供了某些机制执行从用户空间到内核的函数调用。这个接口依赖于体系结构甚至在相同的处理器家族内也是如此。SCI 实际上是一个非常有用的函数调用多路复用和多路分解服务。在 ./linux/kernel 中您可以找到 SCI 的实现并在 ./linux/arch 中找到依赖于体系结构的部分。1.1 内存管理对任何一台计算机而言其内存以及其它资源都是有限的。为了让有限的物理内存满足应用程序对内存的大需求量Linux 采用了称为“虚拟内存”的内存管理方式。Linux 将内存划分为容易处理的“内存页”对于大部分体系结构来说都是 4KB。Linux 包括了管理可用内存的方式以及物理和虚拟映射所使用的硬件机制。不过内存管理要管理的可不止 4KB 缓冲区。Linux 提供了对 4KB 缓冲区的抽象例如 slab 分配器。这种内存管理模式使用 4KB 缓冲区为基数然后从中分配结构并跟踪内存页使用情况比如哪些内存页是满的哪些页面没有完全使用哪些页面为空。这样就允许该模式根据系统需要来动态调整内存使用。为了支持多个用户使用内存有时会出现可用内存被消耗光的情况。由于这个原因页面可以移出内存并放入磁盘中。这个过程称为交换因为页面会被从内存交换到硬盘上。内存管理的源代码可以在 ./linux/mm 中找到。1.2 进程管理进程实际是某特定应用程序的一个运行实体。在 Linux 系统中能够同时运行多个进程Linux 通过在短的时间间隔内轮流运行这些进程而实现“多任务”。这一短的时间间隔称为“时间片”让进程轮流运行的方法称为“进程调度” 完成调度的程序称为调度程序。进程调度控制进程对CPU的访问。当需要选择下一个进程运行时由调度程序选择最值得运行的进程。可运行进程实际上是仅等待CPU资源的进程如果某个进程在等待其它资源则该进程是不可运行进程。Linux使用了比较简单的基于优先级的进程调度算法选择新的进程。通过多任务机制每个进程可认为只有自己独占计算机从而简化程序的编写。每个进程有自己单独的地址空间并且只能由这一进程访问这样操作系统避免了进程之间的互相干扰以及“坏”程序对系统可能造成的危害。为了完成某特定任务有时需要综合两个程序的功能例如一个程序输出文本而另一个程序对文本进行排序。为此操作系统还提供进程间的通讯机制来帮助完成这样的任务。Linux 中常见的进程间通讯机制有信号、管道、共享内存、信号量和套接字等。内核通过 SCI 提供了一个应用程序编程接口API来创建一个新进程fork、exec 或 Portable Operating System Interface [POSⅨ] 函数停止进程kill、exit并在它们之间进行通信和同步signal 或者 POSⅨ 机制。1.3 文件系统和 DOS 等操作系统不同Linux 操作系统中单独的文件系统并不是由驱动器号或驱动器名称如 A: 或 C: 等来标识的。相反和 UNIX 操作系统一样Linux 操作系统将独立的文件系统组合成了一个层次化的树形结构并且由一个单独的实体代表这一文件系统。Linux 将新的文件系统通过一个称为“挂装”或“挂上”的操作将其挂装到某个目录上从而让不同的文件系统结合成为一个整体。Linux 操作系统的一个重要特点是它支持许多不同类型的文件系统。Linux 中最普遍使用的文件系统是 Ext2它也是 Linux 土生土长的文件系统。但 Linux 也能够支持 FAT、VFAT、FAT32、MINIX 等不同类型的文件系统从而可以方便地和其它操作系统交换数据。由于 Linux 支持许多不同的文件系统并且将它们组织成了一个统一的虚拟文件系统.虚拟文件系统VirtualFileSystem,VFS:隐藏了各种硬件的具体细节把文件系统操作和不同文件系统的具体实现细节分离了开来为所有的设备提供了统一的接口VFS提供了多达数十种不同的文件系统。虚拟文件系统可以分为逻辑文件系统和设备驱动程序。逻辑文件系统指Linux所支持的文件系统如ext2,fat等设备驱动程序指为每一种硬件控制器所编写的设备驱动程序模块。虚拟文件系统VFS是 Linux 内核中非常有用的一个方面因为它为文件系统提供了一个通用的接口抽象。VFS 在 SCI 和内核所支持的文件系统之间提供了一个交换层。即VFS在用户和文件系统之间提供了一个交换层。VFS在用户和文件系统之间提供了一个交换层:在 VFS 上面是对诸如 open、close、read 和 write 之类的函数的一个通用 API 抽象。在 VFS 下面是文件系统抽象它定义了上层函数的实现方式。它们是给定文件系统超过 50 个的插件。文件系统的源代码可以在 ./linux/fs 中找到。文件系统层之下是缓冲区缓存它为文件系统层提供了一个通用函数集与具体文件系统无关。这个缓存层通过将数据保留一段时间或者随即预先读取数据以便在需要时就可用优化了对物理设备的访问。缓冲区缓存之下是设备驱动程序它实现了特定物理设备的接口。因此用户和进程不需要知道文件所在的文件系统类型而只需要象使用 Ext2 文件系统中的文件一样使用它们。1.4 设备驱动程序设备驱动程序是 Linux 内核的主要部分。和操作系统的其它部分类似设备驱动程序运行在高特权级的处理器环境中从而可以直接对硬件进行操作但正因为如此任何一个设备驱动程序的错误都可能导致操作系统的崩溃。设备驱动程序实际控制操作系统和硬件设备之间的交互。设备驱动程序提供一组操作系统可理解的抽象接口完成和操作系统之间的交互而与硬件相关的具体操作细节由设备驱动程序完成。一般而言设备驱动程序和设备的控制芯片有关例如如果计算机硬盘是 SCSI 硬盘则需要使用 SCSI 驱动程序而不是 IDE 驱动程序。1.5 网络接口NET提供了对各种网络标准的存取和各种网络硬件的支持。网络接口可分为网络协议和网络驱动程序。网络协议部分负责实现每一种可能的网络传输协议。众所周知TCP/IP 协议是 Internet 的标准协议同时也是事实上的工业标准。Linux 的网络实现支持 BSD 套接字支持全部的TCP/IP协议。Linux内核的网络部分由BSD套接字、网络协议层和网络设备驱动程序组成。网络设备驱动程序负责与硬件设备通讯每一种可能的硬件设备都有相应的设备驱动程序。2. Linux Shellshell是系统的用户界面提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行是一个命令解释器。另外shell编程语言具有普通编程语言的很多特点用这种编程语言编写的shell程序与其他应用程序具有同样的效果。目前主要有下列版本的shell。1Bourne Shell是贝尔实验室开发的。2BASH是GNU的Bourne Again Shell是GNU操作系统上默认的shell,大部分linux的发行套件使用的都是这种shell。3Korn Shell是对Bourne SHell的发展在大部分内容上与Bourne Shell兼容。4C Shell是SUN公司Shell的BSD版本。3. linux 文件系统文件系统是文件存放在磁盘等存储设备上的组织方法。Linux系统能支持多种目前流行的文件系统如EXT2、 EXT3、 FAT、 FAT32、 VFAT和ISO9660。3.1 文件类型Linux下面的文件类型主要有普通文件C语言元代码、SHELL脚本、二进制的可执行文件等。分为纯文本和二进制。目录文件目录存储文件的唯一地方。链接文件指向同一个文件或目录的的文件。设备文件与系统外设相关的通常在/dev下面。分为块设备和字符设备。管道(FIFO)文件: 提供进程之间通信的一种方式套接字(socket) 文件该文件类型与网络通信有关可以通过ls –l, file, stat几个命令来查看文件的类型等相关信息。3.2 Linux目录文件结构是文件存放在磁盘等存贮设备上的组织方法。主要体现在对文件和目录的组织上目录提供了管理文件的一个方便而有效的途径。Linux使用标准的目录结构在安装的时候安装程序就已经为用户创建了文件系统和完整而固定的目录组成形式并指定了每个目录的作用和其中的文件类型。完整的目录树可划分为小的部分这些小部分又可以单独存放在自己的磁盘或分区上。这样相对稳定的部分和经常变化的部分可单独存放在不同的分区中从而方便备份或系统管理。目录树的主要部分有 root、/usr、/var、/home 等。这样的布局可方便在 Linux 计算机之间共享文件系统的某些部分。Linux采用的是树型结构。最上层是根目录其他的所有目录都是从根目录出发而生成的。微软的DOS和windows也是采用树型结构但是在DOS和windows中这样的树型结构的根是磁盘分区的盘符有几个分区就有几个树型结构他们之间的关系是并列的。最顶部的是不同的磁盘分区如CDEF等。但是在linux中无论操作系统管理几个磁盘分区这样的目录树只有一个。从结构上讲各个磁盘分区上的树型目录不一定是并列的。3.3 Linux磁盘分区主分区扩展分区和逻辑分区linux分区不同于windows,硬盘和硬盘分区在Linux都表示为设备.硬盘分区一共有三种主分区扩展分区和逻辑分区。硬盘的分区主要分为主分区(Primary Partion)和扩展分区(Extension Partion)两种主分区和扩展分区的数目之和不能大于四个。主分区(Primary Partion)可以马上被使用但不能再分区。扩展分区(Extension Partion)必须再进行分区后才能使用也就是说它必须还要进行二次分区。逻辑分区((Logical Partion))由扩展分区建立起来的分区逻辑分区没有数量上限制。扩展分区只不过是逻辑分区的“容器”实际上只有主分区和逻辑分区进行数据存储。Linux下硬盘分区的标识硬盘分区的标识一般使用/dev/hd[a-z]X或者/dev/sd[a-z]X来标识其中[a-z]代表硬盘号X代表硬盘内的分区号。整块硬盘分区的块号标识:Linux下用hda、hdb、sda、sdb 等来标识不同的硬盘;其中IDE接口硬盘表示为/dev/hda1、/dev/hdb …SCSI 接口的硬盘、SATA接口的硬盘表示为/dev/sda、/dev/sdb … … 硬盘内的分区如果X的值是1到4,表示硬盘的主分区包含扩展分区逻辑分区从是从5开始的比如/dev/hda5肯定是逻辑分区了例如用hda1、hda2、 hda5、hda6 来标识不同的分区。其中字母a代表第一块硬盘b代表第二块硬盘以此类推。而数字1 代表一块硬盘的第一个分区、2 代表第二个分区依次类推。1 到4 对应的是主分区(Primary Partition)或扩展分区(Extension Partition)。从5开始对应的都是硬盘的逻辑分区(Logical Partition)。一块硬盘即使只有一个主分区逻辑分区也是从5开始编号的这点应特别注意。总结一个硬盘分区首先要确认在哪个硬盘然后再确认它所在硬盘内的哪个分区。对于/dev/hda 类似的表示方法也并不陌生吧我们在Linux通过fdisk -l 就可以查到硬盘是/dev/hda还是/dev/hdb[rootlocalhost ~]# fdisk -l Disk /dev/hda: 80.0 GB, 80026361856 bytes 255 heads, 63 sectors/track, 9729 cylinders Units cylinders of 16065 * 512 8225280 bytes Device Boot Start End Blocks Id System /dev/hda1 * 1 970 7791493 7 HPFS/NTFS /dev/hda2 971 9729 70356667 5 Extended /dev/hda5 971 2915 15623181 b W95 FAT32 /dev/hda6 2916 4131 9767488 83 linux /dev/hda7 4132 5590 11719386 83 linux /dev/hda8 5591 6806 9767488 83 linux /dev/hda9 6807 9657 22900626 83 linux /dev/hda10 9658 9729 578308 82 linux swap / Solaris请注意第一行 Disk /dev/hda: 80.0 GB, 80026361856 bytes 这个就是表示机器中只有一个硬盘设备/dev/hda 体积大小为 80.0G下面的就是硬盘的分区每个分区都有详细的信息在这里不详细说了Linux下磁盘分区和目录的关系如下– 任何一个分区都必须挂载到某个目录上。– 目录是逻辑上的区分。分区是物理上的区分。– 磁盘Linux分区都必须挂载到目录树中的某个具体的目录上才能进行读写操作。– 根目录是所有Linux的文件和目录所在的地方需要挂载上一个磁盘分区。3.4 linux主要目录的功用。/bin 二进制可执行命令/dev 设备特殊文件/etc 系统管理和配置文件/etc/rc.d 启动的配置文件和脚本/home 用户主目录的基点比如用户user的主目录就是/home/user可以用~user表示/lib 标准程序设计库又叫动态链接共享库作用类似windows里的.dll文件/sbin 系统管理命令这里存放的是系统管理员使用的管理程序/tmp 公用的临时文件存储点/root 系统管理员的主目录呵呵特权阶级/mnt 系统提供这个目录是让用户临时挂载其他的文件系统。/lostfound 这个目录平时是空的系统非正常关机而留下“无家可归”的文件windows下叫什么.chk就在这里/proc 虚拟的目录是系统内存的映射。可直接访问这个目录来获取系统信息。/var 某些大文件的溢出区比方说各种服务的日志文件/usr 最庞大的目录要用到的应用程序和文件几乎都在这个目录。其中包含/usr/X11R6 存放X window的目录/usr/bin 众多的应用程序/usr/sbin 超级用户的一些管理程序/usr/doc linux文档/usr/include linux下开发和编译应用程序所需要的头文件/usr/lib 常用的动态链接库和软件包的配置文件/usr/man 帮助文档/usr/src 源代码linux内核的源代码就放在/usr/src/linux里/usr/local/bin 本地增加的命令/usr/local/lib 本地增加的库3.5 linux文件系统文件系统指文件存在的物理空间linux系统中每个分区都是一个文件系统都有自己的目录层次结构。linux会将这些分属不同分区的、单独的文件系统按一定的方式形成一个系统的总的目录层次结构。一个操作系统的运行离不开对文件的操作因此必然要拥有并维护自己的文件系统。1.文件系统类型ext2 早期linux中常用的文件系统 ext3 ext2的升级版带日志功能 RAMFS 内存文件系统速度很快 NFS 网络文件系统由SUN发明主要用于远程文件共享 MS-DOS MS-DOS文件系统 VFAT Windows 95/98 操作系统采用的文件系统 FAT Windows XP 操作系统采用的文件系统 NTFSWindows NT/XP 操作系统采用的文件系统 HPFS OS/2 操作系统采用的文件系统 PROC : 虚拟的进程文件系统 ISO9660 大部分光盘所采用的文件系统 ufsSun : OS 所采用的文件系统 NCPFS Novell 服务器所采用的文件系统 SMBFS Samba 的共享文件系统 XFS 由SGI开发的先进的日志文件系统支持超大容量文件 JFS IBM的AIX使用的日志文件系统 ReiserFS : 基于平衡树结构的文件系统 udf: 可擦写的数据光盘文件系统2.文件系统特性磁盘分区完毕后还需要进行格式化(format)之后操作系统才能够使用这个分区。格式化的目的是能使操作系统可以使用的文件系统格式即我们上面提到文件系统类型.每种操作系统能够使用的文件系统并不相同. 如windows 98 以前的微软操作系统主要利用的文件系统是 FAT (或 FAT16)windows 2000 以后的版本有所谓的 NTFS 文件系统至于 Linux 的正统文件系统则为 Ext2 (Linux second extended file system, ext2fs)这一个。此外在默认的情况下windows 操作系统是不会认识 Linux 的 Ext2 的。传统的磁盘与文件系统之应用中一个分区就是只能够被格式化成为一个文件系统所以我们可以说一个 filesystem 就是一个 partition。但是由于新技术的利用例如我们常听到的LVM与软件磁盘阵列(software raid) 这些技术可以将一个分区格式化为多个文件系统(例如LVM)也能够将多个分区合成一个文件系统(LVM, RAID)所以说目前我们在格式化时已经不再说成针对 partition 来格式化了 通常我们可以称呼一个可被挂载的数据为一个文件系统而不是一个分区喔那么文件系统是如何运行的呢这与操作系统的文件数据有关。较新的操作系统的文件数据除了文件实际内容外 通常含有非常多的属性例如 Linux 操作系统的文件权限(rwx)与文件属性(拥有者、群组、时间参数等)。文件系统通常会将这两部分的数据分别存放在不同的区块权限与属性放置到 inode 中至于实际数据则放置到 data block 区块中。另外还有一个超级区块 (superblock) 会记录整个文件系统的整体信息包括 inode 与 block 的总量、使用量、剩余量等。对于一个磁盘分区来说在被指定为相应的文件系统后整个分区被分为 10242048 和 4096 字节大小的块。根据块使用的不同可分为超级块(Superblock): 这是整个文件系统的第一块空间。包括整个文件系统的基本信息如块大小inode/block的总量、使用量、剩余量指向空间 inode 和数据块的指针等相关信息。inode块(文件索引节点) : 文件系统索引,记录文件的属性。它是文件系统的最基本单元是文件系统连接任何子目录、任何文件的桥梁。每个子目录和文件只有唯一的一个 inode 块。它包含了文件系统中文件的基本属性(文件的长度、创建及修改时间、权限、所属关系)、存放数据的位置等相关信息. 在 Linux 下可以通过 “ls -li” 命令查看文件的 inode 信息。硬连接和源文件具有相同的 inode 。数据块(Block) :实际记录文件的内容若文件太大时会占用多个block。为了提高目录访问效率Linux还提供了表达路径与inode对应关系的dentry结构。它描述了路径信息并连接到节点inode它包括各种目录信息还指向了inode和超级块。就像一本书有封面、目录和正文一样。在文件系统中超级块就相当于封面从封面可以得知这本书的基本信息inode 块相当于目录从目录可以得知各章节内容的位置而数据块则相当于书的正文记录着具体内容。Linux正统的文件系统(如ext2、3等)将硬盘分区时会划分出超级块、inode Table区块和data block数据区域。一个文件由一个超级块、inode和数据区域块组成。Inode包含文件的属性(如读写属性、owner等以及指向数据块的指针)数据区域块则是文件内容。当查看某个文件时会先从inode table中查出文件属性及数据存放点再从数据块中读取数据。我们将 inode与block区块用图解来说明一下如下图所示文件系统先格式化出inode与block的区块假设某一个文件的属性与权限数据是放置到 inode 4号(下图较小方格内)而这个inode记录了文件数据的实际放置点为 2, 7, 13, 15 这四个 block 号码此时我们的操作系统就能够据此来排列磁盘的阅读顺序可以一口气将四个 block 内容读出来那么数据的读取就如同下图中的箭头所指定的模样了。这种数据存取的方法我们称为索引式文件系统(indexed allocation)。那有没有其他的惯用文件系统可以比较一下啊有的那就是我们惯用的闪盘(闪存)闪盘使用的文件系统一般为 FAT 格式。FAT 这种格式的文件系统并没有 inode 存在所以 FAT 没有办法将这个文件的所有 block 在一开始就读取出来。每个 block 号码都记录在前一个 block 当中 其读取方式有点像下图所示:上图中我们假设文件的数据依序写入1-7-4-15号这四个 block 号码中 但这个文件系统没有办法一口气就知道四个 block 的号码他得要一个一个的将 block 读出后才会知道下一个 block 在何处。如果同一个文件数据写入的 block 分散的太过厉害时则我们的磁盘读取头将无法在磁盘转一圈就读到所有的数据 因此磁盘就会多转好几圈才能完整的读取到这个文件的内容**常常会听到所谓的“碎片整理”吧**需要碎片整理的原因就是文件写入的 block 太过于离散了此时文件读取的效能将会变的很差所致。这个时候可以透过碎片整理将同一个文件所属的 blocks 汇整在一起这样数据的读取会比较容易啊想当然FAT 的文件系统需要经常的碎片整理一下那么 Ext2 是否需要磁盘重整呢由于 Ext2 是索引式文件系统基本上不太需要常常进行碎片整理的。但是如果文件系统使用太久 常常删除/编辑/新增文件时那么还是可能会造成文件数据太过于离散的问题此时或许会需要进行重整一下的。不过老实说鸟哥倒是没有在 Linux 操作系统上面进行过 Ext2/Ext3 文件系统的碎片整理说似乎不太需要啦可以用ln命令对一个已经存在的文件再建立一个新的连接而不复制文件的内容。连接有软连接和硬连接之分软连接又叫符号连接。它们各自的特点是硬连接原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接硬连接不能跨越文件系统不能跨越不同的分区文件在磁盘中只有一个拷贝节省硬盘空间由于删除文件要在同一个索引节点属于唯一的连接时才能成功因此可以防止不必要的误删除。符号连接用ln -s命令建立文件的符号连接符号连接是linux特殊文件的一种作为一个文件它的数据是它所连接的文件的路径名。类似windows下的快捷方式。可以删除原有的文件而保存连接文件没有防止误删除功能。这一段的的内容过于抽象又是节点又是数组的我已经尽量通俗再通俗了又不好加例子作演示。大家如果还是云里雾里的话我也没有什么办法了只有先记住日后在实际应用中慢慢体会、理解了。这也是我学习的一个方法吧。3.6 文件系统在内核中的表示内核数据结构Linux内核的VFS子系统可以图示如下文件与IO: 每个进程在PCBProcess Control Block中都保存着一份文件描述符表文件描述符就是这个表的索引每个表项都有一个指向已打开文件的指针现在我们明确一下已打开的文件在内核中用file结构体表示文件描述符表中的指针指向file结构体。在file结构体中维护File Status Flagfile结构体的成员f_flags和当前读写位置file结构体的成员f_pos。在上图中进程1和进程2都打开同一文件但是对应不同的file结构体因此可以有不同的File Status Flag和读写位置。file结构体中比较重要的成员还有f_count表示引用计数Reference Count后面我们会讲到dup、fork等系统调用会导致多个文件描述符指向同一个file结构体例如有fd1和fd2都引用同一个file结构体那么它的引用计数就是2当close(fd1)时并不会释放file结构体而只是把引用计数减到1如果再close(fd2)引用计数就会减到0同时释放file结构体这才真的关闭了文件。每个file结构体都指向一个file_operations结构体这个结构体的成员都是函数指针指向实现各种文件操作的内核函数。比如在用户程序中read一个文件描述符read通过系统调用进入内核然后找到这个文件描述符所指向的file结构体找到file结构体所指向的file_operations结构体调用它的read成员所指向的内核函数以完成用户请求。在用户程序中调用lseek、read、write、ioctl、open等函数最终都由内核调用file_operations的各成员所指向的内核函数完成用户请求。file_operations结构体中的release成员用于完成用户程序的close请求之所以叫release而不叫close是因为它不一定真的关闭文件而是减少引用计数只有引用计数减到0才关闭文件。对于同一个文件系统上打开的常规文件来说read、write等文件操作的步骤和方法应该是一样的调用的函数应该是相同的所以图中的三个打开文件的file结构体指向同一个file_operations结构体。如果打开一个字符设备文件那么它的read、write操作肯定和常规文件不一样不是读写磁盘的数据块而是读写硬件设备所以file结构体应该指向不同的file_operations结构体其中的各种文件操作函数由该设备的驱动程序实现。每个file结构体都有一个指向dentry结构体的指针“dentry”是directory entry目录项的缩写。我们传给open、stat等函数的参数的是一个路径例如/home/akaedu/a需要根据路径找到文件的inode。为了减少读盘次数内核缓存了目录的树状结构称为dentry cache其中每个节点是一个dentry结构体只要沿着路径各部分的dentry搜索即可从根目录/找到home目录然后找到akaedu目录然后找到文件a。dentry cache只保存最近访问过的目录项如果要找的目录项在cache中没有就要从磁盘读到内存中。每个dentry结构体都有一个指针指向inode结构体。inode结构体保存着从磁盘inode读上来的信息。在上图的例子中有两个dentry分别表示/home/akaedu/a和/home/akaedu/b它们都指向同一个inode说明这两个文件互为硬链接。inode结构体中保存着从磁盘分区的inode读上来信息例如所有者、文件大小、文件类型和权限位等。每个inode结构体都有一个指向inode_operations结构体的指针后者也是一组函数指针指向一些完成文件目录操作的内核函数。和file_operations不同inode_operations所指向的不是针对某一个文件进行操作的函数而是影响文件和目录布局的函数例如添加删除文件和目录、跟踪符号链接等等属于同一文件系统的各inode结构体可以指向同一个inode_operations结构体。inode结构体有一个指向super_block结构体的指针。super_block结构体保存着从磁盘分区的超级块读上来的信息例如文件系统类型、块大小等。super_block结构体的s_root成员是一个指向dentry的指针表示这个文件系统的根目录被mount到哪里在上图的例子中这个分区被mount到/home目录下。file、dentry、inode、super_block这几个结构体组成了VFS的核心概念。对于ext2文件系统来说在磁盘存储布局上也有inode和超级块的概念所以很容易和VFS中的概念建立对应关系。而另外一些文件系统格式来自非UNIX系统例如Windows的FAT32、NTFS可能没有inode或超级块这样的概念但为了能mount到Linux系统也只好在驱动程序中硬凑一下在Linux下看FAT32和NTFS分区会发现权限位是错的所有文件都是rwxrwxrwx因为它们本来就没有inode和权限位的概念这是硬凑出来的。3.7 挂载文件系统linux系统中每个分区都是一个文件系统都有自己的目录层次结构。linux会将这些分属不同分区的、单独的文件系统按一定的方式形成一个系统的总的目录层次结构。这里所说的“按一定方式”就是指的挂载。将一个文件系统的顶层目录挂到另一个文件系统的子目录上使它们成为一个整体称为挂载。把该子目录称为挂载点.例如要读取硬盘中的一个格式化好的分区、光盘或软件等设备时必须先把这些设备对应到某个目录上而这个目录就称为“挂载点mount point”这样才可以读取这些设备。挂载后将物理分区细节屏蔽掉用户只有统一的逻辑概念。所有的东西都是文件。注意1、挂载点必须是一个目录。2、一个分区挂载在一个已存在的目录上这个目录可以不为空但挂载后这个目录下以前的内容将不可用。对于其他操作系统建立的文件系统的挂载也是这样。但是需要理解的是光盘、软盘、其他操作系统使用的文件系统的格式与linux使用的文件系统格式是不一样的。光盘是ISO9660软盘是fat16或ext2windows NT是fat16、NTFSwindows98是fat16、fat32windows2000和windowsXP是fat16、fat32、 NTFS。挂载前要了解linux是否支持所要挂载的文件系统格式。挂载时使用mount命令其格式mount [-参数] [设备名称] [挂载点]其中常用的参数有-t 指定设备的文件系统类型什么提到的文件类型-o 指定挂载文件系统时的选项。有些也可用在/etc/fstab中。常用的有codepageXXX 代码页 iocharsetXXX 字符集 ro 以只读方式挂载 rw 以读写方式挂载 nouser 使一般用户无法挂载 user 可以让一般用户挂载设备例如挂载windows的文件系统1首先我们使用sudo fdisk -l查看挂载的设备例如最下面有/dev/hda52mkdir创建一个目录这里的目录是作为挂在目录就是你要把E盘挂到这个目录下mk /mnt/winc3windows和linux使用的不是一个文件系统一般情况下linux不挂载windows文件系统所以要你手动mount# mount -t vfat /dev/hda5 /mnt/winc -t vfat指出这里的文件系统fat32现在就可以进入/mnt/winc等目录读写这些文件了。2.挂载光盘# mk /mnt/cdrom# mount -t iso9660 /dev/cdrom /mnt/cdrom (光盘的名字一般都是cdrom这条命令一般都通用)3.虚拟机共享文件夹例如在VirtualBox下主机是WindowsUbuntu是Guest。共分三步1). 首先要安装虚拟电脑工具包在VirtualBox的菜单里选择”设备”-”安装虚拟电脑工具包”你会发现在Ubuntu桌面上多出一个光盘图标这张光盘默认被自动加载到了文件夹/media/cdom0而且/cdrom自动指向这个文件夹。默认设置下文件管理器会自动打开这张光盘可以看到里面有个”VBoxLinuxAdditions.run”文件。打开一个命令行终端依次输入”cd /cdrom”和”sudo sh ./VBoxLinuxAdditions.run”不含双引号开始安装工具包。安装完毕会用英文提示要重启Ubuntu建议立刻重启。重启后比较明显的变化是鼠标是共享模式并且剪贴板也和Windows共享了。如果有这些变化说明虚拟电脑工具包已经装成功。2). 下一步设置共享文件夹。在共享文件夹设置窗口中单击右侧的”添加一个共享文件夹”路径选择你想要共享的Windows文件夹共享名任取一个自己喜欢的比如”myshare”选项read-only是指是否只允许ubuntu读这个文件夹请根据需要选择这个选项。3). 在ubuntu下挂载这个共享文件夹:sudo mount -t vboxsf myshare /media/share其中”myshare”是之前取的共享文件夹的名字”/media/share”是要挂载到的目标文件.3.8 自动挂载windows分区每次开机访问windows分区都要运行mount命令显然太烦琐为什么访问其他的linux分区不用使用mount命令呢其实每次开机时linux自动将需要挂载的linux分区挂载上了。那么我们是不是可以设定让linux在启动的时候也挂载我们希望挂载的分区如windows分区以实现文件系统的自动挂载呢这是完全可以的。在/etc目录下有个fstab文件它里面列出了linux开机时自动挂载的文件系统的列表。我的/etc/fstab文件如下/dev/hda2 / ext3 defaults 1 1 /dev/hda1 /boot ext3 defaults 1 2 none /dev/pts devpts gid5,mode620 0 0 none /proc proc defaults 0 0 none /dev/shm tmpfs defaults 0 0 /dev/hda3 swap swap defaults 0 0 /dev/cdrom /mnt/cdrom iso9660 noauto,codepage936,iocharsetgb2312 0 0 /dev/fd0 /mnt/floppy auto noauto,owner,kudzu 0 0 /dev/hdb1 /mnt/winc vfat defaults,codepage936,iocharsetcp936 0 0 /dev/hda5 /mnt/wind vfat defaults,codepage936,iocharsetcp936 0 0在/etc/fstab文件里第一列是挂载的文件系统的设备名第二列是挂载点第三列是挂载的文件系统类型第四列是挂载的选项选项间用逗号分隔。第五六列不知道是什么意思还望高手指点。在最后两行是我手工添加的windows下的CD盘加了codepage936和iocharsetcp936参数以支持中文文件名。参数defaults实际上包含了一组默认参数rw 以可读写模式挂载suid 开启用户ID和群组ID设置位dev 可解读文件系统上的字符或区块设备exec 可执行二进制文件auto 自动挂载nouser 使一般用户无法挂载async 以非同步方式执行文件系统的输入输出操作大家可以看到在这个列表里光驱和软驱是不自动挂载的参数设置为noauto。如果你非要设成自动挂载你要确保每次开机时你的光驱和软驱里都要有盘呵呵。)3.9 软连接、硬链接可以用ln命令对一个已经存在的文件再建立一个新的连接而不复制文件的内容。连接有软连接和硬连接之分软连接又叫符号连接。它们各自的特点是硬连接是给文件一个副本原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接硬连接不能跨越文件系统不能跨越不同的分区文件在磁盘中只有一个拷贝节省硬盘空间修改其中一个与其连接的文件同时被修改。如果删除其中任意一个其余的文件将不受影响。由于删除文件要在同一个索引节点属于唯一的连接时才能成功因此可以防止不必要的误删除。符号连接软连接用ln -s命令建立文件的符号连接符号连接是linux特殊文件的一种作为一个文件它的数据是它所连接的文件的路径名。类似windows下的快捷方式。当然删除这个连接也不会影响到源文件但对连接文件的使用、引用都是直接调用源文件的。具体关系可以看下图从图上可以看出硬链接和软链接的区别1硬链接原文件和新文件的inode编号一致。而软链接不一样。2对原文件删除会导致软链接不可用而硬链接不受影响。3对原文件的修改软、硬链接文件内容也一样的修改因为都是指向同一个文件内容的。3.10 文件目录管理命令磁盘和文件空间 fdisk df du文件目录与管理cd pwd mkdir rmdir ls cp rm mv查看文件内容 cat、tac、more、less、head 、tail文件目录与权限 chmod chown chgrp umask文件查找which、whereis、locate、find、find4. linux 应用标准的Linux系统一般都有一套都有称为应用程序的程序集它包括文本编辑器、编程语言、X Window、办公套件、Internet工具和数据库等。5. linux内核参数优化内核参数是用户和系统内核之间交互的一个接口通过这个接口用户可以在系统运行的同时动态更新内核配置而这些内核参数是通过Linux Proc文件系统存在的。因此可以通过调整Proc文件系统达到优化Linux性能的目的。坐在工位上我脑海里不断浮现老张泪流满面的背影和自己倒计时的声音。是的时代像一台冰冷的机器无情地筛掉我们这些“沙子”。但那一刻一道念头劈开了我的迷茫程序员的终点从来不是因为年龄而被淘汰而是因为我们没看清方向、忽略了核心竞争力的提升。真正的终点不在年龄本身而在于不断打磨能扛起重担的本领在程序员这个行业放眼望去网络安全恰恰就是那个“越老越吃香”的行业。它不惧岁月反倒因经验积累而价值倍增资深工程师的洞悉力能应对复杂的黑客攻击行业缺口巨大国家预计2027年缺口将达327万机会遍地。转行也好继续深耕也罢只要肯学肯钻三四十岁的“高龄”反而成了金字招牌轻松拿下一份不菲的收入。如果你是也准备转行学习网络安全黑客或者正在学习这些我购买的资源可以分享给你们互勉①网络安全学习路线②20份渗透测试电子书③安全攻防357页笔记④50份安全攻防面试指南⑤安全红队渗透工具包⑥网络安全必备书籍⑦100个漏洞实战案例⑧安全大厂内部视频资源⑨历年CTF夺旗赛题解析一、网络安全黑客学习路线网络安全黑客学习路线形成网络安全领域所有的知识点汇总它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。二、网络安全教程视频我们在看视频学习的时候不能光动眼动脑不动手比较科学的学习方法是在理解之后运用它们这时候练手项目就很适合了。三、网络安全CTF实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这里带来的是CTFSRC资料HW资料毕竟实战是检验真理的唯一标准嘛~四、网络安全面试题最后我们所有的作为都是为就业服务的所以关键的临门一脚就是咱们的面试题内容所以面试题板块是咱们不可或缺的部分这里我给大家准备的就是我在面试期间准备的资料。网安其实不难难的是坚持和相信自己我的经验是既然已经选定网安你就要相信它相信它能成为你日后进阶的高效渠道这样自己才会更有信念去学习才能在碰到困难的时候坚持下去。机会属于有准备的人这是一个实力的时代。人和人之间的差距不在于智商而在于如何利用业余时间只要你想学习什么时候开始都不晚不要担心这担心那你只需努力剩下的交给时间这份完整版的网络安全学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】