diff --git a/Operate-System/2-memory-management.md b/Operate-System/2-memory-management.md index 31332f5..1b254be 100644 --- a/Operate-System/2-memory-management.md +++ b/Operate-System/2-memory-management.md @@ -349,4 +349,221 @@ ## 虚拟内存管理 +虚拟存储技术使用局部性原理,用于对内存空间进行扩充。 + +传统存储管理特性: + ++ 一次性:作业必须一次性全部装入内存后才能开始运行。这会造成两个问题: + 1. 作业很大时,不能全部装入内存,导致大作业无法运行。 + 2. 当大量作业要求运行时,由于内存无法容纳所有作业,因此只有少量作业能运行,导致多道程序并发度下降。 ++ 驻留性:一旦作业被装入内存,就会一直驻留在内存中,直至作业运行结束。事实上,在一个时间段内,只需要访问作业的一小部分数据即可正常运行,这就导致了内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源。 + +高速缓冲技术的思想:将近期会频繁访问到的数据放到更高速的存储器中,暂时用不到的数据放在更低速存储器中。 + ### 虚拟内存的基本概念 + ++ 基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存,暂时用不到的部分留在外存,就可以让程序开始执行。 ++ 在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。 ++ 若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。 ++ 在操作系统的管理下,在用户看来似乎有一个比实际内存大得多的内存,这就是虚拟内存。 + ++ 虚拟内存的最大容量是由计算机的地址结构(CPU寻址范围)确定的。 ++ 虚拟内存的实际容量= min(内存和外存容量之和,CPU寻址范围)。 ++ 某计算机地址结构为32位,按字节编址,内存大小为512MB,外存大小为2GB。则虚拟内存的最大容量为$2^{32}$B= 4GB,而实际内存是2GB+512MB。 + +虚拟内存特征: + ++ 多次性:无需在作业运行时一次性全部装入内存,而是允许被分成多次调入内存。 ++ 对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出。 ++ 虚拟性:从逻辑上扩充可内存的容量,使用户看到的内存容量,远大于实际的容量。 + +### 请求分页管理方式 + +虚拟内存实现需要基于离散分配的内存管理方式基础上。所以根据传统的非连续分配存储管理,可以将虚拟存储的实现分为: + ++ 请求分页存储管理。 ++ 请求分段存储管理。 ++ 请求段页式存储管理。 + +其主要区别是:在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序;若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。所以操作系统需要提供请求调页或请求调段的功能与页面置换或段置换的功能。 + +#### 页表机制 + ++ 与基本分页管理相比,请求分页管理中,为了实现“请求调页”,操作系统需要知道每个页面是否已经调入内存:如果还没调入,那么也需要知道该页面在外存中存放的位置。 ++ 当内存空间不够时,要实现“页面置换”,操作系统需要通过某些指标来决定到底换出哪个页面:有的页面没有被修改过,就不用再浪费时间写回外存。有的页面修改过,就需要将外存中的旧数据覆盖,因此,操作系统也需要记录各个页面是否被修改的信息。 + +其中基本分页存储管理的页表项分为隐藏的页号与内存块号,所以请求分页管理存储的页表项分为: + ++ 页号(隐藏)。 ++ 内存块号。 ++ 状态位:表示是否已调入内存,0表示为调入,1表示已调入。 ++ 访问字段:可记录最近被访问过几次,或记录上次访问的时间,供置换算法选择换出页面时参考。 ++ 修改位:页面调入内存后是否被修改过,0表示没有,1表示修改过。 ++ 外存地址:页面在外存中的存放地址。 + +#### 缺页中断机构 + +缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生的,因此属于内中断的故障。一条指令在执行期间可能出现多次缺页中断。 + +1. 在请求分页系统中,每当要访问的页面不在内存时(状态位为0),便产生一个缺页中断,然后由操作系统的缺页中断处理程序处理中断。 +2. 此时缺页的进程阻塞,放入阻塞队列。 +3. 如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应的页表项,如内存块号。 +4. 如果内存中没有空闲块,则由页面置换算法选择一个页面淘汰,若该页面在内存期间被修改过,则要将其写回外存。未修改过的页面不用写回外存。 +5. 调页完成后再将其唤醒,放回就绪队列。 + +#### 地址变换机构 + +与普通页表的地址变换机构不同的是,增加了请求调页、页面置换和请求修改内容三个部分。 + +1. 要算出逻辑地址A对应的页号P与页内偏移量W。页号P=逻辑地址A/页面长度L(取除法的整数部分)。页内偏移量W=A逻辑地址%页面长度L(取除法的余数部分)。 +2. 检测页号P是否越界。如果页号P大于等于页表长度M,则内中断(因为页号从0开始,页表长度至少为1,从而P=M页会越界)。 +3. 在快表中查找对应页号,如果找到匹配的页号(即命中),说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表命中,则访问某个逻辑地址仅需一次访存即可。 +4. 快表中有的页面一定是在内存中的。若某个页面被换出外存,则快表中的相应表项也要删除,否则可能访问错误的页面。 +5. 如果没有找到匹配的页号,则需要访问内存中的页表。 +6. 找到对应页表项后,若对应页面未调入内存,则产生缺页中断,之后由操作系统的缺页中断处理程序进行处理,包括调页与页面置换。 +7. 根据页表寄存器中的页表项地址PA=页表起始地址F+页号P*页表项长度PL,得到页表中对应的页表项,从而确定页面存放的内存块号B。 +8. 最后物理地址E=内存块号B*页面大小L+页内偏移量W(如果内存块号和业内偏移量用二进制表示,则直接拼接起来就是最终物理地址了)。 + +简单而言,在具有快表机构的请求分页系统中,访问一个逻辑地址时,若发生缺页,则地址变换步骤是:查快表(未命中)――查慢表(发现未调入内存)—―调页(调入的页面对应的表项会直接加入快表)―—查快表(命中)――访问目标内存单元。 + +### 页面置换算法 + +#### 最佳置换算法 + +即OPT算法。 + +每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。这是不可能实际实现的,因为不可能超强预测所有页面请求,一般用来评价其他算法效果。 + +**例题** 假设系统为某进程分配了三个内存块,并考虑到有一下页面号引用串(会依次访问这些页面):7,0,1,2,0, 3,0,4,2,3,0,3,2,1,2,0,1,7,0,1。 + +若是不发生缺页则不标出该内存块的页面情况。 + +访问页面|7|0|1|2|0|3|0|4|2|3|0|3|2|1|2|0|1|7|0|1 +:------:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-: +内存块1|7|7|7|2| |2| |2| | |2| | |2| | | |7| | +内存块2| |0|0|0| |0| |4| | |0| | |0| | | |0| | +内存块3| | |1|1| |3| |3| | |3| | |1| | | |1| | +是否缺页|√|√|√|√| |√| |√| | |√| | |√| | | |√| | + +所以缺页中断发生了9次,页面置换发生了6次,缺页率=9/20=45%。 + +#### 先进先出置换算法 + +即FIFO算法。 + +每次选择淘汰的页面是最早进入内存的页面。只考虑进入时间而不考虑访问次数。 + +实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块。 + +如给定一串页面号:3,2,1,0,3,2,4,3,2,1,0,4,使用FIFO算法进行置换,会发现分配三个内存块缺页次数为9次,而分配四个内存块缺页次数为10次。这种当为进程分配的物理块数增大时,缺页次数不减反增的异常现象就是**Belady异常**。 + +只有FIFO算法会产生Belady异常。另外,FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能最经常被访问。因此该算法性能差。 + +#### 最近最久未使用置换算法 + +即LRU算法。 + +每次淘汰的页面是最近最久未使用的页面。 + +所以这里就需要使用页表中访问字段这一项,用来记录该页面自上次被访问以来所经历的时间t,当需要淘汰时,就选择t值最大的,即最近最久未使用的页面。 + +在手动做题时,若需要淘汰页面,可以逆向检查此时在内存中的几个页面号。在逆向扫描过程中最后一个出现的页号就是要淘汰的页面。 + +该算法的实现需要专门的硬件支持,虽然算法性能好,最接近OPT算法,但是实现困难,开销大。 + +#### 时钟置换算法 + +即CLOCK算法。是一种性能和开销较均衡的算法,又称最近未用算法NRU。 + +实现方法: + +1. 为每个页面设置一个访问位:访问位为1,表示最近访问过;访问位为0,表示最近没访问过。 +2. 再将内存中的页面都通过链接指针链接成一个循环队列。 +3. 当某页被访问时,其访问位置为1。当需要淘汰一个页面时,只需检查页的访问位。如果是0,就选择该页换出。 +4. 如果是1,则将它置为0,暂不换出,继续检查下一个页面,若第一轮扫描中所有页面都是1,则将这些页面的访问位依次置为0后,再进行第二轮扫描。 +5. 第二轮扫描中一定会有访问位为0的页面,因此简单的CLOCK算法选择一个淘汰页面最多会经过两轮扫描。 + +值得注意的是:访问和置换是不同的,扫描指针用于置换,只有缺页中断才会发生指向的变化,而访问和修改数据是另一个指针,会随着访问而不断移动,且是访问指针会影响访问位而不是扫描指针。 + +**例题** 假设系统为某进程分配了五个内存块,并考虑到有以下页面号引用串:1,3,4,2,5,6,3,4,7。 + +首先第一步将1,3,4,2,5链接成为循环队列,此时访问位全部为1。 + +然后访问到6,需要置换出一个页面,所以循环访问1,3,4,2,5,将访问位全部改为0。 + +第二轮循环开始,第一个的1访问位为0,则将1换出,6换入,访问位置为1,变为6,3,4,2,5,扫描指针指向3。 + +接着访问3和4,将访问位都置为1,然后是7,因为7不在内存中,从3开始扫描,34访问位为1,而2访问位为0,所以7换入2换出,7的访问位置为1,变为6,3,4,7,5,扫描指针指向5。 + +#### 改进型时钟置换算法 + +简单的时钟置换算法仅考虑到一个页面最近是否被访问过。事实上,如果被淘汰的页面没有被修改过,就不需要执行I/o操作写回外存。只有被淘汰的页面被修改过时,才需要写回外存。 + +因此,除了考虑一个页面最近有没有被访问过之外,操作系统还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有修改过的页面,避免I/O操作。这就是改进型的时钟置换算法的思想。 + +需要利用到修改位,修改位=0,表示页面没有被修改过;修改位=1,表示页面被修改过。 + +为方便讨论,用(访问位,修改位)的形式表示各页面状态。如(1,1)表示一个页面近期被访问过,且被修改过。 + +算法规则: + +1. 将所有可能被置换的页面排成一个循环队列。初始的(访问位,修改位)可能是任何的10组合,这和简单时钟算法初始为全0不同。 +2. 第一轮(没访问没修改):从当前位置开始扫描到第一个(0,0)的帧用于替换。本轮扫描不修改任何标志位。 +3. 第二轮(没访问有修改):若第一轮扫描失败,则重新扫描,查找第一个(0,1)的帧用于替换。本轮将所有扫描过的帧访问位设为0。 +4. 第三轮(有访问没修改):若第二轮扫描失败,则重新扫描,查找第一个(0,0)的帧用于替换。本轮扫描不修改任何标志位。 +5. 第四轮(有访问有修改):若第三轮扫描失败,则重新扫描,查找第一个(0,1)的帧用于替换。需要第四轮扫描只有全部页面都被访问都被修改过这一种情况。 +6. 由于第二轮已将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有一个帧被选中,因此改进型CLOCK置换算法选择一个淘汰页面最多会进行四轮扫描。 + +### 页面分配策略 + +#### 页面分配、置换策略 + ++ 驻留集:指请求分页存储管理中给进程分配的物理块的集合(即允许进入内存运行的最大物理块数量)。 ++ 在采用了虚拟存储技术的系统中,驻留集大小一般小于进程的总大小。 ++ 若驻留集太小,会导致缺页频繁,系统要花大量的时间来处理缺页,实际用于进程推进的时间很少;驻留集太大,又会导致多道程序并发度下降,资源利用率降低。所以应该选择一个合适的驻留集大小。 + +页面分配策略: + ++ 固定分配:操作系统为每个进程分配一组固定数目的物理块,在进程运行期间不再改变。即,驻留集大小不变入。 ++ 可变分配:先为每个进程分配一定数目的物理块,在进程运行期间,可根据情况做适当的增加或减少。即,驻留集大小可变。 + +页面置换策略: + ++ 局部置换:发生缺页时只能选进程自己的物理块进行置换。 ++ 全局置换:可以将操作系统保留的空闲物理块分配给缺页进程,也可以将别的进程持有的物理块置换到外存,再分配给缺页进程。 + +所以结合页面分配策略与页面置换策略,可以得到: + ++ 固定分配局部置换: + + 系统为每个进程分配一定数量的物理块,在整个运行期间都不改变。若进程在运行中发生缺页,则只能从该进程在内存中的页面中选出一页换出,然后再调入需要的页面。 + + 这种策略的缺点是:很难在刚开始就确定应为每个进程分配多少个物理块才算合理。 + + 采用这种策略的系统可以根据进程大小、优先级、或是根据程序员给出的参数来确定为一个进程分配的内存块数。 ++ 可变分配全局置换: + + 刚开始会为每个进程分配一定数量的物理块。操作系统会保持一个空闲物理块队列。当某进程发生缺页时,从空闲物理块中取出一块分配给该进程;若已无空闲物理块,则可选择一个未锁定的页面换出外存,再将该物理块分配给缺页的进程。 + + 采用这种策略时,只要某进程发生缺页,都将获得新的物理块,仅当空闲物理块用完时,系统才选择一个未锁定(即可以调出内存)的页面调出。被选择调出的页可能是系统中任何一个进程中的页,因此这个被选中的其他进程拥有的物理块会减少,其他进程缺页率会增加。 ++ 可变分配局部置换: + + 刚开始会为每个进程分配一定数量的物理块。当某进程发生缺页时,只允许从该进程自己的物理块中选出一个进行换出外存。 + + 如果进程在运行中频繁地缺页,系统会为该进程多分配几个物理块,直至该进程缺页率趋势适当程度;反之,如果进程在运行中缺页率特别低,则可适当减少分配给该进程的物理块。 ++ 没有固定分配全局置换策略,因为全局置换意味着进程拥有的物理块数量必然会改变,因此不可能是固定分配。 + +#### 调入页面 + +调入页面时机: + ++ 预调页策略(运行前):根据局部性原理,一次调入若干个相邻的页面可能比一次调入一个页面更高效。但如果提前调入的页面中大多数都没被访问过,则又是低效的。因此可以预测不久之后可能访问到的页面,将它们预先调入内存,但目前预测成功率只有50%左右。故这种策略主要用于进程的首次调入,由程序员指出应该先调入哪些部分。 ++ 请求调页策略(运行时):进程在运行期间发现缺页时才将所缺页面调入内存。由这种策略调入的页面一定会被访问到,但由于每次只能调入一页,而每次调页都要磁盘I/O操作,因此I/O开销较大。 + +调入页面位置: + ++ 系统拥有足够的对换区空间:页面的调入、调出都是在内存与对换区之间进行,这样可以保证页面的调入、调出速度很快。在进程运行前,需将进程相关的数据从文件区复制到对换区。 ++ 系统缺少足够的对换区空间:凡是不会被修改的数据都直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。对于可能被修改的部分,换出时需写回磁盘对换区,下次需要时再从对换区调入。 ++ UNIX方式:运行之前进程有关的数据全部放在文件区,故未使用过的页面,都可从文件区调入。若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入。 + +#### 抖动(颠簸现象) + ++ 刚刚换出的页面马上又要换入内存,刚刚换入的页面马上又要换出外存,这种频繁的页面调度行为称为抖动,或颠簸。 ++ 产生抖动的主要原因是进程频繁访问的页面数目高于可用的物理块数(分配给进程的物理块不够)。所以需要合适的物理块数量。 ++ 工作集:指在某段时间间隔里,进程实际访问页面的集合。 ++ 窗口尺寸就是驻留集的大小,约束工作集大小,工作集大小小于等于窗口尺寸,实际应用中,操作系统可以统计进程的工作集大小,根据工作集大小给进程分配若干内存块。如窗口尺寸为5,经过一段时间的监测发现某进程的工作集最大为3,那么说明该进程有很好的局部性,可以给这个进程分配3个以上的内存块即可满足进程的运行需要。 ++ 驻留集大小不能小于工作集大小,否则会产生抖动现象。 ++ 基于局部性原理可知,进程在一段时间内访问的页面与不久之后会访问的页面是有相关性的。因此,可以根据进程近期访问的页面集合(工作集)来设计一种页面置换算法――选择一个不在工作集中的页面进行淘汰。 diff --git a/Operate-System/3-file-management.md b/Operate-System/3-file-management.md new file mode 100644 index 0000000..1c884dc --- /dev/null +++ b/Operate-System/3-file-management.md @@ -0,0 +1,23 @@ +# 文件管理 + +## 文件系统 + +### 文件基本概念 + ++ 文件:一组有意义的信息/数据的集合。 ++ 文件基本属性: + + 文件名:由创建文件的用户决定文件名,主要是为了方便用户找到文件,同一目录下不允许有重名文件。 + + 标识符:一个系统内的各文件标识符唯一,对用户来说毫无可读性,因此标识符只是操作系统用于区分各个文件的一种内部名称。 + + 类型:指明文件的类型。 + + 位置:文件存放的路径(让用户使用)、在外存中的地址(操作系统使用,对用户不可见)。 + + 大小:指明文件大小。 + + 创建时间。 + + 上次修改时间。 + + 文件所有者信息。 + + 保护信息:对文件进行保护的访问控制信息。 ++ 文件结构形式: + + 无结构文件(如文本文件):由一些二进制或字符流组成,又称“流式文件”。 + + 有结构文件(如数据库表):由一组相似的记录(一组相关数据项的集合,数据项又包含多个属性,是文件系统中最基本的数据单位)组成,又称“记录式文件”。 + + +## 磁盘管理