基本硬件结构：

基本结构：运算器、控制器（内存）、存储器、输入设备、输出设备

内存

线性储存，基本存储单位是byte，1byte为8字节，每个byte对应一个内存地址

CPU

• 32位的CPU———4字节———4GB寻址空间

• 64位的CPU———8字节———寻址空间极大

CPU寄存器：主要作用是存储计算时的数据

• 通用寄存器：用于存放需要进行运算的数据

• 程序计数器：存储CPU要执行下一条指令所在的内存地址

• 指令寄存器：存放当前正在执行的指令本身

CPU的指令周期

1. Fetch:CPU通过程序计数器获取对应内存地址

2. Decode:CPU进行指令解码

3. Execution：CPU执行指令

4. Store:CPU将结果存回寄存器或者存入内存

总线

• 地址总线：指定内存地址

• 控制总线：控制读写命令

• 数据总线：传输数据

指令的执行速度

CPU的时钟周期数=指令数×CPI（每条指令的平均时钟周期）

时钟周期时间=1/CPU主频（超频）

基本硬件问题：

存储器的层级结构：

CPU 寄存器:最快，相当于大脑思考的东西

32位cpu存储4字节，64位cpu存储8字节。

2GHz主频的CPU，时钟周期是1/2G，也就是0.5ns。

CPU Cache（高速缓存）：次快，相当于大脑储存的记忆，有电数据在，断电数据丢失

通常可以分为 L1、L2、L3 这样的三层高速缓存

L1高速缓存：访问速度几乎和寄存器一样快，速度在 2~4 个时钟周期

L2高速缓存：速度在 10~20 个时钟周期

L3高速缓存：速度在 20~60个时钟周期

内存：次慢，相当于桌面的资料

DRAM 的数据访问电路和刷新电路都比 SRAM 更复杂，所以访问的速度会更慢，速度大概在 200~300 个 时钟周期之间

SSD硬盘：最慢，相当于书架上的书

速度最慢，但是它相比其余的优点是断电后数据还是存在的

CPU Cache 的数据是从内存中读取过来的，它是以一小块一小块读取数据的，这种一小块一小块的数据，称为Cache Line。

Cache Line的大小也就是Cache的数据大小，其内部结构是：索引 + 有效位 + 组标记 + 数据块

CPU Cache问题：

如果内存中的数据已经在 CPU Cache 中了，那 CPU 访问一个内存地址的时候，会经历什么？

1. 根据内存地址中索引信息，计算在 CPU Cache 中的索引

2. 找到对应 CPU Cache Line 后，判断 CPU Cache Line 中的有效位，有效继续执行

3. 对比内存地址中组标记和 CPU Cache Line 中的组标记，确认 CPU Cache Line 中的数据是我们要访问的内存数据

4. 根据内存地址中偏移量信息，从 CPU Cache Line 的数据块中，读取对应的字

内存管理：

虚拟内存是什么？

操作系统为每个进程都分配独立的一套虚拟地址，操作系统会提供一种机制：将不同进程的虚拟地址和不同内存的物理地址映射起来。

• 我们程序所使用的内存地址叫做虚拟内存地址（Virtual Memory Address）

• 实际存在硬件里面的空间地址叫物理内存地址（Physical Memory Address）

 

管理虚拟地址与物理地址的关系

内存分段：程序是由若干个逻辑分段组成的，不同的段有不同的属性的，所以就用分段的形式把这些段分离出来。

分段机制下的虚拟地址由两部分组成：段选择因子，段内偏移量

段选择因子保存在段寄存器里，段选择因子里最重要的是段号，用作段表的索引

段表里面保存的是这个段的基地址，段的界限和特权等级

段内偏移量应该位于0和段界限之间，如果段内偏移量合法，那就将段基地址＋段内偏移量得到物理地址

内存分段的不足：外部内存碎片

内存碎片：1G的物理内存，游戏占用了512MB内存，浏览器占用了128MB内存，音乐占用了256MB内存

这时候我们关闭浏览器，无法再打开一个200kb的程序，因为是两段128kb

处理方法：内存交换，将音乐的256写入硬盘，关闭浏览器后再装载回来紧跟着512MB即可

内存分段的不足：交换效率低

因为要把数据写到硬盘上，如果内存交换的时候，交换的是一个占内存空间很大的程序，这样整个机器都会显得卡顿

内存分页：整个虚拟和物理内存空间切成一段段固定尺寸的大小

虚拟地址与物理地址之间通过页表来映射，如下图：

当进程访问的虚拟地址在页表中查不到时，系统会产生一个缺页异常，进入系统内核空间分配物理内存、更新进程页表，最后再返回用户空间，恢复进程的运行

页表的内存交换的效率就相对比较高，因为换出时会把「最近没被使用」的内存页面写在硬盘上，需要的时候，再加载进来。所以，一次性写入磁盘的也只有少数的一个页或者几个页，不会花太多时间。此外，更进一步的只有在程序运行中，需要用到对应虚拟内存页里面的指令和数据时，再加载到物理内存里面去

分页机制下的虚拟地址由两部分组成：页号和页内偏移

页号作为页表的索引

页表包含物理页每页所在物理内存的基地址

页内偏移合法，那就将页基地址＋页内偏移得到物理地址

页表的不足：100 个进程的话，就需要 400MB 的内存来存储页表，这是非常大的内存了，占用内存大

多级页表：应用局部性原理将页表分为一级页表和二级页表，64位需要4级页表

如果某个一级页表的页表项没有被用到，也就不需要创建这个页表项对应的二级页表了，即可以在需要时才创建二级页表

从页表的性质来看，保存在内存中的页表承担的职责是将虚拟地址翻译成物理地址。假如虚拟地址在页表中找不到对应的页表项，计算机系统就不能工作了。所以页表一定要覆盖全部虚拟地址空间，不分级的页表就需要有 100 多万个页表项来映射，而二级分页则只需要 1024 个页表项（此时一级页表覆盖到了全部虚拟地址空间，二级页表在需要时创建）。

TLB：一个存放程序最常访问的页表项的缓存

有了 TLB 后，那么 CPU 在寻址时，会先查 TLB，如果没找到，才会继续查常规的页表。

TLB 的命中率其实是很高的，因为程序最常访问的页就那么几个。

段页式内存管理：内存分页和内存分段组合起来，提高了内存空间的利用率

• 先将程序划分为多个有逻辑意义的段，也就是前面提到的分段机制；

• 接着再把每个段划分为多个页，也就是对分段划分出来的连续空间，再划分固定大小的页

地址结构就由段号、段内页号和页内位移组成

• 第一次访问段表，得到页表起始地址；

• 第二次访问页表，得到物理页号；

• 第三次将物理页号与页内位移组合，得到物理地址。

 

线程/进程管理

进程的状态

多进程实际上是并发，即快速处理多个任务而不是同时处理多个任务

进程的活动期间遵守原则：运行前一定要就绪

运行状态：该时刻进程占用CPU

就绪状态：只缺少CPU调度

阻塞状态：进程在等待某一事件发生而暂时停止运行

创建状态：被创建时的状态

结束状态：进程从系统消失的状态

进程的控制结构

操作系统中，是用进程控制块（PCB）数据结构来描述进程的，PCB 是进程存在的唯一标识

PCB里面具体包含：

• 进程描述信息：进程标识符，用户标识符

• 进程控制信息：进程当前状态，进程优先级

• 资源分配清单：有关虚拟地址的信息，I/O设备信息

• CPU相关信息

PCB通过链表的方式进行组织，把相同状态的进程链在一起，组成各种队列：如就绪队列和阻塞队列

进程的上下文切换

一个进程切换到另一个进程运行，称为进程的上下文切换

进程的上下文切换不仅包含了虚拟内存，栈，全局变量等用户空间的资源，还包括了内核堆栈，寄存器等内核空间的资源

应用场景：

• 进程通过睡眠函数sleep的方法将自己主动挂起时，会重新调度

• 进程系统资源不足的被迫挂起，去运行其他进程时会发生上下文切换

• 发生硬件中断时，CPU 上的进程会被中断挂起，转而执行内核中的中断服务程序

线程的上下文切换

线程是进程当中的一条执行流程

对于线程和进程，我们可以这么理解：

• 当进程只有一个线程时，可以认为进程就等于线程；

• 当进程拥有多个线程时，这些线程会共享相同的虚拟内存和全局变量等资源，这些资源在上下文切换时是不需要修改的；

线程的上下文切换看线程是不是属于同一个进程：

• 当两个线程不是属于同一个进程，则切换的过程就跟进程上下文切换一样；

• 当两个线程是属于同一个进程，因为虚拟内存是共享的，所以在切换时，虚拟内存这些资源就保持不动，只需要切换线程的私有数据、寄存器等不共享的数据；

线程/进程的实现

• fork()来创建一个新的进程，在父进程中fork()返回子进程PID，子进程fork()成功返回0，失败返回-1

• pthread_create()创建新的线程，成功返回0，失败返回错误号

1.用户线程：在用户空间实现的线程

2.内核线程：在内核中实现的线程

3.轻量级进程：在内核中来支持用户线程

进程间的通信方式有哪些？

1.管道：匿名管道（存在父子关系的进程）和命名管道（不相关的进程间也可以相互通信），效率低，不适合频繁交换

2.消息队列：两个进程之间的通信就像平时发邮件一样，你来一封，我回一封，但是通信不够及时

3.共享内存：拿出一块虚拟地址空间来，进程都能访问

4.信号量（PV操作）：多进程修改一个共享内存容易冲突，因此信号量使得共享的资源，在任意时刻只能被一个进程访问

• P操作会把信号量-1，相减后若信号量＜0表明资源已经被占用，若≥0，表明还有资源可以使用

• V操作会把信号量+1，相加后若≤0，表明当前有阻塞中的进程，若＞0，表明当前没有阻塞的进程

• PV成对出现，P用于进入共享资源之前，V用于离开共享资源之后，信号初始化为1代表互斥信号量，初始化为0代表多进程同步信号量

5.信号：信号是进程间通信机制中唯一的异步通信机制，因为可以在任何时候发送信号给某一进程，可以进行捕捉和忽略信号

6.Socket：跨网络与不同主机上的进程之间通信（TCP,UDP,本地通信）

6.1TcpSocket

是「两个」 socket，一个叫作监听 socket，一个叫作已完成连接 socket。

6.2 UDPSocket(不需要connect）

6.3 本地通信不需要bind IP地址和端口，而是绑定一个本地文件

 

生产者-消费者问题

• 生产者在生成数据后，放在一个缓冲区中；

• 消费者从缓冲区取出数据处理；

• 任何时刻，只能有一个生产者或消费者可以访问缓冲区；

我们对问题分析可以得出：

• 任何时刻只能有一个线程操作缓冲区，说明操作缓冲区是临界代码，需要互斥；

• 缓冲区空时，消费者必须等待生产者生成数据；缓冲区满时，生产者必须等待消费者取出数据。说明生产者和消费者需要同步。

那么我们需要三个信号量，分别是：

互斥信号量 mutex：用于互斥访问缓冲区，初始化值为 1

资源信号量 fullBuffers：用于消费者询问缓冲区是否有数据，初始化为0（表明缓冲区一开始是0）

资源信号量 emptyBuffers：用于生产者询问缓冲区是否有空位，初始化为N（缓冲区大小）

 

调度算法：

文件系统：

空闲空间管理

如果我要保存一个数据块，我应该放在硬盘上的哪个位置呢？难道需要将所有的块扫描一遍，找个空的地方随便放吗，效率太低，因此引入空闲空间管理

空闲表法：

空闲表法就是为所有空闲空间建立一张表，表内容包括空闲区的第一个块号和该空闲区的块个数，该方式是连续分配的

空闲链表法：

我们也可以使用「链表」的方式来管理空闲空间，每一个空闲块里有一个指针指向下一个空闲块

位图法(LINUX采用的方法）：

位图是利用二进制的一位来表示磁盘中一个盘块的使用情况，磁盘上所有的盘块都有一个二进制位与之对应。

当值为 0 时，表示对应的盘块空闲，值为 1 时，表示对应的盘块已分配。它形式如下:

1111110011111110001110110111111100111 ...

当键盘敲入A字母，操作系统发生了什么：

网络系统：

传统的文件传输（拷贝技术）

服务端提供文件传输的功能：从磁盘上把文件读取出来，然后通过网络协议发送给客户端（read,write)

期间发生了四次用户态和内核态的上下文切换,因为发生了两次系统调用，read（）和write(),每次系统调用都得先从用户态切换到内核态,完成任务再切回来

其次还发生了四次数据拷贝，两次DMA拷贝，两次CPU拷贝

• 第一次拷贝，磁盘到内核—DMA

• 第二次拷贝，内核到用户缓冲区-CPU

• 第三次拷贝，用户到内核Socket缓冲区-CPU

• 第四次拷贝，内核的Socket数据拷贝到网卡缓冲区里-DMA

因此要想提高文件传输的性能，就需要减少「用户态与内核态的上下文切换」和「内存拷贝」的次数。

---

优化实现零拷贝：零拷贝技术是基于 PageCache 的，PageCache 会缓存最近访问的数据，提升了访问缓存数据的性能

1.mmap+write

mmap函数会把内核缓冲区里的数据映射到用户空间，不需要拷贝了，映射即可（四切换，三拷贝）

2.sendfile

它可以替代前面的 read() 和 write() 这两个系统调用，并且不需要拷贝到内核态（二切换，三拷贝）

3.启动SG-DMA

磁盘到内核（DMA)，内核直接到网卡(SG-DMA），这个过程之中，只进行了 2 次数据拷贝（二切，二拷）

大文件的传输方式：直接IO＋异步IO

小文件的传输方式：零拷贝技术

I/O多路复用

高性能网络模式

• 单 Reactor 单进程 / 线程；

• 单 Reactor 多线程 / 进程；

• 多 Reactor 多进程 / 线程；

• 主线程中的 MainReactor 对象通过 epoll 监控连接建立事件，收到事件后通过 Acceptor 对象中的 accept 获取连接，将新的连接分配给某个子线程；

• 子线程中的 SubReactor 对象将 MainReactor 对象分配的连接加入 epoll继续进行监听，并创建一个 Handler 用于处理连接的响应事件。

• 如果有新的事件发生时，SubReactor 对象会调用当前连接对应的 Handler 对象来进行响应。

• Handler 对象通过 read -> 业务处理 -> send 的流程来完成完整的业务流程。