Cache 工作原理,Cache
一致性,你想知道的都在这里
- 为什么需要 Cache -
1.1 为什么需要 Cache
我们首先从一张图来开始讲为什么需要 Cache。
上图是 CPU 性能和 Memory 存储器访问性能的发展。
我们可以看到,随着工艺和设计的演进,CPU
计算性能其实发生了翻天覆地的变化,但是DRAM存储性能的发展没有
那么快。
所以造成了一个问题,存储限制了计算的发展。
容量与速度不可兼得。
如何解决这个问题呢?可以从计算访问数据的规律入手。
我们随便贴段代码:
for (j = 0; j < 100; j = j + 1)
for( i = 0; i < 5000; i = i + 1)
x[i][j] = 2 * x[i][j];
可以看到,由于大量循环的存在,我们访问的数据其实在内存中的位置是
相近的。
换句专业点的话说,我们访问的数据有局部性。
我们只需要将这些数据放入一个小而快的存储中,这样就可以快速访问相
关数据了。
总结起来,Cache是为了给CPU提供高速存储访问,利用数据局部性而
设计的小存储单元。
1.2 实际系统中的 Cache
我们展示一下实际系统中的 Cache 。
如上图所示,整个系统的存储架构包括了 CPU 的寄存器,L1/L2/L3
CACHE,DRAM 和硬盘。
数据访问时先找寄存器,寄存器里没有找 L1 Cache, L1 Cache
里没有找 L2 Cache 依次类推,最后找到硬盘中。
同时,我们可以看到,速度与存储容量的折衷关系。容量越小,访问速度
越快!
其中,一个概念需要搞清楚。
CPU 和 Cache 是 word 传输的,而 Cache
到主存是以块传输的,一块大约 64Byte 。
现有 SOC 中的 Cache 一般组成如下。
1.3 Cache 的分类
Cache按照不同标准分类可以分为若干类。
按照数据类型划分:I-Cache与D-Cache。其中I-
Cache负责放置指令,D-Cache负责方式数据。两者最大的不同是D-
Cache里的数据可以写回,I-Cache是只读的。
按照大小划分:分为small Cache和large
Cache。没路组(后文组相连介绍)<4KB叫small Cache, 多用于L1
Cache, 大于4KB叫large Cache。多用于L2及其他Cache.
按照位置划分:Inner Cache和Outer
Cache。一般独属于CPU微架构的叫Inner Cache, 例如上图的L1 L2
CACHE。不属于CPU微架构的叫outer Cache.
按照数据关系划分:Inclusive/exclusive Cache:
下级Cache包含上级的数据叫inclusive Cache。不包含叫exclusive
Cache。举个例子,L3 Cache里有L2 Cache的数据,则L2
Cache叫exclusive Cache。
- Cache的工作原理 -
要讲清楚 Cache 的工作原理,需要回答 4 个问题:
数据如何放置
数据如何查询
数据如何被替换
如果发生了写操作,Cache如何处理
2.1 数据如何放置
这个问题也好解决。我们举个简单的栗子来说明问题。
假设我们主存中有 32 个块,而我们的 Cache 一共有 8 个 Cache 行(
一个 Cache 行放一行数据)。
假设我们要把主存中的块 12 放到 Cache 里。
那么应该放到 Cache 里什么位置呢?
三种方法:
全相连(Fully associative)。可以放在Cache的任何位置。
直接映射(Direct mapped)。只允许放在Cache的某一行。比如12
mod 8
组相连(set
associative)。可以放在Cache的某几行。例如2路组相连,一共有4组
,所以可以放在0,1位置中的一个。
可以看到,全相连和直接映射是Cache组相连的两种极端情况。
不同的放置方式主要影响有两点:
1、组相连组数越大,比较电路就越大,但Cache利用率更高,Cache
miss发生的概率小。
2、组相连数目变小,Cache经常发生替换,但是比较电路比较小。
这也好理解,内存中的块在Cache中可放置的位置多,自然找起来就麻
烦。
2.2 如何在Cache中找数据