容器的核心技术是 Cgroup + Namespace。
容器 = cgroup + namespace + rootfs + 容器引擎
Cgroup： 资源控制
namespace： 访问隔离
rootfs：文件系统隔离。镜像的本质就是一个rootfs文件
容器引擎：生命周期控制
Cgroup
Cgroup 是 Control group 的简称，是 Linux 内核提供的一个特性，用于限制和隔离一组进程对系统资源的使用。
子系统
对不同资源的具体管理是由各个子系统分工完成的。
| 子系统 | 作用 |
|---|---|
| devices | 设备权限控制 |
| cpuset | 分配指定的CPU和内存节点 |
| CPU | 控制CPU使用率 |
| cpuacct | 统计CPU使用情况 |
| memory | 限制内存的使用上限 |
| freezer | 暂停 Cgroup 中的进程 |
| net_cls | 配合流控限制网络带宽 |
| net_prio | 设置进程的网络流量优先级 |
| perf_event | 允许 Perf 工具基于 Cgroup 分组做性能检测 |
| huge_tlb | 限制 HugeTLB 的使用 |
在 Cgroup 出现之前，只能对一个进程做资源限制，如 ulimit 限制一个进程的打开文件上限、栈大小。
而 Cgroup 可以对进程进行任意分组，如何分组由用户自定义。
子系统介绍
cpuset 子系统
cpuset 可以为一组进程分配指定的CPU和内存节点。
cpuset 一开始用在高性能计算上，在 NUMA(non-uniform memory access) 架构的服务器上，通过将进程绑定到固定的 CPU 和内存节点上，来避免进程在运行时因跨节点内存访问而导致的性能下降。
cpuset 的主要接口如下：
cpuset.cpus: 允许进程使用的CPU列表
cpuset.mems： 允许进程使用的内存节点列表
cpu 子系统
cpu 子系统用于限制进程的 CPU 利用率。
具体支持三个功能
第一，CPU 比重分配。使用 cpu.shares 接口。
第二，CPU 带宽限制。使用 cpu.cfs_period_us 和 cpu.cfs_quota_us 接口。
第三， 实时进程的 CPU 带宽限制。使用 cpu_rt_period_us 和 cpu_rt_quota_us 接口。
cpuacct 子系统
统计各个 Cgroup 的 CPU 使用情况，有如下接口：
cpuacct.stat: 报告这个 Cgroup 在用户态和内核态消耗的 CPU 时间，单位是 赫兹。
cpuacct.usage： 报告该 Cgroup 消耗的总 CPU 时间。
cpuacct.usage_percpu：报告该 Cgroup 在每个 CPU 上的消耗时间。
memory 子系统
限制 Cgroup 所能使用的内存上限。
memory.limit_in_bytes：设定内存上限，单位字节。
默认情况下，如果使用的内存超过上限，Linux 内核会试图回收内存，如果这样仍无法将内存降到限制的范围内，就会触发 OOM，选择杀死该Cgroup 中的某个进程。 memory.memsw,limit_in_bytes: 设定内存加上交换内存区的总量。
memory.oom_control： 如果设置为0，那么内存超过上限时，不会杀死进程，而是阻塞等待进程释放内存；同时系统会向用户态发送事件通知。 memory.stat: 报告内存使用信息。
blkio
限制 Cgroup 对 阻塞 IO 的使用。
blkio.weight: 设置权值，范围在[100, 1000]，属于比重分配，不是绝对带宽。因此只有当不同 Cgroup 争用同一个阻塞设备时才起作用 blkio.weight_device： 对具体设备设置权值。它会覆盖上面的选项值。 blkio.throttle.read_bps_device: 对具体的设备，设置每秒读磁盘的带宽上限。 blkio.throttle.write_bps_device: 对具体的设备，设置每秒写磁盘的带宽上限。 blkio.throttle.read_iops_device: 对具体的设备，设置每秒读磁盘的IOPS带宽上限。 blkio.throttle.write_iops_device: 对具体的设备，设置每秒写磁盘的IOPS带宽上限。
devices 子系统
控制 Cgroup 的进程对哪些设备有访问权限
devices.list: 只读文件，显示目前允许被访问的设备列表，文件格式为
类型 [a|b|c] 设备号 [major:minor] 权限 [r/w/m 的组合]
a/b/c 表示 所有设备、块设备和字符设备。
devices.allow： 只写文件，以上述格式描述允许相应设备的访问列表。 devices.deny： 只写文件，以上述格式描述禁止相应设备的访问列表。
