限流维度与粒度: QPS、并发线程数与分布式总配额的精细控制
2025/9/7大约 6 分钟
在分布式限流系统中，限流维度和粒度是决定限流效果的关键因素。不同的维度和粒度设置会直接影响系统的性能、资源利用率和用户体验。本章将深入探讨限流的主要维度（QPS、并发线程数、分布式总配额）以及限流粒度的设置策略。
限流维度详解
QPS（Queries Per Second）
QPS是最常见的限流维度，表示每秒查询率或每秒请求数。它用于控制单位时间内通过系统的请求数量。
特点与适用场景
特点：
- 直观易懂，便于理解和配置
- 适用于大多数Web应用和API服务
- 可以有效控制系统的请求负载
适用场景：
- API接口限流
- Web服务保护
- 第三方服务调用限制
实现示例
public class QPSLimiter {
private final RateLimiter rateLimiter;
public QPSLimiter(double permitsPerSecond) {
this.rateLimiter = RateLimiter.create(permitsPerSecond);
}
public boolean tryAcquire() {
return rateLimiter.tryAcquire();
}
public boolean tryAcquire(int permits) {
return rateLimiter.tryAcquire(permits);
}
}配置建议
在配置QPS限流时，需要考虑以下因素：
- 系统的实际处理能力
- 业务的峰值流量
- 用户体验要求
- 成本控制需求
并发线程数
并发线程数限流是通过控制同时处理请求的线程数量来实现的。它直接限制了系统资源的并发使用量。
特点与适用场景
特点：
- 直接控制系统的资源消耗
- 更加精确地保护系统资源
- 适用于计算密集型或资源消耗大的操作
适用场景：
- 数据库连接池限制
- 线程池大小控制
- 计算密集型任务限制
实现示例
public class ConcurrencyLimiter {
private final Semaphore semaphore;
public ConcurrencyLimiter(int maxConcurrency) {
this.semaphore = new Semaphore(maxConcurrency);
}
public boolean tryAcquire() {
return semaphore.tryAcquire();
}
public void acquire() throws InterruptedException {
semaphore.acquire();
}
public void release() {
semaphore.release();
}
}配置建议
在配置并发线程数限流时，需要考虑：
- 系统的CPU核心数和内存大小
- 单个请求的资源消耗
- 系统的并发处理能力
- 其他服务对资源的竞争
分布式总配额
分布式总配额是在整个分布式系统层面设置的限流维度，用于控制整个集群的总流量。
特点与适用场景
特点：
- 全局视角的流量控制
- 防止整个系统过载
- 需要分布式协调机制
适用场景：
- 微服务架构中的全局限流
- 共享资源的保护（如数据库、缓存）
- 多租户系统的资源分配
实现示例
public class DistributedQuotaLimiter {
private final RedisTemplate<String, String> redisTemplate;
private final String quotaKey;
private final int totalQuota;
public DistributedQuotaLimiter(RedisTemplate<String, String> redisTemplate,
String quotaKey, int totalQuota) {
this.redisTemplate = redisTemplate;
this.quotaKey = quotaKey;
this.totalQuota = totalQuota;
}
public boolean tryAcquire(int permits) {
String script =
"local current = redis.call('GET', KEYS[1])\n" +
"if current == false then\n" +
" current = 0\n" +
"end\n" +
"if tonumber(current) + tonumber(ARGV[1]) <= tonumber(ARGV[2]) then\n" +
" redis.call('INCRBY', KEYS[1], ARGV[1])\n" +
" redis.call('EXPIRE', KEYS[1], 1)\n" +
" return 1\n" +
"else\n" +
" return 0\n" +
"end";
DefaultRedisScript<Long> redisScript = new DefaultRedisScript<>();
redisScript.setScriptText(script);
redisScript.setResultType(Long.class);
Long result = redisTemplate.execute(redisScript,
Collections.singletonList(quotaKey),
String.valueOf(permits),
String.valueOf(totalQuota));
return result != null && result == 1;
}
}配置建议
在配置分布式总配额时，需要考虑：
- 整个集群的处理能力
- 各个服务实例的分布情况
- 网络延迟和一致性要求
- 故障恢复和降级策略
限流粒度设置
服务级别限流
服务级别限流是对整个服务进行流量控制，不区分具体的API接口或用户。
优点
- 配置简单，管理方便
- 资源消耗较少
- 适用于服务整体保护
缺点
- 精度较低，无法针对具体场景优化
- 可能影响正常用户的请求
API级别限流
API级别限流是对具体的API接口进行流量控制。
优点
- 精度高，可以针对不同接口设置不同的限流策略
- 可以保护核心接口不受影响
- 便于业务优化和资源分配
缺点
- 配置复杂，管理成本高
- 资源消耗较大
实现示例
public class ApiLevelLimiter {
private final Map<String, RateLimiter> apiLimiters = new ConcurrentHashMap<>();
public void setApiLimit(String apiName, double permitsPerSecond) {
apiLimiters.put(apiName, RateLimiter.create(permitsPerSecond));
}
public boolean tryAcquire(String apiName) {
RateLimiter limiter = apiLimiters.get(apiName);
if (limiter != null) {
return limiter.tryAcquire();
}
return true; // 如果没有配置限流器，则允许通过
}
}用户级别限流
用户级别限流是对具体用户进行流量控制。
优点
- 可以实现公平的资源分配
- 防止恶意用户占用过多资源
- 提升正常用户体验
缺点
- 内存消耗大，需要为每个用户维护限流器
- 实现复杂度高
实现示例
public class UserLevelLimiter {
private final Cache<String, RateLimiter> userLimiters;
private final double defaultPermitsPerSecond;
public UserLevelLimiter(double defaultPermitsPerSecond) {
this.defaultPermitsPerSecond = defaultPermitsPerSecond;
this.userLimiters = CacheBuilder.newBuilder()
.maximumSize(10000)
.expireAfterWrite(1, TimeUnit.HOURS)
.build();
}
public boolean tryAcquire(String userId) {
try {
RateLimiter limiter = userLimiters.get(userId, () ->
RateLimiter.create(defaultPermitsPerSecond));
return limiter.tryAcquire();
} catch (ExecutionException e) {
return true; // 如果获取限流器失败，则允许通过
}
}
}IP级别限流
IP级别限流是对访问来源IP进行流量控制。
优点
- 可以防止恶意IP攻击
- 实现相对简单
- 适用于防止爬虫等场景
缺点
- 可能误伤正常用户（如同一局域网用户）
- 无法应对IP伪造
特定参数级别限流
特定参数级别限流是对请求中的特定参数进行流量控制，如商品ID、活动ID等。
优点
- 可以保护热点资源
- 防止特定资源被过度访问
- 精度高，针对性强
缺点
- 实现复杂度高
- 需要动态识别热点参数
实现示例
public class ParameterLevelLimiter {
private final Cache<String, RateLimiter> paramLimiters;
private final double defaultPermitsPerSecond;
public ParameterLevelLimiter(double defaultPermitsPerSecond) {
this.defaultPermitsPerSecond = defaultPermitsPerSecond;
this.paramLimiters = CacheBuilder.newBuilder()
.maximumSize(10000)
.expireAfterWrite(10, TimeUnit.MINUTES)
.build();
}
public boolean tryAcquire(String paramKey) {
try {
RateLimiter limiter = paramLimiters.get(paramKey, () ->
RateLimiter.create(defaultPermitsPerSecond));
return limiter.tryAcquire();
} catch (ExecutionException e) {
return true; // 如果获取限流器失败，则允许通过
}
}
}集群全局限流
集群全局限流是在整个服务集群层面进行的流量控制。
优点
- 全局视角，防止整体过载
- 资源利用率高
- 适用于共享资源保护
缺点
- 实现复杂，需要分布式协调
- 性能开销较大
组合策略
在实际应用中，往往需要组合使用多种限流维度和粒度，以达到最佳的限流效果。
多层限流策略
public class MultiLevelLimiter {
private final QPSLimiter qpsLimiter;
private final ConcurrencyLimiter concurrencyLimiter;
private final DistributedQuotaLimiter quotaLimiter;
public MultiLevelLimiter(QPSLimiter qpsLimiter,
ConcurrencyLimiter concurrencyLimiter,
DistributedQuotaLimiter quotaLimiter) {
this.qpsLimiter = qpsLimiter;
this.concurrencyLimiter = concurrencyLimiter;
this.quotaLimiter = quotaLimiter;
}
public boolean tryAcquire(int permits) {
// 按顺序检查各个限流器
if (!qpsLimiter.tryAcquire(permits)) {
return false;
}
if (!concurrencyLimiter.tryAcquire()) {
// 如果并发限流不通过，需要释放QPS限流
// 这里简化处理，实际应用中需要更复杂的回滚机制
return false;
}
if (!quotaLimiter.tryAcquire(permits)) {
// 如果配额限流不通过，需要释放前面的限流
concurrencyLimiter.release();
return false;
}
return true;
}
}通过合理设置限流维度和粒度，我们可以构建一个既精确又高效的分布式限流系统，为业务系统的稳定运行提供有力保障。