0%

排查系统缓慢

排查系统很慢的时候,先观察IO等待时间,如果IO等待时间很低,可以查看CPU空闲时间百分比;如果IO等待时间很高,需要确定是什么原因导致的IO等待时间占比这么高;如果IO等待时间很低,而且CPU空闲时间很高,那就不是CPU资源的问题,需要从其他地方找原因。

先使用uptime命令

1
2
uptime
14:22:15 up 226 days, 15:08, 2 users, load average: 0.38, 0.19, 0.15

根据1分钟、5分钟、15分钟的平均负载来确定问题所处时间。

如果处于高负载状态,使用top命令来观察是哪些进程在消耗CPU

使用iostat命令可以查看是哪个分区正在执行大量的IO操作

有时候我们去查找的时候已经不是第一现场了,看实时的数据肯定是不行了。可以使用sar命令来查看历史数据

1
2
3
4
5
6
7
8
9
10
# 查看当天的CPU统计信息
sar
#查看当天的内存信息
sar -r
#查看当天的磁盘信息
sar -b

# 查看某时间段内的信息
# -s 开始时间 -e 结束时间
sar -s 18:00:00 -e 18:30:00

redis实现限流

我们可以使用redis来实现一个简单的滑动窗口限流,滑动窗口的话我们可以使用zset的score来进行实现。value需要保证唯一性,暂且使用时间戳。

通过统计该窗口内的行为数量和限制的最大数量maxCount进行比较就可以得出当前的请求是否允许

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
public class RedisRateLimiter {
@Autowired
private StringRedisTemplate stringRedisTemplate;

@Test
public void test() {
for (int i = 0; i < 10; i++) {
System.out.println(isActionAllow("user/list", "127.0.0.1", 1, 5));
try {
Thread.sleep(150);
} catch (InterruptedException e) {
e.printStackTrace();
}

}

}

/**
* 使用zset实现简单的滑动窗口限流
*
* @param uri
* @param ip
* @param period 时间窗口 单位秒
* @param maxCount 最大允许数量
* @return
*/
public boolean isActionAllow(String uri, String ip, int period, int maxCount) {
// key为 uri和ip
String key = String.format("hist:%s:%s", uri, ip);
long cur = System.currentTimeMillis();
List<Object> pipelined = stringRedisTemplate.executePipelined(
new RedisCallback<Long>() {

@Override
public Long doInRedis(RedisConnection connection) throws DataAccessException {
// 记录行为
connection.zAdd(key.getBytes(), cur, String.valueOf(cur).getBytes());
// 移除时间窗口之前的行为记录
connection.zRemRangeByScore(key.getBytes(), 0, cur - period * 1000);
// 获取窗口内的行为数量
Long count = connection.zCard(key.getBytes());
// 清理冷数据,防止冷数据持续占用内存
connection.expire(key.getBytes(), period + 1);
return count;
}
}
);

// System.out.println(pipelined);
Object o = pipelined.get(2);
// System.out.println(o);
return Long.parseLong(String.valueOf(o)) <= maxCount;
}
}

如果时间窗口内允许的数量较大,会消耗大量的内存。则不适合该方式

布隆过滤器

redis原生不自带布隆过滤器,需要自己去编译该插件进行安装

安装

从github进行下载https://github.com/RedisBloom/RedisBloom/tags,进入下载目录进行编译make,生成redisbloom.so文件

修改redis.conf加载插件 loadmodule /usr/local/myself/redis/module/RedisBloom-2.2.18/redisbloom.so,重启redis

基本命令

  • bf.add 添加元素

    1
    2
    3
    4
    127.0.0.1:6379> bf.add art user1
    (integer) 1
    127.0.0.1:6379> bf.add art user2
    (integer) 1
  • bf.exists 查询元素是否存在

    1
    2
    3
    4
    127.0.0.1:6379> BF.EXISTS art user3
    (integer) 0
    127.0.0.1:6379> BF.EXISTS art user1
    (integer) 1
阅读全文 »

web项目的目录结构

  • WEB-INF 存放class文件、jar文件和配置文件,对于用户来说该文件夹是不可见的
  • WEB-INF/web.xml web应用程序的描述文件,用来配置资源,如servlet、过滤器、监听器等
  • WEB-INF/classes 用于存放class文件,也是该web应用程序的类加载路径
  • WEB-INF/lib 用于存放第三方的类库jar文件
  • 其他资源文件存放到和WEB-INF同级的目录中

web应用程序只能访问到存放在classes和lib目录下的java类

web如何取得用户信息

之前说过SecurityContextHolder默认使用的是ThreadLocal来进行存储的,而且每次都会清除,但是web每次请求都会验证用户权限,这是如何做到的呢?

这是通过SecurityContextPersistenceFilter来实现的,每次请求过来都会session中来获取SecurityContext,然后设置到SecurityContextHolder中,请求结束后再清除掉

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain)
throws IOException, ServletException {
HttpServletRequest request = (HttpServletRequest) req;
HttpServletResponse response = (HttpServletResponse) res;

if (request.getAttribute(FILTER_APPLIED) != null) {
// ensure that filter is only applied once per request
chain.doFilter(request, response);
return;
}

request.setAttribute(FILTER_APPLIED, Boolean.TRUE);


HttpRequestResponseHolder holder = new HttpRequestResponseHolder(request,
response);
// 从session获取SecurityContext
SecurityContext contextBeforeChainExecution = repo.loadContext(holder);

try {
// 将SecurityContext存入SecurityContextHolder
SecurityContextHolder.setContext(contextBeforeChainExecution);

chain.doFilter(holder.getRequest(), holder.getResponse());

}
finally {
SecurityContext contextAfterChainExecution = SecurityContextHolder
.getContext();
// Crucial removal of SecurityContextHolder contents - do this before anything
// else.
SecurityContextHolder.clearContext();
// 存储SecurityContext
repo.saveContext(contextAfterChainExecution, holder.getRequest(),
holder.getResponse());
request.removeAttribute(FILTER_APPLIED);
}
}
阅读全文 »