小菜鸟

MySQL系统配置

内存相关

• sort_buffer_size 定义了每个线程排序缓存区的大小，当索引无法满足需要的顺序信息时会用到，执行计划中出现using filesort，MySQL在有查询、需要做排序操作时才会为每个缓冲区分配内存（直接分配该参数的全部内存）(innodb_sort_buffer_size和 myisam_sort_buffer_size和 sort_buffer_size)，可以根据sort_scan、sort_rows、sort_range、sort_merge_passes状态来检查执行了多少个排序操作。也不能设置的过大，在高并发的情况下使用过大的值，可能会导致内存耗尽

  通过show global status like 'sort%'来查看排序情况。

  sort_merge_passes的步骤如下：mysql先会尝试在内存中进行排序，使用的内存大小sort_buffer_size决定，如果该值不够大则把所有的记录读到内存中，mysql会把每次在内存中排序的结果存到临时文件中，等mysql找到所有记录后，再把临时文件中的记录做一次排序，此时会增加sort_merge_passes的值

• join_buffer_size 定义了每个线程所使用的连接缓冲区的大小，如果一个查询关联了多张表，当索引无法满足连接条件时，会用到这个缓冲区，执行计划中如果有using join buffer，可以通过检查select_scan状态(表示第一张表执行完整扫描的连接数量)和select_full_range_join状态(表示使用范围搜索的连接数量)来判断是否需要设置更大的值

• read_buffer_size 用于表的顺序扫描，表示每个线程分配的缓冲区大小，在进行全表扫描时，mysql会按照数据的存储顺序依次读取数据块，每次读取的数据块首先会暂存在read_buffer_size中，当buffer空间被写满或者全部数据读取结束后，再将buffer中的数据返回给上层调用者，提高效率，其必须是4k的倍数

• read_rnd_buffer_size MySQL每个线程的随机读缓冲区大小，MySQL有查询按任意顺序读取行需要时会为其分配内存，进行排序查询时，利用该缓冲区来暂存读取的数据，MySQL会首先扫描一遍该缓冲，以避免磁盘搜索，提高查询速度，如果需要排序大量数据，可适当调高该值

上述四个参数配置是按照每个线程进行分配的，所分配的内存还要乘以线程数

• innodb_buffer_pool_size 定义了Innodb所使用缓存池的大小，存储数据和索引页，对其性能十分重要，必须足够大，但是过大时，使得Innodb 关闭时候需要更多时间把脏页从缓冲池中刷新到磁盘中，这个值越大越好，这能保证你在大多数的读取操作时使用的是内存而不是硬盘。物理内存的60%~70%，典型的值是5-6GB(8GB内存)，20-25GB(32GB内存)，100-120GB(128GB内存)

• innodb_additional_mem_pool_size：InnoDB存储引擎用来存放数据字典信息以及一些内部数据结构的内存空间大小，当数据库对象非常多的时候，适当调整该参数的大小以确保所有数据都能存放在内存中提高访问效率，当过小的时候，MySQL会记录Warning信息到数据库的错误日志中，这时就需要该调整这个参数大小，小于2G内存的机器，推荐20M；32G内存以上推荐为100M

• innodb_buffer_pool_instances 缓冲池实例个数

• key_buffer_size MyISAM为索引键设置缓冲区大小，使用时才真正分配，索引缓冲区所有线程共享，增加索引缓冲区可以得到更好处理的索引，由于数据是依赖存储操作系统缓存的，所以要为操作系统预留更大的内存空间

  即使开发使用的表全部是Innodb表，也要为MyISAM预留内存，因为MySQL系统使用的表仍然是MyISAM表

  通过 show global status like 'key_read%'查看key_buffer_size的使用情况

  未命中缓存的概率 key_cache_miss_rate = Key_reads / Key_read_requests * 100%，该值在0.1%以下都很好，如果在0.01%以下，则可适当减少key_buffer_size

MySQL数据存储

Innodb存储引擎的数据存储，可以使用两种方式进行存储：系统表空间和独立表空间

1
2
3

-- ON表示使用的是独立表空间
-- OFF表示使用的是系统表空间
show variables like '%innodb_file_per_table%'

系统表空间(共享表空间)

在MySQL5.5之前默认使用的是系统表空间，系统表空间是指每一个数据库所有的表数据，索引文件全部放在一个文件中，文件名为ibdataX(X代表第几个文件，从1开始)，默认初始化是12M

1
2
3
4
5

show variables like 'innodb_data%';

Variable_name              Value
innodb_data_file_path    ibdata1:12M:autoextend
innodb_data_home_dir    

autoextend表示自动扩展，当文件存储满时会自动进行扩展，默认增量是64M

1
2
3
4

show variables like 'innodb_autoextend_increment';

Variable_name                  Value
innodb_autoextend_increment    64

对象的引用

对象的引用分为了四个级别，从高到低为强引用、软引用、弱引用和虚引用

引用类型都是java.lang.ref.Reference类的子类

获取bean

在进行获取bean的时候使用getBean方法来进行获取，那么就从getBean来作为入口，看一下获取bean的流程

1
2
3

ApplicationContext context = new ClassPathXmlApplicationContext("spring-config.xml");
Car car = (Car) context.getBean("car");
System.out.println(car);

spark streaming容错

为了spark streaming可以有强大的容错保障，必须设置检查点，检查点机制主要有两个目的

• 控制发生失败时需要重算的状态数
• 提供驱动器程序容错

驱动器程序容错