scala函数
在scala中,方法和函数几乎可以等同(定义、使用、运行机制都一样的),只是函数的使用方式更加的灵活多样,函数像变量一样,既可以作为函数的参数使用,也可以将函数赋值给一个变量,函数的创建不用依赖于类或者对象,而在Java当中,函数的创建则要依赖于类、抽象类或者接口
允许在HDFS的文件中追加内容
hdfs-site.xml、hbase-site.xml
1 | <!-- 开启HDFS追加同步,可以优秀的配合HBase的数据同步和持久化。默认值为true。 --> |
优化DataNode允许的最大文件打开数
hdfs-site.xml
1 | <!-- HBase一般都会同一时间操作大量的文件,根据集群的数量和规模以及数据动作,设置为4096或者更高。默认值:4096 --> |
为了提升性能,写完数据之后由于数据是写在内存的,需要将内存中的数据flush到硬盘
数据flush的过程如下
为了减少小文件数量,会进行小文件的合并操作
数据合并过程如下
大家都知道SimpleDateFormat是线程不安全的
1 | protected Calendar calendar; |
SimpleDateFormat中的calendar是成员变量,同实例多个线程下会共享该calendar对象
而在进行格式化的时候可能会由于第一个线程还没有格式化完成,而第二个线程已经将时间修改了的情况
1 | private StringBuffer format(Date date, StringBuffer toAppendTo, |