日志聚集
日志聚集功能默认是关闭的,需要在yarn-site.xml中配置
1 | <!-- 开启日志聚集 默认false --> |
该配置对于ResourceManager 和 NodeManager生效,所以这两个需要重启(即yarn重启)
日志聚集功能默认是关闭的,需要在yarn-site.xml中配置
1 | <!-- 开启日志聚集 默认false --> |
该配置对于ResourceManager 和 NodeManager生效,所以这两个需要重启(即yarn重启)
由于性能问题,将文件存储格式从text改为了Parquet,那么hadoop如何读取Parquet文件呢?
先添加一下parquet依赖
1 | <!--添加Parquet依赖--> |