小菜鸟

java菜鸟号正在起航

0%

发表于 分类于 阅读次数： Valine：
本文字数： 204 阅读时长 ≈ 1 分钟

广告系统的平台架构

广告平台是围绕广告主、媒体、平台三者来进行展开的。

  • 业务平台 执行人员使用，如根据广告主的要求创建广告投放(预算、排期、创意、定向)、向媒体提交创意审核、观察投放数据
  • 数据平台 收集接收、曝光、点击、转化等数据进行数据处理，形成数仓和报表，提供给业务平台和投放平台使用。DMP系统、标签系统也使用该平台的数据
  • 投放平台 广告的投放策略实现
  • 监测平台 广告的执行情况监测，如触发曝光、点击、转化等事件进行监测

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 988 阅读时长 ≈ 1 分钟

log4j2自动删除日志文件

线上的项目每天产生大量的日志文件，而磁盘大小又是有限的，不可能一直把日志文件保留下来，但是每次磁盘报警上去删日志文件也挺麻烦的，log4j2中可以配置日志文件的删除策略。

在DefaultRolloverStrategy中配置Delete，当触发了滚动时，就会执行DefaultRolloverStrategy中配置的各个Action操作，而Delete标签就表示的DeleteAction

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<DefaultRolloverStrategy max="30">
  <!-- basePath表示扫描开始的路径
       maxDepth 表示目录的扫描深度，2表示扫描basePath文件夹及其子文件夹
  -->
    <Delete basePath="${LOG_HOME}" maxDepth="2">
      <!-- IfFileName 指定文件名满足的条件 -->
        <IfFileName glob="*/*.bz2"/>
        <!--!Note: 这里的age必须和filePattern协调, 后者是精确到天,age的单位就是天
        另外, 数字最好>2, 否则可能造成删除的时候, 最近的文件还处于被占用状态,导致删除不成功!-->
        
      <!-- IfLastModified 指定文件修改时间满足的条件 -->
        <IfLastModified age="30d"/>
    </Delete>
    <Delete basePath="${LOG_HOME}" maxDepth="1">
        <!--!Note: 这里的age必须和filePattern协调, 后者是精确到天,age的单位就是天
        另外, 数字最好>2, 否则可能造成删除的时候, 最近的文件还处于被占用状态,导致删除不成功!-->
       
        <IfLastModified age="30d"/>
    </Delete>
</DefaultRolloverStrategy>

发表于 分类于 阅读次数： Valine：
本文字数： 3.9k 阅读时长 ≈ 4 分钟

log4j2日志文件滚动

Appender在log4j2中有很多实现类，如ConsoleAppender(插件名称为Console)、FileAppender(插件名称为File)、RollingFileAppender(插件名称为RollingFile)等，在实际的项目中通常使用的都是RollingFileAppender，也就是日志文件滚动更新的Appender

1
2
3
4
5
6
7
8
9
<RollingFile name="file" fileName="/data/log/app.log"
             filePattern="/data/log/app.log.%d{yyyyMMdd}.%i.bz2">
    <PatternLayout  charset="UTF-8" pattern="[%-5p %d{yyyy-MM-dd HH:mm:ss.SSS}] %l [%m]%n"/>
    <Policies>
        <TimeBasedTriggeringPolicy/>
        <SizeBasedTriggeringPolicy size="1024 MB"/>
    </Policies>
    <DefaultRolloverStrategy max="10"/>
</RollingFile>

其滚动依赖于TriggeringPolicy(触发策略)和RolloverStrategy(滚动更新策略)

TriggeringPolicy

TriggeringPolicy为触发策略，决定了何时触发日志文件的滚动。常见策略有CronTriggeringPolicy、OnStartupTriggeringPolicy、SizeBasedTriggeringPolicy、TimeBasedTriggeringPolicy、CompositeTriggeringPolicy

CronTriggeringPolicy

CronTriggeringPolicy是基于Cron表达式来进行触发的

1
2
<!-- 根据cron来进行触发 -->
<CronTriggeringPolicy schedule="0 0 0 * * ?"/>

代码

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 1.1k 阅读时长 ≈ 1 分钟

nf_conntrack: table full, dropping packet报错

最近项目时不时地连接mysql数据库报错

1
2
3
4
5
{pool-21-thread-1} SQL Error: 0, SQLState: 08S01
{pool-21-thread-1} Communications link failure
 
                       The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server
java.net.UnknownHostException

同样的阿里云数据库，其他的服务器连接都不会报错，而且看云数据库的监控，负载是没有问题的。说明大概率不是云数据库的问题。

而该项目比其他服务器里的项目不同的是，访问量比较高，猜测会不会是外网带宽问题，尝试将mysql连接改成内网，这样走内网，观察两天发现，虽然减少了，但还是存在。

猜想是不是tcp连接太多导致的，后发现/var/log/messages日志中报错nf_conntrack: table full, dropping packet

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 1.9k 阅读时长 ≈ 2 分钟

视频生成缩略图

最近有个需求，视频上传之后在列表和详情页需要展示缩略图

使用ffmpeg

首先引入jar包

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacpp</artifactId>
    <version>1.4.3</version>
</dependency>
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacv</artifactId>
    <version>1.4.3</version>
</dependency>
<dependency>
    <groupId>org.bytedeco.javacpp-presets</groupId>
    <artifactId>ffmpeg-platform</artifactId>
    <version>4.0.2-1.4.3</version>
</dependency>

代码如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
public String getThumbnails(String videoFilePath){
        String path = "/Users/zhanghe/Desktop/pic/";
        String fileName =  videoFilePath.substring(videoFilePath.lastIndexOf("/") + 1, videoFilePath.lastIndexOf("."))+"_thumb.jpg";

        String filePath = StringUtils.join(path, fileName);
        File targetFile = new File(filePath);
        try {
            FFmpegFrameGrabber ff = new FFmpegFrameGrabber(videoFilePath);
            ff.start();
            // 视频总帧数
            int videoLength = ff.getLengthInFrames();

            org.bytedeco.javacv.Frame f  = null;
            int i = 0;
            while (i < videoLength) {
                // 过滤前20帧,因为前20帧可能是全黑的
                // 这里看需求，也可以直接根据帧数取图片
                f = ff.grabFrame();
                if (i > 20 && f.image != null) {
                    break;
                }
                i++;
            }
            int owidth = f.imageWidth;
            int oheight = f.imageHeight;
            // 对截取的帧进行等比例缩放
            int width = 800;
            int height = (int) (((double) width / owidth) * oheight);
            Java2DFrameConverter converter = new Java2DFrameConverter();
            BufferedImage fecthedImage = converter.getBufferedImage(f);
            BufferedImage bi = new BufferedImage(width, height, BufferedImage.TYPE_3BYTE_BGR);
            bi.getGraphics().drawImage(fecthedImage.getScaledInstance(width, height, Image.SCALE_SMOOTH),
                    0, 0, null);
            ImageIO.write(bi, "jpg", targetFile);
            ff.stop();

            System.out.println(targetFile.getPath());
          return targetFile.getPath();
            
        } catch (IOException e) {
            e.printStackTrace();
        }
        return "";
    }