小菜鸟

网络模型

网络模型现在三种分类方式，一种为TCP/IP四层模型，一种为五层协议，一种是OSI/RM七层模型

TCP/IP四层模型

该模型本身没有多大的用处，但该协议已经广为流传

从下到上为

• 网络接口层：包括操作系统中的设备驱动程序、计算机中对应的网络接口卡

• 网络层：为主机提供数据传输服务，处理分组在网络中的活动，比如分组的选路。负责IP寻址，分割和组装数据包，路由选择等。把传输层传递下来的报文进行 IP 地址（例 192.168.0.1)的封装与解封装，进行分组传输和路由选择。在这一层工作的设备是路由器。(网络协议有IP/ARP/ICMP)

  路由器是负责组建广域网的，研究的是IP地址

• 传输层：为进程提供通用数据传输服务，通用的传输层协议可以支撑不断增多的应用层协议。主要是将从下层接收的数据进行分段进行传输，到达目的地址后再进行重组。通常把这一层的数据叫做段。(协议有TCP/UDP。TCP（传输控制协议，传输效率低，可靠性强，用于传输可靠性要求高，数据量大的数据），UDP（用户数据报协议，与 TCP 特性恰恰相反，用于传输可靠性要求不高，数据量小的数据，如 QQ 聊天数据就是通过这种方式传输的）)

• 应用层：终端的应用，负责处理特定的应用程序细节(网络协议有HTTP/FTP/SMTP/Telnet)

使用注解方式

有些人习惯于用映射文件xml方式配置，有些人习惯于使用注解的方式来编写映射语句，这里来说明一下注解的使用方式

@Insert注解

用于定义insert语句，作用等同于xml配置中<insert>标签

1
2
3

@Insert("insert  into classes (name) values (#{name})")
@Options(useGeneratedKeys = true,keyProperty = "id") // 使用@Options来设置主键自增
int insertClasses(Classes classes);

函数

hive中有很多内置函数可以使用

查看内置函数

1

show functions;

查看函数的用法及作用

1
2
3

desc function floor_day;
-- 模糊查询
desc funtion like '*floor*';

查看函数的详细用法

1

desc function extended floor_day;

分区信息无法查到的问题

在hive上创建了分区表，但是有些数据是在hdfs上创建的文件夹，然后将数据直接传到hdfs该文件夹下，导致hive上查询不到该文件夹所对应的分区信息，这个问题是因为数据从hive上传的话在元数据中存储有分区信息，但是hdfs直接上传的话在hive的元数据中并不会记录，就会导致查不到这部分数据

分区表

由于hive作为数据仓库来说，存放的数据量特别大，而在进行数据分析的时候，其实并不需要分析这么大的数据，为了避免全表扫描，hive提供了分区表，分区表其实就是分为不同的文件夹，把一个大的业务表根据业务将数据集进行切分，这样在进行数据查询的时候指定分区进行查询，效率会提高很多倍

之前在说创建表语句时，创建表语法中有一个创建分区表的关键字PARTITIONED BY，可以根据该语法来进行创建分区表