一、FFmpeg简介

FFmpeg是什么

学习音视频开发，FFmpeg是一座绕不开的大山。一句话描述FFmpeg是啥？

FFmpeg是一个开源软件，可以运行音频和视频多种格式的录影、转换、流功能。用官网的话说，A complete, cross-platform solution to record, convert and stream audio and video.

『FFmpeg官网传送门』，目前支持Linux,Mac OS,Windows三个主流的平台，可以直接下载使用。

FFmpeg基本组成

FFmpeg框架有以下几部分组成：

• AVformat：封装模块，对应libavformat库，实现了绝大多数媒体封装格式的封装和解封装。如MP4、FLV、TS等文件封装格式，以及RTMP、RTSP、MMS、HLS等网络协议封装格式。
• AVCodec：编解码模块，对应libavcodec库，实现了大多数常用的编解码格式，如MPEG4、AAC、MJPEG等自带编码格式外，还支持H.264（AVC）的x264编码器、H.265（HEVC）的x265编码器，MP3的libmp3lame编码器等第三方的编解码器。
• AVFilter，滤镜模块，对应libavfilter库，提供了一个通用的音视频字幕等滤镜处理框架。
• AVDevice、AVUtil、swscale、swresample等其他模块

从提供的工具来看，有以下3个：

• ffmpeg：『传送门』 编解码（转码）工具，对应ffmpeg命令。
• ffplay：『传送门』 播放器，对应ffplay命令。
• ffprobe：『传送门』 多媒体内容分析器，对应ffprobe命令。

SDL（Simple DirectMedia Layer）

SDL是一套开放源代码的跨平台多媒体开发库，使用C语言写成。可封装了复杂的视音频底层操作，简化了视音频处理的难度。

二、FFmpeg安装

当然也可以自己编译到Android或者iOS平台。

Mac安装

有之前有安装过，版本或模块有问题，可先brew uninstall卸载。然后使用brew安装即可。

1

$ brew install ffmpeg --with-libvpx --with-libvorbis --with-ffplay

Linux 安装

详细资料可参考官方文档，『文档传送门』

一、音频

声音的物理特性

声音的物理性质是波，由物体振动而产生，可引起空气等介质有节奏的振动并传播。

声音的传播介质：在空气中为340m/s，蒸馏水中为1497m/s，铁棒中为5200m/s，真空无法传播。

当两种声音传到耳朵的时差小于80ms，则无法区分开两种声音。如果大于80ms会出现回声。

共鸣证明了声音传播可以带动另一个物体的振动，因此声音的传播也是能量的传播。

声音三要素：

• 频率（音阶）：频率越高波长越短，因此低频声响波长较长，能更容易绕过障碍物，声音传的越远。
• 振幅（响度）：是能量大小的反应，常用分贝（dB）描述。N=10*lg(A1/A0)。A0是基准量，A1是被量度量。
• 波形（音色）：音色为波的形状，比如钢琴和小提琴的介质不同，因此产生的波形不同。

根据上方的等响曲线，人类耳朵的听力范围是20Hz-20kHz，对3-4kHz的声音更敏感。频率范围较宽的音乐，其声压以80～90dB为最佳，超过90dB将会损害人耳。

数字音频

数字音频经过采样、量化、编码3个步骤。

• 采样：奈奎斯特定理（采样定理），按声音最高频率的2倍以上的频率对声音进行采集（AD转换），所以采样频率一般为44.1kHz（1s会采样44100次）。
• 量化：在幅度轴上对信号进行数字化，使用16比特（一个short）表示的范围是[-32768,32767]。
• 编码：涉及到存储的格式，音频的裸数据格式为PCM（Pulse Code Modulation）数据，包括量化格式、采样率和声道数。

以CD为例，量化格式为16比特，采样率为44.1kHz，声道数为2，则CD格式的比特率为：44100162=1411200bps =1378.125kbps。
则一分钟的CD音质的数据，占用的空间大小为：1378.125*60/8/1024=10.09MB。

麦克风如果采集声音？声音纵波通过麦克风里的一层碳膜，碳膜收到挤压发出振动，接触到下方的电极，根据接触时间的长短和频率，完成声音信号和电信号的转换。

音频编码

为了保证音频在网络中实时在线传播，PCM数据量太大，因此需要进行压缩编码。

压缩算法分为有损压缩和无损压缩。包括PCM、WAV、AAC、MP3、Ogg等。原理是压缩掉冗余信号，即不能被人耳感知到的信号。

• WAV：在PCM基础上添加44字节的PCM采样率、声道数、数据格式等信息。无损压缩。适用于音乐音效素材。
• MP3：有损，有不错的压缩比，使用LAME编码的中高码率MP3文件，听感上非常接近WAV。适用于高比特率下对兼容性有要求的音乐欣赏。
• AAC：新一代有损压缩技术，有LC-AAC、HE-AAC、HE-AAC v2等编码格式，在128kbps以下的码率表现优异，多用于视频中的音频编码。
• Ogg：免费，各种码率下都有优秀表现，尤其中低码率，有潜力，但目前兼容性不好。适用于语音聊天的音频消息场景。

二、图像

图像的物理现象

三棱镜的太阳光分解实验，红绿蓝三种色光无法被分解，成为三原色。

屏幕1280*720，如果需要显示图像，则需要把这幅图像的每一个像素点的RGB通道分别对应到屏幕位置的子像素点进行绘制。

图像的数值表示

图像的数值表示有两种，RGB表示和YUV表示。

• RGB表示方式：0-255，8个比特代表一个子像素，32个比特表示一个像素（每个像素有3个子像素组成）。对于1280720分辨率的图片来说，大小为：
  1280720*4=3.516MB。即是位图（bitmap）的裸数据。裸数据由于太大，不好直接在网络传输，因此有个图像的压缩格式，如JPEG。
• YUV表示方式：对于视频帧的裸数据，更多的是YUV数据格式。YUV是为了解决黑白电视机能够接收彩色电视信号而产生，将亮度Y和色彩UV进行分离。较RGB视频信号传输相比，不用3个独立的视频信号同时传输，优点在于只需要占用极少的频宽。Y代表明亮度（也称灰阶值），U和V表示的是色度（描述影像的色调Cr和饱和度Cb）。

YUV与RGB转换，可通过矩阵进行转换，目前标清和高清视频的转换矩阵标准不一样。

YUV

在音视频领域，主要使用YUV表示。因此需要重点了解。

YUV格式有以下两种：

• 紧缩格式：Y、U、V一般各采用8个字节，先存储所有像素的Y，再U，再V。
• 平面格式：每个像素的YUV联系交替存储，最常用的采样格式是4：2：0。

YUV 4:4:4采样，每一个Y对应一组UV分量。
YUV 4:2:2采样，每两个Y共用一组UV分量。
YUV 4:2:0采样，每四个Y共用一组UV分量。即水平方向和垂直方向的抽样率都是4：1。

对于非压缩的8比特量化的视频来说，8*4的一张图片，占用48字节的内存。

对于一帧为1280720的视频帧，用YUV420P的格式来表示，数据量大小为12807201+12807200.5=1.318MB，如果fps为24，则一部90分钟的电影，数据量大小是 1.318MB * 24 fps 90 * 60s=166.8GB。这样的大小，存储和流媒体播放都是大问题。

三、视频

基本概念

1、帧(Frame)

简单的理解帧就是为视频或者动画中的每一张画面，而视频和动画特效就是由无数张画面组合而成，每一张画面都是一帧。

2、帧数(Frames)

帧数其实就是为帧生成数量的简称，可以解释为静止画面的数量。

3、帧率(Frame Rat)

帧率=帧数/时间，单位为帧每秒(f/s, frames per second, fps)

帧率的关键值：

• 10-12 FPS：由于人类眼睛的特殊生理结构，如果所看画面之帧率高于每秒约10至12帧的时候，就会认为是连贯的，此现象称之为视觉暂留。
• 24 FPS：一般电影的拍摄及播放帧数是每秒24帧。
• 60 FPS：这个帧率对人眼识别来说已经具备较高的平滑度。在做页面性能优化时，常用60FPS作为一个基准，所以需要尽量让每一帧的渲染控制在16ms内，这样才能达到一秒60帧的流畅度。
• 85 FPS：人类大脑处理视频的极限，人眼无法分辨更高频率的差异。

4、分辨率

视频、图片的画面大小或尺寸，以像素为单位。

5、码率/比特率

单位时间播放连续的媒体如压缩后的音频或视频的比特数量。常用单位“比特每秒”，缩写是“bit/s”。比特率越高，带宽消耗得越多。

6、编码

编码，就是去除冗余信息，实现数据量的压缩。空间上的冗余和时间上的冗余。

• 帧间编码：可以去除时间上的冗余信息。包括：运动补偿、运动表示、运动估计。
• 帧内编码：可以去除空间上的冗余信息。对标图像的JPEG，ISO制定了视频压缩标准MPEG，目前版本到MPEG 4 AVC。LTU-T指定了H.261到H.265等一系列体系，其中H.264使用多种压缩技术，应用也最为广泛。

H.264编码相关

1、IPB帧

• I帧（intra picture）：帧内编码帧，可理解为关键帧，通常是每个GOP的第一个帧，可以当成静态图像，I帧压缩可以得到6：1压缩比而不会觉察到模糊。
• P帧（predictive-frame）：前向预测编码帧，解码时需要参考前一个已编码帧（P帧或I帧）的信息。
• B帧（bi-directional）：双向预测内插编码帧，解码时需要参考前一个已编码帧（P帧或I帧）以及后面一个P帧。

2、PTS和DTS

• DTS(Decoding Time Stamp)，用于视频的解码，也就是解码顺序的时间戳。
• PTS(Presentation Time Stamp)，用于解码阶段进行视频的同步和输出。

在没有B帧的情况下，DTS和PTS的输出顺序是一样的，一旦存在B帧，B帧会打断解码和显示的顺序，导致PTS和DTS则会不同。

解码顺序：I帧-> P帧-> B帧

3、IDR帧（instantaneous decoding refresh picture）

H.264采用多帧预测，需要参考前面多个I帧，IDR帧是一种特殊的I帧，即这帧之后的所有帧只会参考到这个IDR帧，不会再参考前面的帧。解码器一旦收到IDR帧，就会立即清理参考帧缓冲区。

4、GOP（Group Of Picture）

采用的压缩方式是分组，即关键帧的周期。两个IDR帧之间的距离就是gop_size。过大会影响seek响应速度，过小会导致压缩效果不好。字节大小：I帧> P帧> B帧。多使用B帧（I压缩率1/7，P是1/20，B可以达到1/50），能节省大量空间，用来更多的保存I帧，便能在相同码率下提供更好的画质。

一、Docker简介

Docker和集装箱

集装箱，港口运输业最伟大的发明。Docker，聪明的技术人员从传统的运输行业找到了答案。

Docker是一个开源的容器引擎，将应用程序和基础设施层隔离，实现Build，Ship，and Run Any App，Anywhere，即任何应用都可以构建、发布、运行于任何环境。看看Docker的icon就明白了。基本使用Golang进行开发。

下载安装

分为企业版EE和社区版CE，版本采用YY.MM形式控制。使用命令docker version验证安装版本。

• Mac版，去『Docker官网』运行docker for mac安装。
• CentOS，要求CentOS 7以上，可使用yum或脚本安装。
• Ubuntu，要求版本和平台，较为复杂，使用APT或脚本安装。
• Windows，Docker for Windows需要64位Win 10 Pro，必须开启Hyper-V。默认安装到C盘，可到安装目录，通过mklink /j docker “D:\docker”链接，然后移动到其他盘。Win10尽量使用WSL 2，以取代Hyper-V。『Win10 WSL2升级』

Docker优点

Docker使用的基础技术，Linux的命名空间Namespace、控制组Control Group、分层文件系统、网络虚拟化等在Docker之前就存在很多年，但容器一直没有得到关注的原因，在于易用性，docker通过简单的指令或接口来维护容器，降低部署难度，提升维护效率。它提供一种统一的实践方法（维护一个Dockerfile文件或Compose的方式），供开发和运维团队来透明和合作，降低沟通和部署成本。

• 快速上手新技术，不纠结于环境搭建的学习成本。
• 容器化的代码仓库，所有常用代码都可以以容器化的方式保存，并可以调出随时运行。
• 面向业务编程，使得软件工程师更加专注于业务需求，快速启用新技能。
• 使用Docker Hub发布开源项目。

容器化开发模式

工作流程比较

开发、测试、运维协同

容器与云服务

目前AWS、Google、Azure、Docker官方、腾讯、阿里、华为、UCloud等都推出了公有云的容器服务，来支撑企业级IT架构的云化与容器化、微服务化。

有些甚至还推出了容器云服务（Container as a Service，CaaS）。按需提供容器化环境和应用服务，让开发和运维团队相互协作，构建和部署应用。从而使得容器成为生产主流。主要有网易蜂巢、时速云、Daocloud、数人云等。提供容器调度、服务发现、网络配置、安全配置、负载、数据持久、容错与高可用性等需求。

容器与生产环境

Docker还是个IT生产环境和基础设施的新成员，目前容器还存在一些分支和分歧，成立OCI（Open Container Initiative）组织来建立通用容器技术标准。传统数据库或有状态应用、网络吞吐性能高要求的应用还不适合容器化。因此需要考虑：

• Docker出现不可控风险后的备选方案
• Docker怎么做资源的限制
• Docker对容器安全管理是否完善
• 内部私有仓库、镜像的管理是否解决

但是，有一句话还得送给大家，容器技术非常热门，未来将成为主流，那么你就应该尽快掌握。

二、Docker镜像(Image)

获取镜像

1

$ docker pull NAME[:TAG]

其中，NAME是镜像仓库的名称，TAG是镜像的标签，例如ubuntu:14.04。如不指定TAG，则默认为latest标签，下载最新版本。

默认使用官方注册服务器registry.hub.docker.com/ubuntu:14.04命令，如需从非官方仓库下载，可指定如下：

1

$ docker pull hub.c.163.com/public/ubuntu:14.04

查看镜像信息

1、列出本地主机上已有镜像的基本信息，字段包含归属仓库、镜像标签、镜像ID、创建时间和镜像大小

1

$ docker images

2、使用tag命令添加标签镜像，可为本地镜像添加新的标签，他们都指向同一个镜像文件，只是有别名而已。

1

$ docker tag nginx:latest mynginx:latest

3、使用inspect命令查看详细信息

1

$ docker inspect ubuntu:14.04

4、使用history查看镜像历史

1

$ docker history ubuntu:14.04

一、Maven简介

Maven翻译为“专家”，是Apache下的一款跨平台的开源项目管理工具。主要服务于基于Java平台的项目构建、依赖管理和项目信息管理。

构建工具（Build）

每天除了编写源码，程序员相当一部分时间花在编译、运行单元测试，生产文档，打包和部署等构建工作上。Maven可抽象构建声明周期模型，并标准化构建过程。

依赖管理工具

提供中央仓库，自动下载构建（artifact），Maven可有序的管理依赖，并且管理原本分散在项目各个角落的项目信息。并提供了大把现成的插件。

敏捷开发之极限编程（XP）中，Maven的价值：

• 简单
• 测试驱动开发（TDD）
• 十分钟构建（清理、编译、测试、打包、部署、产品）
• 持续集成（CI）

其他构建工具有Gradle，Make（makefile脚本），Ant（build.xml）。而Maven使用pom.xml，pom作为项目对象模型。

二、Maven概念

坐标

Maven通过groupId、artifactId、version、packaging等元素来构成坐标。

1
2
3
4

<groupId>com.herr</groupId>
<artifactId>spring-jdbc</artifactId>
<version>0.0.1</version>
<packaging>jar</packaging>

依赖

1、配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

<project>
	...
	<dependencies>
		<dependency>
		    <groupId>...</groupId>
		    <artifactId>...</artifactId>
		    <version>...</version>
		    <type>...</type>
		    <scope>...</scope>
		    <optional>...</optional>
		    <exclisions>
				<exclision>
				...
				</exclision>
			</exclisions>
		</dependency>
		...
	</dependencies>
	...
</project>

2、scope依赖范围

classpath有3套，分别是编译classpath、测试classpath、运行classpath。Maven的依赖范围scope对应关系如下：

• compile，默认，三种classpath都有效。
• test，只对于测试classpath有效。比如JUnit。
• provided，对编译和测试classpath有效，如servlet-api。
• runtime，对于测试和运行classpath有效。如JDBC驱动
• system，和provided依赖范围一致，但通过systemPath指定依赖文件路径。

3、传递型依赖

依赖范围影响传递性依赖，可选依赖不被传递。

依赖调解原则：

• 路径最近者优先
• 第一声明者优先

一、ES安装

docker安装

1

$ docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.10.2

镜像地址：https://hub.docker.com/_/elasticsearch，启动后访问http://localhost:9200/

参数调整

1
2
3
4
5
6
7
8
9
10
11

#1、修改/etc/security/limits.conf，最后添加：
soft nofile 65536
hard nofile 131072
soft nproc 2048
hard nproc 4096
soft memlock unlimited
hard memlock unlimited

#2、修改/etc/sysctl.conf，最后添加：
vm.max_map_count = 262144
$ sysctl -p

二、ES使用

基本信息查询

健康信息查询：GET /_cat/health?v
节点信息查询：GET /_cat/nodes?v
分片信息查询：GET /_cat/indices?v

索引操作（可以认为是数据库）

添加索引：PUT /INDEX_NAME?pretty
查看索引：GET /_cat/indices?v
删除索引：DELETE /INDEX_NAME?pretty

文档操作（行操作）

添加文档（指定id=1），也可用于覆盖。doc为type（可认为是数据表），可自定义。

1
2
3
4

PUT /INDEX_NAME/doc/1?pretty
{
  "name": "iherr"
}

添加文档（不指定id）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

POST /INDEX_NAME/doc?pretty
{
  "name": "iherr"
}
# 返回结果中_id为随机返回的id
{
  "_index": "iherr",
  "_type": "doc",
  "_id": "N6e6VG8Bq8d_C4rwMnJR",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 3,
  "_primary_term": 1
}

修改文档

1
2
3
4
5
6
7
8
9

POST /INDEX_NAME/doc/1/_update?pretty
{
  "doc": { "age": 18 }
}

POST /INDEX_NAME/doc/1/_update?pretty
{
  "script" : "ctx._source.age += 5"
}

删除文档：

1

DELETE /INDEX_NAME/doc/2?pretty

批处理

使用_bulk的API。

1
2
3
4
5
6
7
8
9
10

POST /INDEX_NAME/doc/_bulk?pretty
{"index":{"_id":"1"}}
{"name": "iherr1" }
{"index":{"_id":"2"}}
{"name": "iherr2" }

POST /INDEX_NAME/doc/_bulk?pretty
{"update":{"_id":"1"}}
{"doc": { "name": "iherr" } }
{"delete":{"_id":"2"}}

搜索

ES搜索的DSL，推荐使用GET+ 请求Body方式，符合规范但少见，一般我个人喜欢用POST方法代替。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

# 默认查询
POST /bank/_search

# 按account_number字段正序排列
POST /bank/_search?q=*&sort=account_number:asc&pretty

# 按account_number字段正序排列，分页查询from和size，并只取account_number和balance这2个字段数据
POST /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"],
  "sort": [
    { "account_number": "asc" }
  ],
  "from":10,
  "size":2
}

# 查询account_number为20的数据
POST /bank/_search
{
  "query": { "match": { "account_number": 20 } }
}

# 查询address包含mill的数据
POST /bank/_search
{
  "query": { "match": { "address": "mill" } }
}

# 查询address包含mill或者lane的数据
POST /bank/_search
{
  "query": { "match": { "address": "mill lane" } }
}

# 查询address包含"mill lane"整体字段的数据
POST /bank/_search
{
  "query": { "match_phrase": { "address": "mill lane" } }
}

bool query示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71

# 交集 
POST /bank/_search
{
 "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

# 并集 
POST /bank/_search
{
 "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

# neither "mill" nor "lane"
POST /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

# 40岁且不在ID州的
POST /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

# 使用filter，balance在20000-30000之间
POST /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

三、java的demo

pom.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.2.1.RELEASE</version>
    <relativePath/>
</parent>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
</dependencies>

properties文件

1
2
3

spring.elasticsearch.rest.uris= http://127.0.0.1:9200
#spring.elasticsearch.rest.username=elastic
#spring.elasticsearch.rest.password=123456

Person.java

1
2
3
4
5
6
7
8
9
10
11
12
13
14

@Data
@NoArgsConstructor
@AllArgsConstructor
@Accessors(chain = true)
@Document(indexName = "doc",type = "person")
public class Person {

    @Id
    private String id;

    @Field(type = FieldType.Text)
    private String name;
}

PersonRepository.java

1
2

public interface PersonRepository extends ElasticsearchRepository<Person,String> {
}

PersonController.java

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

@RestController
@Slf4j
public class PersonController {
    @Autowired
    PersonRepository personRepository;

    @GetMapping(value = "/test1")
    public String test1(String id){
        personRepository.save(new Person(id,"测试"+id));
        return "add success";
    }

    @GetMapping(value="test2")
    public String test2(String id){
        Optional<Person> resu  = personRepository.findById(id);
        Person person = resu.get();
        log.info(person.getName());
        return person.getName();
    }

    @GetMapping(value = "/test3")
    public List<Person> test3(){
        Iterable<Person> result = personRepository.findAll();
        Iterator<Person> resu = result.iterator();
        List<Person> list = new ArrayList<>();
        while (resu.hasNext()){
            list.add(resu.next());
        }
        return list;
    }

    @GetMapping(value = "/test4")
    public void test4(String id){
        personRepository.deleteById(id);
    }

    @GetMapping(value = "/test5")
    public void test5(){
        personRepository.deleteAll();
    }
}

测试

也可直接访问网址查看：http://localhost:9200/doc/person/_search

四、ELK

https://hub.docker.com/r/sebp/elk

使用文档 https://hub.docker.com/r/sebp/elk

http://www.dockerchina.cn/?id=64 基于Docker快速搭建ELK、Kafka

https://blog.csdn.net/qq_36236890/article/details/80445651 Spring Cloud ELK+kafka日志分析平台(一) 搭建

https://mp.weixin.qq.com/s/nOpITzYx9upTfSNENP5zug 2021 版本 ElasticSearch 学习手册！

https://www.toutiao.com/i6769823502758314503 搭建ELK容器化，so easy

一、概要

背景

• 文件，是全量IO扫描，放硬盘上，吞吐只有百MB/s，寻址时间ms级别。
• mysql等数据库，通过datapage分治，把索引（B+Tree）放内存，内存中寻址ns级别。当并发大的时候，吞吐还是受硬盘影响。
• 同一数据，内存占用的大小会比磁盘小。

那么，能不能把全部数据都放内存里？关系数据库可以做到，例如SAP HANA，太贵。都放磁盘上，太慢。

上述两个极端，折中，可选用非关系型数据库是redis、memcache。将最频繁使用的部分热点数据放redis，不常用的放mysql。

介绍

• 『Redis』，叫做远程字典服务（REmote DIctionay Server取首字母），是一种开源的NoSQL（非关系型数据库）数据库。由antirez开发，是c语言编写的一款开源的基于内存的数据结构存储器，常用于数据库、缓存和消息中间件。
• Redis结构丰富，提供字符串、散列、列表、集合、有序集合、HyperLogLog、位图、流、坐标等一系列丰富的数据结构。用户可通过流水线、事务、Lua脚本、模块等内置的特性拓展自定义数据结构。
• Redis功能完备，提供自动过期、流水线、事务、数据持久化、发布和订阅（消息中间件）、主从复制、集群高可用（Sentinel和Cluster）等附加功能，可用作分布式锁。
• Redis性能优秀，它将所有数据存储在内存中，读写速度非常快，支持并发10W QPS。并且实现数据结构和特性时选用高效的算法来处理操作并节省内存。
• Redis单进程单线程，是线程安全的，采用IO多路复用机制（EPOLL）。避免了不必要的上下文切换，不用去考虑各种锁的性能消耗。可用来实现并行的串行化。但从6.x开始，开始支持io多线程。
• Redis支持广泛，无论大小公司，或者不同编程语言，都可方便的使用。

安装

免安装运行，访问『Try Redis』](https://try.redis.io/)，可以在线运行大部分操作命令。

Linux安装：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

$ sudo yum install gcc make #安装依赖工具

$ wget http://download.redis.io/releases/redis-5.0.9.tar.gz
$ tar xzvf redis-5.0.9.tar.gz
$ cd redis-5.0.9

# $ sudo yum install git #安装依赖工具
# $ git clone https://github.com/antirez/redis.git #也可以去git里clone
# $ cd redis
$ make #编译Makefile
$ make test #测试，如报错可能需要安装tcl最新版本
$ make PREFIX=/opt/redis5 install # 可不执行，直接进入src目录使用。用于安装到其他目录。
$ cd /src
$ ./redis-server #启动服务器，可指定配置
$ ./redis-server --port 10086 #启动服务器，可指定端口
$ ./redis-server ../redis.conf  #启动服务器，可指定配置文件
$ ./reids-cli # 启动客户端

#追踪redis进程和内核的调用
$ yum install -y strace
$ strace -ff -o ~/tmp/out ./redis-server

常用环境配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

# 配置redis环境变量
$ vi /etc/profile
export REDIS_HOME=/opt/redis5
export PATH=$PATH:$REDIS_HOME/bin
$ . /etc/profile #生效，等价于source /etc/profile
$ redis-cli # 可用

# 开机启动
$ cd utils/
$ ./install_server.sh #如报错systemd，需要修改脚本
Selected config: #设置参数
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /opt/redis5/bin/redis-server
Cli Executable : /opt/redis5/bin/redis-cli
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Installation successful!
$ service redis_6379 status #查看状态
$ service redis_6379 start #启动redis
$ service redis_6379 stop #关闭redis，如设置了密码可能无法关闭，需要更改脚本/etc/init.d/redis_6379，设置密码
$ service redis_6379 restart #重启redis

mac和win10安装，推荐docker。

1
2
3
4
5

$ docker run --name redis -d -p 6379:6379 redis:latest
$ docker run --name redis -d -p 6379:6379 redis:latest -v $PWD/redis.conf:/etc/redis/redis.conf -v /myredis/conf/redis.conf:/usr/local/etc/redis/redis.conf # 映射本地conf文件
$ docker run -it redis /bin/bash
root@960ff74cda00:/data# redis-cli -h 127.0.0.1 -p 6379 -a 123456 # redis-cli为客户端，-p为端口，-h为redis地址，-a为密码
$ auth 123456 #如设置密码可这样校验

mac本地安装

1
2
3

$ brew install redis #brew安装
$ cat /usr/local/etc/redis.conf  #修改配置文件
$ /usr/local/bin/redis-server /usr/local/etc/redis.conf #本地启动redis 

连通测试

redis-cli客户端连通测试：

1
2
3
4
5
6

$ docker exec -it 960f /bin/bash
root@960ff74cda00:/data# redis-cli
127.0.0.1:6379> ping #命令
PONG #命令回复，代表正常
> clear #清屏
> quit #退出

python代码测试使用

1
2
3
4
5
6
7
8
9

# redis-py客户端，安装命令：pip install redis
from redis import Redis

client = Redis() # 如需要自定义配置，client = Redis(host='x.x.x.x',password="xxx",port=6379)

if client.ping() is True:
    print("connecting")
else:
    print("disconnecting")

• 如果使用可视化客户端，推荐官方RedisInsight
• 如果需要监控redis，可使用Grafana

配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71

include /path/to/local.conf #可通过include引用配置
loadmodule /path/to/my_module.so #通过loadmodule自定义模块

#网络监听相关NETWORK
bind 127.0.0.1 -::1 #如需要外部访问，需要注释掉
protected-mode no #关闭保护模式
port 6379 #监听端口
timeout 0 #客户端超时时间，0关闭
tcp-keepalive 300 # 周期性的使用SO_KEEPALIVE检测客户端是否还处于健康状态
requirepass 123456 # 密码设置

# 通用GENERAL
daemonize no #是否以守护进程启动
pidfile /var/run/redis_6379.pid #配置PID文件路径
loglevel notice # 日志级别，默认为notice适量，warning为重要，verbose为较多，debug为大量。
logfile "" # 日志文件路径
databases 16 # 有16个数据库，默认为0

# 持久化SNAPSHOTTING
#save "" #save为空，代表无持久化，单纯用作缓存
save 900 1 #表示900秒内如果至少有1个key 的值变化，则保存
save 300 10 #表示300秒内如果至少有10个key的值变化，则保存
save 60 10000 #表示60秒内如果至少有10000个key的值变化，则保存
stop-writes-on-bgsave-error yes #当启用了RDB且最后一次后台保存数据失败，Redis是否停止接收数据
rdbcompression yes #在存储快照后，我们还可以让redis使用CRC64算法来进行数据校验
dbfilename dump.rdb #设置快照的文件名
dir ./ #设置快照文件的存放路径，当前目录

#赋值REPLICATION，slave都换成了replica
replica-serve-stale-data yes #复制正在进行或中断时，replica仍会响应请求
replica-read-only yes #replica是否为只读Redis
epl-diskless-sync no #主从数据复制是否使用无硬盘复制功能

#安全SECURITY
requirepass 123456 #密码
rename-command FLUSHDB "" #重命名命令-清空数据库
rename-command FLUSHALL "" #重命名命令-清空记录

#客户端CLIENT
maxclients 10000 #设置客户端最大并发连接数，默认无限制

#内存管理MEMORY MANAGEMENT
maxmemory <bytes> #设置Redis的最大内存，如果设置为0表示不作限制。
maxmemory-policy noeviction #当内存使用达到maxmemory设置的最大值时，redis使用的内存清除策略，有以下6种。
# volatile-lru，利用LRU算法移除设置过过期时间的key
# allkeys-lru，利用LRU算法移除任何key 
# volatile-random，移除设置过过期时间的随机key 
# allkeys-random，移除随机key
# volatile-ttl，移除即将过期的key(minor TTL) 
# noeviction，不移除任何key，只是返回一个写错误 ，默认选项
# redis4增加了LRU的策略。LRU（Least Recently Used）是淘汰最长时间没有被使用的key。LFU（Least Frequently Used）是淘汰一段时间内，使用次数最少的key。
maxmemory-samples 5 #随机样本检测

#APPEND ONLY MODE
appendonly no #默认值为no，即使用的是rdb方式持久化。但是redis如果中途宕机，会导致可能有几分钟的数据丢失，根据save来策略决定。
#Append Only File是另一种持久化方式，可以提供更好的持久化特性。Redis会把每次写入的数据在接收后都写入appendonly.aof文件，每次启动时Redis都会先把这个文件的数据读入内存里，先忽略RDB文件。
appendfilename "appendonly.aof" #aof文件名
auto-aof-rewrite-min-size 64mb #设置触发自动AOF文件重写所需的最小AOF文件体积
auto-aof-rewrite-percentage 100 #设置触发自动AOF文件重写所需的文件体积增大比例
# aof-use-rdb-preamble yes # 当appendonly是yes时，且打开了这行，则为RDB-AOF混合持久化模式

#Lua脚本LUA SCRIPTING
lua-time-limit 5000 #lua脚本执行的最大时间，单位为ms

#集群REDIS CLUSTER
cluster-enabled no #集群开关，默认是不开启集群模式。
cluster-config-file nodes-6379.conf #集群配置文件的名称，文件由redis自动更新
cluster-node-timeout 15000 #节点互连超时的阀值，集群节点超时毫秒数
cluster-replica-validity-factor 10 #用来判断slave节点与master断线的时间是否过长
cluster-migration-barrier 1 #master的slave数量大于该值，slave才能迁移到其他孤立master上
cluster-require-full-coverage yes #集群全部的slot有节点负责，集群状态才为ok，才能提供服务

基础命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

> select 1 #根据索引切换到指定的数据库，默认为0，默认有16个库
OK
[1]> #命令行会显示当前数据库index
> move key 1 #把某个key移到库1，如同名会放弃
> swapdb 2 3 #互换数据库2和3，该命令通过指针实现，复杂度O(1)，不会阻塞
> dbsize #当前库大小
(integer) 0
> keys * #列出所有key，当数据较多时慎用。keys user::*代表user::为前缀的键，keys user::?匹配单个字符，keys user::[abc]匹配user::a或user::b或user::c。keys user::[a-c]等价keys user::[abc]
(empty list or set)
> scan 0 #渐进方式迭代数据库中的键，一般用来取代keys操作。开始的游标给0，后续根据返回值进行迭代
1) "11" #代表下次要输入scan 11进行查看。当返回为0代表已进行一次完整迭代
> scan 0 match keys::* count 10 #匹配符、期望数量
#还有hscan myhash 0，sscan myset 0，zscan myzset 0等迭代命令
> set name "herr" #设置key
> type name #key类型，字符串、HyperLogLog和位图都会返回string
string
> randomkey #获取随机key
"name"
> exists name #key是否存在
(integer) 1
> get name #获取key
"herr"
> expire name 100 #设置过期时间s，等同于用ms表示的命令pexpire name 100000，也可使用set命令的ex和px选项set后设置过期时间，将set和expire两步操作一起执行，保证原子性
(integer) 1
> expireat name 1574180000 #时间戳时间到来后自动移除，可用ms表示的pexpireat name 1574180000000
> ttl name #查询过期时间，pttl获取ms数
(integer) 98
> persist name #删除过期时间
(integer) 1
> ttl name # 获取剩余生存时间，无过期时间则为-1。如毫秒计算可使用pttl。在999ms以下，ttl会返回0，而pttl可正常返回毫秒数
(integer) -1
> del name #删除key
(integer) 1
> unlink name #以异步方式移除指定的键，del是同步方式，避免大量元素需要删除造成阻塞
> rename name new #修改键名，如键名存在会覆盖
> renamenx name new #在新键名未占用时修改
> object encoding name #查看字符串的内部编码，有可能是以下3种的一个
"int" / "embstr" / "raw"

一、MySQL架构

MySql安装访问

1、安装后忘记root密码，可使用脚本重置

1
2

wget http://soft.vpser.net/lnmp/ext/reset_mysql_root_password.sh
sh reset_mysql_root_password.sh

2、如无法远程访问，添加权限，检查防火墙

1
2
3

mysql -u root -p
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
FLUSH PRIVILEGES;

3、修改密码

1

update user set password=password("123456") where user="root";

MySql逻辑架构

1、最上层处理连接、授权认证、安全等。

• 连接管理，每个连接都会在服务器进程中拥有一个线程，连接的查询只会在这个线程中执行，该线程只能轮流在某个CPU中运行。
• 安全性，会进行用户名和密码认证，还会验证是否有操作权限，可进行主机信息校验（如ip等）。

2、第二层，MySQL核心服务功能都在这，包括查询解析、分析、优化、缓存以及所有内置喊出，所有跨存储引擎的功能都在这实现：存储过程、触发器、视图等。
MySQL会根据解析查询，创建内部数据结构（解析树），对其进行优化，如重写查询、表的读取数据、选择合适的索引等。用户可请求优化器解释（explain）知晓服务器的优化决策。
针对SELECT语句，在解析查询前会检查查询缓存并直接返回查询缓存中的结果集。

3、第三层包含了存储引擎，负责MySQL中数据的存储和提取。上层通过API于存储引擎进行通信。

二、并发控制（锁机制）

锁的类型

在处理并发请求时，可以通过实现锁系统来解决。锁系统包含共享锁（读锁）和排他锁（写锁），读锁指查询，写锁指增删改。

锁的粒度

在给定的资源上，锁定的数据量越少，则系统的并发程序越高，只要相互之间不发生冲突，另外加锁会消耗资源，因此，针对锁粒度，就是在锁的开销和数据的安全性之间寻求平衡。每种存储引擎都可以实现自己的锁策略和锁粒度。常用的锁粒度有：表锁、行级锁和页锁。

• 表锁是锁定整张表，基本的锁策略，开销也最小。表级锁是不会产生死锁问题的。InnoDB、MyISAM、BDB存储引擎都支持表锁。
• 行级锁可最大程度地支持并发，开销最大，且只在InnoDB和XtraDB等一些存储引擎中得到实现。行级锁定也最容易发生死锁。InnoDB存储引擎支持行级锁。
• 页级锁定是MySQL中比较独特的一种锁定级别，锁定颗粒度介于行级锁定与表级锁之间，所以获取锁定所需要的资源开销以及所能提供的并发处理能力也同样是介于二者之间。也会产生死锁问题。BDB存储引擎支持页级锁定。

一次性封锁与两段锁

• 一次性封锁：在sql语句的开始执行的时候，已经预先知道要涉及到那些数据，然后全部锁住，在执行完毕之后，再全部解锁！（myisam就是采用这样的锁协议）
  两段锁： 是指每个事务的执行可以分为两个阶段：生长阶段（加锁阶段）和衰退阶段（解锁阶段）。

• 加锁阶段：在该阶段可以进行加锁操作。在对任何数据进行读操作之前要申请并获得S锁，在进行写操作之前要申请并获得X锁。加锁不成功，则事务进入等待状态，直到加锁成功才继续执行；

• 解锁阶段：当事务释放了一个封锁以后，事务进入解锁阶段，在该阶段只能进行解锁操作不能再进行加锁操作。

• 两段封锁法：事务开始后就处于加锁阶段，一直到执行ROLLBACK和COMMIT之前都是加锁阶段。ROLLBACK和COMMIT使事务进入解锁阶段，即在ROLLBACK和COMMIT模块中DBMS释放所有封锁。（innodb就是采取这样的锁协议）

• 死锁：为两个或多个事务在同一资源上的相互占用，请求锁定对方占用的资源导致的恶性循环现象。InnoDB目前处理的方法是，将持有最少行级排他锁的事务进行回滚。

隐式锁和显式锁

• 隐式锁：当多个客户端并发访问同一个数据的时候，为了保证数据的一致性，数据库管理系统会自动的为该数据加锁、解锁，这种被称为隐式锁。隐式锁无需开发人员维护（包括锁粒度、加锁时机、解锁时机等）
• 显式锁：当时在某些特殊的情况下需要开发人员手动的进行加锁、解锁，这种锁方式被称为显式锁。对于显式锁而言，开发人员不仅要确定锁的粒度，还需要确定加锁的时机（何时加锁）、解锁的时机（何时解锁）以及所的类型。例如SELECT … FOR UPDATE

三、事务

事务是一组原子性的SQL查询，要么全部执行成功，要么全部执行失败。需要通过ACID测试。

一、数据库介绍

概述

https://db-engines.com/en/ranking

分类

• 关系型数据库(Relational DBMS），Oracle、Mysql、PostgreSQL、Db2、HANA、SQLite
• 键值存储(Key-value stores)，Redis、Memcached、Geode
• 文档存储(Document stores)，MongoDB
• 时序数据库(Time Series DBMS)，InfluxDB
• 图形数据库(Graph DBMS)，Neo4j
• 列存储（Wide column stores），Cassandra、HBase
• 搜索引擎(Search engines)，Elasticsearch、Solr、Splunk

个别的点

• 关系型数据库的范式、约束、冗余
• redis（计算向数据移动）和memcache（数据向计算移动）的比较
• 主从的强一致性、弱一致性、最终一致性
• 写入时复制(Copy-on-write)机制

一、关于幸福的几个问题

• 你幸福嘛？
• 你有哪些对幸福的疑惑，身边有哪些幸福的假象？
• 幸福到底是什么？
• 为什么要追求幸福？
• 怎么追求幸福？

1、常常会问，“你幸福吗？”
那么，我怎样才能判断自己是否幸福？幸福有统一的标准嘛？“我是否幸福”这个问题本身就暗示着对幸福的两极看法：要么幸福，要么不幸福。在这种理解中，幸福成为一个终点，一旦到达，我们对幸福的追求就结束了。实际上这个终点并不存在，这一误解的执着只会导致不满和挫败感。我们永远都可以更幸福，与其问自己是否幸福，不如去探求“怎样才能更幸福？”

2、你有哪些对幸福的疑惑，身边有哪些幸福的假象？

• 所有人都有追求幸福的权利，但大家都有“我过的不是很幸福”的感慨。
• 我们要的不止是自己的幸福，还要比别人幸福。
• 随着物质水平的提高，焦虑症和抑郁症的患病率急剧上升。我们过着以亿万富翁为目标的人生游戏，但财富带给我们的似乎是不幸福。
• 幸福好像很难获取？上帝给了每一个人幸福的机会，人们都知道，却不知如何得到它。之前接触的“成功学”，例如幸福的五大步骤、成功的三大秘密、找到完美爱人的四大法宝，全是空头承诺。
• 成功一定能带来幸福嘛？人往往会被所谓“做到某件事就能幸福”的“幸福神话”所束缚。有没有曾经在实现了一个重要目标之后，却没有感到你期望的喜悦？成就感和喜悦慢慢消失，感到空虚和迷惘，不能带来持久的幸福。这时，你会灰心、绝望，因为没有目标你就失去了对幸福的指望。
• 为了获得幸福必须经历痛苦？周围人生活得并不开心，他们沮丧、压力重重却并不在乎，只是努力的为了追求好成绩、高薪和晋升而奋斗。在追求和达成这些目标的过程中，很少能体会到发自内心的快乐，他们认定要成功就必须以经历痛苦作为代价。
• 幸福的感悟，是不是和遗传特征有关，那还有没有方法变得更幸福？
• 幸福可以去追去，但更重要的是用心去感受、去发现。

二、幸福是什么？

幸福汉堡模型

所谓幸福，即为充满快乐，能感受到人生意义的经验。快乐，代表现在的美好时光，属于当下的利益；意义则来自于目标，一种未来的利益。
以快乐（当下的利益）和意义（未来的利益）为轴心分为4类。先看这4种汉堡模型。

奔波忙碌型

1、一分耕耘，一分收获。

2、观念

• 只有实现一个有价值的目标，才能换取未来的幸福，即使牺牲现在的快乐。
• 成功即是幸福，导致把目标实现后的放松和解脱当成幸福。这种解脱让我们感到快乐，但不等同于幸福。

3、行为

我们习惯了去关注自己的目标，却不在意当下感受，最终导致盲目的追求。

享乐主义型

1、人生得意须尽欢,莫使金樽空对月

2、观念

• 快乐至上，只要不断的享受短暂的快乐，就算没有实现目标，也可以得到幸福。
• 寻找快乐，逃避痛苦。如果吸毒能带来快感，就会去吸毒；如果工作辛苦，就会逃避。将辛苦与痛苦、快感与幸福等同化。
• 没有目的和挑战，盲目地满足欲望，生活变得毫无意义。

虚无主义型

1、极尽繁华,不过一掬细沙

2、观念

• 无论自己做什么都无法得到幸福。
• 做忙碌奔波型的人不快乐，做享乐主义的人不开心，于是空虚、痛苦。

3、行为：

• 放弃追求幸福，不再相信生活的意义。
• 当失败或无助时，选择放弃，感到绝望。

感悟幸福型

1、观念：

• 如何才能享受当下的快乐以及未来的幸福？
• 眼前和未来的收益有时是冲突的，有些情况下会顾此失彼，但多数情况下是可以平衡的。

2、行为
为考试而学习、为未来而攒钱、为实现目标而超时工作，会带来些许不快，但重点是，就算我们必须牺牲一些眼前的快乐，也不要忘记我们仍然可以从生活的方方面面尽可能的发掘幸福。

三、为什么要追求幸福？

1、幸福是生命本身的意图和意义，是人类存在的目标和终点。幸福的人生产性更高，更长寿。而金钱和健康是人生的重要基础。因此，衡量商业成就时，金钱是终极财富；而衡量人生成就的标准，应该是幸福。

2、幸福和成功：成功可以带来幸福，而幸福可以帮助人们在生活的方方面面都非常成功，包括婚姻、友谊、收入、工作和健康。他们之间有着强烈的相互作用。但是幸福不是成功的结果，它比成功先行。

3、幸福和金钱：金钱是实现幸福这个目标的一种手段，而不是以牺牲幸福（目标）来换取金钱（手段）。除了一些极为贫困连基本生活都得不到满足的地区外，幸福和财富的关联性非常低。我们习惯性的先考虑物质，主要是物质容易计算，而感情和意义则难以衡量。除了金钱以外，还有很多能让人幸福的东西。

4、幸福和快乐：情感会产生动机，但光有情感是不够的，如果要幸福，必须体验积极的情感，可能会有情绪的起伏，但会在整体上保持一种积极的人生态度。他经常被积极的情绪推动着，比如欢乐和爱，很少被愤怒这些负面情绪所控制。快乐是常态，而痛苦是小插曲，我们都应该为活着本身而感到由衷的快乐并感恩。期盼无时无刻的快乐只会带来失望和不满，并导致负面情绪的产生。

5、幸福和意义：当想到有意义的生活时，我们经常谈到目标，但有目标或者实现目标并不能保证我们必然感受到生命的意义。好成绩、大房子，这些目标实现后我们可能仍然感到空虚。我们要过真正有意义的生活，目标必须是自发的，而不是为了满足社会标准，或是迎合他人的期望。这种目标感，可被称为使命感，这才是生命的喜悦。

6、幸福与潜力：对自己最有意义的生活时，需要同时考虑如何充分的发挥自身的潜力，真正令人满意的幸福总是伴随着充分发挥自身的才能来改变世界。

7、真正的幸福，推崇以现实为基础的理想主义。它并不代表对不安情绪或生活困难的免疫，幸福的人一样要去面对困难，克服生活里的种种障碍。

8、幸福大萧条，当负面情绪持续时间和强度压倒了正面情绪，情感也会破产，例如抑郁。

那么，怎么追求幸福呢？

四、设定幸福目标

为什么要设定目标？

1、要得到幸福，人生目标是不可或缺的。目标的责任，是“解放我们”，摆脱“我现在在哪”的不安和“我该去哪”的忧虑，才能享受“当下”。
2、目标与成功，有目标的人的成功概率要比没有目标的人大很多，目标向我们传达了一种克服困难的信念。优秀的目标通常会更容易带来成功。如果是将经济或社会上的成功当做目标本身的话，会造成奔波忙碌型的模式。

一、背景

随着苹果发布两种新尺寸的大屏iPhone 6，iOS平台尺寸适配问题终于还是来了，加之原有混乱的android平台尺寸，移动设计全面进入“杂屏”时代。

了解主流手机分辨率
主流手机相关数据，可以参考友盟指数相关报告，由于设备更新换代，建议查找近期的指数报告。

二、相关概念

像素(Pixel)：屏幕的成像单位，像素点的简称。

iOS的几个概念

1、像素密度(ppi)：「Pixels Per Inch」,每英寸的像素点数。
以iphone3gs来计算，

2、point，是指独立于物理设备的逻辑坐标单位（逻辑分辨率），在3GS上，1point=1px。在4上，1point=2px。在6p上，1point=3px。数值也等于与标准ppi（163px/inc）的比例。对于开发者来说，iOS绘制图形的API依然沿袭point。

3、scale，缩放因子，scale=point/pixel，根据scale，图片的倍图对应成@1x,@2x,@3x。

3、pt,磅，需要和point的简称区分开，是国际通行的印刷单位，是绝对长度单位，为1/72英寸，可用于UIFont设置字体大小，和photoshop里的px的换算规则为，1pt=72/96=3/4px。