大家好,今天为大家开一个新的系列文章,就是热度一直非常高的时序数据库系列。随着万物互联的发展时序数据库展现出越来越重要的地位。下面,就随着时序数据库系列文章一起,探究时序数据的存储与治理。
系列文章链接:
时序数据库系列(一)初识时序数据
时序数据库系列(二)时序数据库详解
时序数据库系列(三)时序数据库相关技术点、LSM-Tree数据架构、Delta压缩算法
时序数据库系列(四)Timelyre应对时序数据游刃有余
时序数据库系列(五)时序数据案例集
时序数据介绍
背景
近些年来得益于传感器技术、无线网络技术、云计算和人工智能技术的蓬勃发展,物联网的基础设施日益完善,并应用到了新能源、智能家居、车联网、智慧工业等多元化领域中。由此,实现了“人与物”、“物与物”之间的互联。在物联网中存在有大量数据收集所使用的传感器,传感器实时采集设备状态、事件、消息等信息。
针对这些数据,通常采集间隔较短,并需要根据一段时间采集数量进行设备相关数据的额趋势分析。由于其独特的带有时间信息,有别与传统的关系型数据,因此需要设计出一款新的数据存储系统,专门针对此类数据进行存储和分析。接下来的时序数据库系列文章将详细为大家讲解时序数据、时序数据库、时序数据库适用场景、时序数据案例分析等等。
时序数据的全称为时间序列数据。那么什么是时间序列(Time Series,以下简称时序)数据呢?按术语定义解释,就是一串按时间维度索引的数据。更通俗地解释,就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。其中可以看出,时序数据包含三个重要的部分,即主体、时间点和测量值。
实际上,时序数据在生活中极为常见,例如:
在这个世界上存在的每个物体,每时每刻都在产生着数据,并且随着物联网、车联网、工业互联网的发展,时序数据的生产量急剧膨胀。对这些数据的挖掘和利用,正在默默的改变人们的生活方式。例如,可穿戴设备通过不断采集个人健康数据包,括心跳、体温等等,并应用模型计算来评估人体的健康度。
时序数据有何特点?
1. 数据以时间序列排序,带有时间戳。时序数据是基于时间的一系列事件数据,物联网中的设备按照一定的周期或外部事件的触发,源源不断的记录以时间为刻度的数据,时间对于数据的技术计算和分析非常重要。
2. 结构化数据。物联网产生的数据通常为结构化的数值型数据,例如,工业生产环境中的电压测量仪,采集的数据为电压值,可使用4字节的标准浮点数来表示。
3. 数据极少更新操作。物联网设备采集的数据是机器日志,几乎不会进行修改或删除操作。这一点有别于关系型数据库,需要经常对已存在的数据进行更新操作。
4. 数据源唯一。在物联网中,不同采集器所记录的数据是相互独立的,一台设备的数据是由一台设备产生,数据源是唯一的。
5. 写多读少。区别去传统数据库一次写,多次读的形式。物联网产生的数据是大量的写入,通过计算、分析程序自动读,而且计算、分析次数不多。当分析特殊事件或场景时,才会查看原始数据。
6. 关注趋势。在物联网中,某一数据点的变化对分析结果影响不大,一般是呈现渐变式。更关注于某一时间段内的数值趋势变化。
7. 数据平稳,可预测。物联网中设备的数量以及采集的数据频率是固定的,由此可以预测输出所需要的带宽、流量以及每天所产生的新数据大小。
8. 基于一段时间或一组设备查询分析。在对物联网中的时序数据做分析是,通常会基于一段时间内的数据做出趋势分析,并非某一时间点数据或整个历史数据。同样,可以根据其他维度进行分析,例如某一地区的数据,某一型号设备的数据,某一厂商的数据。
9. 数据处理特殊。若检查某一数据点的数据值,可能遇到该时间点并未进行数据采集,其中需要用到复杂的函数计算。
10. 数据保留期限。采集数据一般有基于时长的保留政策,按不同阶段进行数据保留,系统可自动删除数据,在节省存储空间的同时,满足历史查询需求。
11. 数据量巨大。物联网中的设备数量多,带来的测点多信息量大。常规的实时监测系统均有成千上万的监测点,监测点每秒钟都产生数据,每天产生数以亿计的数据量。
12. 实时分析。区别去离线分析,物联网要求数据库的实时分析能力,可以通过计算的结果及时的做出警告或调整,避免事故的发生。
13. 线性增加。时序数据的数据量会随时间的推移而持续而持续呈线性增加。关系型数据通常不随着时间的推移持续增加,在一段时间内是相对稳定的。
时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线,往过去看可以做成多纬度报表,揭示其趋势性、规律性、异常性;往未来看可以做大数据分析,机器学习,实现预测和预警。基于快速增长的时序数据应用需求以及区别于传统关系型数据的特征,时序数据库应运而生。接下来,在下一篇章中,将介绍时序数据的概念、特点及应用场景。
大家好,今天为大家开一个新的系列文章,就是热度一直非常高的时序数据库系列。随着万物互联的发展时序数据库展现出越来越重要的地位。下面,就随着时序数据库系列文章一起,探究时序数据的存储与治理。
系列文章链接:
时序数据库系列(一)初识时序数据
时序数据库系列(二)时序数据库详解
时序数据库系列(三)时序数据库相关技术点、LSM-Tree数据架构、Delta压缩算法
时序数据库系列(四)Timelyre应对时序数据游刃有余
时序数据库系列(五)时序数据案例集
时序数据介绍
背景
近些年来得益于传感器技术、无线网络技术、云计算和人工智能技术的蓬勃发展,物联网的基础设施日益完善,并应用到了新能源、智能家居、车联网、智慧工业等多元化领域中。由此,实现了“人与物”、“物与物”之间的互联。在物联网中存在有大量数据收集所使用的传感器,传感器实时采集设备状态、事件、消息等信息。
针对这些数据,通常采集间隔较短,并需要根据一段时间采集数量进行设备相关数据的额趋势分析。由于其独特的带有时间信息,有别与传统的关系型数据,因此需要设计出一款新的数据存储系统,专门针对此类数据进行存储和分析。接下来的时序数据库系列文章将详细为大家讲解时序数据、时序数据库、时序数据库适用场景、时序数据案例分析等等。
时序数据的全称为时间序列数据。那么什么是时间序列(Time Series,以下简称时序)数据呢?按术语定义解释,就是一串按时间维度索引的数据。更通俗地解释,就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。其中可以看出,时序数据包含三个重要的部分,即主体、时间点和测量值。
实际上,时序数据在生活中极为常见,例如:
在这个世界上存在的每个物体,每时每刻都在产生着数据,并且随着物联网、车联网、工业互联网的发展,时序数据的生产量急剧膨胀。对这些数据的挖掘和利用,正在默默的改变人们的生活方式。例如,可穿戴设备通过不断采集个人健康数据包,括心跳、体温等等,并应用模型计算来评估人体的健康度。
时序数据有何特点?
1. 数据以时间序列排序,带有时间戳。时序数据是基于时间的一系列事件数据,物联网中的设备按照一定的周期或外部事件的触发,源源不断的记录以时间为刻度的数据,时间对于数据的技术计算和分析非常重要。
2. 结构化数据。物联网产生的数据通常为结构化的数值型数据,例如,工业生产环境中的电压测量仪,采集的数据为电压值,可使用4字节的标准浮点数来表示。
3. 数据极少更新操作。物联网设备采集的数据是机器日志,几乎不会进行修改或删除操作。这一点有别于关系型数据库,需要经常对已存在的数据进行更新操作。
4. 数据源唯一。在物联网中,不同采集器所记录的数据是相互独立的,一台设备的数据是由一台设备产生,数据源是唯一的。
5. 写多读少。区别去传统数据库一次写,多次读的形式。物联网产生的数据是大量的写入,通过计算、分析程序自动读,而且计算、分析次数不多。当分析特殊事件或场景时,才会查看原始数据。
6. 关注趋势。在物联网中,某一数据点的变化对分析结果影响不大,一般是呈现渐变式。更关注于某一时间段内的数值趋势变化。
7. 数据平稳,可预测。物联网中设备的数量以及采集的数据频率是固定的,由此可以预测输出所需要的带宽、流量以及每天所产生的新数据大小。
8. 基于一段时间或一组设备查询分析。在对物联网中的时序数据做分析是,通常会基于一段时间内的数据做出趋势分析,并非某一时间点数据或整个历史数据。同样,可以根据其他维度进行分析,例如某一地区的数据,某一型号设备的数据,某一厂商的数据。
9. 数据处理特殊。若检查某一数据点的数据值,可能遇到该时间点并未进行数据采集,其中需要用到复杂的函数计算。
10. 数据保留期限。采集数据一般有基于时长的保留政策,按不同阶段进行数据保留,系统可自动删除数据,在节省存储空间的同时,满足历史查询需求。
11. 数据量巨大。物联网中的设备数量多,带来的测点多信息量大。常规的实时监测系统均有成千上万的监测点,监测点每秒钟都产生数据,每天产生数以亿计的数据量。
12. 实时分析。区别去离线分析,物联网要求数据库的实时分析能力,可以通过计算的结果及时的做出警告或调整,避免事故的发生。
13. 线性增加。时序数据的数据量会随时间的推移而持续而持续呈线性增加。关系型数据通常不随着时间的推移持续增加,在一段时间内是相对稳定的。
时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线,往过去看可以做成多纬度报表,揭示其趋势性、规律性、异常性;往未来看可以做大数据分析,机器学习,实现预测和预警。基于快速增长的时序数据应用需求以及区别于传统关系型数据的特征,时序数据库应运而生。接下来,在下一篇章中,将介绍时序数据的概念、特点及应用场景。