InfluxDB是目前比较主流的时序数据库,而时序数据库则是以时间序列为轴的数据库,与关系型数据库相比它有几个特点:
之所时序数据库要被设计成包含这些特性,是因为它天生就是为特定场景业务而生的;主要针对那些写多读少、大量数据写入需求、按时间维度进行聚合查询的业务场景,比如:数据监控。
数据监控方面细分还是可以分出很多的场景;比如:气象数据、天文数据、人口分布、工资水平、运维资源等等,生活中方方面面的行业都可以使用的到,而在时序数据库之前,人们通常都会使用关系型数据库来代替,但显然需要付出更大的代价才能满足需求。
同样的在测试领域中也是有很多的业务数据,可以使用到时序数据库;比如:产品质量数据,性能压测数据、服务器资源数据等等;所以今天就来介绍下如何安装和简单使用时序数据库。后面再分享如何基于时序数据库展示图表。
安装InfluxDB包需要root或是有管理员权限才可以。
对于Centos用户,可以用下面的命令添加InfluxDB的仓库
cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo
[influxdb]
name = InfluxDB Repository - RHEL \$releasever
baseurl = https://repos.influxdata.com/rhel/\$releasever/\$basearch/stable
enabled = 1
gpgcheck = 1
gpgkey = https://repos.influxdata.com/influxdb.key
EOF
然后安装、运行InfluxDB服务:
sudo yum install influxdb
sudo service influxdb start
如果你的系统可以使用Systemd(比如Ubuntu 15.04+, Debian 8+),也可以这样启动:
sudo yum install influxdb
sudo systemctl start influxdb
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.7-1.x86_64.rpm
rpm -ivh influxdb-1.7.7-1.x86_64.rpm
首先,你可以通过命令influxd config来查看默认配置,而配置文件的路径为:/etc/influxdb/influxdb.conf,想要某个配置项生效则直接取消注释并设置相应值即可。
另外,想要用自定义的配置文件来运行InfluxDB可以有两种方法:
influxd -config /etc/influxdb/influxdb.conf
echo $INFLUXDB_CONFIG_PATH
/etc/influxdb/influxdb.conf
influxd
其中-config的优先级高于环境变量。
安装完成之后,我们再来看看如何访问和使用InfluxDB进行数据操作。默认会提供一个influx命令行工具(原理是发送HTTP请求),它会默认连接本机的InfluxDB服务;当然你也可以通过发送HTTP请求来完成相同的操作。
另外在具体操作之前,我们可以理解下时序数据库与关系型数据库在概念上的差异和对标。具体如下:
关系型数据库 | 时序数据库 |
---|---|
database | database |
table | measurement |
row | point |
index field | tag |
field | field |
primary key | timestamp |
> influx -precision rfc3339
Connected to http://localhost:8086 version 1.2.x
InfluxDB shell 1.2.x
> CREATE DATABASE mydb
> SHOW DATABASES
name: databases
---------------
name
_internal
mydb
> USE mydb
Using database mydb
>
可以看到除了第一条命令跟mysql的稍微有点差异,其它的命令跟mysql的如出一辙,这说明在用户友好型方面也是做了考虑,避免大家重复学习无用的内容。
> INSERT cpu,host=serverA,region=us_west value=0.64
cpu是measurement(table)的名称;host,region是tag(index field)的名称;value是field的名称;整行则是一个point(row)数据;默认这条记录被存储在当前的database下。
> SELECT "host", "region", "value" FROM "cpu"
name: cpu
---------
time host region value
2015-10-21T19:28:07.580664347Z serverA us_west 0.64
这语法跟mysql几乎没有区别,这里主键time是自动生成的,因为插入时没有带。
时序数据库一般只进行CR操作,而UD操作通常很少执行,所以大部分的时候不会涉及到更新和删除语法。
上面介绍的操作都是通过InfluxDB自带的influx命令行工具操作的,而在程序化时我们则可以直接通过其HTTP接口来执行同样的操作,下面就介绍如何通过Python来进行InfluxDB的操作。
import requests
"""
数据库查询相关的HTTP请求内容如下:
curl -i -XPOST http://localhost:8086/query --data-urlencode "q=CREATE DATABASE curl"
curl -i -XPOST http://localhost:8086/query --data-urlencode "q=SHOW DATABASES"
"""
r = requests.post("http://localhost:8086/query", data={"q": "CREATE DATABASE python"})
print(r.text)
r = requests.post("http://localhost:8086/query", data={"q": "SHOW DATABASES"})
print(r.text)
import requests
"""
curl -i -XPOST 'http://localhost:8086/write?db=curl' --data-binary 'cpu_load_short,host=server01,region=us-west value=0.64 1434055562000000000'
"""
r = requests.post("http://localhost:8086/write?db=python", data=b"cpu_load,host=server01,region=us-west value=0.64 1434055562000000000")
print(r.text)
## 从文件读取内容写入
with open('influxdata', 'rb') as f:
r = requests.post("http://localhost:8086/write?db=python",
data=f.read().replace(b'\r', b''))
print(r.text)
如果是批量写入的话,那么point数据必须只能以\n换行。所以上面有替换了\r为空的操作。
import requests
"""
curl -G 'http://localhost:8086/query?pretty=true' --data-urlencode "db=curl" --data-urlencode "q=SELECT \"value\" FROM \"cpu_load_short\" WHERE \"region\"='us-west'"
"""
data = {"db": "python", "q": "SELECT \"value\" FROM \"cpu_load\" WHERE \"region\"='us-west'"}
r = requests.post("http://localhost:8086/query?pretty=true", data=data)
print(r.text)
很显然,像上面这种操作怎么可能没有第三方库呢,所以直接安装第三方库可能是最方便的选择。
pip install influxdb
具体的API使用样例如下:
from influxdb import InfluxDBClient
json_body = [
{
"measurement": "cpu_load",
"tags": {
"host": "server01",
"region": "us-west"
},
"time": "2009-11-10T23:00:00Z",
"fields": {
"value": 0.64
}
}
]
client = InfluxDBClient('localhost', 8086, 'root', 'root', 'influx')
client.create_database('influx')
client.write_points(json_body)
result = client.query('select value from cpu_load;')
print("Result: {0}".format(result))
关于InfluxDB的简单介绍就到这里,如果想更深层次的了解和使用InfluxDB,可以去官网查阅相关内容。这篇文章仅仅介绍了如何安装InfluxDB本身,而存储数据的本质其实是用于查询和展示,后面会有文章介绍如何与grafana结合并展示图表数据。