通过cadvisor+influxdb+grafana三者有机结合，打造跨主机容器监控。

优点

1、跨主机监控，可扩展
2、容器自发现
3、历史数据长期保存
4、自定义配置程度高
5、采集间隔很短，达到秒级
6、多种方式告警

缺点

1、不能自动隐藏已停止的容器
2、grafana会展现所有的数据，导致展示长时间的数据时，各个数据点重叠。

组件

数据采集–cAdvisor

cAdvisor为Docker容器用户提供了了解运行时容器资源使用和性能特征的工具。

cAdvisor是单机版容器监控系统，通过收集宿主机的cgroup统计信息，经过加工处理后通过图展示在页面上。

这些信息包括宿主机、容器的CPU、内存、网络流量、磁盘空间等资源隔离和运行数据。

工作流程大致：

1）、收集、聚集、处理宿主机的cgroup统计数据
2）、写入后端基于事件序列的数据库（本文使用InfluxDB）
3）、展示时读取基于事件序列的数据库

优势：

部署、维护简单：通过容器形式部署，“开箱即用”，无需配置即可使用
监控容器和宿主机
通过图展示，比较美观
支持多种基于事件序列的数据库，写入和读取快

不足之处：

只能看到2-3分钟的监控数据
消耗的内存较高，通常几百M
页面加载较慢

数据存储–InfluxDB

InfluxDB是一个开源分布式时序、事件和指标数据库。

influxdb使用Go语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。

其主要特色功能

基于时间序列，支持与时间有关的相关函数（如最大，最小，求和等）
可度量性：可以实时对大量数据进行计算
基于事件：支持任意的事件数据

InfluxDB的主要特点

无结构（无模式）：可以是任意数量的列
可拓展的
支持min, max, sum, count, mean, median 等一系列函数，方便统计
原生的HTTP支持，内置HTTP API
强大的类SQL语法
自带管理界面，方便使用

在使用过程中发现influxdb缺点：

在select查询时，字段必须是time或者value，不能为其他字段
    例如：select container_name from "cpu_usage_user" limit 100无结果

监控配置和展示–Grafana

Grafana是一款开源的监控绘图工具。

对收集来的数据进行展示和分析。

特性：

用于可视化大型测量数据的开源程序，提供了强大和优雅的方式去创建、共享、浏览数据。
dashboard中展示不同metric数据源中的数据。
常用于因特网基础设施和应用分析，但在其他领域也有机会用到，比如：工业传感器、家庭自动化、过程控制等等。
有热插拔控制面板和可扩展的数据源，目前已经支持Graphite、Cloudwatch、Prometheus、InfluxDB、Elasticsearch。
自定义配置灵活，支持模板、展示数据内容配置等等。
支持告警

部署

运行环境

宿主机：CentOS7 7.3.1611

docker版本为1.12.6

通过docker容器方式部署。部署情况

                        cadvisor    influxdb    grafana
docker1 192.168.20.128  部署      部署       部署
docker2 192.168.20.129  部署      /          /    
docker3 192.168.20.130  部署      /          /

influxdb

创建容器

docker create -p 8083:8083 -p 8086:8086 -v /opt/influxdb:/var/lib/influxdb --name=influxdb --hostname=influxdb tutum/influxdb 
docker start influxdb
8086用于Influxdb数据读写,8083用于数据库管理界面

InfluxDB容器创建成功后，可以通过http://192.168.20.128:8083/打开管理界面。

创建用户

点击页面右上角的设置图标，数据账号和密码，点击save

创建数据库

创建cadvisor数据库，用于收集存储Docker的性能数据，在输入框输入CREATE DATABASE “cadvisor”然后按回车，执行命令。

在输入框输入SHOW DATABASES，可以看到刚才创建的数据库

cadvisor

创建cAdvisor容器

docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro --hostname=cadvisor --publish=8080:8080 --detach=true --name=cadvisor google/cadvisor -storage_driver=influxdb -storage_driver_host=192.168.20.128:8086 -storage_driver_db=cadvisor -storage_driver_user=root -storage_driver_password=1qaz2wsx

-storage_driver=influxdb 指定存储驱动,使cadvisor将数据存储到数据库中，更多存储插件

-storage_driver_host=influxdb:8086 InfluxDB数据库的地址

-storage_driver_db=cadvisor 数据库名称

如果要指定用户名可以用-storage_driver_user参数，默认是root

如果要指定密码可以用-storage_driver_password参数，默认是root

cAdvisor运行以后，可以通过http://宿主机IP:8080/查看到Docker运行的机器和容器情况。

验证cAdvisor是否已经向InfluxDB存入数据

打开http://192.168.20.128:8083/的InfluxDB管理界面

点击右上角Database切换到cadvisor数据库

然后在输入框输入SHOW MEASUREMENTS可以看到已经创建了很多个表

grafana

部署容器

docker create -p 3000:3000 --hostname grafana --name grafana grafana/grafana

默认admin的用户名和密码是admin/admin

配置

访问http://192.168.20.128:3000

添加数据库

配置模板

https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3_windows_amd64.zip

[meta]
  # Where the metadata/raft database is stored
  dir = "D:/influxdb/meta"
[data]
  # The directory where the TSM storage engine stores TSM files.
  dir = "D:/influxdb/data"
  # The directory where the TSM storage engine stores WAL files.
  wal-dir = "D:/influxdb/wal"

[admin]
  # Determines whether the admin service is enabled.
   enabled = true

  # The default bind address used by the admin service.
   bind-address = ":8083"

influxd -config influxdb.conf

https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.3.1.windows-amd64.zip 

grafana-server.exe

http://127.0.0.1:3000,
默认账号密码:admin admin

地址如下：https://grafana.com/dashboards/2125

<PackageReference Include="App.Metrics" Version="2.1.0" />
    <PackageReference Include="App.Metrics.AspNetCore.Endpoints" Version="2.0.0" />
    <PackageReference Include="App.Metrics.AspNetCore.Reporting" Version="2.0.0" />
    <PackageReference Include="App.Metrics.AspNetCore.Tracking" Version="2.0.0" />
    <PackageReference Include="App.Metrics.Extensions.Reporting.InfluxDB" Version="1.2.0" />
    <PackageReference Include="App.Metrics.Formatters.Json" Version="2.1.0" />
    <PackageReference Include="App.Metrics.Reporting.InfluxDB" Version="2.0.0" />

{
  "Logging": {
    "IncludeScopes": false,
    "LogLevel": {
      "Default": "Warning"
    }
  },
  "InfluxDB": {
    "IsOpen": true,
    "DataBaseName": "LogDb",
    "ConnectionString": "http://127.0.0.1:8086",
    "username": "admin",
    "password": "xxxxxxxxxx",
    "app": "LogDbDemo",
    "env": "stage"
  }
}

#region Metrics监控配置
            string IsOpen = Configuration.GetSection("InfluxDB")["IsOpen"].ToLower();
            if (IsOpen == "true")
            {
                string database = Configuration.GetSection("InfluxDB")["DataBaseName"];
                string InfluxDBConStr = Configuration.GetSection("InfluxDB")["ConnectionString"];
                string app = Configuration.GetSection("InfluxDB")["app"];
                string env = Configuration.GetSection("InfluxDB")["env"];
                string username = Configuration.GetSection("InfluxDB")["username"];
                string password = Configuration.GetSection("InfluxDB")["password"];

                var uri = new Uri(InfluxDBConStr);

                var metrics = AppMetrics.CreateDefaultBuilder()
                .Configuration.Configure(
                options =>
                {
                    options.AddAppTag(app);
                    options.AddEnvTag(env);
                })
                .Report.ToInfluxDb(
                options =>
                {
                    options.InfluxDb.BaseUri = uri;
                    options.InfluxDb.Database = database;
                    options.InfluxDb.UserName = username;
                    options.InfluxDb.Password = password;
                    options.HttpPolicy.BackoffPeriod = TimeSpan.FromSeconds(30);
                    options.HttpPolicy.FailuresBeforeBackoff = 5;
                    options.HttpPolicy.Timeout = TimeSpan.FromSeconds(10);
                    options.FlushInterval = TimeSpan.FromSeconds(5);
                })
                .Build();

                services.AddMetrics(metrics);
                services.AddMetricsReportScheduler();
                services.AddMetricsTrackingMiddleware();
                services.AddMetricsEndpoints();

            }
            #endregion

#region 注入Metrics
            string IsOpen = Configuration.GetSection("InfluxDB")["IsOpen"].ToLower();
            if (IsOpen == "true")
            {
                app.UseMetricsAllMiddleware();
                // Or to cherry-pick the tracking of interest
                app.UseMetricsActiveRequestMiddleware();
                app.UseMetricsErrorTrackingMiddleware();
                app.UseMetricsPostAndPutSizeTrackingMiddleware();
                app.UseMetricsRequestTrackingMiddleware();
                app.UseMetricsOAuth2TrackingMiddleware();
                app.UseMetricsApdexTrackingMiddleware();

                app.UseMetricsAllEndpoints();
                // Or to cherry-pick endpoint of interest
                app.UseMetricsEndpoint();
                app.UseMetricsTextEndpoint();
                app.UseEnvInfoEndpoint();
            }
            #endregion