src/write_mongodb.c

   1 /**
   2  * collectd - src/write_mongodb.c
   3  * Copyright (C) 2010-2013  Florian Forster
   4  * Copyright (C) 2010       Akkarit Sangpetch
   5  * Copyright (C) 2012       Chris Lundquist
   6  * Copyright (C) 2017       Saikrishna Arcot
   7  *
   8  * Permission is hereby granted, free of charge, to any person obtaining a
   9  * copy of this software and associated documentation files (the "Software"),
  10  * to deal in the Software without restriction, including without limitation
  11  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  12  * and/or sell copies of the Software, and to permit persons to whom the
  13  * Software is furnished to do so, subject to the following conditions:
  14  *
  15  * The above copyright notice and this permission notice shall be included in
  16  * all copies or substantial portions of the Software.
  17  *
  18  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  19  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  20  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  21  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  22  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  23  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  24  * DEALINGS IN THE SOFTWARE.
  25  *
  26  * Authors:
  27  *   Florian Forster <octo at collectd.org>
  28  *   Akkarit Sangpetch <asangpet at andrew.cmu.edu>
  29  *   Chris Lundquist <clundquist at bluebox.net>
  30  *   Saikrishna Arcot <saiarcot895 at gmail.com>
  31  **/
  32
  33 #include "collectd.h"
  34
  35 #include "common.h"
  36 #include "plugin.h"
  37 #include "utils_cache.h"
  38
  39 #include <mongoc.h>
  40
  41 struct wm_node_s {
  42   char name[DATA_MAX_NAME_LEN];
  43
  44   char *host;
  45   int port;
  46   int timeout;
  47
  48   /* Authentication information */
  49   char *db;
  50   char *user;
  51   char *passwd;
  52
  53   _Bool store_rates;
  54   _Bool connected;
  55
  56   mongoc_client_t *client;
  57   mongoc_database_t *database;
  58   pthread_mutex_t lock;
  59 };
  60 typedef struct wm_node_s wm_node_t;
  61
  62 /*
  63  * Functions
  64  */
  65 static bson_t *wm_create_bson(const data_set_t *ds, /* {{{ */
  66                               const value_list_t *vl, _Bool store_rates) {
  67   bson_t *ret;
  68   bson_t subarray;
  69   gauge_t *rates;
  70
  71   ret = bson_new();
  72   if (!ret) {
  73     ERROR("write_mongodb plugin: bson_new failed.");
  74     return NULL;
  75   }
  76
  77   if (store_rates) {
  78     rates = uc_get_rate(ds, vl);
  79     if (rates == NULL) {
  80       ERROR("write_mongodb plugin: uc_get_rate() failed.");
  81       bson_destroy(ret);
  82       return NULL;
  83     }
  84   } else {
  85     rates = NULL;
  86   }
  87
  88   BSON_APPEND_DATE_TIME(ret, "timestamp", CDTIME_T_TO_MS(vl->time));
  89   BSON_APPEND_UTF8(ret, "host", vl->host);
  90   BSON_APPEND_UTF8(ret, "plugin", vl->plugin);
  91   BSON_APPEND_UTF8(ret, "plugin_instance", vl->plugin_instance);
  92   BSON_APPEND_UTF8(ret, "type", vl->type);
  93   BSON_APPEND_UTF8(ret, "type_instance", vl->type_instance);
  94
  95   BSON_APPEND_ARRAY_BEGIN(ret, "values", &subarray); /* {{{ */
  96   for (int i = 0; i < ds->ds_num; i++) {
  97     char key[16];
  98
  99     ssnprintf(key, sizeof(key), "%i", i);
 100
 101     if (ds->ds[i].type == DS_TYPE_GAUGE)
 102       BSON_APPEND_DOUBLE(&subarray, key, vl->values[i].gauge);
 103     else if (store_rates)
 104       BSON_APPEND_DOUBLE(&subarray, key, (double)rates[i]);
 105     else if (ds->ds[i].type == DS_TYPE_COUNTER)
 106       BSON_APPEND_INT64(&subarray, key, vl->values[i].counter);
 107     else if (ds->ds[i].type == DS_TYPE_DERIVE)
 108       BSON_APPEND_INT64(&subarray, key, vl->values[i].derive);
 109     else if (ds->ds[i].type == DS_TYPE_ABSOLUTE)
 110       BSON_APPEND_INT64(&subarray, key, vl->values[i].absolute);
 111     else {
 112       ERROR("write_mongodb plugin: Unknown ds_type %d for index %d",
 113             ds->ds[i].type, i);
 114       bson_destroy(ret);
 115       return NULL;
 116     }
 117   }
 118   bson_append_array_end(ret, &subarray); /* }}} values */
 119
 120   BSON_APPEND_ARRAY_BEGIN(ret, "dstypes", &subarray); /* {{{ */
 121   for (int i = 0; i < ds->ds_num; i++) {
 122     char key[16];
 123
 124     ssnprintf(key, sizeof(key), "%i", i);
 125
 126     if (store_rates)
 127       BSON_APPEND_UTF8(&subarray, key, "gauge");
 128     else
 129       BSON_APPEND_UTF8(&subarray, key, DS_TYPE_TO_STRING(ds->ds[i].type));
 130   }
 131   bson_append_array_end(ret, &subarray); /* }}} dstypes */
 132
 133   BSON_APPEND_ARRAY_BEGIN(ret, "dsnames", &subarray); /* {{{ */
 134   for (int i = 0; i < ds->ds_num; i++) {
 135     char key[16];
 136
 137     ssnprintf(key, sizeof(key), "%i", i);
 138     BSON_APPEND_UTF8(&subarray, key, ds->ds[i].name);
 139   }
 140   bson_append_array_end(ret, &subarray); /* }}} dsnames */
 141
 142   sfree(rates);
 143
 144   size_t error_location;
 145   if (!bson_validate(ret, BSON_VALIDATE_UTF8, &error_location)) {
 146     ERROR("write_mongodb plugin: Error in generated BSON document "
 147           "at byte %zu",
 148           error_location);
 149     bson_destroy(ret);
 150     return NULL;
 151   }
 152
 153   return ret;
 154 } /* }}} bson *wm_create_bson */
 155
 156 static int wm_initialize(wm_node_t *node) /* {{{ */
 157 {
 158   char *uri;
 159   size_t uri_length;
 160   char const *format_string;
 161
 162   if (node->connected) {
 163     return 0;
 164   }
 165
 166   INFO("write_mongodb plugin: Connecting to [%s]:%d", node->host, node->port);
 167
 168   if ((node->db != NULL) && (node->user != NULL) && (node->passwd != NULL)) {
 169     format_string = "mongodb://%s:%s@%s:%d/?authSource=%s";
 170     uri_length = strlen(format_string) + strlen(node->user) +
 171                  strlen(node->passwd) + strlen(node->host) + 5 +
 172                  strlen(node->db) + 1;
 173     if ((uri = calloc(1, uri_length)) == NULL) {
 174       ERROR("write_mongodb plugin: Not enough memory to assemble "
 175             "authentication string.");
 176       mongoc_client_destroy(node->client);
 177       node->client = NULL;
 178       node->connected = 0;
 179       return -1;
 180     }
 181     ssnprintf(uri, uri_length, format_string, node->user, node->passwd,
 182               node->host, node->port, node->db);
 183
 184     node->client = mongoc_client_new(uri);
 185     if (!node->client) {
 186       ERROR("write_mongodb plugin: Authenticating to [%s]:%d for database "
 187             "\"%s\" as user \"%s\" failed.",
 188             node->host, node->port, node->db, node->user);
 189       node->connected = 0;
 190       sfree(uri);
 191       return -1;
 192     }
 193   } else {
 194     format_string = "mongodb://%s:%d";
 195     uri_length = strlen(format_string) + strlen(node->host) + 5 + 1;
 196     if ((uri = calloc(1, uri_length)) == NULL) {
 197       ERROR("write_mongodb plugin: Not enough memory to assemble "
 198             "authentication string.");
 199       mongoc_client_destroy(node->client);
 200       node->client = NULL;
 201       node->connected = 0;
 202       return -1;
 203     }
 204     snprintf(uri, uri_length, format_string, node->host, node->port);
 205
 206     node->client = mongoc_client_new(uri);
 207     if (!node->client) {
 208       ERROR("write_mongodb plugin: Connecting to [%s]:%d failed.", node->host,
 209             node->port);
 210       node->connected = 0;
 211       sfree(uri);
 212       return -1;
 213     }
 214   }
 215   sfree(uri);
 216
 217   node->database = mongoc_client_get_database(node->client, "collectd");
 218   if (!node->database) {
 219     ERROR("write_mongodb plugin: error creating/getting database");
 220     mongoc_client_destroy(node->client);
 221     node->client = NULL;
 222     node->connected = 0;
 223     return -1;
 224   }
 225
 226   node->connected = 1;
 227   return 0;
 228 } /* }}} int wm_initialize */
 229
 230 static int wm_write(const data_set_t *ds, /* {{{ */
 231                     const value_list_t *vl, user_data_t *ud) {
 232   wm_node_t *node = ud->data;
 233   mongoc_collection_t *collection = NULL;
 234   bson_t *bson_record;
 235   bson_error_t error;
 236   int status;
 237
 238   bson_record = wm_create_bson(ds, vl, node->store_rates);
 239   if (!bson_record) {
 240     ERROR("write_mongodb plugin: error making insert bson");
 241     return -1;
 242   }
 243
 244   pthread_mutex_lock(&node->lock);
 245   if (wm_initialize(node) < 0) {
 246     ERROR("write_mongodb plugin: error making connection to server");
 247     pthread_mutex_unlock(&node->lock);
 248     bson_destroy(bson_record);
 249     return -1;
 250   }
 251
 252   collection =
 253       mongoc_client_get_collection(node->client, "collectd", vl->plugin);
 254   if (!collection) {
 255     ERROR("write_mongodb plugin: error creating/getting collection");
 256     mongoc_database_destroy(node->database);
 257     mongoc_client_destroy(node->client);
 258     node->database = NULL;
 259     node->client = NULL;
 260     node->connected = 0;
 261     pthread_mutex_unlock(&node->lock);
 262     bson_destroy(bson_record);
 263     return -1;
 264   }
 265
 266   status = mongoc_collection_insert(collection, MONGOC_INSERT_NONE, bson_record,
 267                                     NULL, &error);
 268
 269   if (!status) {
 270     ERROR("write_mongodb plugin: error inserting record: %s", error.message);
 271     mongoc_database_destroy(node->database);
 272     mongoc_client_destroy(node->client);
 273     node->database = NULL;
 274     node->client = NULL;
 275     node->connected = 0;
 276     pthread_mutex_unlock(&node->lock);
 277     bson_destroy(bson_record);
 278     mongoc_collection_destroy(collection);
 279     return -1;
 280   }
 281
 282   /* free our resource as not to leak memory */
 283   mongoc_collection_destroy(collection);
 284
 285   pthread_mutex_unlock(&node->lock);
 286
 287   bson_destroy(bson_record);
 288
 289   return 0;
 290 } /* }}} int wm_write */
 291
 292 static void wm_config_free(void *ptr) /* {{{ */
 293 {
 294   wm_node_t *node = ptr;
 295
 296   if (node == NULL)
 297     return;
 298
 299   mongoc_database_destroy(node->database);
 300   mongoc_client_destroy(node->client);
 301   node->database = NULL;
 302   node->client = NULL;
 303   node->connected = 0;
 304
 305   sfree(node->host);
 306   sfree(node);
 307 } /* }}} void wm_config_free */
 308
 309 static int wm_config_node(oconfig_item_t *ci) /* {{{ */
 310 {
 311   wm_node_t *node;
 312   int status;
 313
 314   node = calloc(1, sizeof(*node));
 315   if (node == NULL)
 316     return ENOMEM;
 317   mongoc_init();
 318   node->host = strdup("localhost");
 319   if (node->host == NULL) {
 320     sfree(node);
 321     return ENOMEM;
 322   }
 323   node->port = MONGOC_DEFAULT_PORT;
 324   node->store_rates = 1;
 325   pthread_mutex_init(&node->lock, /* attr = */ NULL);
 326
 327   status = cf_util_get_string_buffer(ci, node->name, sizeof(node->name));
 328
 329   if (status != 0) {
 330     sfree(node->host);
 331     sfree(node);
 332     return status;
 333   }
 334
 335   for (int i = 0; i < ci->children_num; i++) {
 336     oconfig_item_t *child = ci->children + i;
 337
 338     if (strcasecmp("Host", child->key) == 0)
 339       status = cf_util_get_string(child, &node->host);
 340     else if (strcasecmp("Port", child->key) == 0) {
 341       status = cf_util_get_port_number(child);
 342       if (status > 0) {
 343         node->port = status;
 344         status = 0;
 345       }
 346     } else if (strcasecmp("Timeout", child->key) == 0)
 347       status = cf_util_get_int(child, &node->timeout);
 348     else if (strcasecmp("StoreRates", child->key) == 0)
 349       status = cf_util_get_boolean(child, &node->store_rates);
 350     else if (strcasecmp("Database", child->key) == 0)
 351       status = cf_util_get_string(child, &node->db);
 352     else if (strcasecmp("User", child->key) == 0)
 353       status = cf_util_get_string(child, &node->user);
 354     else if (strcasecmp("Password", child->key) == 0)
 355       status = cf_util_get_string(child, &node->passwd);
 356     else
 357       WARNING("write_mongodb plugin: Ignoring unknown config option \"%s\".",
 358               child->key);
 359
 360     if (status != 0)
 361       break;
 362   } /* for (i = 0; i < ci->children_num; i++) */
 363
 364   if ((node->db != NULL) || (node->user != NULL) || (node->passwd != NULL)) {
 365     if ((node->db == NULL) || (node->user == NULL) || (node->passwd == NULL)) {
 366       WARNING(
 367           "write_mongodb plugin: Authentication requires the "
 368           "\"Database\", \"User\" and \"Password\" options to be specified, "
 369           "but at last one of them is missing. Authentication will NOT be "
 370           "used.");
 371       sfree(node->db);
 372       sfree(node->user);
 373       sfree(node->passwd);
 374     }
 375   }
 376
 377   if (status == 0) {
 378     char cb_name[DATA_MAX_NAME_LEN];
 379
 380     ssnprintf(cb_name, sizeof(cb_name), "write_mongodb/%s", node->name);
 381
 382     status =
 383         plugin_register_write(cb_name, wm_write,
 384                               &(user_data_t){
 385                                   .data = node, .free_func = wm_config_free,
 386                               });
 387     INFO("write_mongodb plugin: registered write plugin %s %d", cb_name,
 388          status);
 389   }
 390
 391   if (status != 0)
 392     wm_config_free(node);
 393
 394   return status;
 395 } /* }}} int wm_config_node */
 396
 397 static int wm_config(oconfig_item_t *ci) /* {{{ */
 398 {
 399   for (int i = 0; i < ci->children_num; i++) {
 400     oconfig_item_t *child = ci->children + i;
 401
 402     if (strcasecmp("Node", child->key) == 0)
 403       wm_config_node(child);
 404     else
 405       WARNING("write_mongodb plugin: Ignoring unknown "
 406               "configuration option \"%s\" at top level.",
 407               child->key);
 408   }
 409
 410   return 0;
 411 } /* }}} int wm_config */
 412
 413 void module_register(void) {
 414   plugin_register_complex_config("write_mongodb", wm_config);
 415 }