src/tail_csv.c

   1 /**
   2  * collectd - src/tail_csv.c
   3  * Copyright (C) 2013 Kris Nielander
   4  * Copyright (C) 2013 Florian Forster
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU General Public License as published by the
   8  * Free Software Foundation; only version 2 of the License is applicable.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License along
  16  * with this program; if not, write to the Free Software Foundation, Inc.,
  17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  18  *
  19  * Authors:
  20  *   Kris Nielander <nielander at fox-it.com>
  21  *   Florian Forster <octo at collectd.org>
  22  **/
  23
  24 #include "collectd.h"
  25
  26 #include "common.h" /* auxiliary functions */
  27 #include "plugin.h" /* plugin_register_*, plugin_dispatch_values */
  28 #include "utils_tail.h"
  29
  30 #include <fcntl.h>
  31 #include <stdlib.h>
  32 #include <string.h>
  33 #include <sys/mman.h>
  34 #include <sys/stat.h>
  35
  36 struct metric_definition_s {
  37   char *name;
  38   char *type;
  39   char *instance;
  40   int data_source_type;
  41   ssize_t value_from;
  42   struct metric_definition_s *next;
  43 };
  44 typedef struct metric_definition_s metric_definition_t;
  45
  46 struct instance_definition_s {
  47   char *instance;
  48   char *path;
  49   cu_tail_t *tail;
  50   metric_definition_t **metric_list;
  51   size_t metric_list_len;
  52   cdtime_t interval;
  53   ssize_t time_from;
  54   struct instance_definition_s *next;
  55 };
  56 typedef struct instance_definition_s instance_definition_t;
  57
  58 /* Private */
  59 static metric_definition_t *metric_head = NULL;
  60
  61 static int tcsv_submit(instance_definition_t *id, metric_definition_t *md,
  62                        value_t v, cdtime_t t) {
  63   /* Registration variables */
  64   value_list_t vl = VALUE_LIST_INIT;
  65
  66   /* Register */
  67   vl.values_len = 1;
  68   vl.values = &v;
  69
  70   sstrncpy(vl.host, hostname_g, sizeof(vl.host));
  71   sstrncpy(vl.plugin, "tail_csv", sizeof(vl.plugin));
  72   if (id->instance != NULL)
  73     sstrncpy(vl.plugin_instance, id->instance, sizeof(vl.plugin_instance));
  74   sstrncpy(vl.type, md->type, sizeof(vl.type));
  75   if (md->instance != NULL)
  76     sstrncpy(vl.type_instance, md->instance, sizeof(vl.type_instance));
  77
  78   vl.time = t;
  79   vl.interval = id->interval;
  80
  81   return (plugin_dispatch_values(&vl));
  82 }
  83
  84 static cdtime_t parse_time(char const *tbuf) {
  85   double t;
  86   char *endptr = NULL;
  87
  88   errno = 0;
  89   t = strtod(tbuf, &endptr);
  90   if ((errno != 0) || (endptr == NULL) || (endptr[0] != 0))
  91     return (cdtime());
  92
  93   return (DOUBLE_TO_CDTIME_T(t));
  94 }
  95
  96 static int tcsv_read_metric(instance_definition_t *id, metric_definition_t *md,
  97                             char **fields, size_t fields_num) {
  98   value_t v;
  99   cdtime_t t = 0;
 100   int status;
 101
 102   if (md->data_source_type == -1)
 103     return (EINVAL);
 104
 105   assert(md->value_from >= 0);
 106   if (((size_t)md->value_from) >= fields_num)
 107     return (EINVAL);
 108
 109   status = parse_value(fields[md->value_from], &v, md->data_source_type);
 110   if (status != 0)
 111     return (status);
 112
 113   if (id->time_from >= 0) {
 114     if (((size_t)id->time_from) >= fields_num)
 115       return (EINVAL);
 116     t = parse_time(fields[id->time_from]);
 117   }
 118
 119   return (tcsv_submit(id, md, v, t));
 120 }
 121
 122 static _Bool tcsv_check_index(ssize_t index, size_t fields_num,
 123                               char const *name) {
 124   if (index < 0)
 125     return 1;
 126   else if (((size_t)index) < fields_num)
 127     return 1;
 128
 129   ERROR("tail_csv plugin: Metric \"%s\": Request for index %zd when "
 130         "only %zu fields are available.",
 131         name, index, fields_num);
 132   return (0);
 133 }
 134
 135 static int tcsv_read_buffer(instance_definition_t *id, char *buffer,
 136                             size_t buffer_size) {
 137   char **metrics;
 138   size_t metrics_num;
 139
 140   char *ptr;
 141   size_t i;
 142
 143   /* Remove newlines at the end of line. */
 144   while (buffer_size > 0) {
 145     if ((buffer[buffer_size - 1] == '\n') ||
 146         (buffer[buffer_size - 1] == '\r')) {
 147       buffer[buffer_size - 1] = 0;
 148       buffer_size--;
 149     } else {
 150       break;
 151     }
 152   }
 153
 154   /* Ignore empty lines. */
 155   if ((buffer_size == 0) || (buffer[0] == '#'))
 156     return (0);
 157
 158   /* Count the number of fields. */
 159   metrics_num = 1;
 160   for (i = 0; i < buffer_size; i++) {
 161     if (buffer[i] == ',')
 162       metrics_num++;
 163   }
 164
 165   if (metrics_num == 1) {
 166     ERROR("tail_csv plugin: last line of `%s' does not contain "
 167           "enough values.",
 168           id->path);
 169     return (-1);
 170   }
 171
 172   /* Create a list of all values */
 173   metrics = calloc(metrics_num, sizeof(*metrics));
 174   if (metrics == NULL) {
 175     ERROR("tail_csv plugin: calloc failed.");
 176     return (ENOMEM);
 177   }
 178
 179   ptr = buffer;
 180   metrics[0] = ptr;
 181   i = 1;
 182   for (ptr = buffer; *ptr != 0; ptr++) {
 183     if (*ptr != ',')
 184       continue;
 185
 186     *ptr = 0;
 187     metrics[i] = ptr + 1;
 188     i++;
 189   }
 190   assert(i == metrics_num);
 191
 192   /* Register values */
 193   for (i = 0; i < id->metric_list_len; ++i) {
 194     metric_definition_t *md = id->metric_list[i];
 195
 196     if (!tcsv_check_index(md->value_from, metrics_num, md->name) ||
 197         !tcsv_check_index(id->time_from, metrics_num, md->name))
 198       continue;
 199
 200     tcsv_read_metric(id, md, metrics, metrics_num);
 201   }
 202
 203   /* Free up resources */
 204   sfree(metrics);
 205   return (0);
 206 }
 207
 208 static int tcsv_read(user_data_t *ud) {
 209   instance_definition_t *id;
 210   id = ud->data;
 211
 212   if (id->tail == NULL) {
 213     id->tail = cu_tail_create(id->path);
 214     if (id->tail == NULL) {
 215       ERROR("tail_csv plugin: cu_tail_create (\"%s\") failed.", id->path);
 216       return (-1);
 217     }
 218   }
 219
 220   while (42) {
 221     char buffer[1024];
 222     size_t buffer_len;
 223     int status;
 224
 225     status = cu_tail_readline(id->tail, buffer, (int)sizeof(buffer));
 226     if (status != 0) {
 227       ERROR("tail_csv plugin: File \"%s\": cu_tail_readline failed "
 228             "with status %i.",
 229             id->path, status);
 230       return (-1);
 231     }
 232
 233     buffer_len = strlen(buffer);
 234     if (buffer_len == 0)
 235       break;
 236
 237     tcsv_read_buffer(id, buffer, buffer_len);
 238   }
 239
 240   return (0);
 241 }
 242
 243 static void tcsv_metric_definition_destroy(void *arg) {
 244   metric_definition_t *md;
 245   metric_definition_t *next;
 246
 247   md = arg;
 248   if (md == NULL)
 249     return;
 250
 251   next = md->next;
 252   md->next = NULL;
 253
 254   sfree(md->name);
 255   sfree(md->type);
 256   sfree(md->instance);
 257   sfree(md);
 258
 259   tcsv_metric_definition_destroy(next);
 260 }
 261
 262 static int tcsv_config_get_index(oconfig_item_t *ci, ssize_t *ret_index) {
 263   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_NUMBER)) {
 264     WARNING("tail_csv plugin: The \"%s\" config option needs exactly one "
 265             "integer argument.",
 266             ci->key);
 267     return (-1);
 268   }
 269
 270   if (ci->values[0].value.number < 0) {
 271     WARNING("tail_csv plugin: The \"%s\" config option must be positive "
 272             "(or zero).",
 273             ci->key);
 274     return (-1);
 275   }
 276
 277   *ret_index = (ssize_t)ci->values[0].value.number;
 278   return (0);
 279 }
 280
 281 /* Parse metric  */
 282 static int tcsv_config_add_metric(oconfig_item_t *ci) {
 283   metric_definition_t *md;
 284   int status;
 285
 286   md = calloc(1, sizeof(*md));
 287   if (md == NULL)
 288     return (-1);
 289   md->name = NULL;
 290   md->type = NULL;
 291   md->instance = NULL;
 292   md->data_source_type = -1;
 293   md->value_from = -1;
 294   md->next = NULL;
 295
 296   status = cf_util_get_string(ci, &md->name);
 297   if (status != 0) {
 298     sfree(md);
 299     return (-1);
 300   }
 301
 302   for (int i = 0; i < ci->children_num; ++i) {
 303     oconfig_item_t *option = ci->children + i;
 304
 305     if (strcasecmp("Type", option->key) == 0)
 306       status = cf_util_get_string(option, &md->type);
 307     else if (strcasecmp("Instance", option->key) == 0)
 308       status = cf_util_get_string(option, &md->instance);
 309     else if (strcasecmp("ValueFrom", option->key) == 0)
 310       status = tcsv_config_get_index(option, &md->value_from);
 311     else {
 312       WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
 313       status = -1;
 314     }
 315
 316     if (status != 0)
 317       break;
 318   }
 319
 320   if (status != 0) {
 321     tcsv_metric_definition_destroy(md);
 322     return (-1);
 323   }
 324
 325   /* Verify all necessary options have been set. */
 326   if (md->type == NULL) {
 327     WARNING("tail_csv plugin: Option `Type' must be set.");
 328     status = -1;
 329   } else if (md->value_from < 0) {
 330     WARNING("tail_csv plugin: Option `ValueFrom' must be set.");
 331     status = -1;
 332   }
 333   if (status != 0) {
 334     tcsv_metric_definition_destroy(md);
 335     return (status);
 336   }
 337
 338   if (metric_head == NULL)
 339     metric_head = md;
 340   else {
 341     metric_definition_t *last;
 342     last = metric_head;
 343     while (last->next != NULL)
 344       last = last->next;
 345     last->next = md;
 346   }
 347
 348   return (0);
 349 }
 350
 351 static void tcsv_instance_definition_destroy(void *arg) {
 352   instance_definition_t *id;
 353
 354   id = arg;
 355   if (id == NULL)
 356     return;
 357
 358   if (id->tail != NULL)
 359     cu_tail_destroy(id->tail);
 360   id->tail = NULL;
 361
 362   sfree(id->instance);
 363   sfree(id->path);
 364   sfree(id->metric_list);
 365   sfree(id);
 366 }
 367
 368 static int tcsv_config_add_instance_collect(instance_definition_t *id,
 369                                             oconfig_item_t *ci) {
 370   metric_definition_t *metric;
 371   metric_definition_t **metric_list;
 372   size_t metric_list_size;
 373
 374   if (ci->values_num < 1) {
 375     WARNING("tail_csv plugin: The `Collect' config option needs at least one "
 376             "argument.");
 377     return (-1);
 378   }
 379
 380   metric_list_size = id->metric_list_len + (size_t)ci->values_num;
 381   metric_list =
 382       realloc(id->metric_list, sizeof(*id->metric_list) * metric_list_size);
 383   if (metric_list == NULL)
 384     return (-1);
 385   id->metric_list = metric_list;
 386
 387   for (int i = 0; i < ci->values_num; i++) {
 388     char *metric_name;
 389
 390     if (ci->values[i].type != OCONFIG_TYPE_STRING) {
 391       WARNING("tail_csv plugin: All arguments to `Collect' must be strings.");
 392       continue;
 393     }
 394     metric_name = ci->values[i].value.string;
 395
 396     for (metric = metric_head; metric != NULL; metric = metric->next)
 397       if (strcasecmp(metric_name, metric->name) == 0)
 398         break;
 399
 400     if (metric == NULL) {
 401       WARNING("tail_csv plugin: `Collect' argument not found `%s'.",
 402               metric_name);
 403       continue;
 404     }
 405
 406     id->metric_list[id->metric_list_len] = metric;
 407     id->metric_list_len++;
 408   }
 409
 410   return (0);
 411 }
 412
 413 /* <File /> block */
 414 static int tcsv_config_add_file(oconfig_item_t *ci) {
 415   instance_definition_t *id;
 416   int status = 0;
 417
 418   /* Registration variables */
 419   char cb_name[DATA_MAX_NAME_LEN];
 420
 421   id = calloc(1, sizeof(*id));
 422   if (id == NULL)
 423     return (-1);
 424   id->instance = NULL;
 425   id->path = NULL;
 426   id->metric_list = NULL;
 427   id->time_from = -1;
 428   id->next = NULL;
 429
 430   status = cf_util_get_string(ci, &id->path);
 431   if (status != 0) {
 432     sfree(id);
 433     return (status);
 434   }
 435
 436   /* Use default interval. */
 437   id->interval = plugin_get_interval();
 438
 439   for (int i = 0; i < ci->children_num; ++i) {
 440     oconfig_item_t *option = ci->children + i;
 441     status = 0;
 442
 443     if (strcasecmp("Instance", option->key) == 0)
 444       status = cf_util_get_string(option, &id->instance);
 445     else if (strcasecmp("Collect", option->key) == 0)
 446       status = tcsv_config_add_instance_collect(id, option);
 447     else if (strcasecmp("Interval", option->key) == 0)
 448       cf_util_get_cdtime(option, &id->interval);
 449     else if (strcasecmp("TimeFrom", option->key) == 0)
 450       status = tcsv_config_get_index(option, &id->time_from);
 451     else {
 452       WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
 453       status = -1;
 454     }
 455
 456     if (status != 0)
 457       break;
 458   }
 459
 460   if (status != 0) {
 461     tcsv_instance_definition_destroy(id);
 462     return (-1);
 463   }
 464
 465   /* Verify all necessary options have been set. */
 466   if (id->path == NULL) {
 467     WARNING("tail_csv plugin: Option `Path' must be set.");
 468     status = -1;
 469   } else if (id->metric_list == NULL) {
 470     WARNING("tail_csv plugin: Option `Collect' must be set.");
 471     status = -1;
 472   }
 473
 474   if (status != 0) {
 475     tcsv_instance_definition_destroy(id);
 476     return (-1);
 477   }
 478
 479   ssnprintf(cb_name, sizeof(cb_name), "tail_csv/%s", id->path);
 480
 481   user_data_t ud = {.data = id, .free_func = tcsv_instance_definition_destroy};
 482
 483   status =
 484       plugin_register_complex_read(NULL, cb_name, tcsv_read, id->interval, &ud);
 485
 486   if (status != 0) {
 487     ERROR("tail_csv plugin: Registering complex read function failed.");
 488     tcsv_instance_definition_destroy(id);
 489     return (-1);
 490   }
 491
 492   return (0);
 493 }
 494
 495 /* Parse blocks */
 496 static int tcsv_config(oconfig_item_t *ci) {
 497   for (int i = 0; i < ci->children_num; ++i) {
 498     oconfig_item_t *child = ci->children + i;
 499     if (strcasecmp("Metric", child->key) == 0)
 500       tcsv_config_add_metric(child);
 501     else if (strcasecmp("File", child->key) == 0)
 502       tcsv_config_add_file(child);
 503     else
 504       WARNING("tail_csv plugin: Ignore unknown config option `%s'.",
 505               child->key);
 506   }
 507
 508   return (0);
 509 } /* int tcsv_config */
 510
 511 static int tcsv_init(void) { /* {{{ */
 512   static _Bool have_init = 0;
 513   metric_definition_t *md;
 514
 515   if (have_init)
 516     return (0);
 517
 518   for (md = metric_head; md != NULL; md = md->next) {
 519     data_set_t const *ds;
 520
 521     /* Retrieve the data source type from the types db. */
 522     ds = plugin_get_ds(md->type);
 523     if (ds == NULL) {
 524       ERROR("tail_csv plugin: Failed to look up type \"%s\" for "
 525             "metric \"%s\". It may not be defined in the types.db "
 526             "file. Please read the types.db(5) manual page for more "
 527             "details.",
 528             md->type, md->name);
 529       continue;
 530     } else if (ds->ds_num != 1) {
 531       ERROR("tail_csv plugin: The type \"%s\" has %zu data sources. "
 532             "Only types with a single data source are supported.",
 533             ds->type, ds->ds_num);
 534       continue;
 535     }
 536
 537     md->data_source_type = ds->ds->type;
 538   }
 539
 540   return (0);
 541 } /* }}} int tcsv_init */
 542
 543 static int tcsv_shutdown(void) {
 544   tcsv_metric_definition_destroy(metric_head);
 545   metric_head = NULL;
 546
 547   return (0);
 548 }
 549
 550 void module_register(void) {
 551   plugin_register_complex_config("tail_csv", tcsv_config);
 552   plugin_register_init("tail_csv", tcsv_init);
 553   plugin_register_shutdown("tail_csv", tcsv_shutdown);
 554 }
 555
 556 /* vim: set sw=4 sts=4 et : */