src/table.c

   1 /**
   2  * collectd - src/table.c
   3  * Copyright (C) 2009       Sebastian Harl
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  20  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  21  * DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors:
  24  *   Sebastian Harl <sh at tokkee.org>
  25  **/
  26
  27 /*
  28  * This module provides generic means to parse and dispatch tabular data.
  29  */
  30
  31 #include "collectd.h"
  32
  33 #include "common.h"
  34
  35 #include "plugin.h"
  36
  37 #define log_err(...) ERROR("table plugin: " __VA_ARGS__)
  38 #define log_warn(...) WARNING("table plugin: " __VA_ARGS__)
  39
  40 /*
  41  * private data types
  42  */
  43
  44 typedef struct {
  45   char *type;
  46   char *instance_prefix;
  47   size_t *instances;
  48   size_t instances_num;
  49   size_t *values;
  50   size_t values_num;
  51
  52   const data_set_t *ds;
  53 } tbl_result_t;
  54
  55 typedef struct {
  56   char *file;
  57   char *sep;
  58   char *plugin_name;
  59   char *instance;
  60
  61   tbl_result_t *results;
  62   size_t results_num;
  63
  64   size_t max_colnum;
  65 } tbl_t;
  66
  67 static void tbl_result_setup(tbl_result_t *res) {
  68   res->type = NULL;
  69
  70   res->instance_prefix = NULL;
  71   res->instances = NULL;
  72   res->instances_num = 0;
  73
  74   res->values = NULL;
  75   res->values_num = 0;
  76
  77   res->ds = NULL;
  78 } /* tbl_result_setup */
  79
  80 static void tbl_result_clear(tbl_result_t *res) {
  81   sfree(res->type);
  82
  83   sfree(res->instance_prefix);
  84   sfree(res->instances);
  85   res->instances_num = 0;
  86
  87   sfree(res->values);
  88   res->values_num = 0;
  89
  90   res->ds = NULL;
  91 } /* tbl_result_clear */
  92
  93 static void tbl_setup(tbl_t *tbl, char *file) {
  94   tbl->file = sstrdup(file);
  95   tbl->sep = NULL;
  96   tbl->plugin_name = NULL;
  97   tbl->instance = NULL;
  98
  99   tbl->results = NULL;
 100   tbl->results_num = 0;
 101
 102   tbl->max_colnum = 0;
 103 } /* tbl_setup */
 104
 105 static void tbl_clear(tbl_t *tbl) {
 106   sfree(tbl->file);
 107   sfree(tbl->sep);
 108   sfree(tbl->plugin_name);
 109   sfree(tbl->instance);
 110
 111   for (size_t i = 0; i < tbl->results_num; ++i)
 112     tbl_result_clear(tbl->results + i);
 113   sfree(tbl->results);
 114   tbl->results_num = 0;
 115
 116   tbl->max_colnum = 0;
 117 } /* tbl_clear */
 118
 119 static tbl_t *tables;
 120 static size_t tables_num;
 121
 122 /*
 123  * configuration handling
 124  */
 125
 126 static int tbl_config_set_s(char *name, char **var, oconfig_item_t *ci) {
 127   if ((1 != ci->values_num) || (OCONFIG_TYPE_STRING != ci->values[0].type)) {
 128     log_err("\"%s\" expects a single string argument.", name);
 129     return 1;
 130   }
 131
 132   sfree(*var);
 133   *var = sstrdup(ci->values[0].value.string);
 134   return 0;
 135 } /* tbl_config_set_separator */
 136
 137 static int tbl_config_append_array_i(char *name, size_t **var, size_t *len,
 138                                      oconfig_item_t *ci) {
 139   size_t *tmp;
 140   size_t num;
 141
 142   if (1 > ci->values_num) {
 143     log_err("\"%s\" expects at least one argument.", name);
 144     return 1;
 145   }
 146
 147   num = (size_t)ci->values_num;
 148   for (size_t i = 0; i < num; ++i) {
 149     if (OCONFIG_TYPE_NUMBER != ci->values[i].type) {
 150       log_err("\"%s\" expects numerical arguments only.", name);
 151       return 1;
 152     }
 153   }
 154
 155   tmp = realloc(*var, ((*len) + num) * sizeof(**var));
 156   if (NULL == tmp) {
 157     char errbuf[1024];
 158     log_err("realloc failed: %s.", sstrerror(errno, errbuf, sizeof(errbuf)));
 159     return -1;
 160   }
 161   *var = tmp;
 162
 163   for (size_t i = 0; i < num; ++i) {
 164     (*var)[*len] = (size_t)ci->values[i].value.number;
 165     (*len)++;
 166   }
 167
 168   return 0;
 169 } /* tbl_config_append_array_s */
 170
 171 static int tbl_config_result(tbl_t *tbl, oconfig_item_t *ci) {
 172   tbl_result_t *res;
 173
 174   int status = 0;
 175
 176   if (0 != ci->values_num) {
 177     log_err("<Result> does not expect any arguments.");
 178     return 1;
 179   }
 180
 181   res = realloc(tbl->results, (tbl->results_num + 1) * sizeof(*tbl->results));
 182   if (res == NULL) {
 183     char errbuf[1024];
 184     log_err("realloc failed: %s.", sstrerror(errno, errbuf, sizeof(errbuf)));
 185     return -1;
 186   }
 187
 188   tbl->results = res;
 189   ++tbl->results_num;
 190
 191   res = tbl->results + tbl->results_num - 1;
 192   tbl_result_setup(res);
 193
 194   for (int i = 0; i < ci->children_num; ++i) {
 195     oconfig_item_t *c = ci->children + i;
 196
 197     if (0 == strcasecmp(c->key, "Type"))
 198       tbl_config_set_s(c->key, &res->type, c);
 199     else if (0 == strcasecmp(c->key, "InstancePrefix"))
 200       tbl_config_set_s(c->key, &res->instance_prefix, c);
 201     else if (0 == strcasecmp(c->key, "InstancesFrom"))
 202       tbl_config_append_array_i(c->key, &res->instances, &res->instances_num,
 203                                 c);
 204     else if (0 == strcasecmp(c->key, "ValuesFrom"))
 205       tbl_config_append_array_i(c->key, &res->values, &res->values_num, c);
 206     else
 207       log_warn("Ignoring unknown config key \"%s\" "
 208                " in <Result>.",
 209                c->key);
 210   }
 211
 212   if (NULL == res->type) {
 213     log_err("No \"Type\" option specified for <Result> "
 214             "in table \"%s\".",
 215             tbl->file);
 216     status = 1;
 217   }
 218
 219   if (NULL == res->values) {
 220     log_err("No \"ValuesFrom\" option specified for <Result> "
 221             "in table \"%s\".",
 222             tbl->file);
 223     status = 1;
 224   }
 225
 226   if (0 != status) {
 227     tbl_result_clear(res);
 228     --tbl->results_num;
 229     return status;
 230   }
 231   return 0;
 232 } /* tbl_config_result */
 233
 234 static int tbl_config_table(oconfig_item_t *ci) {
 235   tbl_t *tbl;
 236
 237   int status = 0;
 238
 239   if ((1 != ci->values_num) || (OCONFIG_TYPE_STRING != ci->values[0].type)) {
 240     log_err("<Table> expects a single string argument.");
 241     return 1;
 242   }
 243
 244   tbl = realloc(tables, (tables_num + 1) * sizeof(*tables));
 245   if (NULL == tbl) {
 246     char errbuf[1024];
 247     log_err("realloc failed: %s.", sstrerror(errno, errbuf, sizeof(errbuf)));
 248     return -1;
 249   }
 250
 251   tables = tbl;
 252   ++tables_num;
 253
 254   tbl = tables + tables_num - 1;
 255   tbl_setup(tbl, ci->values[0].value.string);
 256
 257   for (size_t i = 0; i < ((size_t)ci->children_num); ++i) {
 258     oconfig_item_t *c = ci->children + i;
 259
 260     if (0 == strcasecmp(c->key, "Separator"))
 261       tbl_config_set_s(c->key, &tbl->sep, c);
 262     else if (0 == strcasecmp(c->key, "Plugin"))
 263       tbl_config_set_s(c->key, &tbl->plugin_name, c);
 264     else if (0 == strcasecmp(c->key, "Instance"))
 265       tbl_config_set_s(c->key, &tbl->instance, c);
 266     else if (0 == strcasecmp(c->key, "Result"))
 267       tbl_config_result(tbl, c);
 268     else
 269       log_warn("Ignoring unknown config key \"%s\" "
 270                "in <Table %s>.",
 271                c->key, tbl->file);
 272   }
 273
 274   if (NULL == tbl->sep) {
 275     log_err("Table \"%s\" does not specify any separator.", tbl->file);
 276     status = 1;
 277   } else {
 278     strunescape(tbl->sep, strlen(tbl->sep) + 1);
 279   }
 280
 281   if (NULL == tbl->instance) {
 282     tbl->instance = sstrdup(tbl->file);
 283     replace_special(tbl->instance, strlen(tbl->instance));
 284   }
 285
 286   if (NULL == tbl->results) {
 287     log_err("Table \"%s\" does not specify any (valid) results.", tbl->file);
 288     status = 1;
 289   }
 290
 291   if (0 != status) {
 292     tbl_clear(tbl);
 293     --tables_num;
 294     return status;
 295   }
 296
 297   for (size_t i = 0; i < tbl->results_num; ++i) {
 298     tbl_result_t *res = tbl->results + i;
 299
 300     for (size_t j = 0; j < res->instances_num; ++j)
 301       if (res->instances[j] > tbl->max_colnum)
 302         tbl->max_colnum = res->instances[j];
 303
 304     for (size_t j = 0; j < res->values_num; ++j)
 305       if (res->values[j] > tbl->max_colnum)
 306         tbl->max_colnum = res->values[j];
 307   }
 308   return 0;
 309 } /* tbl_config_table */
 310
 311 static int tbl_config(oconfig_item_t *ci) {
 312   for (int i = 0; i < ci->children_num; ++i) {
 313     oconfig_item_t *c = ci->children + i;
 314
 315     if (0 == strcasecmp(c->key, "Table"))
 316       tbl_config_table(c);
 317     else
 318       log_warn("Ignoring unknown config key \"%s\".", c->key);
 319   }
 320   return 0;
 321 } /* tbl_config */
 322
 323 /*
 324  * result handling
 325  */
 326
 327 static int tbl_prepare(tbl_t *tbl) {
 328   for (size_t i = 0; i < tbl->results_num; ++i) {
 329     tbl_result_t *res = tbl->results + i;
 330
 331     res->ds = plugin_get_ds(res->type);
 332     if (NULL == res->ds) {
 333       log_err("Unknown type \"%s\". See types.db(5) for details.", res->type);
 334       return -1;
 335     }
 336
 337     if (res->values_num != res->ds->ds_num) {
 338       log_err("Invalid type \"%s\". Expected %" PRIsz " data source%s, "
 339               "got %" PRIsz ".",
 340               res->type, res->values_num, (1 == res->values_num) ? "" : "s",
 341               res->ds->ds_num);
 342       return -1;
 343     }
 344   }
 345   return 0;
 346 } /* tbl_prepare */
 347
 348 static int tbl_finish(tbl_t *tbl) {
 349   for (size_t i = 0; i < tbl->results_num; ++i)
 350     tbl->results[i].ds = NULL;
 351   return 0;
 352 } /* tbl_finish */
 353
 354 static int tbl_result_dispatch(tbl_t *tbl, tbl_result_t *res, char **fields,
 355                                size_t fields_num) {
 356   value_list_t vl = VALUE_LIST_INIT;
 357   value_t values[res->values_num];
 358
 359   assert(NULL != res->ds);
 360   assert(res->values_num == res->ds->ds_num);
 361
 362   for (size_t i = 0; i < res->values_num; ++i) {
 363     char *value;
 364
 365     assert(res->values[i] < fields_num);
 366     value = fields[res->values[i]];
 367
 368     if (0 != parse_value(value, &values[i], res->ds->ds[i].type))
 369       return -1;
 370   }
 371
 372   vl.values = values;
 373   vl.values_len = STATIC_ARRAY_SIZE(values);
 374
 375   sstrncpy(vl.plugin, (tbl->plugin_name != NULL) ? tbl->plugin_name : "table",
 376            sizeof(vl.plugin));
 377   sstrncpy(vl.plugin_instance, tbl->instance, sizeof(vl.plugin_instance));
 378   sstrncpy(vl.type, res->type, sizeof(vl.type));
 379
 380   if (0 == res->instances_num) {
 381     if (NULL != res->instance_prefix)
 382       sstrncpy(vl.type_instance, res->instance_prefix,
 383                sizeof(vl.type_instance));
 384   } else {
 385     char *instances[res->instances_num];
 386     char instances_str[DATA_MAX_NAME_LEN];
 387
 388     for (size_t i = 0; i < res->instances_num; ++i) {
 389       assert(res->instances[i] < fields_num);
 390       instances[i] = fields[res->instances[i]];
 391     }
 392
 393     strjoin(instances_str, sizeof(instances_str), instances,
 394             STATIC_ARRAY_SIZE(instances), "-");
 395     instances_str[sizeof(instances_str) - 1] = '\0';
 396
 397     vl.type_instance[sizeof(vl.type_instance) - 1] = '\0';
 398     if (NULL == res->instance_prefix)
 399       strncpy(vl.type_instance, instances_str, sizeof(vl.type_instance));
 400     else
 401       snprintf(vl.type_instance, sizeof(vl.type_instance), "%s-%s",
 402                res->instance_prefix, instances_str);
 403
 404     if ('\0' != vl.type_instance[sizeof(vl.type_instance) - 1]) {
 405       vl.type_instance[sizeof(vl.type_instance) - 1] = '\0';
 406       log_warn("Truncated type instance: %s.", vl.type_instance);
 407     }
 408   }
 409
 410   plugin_dispatch_values(&vl);
 411   return 0;
 412 } /* tbl_result_dispatch */
 413
 414 static int tbl_parse_line(tbl_t *tbl, char *line, size_t len) {
 415   char *fields[tbl->max_colnum + 1];
 416   char *ptr, *saveptr;
 417
 418   size_t i = 0;
 419
 420   ptr = line;
 421   saveptr = NULL;
 422   while (NULL != (fields[i] = strtok_r(ptr, tbl->sep, &saveptr))) {
 423     ptr = NULL;
 424     ++i;
 425
 426     if (i > tbl->max_colnum)
 427       break;
 428   }
 429
 430   if (i <= tbl->max_colnum) {
 431     log_warn("Not enough columns in line "
 432              "(expected at least %" PRIsz ", got %" PRIsz ").",
 433              tbl->max_colnum + 1, i);
 434     return -1;
 435   }
 436
 437   for (i = 0; i < tbl->results_num; ++i)
 438     if (0 != tbl_result_dispatch(tbl, tbl->results + i, fields,
 439                                  STATIC_ARRAY_SIZE(fields))) {
 440       log_err("Failed to dispatch result.");
 441       continue;
 442     }
 443   return 0;
 444 } /* tbl_parse_line */
 445
 446 static int tbl_read_table(tbl_t *tbl) {
 447   FILE *fh;
 448   char buf[4096];
 449
 450   fh = fopen(tbl->file, "r");
 451   if (NULL == fh) {
 452     char errbuf[1024];
 453     log_err("Failed to open file \"%s\": %s.", tbl->file,
 454             sstrerror(errno, errbuf, sizeof(errbuf)));
 455     return -1;
 456   }
 457
 458   buf[sizeof(buf) - 1] = '\0';
 459   while (NULL != fgets(buf, sizeof(buf), fh)) {
 460     if ('\0' != buf[sizeof(buf) - 1]) {
 461       buf[sizeof(buf) - 1] = '\0';
 462       log_warn("Table %s: Truncated line: %s", tbl->file, buf);
 463     }
 464
 465     if (0 != tbl_parse_line(tbl, buf, sizeof(buf))) {
 466       log_warn("Table %s: Failed to parse line: %s", tbl->file, buf);
 467       continue;
 468     }
 469   }
 470
 471   if (0 != ferror(fh)) {
 472     char errbuf[1024];
 473     log_err("Failed to read from file \"%s\": %s.", tbl->file,
 474             sstrerror(errno, errbuf, sizeof(errbuf)));
 475     fclose(fh);
 476     return -1;
 477   }
 478
 479   fclose(fh);
 480   return 0;
 481 } /* tbl_read_table */
 482
 483 /*
 484  * collectd callbacks
 485  */
 486
 487 static int tbl_read(void) {
 488   int status = -1;
 489
 490   if (0 == tables_num)
 491     return 0;
 492
 493   for (size_t i = 0; i < tables_num; ++i) {
 494     tbl_t *tbl = tables + i;
 495
 496     if (0 != tbl_prepare(tbl)) {
 497       log_err("Failed to prepare and parse table \"%s\".", tbl->file);
 498       continue;
 499     }
 500
 501     if (0 == tbl_read_table(tbl))
 502       status = 0;
 503
 504     tbl_finish(tbl);
 505   }
 506   return status;
 507 } /* tbl_read */
 508
 509 static int tbl_shutdown(void) {
 510   for (size_t i = 0; i < tables_num; ++i)
 511     tbl_clear(&tables[i]);
 512   sfree(tables);
 513   return 0;
 514 } /* tbl_shutdown */
 515
 516 static int tbl_init(void) {
 517   if (0 == tables_num)
 518     return 0;
 519
 520   plugin_register_read("table", tbl_read);
 521   plugin_register_shutdown("table", tbl_shutdown);
 522   return 0;
 523 } /* tbl_init */
 524
 525 void module_register(void) {
 526   plugin_register_complex_config("table", tbl_config);
 527   plugin_register_init("table", tbl_init);
 528 } /* module_register */