src/tail.c

   1 /**
   2  * collectd - src/tail.c
   3  * Copyright (C) 2008       Florian octo Forster
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  20  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  21  * DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors:
  24  *   Florian octo Forster <octo at collectd.org>
  25  **/
  26
  27 #include "collectd.h"
  28
  29 #include "common.h"
  30 #include "plugin.h"
  31 #include "utils_latency_config.h"
  32 #include "utils_tail_match.h"
  33
  34 /*
  35  *  <Plugin tail>
  36  *    <File "/var/log/exim4/mainlog">
  37  *      Plugin "mail"
  38  *      Instance "exim"
  39  *      Interval 60
  40  *      <Match>
  41  *        Regex "S=([1-9][0-9]*)"
  42  *        ExcludeRegex "U=root.*S="
  43  *        DSType "CounterAdd"
  44  *        Type "ipt_bytes"
  45  *        Instance "total"
  46  *      </Match>
  47  *    </File>
  48  *  </Plugin>
  49  */
  50
  51 struct ctail_config_match_s {
  52   char *regex;
  53   char *excluderegex;
  54   int flags;
  55   char *type;
  56   char *type_instance;
  57   cdtime_t interval;
  58   latency_config_t latency;
  59 };
  60 typedef struct ctail_config_match_s ctail_config_match_t;
  61
  62 static cu_tail_match_t **tail_match_list;
  63 static size_t tail_match_list_num;
  64 static cdtime_t tail_match_list_intervals[255];
  65
  66 static int ctail_config_add_match_dstype(ctail_config_match_t *cm,
  67                                          oconfig_item_t *ci) {
  68   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING)) {
  69     WARNING("tail plugin: `DSType' needs exactly one string argument.");
  70     return -1;
  71   }
  72
  73   char const *ds_type = ci->values[0].value.string;
  74   if (strncasecmp("Gauge", ds_type, strlen("Gauge")) == 0) {
  75     cm->flags = UTILS_MATCH_DS_TYPE_GAUGE;
  76     if (strcasecmp("GaugeAverage", ds_type) == 0)
  77       cm->flags |= UTILS_MATCH_CF_GAUGE_AVERAGE;
  78     else if (strcasecmp("GaugeMin", ds_type) == 0)
  79       cm->flags |= UTILS_MATCH_CF_GAUGE_MIN;
  80     else if (strcasecmp("GaugeMax", ds_type) == 0)
  81       cm->flags |= UTILS_MATCH_CF_GAUGE_MAX;
  82     else if (strcasecmp("GaugeLast", ds_type) == 0)
  83       cm->flags |= UTILS_MATCH_CF_GAUGE_LAST;
  84     else if (strcasecmp("GaugeInc", ds_type) == 0)
  85       cm->flags |= UTILS_MATCH_CF_GAUGE_INC;
  86     else if (strcasecmp("GaugeAdd", ds_type) == 0)
  87       cm->flags |= UTILS_MATCH_CF_GAUGE_ADD;
  88     else if (strcasecmp("GaugePersist", ci->values[0].value.string) == 0)
  89       cm->flags |= UTILS_MATCH_CF_GAUGE_PERSIST;
  90     else
  91       cm->flags = 0;
  92   } else if (strcasecmp("Distribution", ds_type) == 0) {
  93     cm->flags = UTILS_MATCH_DS_TYPE_GAUGE | UTILS_MATCH_CF_GAUGE_DIST;
  94
  95     int status = latency_config(&cm->latency, ci, "tail");
  96     if (status != 0)
  97       return status;
  98   } else if (strncasecmp("Counter", ds_type, strlen("Counter")) == 0) {
  99     cm->flags = UTILS_MATCH_DS_TYPE_COUNTER;
 100     if (strcasecmp("CounterSet", ds_type) == 0)
 101       cm->flags |= UTILS_MATCH_CF_COUNTER_SET;
 102     else if (strcasecmp("CounterAdd", ds_type) == 0)
 103       cm->flags |= UTILS_MATCH_CF_COUNTER_ADD;
 104     else if (strcasecmp("CounterInc", ds_type) == 0)
 105       cm->flags |= UTILS_MATCH_CF_COUNTER_INC;
 106     else
 107       cm->flags = 0;
 108   } else if (strncasecmp("Derive", ds_type, strlen("Derive")) == 0) {
 109     cm->flags = UTILS_MATCH_DS_TYPE_DERIVE;
 110     if (strcasecmp("DeriveSet", ds_type) == 0)
 111       cm->flags |= UTILS_MATCH_CF_DERIVE_SET;
 112     else if (strcasecmp("DeriveAdd", ds_type) == 0)
 113       cm->flags |= UTILS_MATCH_CF_DERIVE_ADD;
 114     else if (strcasecmp("DeriveInc", ds_type) == 0)
 115       cm->flags |= UTILS_MATCH_CF_DERIVE_INC;
 116     else
 117       cm->flags = 0;
 118   } else if (strncasecmp("Absolute", ds_type, strlen("Absolute")) == 0) {
 119     cm->flags = UTILS_MATCH_DS_TYPE_ABSOLUTE;
 120     if (strcasecmp("AbsoluteSet", ds_type) == 0)
 121       cm->flags |= UTILS_MATCH_CF_ABSOLUTE_SET;
 122     else
 123       cm->flags = 0;
 124   } else {
 125     cm->flags = 0;
 126   }
 127
 128   if (cm->flags == 0) {
 129     WARNING("tail plugin: `%s' is not a valid argument to `DSType'.",
 130             ci->values[0].value.string);
 131     return -1;
 132   }
 133
 134   return 0;
 135 } /* int ctail_config_add_match_dstype */
 136
 137 static int ctail_config_add_match(cu_tail_match_t *tm, const char *plugin_name,
 138                                   const char *plugin_instance,
 139                                   oconfig_item_t *ci, cdtime_t interval) {
 140   ctail_config_match_t cm = {0};
 141   int status;
 142
 143   if (ci->values_num != 0) {
 144     WARNING("tail plugin: Ignoring arguments for the `Match' block.");
 145   }
 146
 147   status = 0;
 148   for (int i = 0; i < ci->children_num; i++) {
 149     oconfig_item_t *option = ci->children + i;
 150
 151     if (strcasecmp("Regex", option->key) == 0)
 152       status = cf_util_get_string(option, &cm.regex);
 153     else if (strcasecmp("ExcludeRegex", option->key) == 0)
 154       status = cf_util_get_string(option, &cm.excluderegex);
 155     else if (strcasecmp("DSType", option->key) == 0)
 156       status = ctail_config_add_match_dstype(&cm, option);
 157     else if (strcasecmp("Type", option->key) == 0)
 158       status = cf_util_get_string(option, &cm.type);
 159     else if (strcasecmp("Instance", option->key) == 0)
 160       status = cf_util_get_string(option, &cm.type_instance);
 161     else {
 162       WARNING("tail plugin: Option `%s' not allowed here.", option->key);
 163       status = -1;
 164     }
 165
 166     if (status != 0)
 167       break;
 168   } /* for (i = 0; i < ci->children_num; i++) */
 169
 170   while (status == 0) {
 171     if (cm.regex == NULL) {
 172       WARNING("tail plugin: `Regex' missing in `Match' block.");
 173       status = -1;
 174       break;
 175     }
 176
 177     if (cm.type == NULL) {
 178       WARNING("tail plugin: `Type' missing in `Match' block.");
 179       status = -1;
 180       break;
 181     }
 182
 183     if (cm.flags == 0) {
 184       WARNING("tail plugin: `DSType' missing in `Match' block.");
 185       status = -1;
 186       break;
 187     }
 188
 189     break;
 190   } /* while (status == 0) */
 191
 192   if (status == 0) {
 193     // TODO(octo): there's nothing "simple" about the latency stuff …
 194     status = tail_match_add_match_simple(
 195         tm, cm.regex, cm.excluderegex, cm.flags,
 196         (plugin_name != NULL) ? plugin_name : "tail", plugin_instance, cm.type,
 197         cm.type_instance, cm.latency, interval);
 198
 199     if (status != 0)
 200       ERROR("tail plugin: tail_match_add_match_simple failed.");
 201   }
 202
 203   sfree(cm.regex);
 204   sfree(cm.excluderegex);
 205   sfree(cm.type);
 206   sfree(cm.type_instance);
 207   latency_config_free(cm.latency);
 208
 209   return status;
 210 } /* int ctail_config_add_match */
 211
 212 static int ctail_config_add_file(oconfig_item_t *ci) {
 213   cu_tail_match_t *tm;
 214   cdtime_t interval = 0;
 215   char *plugin_name = NULL;
 216   char *plugin_instance = NULL;
 217   int num_matches = 0;
 218
 219   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING)) {
 220     WARNING("tail plugin: `File' needs exactly one string argument.");
 221     return -1;
 222   }
 223
 224   tm = tail_match_create(ci->values[0].value.string);
 225   if (tm == NULL) {
 226     ERROR("tail plugin: tail_match_create (%s) failed.",
 227           ci->values[0].value.string);
 228     return -1;
 229   }
 230
 231   for (int i = 0; i < ci->children_num; i++) {
 232     oconfig_item_t *option = ci->children + i;
 233     int status = 0;
 234
 235     if (strcasecmp("Plugin", option->key) == 0)
 236       status = cf_util_get_string(option, &plugin_name);
 237     else if (strcasecmp("Instance", option->key) == 0)
 238       status = cf_util_get_string(option, &plugin_instance);
 239     else if (strcasecmp("Interval", option->key) == 0)
 240       cf_util_get_cdtime(option, &interval);
 241     else if (strcasecmp("Match", option->key) == 0) {
 242       status = ctail_config_add_match(tm, plugin_name, plugin_instance, option,
 243                                       interval);
 244       if (status == 0)
 245         num_matches++;
 246       /* Be mild with failed matches.. */
 247       status = 0;
 248     } else {
 249       status = -1;
 250     }
 251
 252     if (status != 0)
 253       break;
 254   } /* for (i = 0; i < ci->children_num; i++) */
 255
 256   sfree(plugin_name);
 257   sfree(plugin_instance);
 258
 259   if (num_matches == 0) {
 260     ERROR("tail plugin: No (valid) matches found for file `%s'.",
 261           ci->values[0].value.string);
 262     tail_match_destroy(tm);
 263     return -1;
 264   } else {
 265     cu_tail_match_t **temp;
 266
 267     temp = realloc(tail_match_list,
 268                    sizeof(cu_tail_match_t *) * (tail_match_list_num + 1));
 269     if (temp == NULL) {
 270       ERROR("tail plugin: realloc failed.");
 271       tail_match_destroy(tm);
 272       return -1;
 273     }
 274
 275     tail_match_list = temp;
 276     tail_match_list[tail_match_list_num] = tm;
 277     tail_match_list_intervals[tail_match_list_num] = interval;
 278     tail_match_list_num++;
 279   }
 280
 281   return 0;
 282 } /* int ctail_config_add_file */
 283
 284 static int ctail_config(oconfig_item_t *ci) {
 285   for (int i = 0; i < ci->children_num; i++) {
 286     oconfig_item_t *option = ci->children + i;
 287
 288     if (strcasecmp("File", option->key) == 0)
 289       ctail_config_add_file(option);
 290     else {
 291       WARNING("tail plugin: Option `%s' not allowed here.", option->key);
 292     }
 293   } /* for (i = 0; i < ci->children_num; i++) */
 294
 295   return 0;
 296 } /* int ctail_config */
 297
 298 static int ctail_read(user_data_t *ud) {
 299   int status;
 300
 301   status = tail_match_read((cu_tail_match_t *)ud->data);
 302   if (status != 0) {
 303     ERROR("tail plugin: tail_match_read failed.");
 304     return -1;
 305   }
 306
 307   return 0;
 308 } /* int ctail_read */
 309
 310 static int ctail_init(void) {
 311   char str[255];
 312
 313   if (tail_match_list_num == 0) {
 314     WARNING("tail plugin: File list is empty. Returning an error.");
 315     return -1;
 316   }
 317
 318   for (size_t i = 0; i < tail_match_list_num; i++) {
 319     snprintf(str, sizeof(str), "tail-%zu", i);
 320
 321     plugin_register_complex_read(NULL, str, ctail_read,
 322                                  tail_match_list_intervals[i],
 323                                  &(user_data_t){
 324                                      .data = tail_match_list[i],
 325                                  });
 326   }
 327
 328   return 0;
 329 } /* int ctail_init */
 330
 331 static int ctail_shutdown(void) {
 332   for (size_t i = 0; i < tail_match_list_num; i++) {
 333     tail_match_destroy(tail_match_list[i]);
 334     tail_match_list[i] = NULL;
 335   }
 336   sfree(tail_match_list);
 337   tail_match_list_num = 0;
 338
 339   return 0;
 340 } /* int ctail_shutdown */
 341
 342 void module_register(void) {
 343   plugin_register_complex_config("tail", ctail_config);
 344   plugin_register_init("tail", ctail_init);
 345   plugin_register_shutdown("tail", ctail_shutdown);
 346 } /* void module_register */