src/daemon/plugin.c

   1 /**
   2  * collectd - src/plugin.c
   3  * Copyright (C) 2005-2014  Florian octo Forster
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  20  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  21  * DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors:
  24  *   Florian octo Forster <octo at collectd.org>
  25  *   Sebastian Harl <sh at tokkee.org>
  26  **/
  27
  28 /* _GNU_SOURCE is needed in Linux to use pthread_setname_np */
  29 #define _GNU_SOURCE
  30
  31 #include "collectd.h"
  32
  33 #include "common.h"
  34 #include "configfile.h"
  35 #include "filter_chain.h"
  36 #include "plugin.h"
  37 #include "utils_avltree.h"
  38 #include "utils_cache.h"
  39 #include "utils_complain.h"
  40 #include "utils_heap.h"
  41 #include "utils_llist.h"
  42 #include "utils_random.h"
  43 #include "utils_time.h"
  44
  45 #if HAVE_PTHREAD_NP_H
  46 #include <pthread_np.h> /* for pthread_set_name_np(3) */
  47 #endif
  48
  49 #include <dlfcn.h>
  50
  51 /*
  52  * Private structures
  53  */
  54 struct callback_func_s {
  55   void *cf_callback;
  56   user_data_t cf_udata;
  57   plugin_ctx_t cf_ctx;
  58 };
  59 typedef struct callback_func_s callback_func_t;
  60
  61 #define RF_SIMPLE 0
  62 #define RF_COMPLEX 1
  63 #define RF_REMOVE 65535
  64 struct read_func_s {
  65 /* `read_func_t' "inherits" from `callback_func_t'.
  66  * The `rf_super' member MUST be the first one in this structure! */
  67 #define rf_callback rf_super.cf_callback
  68 #define rf_udata rf_super.cf_udata
  69 #define rf_ctx rf_super.cf_ctx
  70   callback_func_t rf_super;
  71   char rf_group[DATA_MAX_NAME_LEN];
  72   char *rf_name;
  73   int rf_type;
  74   cdtime_t rf_interval;
  75   cdtime_t rf_effective_interval;
  76   cdtime_t rf_next_read;
  77 };
  78 typedef struct read_func_s read_func_t;
  79
  80 struct write_queue_s;
  81 typedef struct write_queue_s write_queue_t;
  82 struct write_queue_s {
  83   value_list_t *vl;
  84   plugin_ctx_t ctx;
  85   write_queue_t *next;
  86 };
  87
  88 struct flush_callback_s {
  89   char *name;
  90   cdtime_t timeout;
  91 };
  92 typedef struct flush_callback_s flush_callback_t;
  93
  94 /*
  95  * Private variables
  96  */
  97 static c_avl_tree_t *plugins_loaded = NULL;
  98
  99 static llist_t *list_init;
 100 static llist_t *list_write;
 101 static llist_t *list_flush;
 102 static llist_t *list_missing;
 103 static llist_t *list_shutdown;
 104 static llist_t *list_log;
 105 static llist_t *list_notification;
 106
 107 static fc_chain_t *pre_cache_chain = NULL;
 108 static fc_chain_t *post_cache_chain = NULL;
 109
 110 static c_avl_tree_t *data_sets;
 111
 112 static char *plugindir = NULL;
 113
 114 #ifndef DEFAULT_MAX_READ_INTERVAL
 115 #define DEFAULT_MAX_READ_INTERVAL TIME_T_TO_CDTIME_T_STATIC(86400)
 116 #endif
 117 static c_heap_t *read_heap = NULL;
 118 static llist_t *read_list;
 119 static int read_loop = 1;
 120 static pthread_mutex_t read_lock = PTHREAD_MUTEX_INITIALIZER;
 121 static pthread_cond_t read_cond = PTHREAD_COND_INITIALIZER;
 122 static pthread_t *read_threads = NULL;
 123 static size_t read_threads_num = 0;
 124 static cdtime_t max_read_interval = DEFAULT_MAX_READ_INTERVAL;
 125
 126 static write_queue_t *write_queue_head;
 127 static write_queue_t *write_queue_tail;
 128 static long write_queue_length = 0;
 129 static _Bool write_loop = 1;
 130 static pthread_mutex_t write_lock = PTHREAD_MUTEX_INITIALIZER;
 131 static pthread_cond_t write_cond = PTHREAD_COND_INITIALIZER;
 132 static pthread_t *write_threads = NULL;
 133 static size_t write_threads_num = 0;
 134
 135 static pthread_key_t plugin_ctx_key;
 136 static _Bool plugin_ctx_key_initialized = 0;
 137
 138 static long write_limit_high = 0;
 139 static long write_limit_low = 0;
 140
 141 static derive_t stats_values_dropped = 0;
 142 static _Bool record_statistics = 0;
 143
 144 /*
 145  * Static functions
 146  */
 147 static int plugin_dispatch_values_internal(value_list_t *vl);
 148
 149 static const char *plugin_get_dir(void) {
 150   if (plugindir == NULL)
 151     return PLUGINDIR;
 152   else
 153     return plugindir;
 154 }
 155
 156 static int plugin_update_internal_statistics(void) { /* {{{ */
 157   gauge_t copy_write_queue_length = (gauge_t)write_queue_length;
 158
 159   /* Initialize `vl' */
 160   value_list_t vl = VALUE_LIST_INIT;
 161   sstrncpy(vl.plugin, "collectd", sizeof(vl.plugin));
 162   vl.interval = plugin_get_interval();
 163
 164   /* Write queue */
 165   sstrncpy(vl.plugin_instance, "write_queue", sizeof(vl.plugin_instance));
 166
 167   /* Write queue : queue length */
 168   vl.values = &(value_t){.gauge = copy_write_queue_length};
 169   vl.values_len = 1;
 170   sstrncpy(vl.type, "queue_length", sizeof(vl.type));
 171   vl.type_instance[0] = 0;
 172   plugin_dispatch_values(&vl);
 173
 174   /* Write queue : Values dropped (queue length > low limit) */
 175   vl.values = &(value_t){.gauge = (gauge_t)stats_values_dropped};
 176   vl.values_len = 1;
 177   sstrncpy(vl.type, "derive", sizeof(vl.type));
 178   sstrncpy(vl.type_instance, "dropped", sizeof(vl.type_instance));
 179   plugin_dispatch_values(&vl);
 180
 181   /* Cache */
 182   sstrncpy(vl.plugin_instance, "cache", sizeof(vl.plugin_instance));
 183
 184   /* Cache : Nb entry in cache tree */
 185   vl.values = &(value_t){.gauge = (gauge_t)uc_get_size()};
 186   vl.values_len = 1;
 187   sstrncpy(vl.type, "cache_size", sizeof(vl.type));
 188   vl.type_instance[0] = 0;
 189   plugin_dispatch_values(&vl);
 190
 191   return 0;
 192 } /* }}} int plugin_update_internal_statistics */
 193
 194 static void free_userdata(user_data_t const *ud) /* {{{ */
 195 {
 196   if (ud == NULL)
 197     return;
 198
 199   if ((ud->data != NULL) && (ud->free_func != NULL)) {
 200     ud->free_func(ud->data);
 201   }
 202 } /* }}} void free_userdata */
 203
 204 static void destroy_callback(callback_func_t *cf) /* {{{ */
 205 {
 206   if (cf == NULL)
 207     return;
 208   free_userdata(&cf->cf_udata);
 209   sfree(cf);
 210 } /* }}} void destroy_callback */
 211
 212 static void destroy_all_callbacks(llist_t **list) /* {{{ */
 213 {
 214   llentry_t *le;
 215
 216   if (*list == NULL)
 217     return;
 218
 219   le = llist_head(*list);
 220   while (le != NULL) {
 221     llentry_t *le_next;
 222
 223     le_next = le->next;
 224
 225     sfree(le->key);
 226     destroy_callback(le->value);
 227     le->value = NULL;
 228
 229     le = le_next;
 230   }
 231
 232   llist_destroy(*list);
 233   *list = NULL;
 234 } /* }}} void destroy_all_callbacks */
 235
 236 static void destroy_read_heap(void) /* {{{ */
 237 {
 238   if (read_heap == NULL)
 239     return;
 240
 241   while (42) {
 242     read_func_t *rf;
 243
 244     rf = c_heap_get_root(read_heap);
 245     if (rf == NULL)
 246       break;
 247     sfree(rf->rf_name);
 248     destroy_callback((callback_func_t *)rf);
 249   }
 250
 251   c_heap_destroy(read_heap);
 252   read_heap = NULL;
 253 } /* }}} void destroy_read_heap */
 254
 255 static int register_callback(llist_t **list, /* {{{ */
 256                              const char *name, callback_func_t *cf) {
 257   llentry_t *le;
 258   char *key;
 259
 260   if (*list == NULL) {
 261     *list = llist_create();
 262     if (*list == NULL) {
 263       ERROR("plugin: register_callback: "
 264             "llist_create failed.");
 265       destroy_callback(cf);
 266       return -1;
 267     }
 268   }
 269
 270   key = strdup(name);
 271   if (key == NULL) {
 272     ERROR("plugin: register_callback: strdup failed.");
 273     destroy_callback(cf);
 274     return -1;
 275   }
 276
 277   le = llist_search(*list, name);
 278   if (le == NULL) {
 279     le = llentry_create(key, cf);
 280     if (le == NULL) {
 281       ERROR("plugin: register_callback: "
 282             "llentry_create failed.");
 283       sfree(key);
 284       destroy_callback(cf);
 285       return -1;
 286     }
 287
 288     llist_append(*list, le);
 289   } else {
 290     callback_func_t *old_cf;
 291
 292     old_cf = le->value;
 293     le->value = cf;
 294
 295     WARNING("plugin: register_callback: "
 296             "a callback named `%s' already exists - "
 297             "overwriting the old entry!",
 298             name);
 299
 300     destroy_callback(old_cf);
 301     sfree(key);
 302   }
 303
 304   return 0;
 305 } /* }}} int register_callback */
 306
 307 static void log_list_callbacks(llist_t **list, /* {{{ */
 308                                const char *comment) {
 309   char *str;
 310   int len;
 311   int i;
 312   llentry_t *le;
 313   int n;
 314   char **keys;
 315
 316   n = llist_size(*list);
 317   if (n == 0) {
 318     INFO("%s [none]", comment);
 319     return;
 320   }
 321
 322   keys = calloc(n, sizeof(char *));
 323
 324   if (keys == NULL) {
 325     ERROR("%s: failed to allocate memory for list of callbacks", comment);
 326
 327     return;
 328   }
 329
 330   for (le = llist_head(*list), i = 0, len = 0; le != NULL; le = le->next, i++) {
 331     keys[i] = le->key;
 332     len += strlen(le->key) + 6;
 333   }
 334   str = malloc(len + 10);
 335   if (str == NULL) {
 336     ERROR("%s: failed to allocate memory for list of callbacks", comment);
 337   } else {
 338     *str = '\0';
 339     strjoin(str, len, keys, n, "', '");
 340     INFO("%s ['%s']", comment, str);
 341     sfree(str);
 342   }
 343   sfree(keys);
 344 } /* }}} void log_list_callbacks */
 345
 346 static int create_register_callback(llist_t **list, /* {{{ */
 347                                     const char *name, void *callback,
 348                                     user_data_t const *ud) {
 349   callback_func_t *cf;
 350
 351   cf = calloc(1, sizeof(*cf));
 352   if (cf == NULL) {
 353     free_userdata(ud);
 354     ERROR("plugin: create_register_callback: calloc failed.");
 355     return -1;
 356   }
 357
 358   cf->cf_callback = callback;
 359   if (ud == NULL) {
 360     cf->cf_udata.data = NULL;
 361     cf->cf_udata.free_func = NULL;
 362   } else {
 363     cf->cf_udata = *ud;
 364   }
 365
 366   cf->cf_ctx = plugin_get_ctx();
 367
 368   return register_callback(list, name, cf);
 369 } /* }}} int create_register_callback */
 370
 371 static int plugin_unregister(llist_t *list, const char *name) /* {{{ */
 372 {
 373   llentry_t *e;
 374
 375   if (list == NULL)
 376     return -1;
 377
 378   e = llist_search(list, name);
 379   if (e == NULL)
 380     return -1;
 381
 382   llist_remove(list, e);
 383
 384   sfree(e->key);
 385   destroy_callback(e->value);
 386
 387   llentry_destroy(e);
 388
 389   return 0;
 390 } /* }}} int plugin_unregister */
 391
 392 /*
 393  * (Try to) load the shared object `file'. Won't complain if it isn't a shared
 394  * object, but it will bitch about a shared object not having a
 395  * ``module_register'' symbol..
 396  */
 397 static int plugin_load_file(const char *file, _Bool global) {
 398   void (*reg_handle)(void);
 399
 400   int flags = RTLD_NOW;
 401   if (global)
 402     flags |= RTLD_GLOBAL;
 403
 404   void *dlh = dlopen(file, flags);
 405
 406   if (dlh == NULL) {
 407     char errbuf[1024] = "";
 408
 409     snprintf(errbuf, sizeof(errbuf),
 410              "dlopen (\"%s\") failed: %s. "
 411              "The most common cause for this problem is "
 412              "missing dependencies. Use ldd(1) to check "
 413              "the dependencies of the plugin "
 414              "/ shared object.",
 415              file, dlerror());
 416
 417     ERROR("%s", errbuf);
 418     /* Make sure this is printed to STDERR in any case, but also
 419      * make sure it's printed only once. */
 420     if (list_log != NULL)
 421       fprintf(stderr, "ERROR: %s\n", errbuf);
 422
 423     return 1;
 424   }
 425
 426   reg_handle = (void (*)(void))dlsym(dlh, "module_register");
 427   if (reg_handle == NULL) {
 428     WARNING("Couldn't find symbol \"module_register\" in \"%s\": %s\n", file,
 429             dlerror());
 430     dlclose(dlh);
 431     return -1;
 432   }
 433
 434   (*reg_handle)();
 435
 436   return 0;
 437 }
 438
 439 static void *plugin_read_thread(void __attribute__((unused)) * args) {
 440   while (read_loop != 0) {
 441     read_func_t *rf;
 442     plugin_ctx_t old_ctx;
 443     cdtime_t start;
 444     cdtime_t now;
 445     cdtime_t elapsed;
 446     int status;
 447     int rf_type;
 448     int rc;
 449
 450     /* Get the read function that needs to be read next.
 451      * We don't need to hold "read_lock" for the heap, but we need
 452      * to call c_heap_get_root() and pthread_cond_wait() in the
 453      * same protected block. */
 454     pthread_mutex_lock(&read_lock);
 455     rf = c_heap_get_root(read_heap);
 456     if (rf == NULL) {
 457       pthread_cond_wait(&read_cond, &read_lock);
 458       pthread_mutex_unlock(&read_lock);
 459       continue;
 460     }
 461     pthread_mutex_unlock(&read_lock);
 462
 463     if (rf->rf_interval == 0) {
 464       /* this should not happen, because the interval is set
 465        * for each plugin when loading it
 466        * XXX: issue a warning? */
 467       rf->rf_interval = plugin_get_interval();
 468       rf->rf_effective_interval = rf->rf_interval;
 469
 470       rf->rf_next_read = cdtime();
 471     }
 472
 473     /* sleep until this entry is due,
 474      * using pthread_cond_timedwait */
 475     pthread_mutex_lock(&read_lock);
 476     /* In pthread_cond_timedwait, spurious wakeups are possible
 477      * (and really happen, at least on NetBSD with > 1 CPU), thus
 478      * we need to re-evaluate the condition every time
 479      * pthread_cond_timedwait returns. */
 480     rc = 0;
 481     while ((read_loop != 0) && (cdtime() < rf->rf_next_read) && rc == 0) {
 482       rc = pthread_cond_timedwait(&read_cond, &read_lock,
 483                                   &CDTIME_T_TO_TIMESPEC(rf->rf_next_read));
 484     }
 485
 486     /* Must hold `read_lock' when accessing `rf->rf_type'. */
 487     rf_type = rf->rf_type;
 488     pthread_mutex_unlock(&read_lock);
 489
 490     /* Check if we're supposed to stop.. This may have interrupted
 491      * the sleep, too. */
 492     if (read_loop == 0) {
 493       /* Insert `rf' again, so it can be free'd correctly */
 494       c_heap_insert(read_heap, rf);
 495       break;
 496     }
 497
 498     /* The entry has been marked for deletion. The linked list
 499      * entry has already been removed by `plugin_unregister_read'.
 500      * All we have to do here is free the `read_func_t' and
 501      * continue. */
 502     if (rf_type == RF_REMOVE) {
 503       DEBUG("plugin_read_thread: Destroying the `%s' "
 504             "callback.",
 505             rf->rf_name);
 506       sfree(rf->rf_name);
 507       destroy_callback((callback_func_t *)rf);
 508       rf = NULL;
 509       continue;
 510     }
 511
 512     DEBUG("plugin_read_thread: Handling `%s'.", rf->rf_name);
 513
 514     start = cdtime();
 515
 516     old_ctx = plugin_set_ctx(rf->rf_ctx);
 517
 518     if (rf_type == RF_SIMPLE) {
 519       int (*callback)(void);
 520
 521       callback = rf->rf_callback;
 522       status = (*callback)();
 523     } else {
 524       plugin_read_cb callback;
 525
 526       assert(rf_type == RF_COMPLEX);
 527
 528       callback = rf->rf_callback;
 529       status = (*callback)(&rf->rf_udata);
 530     }
 531
 532     plugin_set_ctx(old_ctx);
 533
 534     /* If the function signals failure, we will increase the
 535      * intervals in which it will be called. */
 536     if (status != 0) {
 537       rf->rf_effective_interval *= 2;
 538       if (rf->rf_effective_interval > max_read_interval)
 539         rf->rf_effective_interval = max_read_interval;
 540
 541       NOTICE("read-function of plugin `%s' failed. "
 542              "Will suspend it for %.3f seconds.",
 543              rf->rf_name, CDTIME_T_TO_DOUBLE(rf->rf_effective_interval));
 544     } else {
 545       /* Success: Restore the interval, if it was changed. */
 546       rf->rf_effective_interval = rf->rf_interval;
 547     }
 548
 549     /* update the ``next read due'' field */
 550     now = cdtime();
 551
 552     /* calculate the time spent in the read function */
 553     elapsed = (now - start);
 554
 555     if (elapsed > rf->rf_effective_interval)
 556       WARNING(
 557           "plugin_read_thread: read-function of the `%s' plugin took %.3f "
 558           "seconds, which is above its read interval (%.3f seconds). You might "
 559           "want to adjust the `Interval' or `ReadThreads' settings.",
 560           rf->rf_name, CDTIME_T_TO_DOUBLE(elapsed),
 561           CDTIME_T_TO_DOUBLE(rf->rf_effective_interval));
 562
 563     DEBUG("plugin_read_thread: read-function of the `%s' plugin took "
 564           "%.6f seconds.",
 565           rf->rf_name, CDTIME_T_TO_DOUBLE(elapsed));
 566
 567     DEBUG("plugin_read_thread: Effective interval of the "
 568           "`%s' plugin is %.3f seconds.",
 569           rf->rf_name, CDTIME_T_TO_DOUBLE(rf->rf_effective_interval));
 570
 571     /* Calculate the next (absolute) time at which this function
 572      * should be called. */
 573     rf->rf_next_read += rf->rf_effective_interval;
 574
 575     /* Check, if `rf_next_read' is in the past. */
 576     if (rf->rf_next_read < now) {
 577       /* `rf_next_read' is in the past. Insert `now'
 578        * so this value doesn't trail off into the
 579        * past too much. */
 580       rf->rf_next_read = now;
 581     }
 582
 583     DEBUG("plugin_read_thread: Next read of the `%s' plugin at %.3f.",
 584           rf->rf_name, CDTIME_T_TO_DOUBLE(rf->rf_next_read));
 585
 586     /* Re-insert this read function into the heap again. */
 587     c_heap_insert(read_heap, rf);
 588   } /* while (read_loop) */
 589
 590   pthread_exit(NULL);
 591   return (void *)0;
 592 } /* void *plugin_read_thread */
 593
 594 #ifdef PTHREAD_MAX_NAMELEN_NP
 595 #define THREAD_NAME_MAX PTHREAD_MAX_NAMELEN_NP
 596 #else
 597 #define THREAD_NAME_MAX 16
 598 #endif
 599
 600 static void set_thread_name(pthread_t tid, char const *name) {
 601 #if defined(HAVE_PTHREAD_SETNAME_NP) || defined(HAVE_PTHREAD_SET_NAME_NP)
 602
 603   /* glibc limits the length of the name and fails if the passed string
 604    * is too long, so we truncate it here. */
 605   char n[THREAD_NAME_MAX];
 606   if (strlen(name) >= THREAD_NAME_MAX)
 607     WARNING("set_thread_name(\"%s\"): name too long", name);
 608   sstrncpy(n, name, sizeof(n));
 609
 610 #if defined(HAVE_PTHREAD_SETNAME_NP)
 611   int status = pthread_setname_np(tid, n);
 612   if (status != 0) {
 613     char errbuf[1024];
 614     ERROR("set_thread_name(\"%s\"): %s", n,
 615           sstrerror(status, errbuf, sizeof(errbuf)));
 616   }
 617 #else /* if defined(HAVE_PTHREAD_SET_NAME_NP) */
 618   pthread_set_name_np(tid, n);
 619 #endif
 620
 621 #endif
 622 }
 623
 624 static void start_read_threads(size_t num) /* {{{ */
 625 {
 626   if (read_threads != NULL)
 627     return;
 628
 629   read_threads = (pthread_t *)calloc(num, sizeof(pthread_t));
 630   if (read_threads == NULL) {
 631     ERROR("plugin: start_read_threads: calloc failed.");
 632     return;
 633   }
 634
 635   read_threads_num = 0;
 636   for (size_t i = 0; i < num; i++) {
 637     int status = pthread_create(read_threads + read_threads_num,
 638                                 /* attr = */ NULL, plugin_read_thread,
 639                                 /* arg = */ NULL);
 640     if (status != 0) {
 641       char errbuf[1024];
 642       ERROR("plugin: start_read_threads: pthread_create failed "
 643             "with status %i (%s).",
 644             status, sstrerror(status, errbuf, sizeof(errbuf)));
 645       return;
 646     }
 647
 648     char name[THREAD_NAME_MAX];
 649     snprintf(name, sizeof(name), "reader#%zu", read_threads_num);
 650     set_thread_name(read_threads[read_threads_num], name);
 651
 652     read_threads_num++;
 653   } /* for (i) */
 654 } /* }}} void start_read_threads */
 655
 656 static void stop_read_threads(void) {
 657   if (read_threads == NULL)
 658     return;
 659
 660   INFO("collectd: Stopping %zu read threads.", read_threads_num);
 661
 662   pthread_mutex_lock(&read_lock);
 663   read_loop = 0;
 664   DEBUG("plugin: stop_read_threads: Signalling `read_cond'");
 665   pthread_cond_broadcast(&read_cond);
 666   pthread_mutex_unlock(&read_lock);
 667
 668   for (size_t i = 0; i < read_threads_num; i++) {
 669     if (pthread_join(read_threads[i], NULL) != 0) {
 670       ERROR("plugin: stop_read_threads: pthread_join failed.");
 671     }
 672     read_threads[i] = (pthread_t)0;
 673   }
 674   sfree(read_threads);
 675   read_threads_num = 0;
 676 } /* void stop_read_threads */
 677
 678 static void plugin_value_list_free(value_list_t *vl) /* {{{ */
 679 {
 680   if (vl == NULL)
 681     return;
 682
 683   meta_data_destroy(vl->meta);
 684   sfree(vl->values);
 685   sfree(vl);
 686 } /* }}} void plugin_value_list_free */
 687
 688 static value_list_t *
 689 plugin_value_list_clone(value_list_t const *vl_orig) /* {{{ */
 690 {
 691   value_list_t *vl;
 692
 693   if (vl_orig == NULL)
 694     return NULL;
 695
 696   vl = malloc(sizeof(*vl));
 697   if (vl == NULL)
 698     return NULL;
 699   memcpy(vl, vl_orig, sizeof(*vl));
 700
 701   if (vl->host[0] == 0)
 702     sstrncpy(vl->host, hostname_g, sizeof(vl->host));
 703
 704   vl->values = calloc(vl_orig->values_len, sizeof(*vl->values));
 705   if (vl->values == NULL) {
 706     plugin_value_list_free(vl);
 707     return NULL;
 708   }
 709   memcpy(vl->values, vl_orig->values,
 710          vl_orig->values_len * sizeof(*vl->values));
 711
 712   vl->meta = meta_data_clone(vl->meta);
 713   if ((vl_orig->meta != NULL) && (vl->meta == NULL)) {
 714     plugin_value_list_free(vl);
 715     return NULL;
 716   }
 717
 718   if (vl->time == 0)
 719     vl->time = cdtime();
 720
 721   /* Fill in the interval from the thread context, if it is zero. */
 722   if (vl->interval == 0) {
 723     plugin_ctx_t ctx = plugin_get_ctx();
 724
 725     if (ctx.interval != 0)
 726       vl->interval = ctx.interval;
 727     else {
 728       char name[6 * DATA_MAX_NAME_LEN];
 729       FORMAT_VL(name, sizeof(name), vl);
 730       ERROR("plugin_value_list_clone: Unable to determine "
 731             "interval from context for "
 732             "value list \"%s\". "
 733             "This indicates a broken plugin. "
 734             "Please report this problem to the "
 735             "collectd mailing list or at "
 736             "<http://collectd.org/bugs/>.",
 737             name);
 738       vl->interval = cf_get_default_interval();
 739     }
 740   }
 741
 742   return vl;
 743 } /* }}} value_list_t *plugin_value_list_clone */
 744
 745 static int plugin_write_enqueue(value_list_t const *vl) /* {{{ */
 746 {
 747   write_queue_t *q;
 748
 749   q = malloc(sizeof(*q));
 750   if (q == NULL)
 751     return ENOMEM;
 752   q->next = NULL;
 753
 754   q->vl = plugin_value_list_clone(vl);
 755   if (q->vl == NULL) {
 756     sfree(q);
 757     return ENOMEM;
 758   }
 759
 760   /* Store context of caller (read plugin); otherwise, it would not be
 761    * available to the write plugins when actually dispatching the
 762    * value-list later on. */
 763   q->ctx = plugin_get_ctx();
 764
 765   pthread_mutex_lock(&write_lock);
 766
 767   if (write_queue_tail == NULL) {
 768     write_queue_head = q;
 769     write_queue_tail = q;
 770     write_queue_length = 1;
 771   } else {
 772     write_queue_tail->next = q;
 773     write_queue_tail = q;
 774     write_queue_length += 1;
 775   }
 776
 777   pthread_cond_signal(&write_cond);
 778   pthread_mutex_unlock(&write_lock);
 779
 780   return 0;
 781 } /* }}} int plugin_write_enqueue */
 782
 783 static value_list_t *plugin_write_dequeue(void) /* {{{ */
 784 {
 785   write_queue_t *q;
 786   value_list_t *vl;
 787
 788   pthread_mutex_lock(&write_lock);
 789
 790   while (write_loop && (write_queue_head == NULL))
 791     pthread_cond_wait(&write_cond, &write_lock);
 792
 793   if (write_queue_head == NULL) {
 794     pthread_mutex_unlock(&write_lock);
 795     return NULL;
 796   }
 797
 798   q = write_queue_head;
 799   write_queue_head = q->next;
 800   write_queue_length -= 1;
 801   if (write_queue_head == NULL) {
 802     write_queue_tail = NULL;
 803     assert(0 == write_queue_length);
 804   }
 805
 806   pthread_mutex_unlock(&write_lock);
 807
 808   (void)plugin_set_ctx(q->ctx);
 809
 810   vl = q->vl;
 811   sfree(q);
 812   return vl;
 813 } /* }}} value_list_t *plugin_write_dequeue */
 814
 815 static void *plugin_write_thread(void __attribute__((unused)) * args) /* {{{ */
 816 {
 817   while (write_loop) {
 818     value_list_t *vl = plugin_write_dequeue();
 819     if (vl == NULL)
 820       continue;
 821
 822     plugin_dispatch_values_internal(vl);
 823
 824     plugin_value_list_free(vl);
 825   }
 826
 827   pthread_exit(NULL);
 828   return (void *)0;
 829 } /* }}} void *plugin_write_thread */
 830
 831 static void start_write_threads(size_t num) /* {{{ */
 832 {
 833   if (write_threads != NULL)
 834     return;
 835
 836   write_threads = (pthread_t *)calloc(num, sizeof(pthread_t));
 837   if (write_threads == NULL) {
 838     ERROR("plugin: start_write_threads: calloc failed.");
 839     return;
 840   }
 841
 842   write_threads_num = 0;
 843   for (size_t i = 0; i < num; i++) {
 844     int status = pthread_create(write_threads + write_threads_num,
 845                                 /* attr = */ NULL, plugin_write_thread,
 846                                 /* arg = */ NULL);
 847     if (status != 0) {
 848       char errbuf[1024];
 849       ERROR("plugin: start_write_threads: pthread_create failed "
 850             "with status %i (%s).",
 851             status, sstrerror(status, errbuf, sizeof(errbuf)));
 852       return;
 853     }
 854
 855     char name[THREAD_NAME_MAX];
 856     snprintf(name, sizeof(name), "writer#%zu", write_threads_num);
 857     set_thread_name(write_threads[write_threads_num], name);
 858
 859     write_threads_num++;
 860   } /* for (i) */
 861 } /* }}} void start_write_threads */
 862
 863 static void stop_write_threads(void) /* {{{ */
 864 {
 865   write_queue_t *q;
 866   size_t i;
 867
 868   if (write_threads == NULL)
 869     return;
 870
 871   INFO("collectd: Stopping %zu write threads.", write_threads_num);
 872
 873   pthread_mutex_lock(&write_lock);
 874   write_loop = 0;
 875   DEBUG("plugin: stop_write_threads: Signalling `write_cond'");
 876   pthread_cond_broadcast(&write_cond);
 877   pthread_mutex_unlock(&write_lock);
 878
 879   for (i = 0; i < write_threads_num; i++) {
 880     if (pthread_join(write_threads[i], NULL) != 0) {
 881       ERROR("plugin: stop_write_threads: pthread_join failed.");
 882     }
 883     write_threads[i] = (pthread_t)0;
 884   }
 885   sfree(write_threads);
 886   write_threads_num = 0;
 887
 888   pthread_mutex_lock(&write_lock);
 889   i = 0;
 890   for (q = write_queue_head; q != NULL;) {
 891     write_queue_t *q1 = q;
 892     plugin_value_list_free(q->vl);
 893     q = q->next;
 894     sfree(q1);
 895     i++;
 896   }
 897   write_queue_head = NULL;
 898   write_queue_tail = NULL;
 899   write_queue_length = 0;
 900   pthread_mutex_unlock(&write_lock);
 901
 902   if (i > 0) {
 903     WARNING("plugin: %zu value list%s left after shutting down "
 904             "the write threads.",
 905             i, (i == 1) ? " was" : "s were");
 906   }
 907 } /* }}} void stop_write_threads */
 908
 909 /*
 910  * Public functions
 911  */
 912 void plugin_set_dir(const char *dir) {
 913   sfree(plugindir);
 914
 915   if (dir == NULL) {
 916     plugindir = NULL;
 917     return;
 918   }
 919
 920   plugindir = strdup(dir);
 921   if (plugindir == NULL)
 922     ERROR("plugin_set_dir: strdup(\"%s\") failed", dir);
 923 }
 924
 925 static _Bool plugin_is_loaded(char const *name) {
 926   int status;
 927
 928   if (plugins_loaded == NULL)
 929     plugins_loaded =
 930         c_avl_create((int (*)(const void *, const void *))strcasecmp);
 931   assert(plugins_loaded != NULL);
 932
 933   status = c_avl_get(plugins_loaded, name, /* ret_value = */ NULL);
 934   return status == 0;
 935 }
 936
 937 static int plugin_mark_loaded(char const *name) {
 938   char *name_copy;
 939   int status;
 940
 941   name_copy = strdup(name);
 942   if (name_copy == NULL)
 943     return ENOMEM;
 944
 945   status = c_avl_insert(plugins_loaded,
 946                         /* key = */ name_copy, /* value = */ NULL);
 947   return status;
 948 }
 949
 950 static void plugin_free_loaded(void) {
 951   void *key;
 952   void *value;
 953
 954   if (plugins_loaded == NULL)
 955     return;
 956
 957   while (c_avl_pick(plugins_loaded, &key, &value) == 0) {
 958     sfree(key);
 959     assert(value == NULL);
 960   }
 961
 962   c_avl_destroy(plugins_loaded);
 963   plugins_loaded = NULL;
 964 }
 965
 966 #define BUFSIZE 512
 967 int plugin_load(char const *plugin_name, _Bool global) {
 968   DIR *dh;
 969   const char *dir;
 970   char filename[BUFSIZE] = "";
 971   char typename[BUFSIZE];
 972   int ret;
 973   struct stat statbuf;
 974   struct dirent *de;
 975   int status;
 976
 977   if (plugin_name == NULL)
 978     return EINVAL;
 979
 980   /* Check if plugin is already loaded and don't do anything in this
 981    * case. */
 982   if (plugin_is_loaded(plugin_name))
 983     return 0;
 984
 985   dir = plugin_get_dir();
 986   ret = 1;
 987
 988   /*
 989    * XXX: Magic at work:
 990    *
 991    * Some of the language bindings, for example the Python and Perl
 992    * plugins, need to be able to export symbols to the scripts they run.
 993    * For this to happen, the "Globals" flag needs to be set.
 994    * Unfortunately, this technical detail is hard to explain to the
 995    * average user and she shouldn't have to worry about this, ideally.
 996    * So in order to save everyone's sanity use a different default for a
 997    * handful of special plugins. --octo
 998    */
 999   if ((strcasecmp("perl", plugin_name) == 0) ||
1000       (strcasecmp("python", plugin_name) == 0))
1001     global = 1;
1002
1003   /* `cpu' should not match `cpufreq'. To solve this we add `.so' to the
1004    * type when matching the filename */
1005   status = snprintf(typename, sizeof(typename), "%s.so", plugin_name);
1006   if ((status < 0) || ((size_t)status >= sizeof(typename))) {
1007     WARNING("plugin_load: Filename too long: \"%s.so\"", plugin_name);
1008     return -1;
1009   }
1010
1011   if ((dh = opendir(dir)) == NULL) {
1012     char errbuf[1024];
1013     ERROR("plugin_load: opendir (%s) failed: %s", dir,
1014           sstrerror(errno, errbuf, sizeof(errbuf)));
1015     return -1;
1016   }
1017
1018   while ((de = readdir(dh)) != NULL) {
1019     if (strcasecmp(de->d_name, typename))
1020       continue;
1021
1022     status = snprintf(filename, sizeof(filename), "%s/%s", dir, de->d_name);
1023     if ((status < 0) || ((size_t)status >= sizeof(filename))) {
1024       WARNING("plugin_load: Filename too long: \"%s/%s\"", dir, de->d_name);
1025       continue;
1026     }
1027
1028     if (lstat(filename, &statbuf) == -1) {
1029       char errbuf[1024];
1030       WARNING("plugin_load: stat (\"%s\") failed: %s", filename,
1031               sstrerror(errno, errbuf, sizeof(errbuf)));
1032       continue;
1033     } else if (!S_ISREG(statbuf.st_mode)) {
1034       /* don't follow symlinks */
1035       WARNING("plugin_load: %s is not a regular file.", filename);
1036       continue;
1037     }
1038
1039     status = plugin_load_file(filename, global);
1040     if (status == 0) {
1041       /* success */
1042       plugin_mark_loaded(plugin_name);
1043       ret = 0;
1044       INFO("plugin_load: plugin \"%s\" successfully loaded.", plugin_name);
1045       break;
1046     } else {
1047       ERROR("plugin_load: Load plugin \"%s\" failed with "
1048             "status %i.",
1049             plugin_name, status);
1050     }
1051   }
1052
1053   closedir(dh);
1054
1055   if (filename[0] == 0)
1056     ERROR("plugin_load: Could not find plugin \"%s\" in %s", plugin_name, dir);
1057
1058   return ret;
1059 }
1060
1061 /*
1062  * The `register_*' functions follow
1063  */
1064 int plugin_register_config(const char *name,
1065                            int (*callback)(const char *key, const char *val),
1066                            const char **keys, int keys_num) {
1067   cf_register(name, callback, keys, keys_num);
1068   return 0;
1069 } /* int plugin_register_config */
1070
1071 int plugin_register_complex_config(const char *type,
1072                                    int (*callback)(oconfig_item_t *)) {
1073   return cf_register_complex(type, callback);
1074 } /* int plugin_register_complex_config */
1075
1076 int plugin_register_init(const char *name, int (*callback)(void)) {
1077   return create_register_callback(&list_init, name, (void *)callback, NULL);
1078 } /* plugin_register_init */
1079
1080 static int plugin_compare_read_func(const void *arg0, const void *arg1) {
1081   const read_func_t *rf0;
1082   const read_func_t *rf1;
1083
1084   rf0 = arg0;
1085   rf1 = arg1;
1086
1087   if (rf0->rf_next_read < rf1->rf_next_read)
1088     return -1;
1089   else if (rf0->rf_next_read > rf1->rf_next_read)
1090     return 1;
1091   else
1092     return 0;
1093 } /* int plugin_compare_read_func */
1094
1095 /* Add a read function to both, the heap and a linked list. The linked list if
1096  * used to look-up read functions, especially for the remove function. The heap
1097  * is used to determine which plugin to read next. */
1098 static int plugin_insert_read(read_func_t *rf) {
1099   int status;
1100   llentry_t *le;
1101
1102   rf->rf_next_read = cdtime();
1103   rf->rf_effective_interval = rf->rf_interval;
1104
1105   pthread_mutex_lock(&read_lock);
1106
1107   if (read_list == NULL) {
1108     read_list = llist_create();
1109     if (read_list == NULL) {
1110       pthread_mutex_unlock(&read_lock);
1111       ERROR("plugin_insert_read: read_list failed.");
1112       return -1;
1113     }
1114   }
1115
1116   if (read_heap == NULL) {
1117     read_heap = c_heap_create(plugin_compare_read_func);
1118     if (read_heap == NULL) {
1119       pthread_mutex_unlock(&read_lock);
1120       ERROR("plugin_insert_read: c_heap_create failed.");
1121       return -1;
1122     }
1123   }
1124
1125   le = llist_search(read_list, rf->rf_name);
1126   if (le != NULL) {
1127     pthread_mutex_unlock(&read_lock);
1128     WARNING("The read function \"%s\" is already registered. "
1129             "Check for duplicates in your configuration!",
1130             rf->rf_name);
1131     return EINVAL;
1132   }
1133
1134   le = llentry_create(rf->rf_name, rf);
1135   if (le == NULL) {
1136     pthread_mutex_unlock(&read_lock);
1137     ERROR("plugin_insert_read: llentry_create failed.");
1138     return -1;
1139   }
1140
1141   status = c_heap_insert(read_heap, rf);
1142   if (status != 0) {
1143     pthread_mutex_unlock(&read_lock);
1144     ERROR("plugin_insert_read: c_heap_insert failed.");
1145     llentry_destroy(le);
1146     return -1;
1147   }
1148
1149   /* This does not fail. */
1150   llist_append(read_list, le);
1151
1152   /* Wake up all the read threads. */
1153   pthread_cond_broadcast(&read_cond);
1154   pthread_mutex_unlock(&read_lock);
1155   return 0;
1156 } /* int plugin_insert_read */
1157
1158 int plugin_register_read(const char *name, int (*callback)(void)) {
1159   read_func_t *rf;
1160   int status;
1161
1162   rf = calloc(1, sizeof(*rf));
1163   if (rf == NULL) {
1164     ERROR("plugin_register_read: calloc failed.");
1165     return ENOMEM;
1166   }
1167
1168   rf->rf_callback = (void *)callback;
1169   rf->rf_udata.data = NULL;
1170   rf->rf_udata.free_func = NULL;
1171   rf->rf_ctx = plugin_get_ctx();
1172   rf->rf_group[0] = '\0';
1173   rf->rf_name = strdup(name);
1174   rf->rf_type = RF_SIMPLE;
1175   rf->rf_interval = plugin_get_interval();
1176
1177   status = plugin_insert_read(rf);
1178   if (status != 0) {
1179     sfree(rf->rf_name);
1180     sfree(rf);
1181   }
1182
1183   return status;
1184 } /* int plugin_register_read */
1185
1186 int plugin_register_complex_read(const char *group, const char *name,
1187                                  plugin_read_cb callback, cdtime_t interval,
1188                                  user_data_t const *user_data) {
1189   read_func_t *rf;
1190   int status;
1191
1192   rf = calloc(1, sizeof(*rf));
1193   if (rf == NULL) {
1194     free_userdata(user_data);
1195     ERROR("plugin_register_complex_read: calloc failed.");
1196     return ENOMEM;
1197   }
1198
1199   rf->rf_callback = (void *)callback;
1200   if (group != NULL)
1201     sstrncpy(rf->rf_group, group, sizeof(rf->rf_group));
1202   else
1203     rf->rf_group[0] = '\0';
1204   rf->rf_name = strdup(name);
1205   rf->rf_type = RF_COMPLEX;
1206   rf->rf_interval = (interval != 0) ? interval : plugin_get_interval();
1207
1208   /* Set user data */
1209   if (user_data == NULL) {
1210     rf->rf_udata.data = NULL;
1211     rf->rf_udata.free_func = NULL;
1212   } else {
1213     rf->rf_udata = *user_data;
1214   }
1215
1216   rf->rf_ctx = plugin_get_ctx();
1217
1218   status = plugin_insert_read(rf);
1219   if (status != 0) {
1220     free_userdata(&rf->rf_udata);
1221     sfree(rf->rf_name);
1222     sfree(rf);
1223   }
1224
1225   return status;
1226 } /* int plugin_register_complex_read */
1227
1228 int plugin_register_write(const char *name, plugin_write_cb callback,
1229                           user_data_t const *ud) {
1230   return create_register_callback(&list_write, name, (void *)callback, ud);
1231 } /* int plugin_register_write */
1232
1233 static int plugin_flush_timeout_callback(user_data_t *ud) {
1234   flush_callback_t *cb = ud->data;
1235
1236   return plugin_flush(cb->name, cb->timeout, NULL);
1237 } /* static int plugin_flush_callback */
1238
1239 static void plugin_flush_timeout_callback_free(void *data) {
1240   flush_callback_t *cb = data;
1241
1242   if (cb == NULL)
1243     return;
1244
1245   sfree(cb->name);
1246   sfree(cb);
1247 } /* static void plugin_flush_callback_free */
1248
1249 static char *plugin_flush_callback_name(const char *name) {
1250   const char *flush_prefix = "flush/";
1251   size_t prefix_size;
1252   char *flush_name;
1253   size_t name_size;
1254
1255   prefix_size = strlen(flush_prefix);
1256   name_size = strlen(name);
1257
1258   flush_name = malloc(name_size + prefix_size + 1);
1259   if (flush_name == NULL) {
1260     ERROR("plugin_flush_callback_name: malloc failed.");
1261     return NULL;
1262   }
1263
1264   sstrncpy(flush_name, flush_prefix, prefix_size + 1);
1265   sstrncpy(flush_name + prefix_size, name, name_size + 1);
1266
1267   return flush_name;
1268 } /* static char *plugin_flush_callback_name */
1269
1270 int plugin_register_flush(const char *name, plugin_flush_cb callback,
1271                           user_data_t const *ud) {
1272   int status;
1273   plugin_ctx_t ctx = plugin_get_ctx();
1274
1275   status = create_register_callback(&list_flush, name, (void *)callback, ud);
1276   if (status != 0)
1277     return status;
1278
1279   if (ctx.flush_interval != 0) {
1280     char *flush_name;
1281     flush_callback_t *cb;
1282
1283     flush_name = plugin_flush_callback_name(name);
1284     if (flush_name == NULL)
1285       return -1;
1286
1287     cb = malloc(sizeof(*cb));
1288     if (cb == NULL) {
1289       ERROR("plugin_register_flush: malloc failed.");
1290       sfree(flush_name);
1291       return -1;
1292     }
1293
1294     cb->name = strdup(name);
1295     if (cb->name == NULL) {
1296       ERROR("plugin_register_flush: strdup failed.");
1297       sfree(cb);
1298       sfree(flush_name);
1299       return -1;
1300     }
1301     cb->timeout = ctx.flush_timeout;
1302
1303     status = plugin_register_complex_read(
1304         /* group     = */ "flush",
1305         /* name      = */ flush_name,
1306         /* callback  = */ plugin_flush_timeout_callback,
1307         /* interval  = */ ctx.flush_interval,
1308         /* user data = */ &(user_data_t){
1309             .data = cb, .free_func = plugin_flush_timeout_callback_free,
1310         });
1311
1312     sfree(flush_name);
1313     return status;
1314   }
1315
1316   return 0;
1317 } /* int plugin_register_flush */
1318
1319 int plugin_register_missing(const char *name, plugin_missing_cb callback,
1320                             user_data_t const *ud) {
1321   return create_register_callback(&list_missing, name, (void *)callback, ud);
1322 } /* int plugin_register_missing */
1323
1324 int plugin_register_shutdown(const char *name, int (*callback)(void)) {
1325   return create_register_callback(&list_shutdown, name, (void *)callback, NULL);
1326 } /* int plugin_register_shutdown */
1327
1328 static void plugin_free_data_sets(void) {
1329   void *key;
1330   void *value;
1331
1332   if (data_sets == NULL)
1333     return;
1334
1335   while (c_avl_pick(data_sets, &key, &value) == 0) {
1336     data_set_t *ds = value;
1337     /* key is a pointer to ds->type */
1338
1339     sfree(ds->ds);
1340     sfree(ds);
1341   }
1342
1343   c_avl_destroy(data_sets);
1344   data_sets = NULL;
1345 } /* void plugin_free_data_sets */
1346
1347 int plugin_register_data_set(const data_set_t *ds) {
1348   data_set_t *ds_copy;
1349
1350   if ((data_sets != NULL) && (c_avl_get(data_sets, ds->type, NULL) == 0)) {
1351     NOTICE("Replacing DS `%s' with another version.", ds->type);
1352     plugin_unregister_data_set(ds->type);
1353   } else if (data_sets == NULL) {
1354     data_sets = c_avl_create((int (*)(const void *, const void *))strcmp);
1355     if (data_sets == NULL)
1356       return -1;
1357   }
1358
1359   ds_copy = malloc(sizeof(*ds_copy));
1360   if (ds_copy == NULL)
1361     return -1;
1362   memcpy(ds_copy, ds, sizeof(data_set_t));
1363
1364   ds_copy->ds = malloc(sizeof(*ds_copy->ds) * ds->ds_num);
1365   if (ds_copy->ds == NULL) {
1366     sfree(ds_copy);
1367     return -1;
1368   }
1369
1370   for (size_t i = 0; i < ds->ds_num; i++)
1371     memcpy(ds_copy->ds + i, ds->ds + i, sizeof(data_source_t));
1372
1373   return c_avl_insert(data_sets, (void *)ds_copy->type, (void *)ds_copy);
1374 } /* int plugin_register_data_set */
1375
1376 int plugin_register_log(const char *name, plugin_log_cb callback,
1377                         user_data_t const *ud) {
1378   return create_register_callback(&list_log, name, (void *)callback, ud);
1379 } /* int plugin_register_log */
1380
1381 int plugin_register_notification(const char *name,
1382                                  plugin_notification_cb callback,
1383                                  user_data_t const *ud) {
1384   return create_register_callback(&list_notification, name, (void *)callback,
1385                                   ud);
1386 } /* int plugin_register_log */
1387
1388 int plugin_unregister_config(const char *name) {
1389   cf_unregister(name);
1390   return 0;
1391 } /* int plugin_unregister_config */
1392
1393 int plugin_unregister_complex_config(const char *name) {
1394   cf_unregister_complex(name);
1395   return 0;
1396 } /* int plugin_unregister_complex_config */
1397
1398 int plugin_unregister_init(const char *name) {
1399   return plugin_unregister(list_init, name);
1400 }
1401
1402 int plugin_unregister_read(const char *name) /* {{{ */
1403 {
1404   llentry_t *le;
1405   read_func_t *rf;
1406
1407   if (name == NULL)
1408     return -ENOENT;
1409
1410   pthread_mutex_lock(&read_lock);
1411
1412   if (read_list == NULL) {
1413     pthread_mutex_unlock(&read_lock);
1414     return -ENOENT;
1415   }
1416
1417   le = llist_search(read_list, name);
1418   if (le == NULL) {
1419     pthread_mutex_unlock(&read_lock);
1420     WARNING("plugin_unregister_read: No such read function: %s", name);
1421     return -ENOENT;
1422   }
1423
1424   llist_remove(read_list, le);
1425
1426   rf = le->value;
1427   assert(rf != NULL);
1428   rf->rf_type = RF_REMOVE;
1429
1430   pthread_mutex_unlock(&read_lock);
1431
1432   llentry_destroy(le);
1433
1434   DEBUG("plugin_unregister_read: Marked `%s' for removal.", name);
1435
1436   return 0;
1437 } /* }}} int plugin_unregister_read */
1438
1439 void plugin_log_available_writers(void) {
1440   log_list_callbacks(&list_write, "Available write targets:");
1441 }
1442
1443 static int compare_read_func_group(llentry_t *e, void *ud) /* {{{ */
1444 {
1445   read_func_t *rf = e->value;
1446   char *group = ud;
1447
1448   return strcmp(rf->rf_group, (const char *)group);
1449 } /* }}} int compare_read_func_group */
1450
1451 int plugin_unregister_read_group(const char *group) /* {{{ */
1452 {
1453   llentry_t *le;
1454   read_func_t *rf;
1455
1456   int found = 0;
1457
1458   if (group == NULL)
1459     return -ENOENT;
1460
1461   pthread_mutex_lock(&read_lock);
1462
1463   if (read_list == NULL) {
1464     pthread_mutex_unlock(&read_lock);
1465     return -ENOENT;
1466   }
1467
1468   while (42) {
1469     le = llist_search_custom(read_list, compare_read_func_group, (void *)group);
1470
1471     if (le == NULL)
1472       break;
1473
1474     ++found;
1475
1476     llist_remove(read_list, le);
1477
1478     rf = le->value;
1479     assert(rf != NULL);
1480     rf->rf_type = RF_REMOVE;
1481
1482     llentry_destroy(le);
1483
1484     DEBUG("plugin_unregister_read_group: "
1485           "Marked `%s' (group `%s') for removal.",
1486           rf->rf_name, group);
1487   }
1488
1489   pthread_mutex_unlock(&read_lock);
1490
1491   if (found == 0) {
1492     WARNING("plugin_unregister_read_group: No such "
1493             "group of read function: %s",
1494             group);
1495     return -ENOENT;
1496   }
1497
1498   return 0;
1499 } /* }}} int plugin_unregister_read_group */
1500
1501 int plugin_unregister_write(const char *name) {
1502   return plugin_unregister(list_write, name);
1503 }
1504
1505 int plugin_unregister_flush(const char *name) {
1506   plugin_ctx_t ctx = plugin_get_ctx();
1507
1508   if (ctx.flush_interval != 0) {
1509     char *flush_name;
1510
1511     flush_name = plugin_flush_callback_name(name);
1512     if (flush_name != NULL) {
1513       plugin_unregister_read(flush_name);
1514       sfree(flush_name);
1515     }
1516   }
1517
1518   return plugin_unregister(list_flush, name);
1519 }
1520
1521 int plugin_unregister_missing(const char *name) {
1522   return plugin_unregister(list_missing, name);
1523 }
1524
1525 int plugin_unregister_shutdown(const char *name) {
1526   return plugin_unregister(list_shutdown, name);
1527 }
1528
1529 int plugin_unregister_data_set(const char *name) {
1530   data_set_t *ds;
1531
1532   if (data_sets == NULL)
1533     return -1;
1534
1535   if (c_avl_remove(data_sets, name, NULL, (void *)&ds) != 0)
1536     return -1;
1537
1538   sfree(ds->ds);
1539   sfree(ds);
1540
1541   return 0;
1542 } /* int plugin_unregister_data_set */
1543
1544 int plugin_unregister_log(const char *name) {
1545   return plugin_unregister(list_log, name);
1546 }
1547
1548 int plugin_unregister_notification(const char *name) {
1549   return plugin_unregister(list_notification, name);
1550 }
1551
1552 int plugin_init_all(void) {
1553   char const *chain_name;
1554   llentry_t *le;
1555   int status;
1556   int ret = 0;
1557
1558   /* Init the value cache */
1559   uc_init();
1560
1561   if (IS_TRUE(global_option_get("CollectInternalStats"))) {
1562     record_statistics = 1;
1563     plugin_register_read("collectd", plugin_update_internal_statistics);
1564   }
1565
1566   chain_name = global_option_get("PreCacheChain");
1567   pre_cache_chain = fc_chain_get_by_name(chain_name);
1568
1569   chain_name = global_option_get("PostCacheChain");
1570   post_cache_chain = fc_chain_get_by_name(chain_name);
1571
1572   write_limit_high = global_option_get_long("WriteQueueLimitHigh",
1573                                             /* default = */ 0);
1574   if (write_limit_high < 0) {
1575     ERROR("WriteQueueLimitHigh must be positive or zero.");
1576     write_limit_high = 0;
1577   }
1578
1579   write_limit_low =
1580       global_option_get_long("WriteQueueLimitLow",
1581                              /* default = */ write_limit_high / 2);
1582   if (write_limit_low < 0) {
1583     ERROR("WriteQueueLimitLow must be positive or zero.");
1584     write_limit_low = write_limit_high / 2;
1585   } else if (write_limit_low > write_limit_high) {
1586     ERROR("WriteQueueLimitLow must not be larger than "
1587           "WriteQueueLimitHigh.");
1588     write_limit_low = write_limit_high;
1589   }
1590
1591   write_threads_num = global_option_get_long("WriteThreads",
1592                                              /* default = */ 5);
1593   if (write_threads_num < 1) {
1594     ERROR("WriteThreads must be positive.");
1595     write_threads_num = 5;
1596   }
1597
1598   if ((list_init == NULL) && (read_heap == NULL))
1599     return ret;
1600
1601   /* Calling all init callbacks before checking if read callbacks
1602    * are available allows the init callbacks to register the read
1603    * callback. */
1604   le = llist_head(list_init);
1605   while (le != NULL) {
1606     callback_func_t *cf;
1607     plugin_init_cb callback;
1608     plugin_ctx_t old_ctx;
1609
1610     cf = le->value;
1611     old_ctx = plugin_set_ctx(cf->cf_ctx);
1612     callback = cf->cf_callback;
1613     status = (*callback)();
1614     plugin_set_ctx(old_ctx);
1615
1616     if (status != 0) {
1617       ERROR("Initialization of plugin `%s' "
1618             "failed with status %i. "
1619             "Plugin will be unloaded.",
1620             le->key, status);
1621       /* Plugins that register read callbacks from the init
1622        * callback should take care of appropriate error
1623        * handling themselves. */
1624       /* FIXME: Unload _all_ functions */
1625       plugin_unregister_read(le->key);
1626       ret = -1;
1627     }
1628
1629     le = le->next;
1630   }
1631
1632   start_write_threads((size_t)write_threads_num);
1633
1634   max_read_interval =
1635       global_option_get_time("MaxReadInterval", DEFAULT_MAX_READ_INTERVAL);
1636
1637   /* Start read-threads */
1638   if (read_heap != NULL) {
1639     const char *rt;
1640     int num;
1641
1642     rt = global_option_get("ReadThreads");
1643     num = atoi(rt);
1644     if (num != -1)
1645       start_read_threads((num > 0) ? ((size_t)num) : 5);
1646   }
1647   return ret;
1648 } /* void plugin_init_all */
1649
1650 /* TODO: Rename this function. */
1651 void plugin_read_all(void) {
1652   uc_check_timeout();
1653
1654   return;
1655 } /* void plugin_read_all */
1656
1657 /* Read function called when the `-T' command line argument is given. */
1658 int plugin_read_all_once(void) {
1659   int status;
1660   int return_status = 0;
1661
1662   if (read_heap == NULL) {
1663     NOTICE("No read-functions are registered.");
1664     return 0;
1665   }
1666
1667   while (42) {
1668     read_func_t *rf;
1669     plugin_ctx_t old_ctx;
1670
1671     rf = c_heap_get_root(read_heap);
1672     if (rf == NULL)
1673       break;
1674
1675     old_ctx = plugin_set_ctx(rf->rf_ctx);
1676
1677     if (rf->rf_type == RF_SIMPLE) {
1678       int (*callback)(void);
1679
1680       callback = rf->rf_callback;
1681       status = (*callback)();
1682     } else {
1683       plugin_read_cb callback;
1684
1685       callback = rf->rf_callback;
1686       status = (*callback)(&rf->rf_udata);
1687     }
1688
1689     plugin_set_ctx(old_ctx);
1690
1691     if (status != 0) {
1692       NOTICE("read-function of plugin `%s' failed.", rf->rf_name);
1693       return_status = -1;
1694     }
1695
1696     sfree(rf->rf_name);
1697     destroy_callback((void *)rf);
1698   }
1699
1700   return return_status;
1701 } /* int plugin_read_all_once */
1702
1703 int plugin_write(const char *plugin, /* {{{ */
1704                  const data_set_t *ds, const value_list_t *vl) {
1705   llentry_t *le;
1706   int status;
1707
1708   if (vl == NULL)
1709     return EINVAL;
1710
1711   if (list_write == NULL)
1712     return ENOENT;
1713
1714   if (ds == NULL) {
1715     ds = plugin_get_ds(vl->type);
1716     if (ds == NULL) {
1717       ERROR("plugin_write: Unable to lookup type `%s'.", vl->type);
1718       return ENOENT;
1719     }
1720   }
1721
1722   if (plugin == NULL) {
1723     int success = 0;
1724     int failure = 0;
1725
1726     le = llist_head(list_write);
1727     while (le != NULL) {
1728       callback_func_t *cf = le->value;
1729       plugin_write_cb callback;
1730
1731       /* do not switch plugin context; rather keep the context (interval)
1732        * information of the calling read plugin */
1733
1734       DEBUG("plugin: plugin_write: Writing values via %s.", le->key);
1735       callback = cf->cf_callback;
1736       status = (*callback)(ds, vl, &cf->cf_udata);
1737       if (status != 0)
1738         failure++;
1739       else
1740         success++;
1741
1742       le = le->next;
1743     }
1744
1745     if ((success == 0) && (failure != 0))
1746       status = -1;
1747     else
1748       status = 0;
1749   } else /* plugin != NULL */
1750   {
1751     callback_func_t *cf;
1752     plugin_write_cb callback;
1753
1754     le = llist_head(list_write);
1755     while (le != NULL) {
1756       if (strcasecmp(plugin, le->key) == 0)
1757         break;
1758
1759       le = le->next;
1760     }
1761
1762     if (le == NULL)
1763       return ENOENT;
1764
1765     cf = le->value;
1766
1767     /* do not switch plugin context; rather keep the context (interval)
1768      * information of the calling read plugin */
1769
1770     DEBUG("plugin: plugin_write: Writing values via %s.", le->key);
1771     callback = cf->cf_callback;
1772     status = (*callback)(ds, vl, &cf->cf_udata);
1773   }
1774
1775   return status;
1776 } /* }}} int plugin_write */
1777
1778 int plugin_flush(const char *plugin, cdtime_t timeout, const char *identifier) {
1779   llentry_t *le;
1780
1781   if (list_flush == NULL)
1782     return 0;
1783
1784   le = llist_head(list_flush);
1785   while (le != NULL) {
1786     callback_func_t *cf;
1787     plugin_flush_cb callback;
1788     plugin_ctx_t old_ctx;
1789
1790     if ((plugin != NULL) && (strcmp(plugin, le->key) != 0)) {
1791       le = le->next;
1792       continue;
1793     }
1794
1795     cf = le->value;
1796     old_ctx = plugin_set_ctx(cf->cf_ctx);
1797     callback = cf->cf_callback;
1798
1799     (*callback)(timeout, identifier, &cf->cf_udata);
1800
1801     plugin_set_ctx(old_ctx);
1802
1803     le = le->next;
1804   }
1805   return 0;
1806 } /* int plugin_flush */
1807
1808 int plugin_shutdown_all(void) {
1809   llentry_t *le;
1810   int ret = 0; // Assume success.
1811
1812   destroy_all_callbacks(&list_init);
1813
1814   stop_read_threads();
1815
1816   pthread_mutex_lock(&read_lock);
1817   llist_destroy(read_list);
1818   read_list = NULL;
1819   pthread_mutex_unlock(&read_lock);
1820
1821   destroy_read_heap();
1822
1823   /* blocks until all write threads have shut down. */
1824   stop_write_threads();
1825
1826   /* ask all plugins to write out the state they kept. */
1827   plugin_flush(/* plugin = */ NULL,
1828                /* timeout = */ 0,
1829                /* identifier = */ NULL);
1830
1831   le = NULL;
1832   if (list_shutdown != NULL)
1833     le = llist_head(list_shutdown);
1834
1835   while (le != NULL) {
1836     callback_func_t *cf;
1837     plugin_shutdown_cb callback;
1838     plugin_ctx_t old_ctx;
1839
1840     cf = le->value;
1841     old_ctx = plugin_set_ctx(cf->cf_ctx);
1842     callback = cf->cf_callback;
1843
1844     /* Advance the pointer before calling the callback allows
1845      * shutdown functions to unregister themselves. If done the
1846      * other way around the memory `le' points to will be freed
1847      * after callback returns. */
1848     le = le->next;
1849
1850     if ((*callback)() != 0)
1851       ret = -1;
1852
1853     plugin_set_ctx(old_ctx);
1854   }
1855
1856   /* Write plugins which use the `user_data' pointer usually need the
1857    * same data available to the flush callback. If this is the case, set
1858    * the free_function to NULL when registering the flush callback and to
1859    * the real free function when registering the write callback. This way
1860    * the data isn't freed twice. */
1861   destroy_all_callbacks(&list_flush);
1862   destroy_all_callbacks(&list_missing);
1863   destroy_all_callbacks(&list_write);
1864
1865   destroy_all_callbacks(&list_notification);
1866   destroy_all_callbacks(&list_shutdown);
1867   destroy_all_callbacks(&list_log);
1868
1869   plugin_free_loaded();
1870   plugin_free_data_sets();
1871   return ret;
1872 } /* void plugin_shutdown_all */
1873
1874 int plugin_dispatch_missing(const value_list_t *vl) /* {{{ */
1875 {
1876   if (list_missing == NULL)
1877     return 0;
1878
1879   llentry_t *le = llist_head(list_missing);
1880   while (le != NULL) {
1881     callback_func_t *cf = le->value;
1882     plugin_ctx_t old_ctx = plugin_set_ctx(cf->cf_ctx);
1883     plugin_missing_cb callback = cf->cf_callback;
1884
1885     int status = (*callback)(vl, &cf->cf_udata);
1886     plugin_set_ctx(old_ctx);
1887     if (status != 0) {
1888       if (status < 0) {
1889         ERROR("plugin_dispatch_missing: Callback function \"%s\" "
1890               "failed with status %i.",
1891               le->key, status);
1892         return status;
1893       } else {
1894         return 0;
1895       }
1896     }
1897
1898     le = le->next;
1899   }
1900   return 0;
1901 } /* int }}} plugin_dispatch_missing */
1902
1903 static int plugin_dispatch_values_internal(value_list_t *vl) {
1904   int status;
1905   static c_complain_t no_write_complaint = C_COMPLAIN_INIT_STATIC;
1906
1907   _Bool free_meta_data = 0;
1908
1909   assert(vl != NULL);
1910
1911   /* These fields are initialized by plugin_value_list_clone() if needed: */
1912   assert(vl->host[0] != 0);
1913   assert(vl->time != 0); /* The time is determined at _enqueue_ time. */
1914   assert(vl->interval != 0);
1915
1916   if (vl->type[0] == 0 || vl->values == NULL || vl->values_len < 1) {
1917     ERROR("plugin_dispatch_values: Invalid value list "
1918           "from plugin %s.",
1919           vl->plugin);
1920     return -1;
1921   }
1922
1923   /* Free meta data only if the calling function didn't specify any. In
1924    * this case matches and targets may add some and the calling function
1925    * may not expect (and therefore free) that data. */
1926   if (vl->meta == NULL)
1927     free_meta_data = 1;
1928
1929   if (list_write == NULL)
1930     c_complain_once(LOG_WARNING, &no_write_complaint,
1931                     "plugin_dispatch_values: No write callback has been "
1932                     "registered. Please load at least one output plugin, "
1933                     "if you want the collected data to be stored.");
1934
1935   if (data_sets == NULL) {
1936     ERROR("plugin_dispatch_values: No data sets registered. "
1937           "Could the types database be read? Check "
1938           "your `TypesDB' setting!");
1939     return -1;
1940   }
1941
1942   data_set_t *ds = NULL;
1943   if (c_avl_get(data_sets, vl->type, (void *)&ds) != 0) {
1944     char ident[6 * DATA_MAX_NAME_LEN];
1945
1946     FORMAT_VL(ident, sizeof(ident), vl);
1947     INFO("plugin_dispatch_values: Dataset not found: %s "
1948          "(from \"%s\"), check your types.db!",
1949          vl->type, ident);
1950     return -1;
1951   }
1952
1953   DEBUG("plugin_dispatch_values: time = %.3f; interval = %.3f; "
1954         "host = %s; "
1955         "plugin = %s; plugin_instance = %s; "
1956         "type = %s; type_instance = %s;",
1957         CDTIME_T_TO_DOUBLE(vl->time), CDTIME_T_TO_DOUBLE(vl->interval),
1958         vl->host, vl->plugin, vl->plugin_instance, vl->type, vl->type_instance);
1959
1960 #if COLLECT_DEBUG
1961   assert(0 == strcmp(ds->type, vl->type));
1962 #else
1963   if (0 != strcmp(ds->type, vl->type))
1964     WARNING("plugin_dispatch_values: (ds->type = %s) != (vl->type = %s)",
1965             ds->type, vl->type);
1966 #endif
1967
1968 #if COLLECT_DEBUG
1969   assert(ds->ds_num == vl->values_len);
1970 #else
1971   if (ds->ds_num != vl->values_len) {
1972     ERROR("plugin_dispatch_values: ds->type = %s: "
1973           "(ds->ds_num = %zu) != "
1974           "(vl->values_len = %zu)",
1975           ds->type, ds->ds_num, vl->values_len);
1976     return -1;
1977   }
1978 #endif
1979
1980   escape_slashes(vl->host, sizeof(vl->host));
1981   escape_slashes(vl->plugin, sizeof(vl->plugin));
1982   escape_slashes(vl->plugin_instance, sizeof(vl->plugin_instance));
1983   escape_slashes(vl->type, sizeof(vl->type));
1984   escape_slashes(vl->type_instance, sizeof(vl->type_instance));
1985
1986   if (pre_cache_chain != NULL) {
1987     status = fc_process_chain(ds, vl, pre_cache_chain);
1988     if (status < 0) {
1989       WARNING("plugin_dispatch_values: Running the "
1990               "pre-cache chain failed with "
1991               "status %i (%#x).",
1992               status, status);
1993     } else if (status == FC_TARGET_STOP)
1994       return 0;
1995   }
1996
1997   /* Update the value cache */
1998   uc_update(ds, vl);
1999
2000   if (post_cache_chain != NULL) {
2001     status = fc_process_chain(ds, vl, post_cache_chain);
2002     if (status < 0) {
2003       WARNING("plugin_dispatch_values: Running the "
2004               "post-cache chain failed with "
2005               "status %i (%#x).",
2006               status, status);
2007     }
2008   } else
2009     fc_default_action(ds, vl);
2010
2011   if ((free_meta_data != 0) && (vl->meta != NULL)) {
2012     meta_data_destroy(vl->meta);
2013     vl->meta = NULL;
2014   }
2015
2016   return 0;
2017 } /* int plugin_dispatch_values_internal */
2018
2019 static double get_drop_probability(void) /* {{{ */
2020 {
2021   long pos;
2022   long size;
2023   long wql;
2024
2025   pthread_mutex_lock(&write_lock);
2026   wql = write_queue_length;
2027   pthread_mutex_unlock(&write_lock);
2028
2029   if (wql < write_limit_low)
2030     return 0.0;
2031   if (wql >= write_limit_high)
2032     return 1.0;
2033
2034   pos = 1 + wql - write_limit_low;
2035   size = 1 + write_limit_high - write_limit_low;
2036
2037   return (double)pos / (double)size;
2038 } /* }}} double get_drop_probability */
2039
2040 static _Bool check_drop_value(void) /* {{{ */
2041 {
2042   static cdtime_t last_message_time = 0;
2043   static pthread_mutex_t last_message_lock = PTHREAD_MUTEX_INITIALIZER;
2044
2045   double p;
2046   double q;
2047   int status;
2048
2049   if (write_limit_high == 0)
2050     return 0;
2051
2052   p = get_drop_probability();
2053   if (p == 0.0)
2054     return 0;
2055
2056   status = pthread_mutex_trylock(&last_message_lock);
2057   if (status == 0) {
2058     cdtime_t now;
2059
2060     now = cdtime();
2061     if ((now - last_message_time) > TIME_T_TO_CDTIME_T(1)) {
2062       last_message_time = now;
2063       ERROR("plugin_dispatch_values: Low water mark "
2064             "reached. Dropping %.0f%% of metrics.",
2065             100.0 * p);
2066     }
2067     pthread_mutex_unlock(&last_message_lock);
2068   }
2069
2070   if (p == 1.0)
2071     return 1;
2072
2073   q = cdrand_d();
2074   if (q > p)
2075     return 1;
2076   else
2077     return 0;
2078 } /* }}} _Bool check_drop_value */
2079
2080 int plugin_dispatch_values(value_list_t const *vl) {
2081   int status;
2082   static pthread_mutex_t statistics_lock = PTHREAD_MUTEX_INITIALIZER;
2083
2084   if (check_drop_value()) {
2085     if (record_statistics) {
2086       pthread_mutex_lock(&statistics_lock);
2087       stats_values_dropped++;
2088       pthread_mutex_unlock(&statistics_lock);
2089     }
2090     return 0;
2091   }
2092
2093   status = plugin_write_enqueue(vl);
2094   if (status != 0) {
2095     char errbuf[1024];
2096     ERROR("plugin_dispatch_values: plugin_write_enqueue failed "
2097           "with status %i (%s).",
2098           status, sstrerror(status, errbuf, sizeof(errbuf)));
2099     return status;
2100   }
2101
2102   return 0;
2103 }
2104
2105 __attribute__((sentinel)) int
2106 plugin_dispatch_multivalue(value_list_t const *template, /* {{{ */
2107                            _Bool store_percentage, int store_type, ...) {
2108   value_list_t *vl;
2109   int failed = 0;
2110   gauge_t sum = 0.0;
2111   va_list ap;
2112
2113   assert(template->values_len == 1);
2114
2115   /* Calculate sum for Gauge to calculate percent if needed */
2116   if (DS_TYPE_GAUGE == store_type) {
2117     va_start(ap, store_type);
2118     while (42) {
2119       char const *name;
2120       gauge_t value;
2121
2122       name = va_arg(ap, char const *);
2123       if (name == NULL)
2124         break;
2125
2126       value = va_arg(ap, gauge_t);
2127       if (!isnan(value))
2128         sum += value;
2129     }
2130     va_end(ap);
2131   }
2132
2133   vl = plugin_value_list_clone(template);
2134   /* plugin_value_list_clone makes sure vl->time is set to non-zero. */
2135   if (store_percentage)
2136     sstrncpy(vl->type, "percent", sizeof(vl->type));
2137
2138   va_start(ap, store_type);
2139   while (42) {
2140     char const *name;
2141     int status;
2142
2143     /* Set the type instance. */
2144     name = va_arg(ap, char const *);
2145     if (name == NULL)
2146       break;
2147     sstrncpy(vl->type_instance, name, sizeof(vl->type_instance));
2148
2149     /* Set the value. */
2150     switch (store_type) {
2151     case DS_TYPE_GAUGE:
2152       vl->values[0].gauge = va_arg(ap, gauge_t);
2153       if (store_percentage)
2154         vl->values[0].gauge *= sum ? (100.0 / sum) : NAN;
2155       break;
2156     case DS_TYPE_ABSOLUTE:
2157       vl->values[0].absolute = va_arg(ap, absolute_t);
2158       break;
2159     case DS_TYPE_COUNTER:
2160       vl->values[0].counter = va_arg(ap, counter_t);
2161       break;
2162     case DS_TYPE_DERIVE:
2163       vl->values[0].derive = va_arg(ap, derive_t);
2164       break;
2165     default:
2166       ERROR("plugin_dispatch_multivalue: given store_type is incorrect.");
2167       failed++;
2168     }
2169
2170     status = plugin_write_enqueue(vl);
2171     if (status != 0)
2172       failed++;
2173   }
2174   va_end(ap);
2175
2176   plugin_value_list_free(vl);
2177   return failed;
2178 } /* }}} int plugin_dispatch_multivalue */
2179
2180 int plugin_dispatch_notification(const notification_t *notif) {
2181   llentry_t *le;
2182   /* Possible TODO: Add flap detection here */
2183
2184   DEBUG("plugin_dispatch_notification: severity = %i; message = %s; "
2185         "time = %.3f; host = %s;",
2186         notif->severity, notif->message, CDTIME_T_TO_DOUBLE(notif->time),
2187         notif->host);
2188
2189   /* Nobody cares for notifications */
2190   if (list_notification == NULL)
2191     return -1;
2192
2193   le = llist_head(list_notification);
2194   while (le != NULL) {
2195     callback_func_t *cf;
2196     plugin_notification_cb callback;
2197     int status;
2198
2199     /* do not switch plugin context; rather keep the context
2200      * (interval) information of the calling plugin */
2201
2202     cf = le->value;
2203     callback = cf->cf_callback;
2204     status = (*callback)(notif, &cf->cf_udata);
2205     if (status != 0) {
2206       WARNING("plugin_dispatch_notification: Notification "
2207               "callback %s returned %i.",
2208               le->key, status);
2209     }
2210
2211     le = le->next;
2212   }
2213
2214   return 0;
2215 } /* int plugin_dispatch_notification */
2216
2217 void plugin_log(int level, const char *format, ...) {
2218   char msg[1024];
2219   va_list ap;
2220   llentry_t *le;
2221
2222 #if !COLLECT_DEBUG
2223   if (level >= LOG_DEBUG)
2224     return;
2225 #endif
2226
2227   va_start(ap, format);
2228   vsnprintf(msg, sizeof(msg), format, ap);
2229   msg[sizeof(msg) - 1] = '\0';
2230   va_end(ap);
2231
2232   if (list_log == NULL) {
2233     fprintf(stderr, "%s\n", msg);
2234     return;
2235   }
2236
2237   le = llist_head(list_log);
2238   while (le != NULL) {
2239     callback_func_t *cf;
2240     plugin_log_cb callback;
2241
2242     cf = le->value;
2243     callback = cf->cf_callback;
2244
2245     /* do not switch plugin context; rather keep the context
2246      * (interval) information of the calling plugin */
2247
2248     (*callback)(level, msg, &cf->cf_udata);
2249
2250     le = le->next;
2251   }
2252 } /* void plugin_log */
2253
2254 int parse_log_severity(const char *severity) {
2255   int log_level = -1;
2256
2257   if ((0 == strcasecmp(severity, "emerg")) ||
2258       (0 == strcasecmp(severity, "alert")) ||
2259       (0 == strcasecmp(severity, "crit")) || (0 == strcasecmp(severity, "err")))
2260     log_level = LOG_ERR;
2261   else if (0 == strcasecmp(severity, "warning"))
2262     log_level = LOG_WARNING;
2263   else if (0 == strcasecmp(severity, "notice"))
2264     log_level = LOG_NOTICE;
2265   else if (0 == strcasecmp(severity, "info"))
2266     log_level = LOG_INFO;
2267 #if COLLECT_DEBUG
2268   else if (0 == strcasecmp(severity, "debug"))
2269     log_level = LOG_DEBUG;
2270 #endif /* COLLECT_DEBUG */
2271
2272   return log_level;
2273 } /* int parse_log_severity */
2274
2275 int parse_notif_severity(const char *severity) {
2276   int notif_severity = -1;
2277
2278   if (strcasecmp(severity, "FAILURE") == 0)
2279     notif_severity = NOTIF_FAILURE;
2280   else if (strcmp(severity, "OKAY") == 0)
2281     notif_severity = NOTIF_OKAY;
2282   else if ((strcmp(severity, "WARNING") == 0) ||
2283            (strcmp(severity, "WARN") == 0))
2284     notif_severity = NOTIF_WARNING;
2285
2286   return notif_severity;
2287 } /* int parse_notif_severity */
2288
2289 const data_set_t *plugin_get_ds(const char *name) {
2290   data_set_t *ds;
2291
2292   if (data_sets == NULL) {
2293     ERROR("plugin_get_ds: No data sets are defined yet.");
2294     return NULL;
2295   }
2296
2297   if (c_avl_get(data_sets, name, (void *)&ds) != 0) {
2298     DEBUG("No such dataset registered: %s", name);
2299     return NULL;
2300   }
2301
2302   return ds;
2303 } /* data_set_t *plugin_get_ds */
2304
2305 static int plugin_notification_meta_add(notification_t *n, const char *name,
2306                                         enum notification_meta_type_e type,
2307                                         const void *value) {
2308   notification_meta_t *meta;
2309   notification_meta_t *tail;
2310
2311   if ((n == NULL) || (name == NULL) || (value == NULL)) {
2312     ERROR("plugin_notification_meta_add: A pointer is NULL!");
2313     return -1;
2314   }
2315
2316   meta = calloc(1, sizeof(*meta));
2317   if (meta == NULL) {
2318     ERROR("plugin_notification_meta_add: calloc failed.");
2319     return -1;
2320   }
2321
2322   sstrncpy(meta->name, name, sizeof(meta->name));
2323   meta->type = type;
2324
2325   switch (type) {
2326   case NM_TYPE_STRING: {
2327     meta->nm_value.nm_string = strdup((const char *)value);
2328     if (meta->nm_value.nm_string == NULL) {
2329       ERROR("plugin_notification_meta_add: strdup failed.");
2330       sfree(meta);
2331       return -1;
2332     }
2333     break;
2334   }
2335   case NM_TYPE_SIGNED_INT: {
2336     meta->nm_value.nm_signed_int = *((int64_t *)value);
2337     break;
2338   }
2339   case NM_TYPE_UNSIGNED_INT: {
2340     meta->nm_value.nm_unsigned_int = *((uint64_t *)value);
2341     break;
2342   }
2343   case NM_TYPE_DOUBLE: {
2344     meta->nm_value.nm_double = *((double *)value);
2345     break;
2346   }
2347   case NM_TYPE_BOOLEAN: {
2348     meta->nm_value.nm_boolean = *((_Bool *)value);
2349     break;
2350   }
2351   default: {
2352     ERROR("plugin_notification_meta_add: Unknown type: %i", type);
2353     sfree(meta);
2354     return -1;
2355   }
2356   } /* switch (type) */
2357
2358   meta->next = NULL;
2359   tail = n->meta;
2360   while ((tail != NULL) && (tail->next != NULL))
2361     tail = tail->next;
2362
2363   if (tail == NULL)
2364     n->meta = meta;
2365   else
2366     tail->next = meta;
2367
2368   return 0;
2369 } /* int plugin_notification_meta_add */
2370
2371 int plugin_notification_meta_add_string(notification_t *n, const char *name,
2372                                         const char *value) {
2373   return plugin_notification_meta_add(n, name, NM_TYPE_STRING, value);
2374 }
2375
2376 int plugin_notification_meta_add_signed_int(notification_t *n, const char *name,
2377                                             int64_t value) {
2378   return plugin_notification_meta_add(n, name, NM_TYPE_SIGNED_INT, &value);
2379 }
2380
2381 int plugin_notification_meta_add_unsigned_int(notification_t *n,
2382                                               const char *name,
2383                                               uint64_t value) {
2384   return plugin_notification_meta_add(n, name, NM_TYPE_UNSIGNED_INT, &value);
2385 }
2386
2387 int plugin_notification_meta_add_double(notification_t *n, const char *name,
2388                                         double value) {
2389   return plugin_notification_meta_add(n, name, NM_TYPE_DOUBLE, &value);
2390 }
2391
2392 int plugin_notification_meta_add_boolean(notification_t *n, const char *name,
2393                                          _Bool value) {
2394   return plugin_notification_meta_add(n, name, NM_TYPE_BOOLEAN, &value);
2395 }
2396
2397 int plugin_notification_meta_copy(notification_t *dst,
2398                                   const notification_t *src) {
2399   assert(dst != NULL);
2400   assert(src != NULL);
2401   assert(dst != src);
2402   assert((src->meta == NULL) || (src->meta != dst->meta));
2403
2404   for (notification_meta_t *meta = src->meta; meta != NULL; meta = meta->next) {
2405     if (meta->type == NM_TYPE_STRING)
2406       plugin_notification_meta_add_string(dst, meta->name,
2407                                           meta->nm_value.nm_string);
2408     else if (meta->type == NM_TYPE_SIGNED_INT)
2409       plugin_notification_meta_add_signed_int(dst, meta->name,
2410                                               meta->nm_value.nm_signed_int);
2411     else if (meta->type == NM_TYPE_UNSIGNED_INT)
2412       plugin_notification_meta_add_unsigned_int(dst, meta->name,
2413                                                 meta->nm_value.nm_unsigned_int);
2414     else if (meta->type == NM_TYPE_DOUBLE)
2415       plugin_notification_meta_add_double(dst, meta->name,
2416                                           meta->nm_value.nm_double);
2417     else if (meta->type == NM_TYPE_BOOLEAN)
2418       plugin_notification_meta_add_boolean(dst, meta->name,
2419                                            meta->nm_value.nm_boolean);
2420   }
2421
2422   return 0;
2423 } /* int plugin_notification_meta_copy */
2424
2425 int plugin_notification_meta_free(notification_meta_t *n) {
2426   notification_meta_t *this;
2427   notification_meta_t *next;
2428
2429   if (n == NULL) {
2430     ERROR("plugin_notification_meta_free: n == NULL!");
2431     return -1;
2432   }
2433
2434   this = n;
2435   while (this != NULL) {
2436     next = this->next;
2437
2438     if (this->type == NM_TYPE_STRING) {
2439       /* Assign to a temporary variable to work around nm_string's const
2440        * modifier. */
2441       void *tmp = (void *)this->nm_value.nm_string;
2442
2443       sfree(tmp);
2444       this->nm_value.nm_string = NULL;
2445     }
2446     sfree(this);
2447
2448     this = next;
2449   }
2450
2451   return 0;
2452 } /* int plugin_notification_meta_free */
2453
2454 static void plugin_ctx_destructor(void *ctx) {
2455   sfree(ctx);
2456 } /* void plugin_ctx_destructor */
2457
2458 static plugin_ctx_t ctx_init = {/* interval = */ 0};
2459
2460 static plugin_ctx_t *plugin_ctx_create(void) {
2461   plugin_ctx_t *ctx;
2462
2463   ctx = malloc(sizeof(*ctx));
2464   if (ctx == NULL) {
2465     char errbuf[1024];
2466     ERROR("Failed to allocate plugin context: %s",
2467           sstrerror(errno, errbuf, sizeof(errbuf)));
2468     return NULL;
2469   }
2470
2471   *ctx = ctx_init;
2472   assert(plugin_ctx_key_initialized);
2473   pthread_setspecific(plugin_ctx_key, ctx);
2474   DEBUG("Created new plugin context.");
2475   return ctx;
2476 } /* int plugin_ctx_create */
2477
2478 void plugin_init_ctx(void) {
2479   pthread_key_create(&plugin_ctx_key, plugin_ctx_destructor);
2480   plugin_ctx_key_initialized = 1;
2481 } /* void plugin_init_ctx */
2482
2483 plugin_ctx_t plugin_get_ctx(void) {
2484   plugin_ctx_t *ctx;
2485
2486   assert(plugin_ctx_key_initialized);
2487   ctx = pthread_getspecific(plugin_ctx_key);
2488
2489   if (ctx == NULL) {
2490     ctx = plugin_ctx_create();
2491     /* this must no happen -- exit() instead? */
2492     if (ctx == NULL)
2493       return ctx_init;
2494   }
2495
2496   return *ctx;
2497 } /* plugin_ctx_t plugin_get_ctx */
2498
2499 plugin_ctx_t plugin_set_ctx(plugin_ctx_t ctx) {
2500   plugin_ctx_t *c;
2501   plugin_ctx_t old;
2502
2503   assert(plugin_ctx_key_initialized);
2504   c = pthread_getspecific(plugin_ctx_key);
2505
2506   if (c == NULL) {
2507     c = plugin_ctx_create();
2508     /* this must no happen -- exit() instead? */
2509     if (c == NULL)
2510       return ctx_init;
2511   }
2512
2513   old = *c;
2514   *c = ctx;
2515
2516   return old;
2517 } /* void plugin_set_ctx */
2518
2519 cdtime_t plugin_get_interval(void) {
2520   cdtime_t interval;
2521
2522   interval = plugin_get_ctx().interval;
2523   if (interval > 0)
2524     return interval;
2525
2526   return cf_get_default_interval();
2527 } /* cdtime_t plugin_get_interval */
2528
2529 typedef struct {
2530   plugin_ctx_t ctx;
2531   void *(*start_routine)(void *);
2532   void *arg;
2533 } plugin_thread_t;
2534
2535 static void *plugin_thread_start(void *arg) {
2536   plugin_thread_t *plugin_thread = arg;
2537
2538   void *(*start_routine)(void *) = plugin_thread->start_routine;
2539   void *plugin_arg = plugin_thread->arg;
2540
2541   plugin_set_ctx(plugin_thread->ctx);
2542
2543   sfree(plugin_thread);
2544
2545   return start_routine(plugin_arg);
2546 } /* void *plugin_thread_start */
2547
2548 int plugin_thread_create(pthread_t *thread, const pthread_attr_t *attr,
2549                          void *(*start_routine)(void *), void *arg,
2550                          char const *name) {
2551   plugin_thread_t *plugin_thread;
2552
2553   plugin_thread = malloc(sizeof(*plugin_thread));
2554   if (plugin_thread == NULL)
2555     return ENOMEM;
2556
2557   plugin_thread->ctx = plugin_get_ctx();
2558   plugin_thread->start_routine = start_routine;
2559   plugin_thread->arg = arg;
2560
2561   int ret = pthread_create(thread, attr, plugin_thread_start, plugin_thread);
2562   if (ret != 0) {
2563     sfree(plugin_thread);
2564     return ret;
2565   }
2566
2567   if (name != NULL)
2568     set_thread_name(*thread, name);
2569
2570   return 0;
2571 } /* int plugin_thread_create */