src/daemon/plugin.c

   1 /**
   2  * collectd - src/plugin.c
   3  * Copyright (C) 2005-2014  Florian octo Forster
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  20  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  21  * DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors:
  24  *   Florian octo Forster <octo at collectd.org>
  25  *   Sebastian Harl <sh at tokkee.org>
  26  **/
  27
  28 /* _GNU_SOURCE is needed in Linux to use pthread_setname_np */
  29 #define _GNU_SOURCE
  30
  31 #include "collectd.h"
  32
  33 #include "common.h"
  34 #include "configfile.h"
  35 #include "filter_chain.h"
  36 #include "plugin.h"
  37 #include "utils_avltree.h"
  38 #include "utils_cache.h"
  39 #include "utils_complain.h"
  40 #include "utils_heap.h"
  41 #include "utils_llist.h"
  42 #include "utils_random.h"
  43 #include "utils_time.h"
  44
  45 #ifdef WIN32
  46 #define EXPORT __declspec(dllexport)
  47 #include <sys/stat.h>
  48 #include <unistd.h>
  49 #else
  50 #define EXPORT
  51 #endif
  52
  53 #if HAVE_PTHREAD_NP_H
  54 #include <pthread_np.h> /* for pthread_set_name_np(3) */
  55 #endif
  56
  57 #include <dlfcn.h>
  58
  59 /*
  60  * Private structures
  61  */
  62 struct callback_func_s {
  63   void *cf_callback;
  64   user_data_t cf_udata;
  65   plugin_ctx_t cf_ctx;
  66 };
  67 typedef struct callback_func_s callback_func_t;
  68
  69 #define RF_SIMPLE 0
  70 #define RF_COMPLEX 1
  71 #define RF_REMOVE 65535
  72 struct read_func_s {
  73 /* `read_func_t' "inherits" from `callback_func_t'.
  74  * The `rf_super' member MUST be the first one in this structure! */
  75 #define rf_callback rf_super.cf_callback
  76 #define rf_udata rf_super.cf_udata
  77 #define rf_ctx rf_super.cf_ctx
  78   callback_func_t rf_super;
  79   char rf_group[DATA_MAX_NAME_LEN];
  80   char *rf_name;
  81   int rf_type;
  82   cdtime_t rf_interval;
  83   cdtime_t rf_effective_interval;
  84   cdtime_t rf_next_read;
  85 };
  86 typedef struct read_func_s read_func_t;
  87
  88 struct write_queue_s;
  89 typedef struct write_queue_s write_queue_t;
  90 struct write_queue_s {
  91   value_list_t *vl;
  92   plugin_ctx_t ctx;
  93   write_queue_t *next;
  94 };
  95
  96 struct flush_callback_s {
  97   char *name;
  98   cdtime_t timeout;
  99 };
 100 typedef struct flush_callback_s flush_callback_t;
 101
 102 /*
 103  * Private variables
 104  */
 105 static c_avl_tree_t *plugins_loaded;
 106
 107 static llist_t *list_init;
 108 static llist_t *list_write;
 109 static llist_t *list_flush;
 110 static llist_t *list_missing;
 111 static llist_t *list_shutdown;
 112 static llist_t *list_log;
 113 static llist_t *list_notification;
 114
 115 static fc_chain_t *pre_cache_chain;
 116 static fc_chain_t *post_cache_chain;
 117
 118 static c_avl_tree_t *data_sets;
 119
 120 static char *plugindir;
 121
 122 #ifndef DEFAULT_MAX_READ_INTERVAL
 123 #define DEFAULT_MAX_READ_INTERVAL TIME_T_TO_CDTIME_T_STATIC(86400)
 124 #endif
 125 static c_heap_t *read_heap;
 126 static llist_t *read_list;
 127 static int read_loop = 1;
 128 static pthread_mutex_t read_lock = PTHREAD_MUTEX_INITIALIZER;
 129 static pthread_cond_t read_cond = PTHREAD_COND_INITIALIZER;
 130 static pthread_t *read_threads;
 131 static size_t read_threads_num;
 132 static cdtime_t max_read_interval = DEFAULT_MAX_READ_INTERVAL;
 133
 134 static write_queue_t *write_queue_head;
 135 static write_queue_t *write_queue_tail;
 136 static long write_queue_length;
 137 static bool write_loop = true;
 138 static pthread_mutex_t write_lock = PTHREAD_MUTEX_INITIALIZER;
 139 static pthread_cond_t write_cond = PTHREAD_COND_INITIALIZER;
 140 static pthread_t *write_threads;
 141 static size_t write_threads_num;
 142
 143 static pthread_key_t plugin_ctx_key;
 144 static bool plugin_ctx_key_initialized;
 145
 146 static long write_limit_high;
 147 static long write_limit_low;
 148
 149 static derive_t stats_values_dropped;
 150 static bool record_statistics;
 151
 152 /*
 153  * Static functions
 154  */
 155 static int plugin_dispatch_values_internal(value_list_t *vl);
 156
 157 static const char *plugin_get_dir(void) {
 158   if (plugindir == NULL)
 159     return PLUGINDIR;
 160   else
 161     return plugindir;
 162 }
 163
 164 static int plugin_update_internal_statistics(void) { /* {{{ */
 165   gauge_t copy_write_queue_length = (gauge_t)write_queue_length;
 166
 167   /* Initialize `vl' */
 168   value_list_t vl = VALUE_LIST_INIT;
 169   sstrncpy(vl.plugin, "collectd", sizeof(vl.plugin));
 170   vl.interval = plugin_get_interval();
 171
 172   /* Write queue */
 173   sstrncpy(vl.plugin_instance, "write_queue", sizeof(vl.plugin_instance));
 174
 175   /* Write queue : queue length */
 176   vl.values = &(value_t){.gauge = copy_write_queue_length};
 177   vl.values_len = 1;
 178   sstrncpy(vl.type, "queue_length", sizeof(vl.type));
 179   vl.type_instance[0] = 0;
 180   plugin_dispatch_values(&vl);
 181
 182   /* Write queue : Values dropped (queue length > low limit) */
 183   vl.values = &(value_t){.gauge = (gauge_t)stats_values_dropped};
 184   vl.values_len = 1;
 185   sstrncpy(vl.type, "derive", sizeof(vl.type));
 186   sstrncpy(vl.type_instance, "dropped", sizeof(vl.type_instance));
 187   plugin_dispatch_values(&vl);
 188
 189   /* Cache */
 190   sstrncpy(vl.plugin_instance, "cache", sizeof(vl.plugin_instance));
 191
 192   /* Cache : Nb entry in cache tree */
 193   vl.values = &(value_t){.gauge = (gauge_t)uc_get_size()};
 194   vl.values_len = 1;
 195   sstrncpy(vl.type, "cache_size", sizeof(vl.type));
 196   vl.type_instance[0] = 0;
 197   plugin_dispatch_values(&vl);
 198
 199   return 0;
 200 } /* }}} int plugin_update_internal_statistics */
 201
 202 static void free_userdata(user_data_t const *ud) /* {{{ */
 203 {
 204   if (ud == NULL)
 205     return;
 206
 207   if ((ud->data != NULL) && (ud->free_func != NULL)) {
 208     ud->free_func(ud->data);
 209   }
 210 } /* }}} void free_userdata */
 211
 212 static void destroy_callback(callback_func_t *cf) /* {{{ */
 213 {
 214   if (cf == NULL)
 215     return;
 216   free_userdata(&cf->cf_udata);
 217   sfree(cf);
 218 } /* }}} void destroy_callback */
 219
 220 static void destroy_all_callbacks(llist_t **list) /* {{{ */
 221 {
 222   llentry_t *le;
 223
 224   if (*list == NULL)
 225     return;
 226
 227   le = llist_head(*list);
 228   while (le != NULL) {
 229     llentry_t *le_next;
 230
 231     le_next = le->next;
 232
 233     sfree(le->key);
 234     destroy_callback(le->value);
 235     le->value = NULL;
 236
 237     le = le_next;
 238   }
 239
 240   llist_destroy(*list);
 241   *list = NULL;
 242 } /* }}} void destroy_all_callbacks */
 243
 244 static void destroy_read_heap(void) /* {{{ */
 245 {
 246   if (read_heap == NULL)
 247     return;
 248
 249   while (42) {
 250     read_func_t *rf;
 251
 252     rf = c_heap_get_root(read_heap);
 253     if (rf == NULL)
 254       break;
 255     sfree(rf->rf_name);
 256     destroy_callback((callback_func_t *)rf);
 257   }
 258
 259   c_heap_destroy(read_heap);
 260   read_heap = NULL;
 261 } /* }}} void destroy_read_heap */
 262
 263 static int register_callback(llist_t **list, /* {{{ */
 264                              const char *name, callback_func_t *cf) {
 265   llentry_t *le;
 266   char *key;
 267
 268   if (*list == NULL) {
 269     *list = llist_create();
 270     if (*list == NULL) {
 271       ERROR("plugin: register_callback: "
 272             "llist_create failed.");
 273       destroy_callback(cf);
 274       return -1;
 275     }
 276   }
 277
 278   key = strdup(name);
 279   if (key == NULL) {
 280     ERROR("plugin: register_callback: strdup failed.");
 281     destroy_callback(cf);
 282     return -1;
 283   }
 284
 285   le = llist_search(*list, name);
 286   if (le == NULL) {
 287     le = llentry_create(key, cf);
 288     if (le == NULL) {
 289       ERROR("plugin: register_callback: "
 290             "llentry_create failed.");
 291       sfree(key);
 292       destroy_callback(cf);
 293       return -1;
 294     }
 295
 296     llist_append(*list, le);
 297   } else {
 298     callback_func_t *old_cf;
 299
 300     old_cf = le->value;
 301     le->value = cf;
 302
 303     P_WARNING("register_callback: "
 304               "a callback named `%s' already exists - "
 305               "overwriting the old entry!",
 306               name);
 307
 308     destroy_callback(old_cf);
 309     sfree(key);
 310   }
 311
 312   return 0;
 313 } /* }}} int register_callback */
 314
 315 static void log_list_callbacks(llist_t **list, /* {{{ */
 316                                const char *comment) {
 317   char *str;
 318   int len;
 319   int i;
 320   llentry_t *le;
 321   int n;
 322   char **keys;
 323
 324   n = llist_size(*list);
 325   if (n == 0) {
 326     INFO("%s: [none]", comment);
 327     return;
 328   }
 329
 330   keys = calloc(n, sizeof(char *));
 331
 332   if (keys == NULL) {
 333     ERROR("%s: failed to allocate memory for list of callbacks", comment);
 334
 335     return;
 336   }
 337
 338   for (le = llist_head(*list), i = 0, len = 0; le != NULL; le = le->next, i++) {
 339     keys[i] = le->key;
 340     len += strlen(le->key) + 6;
 341   }
 342   str = malloc(len + 10);
 343   if (str == NULL) {
 344     ERROR("%s: failed to allocate memory for list of callbacks", comment);
 345   } else {
 346     *str = '\0';
 347     strjoin(str, len, keys, n, "', '");
 348     INFO("%s ['%s']", comment, str);
 349     sfree(str);
 350   }
 351   sfree(keys);
 352 } /* }}} void log_list_callbacks */
 353
 354 static int create_register_callback(llist_t **list, /* {{{ */
 355                                     const char *name, void *callback,
 356                                     user_data_t const *ud) {
 357
 358   if (name == NULL || callback == NULL)
 359     return EINVAL;
 360
 361   callback_func_t *cf = calloc(1, sizeof(*cf));
 362   if (cf == NULL) {
 363     free_userdata(ud);
 364     ERROR("plugin: create_register_callback: calloc failed.");
 365     return ENOMEM;
 366   }
 367
 368   cf->cf_callback = callback;
 369   if (ud == NULL) {
 370     cf->cf_udata = (user_data_t){
 371         .data = NULL, .free_func = NULL,
 372     };
 373   } else {
 374     cf->cf_udata = *ud;
 375   }
 376
 377   cf->cf_ctx = plugin_get_ctx();
 378
 379   return register_callback(list, name, cf);
 380 } /* }}} int create_register_callback */
 381
 382 static int plugin_unregister(llist_t *list, const char *name) /* {{{ */
 383 {
 384   llentry_t *e;
 385
 386   if (list == NULL)
 387     return -1;
 388
 389   e = llist_search(list, name);
 390   if (e == NULL)
 391     return -1;
 392
 393   llist_remove(list, e);
 394
 395   sfree(e->key);
 396   destroy_callback(e->value);
 397
 398   llentry_destroy(e);
 399
 400   return 0;
 401 } /* }}} int plugin_unregister */
 402
 403 /* plugin_load_file loads the shared object "file" and calls its
 404  * "module_register" function. Returns zero on success, non-zero otherwise. */
 405 static int plugin_load_file(char const *file, bool global) {
 406   int flags = RTLD_NOW;
 407   if (global)
 408     flags |= RTLD_GLOBAL;
 409
 410   void *dlh = dlopen(file, flags);
 411   if (dlh == NULL) {
 412     char errbuf[1024] = "";
 413
 414     snprintf(errbuf, sizeof(errbuf),
 415              "dlopen(\"%s\") failed: %s. "
 416              "The most common cause for this problem is missing dependencies. "
 417              "Use ldd(1) to check the dependencies of the plugin / shared "
 418              "object.",
 419              file, dlerror());
 420
 421     /* This error is printed to STDERR unconditionally. If list_log is NULL,
 422      * plugin_log() will also print to STDERR. We avoid duplicate output by
 423      * checking that the list of log handlers, list_log, is not NULL. */
 424     fprintf(stderr, "ERROR: %s\n", errbuf);
 425     if (list_log != NULL) {
 426       ERROR("%s", errbuf);
 427     }
 428
 429     return ENOENT;
 430   }
 431
 432   void (*reg_handle)(void) = dlsym(dlh, "module_register");
 433   if (reg_handle == NULL) {
 434     ERROR("Couldn't find symbol \"module_register\" in \"%s\": %s\n", file,
 435           dlerror());
 436     dlclose(dlh);
 437     return ENOENT;
 438   }
 439
 440   (*reg_handle)();
 441   return 0;
 442 }
 443
 444 static void *plugin_read_thread(void __attribute__((unused)) * args) {
 445   while (read_loop != 0) {
 446     read_func_t *rf;
 447     plugin_ctx_t old_ctx;
 448     cdtime_t start;
 449     cdtime_t now;
 450     cdtime_t elapsed;
 451     int status;
 452     int rf_type;
 453     int rc;
 454
 455     /* Get the read function that needs to be read next.
 456      * We don't need to hold "read_lock" for the heap, but we need
 457      * to call c_heap_get_root() and pthread_cond_wait() in the
 458      * same protected block. */
 459     pthread_mutex_lock(&read_lock);
 460     rf = c_heap_get_root(read_heap);
 461     if (rf == NULL) {
 462       pthread_cond_wait(&read_cond, &read_lock);
 463       pthread_mutex_unlock(&read_lock);
 464       continue;
 465     }
 466     pthread_mutex_unlock(&read_lock);
 467
 468     if (rf->rf_interval == 0) {
 469       /* this should not happen, because the interval is set
 470        * for each plugin when loading it
 471        * XXX: issue a warning? */
 472       rf->rf_interval = plugin_get_interval();
 473       rf->rf_effective_interval = rf->rf_interval;
 474
 475       rf->rf_next_read = cdtime();
 476     }
 477
 478     /* sleep until this entry is due,
 479      * using pthread_cond_timedwait */
 480     pthread_mutex_lock(&read_lock);
 481     /* In pthread_cond_timedwait, spurious wakeups are possible
 482      * (and really happen, at least on NetBSD with > 1 CPU), thus
 483      * we need to re-evaluate the condition every time
 484      * pthread_cond_timedwait returns. */
 485     rc = 0;
 486     while ((read_loop != 0) && (cdtime() < rf->rf_next_read) && rc == 0) {
 487       rc = pthread_cond_timedwait(&read_cond, &read_lock,
 488                                   &CDTIME_T_TO_TIMESPEC(rf->rf_next_read));
 489     }
 490
 491     /* Must hold `read_lock' when accessing `rf->rf_type'. */
 492     rf_type = rf->rf_type;
 493     pthread_mutex_unlock(&read_lock);
 494
 495     /* Check if we're supposed to stop.. This may have interrupted
 496      * the sleep, too. */
 497     if (read_loop == 0) {
 498       /* Insert `rf' again, so it can be free'd correctly */
 499       c_heap_insert(read_heap, rf);
 500       break;
 501     }
 502
 503     /* The entry has been marked for deletion. The linked list
 504      * entry has already been removed by `plugin_unregister_read'.
 505      * All we have to do here is free the `read_func_t' and
 506      * continue. */
 507     if (rf_type == RF_REMOVE) {
 508       DEBUG("plugin_read_thread: Destroying the `%s' "
 509             "callback.",
 510             rf->rf_name);
 511       sfree(rf->rf_name);
 512       destroy_callback((callback_func_t *)rf);
 513       rf = NULL;
 514       continue;
 515     }
 516
 517     DEBUG("plugin_read_thread: Handling `%s'.", rf->rf_name);
 518
 519     start = cdtime();
 520
 521     old_ctx = plugin_set_ctx(rf->rf_ctx);
 522
 523     if (rf_type == RF_SIMPLE) {
 524       int (*callback)(void);
 525
 526       callback = rf->rf_callback;
 527       status = (*callback)();
 528     } else {
 529       plugin_read_cb callback;
 530
 531       assert(rf_type == RF_COMPLEX);
 532
 533       callback = rf->rf_callback;
 534       status = (*callback)(&rf->rf_udata);
 535     }
 536
 537     plugin_set_ctx(old_ctx);
 538
 539     /* If the function signals failure, we will increase the
 540      * intervals in which it will be called. */
 541     if (status != 0) {
 542       rf->rf_effective_interval *= 2;
 543       if (rf->rf_effective_interval > max_read_interval)
 544         rf->rf_effective_interval = max_read_interval;
 545
 546       NOTICE("read-function of plugin `%s' failed. "
 547              "Will suspend it for %.3f seconds.",
 548              rf->rf_name, CDTIME_T_TO_DOUBLE(rf->rf_effective_interval));
 549     } else {
 550       /* Success: Restore the interval, if it was changed. */
 551       rf->rf_effective_interval = rf->rf_interval;
 552     }
 553
 554     /* update the ``next read due'' field */
 555     now = cdtime();
 556
 557     /* calculate the time spent in the read function */
 558     elapsed = (now - start);
 559
 560     if (elapsed > rf->rf_effective_interval)
 561       WARNING(
 562           "plugin_read_thread: read-function of the `%s' plugin took %.3f "
 563           "seconds, which is above its read interval (%.3f seconds). You might "
 564           "want to adjust the `Interval' or `ReadThreads' settings.",
 565           rf->rf_name, CDTIME_T_TO_DOUBLE(elapsed),
 566           CDTIME_T_TO_DOUBLE(rf->rf_effective_interval));
 567
 568     DEBUG("plugin_read_thread: read-function of the `%s' plugin took "
 569           "%.6f seconds.",
 570           rf->rf_name, CDTIME_T_TO_DOUBLE(elapsed));
 571
 572     DEBUG("plugin_read_thread: Effective interval of the "
 573           "`%s' plugin is %.3f seconds.",
 574           rf->rf_name, CDTIME_T_TO_DOUBLE(rf->rf_effective_interval));
 575
 576     /* Calculate the next (absolute) time at which this function
 577      * should be called. */
 578     rf->rf_next_read += rf->rf_effective_interval;
 579
 580     /* Check, if `rf_next_read' is in the past. */
 581     if (rf->rf_next_read < now) {
 582       /* `rf_next_read' is in the past. Insert `now'
 583        * so this value doesn't trail off into the
 584        * past too much. */
 585       rf->rf_next_read = now;
 586     }
 587
 588     DEBUG("plugin_read_thread: Next read of the `%s' plugin at %.3f.",
 589           rf->rf_name, CDTIME_T_TO_DOUBLE(rf->rf_next_read));
 590
 591     /* Re-insert this read function into the heap again. */
 592     c_heap_insert(read_heap, rf);
 593   } /* while (read_loop) */
 594
 595   pthread_exit(NULL);
 596   return (void *)0;
 597 } /* void *plugin_read_thread */
 598
 599 #ifdef PTHREAD_MAX_NAMELEN_NP
 600 #define THREAD_NAME_MAX PTHREAD_MAX_NAMELEN_NP
 601 #else
 602 #define THREAD_NAME_MAX 16
 603 #endif
 604
 605 static void set_thread_name(pthread_t tid, char const *name) {
 606 #if defined(HAVE_PTHREAD_SETNAME_NP) || defined(HAVE_PTHREAD_SET_NAME_NP)
 607
 608   /* glibc limits the length of the name and fails if the passed string
 609    * is too long, so we truncate it here. */
 610   char n[THREAD_NAME_MAX];
 611   if (strlen(name) >= THREAD_NAME_MAX)
 612     WARNING("set_thread_name(\"%s\"): name too long", name);
 613   sstrncpy(n, name, sizeof(n));
 614
 615 #if defined(HAVE_PTHREAD_SETNAME_NP)
 616   int status = pthread_setname_np(tid, n);
 617   if (status != 0) {
 618     ERROR("set_thread_name(\"%s\"): %s", n, STRERROR(status));
 619   }
 620 #else /* if defined(HAVE_PTHREAD_SET_NAME_NP) */
 621   pthread_set_name_np(tid, n);
 622 #endif
 623
 624 #endif
 625 }
 626
 627 static void start_read_threads(size_t num) /* {{{ */
 628 {
 629   if (read_threads != NULL)
 630     return;
 631
 632   read_threads = (pthread_t *)calloc(num, sizeof(pthread_t));
 633   if (read_threads == NULL) {
 634     ERROR("plugin: start_read_threads: calloc failed.");
 635     return;
 636   }
 637
 638   read_threads_num = 0;
 639   for (size_t i = 0; i < num; i++) {
 640     int status = pthread_create(read_threads + read_threads_num,
 641                                 /* attr = */ NULL, plugin_read_thread,
 642                                 /* arg = */ NULL);
 643     if (status != 0) {
 644       ERROR("plugin: start_read_threads: pthread_create failed with status %i "
 645             "(%s).",
 646             status, STRERROR(status));
 647       return;
 648     }
 649
 650     char name[THREAD_NAME_MAX];
 651     snprintf(name, sizeof(name), "reader#%" PRIu64, (uint64_t)read_threads_num);
 652     set_thread_name(read_threads[read_threads_num], name);
 653
 654     read_threads_num++;
 655   } /* for (i) */
 656 } /* }}} void start_read_threads */
 657
 658 static void stop_read_threads(void) {
 659   if (read_threads == NULL)
 660     return;
 661
 662   INFO("collectd: Stopping %" PRIsz " read threads.", read_threads_num);
 663
 664   pthread_mutex_lock(&read_lock);
 665   read_loop = 0;
 666   DEBUG("plugin: stop_read_threads: Signalling `read_cond'");
 667   pthread_cond_broadcast(&read_cond);
 668   pthread_mutex_unlock(&read_lock);
 669
 670   for (size_t i = 0; i < read_threads_num; i++) {
 671     if (pthread_join(read_threads[i], NULL) != 0) {
 672       ERROR("plugin: stop_read_threads: pthread_join failed.");
 673     }
 674     read_threads[i] = (pthread_t)0;
 675   }
 676   sfree(read_threads);
 677   read_threads_num = 0;
 678 } /* void stop_read_threads */
 679
 680 static void plugin_value_list_free(value_list_t *vl) /* {{{ */
 681 {
 682   if (vl == NULL)
 683     return;
 684
 685   meta_data_destroy(vl->meta);
 686   sfree(vl->values);
 687   sfree(vl);
 688 } /* }}} void plugin_value_list_free */
 689
 690 static value_list_t *
 691 plugin_value_list_clone(value_list_t const *vl_orig) /* {{{ */
 692 {
 693   value_list_t *vl;
 694
 695   if (vl_orig == NULL)
 696     return NULL;
 697
 698   vl = malloc(sizeof(*vl));
 699   if (vl == NULL)
 700     return NULL;
 701   memcpy(vl, vl_orig, sizeof(*vl));
 702
 703   if (vl->host[0] == 0)
 704     sstrncpy(vl->host, hostname_g, sizeof(vl->host));
 705
 706   vl->values = calloc(vl_orig->values_len, sizeof(*vl->values));
 707   if (vl->values == NULL) {
 708     plugin_value_list_free(vl);
 709     return NULL;
 710   }
 711   memcpy(vl->values, vl_orig->values,
 712          vl_orig->values_len * sizeof(*vl->values));
 713
 714   vl->meta = meta_data_clone(vl->meta);
 715   if ((vl_orig->meta != NULL) && (vl->meta == NULL)) {
 716     plugin_value_list_free(vl);
 717     return NULL;
 718   }
 719
 720   if (vl->time == 0)
 721     vl->time = cdtime();
 722
 723   /* Fill in the interval from the thread context, if it is zero. */
 724   if (vl->interval == 0)
 725     vl->interval = plugin_get_interval();
 726
 727   return vl;
 728 } /* }}} value_list_t *plugin_value_list_clone */
 729
 730 static int plugin_write_enqueue(value_list_t const *vl) /* {{{ */
 731 {
 732   write_queue_t *q;
 733
 734   q = malloc(sizeof(*q));
 735   if (q == NULL)
 736     return ENOMEM;
 737   q->next = NULL;
 738
 739   q->vl = plugin_value_list_clone(vl);
 740   if (q->vl == NULL) {
 741     sfree(q);
 742     return ENOMEM;
 743   }
 744
 745   /* Store context of caller (read plugin); otherwise, it would not be
 746    * available to the write plugins when actually dispatching the
 747    * value-list later on. */
 748   q->ctx = plugin_get_ctx();
 749
 750   pthread_mutex_lock(&write_lock);
 751
 752   if (write_queue_tail == NULL) {
 753     write_queue_head = q;
 754     write_queue_tail = q;
 755     write_queue_length = 1;
 756   } else {
 757     write_queue_tail->next = q;
 758     write_queue_tail = q;
 759     write_queue_length += 1;
 760   }
 761
 762   pthread_cond_signal(&write_cond);
 763   pthread_mutex_unlock(&write_lock);
 764
 765   return 0;
 766 } /* }}} int plugin_write_enqueue */
 767
 768 static value_list_t *plugin_write_dequeue(void) /* {{{ */
 769 {
 770   write_queue_t *q;
 771   value_list_t *vl;
 772
 773   pthread_mutex_lock(&write_lock);
 774
 775   while (write_loop && (write_queue_head == NULL))
 776     pthread_cond_wait(&write_cond, &write_lock);
 777
 778   if (write_queue_head == NULL) {
 779     pthread_mutex_unlock(&write_lock);
 780     return NULL;
 781   }
 782
 783   q = write_queue_head;
 784   write_queue_head = q->next;
 785   write_queue_length -= 1;
 786   if (write_queue_head == NULL) {
 787     write_queue_tail = NULL;
 788     assert(0 == write_queue_length);
 789   }
 790
 791   pthread_mutex_unlock(&write_lock);
 792
 793   (void)plugin_set_ctx(q->ctx);
 794
 795   vl = q->vl;
 796   sfree(q);
 797   return vl;
 798 } /* }}} value_list_t *plugin_write_dequeue */
 799
 800 static void *plugin_write_thread(void __attribute__((unused)) * args) /* {{{ */
 801 {
 802   while (write_loop) {
 803     value_list_t *vl = plugin_write_dequeue();
 804     if (vl == NULL)
 805       continue;
 806
 807     plugin_dispatch_values_internal(vl);
 808
 809     plugin_value_list_free(vl);
 810   }
 811
 812   pthread_exit(NULL);
 813   return (void *)0;
 814 } /* }}} void *plugin_write_thread */
 815
 816 static void start_write_threads(size_t num) /* {{{ */
 817 {
 818   if (write_threads != NULL)
 819     return;
 820
 821   write_threads = (pthread_t *)calloc(num, sizeof(pthread_t));
 822   if (write_threads == NULL) {
 823     ERROR("plugin: start_write_threads: calloc failed.");
 824     return;
 825   }
 826
 827   write_threads_num = 0;
 828   for (size_t i = 0; i < num; i++) {
 829     int status = pthread_create(write_threads + write_threads_num,
 830                                 /* attr = */ NULL, plugin_write_thread,
 831                                 /* arg = */ NULL);
 832     if (status != 0) {
 833       ERROR("plugin: start_write_threads: pthread_create failed with status %i "
 834             "(%s).",
 835             status, STRERROR(status));
 836       return;
 837     }
 838
 839     char name[THREAD_NAME_MAX];
 840     snprintf(name, sizeof(name), "writer#%" PRIu64,
 841              (uint64_t)write_threads_num);
 842     set_thread_name(write_threads[write_threads_num], name);
 843
 844     write_threads_num++;
 845   } /* for (i) */
 846 } /* }}} void start_write_threads */
 847
 848 static void stop_write_threads(void) /* {{{ */
 849 {
 850   write_queue_t *q;
 851   size_t i;
 852
 853   if (write_threads == NULL)
 854     return;
 855
 856   INFO("collectd: Stopping %" PRIsz " write threads.", write_threads_num);
 857
 858   pthread_mutex_lock(&write_lock);
 859   write_loop = false;
 860   DEBUG("plugin: stop_write_threads: Signalling `write_cond'");
 861   pthread_cond_broadcast(&write_cond);
 862   pthread_mutex_unlock(&write_lock);
 863
 864   for (i = 0; i < write_threads_num; i++) {
 865     if (pthread_join(write_threads[i], NULL) != 0) {
 866       ERROR("plugin: stop_write_threads: pthread_join failed.");
 867     }
 868     write_threads[i] = (pthread_t)0;
 869   }
 870   sfree(write_threads);
 871   write_threads_num = 0;
 872
 873   pthread_mutex_lock(&write_lock);
 874   i = 0;
 875   for (q = write_queue_head; q != NULL;) {
 876     write_queue_t *q1 = q;
 877     plugin_value_list_free(q->vl);
 878     q = q->next;
 879     sfree(q1);
 880     i++;
 881   }
 882   write_queue_head = NULL;
 883   write_queue_tail = NULL;
 884   write_queue_length = 0;
 885   pthread_mutex_unlock(&write_lock);
 886
 887   if (i > 0) {
 888     WARNING("plugin: %" PRIsz " value list%s left after shutting down "
 889             "the write threads.",
 890             i, (i == 1) ? " was" : "s were");
 891   }
 892 } /* }}} void stop_write_threads */
 893
 894 /*
 895  * Public functions
 896  */
 897 void plugin_set_dir(const char *dir) {
 898   sfree(plugindir);
 899
 900   if (dir == NULL) {
 901     plugindir = NULL;
 902     return;
 903   }
 904
 905   plugindir = strdup(dir);
 906   if (plugindir == NULL)
 907     ERROR("plugin_set_dir: strdup(\"%s\") failed", dir);
 908 }
 909
 910 static bool plugin_is_loaded(char const *name) {
 911   int status;
 912
 913   if (plugins_loaded == NULL)
 914     plugins_loaded =
 915         c_avl_create((int (*)(const void *, const void *))strcasecmp);
 916   assert(plugins_loaded != NULL);
 917
 918   status = c_avl_get(plugins_loaded, name, /* ret_value = */ NULL);
 919   return status == 0;
 920 }
 921
 922 static int plugin_mark_loaded(char const *name) {
 923   char *name_copy;
 924   int status;
 925
 926   name_copy = strdup(name);
 927   if (name_copy == NULL)
 928     return ENOMEM;
 929
 930   status = c_avl_insert(plugins_loaded,
 931                         /* key = */ name_copy, /* value = */ NULL);
 932   return status;
 933 }
 934
 935 static void plugin_free_loaded(void) {
 936   void *key;
 937   void *value;
 938
 939   if (plugins_loaded == NULL)
 940     return;
 941
 942   while (c_avl_pick(plugins_loaded, &key, &value) == 0) {
 943     sfree(key);
 944     assert(value == NULL);
 945   }
 946
 947   c_avl_destroy(plugins_loaded);
 948   plugins_loaded = NULL;
 949 }
 950
 951 #define BUFSIZE 512
 952 #ifdef WIN32
 953 #define SHLIB_SUFFIX ".dll"
 954 #else
 955 #define SHLIB_SUFFIX ".so"
 956 #endif
 957 int plugin_load(char const *plugin_name, bool global) {
 958   DIR *dh;
 959   const char *dir;
 960   char filename[BUFSIZE] = "";
 961   char typename[BUFSIZE];
 962   int ret;
 963   struct stat statbuf;
 964   struct dirent *de;
 965   int status;
 966
 967   if (plugin_name == NULL)
 968     return EINVAL;
 969
 970   /* Check if plugin is already loaded and don't do anything in this
 971    * case. */
 972   if (plugin_is_loaded(plugin_name))
 973     return 0;
 974
 975   dir = plugin_get_dir();
 976   ret = 1;
 977
 978   /*
 979    * XXX: Magic at work:
 980    *
 981    * Some of the language bindings, for example the Python and Perl
 982    * plugins, need to be able to export symbols to the scripts they run.
 983    * For this to happen, the "Globals" flag needs to be set.
 984    * Unfortunately, this technical detail is hard to explain to the
 985    * average user and she shouldn't have to worry about this, ideally.
 986    * So in order to save everyone's sanity use a different default for a
 987    * handful of special plugins. --octo
 988    */
 989   if ((strcasecmp("perl", plugin_name) == 0) ||
 990       (strcasecmp("python", plugin_name) == 0))
 991     global = true;
 992
 993   /* `cpu' should not match `cpufreq'. To solve this we add SHLIB_SUFFIX to the
 994    * type when matching the filename */
 995   status = snprintf(typename, sizeof(typename), "%s" SHLIB_SUFFIX, plugin_name);
 996   if ((status < 0) || ((size_t)status >= sizeof(typename))) {
 997     WARNING("plugin_load: Filename too long: \"%s" SHLIB_SUFFIX "\"",
 998             plugin_name);
 999     return -1;
1000   }
1001
1002   if ((dh = opendir(dir)) == NULL) {
1003     ERROR("plugin_load: opendir (%s) failed: %s", dir, STRERRNO);
1004     return -1;
1005   }
1006
1007   while ((de = readdir(dh)) != NULL) {
1008     if (strcasecmp(de->d_name, typename))
1009       continue;
1010
1011     status = snprintf(filename, sizeof(filename), "%s/%s", dir, de->d_name);
1012     if ((status < 0) || ((size_t)status >= sizeof(filename))) {
1013       WARNING("plugin_load: Filename too long: \"%s/%s\"", dir, de->d_name);
1014       continue;
1015     }
1016
1017     if (lstat(filename, &statbuf) == -1) {
1018       WARNING("plugin_load: stat (\"%s\") failed: %s", filename, STRERRNO);
1019       continue;
1020     } else if (!S_ISREG(statbuf.st_mode)) {
1021       /* don't follow symlinks */
1022       WARNING("plugin_load: %s is not a regular file.", filename);
1023       continue;
1024     }
1025
1026     status = plugin_load_file(filename, global);
1027     if (status == 0) {
1028       /* success */
1029       plugin_mark_loaded(plugin_name);
1030       ret = 0;
1031       INFO("plugin_load: plugin \"%s\" successfully loaded.", plugin_name);
1032       break;
1033     } else {
1034       ERROR("plugin_load: Load plugin \"%s\" failed with "
1035             "status %i.",
1036             plugin_name, status);
1037     }
1038   }
1039
1040   closedir(dh);
1041
1042   if (filename[0] == 0)
1043     ERROR("plugin_load: Could not find plugin \"%s\" in %s", plugin_name, dir);
1044
1045   return ret;
1046 }
1047
1048 /*
1049  * The `register_*' functions follow
1050  */
1051 EXPORT int plugin_register_config(const char *name,
1052                                   int (*callback)(const char *key,
1053                                                   const char *val),
1054                                   const char **keys, int keys_num) {
1055   cf_register(name, callback, keys, keys_num);
1056   return 0;
1057 } /* int plugin_register_config */
1058
1059 EXPORT int plugin_register_complex_config(const char *type,
1060                                           int (*callback)(oconfig_item_t *)) {
1061   return cf_register_complex(type, callback);
1062 } /* int plugin_register_complex_config */
1063
1064 EXPORT int plugin_register_init(const char *name, int (*callback)(void)) {
1065   return create_register_callback(&list_init, name, (void *)callback, NULL);
1066 } /* plugin_register_init */
1067
1068 static int plugin_compare_read_func(const void *arg0, const void *arg1) {
1069   const read_func_t *rf0;
1070   const read_func_t *rf1;
1071
1072   rf0 = arg0;
1073   rf1 = arg1;
1074
1075   if (rf0->rf_next_read < rf1->rf_next_read)
1076     return -1;
1077   else if (rf0->rf_next_read > rf1->rf_next_read)
1078     return 1;
1079   else
1080     return 0;
1081 } /* int plugin_compare_read_func */
1082
1083 /* Add a read function to both, the heap and a linked list. The linked list if
1084  * used to look-up read functions, especially for the remove function. The heap
1085  * is used to determine which plugin to read next. */
1086 static int plugin_insert_read(read_func_t *rf) {
1087   int status;
1088   llentry_t *le;
1089
1090   rf->rf_next_read = cdtime();
1091   rf->rf_effective_interval = rf->rf_interval;
1092
1093   pthread_mutex_lock(&read_lock);
1094
1095   if (read_list == NULL) {
1096     read_list = llist_create();
1097     if (read_list == NULL) {
1098       pthread_mutex_unlock(&read_lock);
1099       ERROR("plugin_insert_read: read_list failed.");
1100       return -1;
1101     }
1102   }
1103
1104   if (read_heap == NULL) {
1105     read_heap = c_heap_create(plugin_compare_read_func);
1106     if (read_heap == NULL) {
1107       pthread_mutex_unlock(&read_lock);
1108       ERROR("plugin_insert_read: c_heap_create failed.");
1109       return -1;
1110     }
1111   }
1112
1113   le = llist_search(read_list, rf->rf_name);
1114   if (le != NULL) {
1115     pthread_mutex_unlock(&read_lock);
1116     P_WARNING("The read function \"%s\" is already registered. "
1117               "Check for duplicates in your configuration!",
1118               rf->rf_name);
1119     return EINVAL;
1120   }
1121
1122   le = llentry_create(rf->rf_name, rf);
1123   if (le == NULL) {
1124     pthread_mutex_unlock(&read_lock);
1125     ERROR("plugin_insert_read: llentry_create failed.");
1126     return -1;
1127   }
1128
1129   status = c_heap_insert(read_heap, rf);
1130   if (status != 0) {
1131     pthread_mutex_unlock(&read_lock);
1132     ERROR("plugin_insert_read: c_heap_insert failed.");
1133     llentry_destroy(le);
1134     return -1;
1135   }
1136
1137   /* This does not fail. */
1138   llist_append(read_list, le);
1139
1140   /* Wake up all the read threads. */
1141   pthread_cond_broadcast(&read_cond);
1142   pthread_mutex_unlock(&read_lock);
1143   return 0;
1144 } /* int plugin_insert_read */
1145
1146 EXPORT int plugin_register_read(const char *name, int (*callback)(void)) {
1147   read_func_t *rf;
1148   int status;
1149
1150   rf = calloc(1, sizeof(*rf));
1151   if (rf == NULL) {
1152     ERROR("plugin_register_read: calloc failed.");
1153     return ENOMEM;
1154   }
1155
1156   rf->rf_callback = (void *)callback;
1157   rf->rf_udata.data = NULL;
1158   rf->rf_udata.free_func = NULL;
1159   rf->rf_ctx = plugin_get_ctx();
1160   rf->rf_group[0] = '\0';
1161   rf->rf_name = strdup(name);
1162   rf->rf_type = RF_SIMPLE;
1163   rf->rf_interval = plugin_get_interval();
1164   rf->rf_ctx.interval = rf->rf_interval;
1165
1166   status = plugin_insert_read(rf);
1167   if (status != 0) {
1168     sfree(rf->rf_name);
1169     sfree(rf);
1170   }
1171
1172   return status;
1173 } /* int plugin_register_read */
1174
1175 EXPORT int plugin_register_complex_read(const char *group, const char *name,
1176                                         plugin_read_cb callback,
1177                                         cdtime_t interval,
1178                                         user_data_t const *user_data) {
1179   read_func_t *rf;
1180   int status;
1181
1182   rf = calloc(1, sizeof(*rf));
1183   if (rf == NULL) {
1184     free_userdata(user_data);
1185     ERROR("plugin_register_complex_read: calloc failed.");
1186     return ENOMEM;
1187   }
1188
1189   rf->rf_callback = (void *)callback;
1190   if (group != NULL)
1191     sstrncpy(rf->rf_group, group, sizeof(rf->rf_group));
1192   else
1193     rf->rf_group[0] = '\0';
1194   rf->rf_name = strdup(name);
1195   rf->rf_type = RF_COMPLEX;
1196   rf->rf_interval = (interval != 0) ? interval : plugin_get_interval();
1197
1198   /* Set user data */
1199   if (user_data == NULL) {
1200     rf->rf_udata.data = NULL;
1201     rf->rf_udata.free_func = NULL;
1202   } else {
1203     rf->rf_udata = *user_data;
1204   }
1205
1206   rf->rf_ctx = plugin_get_ctx();
1207   rf->rf_ctx.interval = rf->rf_interval;
1208
1209   status = plugin_insert_read(rf);
1210   if (status != 0) {
1211     free_userdata(&rf->rf_udata);
1212     sfree(rf->rf_name);
1213     sfree(rf);
1214   }
1215
1216   return status;
1217 } /* int plugin_register_complex_read */
1218
1219 EXPORT int plugin_register_write(const char *name, plugin_write_cb callback,
1220                                  user_data_t const *ud) {
1221   return create_register_callback(&list_write, name, (void *)callback, ud);
1222 } /* int plugin_register_write */
1223
1224 static int plugin_flush_timeout_callback(user_data_t *ud) {
1225   flush_callback_t *cb = ud->data;
1226
1227   return plugin_flush(cb->name, cb->timeout, NULL);
1228 } /* static int plugin_flush_callback */
1229
1230 static void plugin_flush_timeout_callback_free(void *data) {
1231   flush_callback_t *cb = data;
1232
1233   if (cb == NULL)
1234     return;
1235
1236   sfree(cb->name);
1237   sfree(cb);
1238 } /* static void plugin_flush_callback_free */
1239
1240 static char *plugin_flush_callback_name(const char *name) {
1241   const char *flush_prefix = "flush/";
1242   size_t prefix_size;
1243   char *flush_name;
1244   size_t name_size;
1245
1246   prefix_size = strlen(flush_prefix);
1247   name_size = strlen(name);
1248
1249   flush_name = malloc(name_size + prefix_size + 1);
1250   if (flush_name == NULL) {
1251     ERROR("plugin_flush_callback_name: malloc failed.");
1252     return NULL;
1253   }
1254
1255   sstrncpy(flush_name, flush_prefix, prefix_size + 1);
1256   sstrncpy(flush_name + prefix_size, name, name_size + 1);
1257
1258   return flush_name;
1259 } /* static char *plugin_flush_callback_name */
1260
1261 EXPORT int plugin_register_flush(const char *name, plugin_flush_cb callback,
1262                                  user_data_t const *ud) {
1263   int status;
1264   plugin_ctx_t ctx = plugin_get_ctx();
1265
1266   status = create_register_callback(&list_flush, name, (void *)callback, ud);
1267   if (status != 0)
1268     return status;
1269
1270   if (ctx.flush_interval != 0) {
1271     char *flush_name;
1272     flush_callback_t *cb;
1273
1274     flush_name = plugin_flush_callback_name(name);
1275     if (flush_name == NULL)
1276       return -1;
1277
1278     cb = malloc(sizeof(*cb));
1279     if (cb == NULL) {
1280       ERROR("plugin_register_flush: malloc failed.");
1281       sfree(flush_name);
1282       return -1;
1283     }
1284
1285     cb->name = strdup(name);
1286     if (cb->name == NULL) {
1287       ERROR("plugin_register_flush: strdup failed.");
1288       sfree(cb);
1289       sfree(flush_name);
1290       return -1;
1291     }
1292     cb->timeout = ctx.flush_timeout;
1293
1294     status = plugin_register_complex_read(
1295         /* group     = */ "flush",
1296         /* name      = */ flush_name,
1297         /* callback  = */ plugin_flush_timeout_callback,
1298         /* interval  = */ ctx.flush_interval,
1299         /* user data = */ &(user_data_t){
1300             .data = cb, .free_func = plugin_flush_timeout_callback_free,
1301         });
1302
1303     sfree(flush_name);
1304     return status;
1305   }
1306
1307   return 0;
1308 } /* int plugin_register_flush */
1309
1310 EXPORT int plugin_register_missing(const char *name, plugin_missing_cb callback,
1311                                    user_data_t const *ud) {
1312   return create_register_callback(&list_missing, name, (void *)callback, ud);
1313 } /* int plugin_register_missing */
1314
1315 EXPORT int plugin_register_shutdown(const char *name, int (*callback)(void)) {
1316   return create_register_callback(&list_shutdown, name, (void *)callback, NULL);
1317 } /* int plugin_register_shutdown */
1318
1319 static void plugin_free_data_sets(void) {
1320   void *key;
1321   void *value;
1322
1323   if (data_sets == NULL)
1324     return;
1325
1326   while (c_avl_pick(data_sets, &key, &value) == 0) {
1327     data_set_t *ds = value;
1328     /* key is a pointer to ds->type */
1329
1330     sfree(ds->ds);
1331     sfree(ds);
1332   }
1333
1334   c_avl_destroy(data_sets);
1335   data_sets = NULL;
1336 } /* void plugin_free_data_sets */
1337
1338 EXPORT int plugin_register_data_set(const data_set_t *ds) {
1339   data_set_t *ds_copy;
1340
1341   if ((data_sets != NULL) && (c_avl_get(data_sets, ds->type, NULL) == 0)) {
1342     NOTICE("Replacing DS `%s' with another version.", ds->type);
1343     plugin_unregister_data_set(ds->type);
1344   } else if (data_sets == NULL) {
1345     data_sets = c_avl_create((int (*)(const void *, const void *))strcmp);
1346     if (data_sets == NULL)
1347       return -1;
1348   }
1349
1350   ds_copy = malloc(sizeof(*ds_copy));
1351   if (ds_copy == NULL)
1352     return -1;
1353   memcpy(ds_copy, ds, sizeof(data_set_t));
1354
1355   ds_copy->ds = malloc(sizeof(*ds_copy->ds) * ds->ds_num);
1356   if (ds_copy->ds == NULL) {
1357     sfree(ds_copy);
1358     return -1;
1359   }
1360
1361   for (size_t i = 0; i < ds->ds_num; i++)
1362     memcpy(ds_copy->ds + i, ds->ds + i, sizeof(data_source_t));
1363
1364   return c_avl_insert(data_sets, (void *)ds_copy->type, (void *)ds_copy);
1365 } /* int plugin_register_data_set */
1366
1367 EXPORT int plugin_register_log(const char *name, plugin_log_cb callback,
1368                                user_data_t const *ud) {
1369   return create_register_callback(&list_log, name, (void *)callback, ud);
1370 } /* int plugin_register_log */
1371
1372 EXPORT int plugin_register_notification(const char *name,
1373                                         plugin_notification_cb callback,
1374                                         user_data_t const *ud) {
1375   return create_register_callback(&list_notification, name, (void *)callback,
1376                                   ud);
1377 } /* int plugin_register_log */
1378
1379 EXPORT int plugin_unregister_config(const char *name) {
1380   cf_unregister(name);
1381   return 0;
1382 } /* int plugin_unregister_config */
1383
1384 EXPORT int plugin_unregister_complex_config(const char *name) {
1385   cf_unregister_complex(name);
1386   return 0;
1387 } /* int plugin_unregister_complex_config */
1388
1389 EXPORT int plugin_unregister_init(const char *name) {
1390   return plugin_unregister(list_init, name);
1391 }
1392
1393 EXPORT int plugin_unregister_read(const char *name) /* {{{ */
1394 {
1395   llentry_t *le;
1396   read_func_t *rf;
1397
1398   if (name == NULL)
1399     return -ENOENT;
1400
1401   pthread_mutex_lock(&read_lock);
1402
1403   if (read_list == NULL) {
1404     pthread_mutex_unlock(&read_lock);
1405     return -ENOENT;
1406   }
1407
1408   le = llist_search(read_list, name);
1409   if (le == NULL) {
1410     pthread_mutex_unlock(&read_lock);
1411     WARNING("plugin_unregister_read: No such read function: %s", name);
1412     return -ENOENT;
1413   }
1414
1415   llist_remove(read_list, le);
1416
1417   rf = le->value;
1418   assert(rf != NULL);
1419   rf->rf_type = RF_REMOVE;
1420
1421   pthread_mutex_unlock(&read_lock);
1422
1423   llentry_destroy(le);
1424
1425   DEBUG("plugin_unregister_read: Marked `%s' for removal.", name);
1426
1427   return 0;
1428 } /* }}} int plugin_unregister_read */
1429
1430 EXPORT void plugin_log_available_writers(void) {
1431   log_list_callbacks(&list_write, "Available write targets:");
1432 }
1433
1434 static int compare_read_func_group(llentry_t *e, void *ud) /* {{{ */
1435 {
1436   read_func_t *rf = e->value;
1437   char *group = ud;
1438
1439   return strcmp(rf->rf_group, (const char *)group);
1440 } /* }}} int compare_read_func_group */
1441
1442 EXPORT int plugin_unregister_read_group(const char *group) /* {{{ */
1443 {
1444   llentry_t *le;
1445   read_func_t *rf;
1446
1447   int found = 0;
1448
1449   if (group == NULL)
1450     return -ENOENT;
1451
1452   pthread_mutex_lock(&read_lock);
1453
1454   if (read_list == NULL) {
1455     pthread_mutex_unlock(&read_lock);
1456     return -ENOENT;
1457   }
1458
1459   while (42) {
1460     le = llist_search_custom(read_list, compare_read_func_group, (void *)group);
1461
1462     if (le == NULL)
1463       break;
1464
1465     ++found;
1466
1467     llist_remove(read_list, le);
1468
1469     rf = le->value;
1470     assert(rf != NULL);
1471     rf->rf_type = RF_REMOVE;
1472
1473     llentry_destroy(le);
1474
1475     DEBUG("plugin_unregister_read_group: "
1476           "Marked `%s' (group `%s') for removal.",
1477           rf->rf_name, group);
1478   }
1479
1480   pthread_mutex_unlock(&read_lock);
1481
1482   if (found == 0) {
1483     WARNING("plugin_unregister_read_group: No such "
1484             "group of read function: %s",
1485             group);
1486     return -ENOENT;
1487   }
1488
1489   return 0;
1490 } /* }}} int plugin_unregister_read_group */
1491
1492 EXPORT int plugin_unregister_write(const char *name) {
1493   return plugin_unregister(list_write, name);
1494 }
1495
1496 EXPORT int plugin_unregister_flush(const char *name) {
1497   plugin_ctx_t ctx = plugin_get_ctx();
1498
1499   if (ctx.flush_interval != 0) {
1500     char *flush_name;
1501
1502     flush_name = plugin_flush_callback_name(name);
1503     if (flush_name != NULL) {
1504       plugin_unregister_read(flush_name);
1505       sfree(flush_name);
1506     }
1507   }
1508
1509   return plugin_unregister(list_flush, name);
1510 }
1511
1512 EXPORT int plugin_unregister_missing(const char *name) {
1513   return plugin_unregister(list_missing, name);
1514 }
1515
1516 EXPORT int plugin_unregister_shutdown(const char *name) {
1517   return plugin_unregister(list_shutdown, name);
1518 }
1519
1520 EXPORT int plugin_unregister_data_set(const char *name) {
1521   data_set_t *ds;
1522
1523   if (data_sets == NULL)
1524     return -1;
1525
1526   if (c_avl_remove(data_sets, name, NULL, (void *)&ds) != 0)
1527     return -1;
1528
1529   sfree(ds->ds);
1530   sfree(ds);
1531
1532   return 0;
1533 } /* int plugin_unregister_data_set */
1534
1535 EXPORT int plugin_unregister_log(const char *name) {
1536   return plugin_unregister(list_log, name);
1537 }
1538
1539 EXPORT int plugin_unregister_notification(const char *name) {
1540   return plugin_unregister(list_notification, name);
1541 }
1542
1543 EXPORT int plugin_init_all(void) {
1544   char const *chain_name;
1545   llentry_t *le;
1546   int status;
1547   int ret = 0;
1548
1549   /* Init the value cache */
1550   uc_init();
1551
1552   if (IS_TRUE(global_option_get("CollectInternalStats"))) {
1553     record_statistics = true;
1554     plugin_register_read("collectd", plugin_update_internal_statistics);
1555   }
1556
1557   chain_name = global_option_get("PreCacheChain");
1558   pre_cache_chain = fc_chain_get_by_name(chain_name);
1559
1560   chain_name = global_option_get("PostCacheChain");
1561   post_cache_chain = fc_chain_get_by_name(chain_name);
1562
1563   write_limit_high = global_option_get_long("WriteQueueLimitHigh",
1564                                             /* default = */ 0);
1565   if (write_limit_high < 0) {
1566     ERROR("WriteQueueLimitHigh must be positive or zero.");
1567     write_limit_high = 0;
1568   }
1569
1570   write_limit_low =
1571       global_option_get_long("WriteQueueLimitLow",
1572                              /* default = */ write_limit_high / 2);
1573   if (write_limit_low < 0) {
1574     ERROR("WriteQueueLimitLow must be positive or zero.");
1575     write_limit_low = write_limit_high / 2;
1576   } else if (write_limit_low > write_limit_high) {
1577     ERROR("WriteQueueLimitLow must not be larger than "
1578           "WriteQueueLimitHigh.");
1579     write_limit_low = write_limit_high;
1580   }
1581
1582   write_threads_num = global_option_get_long("WriteThreads",
1583                                              /* default = */ 5);
1584   if (write_threads_num < 1) {
1585     ERROR("WriteThreads must be positive.");
1586     write_threads_num = 5;
1587   }
1588
1589   if ((list_init == NULL) && (read_heap == NULL))
1590     return ret;
1591
1592   /* Calling all init callbacks before checking if read callbacks
1593    * are available allows the init callbacks to register the read
1594    * callback. */
1595   le = llist_head(list_init);
1596   while (le != NULL) {
1597     callback_func_t *cf;
1598     plugin_init_cb callback;
1599     plugin_ctx_t old_ctx;
1600
1601     cf = le->value;
1602     old_ctx = plugin_set_ctx(cf->cf_ctx);
1603     callback = cf->cf_callback;
1604     status = (*callback)();
1605     plugin_set_ctx(old_ctx);
1606
1607     if (status != 0) {
1608       ERROR("Initialization of plugin `%s' "
1609             "failed with status %i. "
1610             "Plugin will be unloaded.",
1611             le->key, status);
1612       /* Plugins that register read callbacks from the init
1613        * callback should take care of appropriate error
1614        * handling themselves. */
1615       /* FIXME: Unload _all_ functions */
1616       plugin_unregister_read(le->key);
1617       ret = -1;
1618     }
1619
1620     le = le->next;
1621   }
1622
1623   start_write_threads((size_t)write_threads_num);
1624
1625   max_read_interval =
1626       global_option_get_time("MaxReadInterval", DEFAULT_MAX_READ_INTERVAL);
1627
1628   /* Start read-threads */
1629   if (read_heap != NULL) {
1630     const char *rt;
1631     int num;
1632
1633     rt = global_option_get("ReadThreads");
1634     num = atoi(rt);
1635     if (num != -1)
1636       start_read_threads((num > 0) ? ((size_t)num) : 5);
1637   }
1638   return ret;
1639 } /* void plugin_init_all */
1640
1641 /* TODO: Rename this function. */
1642 EXPORT void plugin_read_all(void) {
1643   uc_check_timeout();
1644
1645   return;
1646 } /* void plugin_read_all */
1647
1648 /* Read function called when the `-T' command line argument is given. */
1649 EXPORT int plugin_read_all_once(void) {
1650   int status;
1651   int return_status = 0;
1652
1653   if (read_heap == NULL) {
1654     NOTICE("No read-functions are registered.");
1655     return 0;
1656   }
1657
1658   while (42) {
1659     read_func_t *rf;
1660     plugin_ctx_t old_ctx;
1661
1662     rf = c_heap_get_root(read_heap);
1663     if (rf == NULL)
1664       break;
1665
1666     old_ctx = plugin_set_ctx(rf->rf_ctx);
1667
1668     if (rf->rf_type == RF_SIMPLE) {
1669       int (*callback)(void);
1670
1671       callback = rf->rf_callback;
1672       status = (*callback)();
1673     } else {
1674       plugin_read_cb callback;
1675
1676       callback = rf->rf_callback;
1677       status = (*callback)(&rf->rf_udata);
1678     }
1679
1680     plugin_set_ctx(old_ctx);
1681
1682     if (status != 0) {
1683       NOTICE("read-function of plugin `%s' failed.", rf->rf_name);
1684       return_status = -1;
1685     }
1686
1687     sfree(rf->rf_name);
1688     destroy_callback((void *)rf);
1689   }
1690
1691   return return_status;
1692 } /* int plugin_read_all_once */
1693
1694 EXPORT int plugin_write(const char *plugin, /* {{{ */
1695                         const data_set_t *ds, const value_list_t *vl) {
1696   llentry_t *le;
1697   int status;
1698
1699   if (vl == NULL)
1700     return EINVAL;
1701
1702   if (list_write == NULL)
1703     return ENOENT;
1704
1705   if (ds == NULL) {
1706     ds = plugin_get_ds(vl->type);
1707     if (ds == NULL) {
1708       ERROR("plugin_write: Unable to lookup type `%s'.", vl->type);
1709       return ENOENT;
1710     }
1711   }
1712
1713   if (plugin == NULL) {
1714     int success = 0;
1715     int failure = 0;
1716
1717     le = llist_head(list_write);
1718     while (le != NULL) {
1719       callback_func_t *cf = le->value;
1720       plugin_write_cb callback;
1721
1722       /* Keep the read plugin's interval and flush information but update the
1723        * plugin name. */
1724       plugin_ctx_t old_ctx = plugin_get_ctx();
1725       plugin_ctx_t ctx = old_ctx;
1726       ctx.name = cf->cf_ctx.name;
1727       plugin_set_ctx(ctx);
1728
1729       DEBUG("plugin: plugin_write: Writing values via %s.", le->key);
1730       callback = cf->cf_callback;
1731       status = (*callback)(ds, vl, &cf->cf_udata);
1732       if (status != 0)
1733         failure++;
1734       else
1735         success++;
1736
1737       plugin_set_ctx(old_ctx);
1738       le = le->next;
1739     }
1740
1741     if ((success == 0) && (failure != 0))
1742       status = -1;
1743     else
1744       status = 0;
1745   } else /* plugin != NULL */
1746   {
1747     callback_func_t *cf;
1748     plugin_write_cb callback;
1749
1750     le = llist_head(list_write);
1751     while (le != NULL) {
1752       if (strcasecmp(plugin, le->key) == 0)
1753         break;
1754
1755       le = le->next;
1756     }
1757
1758     if (le == NULL)
1759       return ENOENT;
1760
1761     cf = le->value;
1762
1763     /* do not switch plugin context; rather keep the context (interval)
1764      * information of the calling read plugin */
1765
1766     DEBUG("plugin: plugin_write: Writing values via %s.", le->key);
1767     callback = cf->cf_callback;
1768     status = (*callback)(ds, vl, &cf->cf_udata);
1769   }
1770
1771   return status;
1772 } /* }}} int plugin_write */
1773
1774 EXPORT int plugin_flush(const char *plugin, cdtime_t timeout,
1775                         const char *identifier) {
1776   llentry_t *le;
1777
1778   if (list_flush == NULL)
1779     return 0;
1780
1781   le = llist_head(list_flush);
1782   while (le != NULL) {
1783     callback_func_t *cf;
1784     plugin_flush_cb callback;
1785     plugin_ctx_t old_ctx;
1786
1787     if ((plugin != NULL) && (strcmp(plugin, le->key) != 0)) {
1788       le = le->next;
1789       continue;
1790     }
1791
1792     cf = le->value;
1793     old_ctx = plugin_set_ctx(cf->cf_ctx);
1794     callback = cf->cf_callback;
1795
1796     (*callback)(timeout, identifier, &cf->cf_udata);
1797
1798     plugin_set_ctx(old_ctx);
1799
1800     le = le->next;
1801   }
1802   return 0;
1803 } /* int plugin_flush */
1804
1805 EXPORT int plugin_shutdown_all(void) {
1806   llentry_t *le;
1807   int ret = 0; // Assume success.
1808
1809   destroy_all_callbacks(&list_init);
1810
1811   stop_read_threads();
1812
1813   pthread_mutex_lock(&read_lock);
1814   llist_destroy(read_list);
1815   read_list = NULL;
1816   pthread_mutex_unlock(&read_lock);
1817
1818   destroy_read_heap();
1819
1820   /* blocks until all write threads have shut down. */
1821   stop_write_threads();
1822
1823   /* ask all plugins to write out the state they kept. */
1824   plugin_flush(/* plugin = */ NULL,
1825                /* timeout = */ 0,
1826                /* identifier = */ NULL);
1827
1828   le = NULL;
1829   if (list_shutdown != NULL)
1830     le = llist_head(list_shutdown);
1831
1832   while (le != NULL) {
1833     callback_func_t *cf;
1834     plugin_shutdown_cb callback;
1835     plugin_ctx_t old_ctx;
1836
1837     cf = le->value;
1838     old_ctx = plugin_set_ctx(cf->cf_ctx);
1839     callback = cf->cf_callback;
1840
1841     /* Advance the pointer before calling the callback allows
1842      * shutdown functions to unregister themselves. If done the
1843      * other way around the memory `le' points to will be freed
1844      * after callback returns. */
1845     le = le->next;
1846
1847     if ((*callback)() != 0)
1848       ret = -1;
1849
1850     plugin_set_ctx(old_ctx);
1851   }
1852
1853   /* Write plugins which use the `user_data' pointer usually need the
1854    * same data available to the flush callback. If this is the case, set
1855    * the free_function to NULL when registering the flush callback and to
1856    * the real free function when registering the write callback. This way
1857    * the data isn't freed twice. */
1858   destroy_all_callbacks(&list_flush);
1859   destroy_all_callbacks(&list_missing);
1860   destroy_all_callbacks(&list_write);
1861
1862   destroy_all_callbacks(&list_notification);
1863   destroy_all_callbacks(&list_shutdown);
1864   destroy_all_callbacks(&list_log);
1865
1866   plugin_free_loaded();
1867   plugin_free_data_sets();
1868   return ret;
1869 } /* void plugin_shutdown_all */
1870
1871 EXPORT int plugin_dispatch_missing(const value_list_t *vl) /* {{{ */
1872 {
1873   if (list_missing == NULL)
1874     return 0;
1875
1876   llentry_t *le = llist_head(list_missing);
1877   while (le != NULL) {
1878     callback_func_t *cf = le->value;
1879     plugin_ctx_t old_ctx = plugin_set_ctx(cf->cf_ctx);
1880     plugin_missing_cb callback = cf->cf_callback;
1881
1882     int status = (*callback)(vl, &cf->cf_udata);
1883     plugin_set_ctx(old_ctx);
1884     if (status != 0) {
1885       if (status < 0) {
1886         ERROR("plugin_dispatch_missing: Callback function \"%s\" "
1887               "failed with status %i.",
1888               le->key, status);
1889         return status;
1890       } else {
1891         return 0;
1892       }
1893     }
1894
1895     le = le->next;
1896   }
1897   return 0;
1898 } /* int }}} plugin_dispatch_missing */
1899
1900 static int plugin_dispatch_values_internal(value_list_t *vl) {
1901   int status;
1902   static c_complain_t no_write_complaint = C_COMPLAIN_INIT_STATIC;
1903
1904   bool free_meta_data = false;
1905
1906   assert(vl != NULL);
1907
1908   /* These fields are initialized by plugin_value_list_clone() if needed: */
1909   assert(vl->host[0] != 0);
1910   assert(vl->time != 0); /* The time is determined at _enqueue_ time. */
1911   assert(vl->interval != 0);
1912
1913   if (vl->type[0] == 0 || vl->values == NULL || vl->values_len < 1) {
1914     ERROR("plugin_dispatch_values: Invalid value list "
1915           "from plugin %s.",
1916           vl->plugin);
1917     return -1;
1918   }
1919
1920   /* Free meta data only if the calling function didn't specify any. In
1921    * this case matches and targets may add some and the calling function
1922    * may not expect (and therefore free) that data. */
1923   if (vl->meta == NULL)
1924     free_meta_data = true;
1925
1926   if (list_write == NULL)
1927     c_complain_once(LOG_WARNING, &no_write_complaint,
1928                     "plugin_dispatch_values: No write callback has been "
1929                     "registered. Please load at least one output plugin, "
1930                     "if you want the collected data to be stored.");
1931
1932   if (data_sets == NULL) {
1933     ERROR("plugin_dispatch_values: No data sets registered. "
1934           "Could the types database be read? Check "
1935           "your `TypesDB' setting!");
1936     return -1;
1937   }
1938
1939   data_set_t *ds = NULL;
1940   if (c_avl_get(data_sets, vl->type, (void *)&ds) != 0) {
1941     char ident[6 * DATA_MAX_NAME_LEN];
1942
1943     FORMAT_VL(ident, sizeof(ident), vl);
1944     INFO("plugin_dispatch_values: Dataset not found: %s "
1945          "(from \"%s\"), check your types.db!",
1946          vl->type, ident);
1947     return -1;
1948   }
1949
1950   DEBUG("plugin_dispatch_values: time = %.3f; interval = %.3f; "
1951         "host = %s; "
1952         "plugin = %s; plugin_instance = %s; "
1953         "type = %s; type_instance = %s;",
1954         CDTIME_T_TO_DOUBLE(vl->time), CDTIME_T_TO_DOUBLE(vl->interval),
1955         vl->host, vl->plugin, vl->plugin_instance, vl->type, vl->type_instance);
1956
1957 #if COLLECT_DEBUG
1958   assert(0 == strcmp(ds->type, vl->type));
1959 #else
1960   if (0 != strcmp(ds->type, vl->type))
1961     WARNING("plugin_dispatch_values: (ds->type = %s) != (vl->type = %s)",
1962             ds->type, vl->type);
1963 #endif
1964
1965 #if COLLECT_DEBUG
1966   assert(ds->ds_num == vl->values_len);
1967 #else
1968   if (ds->ds_num != vl->values_len) {
1969     ERROR("plugin_dispatch_values: ds->type = %s: "
1970           "(ds->ds_num = %" PRIsz ") != "
1971           "(vl->values_len = %" PRIsz ")",
1972           ds->type, ds->ds_num, vl->values_len);
1973     return -1;
1974   }
1975 #endif
1976
1977   escape_slashes(vl->host, sizeof(vl->host));
1978   escape_slashes(vl->plugin, sizeof(vl->plugin));
1979   escape_slashes(vl->plugin_instance, sizeof(vl->plugin_instance));
1980   escape_slashes(vl->type, sizeof(vl->type));
1981   escape_slashes(vl->type_instance, sizeof(vl->type_instance));
1982
1983   if (pre_cache_chain != NULL) {
1984     status = fc_process_chain(ds, vl, pre_cache_chain);
1985     if (status < 0) {
1986       WARNING("plugin_dispatch_values: Running the "
1987               "pre-cache chain failed with "
1988               "status %i (%#x).",
1989               status, status);
1990     } else if (status == FC_TARGET_STOP)
1991       return 0;
1992   }
1993
1994   /* Update the value cache */
1995   uc_update(ds, vl);
1996
1997   if (post_cache_chain != NULL) {
1998     status = fc_process_chain(ds, vl, post_cache_chain);
1999     if (status < 0) {
2000       WARNING("plugin_dispatch_values: Running the "
2001               "post-cache chain failed with "
2002               "status %i (%#x).",
2003               status, status);
2004     }
2005   } else
2006     fc_default_action(ds, vl);
2007
2008   if ((free_meta_data == true) && (vl->meta != NULL)) {
2009     meta_data_destroy(vl->meta);
2010     vl->meta = NULL;
2011   }
2012
2013   return 0;
2014 } /* int plugin_dispatch_values_internal */
2015
2016 static double get_drop_probability(void) /* {{{ */
2017 {
2018   long pos;
2019   long size;
2020   long wql;
2021
2022   pthread_mutex_lock(&write_lock);
2023   wql = write_queue_length;
2024   pthread_mutex_unlock(&write_lock);
2025
2026   if (wql < write_limit_low)
2027     return 0.0;
2028   if (wql >= write_limit_high)
2029     return 1.0;
2030
2031   pos = 1 + wql - write_limit_low;
2032   size = 1 + write_limit_high - write_limit_low;
2033
2034   return (double)pos / (double)size;
2035 } /* }}} double get_drop_probability */
2036
2037 static bool check_drop_value(void) /* {{{ */
2038 {
2039   static cdtime_t last_message_time;
2040   static pthread_mutex_t last_message_lock = PTHREAD_MUTEX_INITIALIZER;
2041
2042   double p;
2043   double q;
2044   int status;
2045
2046   if (write_limit_high == 0)
2047     return false;
2048
2049   p = get_drop_probability();
2050   if (p == 0.0)
2051     return false;
2052
2053   status = pthread_mutex_trylock(&last_message_lock);
2054   if (status == 0) {
2055     cdtime_t now;
2056
2057     now = cdtime();
2058     if ((now - last_message_time) > TIME_T_TO_CDTIME_T(1)) {
2059       last_message_time = now;
2060       ERROR("plugin_dispatch_values: Low water mark "
2061             "reached. Dropping %.0f%% of metrics.",
2062             100.0 * p);
2063     }
2064     pthread_mutex_unlock(&last_message_lock);
2065   }
2066
2067   if (p == 1.0)
2068     return true;
2069
2070   q = cdrand_d();
2071   if (q > p)
2072     return true;
2073   else
2074     return false;
2075 } /* }}} bool check_drop_value */
2076
2077 EXPORT int plugin_dispatch_values(value_list_t const *vl) {
2078   int status;
2079   static pthread_mutex_t statistics_lock = PTHREAD_MUTEX_INITIALIZER;
2080
2081   if (check_drop_value()) {
2082     if (record_statistics) {
2083       pthread_mutex_lock(&statistics_lock);
2084       stats_values_dropped++;
2085       pthread_mutex_unlock(&statistics_lock);
2086     }
2087     return 0;
2088   }
2089
2090   status = plugin_write_enqueue(vl);
2091   if (status != 0) {
2092     ERROR("plugin_dispatch_values: plugin_write_enqueue failed with status %i "
2093           "(%s).",
2094           status, STRERROR(status));
2095     return status;
2096   }
2097
2098   return 0;
2099 }
2100
2101 __attribute__((sentinel)) int
2102 plugin_dispatch_multivalue(value_list_t const *template, /* {{{ */
2103                            bool store_percentage, int store_type, ...) {
2104   value_list_t *vl;
2105   int failed = 0;
2106   gauge_t sum = 0.0;
2107   va_list ap;
2108
2109   assert(template->values_len == 1);
2110
2111   /* Calculate sum for Gauge to calculate percent if needed */
2112   if (DS_TYPE_GAUGE == store_type) {
2113     va_start(ap, store_type);
2114     while (42) {
2115       char const *name;
2116       gauge_t value;
2117
2118       name = va_arg(ap, char const *);
2119       if (name == NULL)
2120         break;
2121
2122       value = va_arg(ap, gauge_t);
2123       if (!isnan(value))
2124         sum += value;
2125     }
2126     va_end(ap);
2127   }
2128
2129   vl = plugin_value_list_clone(template);
2130   /* plugin_value_list_clone makes sure vl->time is set to non-zero. */
2131   if (store_percentage)
2132     sstrncpy(vl->type, "percent", sizeof(vl->type));
2133
2134   va_start(ap, store_type);
2135   while (42) {
2136     char const *name;
2137     int status;
2138
2139     /* Set the type instance. */
2140     name = va_arg(ap, char const *);
2141     if (name == NULL)
2142       break;
2143     sstrncpy(vl->type_instance, name, sizeof(vl->type_instance));
2144
2145     /* Set the value. */
2146     switch (store_type) {
2147     case DS_TYPE_GAUGE:
2148       vl->values[0].gauge = va_arg(ap, gauge_t);
2149       if (store_percentage)
2150         vl->values[0].gauge *= sum ? (100.0 / sum) : NAN;
2151       break;
2152     case DS_TYPE_ABSOLUTE:
2153       vl->values[0].absolute = va_arg(ap, absolute_t);
2154       break;
2155     case DS_TYPE_COUNTER:
2156       vl->values[0].counter = va_arg(ap, counter_t);
2157       break;
2158     case DS_TYPE_DERIVE:
2159       vl->values[0].derive = va_arg(ap, derive_t);
2160       break;
2161     default:
2162       ERROR("plugin_dispatch_multivalue: given store_type is incorrect.");
2163       failed++;
2164     }
2165
2166     status = plugin_write_enqueue(vl);
2167     if (status != 0)
2168       failed++;
2169   }
2170   va_end(ap);
2171
2172   plugin_value_list_free(vl);
2173   return failed;
2174 } /* }}} int plugin_dispatch_multivalue */
2175
2176 EXPORT int plugin_dispatch_notification(const notification_t *notif) {
2177   llentry_t *le;
2178   /* Possible TODO: Add flap detection here */
2179
2180   DEBUG("plugin_dispatch_notification: severity = %i; message = %s; "
2181         "time = %.3f; host = %s;",
2182         notif->severity, notif->message, CDTIME_T_TO_DOUBLE(notif->time),
2183         notif->host);
2184
2185   /* Nobody cares for notifications */
2186   if (list_notification == NULL)
2187     return -1;
2188
2189   le = llist_head(list_notification);
2190   while (le != NULL) {
2191     callback_func_t *cf;
2192     plugin_notification_cb callback;
2193     int status;
2194
2195     /* do not switch plugin context; rather keep the context
2196      * (interval) information of the calling plugin */
2197
2198     cf = le->value;
2199     callback = cf->cf_callback;
2200     status = (*callback)(notif, &cf->cf_udata);
2201     if (status != 0) {
2202       WARNING("plugin_dispatch_notification: Notification "
2203               "callback %s returned %i.",
2204               le->key, status);
2205     }
2206
2207     le = le->next;
2208   }
2209
2210   return 0;
2211 } /* int plugin_dispatch_notification */
2212
2213 EXPORT void plugin_log(int level, const char *format, ...) {
2214   char msg[1024];
2215   va_list ap;
2216   llentry_t *le;
2217
2218 #if !COLLECT_DEBUG
2219   if (level >= LOG_DEBUG)
2220     return;
2221 #endif
2222
2223   va_start(ap, format);
2224   vsnprintf(msg, sizeof(msg), format, ap);
2225   msg[sizeof(msg) - 1] = '\0';
2226   va_end(ap);
2227
2228   if (list_log == NULL) {
2229     fprintf(stderr, "%s\n", msg);
2230     return;
2231   }
2232
2233   le = llist_head(list_log);
2234   while (le != NULL) {
2235     callback_func_t *cf;
2236     plugin_log_cb callback;
2237
2238     cf = le->value;
2239     callback = cf->cf_callback;
2240
2241     /* do not switch plugin context; rather keep the context
2242      * (interval) information of the calling plugin */
2243
2244     (*callback)(level, msg, &cf->cf_udata);
2245
2246     le = le->next;
2247   }
2248 } /* void plugin_log */
2249
2250 void daemon_log(int level, const char *format, ...) {
2251   char msg[1024] = ""; // Size inherits from plugin_log()
2252
2253   char const *name = plugin_get_ctx().name;
2254   if (name == NULL)
2255     name = "UNKNOWN";
2256
2257   va_list ap;
2258   va_start(ap, format);
2259   vsnprintf(msg, sizeof(msg), format, ap);
2260   va_end(ap);
2261
2262   plugin_log(level, "%s plugin: %s", name, msg);
2263 } /* void daemon_log */
2264
2265 int parse_log_severity(const char *severity) {
2266   int log_level = -1;
2267
2268   if ((0 == strcasecmp(severity, "emerg")) ||
2269       (0 == strcasecmp(severity, "alert")) ||
2270       (0 == strcasecmp(severity, "crit")) || (0 == strcasecmp(severity, "err")))
2271     log_level = LOG_ERR;
2272   else if (0 == strcasecmp(severity, "warning"))
2273     log_level = LOG_WARNING;
2274   else if (0 == strcasecmp(severity, "notice"))
2275     log_level = LOG_NOTICE;
2276   else if (0 == strcasecmp(severity, "info"))
2277     log_level = LOG_INFO;
2278 #if COLLECT_DEBUG
2279   else if (0 == strcasecmp(severity, "debug"))
2280     log_level = LOG_DEBUG;
2281 #endif /* COLLECT_DEBUG */
2282
2283   return log_level;
2284 } /* int parse_log_severity */
2285
2286 EXPORT int parse_notif_severity(const char *severity) {
2287   int notif_severity = -1;
2288
2289   if (strcasecmp(severity, "FAILURE") == 0)
2290     notif_severity = NOTIF_FAILURE;
2291   else if (strcmp(severity, "OKAY") == 0)
2292     notif_severity = NOTIF_OKAY;
2293   else if ((strcmp(severity, "WARNING") == 0) ||
2294            (strcmp(severity, "WARN") == 0))
2295     notif_severity = NOTIF_WARNING;
2296
2297   return notif_severity;
2298 } /* int parse_notif_severity */
2299
2300 EXPORT const data_set_t *plugin_get_ds(const char *name) {
2301   data_set_t *ds;
2302
2303   if (data_sets == NULL) {
2304     P_ERROR("plugin_get_ds: No data sets are defined yet.");
2305     return NULL;
2306   }
2307
2308   if (c_avl_get(data_sets, name, (void *)&ds) != 0) {
2309     DEBUG("No such dataset registered: %s", name);
2310     return NULL;
2311   }
2312
2313   return ds;
2314 } /* data_set_t *plugin_get_ds */
2315
2316 static int plugin_notification_meta_add(notification_t *n, const char *name,
2317                                         enum notification_meta_type_e type,
2318                                         const void *value) {
2319   notification_meta_t *meta;
2320   notification_meta_t *tail;
2321
2322   if ((n == NULL) || (name == NULL) || (value == NULL)) {
2323     ERROR("plugin_notification_meta_add: A pointer is NULL!");
2324     return -1;
2325   }
2326
2327   meta = calloc(1, sizeof(*meta));
2328   if (meta == NULL) {
2329     ERROR("plugin_notification_meta_add: calloc failed.");
2330     return -1;
2331   }
2332
2333   sstrncpy(meta->name, name, sizeof(meta->name));
2334   meta->type = type;
2335
2336   switch (type) {
2337   case NM_TYPE_STRING: {
2338     meta->nm_value.nm_string = strdup((const char *)value);
2339     if (meta->nm_value.nm_string == NULL) {
2340       ERROR("plugin_notification_meta_add: strdup failed.");
2341       sfree(meta);
2342       return -1;
2343     }
2344     break;
2345   }
2346   case NM_TYPE_SIGNED_INT: {
2347     meta->nm_value.nm_signed_int = *((int64_t *)value);
2348     break;
2349   }
2350   case NM_TYPE_UNSIGNED_INT: {
2351     meta->nm_value.nm_unsigned_int = *((uint64_t *)value);
2352     break;
2353   }
2354   case NM_TYPE_DOUBLE: {
2355     meta->nm_value.nm_double = *((double *)value);
2356     break;
2357   }
2358   case NM_TYPE_BOOLEAN: {
2359     meta->nm_value.nm_boolean = *((bool *)value);
2360     break;
2361   }
2362   default: {
2363     ERROR("plugin_notification_meta_add: Unknown type: %i", type);
2364     sfree(meta);
2365     return -1;
2366   }
2367   } /* switch (type) */
2368
2369   meta->next = NULL;
2370   tail = n->meta;
2371   while ((tail != NULL) && (tail->next != NULL))
2372     tail = tail->next;
2373
2374   if (tail == NULL)
2375     n->meta = meta;
2376   else
2377     tail->next = meta;
2378
2379   return 0;
2380 } /* int plugin_notification_meta_add */
2381
2382 int plugin_notification_meta_add_string(notification_t *n, const char *name,
2383                                         const char *value) {
2384   return plugin_notification_meta_add(n, name, NM_TYPE_STRING, value);
2385 }
2386
2387 int plugin_notification_meta_add_signed_int(notification_t *n, const char *name,
2388                                             int64_t value) {
2389   return plugin_notification_meta_add(n, name, NM_TYPE_SIGNED_INT, &value);
2390 }
2391
2392 int plugin_notification_meta_add_unsigned_int(notification_t *n,
2393                                               const char *name,
2394                                               uint64_t value) {
2395   return plugin_notification_meta_add(n, name, NM_TYPE_UNSIGNED_INT, &value);
2396 }
2397
2398 int plugin_notification_meta_add_double(notification_t *n, const char *name,
2399                                         double value) {
2400   return plugin_notification_meta_add(n, name, NM_TYPE_DOUBLE, &value);
2401 }
2402
2403 int plugin_notification_meta_add_boolean(notification_t *n, const char *name,
2404                                          bool value) {
2405   return plugin_notification_meta_add(n, name, NM_TYPE_BOOLEAN, &value);
2406 }
2407
2408 int plugin_notification_meta_copy(notification_t *dst,
2409                                   const notification_t *src) {
2410   assert(dst != NULL);
2411   assert(src != NULL);
2412   assert(dst != src);
2413   assert((src->meta == NULL) || (src->meta != dst->meta));
2414
2415   for (notification_meta_t *meta = src->meta; meta != NULL; meta = meta->next) {
2416     if (meta->type == NM_TYPE_STRING)
2417       plugin_notification_meta_add_string(dst, meta->name,
2418                                           meta->nm_value.nm_string);
2419     else if (meta->type == NM_TYPE_SIGNED_INT)
2420       plugin_notification_meta_add_signed_int(dst, meta->name,
2421                                               meta->nm_value.nm_signed_int);
2422     else if (meta->type == NM_TYPE_UNSIGNED_INT)
2423       plugin_notification_meta_add_unsigned_int(dst, meta->name,
2424                                                 meta->nm_value.nm_unsigned_int);
2425     else if (meta->type == NM_TYPE_DOUBLE)
2426       plugin_notification_meta_add_double(dst, meta->name,
2427                                           meta->nm_value.nm_double);
2428     else if (meta->type == NM_TYPE_BOOLEAN)
2429       plugin_notification_meta_add_boolean(dst, meta->name,
2430                                            meta->nm_value.nm_boolean);
2431   }
2432
2433   return 0;
2434 } /* int plugin_notification_meta_copy */
2435
2436 int plugin_notification_meta_free(notification_meta_t *n) {
2437   notification_meta_t *this;
2438   notification_meta_t *next;
2439
2440   if (n == NULL) {
2441     ERROR("plugin_notification_meta_free: n == NULL!");
2442     return -1;
2443   }
2444
2445   this = n;
2446   while (this != NULL) {
2447     next = this->next;
2448
2449     if (this->type == NM_TYPE_STRING) {
2450       /* Assign to a temporary variable to work around nm_string's const
2451        * modifier. */
2452       void *tmp = (void *)this->nm_value.nm_string;
2453
2454       sfree(tmp);
2455       this->nm_value.nm_string = NULL;
2456     }
2457     sfree(this);
2458
2459     this = next;
2460   }
2461
2462   return 0;
2463 } /* int plugin_notification_meta_free */
2464
2465 static void plugin_ctx_destructor(void *ctx) {
2466   sfree(ctx);
2467 } /* void plugin_ctx_destructor */
2468
2469 static plugin_ctx_t ctx_init = {/* interval = */ 0};
2470
2471 static plugin_ctx_t *plugin_ctx_create(void) {
2472   plugin_ctx_t *ctx;
2473
2474   ctx = malloc(sizeof(*ctx));
2475   if (ctx == NULL) {
2476     ERROR("Failed to allocate plugin context: %s", STRERRNO);
2477     return NULL;
2478   }
2479
2480   *ctx = ctx_init;
2481   assert(plugin_ctx_key_initialized);
2482   pthread_setspecific(plugin_ctx_key, ctx);
2483   DEBUG("Created new plugin context.");
2484   return ctx;
2485 } /* int plugin_ctx_create */
2486
2487 EXPORT void plugin_init_ctx(void) {
2488   pthread_key_create(&plugin_ctx_key, plugin_ctx_destructor);
2489   plugin_ctx_key_initialized = true;
2490 } /* void plugin_init_ctx */
2491
2492 EXPORT plugin_ctx_t plugin_get_ctx(void) {
2493   plugin_ctx_t *ctx;
2494
2495   assert(plugin_ctx_key_initialized);
2496   ctx = pthread_getspecific(plugin_ctx_key);
2497
2498   if (ctx == NULL) {
2499     ctx = plugin_ctx_create();
2500     /* this must no happen -- exit() instead? */
2501     if (ctx == NULL)
2502       return ctx_init;
2503   }
2504
2505   return *ctx;
2506 } /* plugin_ctx_t plugin_get_ctx */
2507
2508 EXPORT plugin_ctx_t plugin_set_ctx(plugin_ctx_t ctx) {
2509   plugin_ctx_t *c;
2510   plugin_ctx_t old;
2511
2512   assert(plugin_ctx_key_initialized);
2513   c = pthread_getspecific(plugin_ctx_key);
2514
2515   if (c == NULL) {
2516     c = plugin_ctx_create();
2517     /* this must no happen -- exit() instead? */
2518     if (c == NULL)
2519       return ctx_init;
2520   }
2521
2522   old = *c;
2523   *c = ctx;
2524
2525   return old;
2526 } /* void plugin_set_ctx */
2527
2528 EXPORT cdtime_t plugin_get_interval(void) {
2529   cdtime_t interval;
2530
2531   interval = plugin_get_ctx().interval;
2532   if (interval > 0)
2533     return interval;
2534
2535   P_ERROR("plugin_get_interval: Unable to determine Interval from context.");
2536
2537   return cf_get_default_interval();
2538 } /* cdtime_t plugin_get_interval */
2539
2540 typedef struct {
2541   plugin_ctx_t ctx;
2542   void *(*start_routine)(void *);
2543   void *arg;
2544 } plugin_thread_t;
2545
2546 static void *plugin_thread_start(void *arg) {
2547   plugin_thread_t *plugin_thread = arg;
2548
2549   void *(*start_routine)(void *) = plugin_thread->start_routine;
2550   void *plugin_arg = plugin_thread->arg;
2551
2552   plugin_set_ctx(plugin_thread->ctx);
2553
2554   sfree(plugin_thread);
2555
2556   return start_routine(plugin_arg);
2557 } /* void *plugin_thread_start */
2558
2559 int plugin_thread_create(pthread_t *thread, const pthread_attr_t *attr,
2560                          void *(*start_routine)(void *), void *arg,
2561                          char const *name) {
2562   plugin_thread_t *plugin_thread;
2563
2564   plugin_thread = malloc(sizeof(*plugin_thread));
2565   if (plugin_thread == NULL)
2566     return ENOMEM;
2567
2568   plugin_thread->ctx = plugin_get_ctx();
2569   plugin_thread->start_routine = start_routine;
2570   plugin_thread->arg = arg;
2571
2572   int ret = pthread_create(thread, attr, plugin_thread_start, plugin_thread);
2573   if (ret != 0) {
2574     sfree(plugin_thread);
2575     return ret;
2576   }
2577
2578   if (name != NULL)
2579     set_thread_name(*thread, name);
2580
2581   return 0;
2582 } /* int plugin_thread_create */