src/daemon/plugin.c

   1 /**
   2  * collectd - src/plugin.c
   3  * Copyright (C) 2005-2014  Florian octo Forster
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  20  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  21  * DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors:
  24  *   Florian octo Forster <octo at collectd.org>
  25  *   Sebastian Harl <sh at tokkee.org>
  26  **/
  27
  28 #include "collectd.h"
  29 #include "common.h"
  30 #include "plugin.h"
  31 #include "configfile.h"
  32 #include "filter_chain.h"
  33 #include "utils_avltree.h"
  34 #include "utils_cache.h"
  35 #include "utils_complain.h"
  36 #include "utils_llist.h"
  37 #include "utils_heap.h"
  38 #include "utils_time.h"
  39 #include "utils_random.h"
  40
  41 #include <ltdl.h>
  42
  43 /*
  44  * Private structures
  45  */
  46 struct callback_func_s
  47 {
  48         void *cf_callback;
  49         user_data_t cf_udata;
  50         plugin_ctx_t cf_ctx;
  51 };
  52 typedef struct callback_func_s callback_func_t;
  53
  54 #define RF_SIMPLE  0
  55 #define RF_COMPLEX 1
  56 #define RF_REMOVE  65535
  57 struct read_func_s
  58 {
  59         /* `read_func_t' "inherits" from `callback_func_t'.
  60          * The `rf_super' member MUST be the first one in this structure! */
  61 #define rf_callback rf_super.cf_callback
  62 #define rf_udata rf_super.cf_udata
  63 #define rf_ctx rf_super.cf_ctx
  64         callback_func_t rf_super;
  65         char rf_group[DATA_MAX_NAME_LEN];
  66         char *rf_name;
  67         int rf_type;
  68         cdtime_t rf_interval;
  69         cdtime_t rf_effective_interval;
  70         cdtime_t rf_next_read;
  71 };
  72 typedef struct read_func_s read_func_t;
  73
  74 struct write_queue_s;
  75 typedef struct write_queue_s write_queue_t;
  76 struct write_queue_s
  77 {
  78         value_list_t *vl;
  79         plugin_ctx_t ctx;
  80         write_queue_t *next;
  81 };
  82
  83 struct flush_callback_s {
  84         char *name;
  85         cdtime_t timeout;
  86 };
  87 typedef struct flush_callback_s flush_callback_t;
  88
  89 /*
  90  * Private variables
  91  */
  92 static c_avl_tree_t *plugins_loaded = NULL;
  93
  94 static llist_t *list_init;
  95 static llist_t *list_write;
  96 static llist_t *list_flush;
  97 static llist_t *list_missing;
  98 static llist_t *list_shutdown;
  99 static llist_t *list_log;
 100 static llist_t *list_notification;
 101
 102 static fc_chain_t *pre_cache_chain = NULL;
 103 static fc_chain_t *post_cache_chain = NULL;
 104
 105 static c_avl_tree_t *data_sets;
 106
 107 static char *plugindir = NULL;
 108
 109 #ifndef DEFAULT_MAX_READ_INTERVAL
 110 # define DEFAULT_MAX_READ_INTERVAL TIME_T_TO_CDTIME_T (86400)
 111 #endif
 112 static c_heap_t       *read_heap = NULL;
 113 static llist_t        *read_list;
 114 static int             read_loop = 1;
 115 static pthread_mutex_t read_lock = PTHREAD_MUTEX_INITIALIZER;
 116 static pthread_cond_t  read_cond = PTHREAD_COND_INITIALIZER;
 117 static pthread_t      *read_threads = NULL;
 118 static int             read_threads_num = 0;
 119 static cdtime_t        max_read_interval = DEFAULT_MAX_READ_INTERVAL;
 120
 121 static write_queue_t  *write_queue_head;
 122 static write_queue_t  *write_queue_tail;
 123 static long            write_queue_length = 0;
 124 static _Bool           write_loop = 1;
 125 static pthread_mutex_t write_lock = PTHREAD_MUTEX_INITIALIZER;
 126 static pthread_cond_t  write_cond = PTHREAD_COND_INITIALIZER;
 127 static pthread_t      *write_threads = NULL;
 128 static size_t          write_threads_num = 0;
 129
 130 static pthread_key_t   plugin_ctx_key;
 131 static _Bool           plugin_ctx_key_initialized = 0;
 132
 133 static long            write_limit_high = 0;
 134 static long            write_limit_low = 0;
 135
 136 static derive_t        stats_values_dropped = 0;
 137 static _Bool           record_statistics = 0;
 138
 139 /*
 140  * Static functions
 141  */
 142 static int plugin_dispatch_values_internal (value_list_t *vl);
 143
 144 static const char *plugin_get_dir (void)
 145 {
 146         if (plugindir == NULL)
 147                 return (PLUGINDIR);
 148         else
 149                 return (plugindir);
 150 }
 151
 152 static void plugin_update_internal_statistics (void) { /* {{{ */
 153         derive_t copy_write_queue_length;
 154         value_list_t vl = VALUE_LIST_INIT;
 155         value_t values[2];
 156
 157         copy_write_queue_length = write_queue_length;
 158
 159         /* Initialize `vl' */
 160         vl.values = values;
 161         vl.values_len = 2;
 162         vl.time = 0;
 163         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 164         sstrncpy (vl.plugin, "collectd", sizeof (vl.plugin));
 165
 166         vl.type_instance[0] = 0;
 167         vl.values_len = 1;
 168
 169         /* Write queue */
 170         sstrncpy (vl.plugin_instance, "write_queue",
 171                         sizeof (vl.plugin_instance));
 172
 173         /* Write queue : queue length */
 174         vl.values[0].gauge = (gauge_t) copy_write_queue_length;
 175         sstrncpy (vl.type, "queue_length", sizeof (vl.type));
 176         vl.type_instance[0] = 0;
 177         plugin_dispatch_values (&vl);
 178
 179         /* Write queue : Values dropped (queue length > low limit) */
 180         vl.values[0].derive = (derive_t) stats_values_dropped;
 181         sstrncpy (vl.type, "derive", sizeof (vl.type));
 182         sstrncpy (vl.type_instance, "dropped", sizeof (vl.type_instance));
 183         plugin_dispatch_values (&vl);
 184
 185         /* Cache */
 186         sstrncpy (vl.plugin_instance, "cache",
 187                         sizeof (vl.plugin_instance));
 188
 189         /* Cache : Nb entry in cache tree */
 190         vl.values[0].gauge = (gauge_t) uc_get_size();
 191         sstrncpy (vl.type, "cache_size", sizeof (vl.type));
 192         vl.type_instance[0] = 0;
 193         plugin_dispatch_values (&vl);
 194
 195         return;
 196 } /* }}} void plugin_update_internal_statistics */
 197
 198 static void destroy_callback (callback_func_t *cf) /* {{{ */
 199 {
 200         if (cf == NULL)
 201                 return;
 202
 203         if ((cf->cf_udata.data != NULL) && (cf->cf_udata.free_func != NULL))
 204         {
 205                 cf->cf_udata.free_func (cf->cf_udata.data);
 206                 cf->cf_udata.data = NULL;
 207                 cf->cf_udata.free_func = NULL;
 208         }
 209         sfree (cf);
 210 } /* }}} void destroy_callback */
 211
 212 static void destroy_all_callbacks (llist_t **list) /* {{{ */
 213 {
 214         llentry_t *le;
 215
 216         if (*list == NULL)
 217                 return;
 218
 219         le = llist_head (*list);
 220         while (le != NULL)
 221         {
 222                 llentry_t *le_next;
 223
 224                 le_next = le->next;
 225
 226                 sfree (le->key);
 227                 destroy_callback (le->value);
 228                 le->value = NULL;
 229
 230                 le = le_next;
 231         }
 232
 233         llist_destroy (*list);
 234         *list = NULL;
 235 } /* }}} void destroy_all_callbacks */
 236
 237 static void destroy_read_heap (void) /* {{{ */
 238 {
 239         if (read_heap == NULL)
 240                 return;
 241
 242         while (42)
 243         {
 244                 read_func_t *rf;
 245
 246                 rf = c_heap_get_root (read_heap);
 247                 if (rf == NULL)
 248                         break;
 249                 sfree (rf->rf_name);
 250                 destroy_callback ((callback_func_t *) rf);
 251         }
 252
 253         c_heap_destroy (read_heap);
 254         read_heap = NULL;
 255 } /* }}} void destroy_read_heap */
 256
 257 static int register_callback (llist_t **list, /* {{{ */
 258                 const char *name, callback_func_t *cf)
 259 {
 260         llentry_t *le;
 261         char *key;
 262
 263         if (*list == NULL)
 264         {
 265                 *list = llist_create ();
 266                 if (*list == NULL)
 267                 {
 268                         ERROR ("plugin: register_callback: "
 269                                         "llist_create failed.");
 270                         destroy_callback (cf);
 271                         return (-1);
 272                 }
 273         }
 274
 275         key = strdup (name);
 276         if (key == NULL)
 277         {
 278                 ERROR ("plugin: register_callback: strdup failed.");
 279                 destroy_callback (cf);
 280                 return (-1);
 281         }
 282
 283         le = llist_search (*list, name);
 284         if (le == NULL)
 285         {
 286                 le = llentry_create (key, cf);
 287                 if (le == NULL)
 288                 {
 289                         ERROR ("plugin: register_callback: "
 290                                         "llentry_create failed.");
 291                         sfree (key);
 292                         destroy_callback (cf);
 293                         return (-1);
 294                 }
 295
 296                 llist_append (*list, le);
 297         }
 298         else
 299         {
 300                 callback_func_t *old_cf;
 301
 302                 old_cf = le->value;
 303                 le->value = cf;
 304
 305                 WARNING ("plugin: register_callback: "
 306                                 "a callback named `%s' already exists - "
 307                                 "overwriting the old entry!", name);
 308
 309                 destroy_callback (old_cf);
 310                 sfree (key);
 311         }
 312
 313         return (0);
 314 } /* }}} int register_callback */
 315
 316 static void log_list_callbacks (llist_t **list, /* {{{ */
 317                                 const char *comment)
 318 {
 319         char *str;
 320         int len;
 321         llentry_t *le;
 322         int i;
 323         int n;
 324         char **keys;
 325
 326         n = llist_size(*list);
 327         if (n == 0)
 328         {
 329                 INFO("%s [none]", comment);
 330                 return;
 331         }
 332
 333         keys = calloc(n, sizeof(char*));
 334
 335         if (keys == NULL)
 336         {
 337                 ERROR("%s: failed to allocate memory for list of callbacks",
 338                       comment);
 339
 340                 return;
 341         }
 342
 343         for (le = llist_head (*list), i = 0, len = 0;
 344              le != NULL;
 345              le = le->next, i++)
 346         {
 347                 keys[i] = le->key;
 348                 len += strlen(le->key) + 6;
 349         }
 350         str = malloc(len + 10);
 351         if (str == NULL)
 352         {
 353                 ERROR("%s: failed to allocate memory for list of callbacks",
 354                       comment);
 355         }
 356         else
 357         {
 358                 *str = '\0';
 359                 strjoin(str, len, keys, n, "', '");
 360                 INFO("%s ['%s']", comment, str);
 361                 sfree (str);
 362         }
 363         sfree (keys);
 364 } /* }}} void log_list_callbacks */
 365
 366 static int create_register_callback (llist_t **list, /* {{{ */
 367                 const char *name, void *callback, user_data_t *ud)
 368 {
 369         callback_func_t *cf;
 370
 371         cf = (callback_func_t *) malloc (sizeof (*cf));
 372         if (cf == NULL)
 373         {
 374                 ERROR ("plugin: create_register_callback: malloc failed.");
 375                 return (-1);
 376         }
 377         memset (cf, 0, sizeof (*cf));
 378
 379         cf->cf_callback = callback;
 380         if (ud == NULL)
 381         {
 382                 cf->cf_udata.data = NULL;
 383                 cf->cf_udata.free_func = NULL;
 384         }
 385         else
 386         {
 387                 cf->cf_udata = *ud;
 388         }
 389
 390         cf->cf_ctx = plugin_get_ctx ();
 391
 392         return (register_callback (list, name, cf));
 393 } /* }}} int create_register_callback */
 394
 395 static int plugin_unregister (llist_t *list, const char *name) /* {{{ */
 396 {
 397         llentry_t *e;
 398
 399         if (list == NULL)
 400                 return (-1);
 401
 402         e = llist_search (list, name);
 403         if (e == NULL)
 404                 return (-1);
 405
 406         llist_remove (list, e);
 407
 408         sfree (e->key);
 409         destroy_callback (e->value);
 410
 411         llentry_destroy (e);
 412
 413         return (0);
 414 } /* }}} int plugin_unregister */
 415
 416 /*
 417  * (Try to) load the shared object `file'. Won't complain if it isn't a shared
 418  * object, but it will bitch about a shared object not having a
 419  * ``module_register'' symbol..
 420  */
 421 static int plugin_load_file (char *file, uint32_t flags)
 422 {
 423         lt_dlhandle dlh;
 424         void (*reg_handle) (void);
 425
 426         lt_dlinit ();
 427         lt_dlerror (); /* clear errors */
 428
 429 #if LIBTOOL_VERSION == 2
 430         if (flags & PLUGIN_FLAGS_GLOBAL) {
 431                 lt_dladvise advise;
 432                 lt_dladvise_init(&advise);
 433                 lt_dladvise_global(&advise);
 434                 dlh = lt_dlopenadvise(file, advise);
 435                 lt_dladvise_destroy(&advise);
 436         } else {
 437                 dlh = lt_dlopen (file);
 438         }
 439 #else /* if LIBTOOL_VERSION == 1 */
 440         if (flags & PLUGIN_FLAGS_GLOBAL)
 441                 WARNING ("plugin_load_file: The global flag is not supported, "
 442                                 "libtool 2 is required for this.");
 443         dlh = lt_dlopen (file);
 444 #endif
 445
 446         if (dlh == NULL)
 447         {
 448                 char errbuf[1024] = "";
 449
 450                 ssnprintf (errbuf, sizeof (errbuf),
 451                                 "lt_dlopen (\"%s\") failed: %s. "
 452                                 "The most common cause for this problem is "
 453                                 "missing dependencies. Use ldd(1) to check "
 454                                 "the dependencies of the plugin "
 455                                 "/ shared object.",
 456                                 file, lt_dlerror ());
 457
 458                 ERROR ("%s", errbuf);
 459                 /* Make sure this is printed to STDERR in any case, but also
 460                  * make sure it's printed only once. */
 461                 if (list_log != NULL)
 462                         fprintf (stderr, "ERROR: %s\n", errbuf);
 463
 464                 return (1);
 465         }
 466
 467         if ((reg_handle = (void (*) (void)) lt_dlsym (dlh, "module_register")) == NULL)
 468         {
 469                 WARNING ("Couldn't find symbol \"module_register\" in \"%s\": %s\n",
 470                                 file, lt_dlerror ());
 471                 lt_dlclose (dlh);
 472                 return (-1);
 473         }
 474
 475         (*reg_handle) ();
 476
 477         return (0);
 478 }
 479
 480 static void *plugin_read_thread (void __attribute__((unused)) *args)
 481 {
 482         while (read_loop != 0)
 483         {
 484                 read_func_t *rf;
 485                 plugin_ctx_t old_ctx;
 486                 cdtime_t start;
 487                 cdtime_t now;
 488                 cdtime_t elapsed;
 489                 int status;
 490                 int rf_type;
 491                 int rc;
 492
 493                 /* Get the read function that needs to be read next.
 494                  * We don't need to hold "read_lock" for the heap, but we need
 495                  * to call c_heap_get_root() and pthread_cond_wait() in the
 496                  * same protected block. */
 497                 pthread_mutex_lock (&read_lock);
 498                 rf = c_heap_get_root (read_heap);
 499                 if (rf == NULL)
 500                 {
 501                         pthread_cond_wait (&read_cond, &read_lock);
 502                         pthread_mutex_unlock (&read_lock);
 503                         continue;
 504                 }
 505                 pthread_mutex_unlock (&read_lock);
 506
 507                 if (rf->rf_interval == 0)
 508                 {
 509                         /* this should not happen, because the interval is set
 510                          * for each plugin when loading it
 511                          * XXX: issue a warning? */
 512                         rf->rf_interval = plugin_get_interval ();
 513                         rf->rf_effective_interval = rf->rf_interval;
 514
 515                         rf->rf_next_read = cdtime ();
 516                 }
 517
 518                 /* sleep until this entry is due,
 519                  * using pthread_cond_timedwait */
 520                 pthread_mutex_lock (&read_lock);
 521                 /* In pthread_cond_timedwait, spurious wakeups are possible
 522                  * (and really happen, at least on NetBSD with > 1 CPU), thus
 523                  * we need to re-evaluate the condition every time
 524                  * pthread_cond_timedwait returns. */
 525                 rc = 0;
 526                 while ((read_loop != 0)
 527                                 && (cdtime () < rf->rf_next_read)
 528                                 && rc == 0)
 529                 {
 530                         struct timespec ts = { 0 };
 531
 532                         CDTIME_T_TO_TIMESPEC (rf->rf_next_read, &ts);
 533
 534                         rc = pthread_cond_timedwait (&read_cond, &read_lock,
 535                                 &ts);
 536                 }
 537
 538                 /* Must hold `read_lock' when accessing `rf->rf_type'. */
 539                 rf_type = rf->rf_type;
 540                 pthread_mutex_unlock (&read_lock);
 541
 542                 /* Check if we're supposed to stop.. This may have interrupted
 543                  * the sleep, too. */
 544                 if (read_loop == 0)
 545                 {
 546                         /* Insert `rf' again, so it can be free'd correctly */
 547                         c_heap_insert (read_heap, rf);
 548                         break;
 549                 }
 550
 551                 /* The entry has been marked for deletion. The linked list
 552                  * entry has already been removed by `plugin_unregister_read'.
 553                  * All we have to do here is free the `read_func_t' and
 554                  * continue. */
 555                 if (rf_type == RF_REMOVE)
 556                 {
 557                         DEBUG ("plugin_read_thread: Destroying the `%s' "
 558                                         "callback.", rf->rf_name);
 559                         sfree (rf->rf_name);
 560                         destroy_callback ((callback_func_t *) rf);
 561                         rf = NULL;
 562                         continue;
 563                 }
 564
 565                 DEBUG ("plugin_read_thread: Handling `%s'.", rf->rf_name);
 566
 567                 start = cdtime ();
 568
 569                 old_ctx = plugin_set_ctx (rf->rf_ctx);
 570
 571                 if (rf_type == RF_SIMPLE)
 572                 {
 573                         int (*callback) (void);
 574
 575                         callback = rf->rf_callback;
 576                         status = (*callback) ();
 577                 }
 578                 else
 579                 {
 580                         plugin_read_cb callback;
 581
 582                         assert (rf_type == RF_COMPLEX);
 583
 584                         callback = rf->rf_callback;
 585                         status = (*callback) (&rf->rf_udata);
 586                 }
 587
 588                 plugin_set_ctx (old_ctx);
 589
 590                 /* If the function signals failure, we will increase the
 591                  * intervals in which it will be called. */
 592                 if (status != 0)
 593                 {
 594                         rf->rf_effective_interval *= 2;
 595                         if (rf->rf_effective_interval > max_read_interval)
 596                                 rf->rf_effective_interval = max_read_interval;
 597
 598                         NOTICE ("read-function of plugin `%s' failed. "
 599                                         "Will suspend it for %.3f seconds.",
 600                                         rf->rf_name,
 601                                         CDTIME_T_TO_DOUBLE (rf->rf_effective_interval));
 602                 }
 603                 else
 604                 {
 605                         /* Success: Restore the interval, if it was changed. */
 606                         rf->rf_effective_interval = rf->rf_interval;
 607                 }
 608
 609                 /* update the ``next read due'' field */
 610                 now = cdtime ();
 611
 612                 /* calculate the time spent in the read function */
 613                 elapsed = (now - start);
 614
 615                 if (elapsed > rf->rf_effective_interval)
 616                         WARNING ("plugin_read_thread: read-function of the `%s' plugin took %.3f "
 617                                 "seconds, which is above its read interval (%.3f seconds). You might "
 618                                 "want to adjust the `Interval' or `ReadThreads' settings.",
 619                                 rf->rf_name, CDTIME_T_TO_DOUBLE(elapsed),
 620                                 CDTIME_T_TO_DOUBLE(rf->rf_effective_interval));
 621
 622                 DEBUG ("plugin_read_thread: read-function of the `%s' plugin took "
 623                                 "%.6f seconds.",
 624                                 rf->rf_name, CDTIME_T_TO_DOUBLE(elapsed));
 625
 626                 DEBUG ("plugin_read_thread: Effective interval of the "
 627                                 "`%s' plugin is %.3f seconds.",
 628                                 rf->rf_name,
 629                                 CDTIME_T_TO_DOUBLE (rf->rf_effective_interval));
 630
 631                 /* Calculate the next (absolute) time at which this function
 632                  * should be called. */
 633                 rf->rf_next_read += rf->rf_effective_interval;
 634
 635                 /* Check, if `rf_next_read' is in the past. */
 636                 if (rf->rf_next_read < now)
 637                 {
 638                         /* `rf_next_read' is in the past. Insert `now'
 639                          * so this value doesn't trail off into the
 640                          * past too much. */
 641                         rf->rf_next_read = now;
 642                 }
 643
 644                 DEBUG ("plugin_read_thread: Next read of the `%s' plugin at %.3f.",
 645                                 rf->rf_name,
 646                                 CDTIME_T_TO_DOUBLE (rf->rf_next_read));
 647
 648                 /* Re-insert this read function into the heap again. */
 649                 c_heap_insert (read_heap, rf);
 650         } /* while (read_loop) */
 651
 652         pthread_exit (NULL);
 653         return ((void *) 0);
 654 } /* void *plugin_read_thread */
 655
 656 static void start_read_threads (int num)
 657 {
 658         int i;
 659
 660         if (read_threads != NULL)
 661                 return;
 662
 663         read_threads = (pthread_t *) calloc (num, sizeof (pthread_t));
 664         if (read_threads == NULL)
 665         {
 666                 ERROR ("plugin: start_read_threads: calloc failed.");
 667                 return;
 668         }
 669
 670         read_threads_num = 0;
 671         for (i = 0; i < num; i++)
 672         {
 673                 if (pthread_create (read_threads + read_threads_num, NULL,
 674                                         plugin_read_thread, NULL) == 0)
 675                 {
 676                         read_threads_num++;
 677                 }
 678                 else
 679                 {
 680                         ERROR ("plugin: start_read_threads: pthread_create failed.");
 681                         return;
 682                 }
 683         } /* for (i) */
 684 } /* void start_read_threads */
 685
 686 static void stop_read_threads (void)
 687 {
 688         int i;
 689
 690         if (read_threads == NULL)
 691                 return;
 692
 693         INFO ("collectd: Stopping %i read threads.", read_threads_num);
 694
 695         pthread_mutex_lock (&read_lock);
 696         read_loop = 0;
 697         DEBUG ("plugin: stop_read_threads: Signalling `read_cond'");
 698         pthread_cond_broadcast (&read_cond);
 699         pthread_mutex_unlock (&read_lock);
 700
 701         for (i = 0; i < read_threads_num; i++)
 702         {
 703                 if (pthread_join (read_threads[i], NULL) != 0)
 704                 {
 705                         ERROR ("plugin: stop_read_threads: pthread_join failed.");
 706                 }
 707                 read_threads[i] = (pthread_t) 0;
 708         }
 709         sfree (read_threads);
 710         read_threads_num = 0;
 711 } /* void stop_read_threads */
 712
 713 static void plugin_value_list_free (value_list_t *vl) /* {{{ */
 714 {
 715         if (vl == NULL)
 716                 return;
 717
 718         meta_data_destroy (vl->meta);
 719         sfree (vl->values);
 720         sfree (vl);
 721 } /* }}} void plugin_value_list_free */
 722
 723 static value_list_t *plugin_value_list_clone (value_list_t const *vl_orig) /* {{{ */
 724 {
 725         value_list_t *vl;
 726
 727         if (vl_orig == NULL)
 728                 return (NULL);
 729
 730         vl = malloc (sizeof (*vl));
 731         if (vl == NULL)
 732                 return (NULL);
 733         memcpy (vl, vl_orig, sizeof (*vl));
 734
 735         vl->values = calloc (vl_orig->values_len, sizeof (*vl->values));
 736         if (vl->values == NULL)
 737         {
 738                 plugin_value_list_free (vl);
 739                 return (NULL);
 740         }
 741         memcpy (vl->values, vl_orig->values,
 742                         vl_orig->values_len * sizeof (*vl->values));
 743
 744         vl->meta = meta_data_clone (vl->meta);
 745         if ((vl_orig->meta != NULL) && (vl->meta == NULL))
 746         {
 747                 plugin_value_list_free (vl);
 748                 return (NULL);
 749         }
 750
 751         if (vl->time == 0)
 752                 vl->time = cdtime ();
 753
 754         /* Fill in the interval from the thread context, if it is zero. */
 755         if (vl->interval == 0)
 756         {
 757                 plugin_ctx_t ctx = plugin_get_ctx ();
 758
 759                 if (ctx.interval != 0)
 760                         vl->interval = ctx.interval;
 761                 else
 762                 {
 763                         char name[6 * DATA_MAX_NAME_LEN];
 764                         FORMAT_VL (name, sizeof (name), vl);
 765                         ERROR ("plugin_value_list_clone: Unable to determine "
 766                                         "interval from context for "
 767                                         "value list \"%s\". "
 768                                         "This indicates a broken plugin. "
 769                                         "Please report this problem to the "
 770                                         "collectd mailing list or at "
 771                                         "<http://collectd.org/bugs/>.", name);
 772                         vl->interval = cf_get_default_interval ();
 773                 }
 774         }
 775
 776         return (vl);
 777 } /* }}} value_list_t *plugin_value_list_clone */
 778
 779 static int plugin_write_enqueue (value_list_t const *vl) /* {{{ */
 780 {
 781         write_queue_t *q;
 782
 783         q = malloc (sizeof (*q));
 784         if (q == NULL)
 785                 return (ENOMEM);
 786         q->next = NULL;
 787
 788         q->vl = plugin_value_list_clone (vl);
 789         if (q->vl == NULL)
 790         {
 791                 sfree (q);
 792                 return (ENOMEM);
 793         }
 794
 795         /* Store context of caller (read plugin); otherwise, it would not be
 796          * available to the write plugins when actually dispatching the
 797          * value-list later on. */
 798         q->ctx = plugin_get_ctx ();
 799
 800         pthread_mutex_lock (&write_lock);
 801
 802         if (write_queue_tail == NULL)
 803         {
 804                 write_queue_head = q;
 805                 write_queue_tail = q;
 806                 write_queue_length = 1;
 807         }
 808         else
 809         {
 810                 write_queue_tail->next = q;
 811                 write_queue_tail = q;
 812                 write_queue_length += 1;
 813         }
 814
 815         pthread_cond_signal (&write_cond);
 816         pthread_mutex_unlock (&write_lock);
 817
 818         return (0);
 819 } /* }}} int plugin_write_enqueue */
 820
 821 static value_list_t *plugin_write_dequeue (void) /* {{{ */
 822 {
 823         write_queue_t *q;
 824         value_list_t *vl;
 825
 826         pthread_mutex_lock (&write_lock);
 827
 828         while (write_loop && (write_queue_head == NULL))
 829                 pthread_cond_wait (&write_cond, &write_lock);
 830
 831         if (write_queue_head == NULL)
 832         {
 833                 pthread_mutex_unlock (&write_lock);
 834                 return (NULL);
 835         }
 836
 837         q = write_queue_head;
 838         write_queue_head = q->next;
 839         write_queue_length -= 1;
 840         if (write_queue_head == NULL) {
 841                 write_queue_tail = NULL;
 842                 assert(0 == write_queue_length);
 843                 }
 844
 845         pthread_mutex_unlock (&write_lock);
 846
 847         (void) plugin_set_ctx (q->ctx);
 848
 849         vl = q->vl;
 850         sfree (q);
 851         return (vl);
 852 } /* }}} value_list_t *plugin_write_dequeue */
 853
 854 static void *plugin_write_thread (void __attribute__((unused)) *args) /* {{{ */
 855 {
 856         while (write_loop)
 857         {
 858                 value_list_t *vl = plugin_write_dequeue ();
 859                 if (vl == NULL)
 860                         continue;
 861
 862                 plugin_dispatch_values_internal (vl);
 863
 864                 plugin_value_list_free (vl);
 865         }
 866
 867         pthread_exit (NULL);
 868         return ((void *) 0);
 869 } /* }}} void *plugin_write_thread */
 870
 871 static void start_write_threads (size_t num) /* {{{ */
 872 {
 873         size_t i;
 874
 875         if (write_threads != NULL)
 876                 return;
 877
 878         write_threads = (pthread_t *) calloc (num, sizeof (pthread_t));
 879         if (write_threads == NULL)
 880         {
 881                 ERROR ("plugin: start_write_threads: calloc failed.");
 882                 return;
 883         }
 884
 885         write_threads_num = 0;
 886         for (i = 0; i < num; i++)
 887         {
 888                 int status;
 889
 890                 status = pthread_create (write_threads + write_threads_num,
 891                                 /* attr = */ NULL,
 892                                 plugin_write_thread,
 893                                 /* arg = */ NULL);
 894                 if (status != 0)
 895                 {
 896                         char errbuf[1024];
 897                         ERROR ("plugin: start_write_threads: pthread_create failed "
 898                                         "with status %i (%s).", status,
 899                                         sstrerror (status, errbuf, sizeof (errbuf)));
 900                         return;
 901                 }
 902
 903                 write_threads_num++;
 904         } /* for (i) */
 905 } /* }}} void start_write_threads */
 906
 907 static void stop_write_threads (void) /* {{{ */
 908 {
 909         write_queue_t *q;
 910         size_t i;
 911
 912         if (write_threads == NULL)
 913                 return;
 914
 915         INFO ("collectd: Stopping %zu write threads.", write_threads_num);
 916
 917         pthread_mutex_lock (&write_lock);
 918         write_loop = 0;
 919         DEBUG ("plugin: stop_write_threads: Signalling `write_cond'");
 920         pthread_cond_broadcast (&write_cond);
 921         pthread_mutex_unlock (&write_lock);
 922
 923         for (i = 0; i < write_threads_num; i++)
 924         {
 925                 if (pthread_join (write_threads[i], NULL) != 0)
 926                 {
 927                         ERROR ("plugin: stop_write_threads: pthread_join failed.");
 928                 }
 929                 write_threads[i] = (pthread_t) 0;
 930         }
 931         sfree (write_threads);
 932         write_threads_num = 0;
 933
 934         pthread_mutex_lock (&write_lock);
 935         i = 0;
 936         for (q = write_queue_head; q != NULL; )
 937         {
 938                 write_queue_t *q1 = q;
 939                 plugin_value_list_free (q->vl);
 940                 q = q->next;
 941                 sfree (q1);
 942                 i++;
 943         }
 944         write_queue_head = NULL;
 945         write_queue_tail = NULL;
 946         write_queue_length = 0;
 947         pthread_mutex_unlock (&write_lock);
 948
 949         if (i > 0)
 950         {
 951                 WARNING ("plugin: %zu value list%s left after shutting down "
 952                                 "the write threads.",
 953                                 i, (i == 1) ? " was" : "s were");
 954         }
 955 } /* }}} void stop_write_threads */
 956
 957 /*
 958  * Public functions
 959  */
 960 void plugin_set_dir (const char *dir)
 961 {
 962         sfree (plugindir);
 963
 964         if (dir == NULL)
 965         {
 966                 plugindir = NULL;
 967                 return;
 968         }
 969
 970         plugindir = strdup (dir);
 971         if (plugindir == NULL)
 972                 ERROR ("plugin_set_dir: strdup(\"%s\") failed", dir);
 973 }
 974
 975 static _Bool plugin_is_loaded (char const *name)
 976 {
 977         int status;
 978
 979         if (plugins_loaded == NULL)
 980                 plugins_loaded = c_avl_create ((void *) strcasecmp);
 981         assert (plugins_loaded != NULL);
 982
 983         status = c_avl_get (plugins_loaded, name, /* ret_value = */ NULL);
 984         return (status == 0);
 985 }
 986
 987 static int plugin_mark_loaded (char const *name)
 988 {
 989         char *name_copy;
 990         int status;
 991
 992         name_copy = strdup (name);
 993         if (name_copy == NULL)
 994                 return (ENOMEM);
 995
 996         status = c_avl_insert (plugins_loaded,
 997                         /* key = */ name_copy, /* value = */ NULL);
 998         return (status);
 999 }
1000
1001 static void plugin_free_loaded ()
1002 {
1003         void *key;
1004         void *value;
1005
1006         if (plugins_loaded == NULL)
1007                 return;
1008
1009         while (c_avl_pick (plugins_loaded, &key, &value) == 0)
1010         {
1011                 sfree (key);
1012                 assert (value == NULL);
1013         }
1014
1015         c_avl_destroy (plugins_loaded);
1016         plugins_loaded = NULL;
1017 }
1018
1019 #define BUFSIZE 512
1020 int plugin_load (char const *plugin_name, uint32_t flags)
1021 {
1022         DIR  *dh;
1023         const char *dir;
1024         char  filename[BUFSIZE] = "";
1025         char  typename[BUFSIZE];
1026         int   ret;
1027         struct stat    statbuf;
1028         struct dirent *de;
1029         int status;
1030
1031         if (plugin_name == NULL)
1032                 return (EINVAL);
1033
1034         /* Check if plugin is already loaded and don't do anything in this
1035          * case. */
1036         if (plugin_is_loaded (plugin_name))
1037                 return (0);
1038
1039         dir = plugin_get_dir ();
1040         ret = 1;
1041
1042         /*
1043          * XXX: Magic at work:
1044          *
1045          * Some of the language bindings, for example the Python and Perl
1046          * plugins, need to be able to export symbols to the scripts they run.
1047          * For this to happen, the "Globals" flag needs to be set.
1048          * Unfortunately, this technical detail is hard to explain to the
1049          * average user and she shouldn't have to worry about this, ideally.
1050          * So in order to save everyone's sanity use a different default for a
1051          * handful of special plugins. --octo
1052          */
1053         if ((strcasecmp ("perl", plugin_name) == 0)
1054                         || (strcasecmp ("python", plugin_name) == 0))
1055                 flags |= PLUGIN_FLAGS_GLOBAL;
1056
1057         /* `cpu' should not match `cpufreq'. To solve this we add `.so' to the
1058          * type when matching the filename */
1059         status = ssnprintf (typename, sizeof (typename), "%s.so", plugin_name);
1060         if ((status < 0) || ((size_t) status >= sizeof (typename)))
1061         {
1062                 WARNING ("plugin_load: Filename too long: \"%s.so\"", plugin_name);
1063                 return (-1);
1064         }
1065
1066         if ((dh = opendir (dir)) == NULL)
1067         {
1068                 char errbuf[1024];
1069                 ERROR ("plugin_load: opendir (%s) failed: %s", dir,
1070                                 sstrerror (errno, errbuf, sizeof (errbuf)));
1071                 return (-1);
1072         }
1073
1074         while ((de = readdir (dh)) != NULL)
1075         {
1076                 if (strcasecmp (de->d_name, typename))
1077                         continue;
1078
1079                 status = ssnprintf (filename, sizeof (filename),
1080                                 "%s/%s", dir, de->d_name);
1081                 if ((status < 0) || ((size_t) status >= sizeof (filename)))
1082                 {
1083                         WARNING ("plugin_load: Filename too long: \"%s/%s\"",
1084                                         dir, de->d_name);
1085                         continue;
1086                 }
1087
1088                 if (lstat (filename, &statbuf) == -1)
1089                 {
1090                         char errbuf[1024];
1091                         WARNING ("plugin_load: stat (\"%s\") failed: %s",
1092                                         filename,
1093                                         sstrerror (errno, errbuf, sizeof (errbuf)));
1094                         continue;
1095                 }
1096                 else if (!S_ISREG (statbuf.st_mode))
1097                 {
1098                         /* don't follow symlinks */
1099                         WARNING ("plugin_load: %s is not a regular file.",
1100                                         filename);
1101                         continue;
1102                 }
1103
1104                 status = plugin_load_file (filename, flags);
1105                 if (status == 0)
1106                 {
1107                         /* success */
1108                         plugin_mark_loaded (plugin_name);
1109                         ret = 0;
1110                         INFO ("plugin_load: plugin \"%s\" successfully loaded.", plugin_name);
1111                         break;
1112                 }
1113                 else
1114                 {
1115                         ERROR ("plugin_load: Load plugin \"%s\" failed with "
1116                                         "status %i.", plugin_name, status);
1117                 }
1118         }
1119
1120         closedir (dh);
1121
1122         if (filename[0] == 0)
1123                 ERROR ("plugin_load: Could not find plugin \"%s\" in %s",
1124                                 plugin_name, dir);
1125
1126         return (ret);
1127 }
1128
1129 /*
1130  * The `register_*' functions follow
1131  */
1132 int plugin_register_config (const char *name,
1133                 int (*callback) (const char *key, const char *val),
1134                 const char **keys, int keys_num)
1135 {
1136         cf_register (name, callback, keys, keys_num);
1137         return (0);
1138 } /* int plugin_register_config */
1139
1140 int plugin_register_complex_config (const char *type,
1141                 int (*callback) (oconfig_item_t *))
1142 {
1143         return (cf_register_complex (type, callback));
1144 } /* int plugin_register_complex_config */
1145
1146 int plugin_register_init (const char *name,
1147                 int (*callback) (void))
1148 {
1149         return (create_register_callback (&list_init, name, (void *) callback,
1150                                 /* user_data = */ NULL));
1151 } /* plugin_register_init */
1152
1153 static int plugin_compare_read_func (const void *arg0, const void *arg1)
1154 {
1155         const read_func_t *rf0;
1156         const read_func_t *rf1;
1157
1158         rf0 = arg0;
1159         rf1 = arg1;
1160
1161         if (rf0->rf_next_read < rf1->rf_next_read)
1162                 return (-1);
1163         else if (rf0->rf_next_read > rf1->rf_next_read)
1164                 return (1);
1165         else
1166                 return (0);
1167 } /* int plugin_compare_read_func */
1168
1169 /* Add a read function to both, the heap and a linked list. The linked list if
1170  * used to look-up read functions, especially for the remove function. The heap
1171  * is used to determine which plugin to read next. */
1172 static int plugin_insert_read (read_func_t *rf)
1173 {
1174         int status;
1175         llentry_t *le;
1176
1177         rf->rf_next_read = cdtime ();
1178         rf->rf_effective_interval = rf->rf_interval;
1179
1180         pthread_mutex_lock (&read_lock);
1181
1182         if (read_list == NULL)
1183         {
1184                 read_list = llist_create ();
1185                 if (read_list == NULL)
1186                 {
1187                         pthread_mutex_unlock (&read_lock);
1188                         ERROR ("plugin_insert_read: read_list failed.");
1189                         return (-1);
1190                 }
1191         }
1192
1193         if (read_heap == NULL)
1194         {
1195                 read_heap = c_heap_create (plugin_compare_read_func);
1196                 if (read_heap == NULL)
1197                 {
1198                         pthread_mutex_unlock (&read_lock);
1199                         ERROR ("plugin_insert_read: c_heap_create failed.");
1200                         return (-1);
1201                 }
1202         }
1203
1204         le = llist_search (read_list, rf->rf_name);
1205         if (le != NULL)
1206         {
1207                 pthread_mutex_unlock (&read_lock);
1208                 WARNING ("The read function \"%s\" is already registered. "
1209                                 "Check for duplicate \"LoadPlugin\" lines "
1210                                 "in your configuration!",
1211                                 rf->rf_name);
1212                 return (EINVAL);
1213         }
1214
1215         le = llentry_create (rf->rf_name, rf);
1216         if (le == NULL)
1217         {
1218                 pthread_mutex_unlock (&read_lock);
1219                 ERROR ("plugin_insert_read: llentry_create failed.");
1220                 return (-1);
1221         }
1222
1223         status = c_heap_insert (read_heap, rf);
1224         if (status != 0)
1225         {
1226                 pthread_mutex_unlock (&read_lock);
1227                 ERROR ("plugin_insert_read: c_heap_insert failed.");
1228                 llentry_destroy (le);
1229                 return (-1);
1230         }
1231
1232         /* This does not fail. */
1233         llist_append (read_list, le);
1234
1235         /* Wake up all the read threads. */
1236         pthread_cond_broadcast (&read_cond);
1237         pthread_mutex_unlock (&read_lock);
1238         return (0);
1239 } /* int plugin_insert_read */
1240
1241 int plugin_register_read (const char *name,
1242                 int (*callback) (void))
1243 {
1244         read_func_t *rf;
1245         int status;
1246
1247         rf = malloc (sizeof (*rf));
1248         if (rf == NULL)
1249         {
1250                 ERROR ("plugin_register_read: malloc failed.");
1251                 return (ENOMEM);
1252         }
1253
1254         memset (rf, 0, sizeof (read_func_t));
1255         rf->rf_callback = (void *) callback;
1256         rf->rf_udata.data = NULL;
1257         rf->rf_udata.free_func = NULL;
1258         rf->rf_ctx = plugin_get_ctx ();
1259         rf->rf_group[0] = '\0';
1260         rf->rf_name = strdup (name);
1261         rf->rf_type = RF_SIMPLE;
1262         rf->rf_interval = plugin_get_interval ();
1263
1264         status = plugin_insert_read (rf);
1265         if (status != 0) {
1266                 sfree (rf->rf_name);
1267                 sfree (rf);
1268         }
1269
1270         return (status);
1271 } /* int plugin_register_read */
1272
1273 int plugin_register_complex_read (const char *group, const char *name,
1274                 plugin_read_cb callback,
1275                 cdtime_t interval,
1276                 user_data_t *user_data)
1277 {
1278         read_func_t *rf;
1279         int status;
1280
1281         rf = malloc (sizeof (*rf));
1282         if (rf == NULL)
1283         {
1284                 ERROR ("plugin_register_complex_read: malloc failed.");
1285                 return (ENOMEM);
1286         }
1287
1288         memset (rf, 0, sizeof (read_func_t));
1289         rf->rf_callback = (void *) callback;
1290         if (group != NULL)
1291                 sstrncpy (rf->rf_group, group, sizeof (rf->rf_group));
1292         else
1293                 rf->rf_group[0] = '\0';
1294         rf->rf_name = strdup (name);
1295         rf->rf_type = RF_COMPLEX;
1296         rf->rf_interval = (interval != 0) ? interval : plugin_get_interval ();
1297
1298         /* Set user data */
1299         if (user_data == NULL)
1300         {
1301                 rf->rf_udata.data = NULL;
1302                 rf->rf_udata.free_func = NULL;
1303         }
1304         else
1305         {
1306                 rf->rf_udata = *user_data;
1307         }
1308
1309         rf->rf_ctx = plugin_get_ctx ();
1310
1311         status = plugin_insert_read (rf);
1312         if (status != 0) {
1313                 sfree (rf->rf_name);
1314                 sfree (rf);
1315         }
1316
1317         return (status);
1318 } /* int plugin_register_complex_read */
1319
1320 int plugin_register_write (const char *name,
1321                 plugin_write_cb callback, user_data_t *ud)
1322 {
1323         return (create_register_callback (&list_write, name,
1324                                 (void *) callback, ud));
1325 } /* int plugin_register_write */
1326
1327 static int plugin_flush_timeout_callback (user_data_t *ud)
1328 {
1329         flush_callback_t *cb = ud->data;
1330
1331         return plugin_flush (cb->name, cb->timeout, /* identifier = */ NULL);
1332 } /* static int plugin_flush_callback */
1333
1334 static void plugin_flush_timeout_callback_free (void *data)
1335 {
1336         flush_callback_t *cb = data;
1337
1338         if (cb == NULL) return;
1339
1340         sfree (cb->name);
1341         sfree (cb);
1342 } /* static void plugin_flush_callback_free */
1343
1344 static char *plugin_flush_callback_name (const char *name)
1345 {
1346         char *flush_prefix = "flush/";
1347         size_t prefix_size;
1348         char *flush_name;
1349         size_t name_size;
1350
1351         prefix_size = strlen(flush_prefix);
1352         name_size = strlen(name);
1353
1354         flush_name = malloc (sizeof(char) * (name_size + prefix_size + 1));
1355         if (flush_name == NULL)
1356         {
1357                 ERROR ("plugin_flush_callback_name: malloc failed.");
1358                 return (NULL);
1359         }
1360
1361         sstrncpy (flush_name, flush_prefix, prefix_size + 1);
1362         sstrncpy (flush_name + prefix_size, name, name_size + 1);
1363
1364         return flush_name;
1365 } /* static char *plugin_flush_callback_name */
1366
1367 int plugin_register_flush (const char *name,
1368                 plugin_flush_cb callback, user_data_t *ud)
1369 {
1370         int status;
1371         plugin_ctx_t ctx = plugin_get_ctx ();
1372
1373         status = create_register_callback (&list_flush, name,
1374                 (void *) callback, ud);
1375         if (status != 0)
1376                 return status;
1377
1378         if (ctx.flush_interval != 0)
1379         {
1380                 char *flush_name;
1381                 user_data_t ud;
1382                 flush_callback_t *cb;
1383
1384                 flush_name = plugin_flush_callback_name (name);
1385                 if (flush_name == NULL)
1386                         return (-1);
1387
1388                 cb = malloc(sizeof(flush_callback_t));
1389                 if (cb == NULL)
1390                 {
1391                         ERROR ("plugin_register_flush: malloc failed.");
1392                         sfree (flush_name);
1393                         return (-1);
1394                 }
1395
1396                 cb->name = strdup (name);
1397                 if (cb->name == NULL)
1398                 {
1399                         ERROR ("plugin_register_flush: strdup failed.");
1400                         sfree (cb);
1401                         sfree (flush_name);
1402                         return (-1);
1403                 }
1404                 cb->timeout = ctx.flush_timeout;
1405
1406                 ud.data = cb;
1407                 ud.free_func = plugin_flush_timeout_callback_free;
1408
1409                 status = plugin_register_complex_read (
1410                         /* group     = */ "flush",
1411                         /* name      = */ flush_name,
1412                         /* callback  = */ plugin_flush_timeout_callback,
1413                         /* interval  = */ ctx.flush_interval,
1414                         /* user data = */ &ud);
1415
1416                 sfree (flush_name);
1417                 if (status != 0)
1418                 {
1419                         sfree (cb->name);
1420                         sfree (cb);
1421                         return status;
1422                 }
1423         }
1424
1425         return 0;
1426 } /* int plugin_register_flush */
1427
1428 int plugin_register_missing (const char *name,
1429                 plugin_missing_cb callback, user_data_t *ud)
1430 {
1431         return (create_register_callback (&list_missing, name,
1432                                 (void *) callback, ud));
1433 } /* int plugin_register_missing */
1434
1435 int plugin_register_shutdown (const char *name,
1436                 int (*callback) (void))
1437 {
1438         return (create_register_callback (&list_shutdown, name,
1439                                 (void *) callback, /* user_data = */ NULL));
1440 } /* int plugin_register_shutdown */
1441
1442 static void plugin_free_data_sets (void)
1443 {
1444         void *key;
1445         void *value;
1446
1447         if (data_sets == NULL)
1448                 return;
1449
1450         while (c_avl_pick (data_sets, &key, &value) == 0)
1451         {
1452                 data_set_t *ds = value;
1453                 /* key is a pointer to ds->type */
1454
1455                 sfree (ds->ds);
1456                 sfree (ds);
1457         }
1458
1459         c_avl_destroy (data_sets);
1460         data_sets = NULL;
1461 } /* void plugin_free_data_sets */
1462
1463 int plugin_register_data_set (const data_set_t *ds)
1464 {
1465         data_set_t *ds_copy;
1466         size_t i;
1467
1468         if ((data_sets != NULL)
1469                         && (c_avl_get (data_sets, ds->type, NULL) == 0))
1470         {
1471                 NOTICE ("Replacing DS `%s' with another version.", ds->type);
1472                 plugin_unregister_data_set (ds->type);
1473         }
1474         else if (data_sets == NULL)
1475         {
1476                 data_sets = c_avl_create ((int (*) (const void *, const void *)) strcmp);
1477                 if (data_sets == NULL)
1478                         return (-1);
1479         }
1480
1481         ds_copy = (data_set_t *) malloc (sizeof (data_set_t));
1482         if (ds_copy == NULL)
1483                 return (-1);
1484         memcpy(ds_copy, ds, sizeof (data_set_t));
1485
1486         ds_copy->ds = (data_source_t *) malloc (sizeof (data_source_t)
1487                         * ds->ds_num);
1488         if (ds_copy->ds == NULL)
1489         {
1490                 sfree (ds_copy);
1491                 return (-1);
1492         }
1493
1494         for (i = 0; i < ds->ds_num; i++)
1495                 memcpy (ds_copy->ds + i, ds->ds + i, sizeof (data_source_t));
1496
1497         return (c_avl_insert (data_sets, (void *) ds_copy->type, (void *) ds_copy));
1498 } /* int plugin_register_data_set */
1499
1500 int plugin_register_log (const char *name,
1501                 plugin_log_cb callback, user_data_t *ud)
1502 {
1503         return (create_register_callback (&list_log, name,
1504                                 (void *) callback, ud));
1505 } /* int plugin_register_log */
1506
1507 int plugin_register_notification (const char *name,
1508                 plugin_notification_cb callback, user_data_t *ud)
1509 {
1510         return (create_register_callback (&list_notification, name,
1511                                 (void *) callback, ud));
1512 } /* int plugin_register_log */
1513
1514 int plugin_unregister_config (const char *name)
1515 {
1516         cf_unregister (name);
1517         return (0);
1518 } /* int plugin_unregister_config */
1519
1520 int plugin_unregister_complex_config (const char *name)
1521 {
1522         cf_unregister_complex (name);
1523         return (0);
1524 } /* int plugin_unregister_complex_config */
1525
1526 int plugin_unregister_init (const char *name)
1527 {
1528         return (plugin_unregister (list_init, name));
1529 }
1530
1531 int plugin_unregister_read (const char *name) /* {{{ */
1532 {
1533         llentry_t *le;
1534         read_func_t *rf;
1535
1536         if (name == NULL)
1537                 return (-ENOENT);
1538
1539         pthread_mutex_lock (&read_lock);
1540
1541         if (read_list == NULL)
1542         {
1543                 pthread_mutex_unlock (&read_lock);
1544                 return (-ENOENT);
1545         }
1546
1547         le = llist_search (read_list, name);
1548         if (le == NULL)
1549         {
1550                 pthread_mutex_unlock (&read_lock);
1551                 WARNING ("plugin_unregister_read: No such read function: %s",
1552                                 name);
1553                 return (-ENOENT);
1554         }
1555
1556         llist_remove (read_list, le);
1557
1558         rf = le->value;
1559         assert (rf != NULL);
1560         rf->rf_type = RF_REMOVE;
1561
1562         pthread_mutex_unlock (&read_lock);
1563
1564         llentry_destroy (le);
1565
1566         DEBUG ("plugin_unregister_read: Marked `%s' for removal.", name);
1567
1568         return (0);
1569 } /* }}} int plugin_unregister_read */
1570
1571 void plugin_log_available_writers (void)
1572 {
1573         log_list_callbacks (&list_write, "Available write targets:");
1574 }
1575
1576 static int compare_read_func_group (llentry_t *e, void *ud) /* {{{ */
1577 {
1578         read_func_t *rf    = e->value;
1579         char        *group = ud;
1580
1581         return strcmp (rf->rf_group, (const char *)group);
1582 } /* }}} int compare_read_func_group */
1583
1584 int plugin_unregister_read_group (const char *group) /* {{{ */
1585 {
1586         llentry_t *le;
1587         read_func_t *rf;
1588
1589         int found = 0;
1590
1591         if (group == NULL)
1592                 return (-ENOENT);
1593
1594         pthread_mutex_lock (&read_lock);
1595
1596         if (read_list == NULL)
1597         {
1598                 pthread_mutex_unlock (&read_lock);
1599                 return (-ENOENT);
1600         }
1601
1602         while (42)
1603         {
1604                 le = llist_search_custom (read_list,
1605                                 compare_read_func_group, (void *)group);
1606
1607                 if (le == NULL)
1608                         break;
1609
1610                 ++found;
1611
1612                 llist_remove (read_list, le);
1613
1614                 rf = le->value;
1615                 assert (rf != NULL);
1616                 rf->rf_type = RF_REMOVE;
1617
1618                 llentry_destroy (le);
1619
1620                 DEBUG ("plugin_unregister_read_group: "
1621                                 "Marked `%s' (group `%s') for removal.",
1622                                 rf->rf_name, group);
1623         }
1624
1625         pthread_mutex_unlock (&read_lock);
1626
1627         if (found == 0)
1628         {
1629                 WARNING ("plugin_unregister_read_group: No such "
1630                                 "group of read function: %s", group);
1631                 return (-ENOENT);
1632         }
1633
1634         return (0);
1635 } /* }}} int plugin_unregister_read_group */
1636
1637 int plugin_unregister_write (const char *name)
1638 {
1639         return (plugin_unregister (list_write, name));
1640 }
1641
1642 int plugin_unregister_flush (const char *name)
1643 {
1644         plugin_ctx_t ctx = plugin_get_ctx ();
1645
1646         if (ctx.flush_interval != 0)
1647         {
1648                 char *flush_name;
1649
1650                 flush_name = plugin_flush_callback_name (name);
1651                 if (flush_name != NULL)
1652                 {
1653                         plugin_unregister_read(flush_name);
1654                         sfree (flush_name);
1655                 }
1656         }
1657
1658         return plugin_unregister (list_flush, name);
1659 }
1660
1661 int plugin_unregister_missing (const char *name)
1662 {
1663         return (plugin_unregister (list_missing, name));
1664 }
1665
1666 int plugin_unregister_shutdown (const char *name)
1667 {
1668         return (plugin_unregister (list_shutdown, name));
1669 }
1670
1671 int plugin_unregister_data_set (const char *name)
1672 {
1673         data_set_t *ds;
1674
1675         if (data_sets == NULL)
1676                 return (-1);
1677
1678         if (c_avl_remove (data_sets, name, NULL, (void *) &ds) != 0)
1679                 return (-1);
1680
1681         sfree (ds->ds);
1682         sfree (ds);
1683
1684         return (0);
1685 } /* int plugin_unregister_data_set */
1686
1687 int plugin_unregister_log (const char *name)
1688 {
1689         return (plugin_unregister (list_log, name));
1690 }
1691
1692 int plugin_unregister_notification (const char *name)
1693 {
1694         return (plugin_unregister (list_notification, name));
1695 }
1696
1697 void plugin_init_all (void)
1698 {
1699         char const *chain_name;
1700         long write_threads_num;
1701         llentry_t *le;
1702         int status;
1703
1704         /* Init the value cache */
1705         uc_init ();
1706
1707         if (IS_TRUE (global_option_get ("CollectInternalStats")))
1708                 record_statistics = 1;
1709
1710         chain_name = global_option_get ("PreCacheChain");
1711         pre_cache_chain = fc_chain_get_by_name (chain_name);
1712
1713         chain_name = global_option_get ("PostCacheChain");
1714         post_cache_chain = fc_chain_get_by_name (chain_name);
1715
1716         write_limit_high = global_option_get_long ("WriteQueueLimitHigh",
1717                         /* default = */ 0);
1718         if (write_limit_high < 0)
1719         {
1720                 ERROR ("WriteQueueLimitHigh must be positive or zero.");
1721                 write_limit_high = 0;
1722         }
1723
1724         write_limit_low = global_option_get_long ("WriteQueueLimitLow",
1725                         /* default = */ write_limit_high / 2);
1726         if (write_limit_low < 0)
1727         {
1728                 ERROR ("WriteQueueLimitLow must be positive or zero.");
1729                 write_limit_low = write_limit_high / 2;
1730         }
1731         else if (write_limit_low > write_limit_high)
1732         {
1733                 ERROR ("WriteQueueLimitLow must not be larger than "
1734                                 "WriteQueueLimitHigh.");
1735                 write_limit_low = write_limit_high;
1736         }
1737
1738         write_threads_num = global_option_get_long ("WriteThreads",
1739                         /* default = */ 5);
1740         if (write_threads_num < 1)
1741         {
1742                 ERROR ("WriteThreads must be positive.");
1743                 write_threads_num = 5;
1744         }
1745
1746         if ((list_init == NULL) && (read_heap == NULL))
1747                 return;
1748
1749         /* Calling all init callbacks before checking if read callbacks
1750          * are available allows the init callbacks to register the read
1751          * callback. */
1752         le = llist_head (list_init);
1753         while (le != NULL)
1754         {
1755                 callback_func_t *cf;
1756                 plugin_init_cb callback;
1757                 plugin_ctx_t old_ctx;
1758
1759                 cf = le->value;
1760                 old_ctx = plugin_set_ctx (cf->cf_ctx);
1761                 callback = cf->cf_callback;
1762                 status = (*callback) ();
1763                 plugin_set_ctx (old_ctx);
1764
1765                 if (status != 0)
1766                 {
1767                         ERROR ("Initialization of plugin `%s' "
1768                                         "failed with status %i. "
1769                                         "Plugin will be unloaded.",
1770                                         le->key, status);
1771                         /* Plugins that register read callbacks from the init
1772                          * callback should take care of appropriate error
1773                          * handling themselves. */
1774                         /* FIXME: Unload _all_ functions */
1775                         plugin_unregister_read (le->key);
1776                 }
1777
1778                 le = le->next;
1779         }
1780
1781         start_write_threads ((size_t) write_threads_num);
1782
1783         max_read_interval = global_option_get_time ("MaxReadInterval",
1784                         DEFAULT_MAX_READ_INTERVAL);
1785
1786         /* Start read-threads */
1787         if (read_heap != NULL)
1788         {
1789                 const char *rt;
1790                 int num;
1791
1792                 rt = global_option_get ("ReadThreads");
1793                 num = atoi (rt);
1794                 if (num != -1)
1795                         start_read_threads ((num > 0) ? num : 5);
1796         }
1797 } /* void plugin_init_all */
1798
1799 /* TODO: Rename this function. */
1800 void plugin_read_all (void)
1801 {
1802         if(record_statistics) {
1803                 plugin_update_internal_statistics ();
1804         }
1805         uc_check_timeout ();
1806
1807         return;
1808 } /* void plugin_read_all */
1809
1810 /* Read function called when the `-T' command line argument is given. */
1811 int plugin_read_all_once (void)
1812 {
1813         int status;
1814         int return_status = 0;
1815
1816         if (read_heap == NULL)
1817         {
1818                 NOTICE ("No read-functions are registered.");
1819                 return (0);
1820         }
1821
1822         while (42)
1823         {
1824                 read_func_t *rf;
1825                 plugin_ctx_t old_ctx;
1826
1827                 rf = c_heap_get_root (read_heap);
1828                 if (rf == NULL)
1829                         break;
1830
1831                 old_ctx = plugin_set_ctx (rf->rf_ctx);
1832
1833                 if (rf->rf_type == RF_SIMPLE)
1834                 {
1835                         int (*callback) (void);
1836
1837                         callback = rf->rf_callback;
1838                         status = (*callback) ();
1839                 }
1840                 else
1841                 {
1842                         plugin_read_cb callback;
1843
1844                         callback = rf->rf_callback;
1845                         status = (*callback) (&rf->rf_udata);
1846                 }
1847
1848                 plugin_set_ctx (old_ctx);
1849
1850                 if (status != 0)
1851                 {
1852                         NOTICE ("read-function of plugin `%s' failed.",
1853                                         rf->rf_name);
1854                         return_status = -1;
1855                 }
1856
1857                 sfree (rf->rf_name);
1858                 destroy_callback ((void *) rf);
1859         }
1860
1861         return (return_status);
1862 } /* int plugin_read_all_once */
1863
1864 int plugin_write (const char *plugin, /* {{{ */
1865                 const data_set_t *ds, const value_list_t *vl)
1866 {
1867   llentry_t *le;
1868   int status;
1869
1870   if (vl == NULL)
1871     return (EINVAL);
1872
1873   if (list_write == NULL)
1874     return (ENOENT);
1875
1876   if (ds == NULL)
1877   {
1878     ds = plugin_get_ds (vl->type);
1879     if (ds == NULL)
1880     {
1881       ERROR ("plugin_write: Unable to lookup type `%s'.", vl->type);
1882       return (ENOENT);
1883     }
1884   }
1885
1886   if (plugin == NULL)
1887   {
1888     int success = 0;
1889     int failure = 0;
1890
1891     le = llist_head (list_write);
1892     while (le != NULL)
1893     {
1894       callback_func_t *cf = le->value;
1895       plugin_write_cb callback;
1896
1897       /* do not switch plugin context; rather keep the context (interval)
1898        * information of the calling read plugin */
1899
1900       DEBUG ("plugin: plugin_write: Writing values via %s.", le->key);
1901       callback = cf->cf_callback;
1902       status = (*callback) (ds, vl, &cf->cf_udata);
1903       if (status != 0)
1904         failure++;
1905       else
1906         success++;
1907
1908       le = le->next;
1909     }
1910
1911     if ((success == 0) && (failure != 0))
1912       status = -1;
1913     else
1914       status = 0;
1915   }
1916   else /* plugin != NULL */
1917   {
1918     callback_func_t *cf;
1919     plugin_write_cb callback;
1920
1921     le = llist_head (list_write);
1922     while (le != NULL)
1923     {
1924       if (strcasecmp (plugin, le->key) == 0)
1925         break;
1926
1927       le = le->next;
1928     }
1929
1930     if (le == NULL)
1931       return (ENOENT);
1932
1933     cf = le->value;
1934
1935     /* do not switch plugin context; rather keep the context (interval)
1936      * information of the calling read plugin */
1937
1938     DEBUG ("plugin: plugin_write: Writing values via %s.", le->key);
1939     callback = cf->cf_callback;
1940     status = (*callback) (ds, vl, &cf->cf_udata);
1941   }
1942
1943   return (status);
1944 } /* }}} int plugin_write */
1945
1946 int plugin_flush (const char *plugin, cdtime_t timeout, const char *identifier)
1947 {
1948   llentry_t *le;
1949
1950   if (list_flush == NULL)
1951     return (0);
1952
1953   le = llist_head (list_flush);
1954   while (le != NULL)
1955   {
1956     callback_func_t *cf;
1957     plugin_flush_cb callback;
1958     plugin_ctx_t old_ctx;
1959
1960     if ((plugin != NULL)
1961         && (strcmp (plugin, le->key) != 0))
1962     {
1963       le = le->next;
1964       continue;
1965     }
1966
1967     cf = le->value;
1968     old_ctx = plugin_set_ctx (cf->cf_ctx);
1969     callback = cf->cf_callback;
1970
1971     (*callback) (timeout, identifier, &cf->cf_udata);
1972
1973     plugin_set_ctx (old_ctx);
1974
1975     le = le->next;
1976   }
1977   return (0);
1978 } /* int plugin_flush */
1979
1980 void plugin_shutdown_all (void)
1981 {
1982         llentry_t *le;
1983
1984         stop_read_threads ();
1985
1986         destroy_all_callbacks (&list_init);
1987
1988         pthread_mutex_lock (&read_lock);
1989         llist_destroy (read_list);
1990         read_list = NULL;
1991         pthread_mutex_unlock (&read_lock);
1992
1993         destroy_read_heap ();
1994
1995         plugin_flush (/* plugin = */ NULL,
1996                         /* timeout = */ 0,
1997                         /* identifier = */ NULL);
1998
1999         le = NULL;
2000         if (list_shutdown != NULL)
2001                 le = llist_head (list_shutdown);
2002
2003         while (le != NULL)
2004         {
2005                 callback_func_t *cf;
2006                 plugin_shutdown_cb callback;
2007                 plugin_ctx_t old_ctx;
2008
2009                 cf = le->value;
2010                 old_ctx = plugin_set_ctx (cf->cf_ctx);
2011                 callback = cf->cf_callback;
2012
2013                 /* Advance the pointer before calling the callback allows
2014                  * shutdown functions to unregister themselves. If done the
2015                  * other way around the memory `le' points to will be freed
2016                  * after callback returns. */
2017                 le = le->next;
2018
2019                 (*callback) ();
2020
2021                 plugin_set_ctx (old_ctx);
2022         }
2023
2024         stop_write_threads ();
2025
2026         /* Write plugins which use the `user_data' pointer usually need the
2027          * same data available to the flush callback. If this is the case, set
2028          * the free_function to NULL when registering the flush callback and to
2029          * the real free function when registering the write callback. This way
2030          * the data isn't freed twice. */
2031         destroy_all_callbacks (&list_flush);
2032         destroy_all_callbacks (&list_missing);
2033         destroy_all_callbacks (&list_write);
2034
2035         destroy_all_callbacks (&list_notification);
2036         destroy_all_callbacks (&list_shutdown);
2037         destroy_all_callbacks (&list_log);
2038
2039         plugin_free_loaded ();
2040         plugin_free_data_sets ();
2041 } /* void plugin_shutdown_all */
2042
2043 int plugin_dispatch_missing (const value_list_t *vl) /* {{{ */
2044 {
2045   llentry_t *le;
2046
2047   if (list_missing == NULL)
2048     return (0);
2049
2050   le = llist_head (list_missing);
2051   while (le != NULL)
2052   {
2053     callback_func_t *cf;
2054     plugin_missing_cb callback;
2055     plugin_ctx_t old_ctx;
2056     int status;
2057
2058     cf = le->value;
2059     old_ctx = plugin_set_ctx (cf->cf_ctx);
2060     callback = cf->cf_callback;
2061
2062     status = (*callback) (vl, &cf->cf_udata);
2063     plugin_set_ctx (old_ctx);
2064     if (status != 0)
2065     {
2066       if (status < 0)
2067       {
2068         ERROR ("plugin_dispatch_missing: Callback function \"%s\" "
2069             "failed with status %i.",
2070             le->key, status);
2071         return (status);
2072       }
2073       else
2074       {
2075         return (0);
2076       }
2077     }
2078
2079     le = le->next;
2080   }
2081   return (0);
2082 } /* int }}} plugin_dispatch_missing */
2083
2084 static int plugin_dispatch_values_internal (value_list_t *vl)
2085 {
2086         int status;
2087         static c_complain_t no_write_complaint = C_COMPLAIN_INIT_STATIC;
2088
2089         value_t *saved_values;
2090         int      saved_values_len;
2091
2092         data_set_t *ds;
2093
2094         int free_meta_data = 0;
2095
2096         if ((vl == NULL) || (vl->type[0] == 0)
2097                         || (vl->values == NULL) || (vl->values_len < 1))
2098         {
2099                 ERROR ("plugin_dispatch_values: Invalid value list "
2100                                 "from plugin %s.", vl->plugin);
2101                 return (-1);
2102         }
2103
2104         /* Free meta data only if the calling function didn't specify any. In
2105          * this case matches and targets may add some and the calling function
2106          * may not expect (and therefore free) that data. */
2107         if (vl->meta == NULL)
2108                 free_meta_data = 1;
2109
2110         if (list_write == NULL)
2111                 c_complain_once (LOG_WARNING, &no_write_complaint,
2112                                 "plugin_dispatch_values: No write callback has been "
2113                                 "registered. Please load at least one output plugin, "
2114                                 "if you want the collected data to be stored.");
2115
2116         if (data_sets == NULL)
2117         {
2118                 ERROR ("plugin_dispatch_values: No data sets registered. "
2119                                 "Could the types database be read? Check "
2120                                 "your `TypesDB' setting!");
2121                 return (-1);
2122         }
2123
2124         if (c_avl_get (data_sets, vl->type, (void *) &ds) != 0)
2125         {
2126                 char ident[6 * DATA_MAX_NAME_LEN];
2127
2128                 FORMAT_VL (ident, sizeof (ident), vl);
2129                 INFO ("plugin_dispatch_values: Dataset not found: %s "
2130                                 "(from \"%s\"), check your types.db!",
2131                                 vl->type, ident);
2132                 return (-1);
2133         }
2134
2135         /* Assured by plugin_value_list_clone(). The time is determined at
2136          * _enqueue_ time. */
2137         assert (vl->time != 0);
2138         assert (vl->interval != 0);
2139
2140         DEBUG ("plugin_dispatch_values: time = %.3f; interval = %.3f; "
2141                         "host = %s; "
2142                         "plugin = %s; plugin_instance = %s; "
2143                         "type = %s; type_instance = %s;",
2144                         CDTIME_T_TO_DOUBLE (vl->time),
2145                         CDTIME_T_TO_DOUBLE (vl->interval),
2146                         vl->host,
2147                         vl->plugin, vl->plugin_instance,
2148                         vl->type, vl->type_instance);
2149
2150 #if COLLECT_DEBUG
2151         assert (0 == strcmp (ds->type, vl->type));
2152 #else
2153         if (0 != strcmp (ds->type, vl->type))
2154                 WARNING ("plugin_dispatch_values: (ds->type = %s) != (vl->type = %s)",
2155                                 ds->type, vl->type);
2156 #endif
2157
2158 #if COLLECT_DEBUG
2159         assert (ds->ds_num == vl->values_len);
2160 #else
2161         if (ds->ds_num != vl->values_len)
2162         {
2163                 ERROR ("plugin_dispatch_values: ds->type = %s: "
2164                                 "(ds->ds_num = %zu) != "
2165                                 "(vl->values_len = %zu)",
2166                                 ds->type, ds->ds_num, vl->values_len);
2167                 return (-1);
2168         }
2169 #endif
2170
2171         escape_slashes (vl->host, sizeof (vl->host));
2172         escape_slashes (vl->plugin, sizeof (vl->plugin));
2173         escape_slashes (vl->plugin_instance, sizeof (vl->plugin_instance));
2174         escape_slashes (vl->type, sizeof (vl->type));
2175         escape_slashes (vl->type_instance, sizeof (vl->type_instance));
2176
2177         /* Copy the values. This way, we can assure `targets' that they get
2178          * dynamically allocated values, which they can free and replace if
2179          * they like. */
2180         if ((pre_cache_chain != NULL) || (post_cache_chain != NULL))
2181         {
2182                 saved_values     = vl->values;
2183                 saved_values_len = vl->values_len;
2184
2185                 vl->values = (value_t *) calloc (vl->values_len,
2186                                 sizeof (*vl->values));
2187                 if (vl->values == NULL)
2188                 {
2189                         ERROR ("plugin_dispatch_values: calloc failed.");
2190                         vl->values = saved_values;
2191                         return (-1);
2192                 }
2193                 memcpy (vl->values, saved_values,
2194                                 vl->values_len * sizeof (*vl->values));
2195         }
2196         else /* if ((pre == NULL) && (post == NULL)) */
2197         {
2198                 saved_values     = NULL;
2199                 saved_values_len = 0;
2200         }
2201
2202         if (pre_cache_chain != NULL)
2203         {
2204                 status = fc_process_chain (ds, vl, pre_cache_chain);
2205                 if (status < 0)
2206                 {
2207                         WARNING ("plugin_dispatch_values: Running the "
2208                                         "pre-cache chain failed with "
2209                                         "status %i (%#x).",
2210                                         status, status);
2211                 }
2212                 else if (status == FC_TARGET_STOP)
2213                 {
2214                         /* Restore the state of the value_list so that plugins
2215                          * don't get confused.. */
2216                         if (saved_values != NULL)
2217                         {
2218                                 sfree (vl->values);
2219                                 vl->values     = saved_values;
2220                                 vl->values_len = saved_values_len;
2221                         }
2222                         return (0);
2223                 }
2224         }
2225
2226         /* Update the value cache */
2227         uc_update (ds, vl);
2228
2229         if (post_cache_chain != NULL)
2230         {
2231                 status = fc_process_chain (ds, vl, post_cache_chain);
2232                 if (status < 0)
2233                 {
2234                         WARNING ("plugin_dispatch_values: Running the "
2235                                         "post-cache chain failed with "
2236                                         "status %i (%#x).",
2237                                         status, status);
2238                 }
2239         }
2240         else
2241                 fc_default_action (ds, vl);
2242
2243         /* Restore the state of the value_list so that plugins don't get
2244          * confused.. */
2245         if (saved_values != NULL)
2246         {
2247                 sfree (vl->values);
2248                 vl->values     = saved_values;
2249                 vl->values_len = saved_values_len;
2250         }
2251
2252         if ((free_meta_data != 0) && (vl->meta != NULL))
2253         {
2254                 meta_data_destroy (vl->meta);
2255                 vl->meta = NULL;
2256         }
2257
2258         return (0);
2259 } /* int plugin_dispatch_values_internal */
2260
2261 static double get_drop_probability (void) /* {{{ */
2262 {
2263         long pos;
2264         long size;
2265         long wql;
2266
2267         pthread_mutex_lock (&write_lock);
2268         wql = write_queue_length;
2269         pthread_mutex_unlock (&write_lock);
2270
2271         if (wql < write_limit_low)
2272                 return (0.0);
2273         if (wql >= write_limit_high)
2274                 return (1.0);
2275
2276         pos = 1 + wql - write_limit_low;
2277         size = 1 + write_limit_high - write_limit_low;
2278
2279         return (((double) pos) / ((double) size));
2280 } /* }}} double get_drop_probability */
2281
2282 static _Bool check_drop_value (void) /* {{{ */
2283 {
2284         static cdtime_t last_message_time = 0;
2285         static pthread_mutex_t last_message_lock = PTHREAD_MUTEX_INITIALIZER;
2286
2287         double p;
2288         double q;
2289         int status;
2290
2291         if (write_limit_high == 0)
2292                 return (0);
2293
2294         p = get_drop_probability ();
2295         if (p == 0.0)
2296                 return (0);
2297
2298         status = pthread_mutex_trylock (&last_message_lock);
2299         if (status == 0)
2300         {
2301                 cdtime_t now;
2302
2303                 now = cdtime ();
2304                 if ((now - last_message_time) > TIME_T_TO_CDTIME_T (1))
2305                 {
2306                         last_message_time = now;
2307                         ERROR ("plugin_dispatch_values: Low water mark "
2308                                         "reached. Dropping %.0f%% of metrics.",
2309                                         100.0 * p);
2310                 }
2311                 pthread_mutex_unlock (&last_message_lock);
2312         }
2313
2314         if (p == 1.0)
2315                 return (1);
2316
2317         q = cdrand_d ();
2318         if (q > p)
2319                 return (1);
2320         else
2321                 return (0);
2322 } /* }}} _Bool check_drop_value */
2323
2324 int plugin_dispatch_values (value_list_t const *vl)
2325 {
2326         int status;
2327         static pthread_mutex_t statistics_lock = PTHREAD_MUTEX_INITIALIZER;
2328
2329         if (check_drop_value ()) {
2330                 if(record_statistics) {
2331                         pthread_mutex_lock(&statistics_lock);
2332                         stats_values_dropped++;
2333                         pthread_mutex_unlock(&statistics_lock);
2334                 }
2335                 return (0);
2336         }
2337
2338         status = plugin_write_enqueue (vl);
2339         if (status != 0)
2340         {
2341                 char errbuf[1024];
2342                 ERROR ("plugin_dispatch_values: plugin_write_enqueue failed "
2343                                 "with status %i (%s).", status,
2344                                 sstrerror (status, errbuf, sizeof (errbuf)));
2345                 return (status);
2346         }
2347
2348         return (0);
2349 }
2350
2351 __attribute__((sentinel))
2352 int plugin_dispatch_multivalue (value_list_t const *template, /* {{{ */
2353                 _Bool store_percentage, int store_type, ...)
2354 {
2355         value_list_t *vl;
2356         int failed = 0;
2357         gauge_t sum = 0.0;
2358         va_list ap;
2359
2360         assert (template->values_len == 1);
2361
2362   /* Calculate sum for Gauge to calculate percent if needed */
2363         if (DS_TYPE_GAUGE == store_type)        {
2364                 va_start (ap, store_type);
2365                 while (42)
2366                 {
2367                         char const *name;
2368                         gauge_t value;
2369
2370                         name = va_arg (ap, char const *);
2371                         if (name == NULL)
2372                                 break;
2373
2374                         value = va_arg (ap, gauge_t);
2375                         if (!isnan (value))
2376                                 sum += value;
2377                 }
2378                 va_end (ap);
2379         }
2380
2381
2382         vl = plugin_value_list_clone (template);
2383         /* plugin_value_list_clone makes sure vl->time is set to non-zero. */
2384         if (store_percentage)
2385                 sstrncpy (vl->type, "percent", sizeof (vl->type));
2386
2387         va_start (ap, store_type);
2388         while (42)
2389         {
2390                 char const *name;
2391                 int status;
2392
2393                 /* Set the type instance. */
2394                 name = va_arg (ap, char const *);
2395                 if (name == NULL)
2396                         break;
2397                 sstrncpy (vl->type_instance, name, sizeof (vl->type_instance));
2398
2399                 /* Set the value. */
2400                 switch (store_type)
2401                 {
2402                 case DS_TYPE_GAUGE:
2403                         vl->values[0].gauge = va_arg (ap, gauge_t);
2404                         if (store_percentage)
2405                                 vl->values[0].gauge *= sum ? (100.0 / sum) : 0;
2406                         break;
2407                 case DS_TYPE_ABSOLUTE:
2408                         vl->values[0].absolute = va_arg (ap, absolute_t);
2409                         break;
2410                 case DS_TYPE_COUNTER:
2411                         vl->values[0].counter  = va_arg (ap, counter_t);
2412                         break;
2413                 case DS_TYPE_DERIVE:
2414                         vl->values[0].derive   = va_arg (ap, derive_t);
2415                         break;
2416                 default:
2417                         ERROR ("plugin_dispatch_multivalue: given store_type is incorrect.");
2418                         failed++;
2419                 }
2420
2421
2422                 status = plugin_write_enqueue (vl);
2423                 if (status != 0)
2424                         failed++;
2425         }
2426         va_end (ap);
2427
2428         plugin_value_list_free (vl);
2429         return (failed);
2430 } /* }}} int plugin_dispatch_multivalue */
2431
2432 int plugin_dispatch_notification (const notification_t *notif)
2433 {
2434         llentry_t *le;
2435         /* Possible TODO: Add flap detection here */
2436
2437         DEBUG ("plugin_dispatch_notification: severity = %i; message = %s; "
2438                         "time = %.3f; host = %s;",
2439                         notif->severity, notif->message,
2440                         CDTIME_T_TO_DOUBLE (notif->time), notif->host);
2441
2442         /* Nobody cares for notifications */
2443         if (list_notification == NULL)
2444                 return (-1);
2445
2446         le = llist_head (list_notification);
2447         while (le != NULL)
2448         {
2449                 callback_func_t *cf;
2450                 plugin_notification_cb callback;
2451                 int status;
2452
2453                 /* do not switch plugin context; rather keep the context
2454                  * (interval) information of the calling plugin */
2455
2456                 cf = le->value;
2457                 callback = cf->cf_callback;
2458                 status = (*callback) (notif, &cf->cf_udata);
2459                 if (status != 0)
2460                 {
2461                         WARNING ("plugin_dispatch_notification: Notification "
2462                                         "callback %s returned %i.",
2463                                         le->key, status);
2464                 }
2465
2466                 le = le->next;
2467         }
2468
2469         return (0);
2470 } /* int plugin_dispatch_notification */
2471
2472 void plugin_log (int level, const char *format, ...)
2473 {
2474         char msg[1024];
2475         va_list ap;
2476         llentry_t *le;
2477
2478 #if !COLLECT_DEBUG
2479         if (level >= LOG_DEBUG)
2480                 return;
2481 #endif
2482
2483         va_start (ap, format);
2484         vsnprintf (msg, sizeof (msg), format, ap);
2485         msg[sizeof (msg) - 1] = '\0';
2486         va_end (ap);
2487
2488         if (list_log == NULL)
2489         {
2490                 fprintf (stderr, "%s\n", msg);
2491                 return;
2492         }
2493
2494         le = llist_head (list_log);
2495         while (le != NULL)
2496         {
2497                 callback_func_t *cf;
2498                 plugin_log_cb callback;
2499
2500                 cf = le->value;
2501                 callback = cf->cf_callback;
2502
2503                 /* do not switch plugin context; rather keep the context
2504                  * (interval) information of the calling plugin */
2505
2506                 (*callback) (level, msg, &cf->cf_udata);
2507
2508                 le = le->next;
2509         }
2510 } /* void plugin_log */
2511
2512 int parse_log_severity (const char *severity)
2513 {
2514         int log_level = -1;
2515
2516         if ((0 == strcasecmp (severity, "emerg"))
2517                         || (0 == strcasecmp (severity, "alert"))
2518                         || (0 == strcasecmp (severity, "crit"))
2519                         || (0 == strcasecmp (severity, "err")))
2520                 log_level = LOG_ERR;
2521         else if (0 == strcasecmp (severity, "warning"))
2522                 log_level = LOG_WARNING;
2523         else if (0 == strcasecmp (severity, "notice"))
2524                 log_level = LOG_NOTICE;
2525         else if (0 == strcasecmp (severity, "info"))
2526                 log_level = LOG_INFO;
2527 #if COLLECT_DEBUG
2528         else if (0 == strcasecmp (severity, "debug"))
2529                 log_level = LOG_DEBUG;
2530 #endif /* COLLECT_DEBUG */
2531
2532         return (log_level);
2533 } /* int parse_log_severity */
2534
2535 int parse_notif_severity (const char *severity)
2536 {
2537         int notif_severity = -1;
2538
2539         if (strcasecmp (severity, "FAILURE") == 0)
2540                 notif_severity = NOTIF_FAILURE;
2541         else if (strcmp (severity, "OKAY") == 0)
2542                 notif_severity = NOTIF_OKAY;
2543         else if ((strcmp (severity, "WARNING") == 0)
2544                         || (strcmp (severity, "WARN") == 0))
2545                 notif_severity = NOTIF_WARNING;
2546
2547         return (notif_severity);
2548 } /* int parse_notif_severity */
2549
2550 const data_set_t *plugin_get_ds (const char *name)
2551 {
2552         data_set_t *ds;
2553
2554         if (data_sets == NULL)
2555         {
2556                 ERROR ("plugin_get_ds: No data sets are defined yet.");
2557                 return (NULL);
2558         }
2559
2560         if (c_avl_get (data_sets, name, (void *) &ds) != 0)
2561         {
2562                 DEBUG ("No such dataset registered: %s", name);
2563                 return (NULL);
2564         }
2565
2566         return (ds);
2567 } /* data_set_t *plugin_get_ds */
2568
2569 static int plugin_notification_meta_add (notification_t *n,
2570     const char *name,
2571     enum notification_meta_type_e type,
2572     const void *value)
2573 {
2574   notification_meta_t *meta;
2575   notification_meta_t *tail;
2576
2577   if ((n == NULL) || (name == NULL) || (value == NULL))
2578   {
2579     ERROR ("plugin_notification_meta_add: A pointer is NULL!");
2580     return (-1);
2581   }
2582
2583   meta = (notification_meta_t *) malloc (sizeof (notification_meta_t));
2584   if (meta == NULL)
2585   {
2586     ERROR ("plugin_notification_meta_add: malloc failed.");
2587     return (-1);
2588   }
2589   memset (meta, 0, sizeof (notification_meta_t));
2590
2591   sstrncpy (meta->name, name, sizeof (meta->name));
2592   meta->type = type;
2593
2594   switch (type)
2595   {
2596     case NM_TYPE_STRING:
2597     {
2598       meta->nm_value.nm_string = strdup ((const char *) value);
2599       if (meta->nm_value.nm_string == NULL)
2600       {
2601         ERROR ("plugin_notification_meta_add: strdup failed.");
2602         sfree (meta);
2603         return (-1);
2604       }
2605       break;
2606     }
2607     case NM_TYPE_SIGNED_INT:
2608     {
2609       meta->nm_value.nm_signed_int = *((int64_t *) value);
2610       break;
2611     }
2612     case NM_TYPE_UNSIGNED_INT:
2613     {
2614       meta->nm_value.nm_unsigned_int = *((uint64_t *) value);
2615       break;
2616     }
2617     case NM_TYPE_DOUBLE:
2618     {
2619       meta->nm_value.nm_double = *((double *) value);
2620       break;
2621     }
2622     case NM_TYPE_BOOLEAN:
2623     {
2624       meta->nm_value.nm_boolean = *((_Bool *) value);
2625       break;
2626     }
2627     default:
2628     {
2629       ERROR ("plugin_notification_meta_add: Unknown type: %i", type);
2630       sfree (meta);
2631       return (-1);
2632     }
2633   } /* switch (type) */
2634
2635   meta->next = NULL;
2636   tail = n->meta;
2637   while ((tail != NULL) && (tail->next != NULL))
2638     tail = tail->next;
2639
2640   if (tail == NULL)
2641     n->meta = meta;
2642   else
2643     tail->next = meta;
2644
2645   return (0);
2646 } /* int plugin_notification_meta_add */
2647
2648 int plugin_notification_meta_add_string (notification_t *n,
2649     const char *name,
2650     const char *value)
2651 {
2652   return (plugin_notification_meta_add (n, name, NM_TYPE_STRING, value));
2653 }
2654
2655 int plugin_notification_meta_add_signed_int (notification_t *n,
2656     const char *name,
2657     int64_t value)
2658 {
2659   return (plugin_notification_meta_add (n, name, NM_TYPE_SIGNED_INT, &value));
2660 }
2661
2662 int plugin_notification_meta_add_unsigned_int (notification_t *n,
2663     const char *name,
2664     uint64_t value)
2665 {
2666   return (plugin_notification_meta_add (n, name, NM_TYPE_UNSIGNED_INT, &value));
2667 }
2668
2669 int plugin_notification_meta_add_double (notification_t *n,
2670     const char *name,
2671     double value)
2672 {
2673   return (plugin_notification_meta_add (n, name, NM_TYPE_DOUBLE, &value));
2674 }
2675
2676 int plugin_notification_meta_add_boolean (notification_t *n,
2677     const char *name,
2678     _Bool value)
2679 {
2680   return (plugin_notification_meta_add (n, name, NM_TYPE_BOOLEAN, &value));
2681 }
2682
2683 int plugin_notification_meta_copy (notification_t *dst,
2684     const notification_t *src)
2685 {
2686   notification_meta_t *meta;
2687
2688   assert (dst != NULL);
2689   assert (src != NULL);
2690   assert (dst != src);
2691   assert ((src->meta == NULL) || (src->meta != dst->meta));
2692
2693   for (meta = src->meta; meta != NULL; meta = meta->next)
2694   {
2695     if (meta->type == NM_TYPE_STRING)
2696       plugin_notification_meta_add_string (dst, meta->name,
2697           meta->nm_value.nm_string);
2698     else if (meta->type == NM_TYPE_SIGNED_INT)
2699       plugin_notification_meta_add_signed_int (dst, meta->name,
2700           meta->nm_value.nm_signed_int);
2701     else if (meta->type == NM_TYPE_UNSIGNED_INT)
2702       plugin_notification_meta_add_unsigned_int (dst, meta->name,
2703           meta->nm_value.nm_unsigned_int);
2704     else if (meta->type == NM_TYPE_DOUBLE)
2705       plugin_notification_meta_add_double (dst, meta->name,
2706           meta->nm_value.nm_double);
2707     else if (meta->type == NM_TYPE_BOOLEAN)
2708       plugin_notification_meta_add_boolean (dst, meta->name,
2709           meta->nm_value.nm_boolean);
2710   }
2711
2712   return (0);
2713 } /* int plugin_notification_meta_copy */
2714
2715 int plugin_notification_meta_free (notification_meta_t *n)
2716 {
2717   notification_meta_t *this;
2718   notification_meta_t *next;
2719
2720   if (n == NULL)
2721   {
2722     ERROR ("plugin_notification_meta_free: n == NULL!");
2723     return (-1);
2724   }
2725
2726   this = n;
2727   while (this != NULL)
2728   {
2729     next = this->next;
2730
2731     if (this->type == NM_TYPE_STRING)
2732     {
2733       /* Assign to a temporary variable to work around nm_string's const
2734        * modifier. */
2735       void *tmp = (void *) this->nm_value.nm_string;
2736
2737       sfree (tmp);
2738       this->nm_value.nm_string = NULL;
2739     }
2740     sfree (this);
2741
2742     this = next;
2743   }
2744
2745   return (0);
2746 } /* int plugin_notification_meta_free */
2747
2748 static void plugin_ctx_destructor (void *ctx)
2749 {
2750         sfree (ctx);
2751 } /* void plugin_ctx_destructor */
2752
2753 static plugin_ctx_t ctx_init = { /* interval = */ 0 };
2754
2755 static plugin_ctx_t *plugin_ctx_create (void)
2756 {
2757         plugin_ctx_t *ctx;
2758
2759         ctx = malloc (sizeof (*ctx));
2760         if (ctx == NULL) {
2761                 char errbuf[1024];
2762                 ERROR ("Failed to allocate plugin context: %s",
2763                                 sstrerror (errno, errbuf, sizeof (errbuf)));
2764                 return NULL;
2765         }
2766
2767         *ctx = ctx_init;
2768         assert (plugin_ctx_key_initialized);
2769         pthread_setspecific (plugin_ctx_key, ctx);
2770         DEBUG("Created new plugin context.");
2771         return (ctx);
2772 } /* int plugin_ctx_create */
2773
2774 void plugin_init_ctx (void)
2775 {
2776         pthread_key_create (&plugin_ctx_key, plugin_ctx_destructor);
2777         plugin_ctx_key_initialized = 1;
2778 } /* void plugin_init_ctx */
2779
2780 plugin_ctx_t plugin_get_ctx (void)
2781 {
2782         plugin_ctx_t *ctx;
2783
2784         assert (plugin_ctx_key_initialized);
2785         ctx = pthread_getspecific (plugin_ctx_key);
2786
2787         if (ctx == NULL) {
2788                 ctx = plugin_ctx_create ();
2789                 /* this must no happen -- exit() instead? */
2790                 if (ctx == NULL)
2791                         return ctx_init;
2792         }
2793
2794         return (*ctx);
2795 } /* plugin_ctx_t plugin_get_ctx */
2796
2797 plugin_ctx_t plugin_set_ctx (plugin_ctx_t ctx)
2798 {
2799         plugin_ctx_t *c;
2800         plugin_ctx_t old;
2801
2802         assert (plugin_ctx_key_initialized);
2803         c = pthread_getspecific (plugin_ctx_key);
2804
2805         if (c == NULL) {
2806                 c = plugin_ctx_create ();
2807                 /* this must no happen -- exit() instead? */
2808                 if (c == NULL)
2809                         return ctx_init;
2810         }
2811
2812         old = *c;
2813         *c = ctx;
2814
2815         return (old);
2816 } /* void plugin_set_ctx */
2817
2818 cdtime_t plugin_get_interval (void)
2819 {
2820         cdtime_t interval;
2821
2822         interval = plugin_get_ctx().interval;
2823         if (interval > 0)
2824                 return interval;
2825
2826         return cf_get_default_interval ();
2827 } /* cdtime_t plugin_get_interval */
2828
2829 typedef struct {
2830         plugin_ctx_t ctx;
2831         void *(*start_routine) (void *);
2832         void *arg;
2833 } plugin_thread_t;
2834
2835 static void *plugin_thread_start (void *arg)
2836 {
2837         plugin_thread_t *plugin_thread = arg;
2838
2839         void *(*start_routine) (void *) = plugin_thread->start_routine;
2840         void *plugin_arg = plugin_thread->arg;
2841
2842         plugin_set_ctx (plugin_thread->ctx);
2843
2844         sfree (plugin_thread);
2845
2846         return start_routine (plugin_arg);
2847 } /* void *plugin_thread_start */
2848
2849 int plugin_thread_create (pthread_t *thread, const pthread_attr_t *attr,
2850                 void *(*start_routine) (void *), void *arg)
2851 {
2852         plugin_thread_t *plugin_thread;
2853
2854         plugin_thread = malloc (sizeof (*plugin_thread));
2855         if (plugin_thread == NULL)
2856                 return -1;
2857
2858         plugin_thread->ctx           = plugin_get_ctx ();
2859         plugin_thread->start_routine = start_routine;
2860         plugin_thread->arg           = arg;
2861
2862         return pthread_create (thread, attr,
2863                         plugin_thread_start, plugin_thread);
2864 } /* int plugin_thread_create */
2865
2866 /* vim: set sw=8 ts=8 noet fdm=marker : */