src/plugin.c

   1 /**
   2  * collectd - src/plugin.c
   3  * Copyright (C) 2005,2006  Florian octo Forster
   4  *
   5  * This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the GNU General Public License as published by the
   7  * Free Software Foundation; only version 2 of the License is applicable.
   8  *
   9  * This program is distributed in the hope that it will be useful, but
  10  * WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License along
  15  * with this program; if not, write to the Free Software Foundation, Inc.,
  16  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  17  *
  18  * Authors:
  19  *   Florian octo Forster <octo at verplant.org>
  20  **/
  21
  22 #include "collectd.h"
  23
  24 #include <ltdl.h>
  25
  26 #if HAVE_PTHREAD_H
  27 # include <pthread.h>
  28 #endif
  29
  30 #include "common.h"
  31 #include "plugin.h"
  32 #include "configfile.h"
  33 #include "utils_avltree.h"
  34 #include "utils_llist.h"
  35 #include "utils_cache.h"
  36 #include "utils_threshold.h"
  37
  38 /*
  39  * Private structures
  40  */
  41 struct read_func_s
  42 {
  43         int wait_time;
  44         int wait_left;
  45         int (*callback) (void);
  46         enum { DONE = 0, TODO = 1, ACTIVE = 2 } needs_read;
  47 };
  48 typedef struct read_func_s read_func_t;
  49
  50 /*
  51  * Private variables
  52  */
  53 static llist_t *list_init;
  54 static llist_t *list_read;
  55 static llist_t *list_write;
  56 static llist_t *list_shutdown;
  57 static llist_t *list_log;
  58 static llist_t *list_notification;
  59
  60 static c_avl_tree_t *data_sets;
  61
  62 static char *plugindir = NULL;
  63
  64 static int             read_loop = 1;
  65 static pthread_mutex_t read_lock = PTHREAD_MUTEX_INITIALIZER;
  66 static pthread_cond_t  read_cond = PTHREAD_COND_INITIALIZER;
  67 static pthread_t      *read_threads = NULL;
  68 static int             read_threads_num = 0;
  69
  70 /*
  71  * Static functions
  72  */
  73 static const char *plugin_get_dir (void)
  74 {
  75         if (plugindir == NULL)
  76                 return (PLUGINDIR);
  77         else
  78                 return (plugindir);
  79 }
  80
  81 static int register_callback (llist_t **list, const char *name, void *callback)
  82 {
  83         llentry_t *le;
  84         char *key;
  85
  86         if ((*list == NULL)
  87                         && ((*list = llist_create ()) == NULL))
  88                 return (-1);
  89
  90         le = llist_search (*list, name);
  91         if (le == NULL)
  92         {
  93                 key = strdup (name);
  94                 if (key == NULL)
  95                         return (-1);
  96
  97                 le = llentry_create (key, callback);
  98                 if (le == NULL)
  99                 {
 100                         free (key);
 101                         return (-1);
 102                 }
 103
 104                 llist_append (*list, le);
 105         }
 106         else
 107         {
 108                 le->value = callback;
 109         }
 110
 111         return (0);
 112 } /* int register_callback */
 113
 114 static int plugin_unregister (llist_t *list, const char *name)
 115 {
 116         llentry_t *e;
 117
 118         e = llist_search (list, name);
 119
 120         if (e == NULL)
 121                 return (-1);
 122
 123         llist_remove (list, e);
 124         free (e->key);
 125         llentry_destroy (e);
 126
 127         return (0);
 128 } /* int plugin_unregister */
 129
 130 /*
 131  * (Try to) load the shared object `file'. Won't complain if it isn't a shared
 132  * object, but it will bitch about a shared object not having a
 133  * ``module_register'' symbol..
 134  */
 135 static int plugin_load_file (char *file)
 136 {
 137         lt_dlhandle dlh;
 138         void (*reg_handle) (void);
 139
 140         DEBUG ("file = %s", file);
 141
 142         lt_dlinit ();
 143         lt_dlerror (); /* clear errors */
 144
 145         if ((dlh = lt_dlopen (file)) == NULL)
 146         {
 147                 const char *error = lt_dlerror ();
 148
 149                 ERROR ("lt_dlopen failed: %s", error);
 150                 fprintf (stderr, "lt_dlopen failed: %s\n", error);
 151                 return (1);
 152         }
 153
 154         if ((reg_handle = (void (*) (void)) lt_dlsym (dlh, "module_register")) == NULL)
 155         {
 156                 WARNING ("Couldn't find symbol ``module_register'' in ``%s'': %s\n",
 157                                 file, lt_dlerror ());
 158                 lt_dlclose (dlh);
 159                 return (-1);
 160         }
 161
 162         (*reg_handle) ();
 163
 164         return (0);
 165 }
 166
 167 static void *plugin_read_thread (void *args)
 168 {
 169         llentry_t   *le;
 170         read_func_t *rf;
 171         int          status;
 172         int          done;
 173
 174         pthread_mutex_lock (&read_lock);
 175
 176         while (read_loop != 0)
 177         {
 178                 le = llist_head (list_read);
 179                 done = 0;
 180
 181                 while ((read_loop != 0) && (le != NULL))
 182                 {
 183                         rf = (read_func_t *) le->value;
 184
 185                         if (rf->needs_read != TODO)
 186                         {
 187                                 le = le->next;
 188                                 continue;
 189                         }
 190
 191                         /* We will do this read function */
 192                         rf->needs_read = ACTIVE;
 193
 194                         DEBUG ("[thread #%5lu] plugin: plugin_read_thread: Handling %s",
 195                                         (unsigned long int) pthread_self (), le->key);
 196                         pthread_mutex_unlock (&read_lock);
 197
 198                         status = rf->callback ();
 199                         done++;
 200
 201                         if (status != 0)
 202                         {
 203                                 if (rf->wait_time < interval_g)
 204                                         rf->wait_time = interval_g;
 205                                 rf->wait_left = rf->wait_time;
 206                                 rf->wait_time = rf->wait_time * 2;
 207                                 if (rf->wait_time > 86400)
 208                                         rf->wait_time = 86400;
 209
 210                                 NOTICE ("read-function of plugin `%s' "
 211                                                 "failed. Will suspend it for %i "
 212                                                 "seconds.", le->key, rf->wait_left);
 213                         }
 214                         else
 215                         {
 216                                 rf->wait_left = 0;
 217                                 rf->wait_time = interval_g;
 218                         }
 219
 220                         pthread_mutex_lock (&read_lock);
 221
 222                         rf->needs_read = DONE;
 223                         le = le->next;
 224                 } /* while (le != NULL) */
 225
 226                 if ((read_loop != 0) && (done == 0))
 227                 {
 228                         DEBUG ("[thread #%5lu] plugin: plugin_read_thread: Waiting on read_cond.",
 229                                         (unsigned long int) pthread_self ());
 230                         pthread_cond_wait (&read_cond, &read_lock);
 231                 }
 232         } /* while (read_loop) */
 233
 234         pthread_mutex_unlock (&read_lock);
 235
 236         pthread_exit (NULL);
 237         return ((void *) 0);
 238 } /* void *plugin_read_thread */
 239
 240 static void start_threads (int num)
 241 {
 242         int i;
 243
 244         if (read_threads != NULL)
 245                 return;
 246
 247         read_threads = (pthread_t *) calloc (num, sizeof (pthread_t));
 248         if (read_threads == NULL)
 249         {
 250                 ERROR ("plugin: start_threads: calloc failed.");
 251                 return;
 252         }
 253
 254         read_threads_num = 0;
 255         for (i = 0; i < num; i++)
 256         {
 257                 if (pthread_create (read_threads + read_threads_num, NULL,
 258                                         plugin_read_thread, NULL) == 0)
 259                 {
 260                         read_threads_num++;
 261                 }
 262                 else
 263                 {
 264                         ERROR ("plugin: start_threads: pthread_create failed.");
 265                         return;
 266                 }
 267         } /* for (i) */
 268 } /* void start_threads */
 269
 270 static void stop_threads (void)
 271 {
 272         int i;
 273
 274         pthread_mutex_lock (&read_lock);
 275         read_loop = 0;
 276         DEBUG ("plugin: stop_threads: Signalling `read_cond'");
 277         pthread_cond_broadcast (&read_cond);
 278         pthread_mutex_unlock (&read_lock);
 279
 280         for (i = 0; i < read_threads_num; i++)
 281         {
 282                 if (pthread_join (read_threads[i], NULL) != 0)
 283                 {
 284                         ERROR ("plugin: stop_threads: pthread_join failed.");
 285                 }
 286                 read_threads[i] = (pthread_t) 0;
 287         }
 288         sfree (read_threads);
 289         read_threads_num = 0;
 290 } /* void stop_threads */
 291
 292 /*
 293  * Public functions
 294  */
 295 void plugin_set_dir (const char *dir)
 296 {
 297         if (plugindir != NULL)
 298                 free (plugindir);
 299
 300         if (dir == NULL)
 301                 plugindir = NULL;
 302         else if ((plugindir = strdup (dir)) == NULL)
 303         {
 304                 char errbuf[1024];
 305                 ERROR ("strdup failed: %s",
 306                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 307         }
 308 }
 309
 310 #define BUFSIZE 512
 311 int plugin_load (const char *type)
 312 {
 313         DIR  *dh;
 314         const char *dir;
 315         char  filename[BUFSIZE];
 316         char  typename[BUFSIZE];
 317         int   typename_len;
 318         int   ret;
 319         struct stat    statbuf;
 320         struct dirent *de;
 321
 322         DEBUG ("type = %s", type);
 323
 324         dir = plugin_get_dir ();
 325         ret = 1;
 326
 327         /* `cpu' should not match `cpufreq'. To solve this we add `.so' to the
 328          * type when matching the filename */
 329         if (snprintf (typename, BUFSIZE, "%s.so", type) >= BUFSIZE)
 330         {
 331                 WARNING ("snprintf: truncated: `%s.so'", type);
 332                 return (-1);
 333         }
 334         typename_len = strlen (typename);
 335
 336         if ((dh = opendir (dir)) == NULL)
 337         {
 338                 char errbuf[1024];
 339                 ERROR ("opendir (%s): %s", dir,
 340                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 341                 return (-1);
 342         }
 343
 344         while ((de = readdir (dh)) != NULL)
 345         {
 346                 if (strncasecmp (de->d_name, typename, typename_len))
 347                         continue;
 348
 349                 if (snprintf (filename, BUFSIZE, "%s/%s", dir, de->d_name) >= BUFSIZE)
 350                 {
 351                         WARNING ("snprintf: truncated: `%s/%s'", dir, de->d_name);
 352                         continue;
 353                 }
 354
 355                 if (lstat (filename, &statbuf) == -1)
 356                 {
 357                         char errbuf[1024];
 358                         WARNING ("stat %s: %s", filename,
 359                                         sstrerror (errno, errbuf, sizeof (errbuf)));
 360                         continue;
 361                 }
 362                 else if (!S_ISREG (statbuf.st_mode))
 363                 {
 364                         /* don't follow symlinks */
 365                         continue;
 366                 }
 367
 368                 if (plugin_load_file (filename) == 0)
 369                 {
 370                         /* success */
 371                         ret = 0;
 372                         break;
 373                 }
 374                 else
 375                 {
 376                         fprintf (stderr, "Unable to load plugin %s.\n", type);
 377                 }
 378         }
 379
 380         closedir (dh);
 381
 382         return (ret);
 383 }
 384
 385 /*
 386  * The `register_*' functions follow
 387  */
 388 int plugin_register_config (const char *name,
 389                 int (*callback) (const char *key, const char *val),
 390                 const char **keys, int keys_num)
 391 {
 392         cf_register (name, callback, keys, keys_num);
 393         return (0);
 394 } /* int plugin_register_config */
 395
 396 int plugin_register_complex_config (const char *type,
 397                 int (*callback) (oconfig_item_t *))
 398 {
 399         return (cf_register_complex (type, callback));
 400 } /* int plugin_register_complex_config */
 401
 402 int plugin_register_init (const char *name,
 403                 int (*callback) (void))
 404 {
 405         return (register_callback (&list_init, name, (void *) callback));
 406 } /* plugin_register_init */
 407
 408 int plugin_register_read (const char *name,
 409                 int (*callback) (void))
 410 {
 411         read_func_t *rf;
 412
 413         rf = (read_func_t *) malloc (sizeof (read_func_t));
 414         if (rf == NULL)
 415         {
 416                 char errbuf[1024];
 417                 ERROR ("plugin_register_read: malloc failed: %s",
 418                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 419                 return (-1);
 420         }
 421
 422         memset (rf, '\0', sizeof (read_func_t));
 423         rf->wait_time = interval_g;
 424         rf->wait_left = 0;
 425         rf->callback = callback;
 426         rf->needs_read = DONE;
 427
 428         return (register_callback (&list_read, name, (void *) rf));
 429 } /* int plugin_register_read */
 430
 431 int plugin_register_write (const char *name,
 432                 int (*callback) (const data_set_t *ds, const value_list_t *vl))
 433 {
 434         return (register_callback (&list_write, name, (void *) callback));
 435 } /* int plugin_register_write */
 436
 437 int plugin_register_shutdown (char *name,
 438                 int (*callback) (void))
 439 {
 440         return (register_callback (&list_shutdown, name, (void *) callback));
 441 } /* int plugin_register_shutdown */
 442
 443 int plugin_register_data_set (const data_set_t *ds)
 444 {
 445         data_set_t *ds_copy;
 446         int i;
 447
 448         if ((data_sets != NULL)
 449                         && (c_avl_get (data_sets, ds->type, NULL) == 0))
 450         {
 451                 NOTICE ("Replacing DS `%s' with another version.", ds->type);
 452                 plugin_unregister_data_set (ds->type);
 453         }
 454         else if (data_sets == NULL)
 455         {
 456                 data_sets = c_avl_create ((int (*) (const void *, const void *)) strcmp);
 457                 if (data_sets == NULL)
 458                         return (-1);
 459         }
 460
 461         ds_copy = (data_set_t *) malloc (sizeof (data_set_t));
 462         if (ds_copy == NULL)
 463                 return (-1);
 464         memcpy(ds_copy, ds, sizeof (data_set_t));
 465
 466         ds_copy->ds = (data_source_t *) malloc (sizeof (data_source_t)
 467                         * ds->ds_num);
 468         if (ds_copy->ds == NULL)
 469         {
 470                 free (ds_copy);
 471                 return (-1);
 472         }
 473
 474         for (i = 0; i < ds->ds_num; i++)
 475                 memcpy (ds_copy->ds + i, ds->ds + i, sizeof (data_source_t));
 476
 477         return (c_avl_insert (data_sets, (void *) ds_copy->type, (void *) ds_copy));
 478 } /* int plugin_register_data_set */
 479
 480 int plugin_register_log (char *name,
 481                 void (*callback) (int priority, const char *msg))
 482 {
 483         return (register_callback (&list_log, name, (void *) callback));
 484 } /* int plugin_register_log */
 485
 486 int plugin_register_notification (const char *name,
 487                 int (*callback) (const notification_t *notif))
 488 {
 489         return (register_callback (&list_notification, name, (void *) callback));
 490 } /* int plugin_register_log */
 491
 492 int plugin_unregister_config (const char *name)
 493 {
 494         cf_unregister (name);
 495         return (0);
 496 } /* int plugin_unregister_config */
 497
 498 int plugin_unregister_complex_config (const char *name)
 499 {
 500         cf_unregister_complex (name);
 501         return (0);
 502 } /* int plugin_unregister_complex_config */
 503
 504 int plugin_unregister_init (const char *name)
 505 {
 506         return (plugin_unregister (list_init, name));
 507 }
 508
 509 int plugin_unregister_read (const char *name)
 510 {
 511         llentry_t *e;
 512
 513         e = llist_search (list_read, name);
 514
 515         if (e == NULL)
 516                 return (-1);
 517
 518         llist_remove (list_read, e);
 519         free (e->value);
 520         free (e->key);
 521         llentry_destroy (e);
 522
 523         return (0);
 524 }
 525
 526 int plugin_unregister_write (const char *name)
 527 {
 528         return (plugin_unregister (list_write, name));
 529 }
 530
 531 int plugin_unregister_shutdown (const char *name)
 532 {
 533         return (plugin_unregister (list_shutdown, name));
 534 }
 535
 536 int plugin_unregister_data_set (const char *name)
 537 {
 538         data_set_t *ds;
 539
 540         if (data_sets == NULL)
 541                 return (-1);
 542
 543         if (c_avl_remove (data_sets, name, NULL, (void *) &ds) != 0)
 544                 return (-1);
 545
 546         sfree (ds->ds);
 547         sfree (ds);
 548
 549         return (0);
 550 } /* int plugin_unregister_data_set */
 551
 552 int plugin_unregister_log (const char *name)
 553 {
 554         return (plugin_unregister (list_log, name));
 555 }
 556
 557 int plugin_unregister_notification (const char *name)
 558 {
 559         return (plugin_unregister (list_notification, name));
 560 }
 561
 562 void plugin_init_all (void)
 563 {
 564         int (*callback) (void);
 565         llentry_t *le;
 566         int status;
 567
 568         /* Start read-threads */
 569         if (list_read != NULL)
 570         {
 571                 const char *rt;
 572                 int num;
 573                 rt = global_option_get ("ReadThreads");
 574                 num = atoi (rt);
 575                 start_threads ((num > 0) ? num : 5);
 576         }
 577
 578         /* Init the value cache */
 579         uc_init ();
 580
 581         if (list_init == NULL)
 582                 return;
 583
 584         le = llist_head (list_init);
 585         while (le != NULL)
 586         {
 587                 callback = (int (*) (void)) le->value;
 588                 status = (*callback) ();
 589
 590                 if (status != 0)
 591                 {
 592                         ERROR ("Initialization of plugin `%s' "
 593                                         "failed with status %i. "
 594                                         "Plugin will be unloaded.",
 595                                         le->key, status);
 596                         /* FIXME: Unload _all_ functions */
 597                         plugin_unregister_read (le->key);
 598                 }
 599
 600                 le = le->next;
 601         }
 602 } /* void plugin_init_all */
 603
 604 void plugin_read_all (void)
 605 {
 606         llentry_t   *le;
 607         read_func_t *rf;
 608
 609         uc_check_timeout ();
 610
 611         if (list_read == NULL)
 612                 return;
 613
 614         pthread_mutex_lock (&read_lock);
 615
 616         le = llist_head (list_read);
 617         while (le != NULL)
 618         {
 619                 rf = (read_func_t *) le->value;
 620
 621                 if (rf->needs_read != DONE)
 622                 {
 623                         le = le->next;
 624                         continue;
 625                 }
 626
 627                 if (rf->wait_left > 0)
 628                         rf->wait_left -= interval_g;
 629
 630                 if (rf->wait_left <= 0)
 631                 {
 632                         rf->needs_read = TODO;
 633                 }
 634
 635                 le = le->next;
 636         }
 637
 638         DEBUG ("plugin: plugin_read_all: Signalling `read_cond'");
 639         pthread_cond_broadcast (&read_cond);
 640         pthread_mutex_unlock (&read_lock);
 641 } /* void plugin_read_all */
 642
 643 void plugin_shutdown_all (void)
 644 {
 645         int (*callback) (void);
 646         llentry_t *le;
 647
 648         stop_threads ();
 649
 650         if (list_shutdown == NULL)
 651                 return;
 652
 653         le = llist_head (list_shutdown);
 654         while (le != NULL)
 655         {
 656                 callback = (int (*) (void)) le->value;
 657
 658                 /* Advance the pointer before calling the callback allows
 659                  * shutdown functions to unregister themselves. If done the
 660                  * other way around the memory `le' points to will be freed
 661                  * after callback returns. */
 662                 le = le->next;
 663
 664                 (*callback) ();
 665         }
 666 } /* void plugin_shutdown_all */
 667
 668 int plugin_dispatch_values (const char *name, value_list_t *vl)
 669 {
 670         int (*callback) (const data_set_t *, const value_list_t *);
 671         data_set_t *ds;
 672         llentry_t *le;
 673
 674         if ((list_write == NULL) || (data_sets == NULL))
 675                 return (-1);
 676
 677         if (c_avl_get (data_sets, name, (void *) &ds) != 0)
 678         {
 679                 DEBUG ("No such dataset registered: %s", name);
 680                 return (-1);
 681         }
 682
 683         DEBUG ("plugin: plugin_dispatch_values: time = %u; interval = %i; "
 684                         "host = %s; "
 685                         "plugin = %s; plugin_instance = %s; "
 686                         "type = %s; type_instance = %s;",
 687                         (unsigned int) vl->time, vl->interval,
 688                         vl->host,
 689                         vl->plugin, vl->plugin_instance,
 690                         ds->type, vl->type_instance);
 691
 692 #if COLLECT_DEBUG
 693         assert (ds->ds_num == vl->values_len);
 694 #else
 695         if (ds->ds_num != vl->values_len)
 696         {
 697                 ERROR ("plugin: ds->type = %s: (ds->ds_num = %i) != "
 698                                 "(vl->values_len = %i)",
 699                                 ds->type, ds->ds_num, vl->values_len);
 700                 return (-1);
 701         }
 702 #endif
 703
 704         escape_slashes (vl->host, sizeof (vl->host));
 705         escape_slashes (vl->plugin, sizeof (vl->plugin));
 706         escape_slashes (vl->plugin_instance, sizeof (vl->plugin_instance));
 707         escape_slashes (vl->type_instance, sizeof (vl->type_instance));
 708
 709         /* Update the value cache */
 710         uc_update (ds, vl);
 711         ut_check_threshold (ds, vl);
 712
 713         le = llist_head (list_write);
 714         while (le != NULL)
 715         {
 716                 callback = (int (*) (const data_set_t *, const value_list_t *)) le->value;
 717                 (*callback) (ds, vl);
 718
 719                 le = le->next;
 720         }
 721
 722         return (0);
 723 } /* int plugin_dispatch_values */
 724
 725 int plugin_dispatch_notification (const notification_t *notif)
 726 {
 727         int (*callback) (const notification_t *);
 728         llentry_t *le;
 729         /* Possible TODO: Add flap detection here */
 730
 731         DEBUG ("plugin_dispatch_notification: severity = %i; message = %s; "
 732                         "time = %u; host = %s;",
 733                         notif->severity, notif->message,
 734                         (unsigned int) notif->time, notif->host);
 735
 736         /* Nobody cares for notifications */
 737         if (list_notification == NULL)
 738                 return (-1);
 739
 740         le = llist_head (list_notification);
 741         while (le != NULL)
 742         {
 743                 callback = (int (*) (const notification_t *)) le->value;
 744                 (*callback) (notif);
 745
 746                 le = le->next;
 747         }
 748
 749         return (0);
 750 } /* int plugin_dispatch_notification */
 751
 752 void plugin_log (int level, const char *format, ...)
 753 {
 754         char msg[512];
 755         va_list ap;
 756
 757         void (*callback) (int, const char *);
 758         llentry_t *le;
 759
 760         if (list_log == NULL)
 761                 return;
 762
 763 #if !COLLECT_DEBUG
 764         if (level >= LOG_DEBUG)
 765                 return;
 766 #endif
 767
 768         va_start (ap, format);
 769         vsnprintf (msg, 512, format, ap);
 770         msg[511] = '\0';
 771         va_end (ap);
 772
 773         le = llist_head (list_log);
 774         while (le != NULL)
 775         {
 776                 callback = (void (*) (int, const char *)) le->value;
 777                 (*callback) (level, msg);
 778
 779                 le = le->next;
 780         }
 781 } /* void plugin_log */
 782
 783 const data_set_t *plugin_get_ds (const char *name)
 784 {
 785         data_set_t *ds;
 786
 787         if (c_avl_get (data_sets, name, (void *) &ds) != 0)
 788         {
 789                 DEBUG ("No such dataset registered: %s", name);
 790                 return (NULL);
 791         }
 792
 793         return (ds);
 794 } /* data_set_t *plugin_get_ds */