Merge branch 'collectd-4.2' into collectd-4.3
[collectd.git] / src / plugin.c
1 /**
2  * collectd - src/plugin.c
3  * Copyright (C) 2005,2006  Florian octo Forster
4  *
5  * This program is free software; you can redistribute it and/or modify it
6  * under the terms of the GNU General Public License as published by the
7  * Free Software Foundation; only version 2 of the License is applicable.
8  *
9  * This program is distributed in the hope that it will be useful, but
10  * WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * General Public License for more details.
13  *
14  * You should have received a copy of the GNU General Public License along
15  * with this program; if not, write to the Free Software Foundation, Inc.,
16  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
17  *
18  * Authors:
19  *   Florian octo Forster <octo at verplant.org>
20  **/
21
22 #include "collectd.h"
23
24 #include <ltdl.h>
25
26 #if HAVE_PTHREAD_H
27 # include <pthread.h>
28 #endif
29
30 #include "common.h"
31 #include "plugin.h"
32 #include "configfile.h"
33 #include "utils_avltree.h"
34 #include "utils_llist.h"
35 #include "utils_cache.h"
36 #include "utils_threshold.h"
37
38 /*
39  * Private structures
40  */
41 struct read_func_s
42 {
43         int wait_time;
44         int wait_left;
45         int (*callback) (void);
46         enum { DONE = 0, TODO = 1, ACTIVE = 2 } needs_read;
47 };
48 typedef struct read_func_s read_func_t;
49
50 /*
51  * Private variables
52  */
53 static llist_t *list_init;
54 static llist_t *list_read;
55 static llist_t *list_write;
56 static llist_t *list_shutdown;
57 static llist_t *list_log;
58 static llist_t *list_notification;
59
60 static c_avl_tree_t *data_sets;
61
62 static char *plugindir = NULL;
63
64 static int             read_loop = 1;
65 static pthread_mutex_t read_lock = PTHREAD_MUTEX_INITIALIZER;
66 static pthread_cond_t  read_cond = PTHREAD_COND_INITIALIZER;
67 static pthread_t      *read_threads = NULL;
68 static int             read_threads_num = 0;
69
70 /*
71  * Static functions
72  */
73 static const char *plugin_get_dir (void)
74 {
75         if (plugindir == NULL)
76                 return (PLUGINDIR);
77         else
78                 return (plugindir);
79 }
80
81 static int register_callback (llist_t **list, const char *name, void *callback)
82 {
83         llentry_t *le;
84         char *key;
85
86         if ((*list == NULL)
87                         && ((*list = llist_create ()) == NULL))
88                 return (-1);
89
90         le = llist_search (*list, name);
91         if (le == NULL)
92         {
93                 key = strdup (name);
94                 if (key == NULL)
95                         return (-1);
96
97                 le = llentry_create (key, callback);
98                 if (le == NULL)
99                 {
100                         free (key);
101                         return (-1);
102                 }
103
104                 llist_append (*list, le);
105         }
106         else
107         {
108                 le->value = callback;
109         }
110
111         return (0);
112 } /* int register_callback */
113
114 static int plugin_unregister (llist_t *list, const char *name)
115 {
116         llentry_t *e;
117
118         e = llist_search (list, name);
119
120         if (e == NULL)
121                 return (-1);
122
123         llist_remove (list, e);
124         free (e->key);
125         llentry_destroy (e);
126
127         return (0);
128 } /* int plugin_unregister */
129
130 /*
131  * (Try to) load the shared object `file'. Won't complain if it isn't a shared
132  * object, but it will bitch about a shared object not having a
133  * ``module_register'' symbol..
134  */
135 static int plugin_load_file (char *file)
136 {
137         lt_dlhandle dlh;
138         void (*reg_handle) (void);
139
140         DEBUG ("file = %s", file);
141
142         lt_dlinit ();
143         lt_dlerror (); /* clear errors */
144
145         if ((dlh = lt_dlopen (file)) == NULL)
146         {
147                 const char *error = lt_dlerror ();
148
149                 ERROR ("lt_dlopen failed: %s", error);
150                 fprintf (stderr, "lt_dlopen failed: %s\n", error);
151                 return (1);
152         }
153
154         if ((reg_handle = (void (*) (void)) lt_dlsym (dlh, "module_register")) == NULL)
155         {
156                 WARNING ("Couldn't find symbol ``module_register'' in ``%s'': %s\n",
157                                 file, lt_dlerror ());
158                 lt_dlclose (dlh);
159                 return (-1);
160         }
161
162         (*reg_handle) ();
163
164         return (0);
165 }
166
167 static void *plugin_read_thread (void *args)
168 {
169         llentry_t   *le;
170         read_func_t *rf;
171         int          status;
172         int          done;
173
174         pthread_mutex_lock (&read_lock);
175
176         while (read_loop != 0)
177         {
178                 le = llist_head (list_read);
179                 done = 0;
180
181                 while ((read_loop != 0) && (le != NULL))
182                 {
183                         rf = (read_func_t *) le->value;
184
185                         if (rf->needs_read != TODO)
186                         {
187                                 le = le->next;
188                                 continue;
189                         }
190
191                         /* We will do this read function */
192                         rf->needs_read = ACTIVE;
193
194                         DEBUG ("[thread #%5lu] plugin: plugin_read_thread: Handling %s",
195                                         (unsigned long int) pthread_self (), le->key);
196                         pthread_mutex_unlock (&read_lock);
197
198                         status = rf->callback ();
199                         done++;
200
201                         if (status != 0)
202                         {
203                                 if (rf->wait_time < interval_g)
204                                         rf->wait_time = interval_g;
205                                 rf->wait_left = rf->wait_time;
206                                 rf->wait_time = rf->wait_time * 2;
207                                 if (rf->wait_time > 86400)
208                                         rf->wait_time = 86400;
209
210                                 NOTICE ("read-function of plugin `%s' "
211                                                 "failed. Will suspend it for %i "
212                                                 "seconds.", le->key, rf->wait_left);
213                         }
214                         else
215                         {
216                                 rf->wait_left = 0;
217                                 rf->wait_time = interval_g;
218                         }
219
220                         pthread_mutex_lock (&read_lock);
221
222                         rf->needs_read = DONE;
223                         le = le->next;
224                 } /* while (le != NULL) */
225
226                 if ((read_loop != 0) && (done == 0))
227                 {
228                         DEBUG ("[thread #%5lu] plugin: plugin_read_thread: Waiting on read_cond.",
229                                         (unsigned long int) pthread_self ());
230                         pthread_cond_wait (&read_cond, &read_lock);
231                 }
232         } /* while (read_loop) */
233
234         pthread_mutex_unlock (&read_lock);
235
236         pthread_exit (NULL);
237         return ((void *) 0);
238 } /* void *plugin_read_thread */
239
240 static void start_threads (int num)
241 {
242         int i;
243
244         if (read_threads != NULL)
245                 return;
246
247         read_threads = (pthread_t *) calloc (num, sizeof (pthread_t));
248         if (read_threads == NULL)
249         {
250                 ERROR ("plugin: start_threads: calloc failed.");
251                 return;
252         }
253
254         read_threads_num = 0;
255         for (i = 0; i < num; i++)
256         {
257                 if (pthread_create (read_threads + read_threads_num, NULL,
258                                         plugin_read_thread, NULL) == 0)
259                 {
260                         read_threads_num++;
261                 }
262                 else
263                 {
264                         ERROR ("plugin: start_threads: pthread_create failed.");
265                         return;
266                 }
267         } /* for (i) */
268 } /* void start_threads */
269
270 static void stop_threads (void)
271 {
272         int i;
273
274         pthread_mutex_lock (&read_lock);
275         read_loop = 0;
276         DEBUG ("plugin: stop_threads: Signalling `read_cond'");
277         pthread_cond_broadcast (&read_cond);
278         pthread_mutex_unlock (&read_lock);
279
280         for (i = 0; i < read_threads_num; i++)
281         {
282                 if (pthread_join (read_threads[i], NULL) != 0)
283                 {
284                         ERROR ("plugin: stop_threads: pthread_join failed.");
285                 }
286                 read_threads[i] = (pthread_t) 0;
287         }
288         sfree (read_threads);
289         read_threads_num = 0;
290 } /* void stop_threads */
291
292 /*
293  * Public functions
294  */
295 void plugin_set_dir (const char *dir)
296 {
297         if (plugindir != NULL)
298                 free (plugindir);
299
300         if (dir == NULL)
301                 plugindir = NULL;
302         else if ((plugindir = strdup (dir)) == NULL)
303         {
304                 char errbuf[1024];
305                 ERROR ("strdup failed: %s",
306                                 sstrerror (errno, errbuf, sizeof (errbuf)));
307         }
308 }
309
310 #define BUFSIZE 512
311 int plugin_load (const char *type)
312 {
313         DIR  *dh;
314         const char *dir;
315         char  filename[BUFSIZE] = "";
316         char  typename[BUFSIZE];
317         int   typename_len;
318         int   ret;
319         struct stat    statbuf;
320         struct dirent *de;
321
322         DEBUG ("type = %s", type);
323
324         dir = plugin_get_dir ();
325         ret = 1;
326
327         /* `cpu' should not match `cpufreq'. To solve this we add `.so' to the
328          * type when matching the filename */
329         if (snprintf (typename, BUFSIZE, "%s.so", type) >= BUFSIZE)
330         {
331                 WARNING ("snprintf: truncated: `%s.so'", type);
332                 return (-1);
333         }
334         typename_len = strlen (typename);
335
336         if ((dh = opendir (dir)) == NULL)
337         {
338                 char errbuf[1024];
339                 ERROR ("opendir (%s): %s", dir,
340                                 sstrerror (errno, errbuf, sizeof (errbuf)));
341                 return (-1);
342         }
343
344         while ((de = readdir (dh)) != NULL)
345         {
346                 if (strncasecmp (de->d_name, typename, typename_len))
347                         continue;
348
349                 if (snprintf (filename, BUFSIZE, "%s/%s", dir, de->d_name) >= BUFSIZE)
350                 {
351                         WARNING ("snprintf: truncated: `%s/%s'", dir, de->d_name);
352                         continue;
353                 }
354
355                 if (lstat (filename, &statbuf) == -1)
356                 {
357                         char errbuf[1024];
358                         WARNING ("stat %s: %s", filename,
359                                         sstrerror (errno, errbuf, sizeof (errbuf)));
360                         continue;
361                 }
362                 else if (!S_ISREG (statbuf.st_mode))
363                 {
364                         /* don't follow symlinks */
365                         continue;
366                 }
367
368                 if (plugin_load_file (filename) == 0)
369                 {
370                         /* success */
371                         ret = 0;
372                         break;
373                 }
374                 else
375                 {
376                         fprintf (stderr, "Unable to load plugin %s.\n", type);
377                 }
378         }
379
380         closedir (dh);
381
382         if (filename[0] == '\0')
383                 fprintf (stderr, "Could not find plugin %s.\n", type);
384
385         return (ret);
386 }
387
388 /*
389  * The `register_*' functions follow
390  */
391 int plugin_register_config (const char *name,
392                 int (*callback) (const char *key, const char *val),
393                 const char **keys, int keys_num)
394 {
395         cf_register (name, callback, keys, keys_num);
396         return (0);
397 } /* int plugin_register_config */
398
399 int plugin_register_complex_config (const char *type,
400                 int (*callback) (oconfig_item_t *))
401 {
402         return (cf_register_complex (type, callback));
403 } /* int plugin_register_complex_config */
404
405 int plugin_register_init (const char *name,
406                 int (*callback) (void))
407 {
408         return (register_callback (&list_init, name, (void *) callback));
409 } /* plugin_register_init */
410
411 int plugin_register_read (const char *name,
412                 int (*callback) (void))
413 {
414         read_func_t *rf;
415
416         rf = (read_func_t *) malloc (sizeof (read_func_t));
417         if (rf == NULL)
418         {
419                 char errbuf[1024];
420                 ERROR ("plugin_register_read: malloc failed: %s",
421                                 sstrerror (errno, errbuf, sizeof (errbuf)));
422                 return (-1);
423         }
424
425         memset (rf, '\0', sizeof (read_func_t));
426         rf->wait_time = interval_g;
427         rf->wait_left = 0;
428         rf->callback = callback;
429         rf->needs_read = DONE;
430
431         return (register_callback (&list_read, name, (void *) rf));
432 } /* int plugin_register_read */
433
434 int plugin_register_write (const char *name,
435                 int (*callback) (const data_set_t *ds, const value_list_t *vl))
436 {
437         return (register_callback (&list_write, name, (void *) callback));
438 } /* int plugin_register_write */
439
440 int plugin_register_shutdown (char *name,
441                 int (*callback) (void))
442 {
443         return (register_callback (&list_shutdown, name, (void *) callback));
444 } /* int plugin_register_shutdown */
445
446 int plugin_register_data_set (const data_set_t *ds)
447 {
448         data_set_t *ds_copy;
449         int i;
450
451         if ((data_sets != NULL)
452                         && (c_avl_get (data_sets, ds->type, NULL) == 0))
453         {
454                 NOTICE ("Replacing DS `%s' with another version.", ds->type);
455                 plugin_unregister_data_set (ds->type);
456         }
457         else if (data_sets == NULL)
458         {
459                 data_sets = c_avl_create ((int (*) (const void *, const void *)) strcmp);
460                 if (data_sets == NULL)
461                         return (-1);
462         }
463
464         ds_copy = (data_set_t *) malloc (sizeof (data_set_t));
465         if (ds_copy == NULL)
466                 return (-1);
467         memcpy(ds_copy, ds, sizeof (data_set_t));
468
469         ds_copy->ds = (data_source_t *) malloc (sizeof (data_source_t)
470                         * ds->ds_num);
471         if (ds_copy->ds == NULL)
472         {
473                 free (ds_copy);
474                 return (-1);
475         }
476
477         for (i = 0; i < ds->ds_num; i++)
478                 memcpy (ds_copy->ds + i, ds->ds + i, sizeof (data_source_t));
479
480         return (c_avl_insert (data_sets, (void *) ds_copy->type, (void *) ds_copy));
481 } /* int plugin_register_data_set */
482
483 int plugin_register_log (char *name,
484                 void (*callback) (int priority, const char *msg))
485 {
486         return (register_callback (&list_log, name, (void *) callback));
487 } /* int plugin_register_log */
488
489 int plugin_register_notification (const char *name,
490                 int (*callback) (const notification_t *notif))
491 {
492         return (register_callback (&list_notification, name, (void *) callback));
493 } /* int plugin_register_log */
494
495 int plugin_unregister_config (const char *name)
496 {
497         cf_unregister (name);
498         return (0);
499 } /* int plugin_unregister_config */
500
501 int plugin_unregister_complex_config (const char *name)
502 {
503         cf_unregister_complex (name);
504         return (0);
505 } /* int plugin_unregister_complex_config */
506
507 int plugin_unregister_init (const char *name)
508 {
509         return (plugin_unregister (list_init, name));
510 }
511
512 int plugin_unregister_read (const char *name)
513 {
514         llentry_t *e;
515
516         e = llist_search (list_read, name);
517
518         if (e == NULL)
519                 return (-1);
520
521         llist_remove (list_read, e);
522         free (e->value);
523         free (e->key);
524         llentry_destroy (e);
525
526         return (0);
527 }
528
529 int plugin_unregister_write (const char *name)
530 {
531         return (plugin_unregister (list_write, name));
532 }
533
534 int plugin_unregister_shutdown (const char *name)
535 {
536         return (plugin_unregister (list_shutdown, name));
537 }
538
539 int plugin_unregister_data_set (const char *name)
540 {
541         data_set_t *ds;
542
543         if (data_sets == NULL)
544                 return (-1);
545
546         if (c_avl_remove (data_sets, name, NULL, (void *) &ds) != 0)
547                 return (-1);
548
549         sfree (ds->ds);
550         sfree (ds);
551
552         return (0);
553 } /* int plugin_unregister_data_set */
554
555 int plugin_unregister_log (const char *name)
556 {
557         return (plugin_unregister (list_log, name));
558 }
559
560 int plugin_unregister_notification (const char *name)
561 {
562         return (plugin_unregister (list_notification, name));
563 }
564
565 void plugin_init_all (void)
566 {
567         int (*callback) (void);
568         llentry_t *le;
569         int status;
570
571         /* Start read-threads */
572         if (list_read != NULL)
573         {
574                 const char *rt;
575                 int num;
576                 rt = global_option_get ("ReadThreads");
577                 num = atoi (rt);
578                 start_threads ((num > 0) ? num : 5);
579         }
580
581         /* Init the value cache */
582         uc_init ();
583
584         if (list_init == NULL)
585                 return;
586
587         le = llist_head (list_init);
588         while (le != NULL)
589         {
590                 callback = (int (*) (void)) le->value;
591                 status = (*callback) ();
592
593                 if (status != 0)
594                 {
595                         ERROR ("Initialization of plugin `%s' "
596                                         "failed with status %i. "
597                                         "Plugin will be unloaded.",
598                                         le->key, status);
599                         /* FIXME: Unload _all_ functions */
600                         plugin_unregister_read (le->key);
601                 }
602
603                 le = le->next;
604         }
605 } /* void plugin_init_all */
606
607 void plugin_read_all (void)
608 {
609         llentry_t   *le;
610         read_func_t *rf;
611
612         uc_check_timeout ();
613
614         if (list_read == NULL)
615                 return;
616
617         pthread_mutex_lock (&read_lock);
618
619         le = llist_head (list_read);
620         while (le != NULL)
621         {
622                 rf = (read_func_t *) le->value;
623
624                 if (rf->needs_read != DONE)
625                 {
626                         le = le->next;
627                         continue;
628                 }
629
630                 if (rf->wait_left > 0)
631                         rf->wait_left -= interval_g;
632
633                 if (rf->wait_left <= 0)
634                 {
635                         rf->needs_read = TODO;
636                 }
637
638                 le = le->next;
639         }
640
641         DEBUG ("plugin: plugin_read_all: Signalling `read_cond'");
642         pthread_cond_broadcast (&read_cond);
643         pthread_mutex_unlock (&read_lock);
644 } /* void plugin_read_all */
645
646 void plugin_shutdown_all (void)
647 {
648         int (*callback) (void);
649         llentry_t *le;
650
651         stop_threads ();
652
653         if (list_shutdown == NULL)
654                 return;
655
656         le = llist_head (list_shutdown);
657         while (le != NULL)
658         {
659                 callback = (int (*) (void)) le->value;
660
661                 /* Advance the pointer before calling the callback allows
662                  * shutdown functions to unregister themselves. If done the
663                  * other way around the memory `le' points to will be freed
664                  * after callback returns. */
665                 le = le->next;
666
667                 (*callback) ();
668         }
669 } /* void plugin_shutdown_all */
670
671 int plugin_dispatch_values (const char *name, value_list_t *vl)
672 {
673         int (*callback) (const data_set_t *, const value_list_t *);
674         data_set_t *ds;
675         llentry_t *le;
676
677         if (list_write == NULL)
678         {
679                 ERROR ("plugin_dispatch_values: No write callback has been "
680                                 "registered. Please load at least one plugin "
681                                 "that provides a write function.");
682                 return (-1);
683         }
684
685         if (data_sets == NULL)
686         {
687                 ERROR ("plugin_dispatch_values: No data sets registered. "
688                                 "Could the types database be read? Check "
689                                 "your `TypesDB' setting!");
690                 return (-1);
691         }
692
693         if (c_avl_get (data_sets, name, (void *) &ds) != 0)
694         {
695                 INFO ("plugin_dispatch_values: Dataset not found: %s", name);
696                 return (-1);
697         }
698
699         DEBUG ("plugin_dispatch_values: time = %u; interval = %i; "
700                         "host = %s; "
701                         "plugin = %s; plugin_instance = %s; "
702                         "type = %s; type_instance = %s;",
703                         (unsigned int) vl->time, vl->interval,
704                         vl->host,
705                         vl->plugin, vl->plugin_instance,
706                         ds->type, vl->type_instance);
707
708 #if COLLECT_DEBUG
709         assert (ds->ds_num == vl->values_len);
710 #else
711         if (ds->ds_num != vl->values_len)
712         {
713                 ERROR ("plugin_dispatch_values: ds->type = %s: "
714                                 "(ds->ds_num = %i) != "
715                                 "(vl->values_len = %i)",
716                                 ds->type, ds->ds_num, vl->values_len);
717                 return (-1);
718         }
719 #endif
720
721         escape_slashes (vl->host, sizeof (vl->host));
722         escape_slashes (vl->plugin, sizeof (vl->plugin));
723         escape_slashes (vl->plugin_instance, sizeof (vl->plugin_instance));
724         escape_slashes (vl->type_instance, sizeof (vl->type_instance));
725
726         /* Update the value cache */
727         uc_update (ds, vl);
728         ut_check_threshold (ds, vl);
729
730         le = llist_head (list_write);
731         while (le != NULL)
732         {
733                 callback = (int (*) (const data_set_t *, const value_list_t *)) le->value;
734                 (*callback) (ds, vl);
735
736                 le = le->next;
737         }
738
739         return (0);
740 } /* int plugin_dispatch_values */
741
742 int plugin_dispatch_notification (const notification_t *notif)
743 {
744         int (*callback) (const notification_t *);
745         llentry_t *le;
746         /* Possible TODO: Add flap detection here */
747
748         DEBUG ("plugin_dispatch_notification: severity = %i; message = %s; "
749                         "time = %u; host = %s;",
750                         notif->severity, notif->message,
751                         (unsigned int) notif->time, notif->host);
752
753         /* Nobody cares for notifications */
754         if (list_notification == NULL)
755                 return (-1);
756
757         le = llist_head (list_notification);
758         while (le != NULL)
759         {
760                 callback = (int (*) (const notification_t *)) le->value;
761                 (*callback) (notif);
762
763                 le = le->next;
764         }
765
766         return (0);
767 } /* int plugin_dispatch_notification */
768
769 void plugin_log (int level, const char *format, ...)
770 {
771         char msg[512];
772         va_list ap;
773
774         void (*callback) (int, const char *);
775         llentry_t *le;
776
777         if (list_log == NULL)
778                 return;
779
780 #if !COLLECT_DEBUG
781         if (level >= LOG_DEBUG)
782                 return;
783 #endif
784
785         va_start (ap, format);
786         vsnprintf (msg, 512, format, ap);
787         msg[511] = '\0';
788         va_end (ap);
789
790         le = llist_head (list_log);
791         while (le != NULL)
792         {
793                 callback = (void (*) (int, const char *)) le->value;
794                 (*callback) (level, msg);
795
796                 le = le->next;
797         }
798 } /* void plugin_log */
799
800 const data_set_t *plugin_get_ds (const char *name)
801 {
802         data_set_t *ds;
803
804         if (c_avl_get (data_sets, name, (void *) &ds) != 0)
805         {
806                 DEBUG ("No such dataset registered: %s", name);
807                 return (NULL);
808         }
809
810         return (ds);
811 } /* data_set_t *plugin_get_ds */