Merge branch 'collectd-5.7'
[collectd.git] / src / curl.c
1 /**
2  * collectd - src/curl.c
3  * Copyright (C) 2006-2009  Florian octo Forster
4  * Copyright (C) 2009       Aman Gupta
5  *
6  * This program is free software; you can redistribute it and/or modify it
7  * under the terms of the GNU General Public License as published by the
8  * Free Software Foundation; only version 2 of the License is applicable.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License along
16  * with this program; if not, write to the Free Software Foundation, Inc.,
17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
18  *
19  * Authors:
20  *   Florian octo Forster <octo at collectd.org>
21  *   Aman Gupta <aman at tmm1.net>
22  **/
23
24 #include "collectd.h"
25
26 #include "common.h"
27 #include "plugin.h"
28 #include "utils_curl_stats.h"
29 #include "utils_match.h"
30 #include "utils_time.h"
31
32 #include <curl/curl.h>
33
34 /*
35  * Data types
36  */
37 struct web_match_s;
38 typedef struct web_match_s web_match_t;
39 struct web_match_s /* {{{ */
40 {
41   char *regex;
42   char *exclude_regex;
43   int dstype;
44   char *type;
45   char *instance;
46
47   cu_match_t *match;
48
49   web_match_t *next;
50 }; /* }}} */
51
52 struct web_page_s;
53 typedef struct web_page_s web_page_t;
54 struct web_page_s /* {{{ */
55 {
56   char *instance;
57
58   char *url;
59   char *user;
60   char *pass;
61   char *credentials;
62   _Bool digest;
63   _Bool verify_peer;
64   _Bool verify_host;
65   char *cacert;
66   struct curl_slist *headers;
67   char *post_body;
68   _Bool response_time;
69   _Bool response_code;
70   int timeout;
71   curl_stats_t *stats;
72
73   CURL *curl;
74   char curl_errbuf[CURL_ERROR_SIZE];
75   char *buffer;
76   size_t buffer_size;
77   size_t buffer_fill;
78
79   web_match_t *matches;
80
81   web_page_t *next;
82 }; /* }}} */
83
84 /*
85  * Global variables;
86  */
87 /* static CURLM *curl = NULL; */
88 static web_page_t *pages_g = NULL;
89
90 /*
91  * Private functions
92  */
93 static size_t cc_curl_callback(void *buf, /* {{{ */
94                                size_t size, size_t nmemb, void *user_data) {
95   web_page_t *wp;
96   size_t len;
97
98   len = size * nmemb;
99   if (len == 0)
100     return len;
101
102   wp = user_data;
103   if (wp == NULL)
104     return 0;
105
106   if ((wp->buffer_fill + len) >= wp->buffer_size) {
107     char *temp;
108     size_t temp_size;
109
110     temp_size = wp->buffer_fill + len + 1;
111     temp = realloc(wp->buffer, temp_size);
112     if (temp == NULL) {
113       ERROR("curl plugin: realloc failed.");
114       return 0;
115     }
116     wp->buffer = temp;
117     wp->buffer_size = temp_size;
118   }
119
120   memcpy(wp->buffer + wp->buffer_fill, (char *)buf, len);
121   wp->buffer_fill += len;
122   wp->buffer[wp->buffer_fill] = 0;
123
124   return len;
125 } /* }}} size_t cc_curl_callback */
126
127 static void cc_web_match_free(web_match_t *wm) /* {{{ */
128 {
129   if (wm == NULL)
130     return;
131
132   sfree(wm->regex);
133   sfree(wm->type);
134   sfree(wm->instance);
135   match_destroy(wm->match);
136   cc_web_match_free(wm->next);
137   sfree(wm);
138 } /* }}} void cc_web_match_free */
139
140 static void cc_web_page_free(web_page_t *wp) /* {{{ */
141 {
142   if (wp == NULL)
143     return;
144
145   if (wp->curl != NULL)
146     curl_easy_cleanup(wp->curl);
147   wp->curl = NULL;
148
149   sfree(wp->instance);
150
151   sfree(wp->url);
152   sfree(wp->user);
153   sfree(wp->pass);
154   sfree(wp->credentials);
155   sfree(wp->cacert);
156   sfree(wp->post_body);
157   curl_slist_free_all(wp->headers);
158   curl_stats_destroy(wp->stats);
159
160   sfree(wp->buffer);
161
162   cc_web_match_free(wp->matches);
163   cc_web_page_free(wp->next);
164   sfree(wp);
165 } /* }}} void cc_web_page_free */
166
167 static int cc_config_append_string(const char *name,
168                                    struct curl_slist **dest, /* {{{ */
169                                    oconfig_item_t *ci) {
170   struct curl_slist *temp = NULL;
171   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING)) {
172     WARNING("curl plugin: `%s' needs exactly one string argument.", name);
173     return -1;
174   }
175
176   temp = curl_slist_append(*dest, ci->values[0].value.string);
177   if (temp == NULL)
178     return -1;
179
180   *dest = temp;
181
182   return 0;
183 } /* }}} int cc_config_append_string */
184
185 static int cc_config_add_match_dstype(int *dstype_ret, /* {{{ */
186                                       oconfig_item_t *ci) {
187   int dstype;
188
189   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING)) {
190     WARNING("curl plugin: `DSType' needs exactly one string argument.");
191     return -1;
192   }
193
194   if (strncasecmp("Gauge", ci->values[0].value.string, strlen("Gauge")) == 0) {
195     dstype = UTILS_MATCH_DS_TYPE_GAUGE;
196     if (strcasecmp("GaugeAverage", ci->values[0].value.string) == 0)
197       dstype |= UTILS_MATCH_CF_GAUGE_AVERAGE;
198     else if (strcasecmp("GaugeMin", ci->values[0].value.string) == 0)
199       dstype |= UTILS_MATCH_CF_GAUGE_MIN;
200     else if (strcasecmp("GaugeMax", ci->values[0].value.string) == 0)
201       dstype |= UTILS_MATCH_CF_GAUGE_MAX;
202     else if (strcasecmp("GaugeLast", ci->values[0].value.string) == 0)
203       dstype |= UTILS_MATCH_CF_GAUGE_LAST;
204     else
205       dstype = 0;
206   } else if (strncasecmp("Counter", ci->values[0].value.string,
207                          strlen("Counter")) == 0) {
208     dstype = UTILS_MATCH_DS_TYPE_COUNTER;
209     if (strcasecmp("CounterSet", ci->values[0].value.string) == 0)
210       dstype |= UTILS_MATCH_CF_COUNTER_SET;
211     else if (strcasecmp("CounterAdd", ci->values[0].value.string) == 0)
212       dstype |= UTILS_MATCH_CF_COUNTER_ADD;
213     else if (strcasecmp("CounterInc", ci->values[0].value.string) == 0)
214       dstype |= UTILS_MATCH_CF_COUNTER_INC;
215     else
216       dstype = 0;
217   } else if (strncasecmp("Derive", ci->values[0].value.string,
218                          strlen("Derive")) == 0) {
219     dstype = UTILS_MATCH_DS_TYPE_DERIVE;
220     if (strcasecmp("DeriveSet", ci->values[0].value.string) == 0)
221       dstype |= UTILS_MATCH_CF_DERIVE_SET;
222     else if (strcasecmp("DeriveAdd", ci->values[0].value.string) == 0)
223       dstype |= UTILS_MATCH_CF_DERIVE_ADD;
224     else if (strcasecmp("DeriveInc", ci->values[0].value.string) == 0)
225       dstype |= UTILS_MATCH_CF_DERIVE_INC;
226     else
227       dstype = 0;
228   } else if (strncasecmp("Absolute", ci->values[0].value.string,
229                          strlen("Absolute")) == 0) {
230     dstype = UTILS_MATCH_DS_TYPE_ABSOLUTE;
231     if (strcasecmp("AbsoluteSet", ci->values[0].value.string) ==
232         0) /* Absolute DS is reset-on-read so no sense doin anything else but
233               set */
234       dstype |= UTILS_MATCH_CF_ABSOLUTE_SET;
235     else
236       dstype = 0;
237   }
238
239   else {
240     dstype = 0;
241   }
242
243   if (dstype == 0) {
244     WARNING("curl plugin: `%s' is not a valid argument to `DSType'.",
245             ci->values[0].value.string);
246     return -1;
247   }
248
249   *dstype_ret = dstype;
250   return 0;
251 } /* }}} int cc_config_add_match_dstype */
252
253 static int cc_config_add_match(web_page_t *page, /* {{{ */
254                                oconfig_item_t *ci) {
255   web_match_t *match;
256   int status;
257
258   if (ci->values_num != 0) {
259     WARNING("curl plugin: Ignoring arguments for the `Match' block.");
260   }
261
262   match = calloc(1, sizeof(*match));
263   if (match == NULL) {
264     ERROR("curl plugin: calloc failed.");
265     return -1;
266   }
267
268   status = 0;
269   for (int i = 0; i < ci->children_num; i++) {
270     oconfig_item_t *child = ci->children + i;
271
272     if (strcasecmp("Regex", child->key) == 0)
273       status = cf_util_get_string(child, &match->regex);
274     else if (strcasecmp("ExcludeRegex", child->key) == 0)
275       status = cf_util_get_string(child, &match->exclude_regex);
276     else if (strcasecmp("DSType", child->key) == 0)
277       status = cc_config_add_match_dstype(&match->dstype, child);
278     else if (strcasecmp("Type", child->key) == 0)
279       status = cf_util_get_string(child, &match->type);
280     else if (strcasecmp("Instance", child->key) == 0)
281       status = cf_util_get_string(child, &match->instance);
282     else {
283       WARNING("curl plugin: Option `%s' not allowed here.", child->key);
284       status = -1;
285     }
286
287     if (status != 0)
288       break;
289   } /* for (i = 0; i < ci->children_num; i++) */
290
291   while (status == 0) {
292     if (match->regex == NULL) {
293       WARNING("curl plugin: `Regex' missing in `Match' block.");
294       status = -1;
295     }
296
297     if (match->type == NULL) {
298       WARNING("curl plugin: `Type' missing in `Match' block.");
299       status = -1;
300     }
301
302     if (match->dstype == 0) {
303       WARNING("curl plugin: `DSType' missing in `Match' block.");
304       status = -1;
305     }
306
307     break;
308   } /* while (status == 0) */
309
310   if (status != 0) {
311     cc_web_match_free(match);
312     return status;
313   }
314
315   match->match =
316       match_create_simple(match->regex, match->exclude_regex, match->dstype);
317   if (match->match == NULL) {
318     ERROR("curl plugin: match_create_simple failed.");
319     cc_web_match_free(match);
320     return -1;
321   } else {
322     web_match_t *prev;
323
324     prev = page->matches;
325     while ((prev != NULL) && (prev->next != NULL))
326       prev = prev->next;
327
328     if (prev == NULL)
329       page->matches = match;
330     else
331       prev->next = match;
332   }
333
334   return 0;
335 } /* }}} int cc_config_add_match */
336
337 static int cc_page_init_curl(web_page_t *wp) /* {{{ */
338 {
339   wp->curl = curl_easy_init();
340   if (wp->curl == NULL) {
341     ERROR("curl plugin: curl_easy_init failed.");
342     return -1;
343   }
344
345   curl_easy_setopt(wp->curl, CURLOPT_NOSIGNAL, 1L);
346   curl_easy_setopt(wp->curl, CURLOPT_WRITEFUNCTION, cc_curl_callback);
347   curl_easy_setopt(wp->curl, CURLOPT_WRITEDATA, wp);
348   curl_easy_setopt(wp->curl, CURLOPT_USERAGENT, COLLECTD_USERAGENT);
349   curl_easy_setopt(wp->curl, CURLOPT_ERRORBUFFER, wp->curl_errbuf);
350   curl_easy_setopt(wp->curl, CURLOPT_FOLLOWLOCATION, 1L);
351   curl_easy_setopt(wp->curl, CURLOPT_MAXREDIRS, 50L);
352
353   if (wp->user != NULL) {
354 #ifdef HAVE_CURLOPT_USERNAME
355     curl_easy_setopt(wp->curl, CURLOPT_USERNAME, wp->user);
356     curl_easy_setopt(wp->curl, CURLOPT_PASSWORD,
357                      (wp->pass == NULL) ? "" : wp->pass);
358 #else
359     size_t credentials_size;
360
361     credentials_size = strlen(wp->user) + 2;
362     if (wp->pass != NULL)
363       credentials_size += strlen(wp->pass);
364
365     wp->credentials = malloc(credentials_size);
366     if (wp->credentials == NULL) {
367       ERROR("curl plugin: malloc failed.");
368       return -1;
369     }
370
371     snprintf(wp->credentials, credentials_size, "%s:%s", wp->user,
372              (wp->pass == NULL) ? "" : wp->pass);
373     curl_easy_setopt(wp->curl, CURLOPT_USERPWD, wp->credentials);
374 #endif
375
376     if (wp->digest)
377       curl_easy_setopt(wp->curl, CURLOPT_HTTPAUTH, CURLAUTH_DIGEST);
378   }
379
380   curl_easy_setopt(wp->curl, CURLOPT_SSL_VERIFYPEER, (long)wp->verify_peer);
381   curl_easy_setopt(wp->curl, CURLOPT_SSL_VERIFYHOST, wp->verify_host ? 2L : 0L);
382   if (wp->cacert != NULL)
383     curl_easy_setopt(wp->curl, CURLOPT_CAINFO, wp->cacert);
384   if (wp->headers != NULL)
385     curl_easy_setopt(wp->curl, CURLOPT_HTTPHEADER, wp->headers);
386   if (wp->post_body != NULL)
387     curl_easy_setopt(wp->curl, CURLOPT_POSTFIELDS, wp->post_body);
388
389 #ifdef HAVE_CURLOPT_TIMEOUT_MS
390   if (wp->timeout >= 0)
391     curl_easy_setopt(wp->curl, CURLOPT_TIMEOUT_MS, (long)wp->timeout);
392   else
393     curl_easy_setopt(wp->curl, CURLOPT_TIMEOUT_MS,
394                      (long)CDTIME_T_TO_MS(plugin_get_interval()));
395 #endif
396
397   return 0;
398 } /* }}} int cc_page_init_curl */
399
400 static int cc_config_add_page(oconfig_item_t *ci) /* {{{ */
401 {
402   web_page_t *page;
403   int status;
404
405   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING)) {
406     WARNING("curl plugin: `Page' blocks need exactly one string argument.");
407     return -1;
408   }
409
410   page = calloc(1, sizeof(*page));
411   if (page == NULL) {
412     ERROR("curl plugin: calloc failed.");
413     return -1;
414   }
415   page->url = NULL;
416   page->user = NULL;
417   page->pass = NULL;
418   page->digest = 0;
419   page->verify_peer = 1;
420   page->verify_host = 1;
421   page->response_time = 0;
422   page->response_code = 0;
423   page->timeout = -1;
424   page->stats = NULL;
425
426   page->instance = strdup(ci->values[0].value.string);
427   if (page->instance == NULL) {
428     ERROR("curl plugin: strdup failed.");
429     sfree(page);
430     return -1;
431   }
432
433   /* Process all children */
434   status = 0;
435   for (int i = 0; i < ci->children_num; i++) {
436     oconfig_item_t *child = ci->children + i;
437
438     if (strcasecmp("URL", child->key) == 0)
439       status = cf_util_get_string(child, &page->url);
440     else if (strcasecmp("User", child->key) == 0)
441       status = cf_util_get_string(child, &page->user);
442     else if (strcasecmp("Password", child->key) == 0)
443       status = cf_util_get_string(child, &page->pass);
444     else if (strcasecmp("Digest", child->key) == 0)
445       status = cf_util_get_boolean(child, &page->digest);
446     else if (strcasecmp("VerifyPeer", child->key) == 0)
447       status = cf_util_get_boolean(child, &page->verify_peer);
448     else if (strcasecmp("VerifyHost", child->key) == 0)
449       status = cf_util_get_boolean(child, &page->verify_host);
450     else if (strcasecmp("MeasureResponseTime", child->key) == 0)
451       status = cf_util_get_boolean(child, &page->response_time);
452     else if (strcasecmp("MeasureResponseCode", child->key) == 0)
453       status = cf_util_get_boolean(child, &page->response_code);
454     else if (strcasecmp("CACert", child->key) == 0)
455       status = cf_util_get_string(child, &page->cacert);
456     else if (strcasecmp("Match", child->key) == 0)
457       /* Be liberal with failing matches => don't set `status'. */
458       cc_config_add_match(page, child);
459     else if (strcasecmp("Header", child->key) == 0)
460       status = cc_config_append_string("Header", &page->headers, child);
461     else if (strcasecmp("Post", child->key) == 0)
462       status = cf_util_get_string(child, &page->post_body);
463     else if (strcasecmp("Timeout", child->key) == 0)
464       status = cf_util_get_int(child, &page->timeout);
465     else if (strcasecmp("Statistics", child->key) == 0) {
466       page->stats = curl_stats_from_config(child);
467       if (page->stats == NULL)
468         status = -1;
469     } else {
470       WARNING("curl plugin: Option `%s' not allowed here.", child->key);
471       status = -1;
472     }
473
474     if (status != 0)
475       break;
476   } /* for (i = 0; i < ci->children_num; i++) */
477
478   /* Additionial sanity checks and libCURL initialization. */
479   while (status == 0) {
480     if (page->url == NULL) {
481       WARNING("curl plugin: `URL' missing in `Page' block.");
482       status = -1;
483     }
484
485     if (page->matches == NULL && page->stats == NULL && !page->response_time &&
486         !page->response_code) {
487       assert(page->instance != NULL);
488       WARNING("curl plugin: No (valid) `Match' block "
489               "or Statistics or MeasureResponseTime or MeasureResponseCode "
490               "within `Page' block `%s'.",
491               page->instance);
492       status = -1;
493     }
494
495     if (status == 0)
496       status = cc_page_init_curl(page);
497
498     break;
499   } /* while (status == 0) */
500
501   if (status != 0) {
502     cc_web_page_free(page);
503     return status;
504   }
505
506   /* Add the new page to the linked list */
507   if (pages_g == NULL)
508     pages_g = page;
509   else {
510     web_page_t *prev;
511
512     prev = pages_g;
513     while (prev->next != NULL)
514       prev = prev->next;
515     prev->next = page;
516   }
517
518   return 0;
519 } /* }}} int cc_config_add_page */
520
521 static int cc_config(oconfig_item_t *ci) /* {{{ */
522 {
523   int success;
524   int errors;
525   int status;
526
527   success = 0;
528   errors = 0;
529
530   for (int i = 0; i < ci->children_num; i++) {
531     oconfig_item_t *child = ci->children + i;
532
533     if (strcasecmp("Page", child->key) == 0) {
534       status = cc_config_add_page(child);
535       if (status == 0)
536         success++;
537       else
538         errors++;
539     } else {
540       WARNING("curl plugin: Option `%s' not allowed here.", child->key);
541       errors++;
542     }
543   }
544
545   if ((success == 0) && (errors > 0)) {
546     ERROR("curl plugin: All statements failed.");
547     return -1;
548   }
549
550   return 0;
551 } /* }}} int cc_config */
552
553 static int cc_init(void) /* {{{ */
554 {
555   if (pages_g == NULL) {
556     INFO("curl plugin: No pages have been defined.");
557     return -1;
558   }
559   curl_global_init(CURL_GLOBAL_SSL);
560   return 0;
561 } /* }}} int cc_init */
562
563 static void cc_submit(const web_page_t *wp, const web_match_t *wm, /* {{{ */
564                       value_t value) {
565   value_list_t vl = VALUE_LIST_INIT;
566
567   vl.values = &value;
568   vl.values_len = 1;
569   sstrncpy(vl.plugin, "curl", sizeof(vl.plugin));
570   sstrncpy(vl.plugin_instance, wp->instance, sizeof(vl.plugin_instance));
571   sstrncpy(vl.type, wm->type, sizeof(vl.type));
572   if (wm->instance != NULL)
573     sstrncpy(vl.type_instance, wm->instance, sizeof(vl.type_instance));
574
575   plugin_dispatch_values(&vl);
576 } /* }}} void cc_submit */
577
578 static void cc_submit_response_code(const web_page_t *wp, long code) /* {{{ */
579 {
580   value_list_t vl = VALUE_LIST_INIT;
581
582   vl.values = &(value_t){.gauge = (gauge_t)code};
583   vl.values_len = 1;
584   sstrncpy(vl.plugin, "curl", sizeof(vl.plugin));
585   sstrncpy(vl.plugin_instance, wp->instance, sizeof(vl.plugin_instance));
586   sstrncpy(vl.type, "response_code", sizeof(vl.type));
587
588   plugin_dispatch_values(&vl);
589 } /* }}} void cc_submit_response_code */
590
591 static void cc_submit_response_time(const web_page_t *wp, /* {{{ */
592                                     gauge_t response_time) {
593   value_list_t vl = VALUE_LIST_INIT;
594
595   vl.values = &(value_t){.gauge = response_time};
596   vl.values_len = 1;
597   sstrncpy(vl.plugin, "curl", sizeof(vl.plugin));
598   sstrncpy(vl.plugin_instance, wp->instance, sizeof(vl.plugin_instance));
599   sstrncpy(vl.type, "response_time", sizeof(vl.type));
600
601   plugin_dispatch_values(&vl);
602 } /* }}} void cc_submit_response_time */
603
604 static int cc_read_page(web_page_t *wp) /* {{{ */
605 {
606   int status;
607   cdtime_t start = 0;
608
609   if (wp->response_time)
610     start = cdtime();
611
612   wp->buffer_fill = 0;
613
614   curl_easy_setopt(wp->curl, CURLOPT_URL, wp->url);
615
616   status = curl_easy_perform(wp->curl);
617   if (status != CURLE_OK) {
618     ERROR("curl plugin: curl_easy_perform failed with status %i: %s", status,
619           wp->curl_errbuf);
620     return -1;
621   }
622
623   if (wp->response_time)
624     cc_submit_response_time(wp, CDTIME_T_TO_DOUBLE(cdtime() - start));
625   if (wp->stats != NULL)
626     curl_stats_dispatch(wp->stats, wp->curl, hostname_g, "curl", wp->instance);
627
628   if (wp->response_code) {
629     long response_code = 0;
630     status =
631         curl_easy_getinfo(wp->curl, CURLINFO_RESPONSE_CODE, &response_code);
632     if (status != CURLE_OK) {
633       ERROR("curl plugin: Fetching response code failed with status %i: %s",
634             status, wp->curl_errbuf);
635     } else {
636       cc_submit_response_code(wp, response_code);
637     }
638   }
639
640   for (web_match_t *wm = wp->matches; wm != NULL; wm = wm->next) {
641     cu_match_value_t *mv;
642
643     status = match_apply(wm->match, wp->buffer);
644     if (status != 0) {
645       WARNING("curl plugin: match_apply failed.");
646       continue;
647     }
648
649     mv = match_get_user_data(wm->match);
650     if (mv == NULL) {
651       WARNING("curl plugin: match_get_user_data returned NULL.");
652       continue;
653     }
654
655     cc_submit(wp, wm, mv->value);
656     match_value_reset(mv);
657   } /* for (wm = wp->matches; wm != NULL; wm = wm->next) */
658
659   return 0;
660 } /* }}} int cc_read_page */
661
662 static int cc_read(void) /* {{{ */
663 {
664   for (web_page_t *wp = pages_g; wp != NULL; wp = wp->next)
665     cc_read_page(wp);
666
667   return 0;
668 } /* }}} int cc_read */
669
670 static int cc_shutdown(void) /* {{{ */
671 {
672   cc_web_page_free(pages_g);
673   pages_g = NULL;
674
675   return 0;
676 } /* }}} int cc_shutdown */
677
678 void module_register(void) {
679   plugin_register_complex_config("curl", cc_config);
680   plugin_register_init("curl", cc_init);
681   plugin_register_read("curl", cc_read);
682   plugin_register_shutdown("curl", cc_shutdown);
683 } /* void module_register */