src/curl.c

   1 /**
   2  * collectd - src/curl.c
   3  * Copyright (C) 2006-2009  Florian octo Forster
   4  * Copyright (C) 2009       Aman Gupta
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU General Public License as published by the
   8  * Free Software Foundation; only version 2 of the License is applicable.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License along
  16  * with this program; if not, write to the Free Software Foundation, Inc.,
  17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  18  *
  19  * Authors:
  20  *   Florian octo Forster <octo at verplant.org>
  21  *   Aman Gupta <aman at tmm1.net>
  22  **/
  23
  24 #include "collectd.h"
  25 #include "common.h"
  26 #include "plugin.h"
  27 #include "configfile.h"
  28 #include "utils_match.h"
  29
  30 #include <curl/curl.h>
  31
  32 /*
  33  * Data types
  34  */
  35 struct web_match_s;
  36 typedef struct web_match_s web_match_t;
  37 struct web_match_s /* {{{ */
  38 {
  39   char *regex;
  40   char *exclude_regex;
  41   int dstype;
  42   char *type;
  43   char *instance;
  44
  45   cu_match_t *match;
  46
  47   web_match_t *next;
  48 }; /* }}} */
  49
  50 struct web_page_s;
  51 typedef struct web_page_s web_page_t;
  52 struct web_page_s /* {{{ */
  53 {
  54   char *instance;
  55
  56   char *url;
  57   char *user;
  58   char *pass;
  59   char *credentials;
  60   _Bool verify_peer;
  61   _Bool verify_host;
  62   char *cacert;
  63   struct curl_slist *headers;
  64   char *post_body;
  65   _Bool response_time;
  66
  67   CURL *curl;
  68   char curl_errbuf[CURL_ERROR_SIZE];
  69   char *buffer;
  70   size_t buffer_size;
  71   size_t buffer_fill;
  72
  73   web_match_t *matches;
  74
  75   web_page_t *next;
  76 }; /* }}} */
  77
  78 /*
  79  * Global variables;
  80  */
  81 /* static CURLM *curl = NULL; */
  82 static web_page_t *pages_g = NULL;
  83
  84 /*
  85  * Private functions
  86  */
  87 static size_t cc_curl_callback (void *buf, /* {{{ */
  88     size_t size, size_t nmemb, void *user_data)
  89 {
  90   web_page_t *wp;
  91   size_t len;
  92
  93   len = size * nmemb;
  94   if (len <= 0)
  95     return (len);
  96
  97   wp = user_data;
  98   if (wp == NULL)
  99     return (0);
 100
 101   if ((wp->buffer_fill + len) >= wp->buffer_size)
 102   {
 103     char *temp;
 104     size_t temp_size;
 105
 106     temp_size = wp->buffer_fill + len + 1;
 107     temp = (char *) realloc (wp->buffer, temp_size);
 108     if (temp == NULL)
 109     {
 110       ERROR ("curl plugin: realloc failed.");
 111       return (0);
 112     }
 113     wp->buffer = temp;
 114     wp->buffer_size = temp_size;
 115   }
 116
 117   memcpy (wp->buffer + wp->buffer_fill, (char *) buf, len);
 118   wp->buffer_fill += len;
 119   wp->buffer[wp->buffer_fill] = 0;
 120
 121   return (len);
 122 } /* }}} size_t cc_curl_callback */
 123
 124 static void cc_web_match_free (web_match_t *wm) /* {{{ */
 125 {
 126   if (wm == NULL)
 127     return;
 128
 129   sfree (wm->regex);
 130   sfree (wm->type);
 131   sfree (wm->instance);
 132   match_destroy (wm->match);
 133   cc_web_match_free (wm->next);
 134   sfree (wm);
 135 } /* }}} void cc_web_match_free */
 136
 137 static void cc_web_page_free (web_page_t *wp) /* {{{ */
 138 {
 139   if (wp == NULL)
 140     return;
 141
 142   if (wp->curl != NULL)
 143     curl_easy_cleanup (wp->curl);
 144   wp->curl = NULL;
 145
 146   sfree (wp->instance);
 147
 148   sfree (wp->url);
 149   sfree (wp->user);
 150   sfree (wp->pass);
 151   sfree (wp->credentials);
 152   sfree (wp->cacert);
 153   sfree (wp->post_body);
 154   curl_slist_free_all (wp->headers);
 155
 156   sfree (wp->buffer);
 157
 158   cc_web_match_free (wp->matches);
 159   cc_web_page_free (wp->next);
 160   sfree (wp);
 161 } /* }}} void cc_web_page_free */
 162
 163 static int cc_config_append_string (const char *name, struct curl_slist **dest, /* {{{ */
 164     oconfig_item_t *ci)
 165 {
 166   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 167   {
 168     WARNING ("curl plugin: `%s' needs exactly one string argument.", name);
 169     return (-1);
 170   }
 171
 172   *dest = curl_slist_append(*dest, ci->values[0].value.string);
 173   if (*dest == NULL)
 174     return (-1);
 175
 176   return (0);
 177 } /* }}} int cc_config_append_string */
 178
 179 static int cc_config_add_match_dstype (int *dstype_ret, /* {{{ */
 180     oconfig_item_t *ci)
 181 {
 182   int dstype;
 183
 184   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 185   {
 186     WARNING ("curl plugin: `DSType' needs exactly one string argument.");
 187     return (-1);
 188   }
 189
 190   if (strncasecmp ("Gauge", ci->values[0].value.string,
 191         strlen ("Gauge")) == 0)
 192   {
 193     dstype = UTILS_MATCH_DS_TYPE_GAUGE;
 194     if (strcasecmp ("GaugeAverage", ci->values[0].value.string) == 0)
 195       dstype |= UTILS_MATCH_CF_GAUGE_AVERAGE;
 196     else if (strcasecmp ("GaugeMin", ci->values[0].value.string) == 0)
 197       dstype |= UTILS_MATCH_CF_GAUGE_MIN;
 198     else if (strcasecmp ("GaugeMax", ci->values[0].value.string) == 0)
 199       dstype |= UTILS_MATCH_CF_GAUGE_MAX;
 200     else if (strcasecmp ("GaugeLast", ci->values[0].value.string) == 0)
 201       dstype |= UTILS_MATCH_CF_GAUGE_LAST;
 202     else
 203       dstype = 0;
 204   }
 205   else if (strncasecmp ("Counter", ci->values[0].value.string,
 206         strlen ("Counter")) == 0)
 207   {
 208     dstype = UTILS_MATCH_DS_TYPE_COUNTER;
 209     if (strcasecmp ("CounterSet", ci->values[0].value.string) == 0)
 210       dstype |= UTILS_MATCH_CF_COUNTER_SET;
 211     else if (strcasecmp ("CounterAdd", ci->values[0].value.string) == 0)
 212       dstype |= UTILS_MATCH_CF_COUNTER_ADD;
 213     else if (strcasecmp ("CounterInc", ci->values[0].value.string) == 0)
 214       dstype |= UTILS_MATCH_CF_COUNTER_INC;
 215     else
 216       dstype = 0;
 217   }
 218 else if (strncasecmp ("Derive", ci->values[0].value.string,
 219         strlen ("Derive")) == 0)
 220   {
 221     dstype = UTILS_MATCH_DS_TYPE_DERIVE;
 222     if (strcasecmp ("DeriveSet", ci->values[0].value.string) == 0)
 223       dstype |= UTILS_MATCH_CF_DERIVE_SET;
 224     else if (strcasecmp ("DeriveAdd", ci->values[0].value.string) == 0)
 225       dstype |= UTILS_MATCH_CF_DERIVE_ADD;
 226     else if (strcasecmp ("DeriveInc", ci->values[0].value.string) == 0)
 227       dstype |= UTILS_MATCH_CF_DERIVE_INC;
 228     else
 229       dstype = 0;
 230   }
 231 else if (strncasecmp ("Absolute", ci->values[0].value.string,
 232         strlen ("Absolute")) == 0)
 233   {
 234     dstype = UTILS_MATCH_DS_TYPE_ABSOLUTE;
 235     if (strcasecmp ("AbsoluteSet", ci->values[0].value.string) == 0) /* Absolute DS is reset-on-read so no sense doin anything else but set */
 236       dstype |= UTILS_MATCH_CF_ABSOLUTE_SET;
 237     else
 238       dstype = 0;
 239   }
 240
 241   else
 242   {
 243     dstype = 0;
 244   }
 245
 246   if (dstype == 0)
 247   {
 248     WARNING ("curl plugin: `%s' is not a valid argument to `DSType'.",
 249         ci->values[0].value.string);
 250     return (-1);
 251   }
 252
 253   *dstype_ret = dstype;
 254   return (0);
 255 } /* }}} int cc_config_add_match_dstype */
 256
 257 static int cc_config_add_match (web_page_t *page, /* {{{ */
 258     oconfig_item_t *ci)
 259 {
 260   web_match_t *match;
 261   int status;
 262   int i;
 263
 264   if (ci->values_num != 0)
 265   {
 266     WARNING ("curl plugin: Ignoring arguments for the `Match' block.");
 267   }
 268
 269   match = (web_match_t *) malloc (sizeof (*match));
 270   if (match == NULL)
 271   {
 272     ERROR ("curl plugin: malloc failed.");
 273     return (-1);
 274   }
 275   memset (match, 0, sizeof (*match));
 276
 277   status = 0;
 278   for (i = 0; i < ci->children_num; i++)
 279   {
 280     oconfig_item_t *child = ci->children + i;
 281
 282     if (strcasecmp ("Regex", child->key) == 0)
 283       status = cf_util_get_string (child, &match->regex);
 284     else if (strcasecmp ("ExcludeRegex", child->key) == 0)
 285       status = cf_util_get_string (child, &match->exclude_regex);
 286     else if (strcasecmp ("DSType", child->key) == 0)
 287       status = cc_config_add_match_dstype (&match->dstype, child);
 288     else if (strcasecmp ("Type", child->key) == 0)
 289       status = cf_util_get_string (child, &match->type);
 290     else if (strcasecmp ("Instance", child->key) == 0)
 291       status = cf_util_get_string (child, &match->instance);
 292     else
 293     {
 294       WARNING ("curl plugin: Option `%s' not allowed here.", child->key);
 295       status = -1;
 296     }
 297
 298     if (status != 0)
 299       break;
 300   } /* for (i = 0; i < ci->children_num; i++) */
 301
 302   while (status == 0)
 303   {
 304     if (match->regex == NULL)
 305     {
 306       WARNING ("curl plugin: `Regex' missing in `Match' block.");
 307       status = -1;
 308     }
 309
 310     if (match->type == NULL)
 311     {
 312       WARNING ("curl plugin: `Type' missing in `Match' block.");
 313       status = -1;
 314     }
 315
 316     if (match->dstype == 0)
 317     {
 318       WARNING ("curl plugin: `DSType' missing in `Match' block.");
 319       status = -1;
 320     }
 321
 322     break;
 323   } /* while (status == 0) */
 324
 325   if (status != 0)
 326     return (status);
 327
 328   match->match = match_create_simple (match->regex, match->exclude_regex,
 329       match->dstype);
 330   if (match->match == NULL)
 331   {
 332     ERROR ("curl plugin: tail_match_add_match_simple failed.");
 333     cc_web_match_free (match);
 334     return (-1);
 335   }
 336   else
 337   {
 338     web_match_t *prev;
 339
 340     prev = page->matches;
 341     while ((prev != NULL) && (prev->next != NULL))
 342       prev = prev->next;
 343
 344     if (prev == NULL)
 345       page->matches = match;
 346     else
 347       prev->next = match;
 348   }
 349
 350   return (0);
 351 } /* }}} int cc_config_add_match */
 352
 353 static int cc_page_init_curl (web_page_t *wp) /* {{{ */
 354 {
 355   wp->curl = curl_easy_init ();
 356   if (wp->curl == NULL)
 357   {
 358     ERROR ("curl plugin: curl_easy_init failed.");
 359     return (-1);
 360   }
 361
 362   curl_easy_setopt (wp->curl, CURLOPT_NOSIGNAL, 1L);
 363   curl_easy_setopt (wp->curl, CURLOPT_WRITEFUNCTION, cc_curl_callback);
 364   curl_easy_setopt (wp->curl, CURLOPT_WRITEDATA, wp);
 365   curl_easy_setopt (wp->curl, CURLOPT_USERAGENT,
 366       PACKAGE_NAME"/"PACKAGE_VERSION);
 367   curl_easy_setopt (wp->curl, CURLOPT_ERRORBUFFER, wp->curl_errbuf);
 368   curl_easy_setopt (wp->curl, CURLOPT_URL, wp->url);
 369   curl_easy_setopt (wp->curl, CURLOPT_FOLLOWLOCATION, 1L);
 370   curl_easy_setopt (wp->curl, CURLOPT_MAXREDIRS, 50L);
 371
 372   if (wp->user != NULL)
 373   {
 374     size_t credentials_size;
 375
 376     credentials_size = strlen (wp->user) + 2;
 377     if (wp->pass != NULL)
 378       credentials_size += strlen (wp->pass);
 379
 380     wp->credentials = (char *) malloc (credentials_size);
 381     if (wp->credentials == NULL)
 382     {
 383       ERROR ("curl plugin: malloc failed.");
 384       return (-1);
 385     }
 386
 387     ssnprintf (wp->credentials, credentials_size, "%s:%s",
 388         wp->user, (wp->pass == NULL) ? "" : wp->pass);
 389     curl_easy_setopt (wp->curl, CURLOPT_USERPWD, wp->credentials);
 390   }
 391
 392   curl_easy_setopt (wp->curl, CURLOPT_SSL_VERIFYPEER, (long) wp->verify_peer);
 393   curl_easy_setopt (wp->curl, CURLOPT_SSL_VERIFYHOST,
 394       wp->verify_host ? 2L : 0L);
 395   if (wp->cacert != NULL)
 396     curl_easy_setopt (wp->curl, CURLOPT_CAINFO, wp->cacert);
 397   if (wp->headers != NULL)
 398     curl_easy_setopt (wp->curl, CURLOPT_HTTPHEADER, wp->headers);
 399   if (wp->post_body != NULL)
 400     curl_easy_setopt (wp->curl, CURLOPT_POSTFIELDS, wp->post_body);
 401
 402   return (0);
 403 } /* }}} int cc_page_init_curl */
 404
 405 static int cc_config_add_page (oconfig_item_t *ci) /* {{{ */
 406 {
 407   web_page_t *page;
 408   int status;
 409   int i;
 410
 411   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 412   {
 413     WARNING ("curl plugin: `Page' blocks need exactly one string argument.");
 414     return (-1);
 415   }
 416
 417   page = (web_page_t *) malloc (sizeof (*page));
 418   if (page == NULL)
 419   {
 420     ERROR ("curl plugin: malloc failed.");
 421     return (-1);
 422   }
 423   memset (page, 0, sizeof (*page));
 424   page->url = NULL;
 425   page->user = NULL;
 426   page->pass = NULL;
 427   page->verify_peer = 1;
 428   page->verify_host = 1;
 429   page->response_time = 0;
 430
 431   page->instance = strdup (ci->values[0].value.string);
 432   if (page->instance == NULL)
 433   {
 434     ERROR ("curl plugin: strdup failed.");
 435     sfree (page);
 436     return (-1);
 437   }
 438
 439   /* Process all children */
 440   status = 0;
 441   for (i = 0; i < ci->children_num; i++)
 442   {
 443     oconfig_item_t *child = ci->children + i;
 444
 445     if (strcasecmp ("URL", child->key) == 0)
 446       status = cf_util_get_string (child, &page->url);
 447     else if (strcasecmp ("User", child->key) == 0)
 448       status = cf_util_get_string (child, &page->user);
 449     else if (strcasecmp ("Password", child->key) == 0)
 450       status = cf_util_get_string (child, &page->pass);
 451     else if (strcasecmp ("VerifyPeer", child->key) == 0)
 452       status = cf_util_get_boolean (child, &page->verify_peer);
 453     else if (strcasecmp ("VerifyHost", child->key) == 0)
 454       status = cf_util_get_boolean (child, &page->verify_host);
 455     else if (strcasecmp ("MeasureResponseTime", child->key) == 0)
 456       status = cf_util_get_boolean (child, &page->response_time);
 457     else if (strcasecmp ("CACert", child->key) == 0)
 458       status = cf_util_get_string (child, &page->cacert);
 459     else if (strcasecmp ("Match", child->key) == 0)
 460       /* Be liberal with failing matches => don't set `status'. */
 461       cc_config_add_match (page, child);
 462     else if (strcasecmp ("Header", child->key) == 0)
 463       status = cc_config_append_string ("Header", &page->headers, child);
 464     else if (strcasecmp ("Post", child->key) == 0)
 465       status = cf_util_get_string (child, &page->post_body);
 466     else
 467     {
 468       WARNING ("curl plugin: Option `%s' not allowed here.", child->key);
 469       status = -1;
 470     }
 471
 472     if (status != 0)
 473       break;
 474   } /* for (i = 0; i < ci->children_num; i++) */
 475
 476   /* Additionial sanity checks and libCURL initialization. */
 477   while (status == 0)
 478   {
 479     if (page->url == NULL)
 480     {
 481       WARNING ("curl plugin: `URL' missing in `Page' block.");
 482       status = -1;
 483     }
 484
 485     if (page->matches == NULL && !page->response_time)
 486     {
 487       assert (page->instance != NULL);
 488       WARNING ("curl plugin: No (valid) `Match' block "
 489           "or MeasureResponseTime within `Page' block `%s'.", page->instance);
 490       status = -1;
 491     }
 492
 493     if (status == 0)
 494       status = cc_page_init_curl (page);
 495
 496     break;
 497   } /* while (status == 0) */
 498
 499   if (status != 0)
 500   {
 501     cc_web_page_free (page);
 502     return (status);
 503   }
 504
 505   /* Add the new page to the linked list */
 506   if (pages_g == NULL)
 507     pages_g = page;
 508   else
 509   {
 510     web_page_t *prev;
 511
 512     prev = pages_g;
 513     while ((prev != NULL) && (prev->next != NULL))
 514       prev = prev->next;
 515     prev->next = page;
 516   }
 517
 518   return (0);
 519 } /* }}} int cc_config_add_page */
 520
 521 static int cc_config (oconfig_item_t *ci) /* {{{ */
 522 {
 523   int success;
 524   int errors;
 525   int status;
 526   int i;
 527
 528   success = 0;
 529   errors = 0;
 530
 531   for (i = 0; i < ci->children_num; i++)
 532   {
 533     oconfig_item_t *child = ci->children + i;
 534
 535     if (strcasecmp ("Page", child->key) == 0)
 536     {
 537       status = cc_config_add_page (child);
 538       if (status == 0)
 539         success++;
 540       else
 541         errors++;
 542     }
 543     else
 544     {
 545       WARNING ("curl plugin: Option `%s' not allowed here.", child->key);
 546       errors++;
 547     }
 548   }
 549
 550   if ((success == 0) && (errors > 0))
 551   {
 552     ERROR ("curl plugin: All statements failed.");
 553     return (-1);
 554   }
 555
 556   return (0);
 557 } /* }}} int cc_config */
 558
 559 static int cc_init (void) /* {{{ */
 560 {
 561   if (pages_g == NULL)
 562   {
 563     INFO ("curl plugin: No pages have been defined.");
 564     return (-1);
 565   }
 566   curl_global_init (CURL_GLOBAL_SSL);
 567   return (0);
 568 } /* }}} int cc_init */
 569
 570 static void cc_submit (const web_page_t *wp, const web_match_t *wm, /* {{{ */
 571     const cu_match_value_t *mv)
 572 {
 573   value_t values[1];
 574   value_list_t vl = VALUE_LIST_INIT;
 575
 576   values[0] = mv->value;
 577
 578   vl.values = values;
 579   vl.values_len = 1;
 580   sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 581   sstrncpy (vl.plugin, "curl", sizeof (vl.plugin));
 582   sstrncpy (vl.plugin_instance, wp->instance, sizeof (vl.plugin_instance));
 583   sstrncpy (vl.type, wm->type, sizeof (vl.type));
 584   if (wm->instance != NULL)
 585     sstrncpy (vl.type_instance, wm->instance, sizeof (vl.type_instance));
 586
 587   plugin_dispatch_values (&vl);
 588 } /* }}} void cc_submit */
 589
 590 static void cc_submit_response_time (const web_page_t *wp, double seconds) /* {{{ */
 591 {
 592   value_t values[1];
 593   value_list_t vl = VALUE_LIST_INIT;
 594
 595   values[0].gauge = seconds;
 596
 597   vl.values = values;
 598   vl.values_len = 1;
 599   sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 600   sstrncpy (vl.plugin, "curl", sizeof (vl.plugin));
 601   sstrncpy (vl.plugin_instance, wp->instance, sizeof (vl.plugin_instance));
 602   sstrncpy (vl.type, "response_time", sizeof (vl.type));
 603
 604   plugin_dispatch_values (&vl);
 605 } /* }}} void cc_submit_response_time */
 606
 607 static int cc_read_page (web_page_t *wp) /* {{{ */
 608 {
 609   web_match_t *wm;
 610   int status;
 611   struct timeval start, end;
 612
 613   if (wp->response_time)
 614     gettimeofday (&start, NULL);
 615
 616   wp->buffer_fill = 0;
 617   status = curl_easy_perform (wp->curl);
 618   if (status != CURLE_OK)
 619   {
 620     ERROR ("curl plugin: curl_easy_perform failed with staus %i: %s",
 621         status, wp->curl_errbuf);
 622     return (-1);
 623   }
 624
 625   if (wp->response_time)
 626   {
 627     double secs = 0;
 628     gettimeofday (&end, NULL);
 629     secs += end.tv_sec - start.tv_sec;
 630     secs += (end.tv_usec - start.tv_usec) / 1000000.0;
 631     cc_submit_response_time (wp, secs);
 632   }
 633
 634   for (wm = wp->matches; wm != NULL; wm = wm->next)
 635   {
 636     cu_match_value_t *mv;
 637
 638     status = match_apply (wm->match, wp->buffer);
 639     if (status != 0)
 640     {
 641       WARNING ("curl plugin: match_apply failed.");
 642       continue;
 643     }
 644
 645     mv = match_get_user_data (wm->match);
 646     if (mv == NULL)
 647     {
 648       WARNING ("curl plugin: match_get_user_data returned NULL.");
 649       continue;
 650     }
 651
 652     cc_submit (wp, wm, mv);
 653     match_value_reset (mv);
 654   } /* for (wm = wp->matches; wm != NULL; wm = wm->next) */
 655
 656   return (0);
 657 } /* }}} int cc_read_page */
 658
 659 static int cc_read (void) /* {{{ */
 660 {
 661   web_page_t *wp;
 662
 663   for (wp = pages_g; wp != NULL; wp = wp->next)
 664     cc_read_page (wp);
 665
 666   return (0);
 667 } /* }}} int cc_read */
 668
 669 static int cc_shutdown (void) /* {{{ */
 670 {
 671   cc_web_page_free (pages_g);
 672   pages_g = NULL;
 673
 674   return (0);
 675 } /* }}} int cc_shutdown */
 676
 677 void module_register (void)
 678 {
 679   plugin_register_complex_config ("curl", cc_config);
 680   plugin_register_init ("curl", cc_init);
 681   plugin_register_read ("curl", cc_read);
 682   plugin_register_shutdown ("curl", cc_shutdown);
 683 } /* void module_register */
 684
 685 /* vim: set sw=2 sts=2 et fdm=marker : */