src/amqp.c

   1 /**
   2  * collectd - src/amqp.c
   3  * Copyright (C) 2009       Sebastien Pahl
   4  * Copyright (C) 2010-2012  Florian Forster
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a
   7  * copy of this software and associated documentation files (the "Software"),
   8  * to deal in the Software without restriction, including without limitation
   9  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  10  * and/or sell copies of the Software, and to permit persons to whom the
  11  * Software is furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  21  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  22  * DEALINGS IN THE SOFTWARE.
  23  *
  24  * Authors:
  25  *   Sebastien Pahl <sebastien.pahl at dotcloud.com>
  26  *   Florian Forster <octo at collectd.org>
  27  **/
  28
  29 #include "collectd.h"
  30
  31 #include "common.h"
  32 #include "plugin.h"
  33 #include "utils_cmd_putval.h"
  34 #include "utils_format_json.h"
  35 #include "utils_format_graphite.h"
  36
  37 #include <amqp.h>
  38 #include <amqp_framing.h>
  39
  40 #ifdef HAVE_AMQP_TCP_SOCKET_H
  41 # include <amqp_tcp_socket.h>
  42 #endif
  43 #ifdef HAVE_AMQP_SOCKET_H
  44 # include <amqp_socket.h>
  45 #endif
  46 #ifdef HAVE_AMQP_TCP_SOCKET
  47 #if defined HAVE_DECL_AMQP_SOCKET_CLOSE && !HAVE_DECL_AMQP_SOCKET_CLOSE
  48 /* rabbitmq-c does not currently ship amqp_socket.h
  49  * and, thus, does not define this function. */
  50 int amqp_socket_close(amqp_socket_t *);
  51 #endif
  52 #endif
  53
  54 /* Defines for the delivery mode. I have no idea why they're not defined by the
  55  * library.. */
  56 #define CAMQP_DM_VOLATILE   1
  57 #define CAMQP_DM_PERSISTENT 2
  58
  59 #define CAMQP_FORMAT_COMMAND    1
  60 #define CAMQP_FORMAT_JSON       2
  61 #define CAMQP_FORMAT_GRAPHITE   3
  62
  63 #define CAMQP_CHANNEL 1
  64
  65 /*
  66  * Data types
  67  */
  68 struct camqp_config_s
  69 {
  70     _Bool   publish;
  71     char   *name;
  72
  73     char   *host;
  74     int     port;
  75     char   *vhost;
  76     char   *user;
  77     char   *password;
  78
  79     char   *exchange;
  80     char   *routing_key;
  81
  82     /* Number of seconds to wait before connection is retried */
  83     int     connection_retry_delay;
  84
  85     /* publish only */
  86     uint8_t delivery_mode;
  87     _Bool   store_rates;
  88     int     format;
  89     /* publish & graphite format only */
  90     char    *prefix;
  91     char    *postfix;
  92     char    escape_char;
  93     unsigned int graphite_flags;
  94
  95     /* subscribe only */
  96     char   *exchange_type;
  97     char   *queue;
  98     _Bool   queue_durable;
  99     _Bool   queue_auto_delete;
 100
 101     amqp_connection_state_t connection;
 102     pthread_mutex_t lock;
 103 };
 104 typedef struct camqp_config_s camqp_config_t;
 105
 106 /*
 107  * Global variables
 108  */
 109 static const char *def_host       = "localhost";
 110 static const char *def_vhost      = "/";
 111 static const char *def_user       = "guest";
 112 static const char *def_password   = "guest";
 113 static const char *def_exchange   = "amq.fanout";
 114
 115 static pthread_t *subscriber_threads     = NULL;
 116 static size_t     subscriber_threads_num = 0;
 117 static _Bool      subscriber_threads_running = 1;
 118
 119 #define CONF(c,f) (((c)->f != NULL) ? (c)->f : def_##f)
 120
 121 /*
 122  * Functions
 123  */
 124 static void camqp_close_connection (camqp_config_t *conf) /* {{{ */
 125 {
 126     int sockfd;
 127
 128     if ((conf == NULL) || (conf->connection == NULL))
 129         return;
 130
 131     sockfd = amqp_get_sockfd (conf->connection);
 132     amqp_channel_close (conf->connection, CAMQP_CHANNEL, AMQP_REPLY_SUCCESS);
 133     amqp_connection_close (conf->connection, AMQP_REPLY_SUCCESS);
 134     amqp_destroy_connection (conf->connection);
 135     close (sockfd);
 136     conf->connection = NULL;
 137 } /* }}} void camqp_close_connection */
 138
 139 static void camqp_config_free (void *ptr) /* {{{ */
 140 {
 141     camqp_config_t *conf = ptr;
 142
 143     if (conf == NULL)
 144         return;
 145
 146     camqp_close_connection (conf);
 147
 148     sfree (conf->name);
 149     sfree (conf->host);
 150     sfree (conf->vhost);
 151     sfree (conf->user);
 152     sfree (conf->password);
 153     sfree (conf->exchange);
 154     sfree (conf->exchange_type);
 155     sfree (conf->queue);
 156     sfree (conf->routing_key);
 157     sfree (conf->prefix);
 158     sfree (conf->postfix);
 159
 160
 161     sfree (conf);
 162 } /* }}} void camqp_config_free */
 163
 164 static char *camqp_bytes_cstring (amqp_bytes_t *in) /* {{{ */
 165 {
 166     char *ret;
 167
 168     if ((in == NULL) || (in->bytes == NULL))
 169         return (NULL);
 170
 171     ret = malloc (in->len + 1);
 172     if (ret == NULL)
 173         return (NULL);
 174
 175     memcpy (ret, in->bytes, in->len);
 176     ret[in->len] = 0;
 177
 178     return (ret);
 179 } /* }}} char *camqp_bytes_cstring */
 180
 181 static _Bool camqp_is_error (camqp_config_t *conf) /* {{{ */
 182 {
 183     amqp_rpc_reply_t r;
 184
 185     r = amqp_get_rpc_reply (conf->connection);
 186     if (r.reply_type == AMQP_RESPONSE_NORMAL)
 187         return (0);
 188
 189     return (1);
 190 } /* }}} _Bool camqp_is_error */
 191
 192 static char *camqp_strerror (camqp_config_t *conf, /* {{{ */
 193         char *buffer, size_t buffer_size)
 194 {
 195     amqp_rpc_reply_t r;
 196
 197     r = amqp_get_rpc_reply (conf->connection);
 198     switch (r.reply_type)
 199     {
 200         case AMQP_RESPONSE_NORMAL:
 201             sstrncpy (buffer, "Success", buffer_size);
 202             break;
 203
 204         case AMQP_RESPONSE_NONE:
 205             sstrncpy (buffer, "Missing RPC reply type", buffer_size);
 206             break;
 207
 208         case AMQP_RESPONSE_LIBRARY_EXCEPTION:
 209 #if HAVE_AMQP_RPC_REPLY_T_LIBRARY_ERRNO
 210             if (r.library_errno)
 211                 return (sstrerror (r.library_errno, buffer, buffer_size));
 212 #else
 213             if (r.library_error)
 214                 return (sstrerror (r.library_error, buffer, buffer_size));
 215 #endif
 216             else
 217                 sstrncpy (buffer, "End of stream", buffer_size);
 218             break;
 219
 220         case AMQP_RESPONSE_SERVER_EXCEPTION:
 221             if (r.reply.id == AMQP_CONNECTION_CLOSE_METHOD)
 222             {
 223                 amqp_connection_close_t *m = r.reply.decoded;
 224                 char *tmp = camqp_bytes_cstring (&m->reply_text);
 225                 ssnprintf (buffer, buffer_size, "Server connection error %d: %s",
 226                         m->reply_code, tmp);
 227                 sfree (tmp);
 228             }
 229             else if (r.reply.id == AMQP_CHANNEL_CLOSE_METHOD)
 230             {
 231                 amqp_channel_close_t *m = r.reply.decoded;
 232                 char *tmp = camqp_bytes_cstring (&m->reply_text);
 233                 ssnprintf (buffer, buffer_size, "Server channel error %d: %s",
 234                         m->reply_code, tmp);
 235                 sfree (tmp);
 236             }
 237             else
 238             {
 239                 ssnprintf (buffer, buffer_size, "Server error method %#"PRIx32,
 240                         r.reply.id);
 241             }
 242             break;
 243
 244         default:
 245             ssnprintf (buffer, buffer_size, "Unknown reply type %i",
 246                     (int) r.reply_type);
 247     }
 248
 249     return (buffer);
 250 } /* }}} char *camqp_strerror */
 251
 252 #if HAVE_AMQP_RPC_REPLY_T_LIBRARY_ERRNO
 253 static int camqp_create_exchange (camqp_config_t *conf) /* {{{ */
 254 {
 255     amqp_exchange_declare_ok_t *ed_ret;
 256
 257     if (conf->exchange_type == NULL)
 258         return (0);
 259
 260     ed_ret = amqp_exchange_declare (conf->connection,
 261             /* channel     = */ CAMQP_CHANNEL,
 262             /* exchange    = */ amqp_cstring_bytes (conf->exchange),
 263             /* type        = */ amqp_cstring_bytes (conf->exchange_type),
 264             /* passive     = */ 0,
 265             /* durable     = */ 0,
 266             /* auto_delete = */ 1,
 267             /* arguments   = */ AMQP_EMPTY_TABLE);
 268     if ((ed_ret == NULL) && camqp_is_error (conf))
 269     {
 270         char errbuf[1024];
 271         ERROR ("amqp plugin: amqp_exchange_declare failed: %s",
 272                 camqp_strerror (conf, errbuf, sizeof (errbuf)));
 273         camqp_close_connection (conf);
 274         return (-1);
 275     }
 276
 277     INFO ("amqp plugin: Successfully created exchange \"%s\" "
 278             "with type \"%s\".",
 279             conf->exchange, conf->exchange_type);
 280
 281     return (0);
 282 } /* }}} int camqp_create_exchange */
 283 #else
 284 static int camqp_create_exchange (camqp_config_t *conf) /* {{{ */
 285 {
 286     amqp_exchange_declare_ok_t *ed_ret;
 287     amqp_table_t argument_table;
 288     struct amqp_table_entry_t_ argument_table_entries[1];
 289
 290     if (conf->exchange_type == NULL)
 291         return (0);
 292
 293     /* Valid arguments: "auto_delete", "internal" */
 294     argument_table.num_entries = STATIC_ARRAY_SIZE (argument_table_entries);
 295     argument_table.entries = argument_table_entries;
 296     argument_table_entries[0].key = amqp_cstring_bytes ("auto_delete");
 297     argument_table_entries[0].value.kind = AMQP_FIELD_KIND_BOOLEAN;
 298     argument_table_entries[0].value.value.boolean = 1;
 299
 300     ed_ret = amqp_exchange_declare (conf->connection,
 301             /* channel     = */ CAMQP_CHANNEL,
 302             /* exchange    = */ amqp_cstring_bytes (conf->exchange),
 303             /* type        = */ amqp_cstring_bytes (conf->exchange_type),
 304             /* passive     = */ 0,
 305             /* durable     = */ 0,
 306 #if defined(AMQP_VERSION) && AMQP_VERSION >= 0x00060000
 307             /* auto delete = */ 0,
 308             /* internal    = */ 0,
 309 #endif
 310             /* arguments   = */ argument_table);
 311     if ((ed_ret == NULL) && camqp_is_error (conf))
 312     {
 313         char errbuf[1024];
 314         ERROR ("amqp plugin: amqp_exchange_declare failed: %s",
 315                 camqp_strerror (conf, errbuf, sizeof (errbuf)));
 316         camqp_close_connection (conf);
 317         return (-1);
 318     }
 319
 320     INFO ("amqp plugin: Successfully created exchange \"%s\" "
 321             "with type \"%s\".",
 322             conf->exchange, conf->exchange_type);
 323
 324     return (0);
 325 } /* }}} int camqp_create_exchange */
 326 #endif
 327
 328 static int camqp_setup_queue (camqp_config_t *conf) /* {{{ */
 329 {
 330     amqp_queue_declare_ok_t *qd_ret;
 331     amqp_basic_consume_ok_t *cm_ret;
 332
 333     qd_ret = amqp_queue_declare (conf->connection,
 334             /* channel     = */ CAMQP_CHANNEL,
 335             /* queue       = */ (conf->queue != NULL)
 336             ? amqp_cstring_bytes (conf->queue)
 337             : AMQP_EMPTY_BYTES,
 338             /* passive     = */ 0,
 339             /* durable     = */ conf->queue_durable,
 340             /* exclusive   = */ 0,
 341             /* auto_delete = */ conf->queue_auto_delete,
 342             /* arguments   = */ AMQP_EMPTY_TABLE);
 343     if (qd_ret == NULL)
 344     {
 345         ERROR ("amqp plugin: amqp_queue_declare failed.");
 346         camqp_close_connection (conf);
 347         return (-1);
 348     }
 349
 350     if (conf->queue == NULL)
 351     {
 352         conf->queue = camqp_bytes_cstring (&qd_ret->queue);
 353         if (conf->queue == NULL)
 354         {
 355             ERROR ("amqp plugin: camqp_bytes_cstring failed.");
 356             camqp_close_connection (conf);
 357             return (-1);
 358         }
 359
 360         INFO ("amqp plugin: Created queue \"%s\".", conf->queue);
 361     }
 362     DEBUG ("amqp plugin: Successfully created queue \"%s\".", conf->queue);
 363
 364     /* bind to an exchange */
 365     if (conf->exchange != NULL)
 366     {
 367         amqp_queue_bind_ok_t *qb_ret;
 368
 369         assert (conf->queue != NULL);
 370         qb_ret = amqp_queue_bind (conf->connection,
 371                 /* channel     = */ CAMQP_CHANNEL,
 372                 /* queue       = */ amqp_cstring_bytes (conf->queue),
 373                 /* exchange    = */ amqp_cstring_bytes (conf->exchange),
 374                 /* routing_key = */ (conf->routing_key != NULL)
 375                 ? amqp_cstring_bytes (conf->routing_key)
 376                 : AMQP_EMPTY_BYTES,
 377                 /* arguments   = */ AMQP_EMPTY_TABLE);
 378         if ((qb_ret == NULL) && camqp_is_error (conf))
 379         {
 380             char errbuf[1024];
 381             ERROR ("amqp plugin: amqp_queue_bind failed: %s",
 382                     camqp_strerror (conf, errbuf, sizeof (errbuf)));
 383             camqp_close_connection (conf);
 384             return (-1);
 385         }
 386
 387         DEBUG ("amqp plugin: Successfully bound queue \"%s\" to exchange \"%s\".",
 388                 conf->queue, conf->exchange);
 389     } /* if (conf->exchange != NULL) */
 390
 391     cm_ret = amqp_basic_consume (conf->connection,
 392             /* channel      = */ CAMQP_CHANNEL,
 393             /* queue        = */ amqp_cstring_bytes (conf->queue),
 394             /* consumer_tag = */ AMQP_EMPTY_BYTES,
 395             /* no_local     = */ 0,
 396             /* no_ack       = */ 1,
 397             /* exclusive    = */ 0,
 398             /* arguments    = */ AMQP_EMPTY_TABLE
 399         );
 400     if ((cm_ret == NULL) && camqp_is_error (conf))
 401     {
 402         char errbuf[1024];
 403         ERROR ("amqp plugin: amqp_basic_consume failed: %s",
 404                     camqp_strerror (conf, errbuf, sizeof (errbuf)));
 405         camqp_close_connection (conf);
 406         return (-1);
 407     }
 408
 409     return (0);
 410 } /* }}} int camqp_setup_queue */
 411
 412 static int camqp_connect (camqp_config_t *conf) /* {{{ */
 413 {
 414     static time_t last_connect_time = 0;
 415
 416     amqp_rpc_reply_t reply;
 417     int status;
 418 #ifdef HAVE_AMQP_TCP_SOCKET
 419     amqp_socket_t *socket;
 420 #else
 421     int sockfd;
 422 #endif
 423
 424     if (conf->connection != NULL)
 425         return (0);
 426
 427     time_t now = time(NULL);
 428     if (now < (last_connect_time + conf->connection_retry_delay))
 429     {
 430         DEBUG("amqp plugin: skipping connection retry, "
 431             "ConnectionRetryDelay: %d", conf->connection_retry_delay);
 432         return(1);
 433     }
 434     else
 435     {
 436         DEBUG ("amqp plugin: retrying connection");
 437         last_connect_time = now;
 438     }
 439
 440     conf->connection = amqp_new_connection ();
 441     if (conf->connection == NULL)
 442     {
 443         ERROR ("amqp plugin: amqp_new_connection failed.");
 444         return (ENOMEM);
 445     }
 446
 447 #ifdef HAVE_AMQP_TCP_SOCKET
 448 # define CLOSE_SOCKET() /* amqp_destroy_connection() closes the socket for us */
 449     /* TODO: add support for SSL using amqp_ssl_socket_new
 450      *       and related functions */
 451     socket = amqp_tcp_socket_new (conf->connection);
 452     if (! socket)
 453     {
 454         ERROR ("amqp plugin: amqp_tcp_socket_new failed.");
 455         amqp_destroy_connection (conf->connection);
 456         conf->connection = NULL;
 457         return (ENOMEM);
 458     }
 459
 460     status = amqp_socket_open (socket, CONF(conf, host), conf->port);
 461     if (status < 0)
 462     {
 463         char errbuf[1024];
 464         status *= -1;
 465         ERROR ("amqp plugin: amqp_socket_open failed: %s",
 466                 sstrerror (status, errbuf, sizeof (errbuf)));
 467         amqp_destroy_connection (conf->connection);
 468         conf->connection = NULL;
 469         return (status);
 470     }
 471 #else /* HAVE_AMQP_TCP_SOCKET */
 472 # define CLOSE_SOCKET() close(sockfd)
 473     /* this interface is deprecated as of rabbitmq-c 0.4 */
 474     sockfd = amqp_open_socket (CONF(conf, host), conf->port);
 475     if (sockfd < 0)
 476     {
 477         char errbuf[1024];
 478         status = (-1) * sockfd;
 479         ERROR ("amqp plugin: amqp_open_socket failed: %s",
 480                 sstrerror (status, errbuf, sizeof (errbuf)));
 481         amqp_destroy_connection (conf->connection);
 482         conf->connection = NULL;
 483         return (status);
 484     }
 485     amqp_set_sockfd (conf->connection, sockfd);
 486 #endif
 487
 488     reply = amqp_login (conf->connection, CONF(conf, vhost),
 489             /* channel max = */      0,
 490             /* frame max   = */ 131072,
 491             /* heartbeat   = */      0,
 492             /* authentication = */ AMQP_SASL_METHOD_PLAIN,
 493             CONF(conf, user), CONF(conf, password));
 494     if (reply.reply_type != AMQP_RESPONSE_NORMAL)
 495     {
 496         ERROR ("amqp plugin: amqp_login (vhost = %s, user = %s) failed.",
 497                 CONF(conf, vhost), CONF(conf, user));
 498         amqp_destroy_connection (conf->connection);
 499         CLOSE_SOCKET ();
 500         conf->connection = NULL;
 501         return (1);
 502     }
 503
 504     amqp_channel_open (conf->connection, /* channel = */ 1);
 505     /* FIXME: Is checking "reply.reply_type" really correct here? How does
 506      * it get set? --octo */
 507     if (reply.reply_type != AMQP_RESPONSE_NORMAL)
 508     {
 509         ERROR ("amqp plugin: amqp_channel_open failed.");
 510         amqp_connection_close (conf->connection, AMQP_REPLY_SUCCESS);
 511         amqp_destroy_connection (conf->connection);
 512         CLOSE_SOCKET ();
 513         conf->connection = NULL;
 514         return (1);
 515     }
 516
 517     INFO ("amqp plugin: Successfully opened connection to vhost \"%s\" "
 518             "on %s:%i.", CONF(conf, vhost), CONF(conf, host), conf->port);
 519
 520     status = camqp_create_exchange (conf);
 521     if (status != 0)
 522         return (status);
 523
 524     if (!conf->publish)
 525         return (camqp_setup_queue (conf));
 526     return (0);
 527 } /* }}} int camqp_connect */
 528
 529 static int camqp_shutdown (void) /* {{{ */
 530 {
 531     DEBUG ("amqp plugin: Shutting down %zu subscriber threads.",
 532             subscriber_threads_num);
 533
 534     subscriber_threads_running = 0;
 535     for (size_t i = 0; i < subscriber_threads_num; i++)
 536     {
 537         /* FIXME: Sending a signal is not very elegant here. Maybe find out how
 538          * to use a timeout in the thread and check for the variable in regular
 539          * intervals. */
 540         pthread_kill (subscriber_threads[i], SIGTERM);
 541         pthread_join (subscriber_threads[i], /* retval = */ NULL);
 542     }
 543
 544     subscriber_threads_num = 0;
 545     sfree (subscriber_threads);
 546
 547     DEBUG ("amqp plugin: All subscriber threads exited.");
 548
 549     return (0);
 550 } /* }}} int camqp_shutdown */
 551
 552 /*
 553  * Subscribing code
 554  */
 555 static int camqp_read_body (camqp_config_t *conf, /* {{{ */
 556         size_t body_size, const char *content_type)
 557 {
 558     char body[body_size + 1];
 559     char *body_ptr;
 560     size_t received;
 561     amqp_frame_t frame;
 562     int status;
 563
 564     memset (body, 0, sizeof (body));
 565     body_ptr = &body[0];
 566     received = 0;
 567
 568     while (received < body_size)
 569     {
 570         status = amqp_simple_wait_frame (conf->connection, &frame);
 571         if (status < 0)
 572         {
 573             char errbuf[1024];
 574             status = (-1) * status;
 575             ERROR ("amqp plugin: amqp_simple_wait_frame failed: %s",
 576                     sstrerror (status, errbuf, sizeof (errbuf)));
 577             camqp_close_connection (conf);
 578             return (status);
 579         }
 580
 581         if (frame.frame_type != AMQP_FRAME_BODY)
 582         {
 583             NOTICE ("amqp plugin: Unexpected frame type: %#"PRIx8,
 584                     frame.frame_type);
 585             return (-1);
 586         }
 587
 588         if ((body_size - received) < frame.payload.body_fragment.len)
 589         {
 590             WARNING ("amqp plugin: Body is larger than indicated by header.");
 591             return (-1);
 592         }
 593
 594         memcpy (body_ptr, frame.payload.body_fragment.bytes,
 595                 frame.payload.body_fragment.len);
 596         body_ptr += frame.payload.body_fragment.len;
 597         received += frame.payload.body_fragment.len;
 598     } /* while (received < body_size) */
 599
 600     if (strcasecmp ("text/collectd", content_type) == 0)
 601     {
 602         status = cmd_handle_putval (stderr, body);
 603         if (status != 0)
 604             ERROR ("amqp plugin: cmd_handle_putval failed with status %i.",
 605                     status);
 606         return (status);
 607     }
 608     else if (strcasecmp ("application/json", content_type) == 0)
 609     {
 610         ERROR ("amqp plugin: camqp_read_body: Parsing JSON data has not "
 611                 "been implemented yet. FIXME!");
 612         return (0);
 613     }
 614     else
 615     {
 616         ERROR ("amqp plugin: camqp_read_body: Unknown content type \"%s\".",
 617                 content_type);
 618         return (EINVAL);
 619     }
 620
 621     /* not reached */
 622     return (0);
 623 } /* }}} int camqp_read_body */
 624
 625 static int camqp_read_header (camqp_config_t *conf) /* {{{ */
 626 {
 627     int status;
 628     amqp_frame_t frame;
 629     amqp_basic_properties_t *properties;
 630     char *content_type;
 631
 632     status = amqp_simple_wait_frame (conf->connection, &frame);
 633     if (status < 0)
 634     {
 635         char errbuf[1024];
 636         status = (-1) * status;
 637         ERROR ("amqp plugin: amqp_simple_wait_frame failed: %s",
 638                     sstrerror (status, errbuf, sizeof (errbuf)));
 639         camqp_close_connection (conf);
 640         return (status);
 641     }
 642
 643     if (frame.frame_type != AMQP_FRAME_HEADER)
 644     {
 645         NOTICE ("amqp plugin: Unexpected frame type: %#"PRIx8,
 646                 frame.frame_type);
 647         return (-1);
 648     }
 649
 650     properties = frame.payload.properties.decoded;
 651     content_type = camqp_bytes_cstring (&properties->content_type);
 652     if (content_type == NULL)
 653     {
 654         ERROR ("amqp plugin: Unable to determine content type.");
 655         return (-1);
 656     }
 657
 658     status = camqp_read_body (conf,
 659             (size_t) frame.payload.properties.body_size,
 660             content_type);
 661
 662     sfree (content_type);
 663     return (status);
 664 } /* }}} int camqp_read_header */
 665
 666 static void *camqp_subscribe_thread (void *user_data) /* {{{ */
 667 {
 668     camqp_config_t *conf = user_data;
 669     int status;
 670
 671     cdtime_t interval = plugin_get_interval ();
 672
 673     while (subscriber_threads_running)
 674     {
 675         amqp_frame_t frame;
 676
 677         status = camqp_connect (conf);
 678         if (status != 0)
 679         {
 680             ERROR ("amqp plugin: camqp_connect failed. "
 681                     "Will sleep for %.3f seconds.",
 682                     CDTIME_T_TO_DOUBLE (interval));
 683             nanosleep (&CDTIME_T_TO_TIMESPEC (interval), /* remaining = */ NULL);
 684             continue;
 685         }
 686
 687         status = amqp_simple_wait_frame (conf->connection, &frame);
 688         if (status < 0)
 689         {
 690             ERROR ("amqp plugin: amqp_simple_wait_frame failed. "
 691                     "Will sleep for %.3f seconds.",
 692                     CDTIME_T_TO_DOUBLE (interval));
 693             camqp_close_connection (conf);
 694             nanosleep (&CDTIME_T_TO_TIMESPEC (interval), /* remaining = */ NULL);
 695             continue;
 696         }
 697
 698         if (frame.frame_type != AMQP_FRAME_METHOD)
 699         {
 700             DEBUG ("amqp plugin: Unexpected frame type: %#"PRIx8,
 701                     frame.frame_type);
 702             continue;
 703         }
 704
 705         if (frame.payload.method.id != AMQP_BASIC_DELIVER_METHOD)
 706         {
 707             DEBUG ("amqp plugin: Unexpected method id: %#"PRIx32,
 708                     frame.payload.method.id);
 709             continue;
 710         }
 711
 712         camqp_read_header (conf);
 713
 714         amqp_maybe_release_buffers (conf->connection);
 715     } /* while (subscriber_threads_running) */
 716
 717     camqp_config_free (conf);
 718     pthread_exit (NULL);
 719     return (NULL);
 720 } /* }}} void *camqp_subscribe_thread */
 721
 722 static int camqp_subscribe_init (camqp_config_t *conf) /* {{{ */
 723 {
 724     int status;
 725     pthread_t *tmp;
 726
 727     tmp = realloc (subscriber_threads,
 728             sizeof (*subscriber_threads) * (subscriber_threads_num + 1));
 729     if (tmp == NULL)
 730     {
 731         ERROR ("amqp plugin: realloc failed.");
 732         sfree (subscriber_threads);
 733         return (ENOMEM);
 734     }
 735     subscriber_threads = tmp;
 736     tmp = subscriber_threads + subscriber_threads_num;
 737     memset (tmp, 0, sizeof (*tmp));
 738
 739     status = plugin_thread_create (tmp, /* attr = */ NULL,
 740             camqp_subscribe_thread, conf, "amqp subscribe");
 741     if (status != 0)
 742     {
 743         char errbuf[1024];
 744         ERROR ("amqp plugin: pthread_create failed: %s",
 745                 sstrerror (status, errbuf, sizeof (errbuf)));
 746         return (status);
 747     }
 748
 749     subscriber_threads_num++;
 750
 751     return (0);
 752 } /* }}} int camqp_subscribe_init */
 753
 754 /*
 755  * Publishing code
 756  */
 757 /* XXX: You must hold "conf->lock" when calling this function! */
 758 static int camqp_write_locked (camqp_config_t *conf, /* {{{ */
 759         const char *buffer, const char *routing_key)
 760 {
 761     int status;
 762
 763     status = camqp_connect (conf);
 764     if (status != 0)
 765         return (status);
 766
 767     amqp_basic_properties_t props = {
 768         ._flags = AMQP_BASIC_CONTENT_TYPE_FLAG
 769             | AMQP_BASIC_DELIVERY_MODE_FLAG
 770             | AMQP_BASIC_APP_ID_FLAG,
 771         .delivery_mode = conf->delivery_mode,
 772         .app_id = amqp_cstring_bytes("collectd")
 773     };
 774
 775     if (conf->format == CAMQP_FORMAT_COMMAND)
 776         props.content_type = amqp_cstring_bytes("text/collectd");
 777     else if (conf->format == CAMQP_FORMAT_JSON)
 778         props.content_type = amqp_cstring_bytes("application/json");
 779     else if (conf->format == CAMQP_FORMAT_GRAPHITE)
 780         props.content_type = amqp_cstring_bytes("text/graphite");
 781     else
 782         assert (23 == 42);
 783
 784     status = amqp_basic_publish(conf->connection,
 785                 /* channel = */ 1,
 786                 amqp_cstring_bytes(CONF(conf, exchange)),
 787                 amqp_cstring_bytes (routing_key),
 788                 /* mandatory = */ 0,
 789                 /* immediate = */ 0,
 790                 &props,
 791                 amqp_cstring_bytes(buffer));
 792     if (status != 0)
 793     {
 794         ERROR ("amqp plugin: amqp_basic_publish failed with status %i.",
 795                 status);
 796         camqp_close_connection (conf);
 797     }
 798
 799     return (status);
 800 } /* }}} int camqp_write_locked */
 801
 802 static int camqp_write (const data_set_t *ds, const value_list_t *vl, /* {{{ */
 803         user_data_t *user_data)
 804 {
 805     camqp_config_t *conf = user_data->data;
 806     char routing_key[6 * DATA_MAX_NAME_LEN];
 807     char buffer[8192];
 808     int status;
 809
 810     if ((ds == NULL) || (vl == NULL) || (conf == NULL))
 811         return (EINVAL);
 812
 813     if (conf->routing_key != NULL)
 814     {
 815         sstrncpy (routing_key, conf->routing_key, sizeof (routing_key));
 816     }
 817     else
 818     {
 819         ssnprintf (routing_key, sizeof (routing_key), "collectd/%s/%s/%s/%s/%s",
 820                 vl->host,
 821                 vl->plugin, vl->plugin_instance,
 822                 vl->type, vl->type_instance);
 823
 824         /* Switch slashes (the only character forbidden by collectd) and dots
 825          * (the separation character used by AMQP). */
 826         for (size_t i = 0; routing_key[i] != 0; i++)
 827         {
 828             if (routing_key[i] == '.')
 829                 routing_key[i] = '/';
 830             else if (routing_key[i] == '/')
 831                 routing_key[i] = '.';
 832         }
 833     }
 834
 835     if (conf->format == CAMQP_FORMAT_COMMAND)
 836     {
 837         status = cmd_create_putval (buffer, sizeof (buffer), ds, vl);
 838         if (status != 0)
 839         {
 840             ERROR ("amqp plugin: cmd_create_putval failed with status %i.",
 841                     status);
 842             return (status);
 843         }
 844     }
 845     else if (conf->format == CAMQP_FORMAT_JSON)
 846     {
 847         size_t bfree = sizeof (buffer);
 848         size_t bfill = 0;
 849
 850         format_json_initialize (buffer, &bfill, &bfree);
 851         format_json_value_list (buffer, &bfill, &bfree, ds, vl, conf->store_rates);
 852         format_json_finalize (buffer, &bfill, &bfree);
 853     }
 854     else if (conf->format == CAMQP_FORMAT_GRAPHITE)
 855     {
 856         status = format_graphite (buffer, sizeof (buffer), ds, vl,
 857                     conf->prefix, conf->postfix, conf->escape_char,
 858                     conf->graphite_flags);
 859         if (status != 0)
 860         {
 861             ERROR ("amqp plugin: format_graphite failed with status %i.",
 862                     status);
 863             return (status);
 864         }
 865     }
 866     else
 867     {
 868         ERROR ("amqp plugin: Invalid format (%i).", conf->format);
 869         return (-1);
 870     }
 871
 872     pthread_mutex_lock (&conf->lock);
 873     status = camqp_write_locked (conf, buffer, routing_key);
 874     pthread_mutex_unlock (&conf->lock);
 875
 876     return (status);
 877 } /* }}} int camqp_write */
 878
 879 /*
 880  * Config handling
 881  */
 882 static int camqp_config_set_format (oconfig_item_t *ci, /* {{{ */
 883         camqp_config_t *conf)
 884 {
 885     char *string;
 886     int status;
 887
 888     string = NULL;
 889     status = cf_util_get_string (ci, &string);
 890     if (status != 0)
 891         return (status);
 892
 893     assert (string != NULL);
 894     if (strcasecmp ("Command", string) == 0)
 895         conf->format = CAMQP_FORMAT_COMMAND;
 896     else if (strcasecmp ("JSON", string) == 0)
 897         conf->format = CAMQP_FORMAT_JSON;
 898     else if (strcasecmp ("Graphite", string) == 0)
 899         conf->format = CAMQP_FORMAT_GRAPHITE;
 900     else
 901     {
 902         WARNING ("amqp plugin: Invalid format string: %s",
 903                 string);
 904     }
 905
 906     free (string);
 907
 908     return (0);
 909 } /* }}} int config_set_string */
 910
 911 static int camqp_config_connection (oconfig_item_t *ci, /* {{{ */
 912         _Bool publish)
 913 {
 914     camqp_config_t *conf;
 915     int status;
 916
 917     conf = calloc (1, sizeof (*conf));
 918     if (conf == NULL)
 919     {
 920         ERROR ("amqp plugin: calloc failed.");
 921         return (ENOMEM);
 922     }
 923
 924     /* Initialize "conf" {{{ */
 925     conf->publish = publish;
 926     conf->name = NULL;
 927     conf->format = CAMQP_FORMAT_COMMAND;
 928     conf->host = NULL;
 929     conf->port = 5672;
 930     conf->vhost = NULL;
 931     conf->user = NULL;
 932     conf->password = NULL;
 933     conf->exchange = NULL;
 934     conf->routing_key = NULL;
 935     conf->connection_retry_delay = 0;
 936
 937     /* publish only */
 938     conf->delivery_mode = CAMQP_DM_VOLATILE;
 939     conf->store_rates = 0;
 940     conf->graphite_flags = 0;
 941     /* publish & graphite only */
 942     conf->prefix = NULL;
 943     conf->postfix = NULL;
 944     conf->escape_char = '_';
 945     /* subscribe only */
 946     conf->exchange_type = NULL;
 947     conf->queue = NULL;
 948     conf->queue_durable = 0;
 949     conf->queue_auto_delete = 1;
 950     /* general */
 951     conf->connection = NULL;
 952     pthread_mutex_init (&conf->lock, /* attr = */ NULL);
 953     /* }}} */
 954
 955     status = cf_util_get_string (ci, &conf->name);
 956     if (status != 0)
 957     {
 958         sfree (conf);
 959         return (status);
 960     }
 961
 962     for (int i = 0; i < ci->children_num; i++)
 963     {
 964         oconfig_item_t *child = ci->children + i;
 965
 966         if (strcasecmp ("Host", child->key) == 0)
 967             status = cf_util_get_string (child, &conf->host);
 968         else if (strcasecmp ("Port", child->key) == 0)
 969         {
 970             status = cf_util_get_port_number (child);
 971             if (status > 0)
 972             {
 973                 conf->port = status;
 974                 status = 0;
 975             }
 976         }
 977         else if (strcasecmp ("VHost", child->key) == 0)
 978             status = cf_util_get_string (child, &conf->vhost);
 979         else if (strcasecmp ("User", child->key) == 0)
 980             status = cf_util_get_string (child, &conf->user);
 981         else if (strcasecmp ("Password", child->key) == 0)
 982             status = cf_util_get_string (child, &conf->password);
 983         else if (strcasecmp ("Exchange", child->key) == 0)
 984             status = cf_util_get_string (child, &conf->exchange);
 985         else if ((strcasecmp ("ExchangeType", child->key) == 0) && !publish)
 986             status = cf_util_get_string (child, &conf->exchange_type);
 987         else if ((strcasecmp ("Queue", child->key) == 0) && !publish)
 988             status = cf_util_get_string (child, &conf->queue);
 989         else if ((strcasecmp ("QueueDurable", child->key) == 0) && !publish)
 990             status = cf_util_get_boolean (child, &conf->queue_durable);
 991         else if ((strcasecmp ("QueueAutoDelete", child->key) == 0) && !publish)
 992             status = cf_util_get_boolean (child, &conf->queue_auto_delete);
 993         else if (strcasecmp ("RoutingKey", child->key) == 0)
 994             status = cf_util_get_string (child, &conf->routing_key);
 995         else if ((strcasecmp ("Persistent", child->key) == 0) && publish)
 996         {
 997             _Bool tmp = 0;
 998             status = cf_util_get_boolean (child, &tmp);
 999             if (tmp)
1000                 conf->delivery_mode = CAMQP_DM_PERSISTENT;
1001             else
1002                 conf->delivery_mode = CAMQP_DM_VOLATILE;
1003         }
1004         else if ((strcasecmp ("StoreRates", child->key) == 0) && publish)
1005         {
1006             status = cf_util_get_boolean (child, &conf->store_rates);
1007             (void) cf_util_get_flag (child, &conf->graphite_flags,
1008                     GRAPHITE_STORE_RATES);
1009         }
1010         else if ((strcasecmp ("Format", child->key) == 0) && publish)
1011             status = camqp_config_set_format (child, conf);
1012         else if ((strcasecmp ("GraphiteSeparateInstances", child->key) == 0) && publish)
1013             status = cf_util_get_flag (child, &conf->graphite_flags,
1014                     GRAPHITE_SEPARATE_INSTANCES);
1015         else if ((strcasecmp ("GraphiteAlwaysAppendDS", child->key) == 0) && publish)
1016             status = cf_util_get_flag (child, &conf->graphite_flags,
1017                     GRAPHITE_ALWAYS_APPEND_DS);
1018         else if ((strcasecmp ("GraphitePreserveSeparator", child->key) == 0) && publish)
1019             status = cf_util_get_flag (child, &conf->graphite_flags,
1020                     GRAPHITE_PRESERVE_SEPARATOR);
1021         else if ((strcasecmp ("GraphitePrefix", child->key) == 0) && publish)
1022             status = cf_util_get_string (child, &conf->prefix);
1023         else if ((strcasecmp ("GraphitePostfix", child->key) == 0) && publish)
1024             status = cf_util_get_string (child, &conf->postfix);
1025         else if ((strcasecmp ("GraphiteEscapeChar", child->key) == 0) && publish)
1026         {
1027             char *tmp_buff = NULL;
1028             status = cf_util_get_string (child, &tmp_buff);
1029             if (strlen (tmp_buff) > 1)
1030                 WARNING ("amqp plugin: The option \"GraphiteEscapeChar\" handles "
1031                         "only one character. Others will be ignored.");
1032             conf->escape_char = tmp_buff[0];
1033             sfree (tmp_buff);
1034         }
1035         else if (strcasecmp ("ConnectionRetryDelay", child->key) == 0)
1036             status = cf_util_get_int (child, &conf->connection_retry_delay);
1037         else
1038             WARNING ("amqp plugin: Ignoring unknown "
1039                     "configuration option \"%s\".", child->key);
1040
1041         if (status != 0)
1042             break;
1043     } /* for (i = 0; i < ci->children_num; i++) */
1044
1045     if ((status == 0) && (conf->exchange == NULL))
1046     {
1047         if (conf->exchange_type != NULL)
1048             WARNING ("amqp plugin: The option \"ExchangeType\" was given "
1049                     "without the \"Exchange\" option. It will be ignored.");
1050
1051         if (!publish && (conf->routing_key != NULL))
1052             WARNING ("amqp plugin: The option \"RoutingKey\" was given "
1053                     "without the \"Exchange\" option. It will be ignored.");
1054
1055     }
1056
1057     if (status != 0)
1058     {
1059         camqp_config_free (conf);
1060         return (status);
1061     }
1062
1063     if (conf->exchange != NULL)
1064     {
1065         DEBUG ("amqp plugin: camqp_config_connection: exchange = %s;",
1066                 conf->exchange);
1067     }
1068
1069     if (publish)
1070     {
1071         char cbname[128];
1072         ssnprintf (cbname, sizeof (cbname), "amqp/%s", conf->name);
1073
1074         status = plugin_register_write (cbname, camqp_write,
1075                 &(user_data_t) {
1076                     .data = conf,
1077                     .free_func = camqp_config_free,
1078                 });
1079         if (status != 0)
1080         {
1081             camqp_config_free (conf);
1082             return (status);
1083         }
1084     }
1085     else
1086     {
1087         status = camqp_subscribe_init (conf);
1088         if (status != 0)
1089         {
1090             camqp_config_free (conf);
1091             return (status);
1092         }
1093     }
1094
1095     return (0);
1096 } /* }}} int camqp_config_connection */
1097
1098 static int camqp_config (oconfig_item_t *ci) /* {{{ */
1099 {
1100     for (int i = 0; i < ci->children_num; i++)
1101     {
1102         oconfig_item_t *child = ci->children + i;
1103
1104         if (strcasecmp ("Publish", child->key) == 0)
1105             camqp_config_connection (child, /* publish = */ 1);
1106         else if (strcasecmp ("Subscribe", child->key) == 0)
1107             camqp_config_connection (child, /* publish = */ 0);
1108         else
1109             WARNING ("amqp plugin: Ignoring unknown config option \"%s\".",
1110                     child->key);
1111     } /* for (ci->children_num) */
1112
1113     return (0);
1114 } /* }}} int camqp_config */
1115
1116 void module_register (void)
1117 {
1118     plugin_register_complex_config ("amqp", camqp_config);
1119     plugin_register_shutdown ("amqp", camqp_shutdown);
1120 } /* void module_register */
1121
1122 /* vim: set sw=4 sts=4 et fdm=marker : */