src/memcached.c

   1 /**
   2  * collectd - src/memcached.c, based on src/hddtemp.c
   3  * Copyright (C) 2007       Antony Dovgal
   4  * Copyright (C) 2007-2009  Florian Forster
   5  * Copyright (C) 2009       Doug MacEachern
   6  * Copyright (C) 2009       Franck Lombardi
   7  *
   8  * This program is free software; you can redistribute it and/or modify it
   9  * under the terms of the GNU General Public License as published by the
  10  * Free Software Foundation; either version 2 of the License, or (at your
  11  * option) any later version.
  12  *
  13  * This program is distributed in the hope that it will be useful, but
  14  * WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License along
  19  * with this program; if not, write to the Free Software Foundation, Inc.,
  20  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  21  *
  22  * Authors:
  23  *   Antony Dovgal <tony at daylessday dot org>
  24  *   Florian octo Forster <octo at verplant.org>
  25  *   Doug MacEachern <dougm at hyperic.com>
  26  *   Franck Lombardi
  27  **/
  28
  29 #include "collectd.h"
  30 #include "common.h"
  31 #include "plugin.h"
  32 #include "configfile.h"
  33
  34 # include <poll.h>
  35 # include <netdb.h>
  36 # include <sys/socket.h>
  37 # include <sys/un.h>
  38 # include <netinet/in.h>
  39 # include <netinet/tcp.h>
  40
  41 /* Hack to work around the missing define in AIX */
  42 #ifndef MSG_DONTWAIT
  43 # define MSG_DONTWAIT MSG_NONBLOCK
  44 #endif
  45
  46 #define MEMCACHED_DEF_HOST "127.0.0.1"
  47 #define MEMCACHED_DEF_PORT "11211"
  48
  49 #define MEMCACHED_RETRY_COUNT 100
  50
  51 static const char *config_keys[] =
  52 {
  53         "Socket",
  54         "Host",
  55         "Port"
  56 };
  57 static int config_keys_num = STATIC_ARRAY_SIZE (config_keys);
  58
  59 static char *memcached_socket = NULL;
  60 static char *memcached_host = NULL;
  61 static char memcached_port[16];
  62
  63 static int memcached_query_daemon (char *buffer, int buffer_size) /* {{{ */
  64 {
  65         int fd;
  66         ssize_t status;
  67         int buffer_fill;
  68         int i = 0;
  69
  70         if (memcached_socket != NULL) {
  71                 struct sockaddr_un serv_addr;
  72
  73                 memset (&serv_addr, 0, sizeof (serv_addr));
  74                 serv_addr.sun_family = AF_UNIX;
  75                 sstrncpy (serv_addr.sun_path, memcached_socket,
  76                                 sizeof (serv_addr.sun_path));
  77
  78                 /* create our socket descriptor */
  79                 fd = socket (AF_UNIX, SOCK_STREAM, 0);
  80                 if (fd < 0) {
  81                         char errbuf[1024];
  82                         ERROR ("memcached: unix socket: %s", sstrerror (errno, errbuf,
  83                                                 sizeof (errbuf)));
  84                         return -1;
  85                 }
  86
  87                 /* connect to the memcached daemon */
  88                 status = (ssize_t) connect (fd, (struct sockaddr *) &serv_addr,
  89                                 sizeof (serv_addr));
  90                 if (status != 0) {
  91                         shutdown (fd, SHUT_RDWR);
  92                         close (fd);
  93                         fd = -1;
  94                 }
  95         }
  96         else { /* if (memcached_socket == NULL) */
  97                 const char *host;
  98                 const char *port;
  99
 100                 struct addrinfo  ai_hints;
 101                 struct addrinfo *ai_list, *ai_ptr;
 102                 int              ai_return = 0;
 103
 104                 memset (&ai_hints, '\0', sizeof (ai_hints));
 105                 ai_hints.ai_flags    = 0;
 106 #ifdef AI_ADDRCONFIG
 107                 /*      ai_hints.ai_flags   |= AI_ADDRCONFIG; */
 108 #endif
 109                 ai_hints.ai_family   = AF_INET;
 110                 ai_hints.ai_socktype = SOCK_STREAM;
 111                 ai_hints.ai_protocol = 0;
 112
 113                 host = memcached_host;
 114                 if (host == NULL) {
 115                         host = MEMCACHED_DEF_HOST;
 116                 }
 117
 118                 port = memcached_port;
 119                 if (strlen (port) == 0) {
 120                         port = MEMCACHED_DEF_PORT;
 121                 }
 122
 123                 if ((ai_return = getaddrinfo (host, port, &ai_hints, &ai_list)) != 0) {
 124                         char errbuf[1024];
 125                         ERROR ("memcached: getaddrinfo (%s, %s): %s",
 126                                         host, port,
 127                                         (ai_return == EAI_SYSTEM)
 128                                         ? sstrerror (errno, errbuf, sizeof (errbuf))
 129                                         : gai_strerror (ai_return));
 130                         return -1;
 131                 }
 132
 133                 fd = -1;
 134                 for (ai_ptr = ai_list; ai_ptr != NULL; ai_ptr = ai_ptr->ai_next) {
 135                         /* create our socket descriptor */
 136                         fd = socket (ai_ptr->ai_family, ai_ptr->ai_socktype, ai_ptr->ai_protocol);
 137                         if (fd < 0) {
 138                                 char errbuf[1024];
 139                                 ERROR ("memcached: socket: %s", sstrerror (errno, errbuf, sizeof (errbuf)));
 140                                 continue;
 141                         }
 142
 143                         /* connect to the memcached daemon */
 144                         status = (ssize_t) connect (fd, (struct sockaddr *) ai_ptr->ai_addr, ai_ptr->ai_addrlen);
 145                         if (status != 0) {
 146                                 shutdown (fd, SHUT_RDWR);
 147                                 close (fd);
 148                                 fd = -1;
 149                                 continue;
 150                         }
 151
 152                         /* A socket could be opened and connecting succeeded. We're
 153                          * done. */
 154                         break;
 155                 }
 156
 157                 freeaddrinfo (ai_list);
 158         }
 159
 160         if (fd < 0) {
 161                 ERROR ("memcached: Could not connect to daemon.");
 162                 return -1;
 163         }
 164
 165         if (send(fd, "stats\r\n", sizeof("stats\r\n") - 1, MSG_DONTWAIT) != (sizeof("stats\r\n") - 1)) {
 166                 ERROR ("memcached: Could not send command to the memcached daemon.");
 167                 return -1;
 168         }
 169
 170         {
 171                 struct pollfd p;
 172                 int status;
 173
 174                 memset (&p, 0, sizeof (p));
 175                 p.fd = fd;
 176                 p.events = POLLIN | POLLERR | POLLHUP;
 177                 p.revents = 0;
 178
 179                 status = poll (&p, /* nfds = */ 1, /* timeout = */ 1000 * interval_g);
 180                 if (status <= 0)
 181                 {
 182                         if (status == 0)
 183                         {
 184                                 ERROR ("memcached: poll(2) timed out after %i seconds.", interval_g);
 185                         }
 186                         else
 187                         {
 188                                 char errbuf[1024];
 189                                 ERROR ("memcached: poll(2) failed: %s",
 190                                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 191                         }
 192                         shutdown (fd, SHUT_RDWR);
 193                         close (fd);
 194                         return (-1);
 195                 }
 196         }
 197
 198         /* receive data from the memcached daemon */
 199         memset (buffer, '\0', buffer_size);
 200
 201         buffer_fill = 0;
 202         while ((status = recv (fd, buffer + buffer_fill, buffer_size - buffer_fill, MSG_DONTWAIT)) != 0) {
 203                 if (i > MEMCACHED_RETRY_COUNT) {
 204                         ERROR("recv() timed out");
 205                         break;
 206                 }
 207                 i++;
 208
 209                 if (status == -1) {
 210                         char errbuf[1024];
 211
 212                         if (errno == EAGAIN) {
 213                                 continue;
 214                         }
 215
 216                         ERROR ("memcached: Error reading from socket: %s",
 217                                         sstrerror (errno, errbuf, sizeof (errbuf)));
 218                         shutdown(fd, SHUT_RDWR);
 219                         close (fd);
 220                         return -1;
 221                 }
 222                 buffer_fill += status;
 223
 224                 if (buffer_fill > 3 && buffer[buffer_fill-5] == 'E' && buffer[buffer_fill-4] == 'N' && buffer[buffer_fill-3] == 'D') {
 225                         /* we got all the data */
 226                         break;
 227                 }
 228         }
 229
 230         if (buffer_fill >= buffer_size) {
 231                 buffer[buffer_size - 1] = '\0';
 232                 WARNING ("memcached: Message from memcached has been truncated.");
 233         } else if (buffer_fill == 0) {
 234                 WARNING ("memcached: Peer has unexpectedly shut down the socket. "
 235                                 "Buffer: `%s'", buffer);
 236                 shutdown(fd, SHUT_RDWR);
 237                 close(fd);
 238                 return -1;
 239         }
 240
 241         shutdown(fd, SHUT_RDWR);
 242         close(fd);
 243         return 0;
 244 }
 245 /* }}} */
 246
 247 static int memcached_config (const char *key, const char *value) /* {{{ */
 248 {
 249         if (strcasecmp (key, "Socket") == 0) {
 250                 if (memcached_socket != NULL) {
 251                         free (memcached_socket);
 252                 }
 253                 memcached_socket = strdup (value);
 254         } else if (strcasecmp (key, "Host") == 0) {
 255                 if (memcached_host != NULL) {
 256                         free (memcached_host);
 257                 }
 258                 memcached_host = strdup (value);
 259         } else if (strcasecmp (key, "Port") == 0) {
 260                 int port = (int) (atof (value));
 261                 if ((port > 0) && (port <= 65535)) {
 262                         ssnprintf (memcached_port, sizeof (memcached_port), "%i", port);
 263                 } else {
 264                         sstrncpy (memcached_port, value, sizeof (memcached_port));
 265                 }
 266         } else {
 267                 return -1;
 268         }
 269
 270         return 0;
 271 }
 272 /* }}} */
 273
 274 static void submit_counter (const char *type, const char *type_inst,
 275                 counter_t value) /* {{{ */
 276 {
 277         value_t values[1];
 278         value_list_t vl = VALUE_LIST_INIT;
 279
 280         values[0].counter = value;
 281
 282         vl.values = values;
 283         vl.values_len = 1;
 284         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 285         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 286         sstrncpy (vl.type, type, sizeof (vl.type));
 287         if (type_inst != NULL)
 288                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 289
 290         plugin_dispatch_values (&vl);
 291 } /* void memcached_submit_cmd */
 292 /* }}} */
 293
 294 static void submit_counter2 (const char *type, const char *type_inst,
 295                 counter_t value0, counter_t value1) /* {{{ */
 296 {
 297         value_t values[2];
 298         value_list_t vl = VALUE_LIST_INIT;
 299
 300         values[0].counter = value0;
 301         values[1].counter = value1;
 302
 303         vl.values = values;
 304         vl.values_len = 2;
 305         vl.time = time (NULL);
 306         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 307         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 308         sstrncpy (vl.type, type, sizeof (vl.type));
 309         if (type_inst != NULL)
 310                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 311
 312         plugin_dispatch_values (&vl);
 313 } /* void memcached_submit_cmd */
 314 /* }}} */
 315
 316 static void submit_gauge (const char *type, const char *type_inst,
 317                 gauge_t value) /* {{{ */
 318 {
 319         value_t values[1];
 320         value_list_t vl = VALUE_LIST_INIT;
 321
 322         values[0].gauge = value;
 323
 324         vl.values = values;
 325         vl.values_len = 1;
 326         vl.time = time (NULL);
 327         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 328         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 329         sstrncpy (vl.type, type, sizeof (vl.type));
 330         if (type_inst != NULL)
 331                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 332
 333         plugin_dispatch_values (&vl);
 334 }
 335 /* }}} */
 336
 337 static void submit_gauge2 (const char *type, const char *type_inst,
 338                 gauge_t value0, gauge_t value1) /* {{{ */
 339 {
 340         value_t values[2];
 341         value_list_t vl = VALUE_LIST_INIT;
 342
 343         values[0].gauge = value0;
 344         values[1].gauge = value1;
 345
 346         vl.values = values;
 347         vl.values_len = 2;
 348         vl.time = time (NULL);
 349         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 350         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 351         sstrncpy (vl.type, type, sizeof (vl.type));
 352         if (type_inst != NULL)
 353                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 354
 355         plugin_dispatch_values (&vl);
 356 }
 357 /* }}} */
 358
 359 static int memcached_read (void) /* {{{ */
 360 {
 361         char buf[1024];
 362         char *fields[3];
 363         char *ptr;
 364         char *line;
 365         char *saveptr;
 366         int fields_num;
 367
 368         gauge_t bytes_used = NAN;
 369         gauge_t bytes_total = NAN;
 370         gauge_t hits = NAN;
 371         gauge_t gets = NAN;
 372         counter_t rusage_user = 0;
 373         counter_t rusage_syst = 0;
 374         counter_t octets_rx = 0;
 375         counter_t octets_tx = 0;
 376
 377         /* get data from daemon */
 378         if (memcached_query_daemon (buf, sizeof (buf)) < 0) {
 379                 return -1;
 380         }
 381
 382 #define FIELD_IS(cnst) \
 383         (((sizeof(cnst) - 1) == name_len) && (strcmp (cnst, fields[1]) == 0))
 384
 385         ptr = buf;
 386         saveptr = NULL;
 387         while ((line = strtok_r (ptr, "\n\r", &saveptr)) != NULL)
 388         {
 389                 int name_len;
 390
 391                 ptr = NULL;
 392
 393                 fields_num = strsplit(line, fields, 3);
 394                 if (fields_num != 3)
 395                         continue;
 396
 397                 name_len = strlen(fields[1]);
 398                 if (name_len == 0)
 399                         continue;
 400
 401                 /*
 402                  * For an explanation on these fields please refer to
 403                  * <http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt>
 404                  */
 405
 406                 /*
 407                  * CPU time consumed by the memcached process
 408                  */
 409                 if (FIELD_IS ("rusage_user"))
 410                 {
 411                         rusage_user = atoll (fields[2]);
 412                 }
 413                 else if (FIELD_IS ("rusage_system"))
 414                 {
 415                         rusage_syst = atoll(fields[2]);
 416                 }
 417
 418                 /*
 419                  * Number of threads of this instance
 420                  */
 421                 else if (FIELD_IS ("threads"))
 422                 {
 423                         submit_gauge2 ("ps_count", NULL, NAN, atof (fields[2]));
 424                 }
 425
 426                 /*
 427                  * Number of items stored
 428                  */
 429                 else if (FIELD_IS ("curr_items"))
 430                 {
 431                         submit_gauge ("memcached_items", "current", atof (fields[2]));
 432                 }
 433
 434                 /*
 435                  * Number of bytes used and available (total - used)
 436                  */
 437                 else if (FIELD_IS ("bytes"))
 438                 {
 439                         bytes_used = atof (fields[2]);
 440                 }
 441                 else if (FIELD_IS ("limit_maxbytes"))
 442                 {
 443                         bytes_total = atof(fields[2]);
 444                 }
 445
 446                 /*
 447                  * Connections
 448                  */
 449                 else if (FIELD_IS ("curr_connections"))
 450                 {
 451                         submit_gauge ("memcached_connections", "current", atof (fields[2]));
 452                 }
 453
 454                 /*
 455                  * Commands
 456                  */
 457                 else if ((name_len > 4) && (strncmp (fields[1], "cmd_", 4) == 0))
 458                 {
 459                         const char *name = fields[1] + 4;
 460                         submit_counter ("memcached_command", name, atoll (fields[2]));
 461                         if (strcmp (name, "get") == 0)
 462                                 gets = atof (fields[2]);
 463                 }
 464
 465                 /*
 466                  * Operations on the cache, i. e. cache hits, cache misses and evictions of items
 467                  */
 468                 else if (FIELD_IS ("get_hits"))
 469                 {
 470                         submit_counter ("memcached_ops", "hits", atoll (fields[2]));
 471                         hits = atof (fields[2]);
 472                 }
 473                 else if (FIELD_IS ("get_misses"))
 474                 {
 475                         submit_counter ("memcached_ops", "misses", atoll (fields[2]));
 476                 }
 477                 else if (FIELD_IS ("evictions"))
 478                 {
 479                         submit_counter ("memcached_ops", "evictions", atoll (fields[2]));
 480                 }
 481
 482                 /*
 483                  * Network traffic
 484                  */
 485                 else if (FIELD_IS ("bytes_read"))
 486                 {
 487                         octets_rx = atoll (fields[2]);
 488                 }
 489                 else if (FIELD_IS ("bytes_written"))
 490                 {
 491                         octets_tx = atoll (fields[2]);
 492                 }
 493         } /* while ((line = strtok_r (ptr, "\n\r", &saveptr)) != NULL) */
 494
 495         if (!isnan (bytes_used) && !isnan (bytes_total) && (bytes_used <= bytes_total))
 496                 submit_gauge2 ("df", "cache", bytes_used, bytes_total - bytes_used);
 497
 498         if ((rusage_user != 0) || (rusage_syst != 0))
 499                 submit_counter2 ("ps_cputime", NULL, rusage_user, rusage_syst);
 500
 501         if ((octets_rx != 0) || (octets_tx != 0))
 502                 submit_counter2 ("memcached_octets", NULL, octets_rx, octets_tx);
 503
 504         if (!isnan (gets) && !isnan (hits))
 505         {
 506                 gauge_t rate = NAN;
 507
 508                 if (gets != 0.0)
 509                         rate = 100.0 * hits / gets;
 510
 511                 submit_gauge ("percent", "hitratio", rate);
 512         }
 513
 514         return 0;
 515 }
 516 /* }}} */
 517
 518 void module_register (void) /* {{{ */
 519 {
 520         plugin_register_config ("memcached", memcached_config, config_keys, config_keys_num);
 521         plugin_register_read ("memcached", memcached_read);
 522 }
 523 /* }}} */
 524
 525 /*
 526  * Local variables:
 527  * tab-width: 4
 528  * c-basic-offset: 4
 529  * End:
 530  * vim600: sw=4 ts=4 fdm=marker noexpandtab
 531  * vim<600: sw=4 ts=4 noexpandtab
 532  */
 533