src/memcached.c

   1 /**
   2  * collectd - src/memcached.c, based on src/hddtemp.c
   3  * Copyright (C) 2007  Antony Dovgal
   4  * Copyright (C) 2005,2006  Vincent Stehlé
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU General Public License as published by the
   8  * Free Software Foundation; either version 2 of the License, or (at your
   9  * option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful, but
  12  * WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License along
  17  * with this program; if not, write to the Free Software Foundation, Inc.,
  18  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  19  *
  20  * Authors:
  21  *   Antony Dovgal <tony at daylessday dot org>
  22  *   Vincent Stehlé <vincent.stehle at free.fr>
  23  *   Florian octo Forster <octo at verplant.org>
  24  **/
  25
  26 #include "collectd.h"
  27 #include "common.h"
  28 #include "plugin.h"
  29 #include "configfile.h"
  30
  31 # include <poll.h>
  32 # include <netdb.h>
  33 # include <sys/socket.h>
  34 # include <netinet/in.h>
  35 # include <netinet/tcp.h>
  36
  37 #define MEMCACHED_DEF_HOST "127.0.0.1"
  38 #define MEMCACHED_DEF_PORT "11211"
  39
  40 #define MEMCACHED_RETRY_COUNT 100
  41
  42 static const char *config_keys[] =
  43 {
  44         "Host",
  45         "Port"
  46 };
  47 static int config_keys_num = STATIC_ARRAY_SIZE (config_keys);
  48
  49 static char *memcached_host = NULL;
  50 static char memcached_port[16];
  51
  52 static int memcached_query_daemon (char *buffer, int buffer_size) /* {{{ */
  53 {
  54         int fd;
  55         ssize_t status;
  56         int buffer_fill;
  57
  58         const char *host;
  59         const char *port;
  60
  61         struct addrinfo  ai_hints;
  62         struct addrinfo *ai_list, *ai_ptr;
  63         int              ai_return, i = 0;
  64
  65         memset (&ai_hints, '\0', sizeof (ai_hints));
  66         ai_hints.ai_flags    = 0;
  67 #ifdef AI_ADDRCONFIG
  68 /*      ai_hints.ai_flags   |= AI_ADDRCONFIG; */
  69 #endif
  70         ai_hints.ai_family   = AF_INET;
  71         ai_hints.ai_socktype = SOCK_STREAM;
  72         ai_hints.ai_protocol = 0;
  73
  74         host = memcached_host;
  75         if (host == NULL) {
  76                 host = MEMCACHED_DEF_HOST;
  77         }
  78
  79         port = memcached_port;
  80         if (strlen (port) == 0) {
  81                 port = MEMCACHED_DEF_PORT;
  82         }
  83
  84         if ((ai_return = getaddrinfo (host, port, NULL, &ai_list)) != 0) {
  85                 char errbuf[1024];
  86                 ERROR ("memcached: getaddrinfo (%s, %s): %s",
  87                                 host, port,
  88                                 (ai_return == EAI_SYSTEM)
  89                                 ? sstrerror (errno, errbuf, sizeof (errbuf))
  90                                 : gai_strerror (ai_return));
  91                 return -1;
  92         }
  93
  94         fd = -1;
  95         for (ai_ptr = ai_list; ai_ptr != NULL; ai_ptr = ai_ptr->ai_next) {
  96                 /* create our socket descriptor */
  97                 if ((fd = socket (ai_ptr->ai_family, ai_ptr->ai_socktype, ai_ptr->ai_protocol)) < 0) {
  98                         char errbuf[1024];
  99                         ERROR ("memcached: socket: %s", sstrerror (errno, errbuf, sizeof (errbuf)));
 100                         continue;
 101                 }
 102
 103                 /* connect to the memcached daemon */
 104                 if (connect (fd, (struct sockaddr *) ai_ptr->ai_addr, ai_ptr->ai_addrlen)) {
 105                         shutdown(fd, SHUT_RDWR);
 106                         close(fd);
 107                         fd = -1;
 108                         continue;
 109                 }
 110
 111                 /* A socket could be opened and connecting succeeded. We're
 112                  * done. */
 113                 break;
 114         }
 115
 116         freeaddrinfo (ai_list);
 117
 118         if (fd < 0) {
 119                 ERROR ("memcached: Could not connect to daemon.");
 120                 return -1;
 121         }
 122
 123         if (send(fd, "stats\r\n", sizeof("stats\r\n") - 1, MSG_DONTWAIT) != (sizeof("stats\r\n") - 1)) {
 124                 ERROR ("memcached: Could not send command to the memcached daemon.");
 125                 return -1;
 126         }
 127
 128         {
 129                 struct pollfd p;
 130                 int status;
 131
 132                 memset (&p, 0, sizeof (p));
 133                 p.fd = fd;
 134                 p.events = POLLIN | POLLERR | POLLHUP;
 135                 p.revents = 0;
 136
 137                 status = poll (&p, /* nfds = */ 1, /* timeout = */ 1000 * interval_g);
 138                 if (status <= 0)
 139                 {
 140                         if (status == 0)
 141                         {
 142                                 ERROR ("memcached: poll(2) timed out after %i seconds.", interval_g);
 143                         }
 144                         else
 145                         {
 146                                 char errbuf[1024];
 147                                 ERROR ("memcached: poll(2) failed: %s",
 148                                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 149                         }
 150                         shutdown (fd, SHUT_RDWR);
 151                         close (fd);
 152                         return (-1);
 153                 }
 154         }
 155
 156         /* receive data from the memcached daemon */
 157         memset (buffer, '\0', buffer_size);
 158
 159         buffer_fill = 0;
 160         while ((status = recv (fd, buffer + buffer_fill, buffer_size - buffer_fill, MSG_DONTWAIT)) != 0) {
 161                 if (i > MEMCACHED_RETRY_COUNT) {
 162                         ERROR("recv() timed out");
 163                         break;
 164                 }
 165                 i++;
 166
 167                 if (status == -1) {
 168                         char errbuf[1024];
 169
 170                         if (errno == EAGAIN) {
 171                                 continue;
 172                         }
 173
 174                         ERROR ("memcached: Error reading from socket: %s",
 175                                         sstrerror (errno, errbuf, sizeof (errbuf)));
 176                         shutdown(fd, SHUT_RDWR);
 177                         close (fd);
 178                         return -1;
 179                 }
 180                 buffer_fill += status;
 181
 182                 if (buffer_fill > 3 && buffer[buffer_fill-5] == 'E' && buffer[buffer_fill-4] == 'N' && buffer[buffer_fill-3] == 'D') {
 183                         /* we got all the data */
 184                         break;
 185                 }
 186         }
 187
 188         if (buffer_fill >= buffer_size) {
 189                 buffer[buffer_size - 1] = '\0';
 190                 WARNING ("memcached: Message from memcached has been truncated.");
 191         } else if (buffer_fill == 0) {
 192                 WARNING ("memcached: Peer has unexpectedly shut down the socket. "
 193                                 "Buffer: `%s'", buffer);
 194                 shutdown(fd, SHUT_RDWR);
 195                 close(fd);
 196                 return -1;
 197         }
 198
 199         shutdown(fd, SHUT_RDWR);
 200         close(fd);
 201         return 0;
 202 }
 203 /* }}} */
 204
 205 static int memcached_config (const char *key, const char *value) /* {{{ */
 206 {
 207         if (strcasecmp (key, "Host") == 0) {
 208                 if (memcached_host != NULL) {
 209                         free (memcached_host);
 210                 }
 211                 memcached_host = strdup (value);
 212         } else if (strcasecmp (key, "Port") == 0) {
 213                 int port = (int) (atof (value));
 214                 if ((port > 0) && (port <= 65535)) {
 215                         ssnprintf (memcached_port, sizeof (memcached_port), "%i", port);
 216                 } else {
 217                         sstrncpy (memcached_port, value, sizeof (memcached_port));
 218                 }
 219         } else {
 220                 return -1;
 221         }
 222
 223         return 0;
 224 }
 225 /* }}} */
 226
 227 static void submit_counter (const char *type, const char *type_inst,
 228                 counter_t value) /* {{{ */
 229 {
 230         value_t values[1];
 231         value_list_t vl = VALUE_LIST_INIT;
 232
 233         values[0].counter = value;
 234
 235         vl.values = values;
 236         vl.values_len = 1;
 237         vl.time = time (NULL);
 238         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 239         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 240         sstrncpy (vl.type, type, sizeof (vl.type));
 241         if (type_inst != NULL)
 242                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 243
 244         plugin_dispatch_values (&vl);
 245 } /* void memcached_submit_cmd */
 246 /* }}} */
 247
 248 static void submit_counter2 (const char *type, const char *type_inst,
 249                 counter_t value0, counter_t value1) /* {{{ */
 250 {
 251         value_t values[2];
 252         value_list_t vl = VALUE_LIST_INIT;
 253
 254         values[0].counter = value0;
 255         values[1].counter = value1;
 256
 257         vl.values = values;
 258         vl.values_len = 2;
 259         vl.time = time (NULL);
 260         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 261         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 262         sstrncpy (vl.type, type, sizeof (vl.type));
 263         if (type_inst != NULL)
 264                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 265
 266         plugin_dispatch_values (&vl);
 267 } /* void memcached_submit_cmd */
 268 /* }}} */
 269
 270 static void submit_gauge (const char *type, const char *type_inst,
 271                 gauge_t value) /* {{{ */
 272 {
 273         value_t values[1];
 274         value_list_t vl = VALUE_LIST_INIT;
 275
 276         values[0].gauge = value;
 277
 278         vl.values = values;
 279         vl.values_len = 1;
 280         vl.time = time (NULL);
 281         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 282         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 283         sstrncpy (vl.type, type, sizeof (vl.type));
 284         if (type_inst != NULL)
 285                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 286
 287         plugin_dispatch_values (&vl);
 288 }
 289 /* }}} */
 290
 291 static void submit_gauge2 (const char *type, const char *type_inst,
 292                 gauge_t value0, gauge_t value1) /* {{{ */
 293 {
 294         value_t values[2];
 295         value_list_t vl = VALUE_LIST_INIT;
 296
 297         values[0].gauge = value0;
 298         values[1].gauge = value1;
 299
 300         vl.values = values;
 301         vl.values_len = 2;
 302         vl.time = time (NULL);
 303         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 304         sstrncpy (vl.plugin, "memcached", sizeof (vl.plugin));
 305         sstrncpy (vl.type, type, sizeof (vl.type));
 306         if (type_inst != NULL)
 307                 sstrncpy (vl.type_instance, type_inst, sizeof (vl.type_instance));
 308
 309         plugin_dispatch_values (&vl);
 310 }
 311 /* }}} */
 312
 313 static int memcached_read (void) /* {{{ */
 314 {
 315         char buf[1024];
 316         char *fields[3];
 317         char *ptr;
 318         char *line;
 319         char *saveptr;
 320         int fields_num;
 321
 322         gauge_t bytes_used = NAN;
 323         gauge_t bytes_total = NAN;
 324         gauge_t hits = NAN;
 325         gauge_t gets = NAN;
 326         counter_t rusage_user = 0;
 327         counter_t rusage_syst = 0;
 328         counter_t octets_rx = 0;
 329         counter_t octets_tx = 0;
 330
 331         /* get data from daemon */
 332         if (memcached_query_daemon (buf, sizeof (buf)) < 0) {
 333                 return -1;
 334         }
 335
 336 #define FIELD_IS(cnst) \
 337         (((sizeof(cnst) - 1) == name_len) && (strcmp (cnst, fields[1]) == 0))
 338
 339     ptr = buf;
 340     saveptr = NULL;
 341     while ((line = strtok_r (ptr, "\n\r", &saveptr)) != NULL)
 342         {
 343                 int name_len;
 344
 345         ptr = NULL;
 346
 347                 fields_num = strsplit(line, fields, 3);
 348                 if (fields_num != 3)
 349                         continue;
 350
 351                 name_len = strlen(fields[1]);
 352                 if (name_len == 0)
 353                         continue;
 354
 355                 /*
 356                  * For an explanation on these fields please refer to
 357                  * <http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt>
 358                  */
 359
 360                 /*
 361                  * CPU time consumed by the memcached process
 362                  */
 363                 if (FIELD_IS ("rusage_user"))
 364                 {
 365                         rusage_user = atoll (fields[2]);
 366                 }
 367                 else if (FIELD_IS ("rusage_system"))
 368                 {
 369                         rusage_syst = atoll(fields[2]);
 370                 }
 371
 372                 /*
 373                  * Number of threads of this instance
 374                  */
 375                 else if (FIELD_IS ("threads"))
 376                 {
 377                         submit_gauge2 ("ps_count", NULL, NAN, atof (fields[2]));
 378                 }
 379
 380                 /*
 381                  * Number of items stored
 382                  */
 383                 else if (FIELD_IS ("curr_items"))
 384                 {
 385                         submit_gauge ("memcached_items", "current", atof (fields[2]));
 386                 }
 387 /*
 388                 else if (FIELD_IS ("total_items"))
 389                 {
 390                         total_items = atoll(fields[2]);
 391                 }
 392  */
 393
 394                 /*
 395                  * Number of bytes used and available (total - used)
 396                  */
 397                 else if (FIELD_IS ("bytes"))
 398                 {
 399                         bytes_used = atof (fields[2]);
 400                 }
 401                 else if (FIELD_IS ("limit_maxbytes"))
 402                 {
 403                         bytes_total = atof(fields[2]);
 404                 }
 405
 406                 /*
 407                  * Connections
 408                  */
 409                 else if (FIELD_IS ("curr_connections"))
 410                 {
 411                         submit_gauge ("memcached_connections", "current", atof (fields[2]));
 412                 }
 413 /*
 414                 else if (FIELD_IS("total_connections"))
 415                 {
 416                         total_connections = atoll(fields[2]);
 417                 }
 418 */
 419
 420 /*
 421  * ``Number of connection structures allocated by the server''
 422                 else if (FIELD_IS ("connection_structures"))
 423                 {
 424                         connection_structures = atof(fields[2]);
 425                 }
 426  */
 427
 428                 /*
 429                  * Commands
 430                  */
 431                 else if ((name_len > 4) && (strncmp (fields[1], "cmd_", 4) == 0))
 432                 {
 433                         const char *name = fields[1] + 4;
 434                         submit_counter ("memcached_command", name, atoll (fields[2]));
 435                         if (strcmp (name, "get") == 0)
 436                                 gets = atof (fields[2]);
 437                 }
 438
 439                 /*
 440                  * Operations on the cache, i. e. cache hits, cache misses and evictions of items
 441                  */
 442                 else if (FIELD_IS ("get_hits"))
 443                 {
 444                         submit_counter ("memcached_ops", "hits", atoll (fields[2]));
 445                         hits = atof (fields[2]);
 446                 }
 447                 else if (FIELD_IS ("get_misses"))
 448                 {
 449                         submit_counter ("memcached_ops", "misses", atoll (fields[2]));
 450                 }
 451                 else if (FIELD_IS ("evictions"))
 452                 {
 453                         submit_counter ("memcached_ops", "evictions", atoll (fields[2]));
 454                 }
 455
 456                 /*
 457                  * Network traffic
 458                  */
 459                 else if (FIELD_IS ("bytes_read"))
 460                 {
 461                         octets_rx = atoll (fields[2]);
 462                 }
 463                 else if (FIELD_IS ("bytes_written"))
 464                 {
 465                         octets_tx = atoll (fields[2]);
 466                 }
 467         } /* while ((line = strtok_r (ptr, "\n\r", &saveptr)) != NULL) */
 468
 469         if (!isnan (bytes_used) && !isnan (bytes_total) && (bytes_used <= bytes_total))
 470                 submit_gauge2 ("df", "cache", bytes_used, bytes_total - bytes_used);
 471
 472         if ((rusage_user != 0) || (rusage_syst != 0))
 473                 submit_counter2 ("ps_cputime", NULL, rusage_user, rusage_syst);
 474
 475         if ((octets_rx != 0) || (octets_tx != 0))
 476                 submit_counter2 ("memcached_octets", NULL, octets_rx, octets_tx);
 477
 478         if (!isnan (gets) && !isnan (hits))
 479         {
 480                 gauge_t rate = NAN;
 481
 482                 if (gets != 0.0)
 483                         rate = 100.0 * hits / gets;
 484
 485                 submit_gauge ("percent", "hitratio", rate);
 486         }
 487
 488         return 0;
 489 }
 490 /* }}} */
 491
 492 void module_register (void) /* {{{ */
 493 {
 494         plugin_register_config ("memcached", memcached_config, config_keys, config_keys_num);
 495         plugin_register_read ("memcached", memcached_read);
 496 }
 497 /* }}} */
 498
 499 /*
 500  * Local variables:
 501  * tab-width: 4
 502  * c-basic-offset: 4
 503  * End:
 504  * vim600: sw=4 ts=4 fdm=marker
 505  * vim<600: sw=4 ts=4
 506  */
 507