src/utils/format_graphite/format_graphite.c

   1 /**
   2  * collectd - src/utils_format_graphite.c
   3  * Copyright (C) 2012  Thomas Meson
   4  * Copyright (C) 2012  Florian octo Forster
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU General Public License as published by the
   8  * Free Software Foundation; only version 2 of the License is applicable.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License along
  16  * with this program; if not, write to the Free Software Foundation, Inc.,
  17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  18  *
  19  * Authors:
  20  *   Thomas Meson <zllak at hycik.org>
  21  *   Florian octo Forster <octo at collectd.org>
  22  **/
  23
  24 #include "collectd.h"
  25
  26 #include "plugin.h"
  27 #include "utils/common/common.h"
  28
  29 #include "utils/format_graphite/format_graphite.h"
  30 #include "utils_cache.h"
  31
  32 #define GRAPHITE_FORBIDDEN " \t\"\\:!/()\n\r"
  33
  34 /* Utils functions to format data sets in graphite format.
  35  * Largely taken from write_graphite.c as it remains the same formatting */
  36
  37 static int gr_format_values(char *ret, size_t ret_len, int ds_num,
  38                             const data_set_t *ds, const value_list_t *vl,
  39                             gauge_t const *rates) {
  40   size_t offset = 0;
  41   int status;
  42
  43   assert(0 == strcmp(ds->type, vl->type));
  44
  45   memset(ret, 0, ret_len);
  46
  47 #define BUFFER_ADD(...)                                                        \
  48   do {                                                                         \
  49     status = snprintf(ret + offset, ret_len - offset, __VA_ARGS__);            \
  50     if (status < 1) {                                                          \
  51       return -1;                                                               \
  52     } else if (((size_t)status) >= (ret_len - offset)) {                       \
  53       return -1;                                                               \
  54     } else                                                                     \
  55       offset += ((size_t)status);                                              \
  56   } while (0)
  57
  58   if (ds->ds[ds_num].type == DS_TYPE_GAUGE)
  59     BUFFER_ADD(GAUGE_FORMAT, vl->values[ds_num].gauge);
  60   else if (rates != NULL)
  61     BUFFER_ADD("%f", rates[ds_num]);
  62   else if (ds->ds[ds_num].type == DS_TYPE_COUNTER)
  63     BUFFER_ADD("%" PRIu64, (uint64_t)vl->values[ds_num].counter);
  64   else if (ds->ds[ds_num].type == DS_TYPE_DERIVE)
  65     BUFFER_ADD("%" PRIi64, vl->values[ds_num].derive);
  66   else if (ds->ds[ds_num].type == DS_TYPE_ABSOLUTE)
  67     BUFFER_ADD("%" PRIu64, vl->values[ds_num].absolute);
  68   else {
  69     P_ERROR("gr_format_values: Unknown data source type: %i",
  70             ds->ds[ds_num].type);
  71     return -1;
  72   }
  73
  74 #undef BUFFER_ADD
  75
  76   return 0;
  77 }
  78
  79 static void gr_copy_escape_part(char *dst, const char *src, size_t dst_len,
  80                                 char escape_char, bool preserve_separator) {
  81   memset(dst, 0, dst_len);
  82
  83   if (src == NULL)
  84     return;
  85
  86   for (size_t i = 0; i < dst_len; i++) {
  87     if (src[i] == 0) {
  88       dst[i] = 0;
  89       break;
  90     }
  91
  92     if ((!preserve_separator && (src[i] == '.')) || isspace((int)src[i]) ||
  93         iscntrl((int)src[i]))
  94       dst[i] = escape_char;
  95     else
  96       dst[i] = src[i];
  97   }
  98 }
  99
 100 static int gr_format_name_tagged(char *ret, int ret_len, value_list_t const *vl,
 101                                  char const *ds_name, char const *prefix,
 102                                  char const *postfix, char const escape_char,
 103                                  unsigned int flags) {
 104   char n_host[DATA_MAX_NAME_LEN];
 105   char n_plugin[DATA_MAX_NAME_LEN];
 106   char n_plugin_instance[DATA_MAX_NAME_LEN];
 107   char n_type[DATA_MAX_NAME_LEN];
 108   char n_type_instance[DATA_MAX_NAME_LEN];
 109
 110   char tmp_plugin[DATA_MAX_NAME_LEN + 8];
 111   char tmp_plugin_instance[DATA_MAX_NAME_LEN + 17];
 112   char tmp_type[DATA_MAX_NAME_LEN + 6];
 113   char tmp_type_instance[DATA_MAX_NAME_LEN + 15];
 114   char tmp_metric[3 * DATA_MAX_NAME_LEN + 2];
 115   char tmp_ds_name[DATA_MAX_NAME_LEN + 9];
 116
 117   if (prefix == NULL)
 118     prefix = "";
 119
 120   if (postfix == NULL)
 121     postfix = "";
 122
 123   gr_copy_escape_part(n_host, vl->host, sizeof(n_host), escape_char, 1);
 124   gr_copy_escape_part(n_plugin, vl->plugin, sizeof(n_plugin), escape_char, 1);
 125   gr_copy_escape_part(n_plugin_instance, vl->plugin_instance,
 126                       sizeof(n_plugin_instance), escape_char, 1);
 127   gr_copy_escape_part(n_type, vl->type, sizeof(n_type), escape_char, 1);
 128   gr_copy_escape_part(n_type_instance, vl->type_instance,
 129                       sizeof(n_type_instance), escape_char, 1);
 130
 131   snprintf(tmp_plugin, sizeof(tmp_plugin), ";plugin=%s", n_plugin);
 132
 133   if (n_plugin_instance[0] != '\0')
 134     snprintf(tmp_plugin_instance, sizeof(tmp_plugin_instance),
 135              ";plugin_instance=%s", n_plugin_instance);
 136   else
 137     tmp_plugin_instance[0] = '\0';
 138
 139   if (!(flags & GRAPHITE_DROP_DUPE_FIELDS) || strcmp(n_plugin, n_type) != 0)
 140     snprintf(tmp_type, sizeof(tmp_type), ";type=%s", n_type);
 141   else
 142     tmp_type[0] = '\0';
 143
 144   if (n_type_instance[0] != '\0') {
 145     if (!(flags & GRAPHITE_DROP_DUPE_FIELDS) ||
 146         strcmp(n_plugin_instance, n_type_instance) != 0)
 147       snprintf(tmp_type_instance, sizeof(tmp_type_instance),
 148                ";type_instance=%s", n_type_instance);
 149     else
 150       tmp_type_instance[0] = '\0';
 151   } else
 152     tmp_type_instance[0] = '\0';
 153
 154   /* Assert always_append_ds -> ds_name */
 155   assert(!(flags & GRAPHITE_ALWAYS_APPEND_DS) || (ds_name != NULL));
 156   if (ds_name != NULL) {
 157     snprintf(tmp_ds_name, sizeof(tmp_ds_name), ";ds_name=%s", ds_name);
 158
 159     if ((flags & GRAPHITE_DROP_DUPE_FIELDS) && strcmp(n_plugin, n_type) == 0)
 160       snprintf(tmp_metric, sizeof(tmp_metric), "%s.%s", n_plugin, ds_name);
 161     else
 162       snprintf(tmp_metric, sizeof(tmp_metric), "%s.%s.%s", n_plugin, n_type,
 163                ds_name);
 164   } else {
 165     tmp_ds_name[0] = '\0';
 166
 167     if ((flags & GRAPHITE_DROP_DUPE_FIELDS) && strcmp(n_plugin, n_type) == 0)
 168       snprintf(tmp_metric, sizeof(tmp_metric), "%s", n_plugin);
 169     else
 170       snprintf(tmp_metric, sizeof(tmp_metric), "%s.%s", n_plugin, n_type);
 171   }
 172
 173   snprintf(ret, ret_len, "%s%s%s;host=%s%s%s%s%s%s", prefix, tmp_metric,
 174            postfix, n_host, tmp_plugin, tmp_plugin_instance, tmp_type,
 175            tmp_type_instance, tmp_ds_name);
 176
 177   return 0;
 178 }
 179
 180 static int gr_format_name(char *ret, int ret_len, value_list_t const *vl,
 181                           char const *ds_name, char const *prefix,
 182                           char const *postfix, char const escape_char,
 183                           unsigned int flags) {
 184   char n_host[DATA_MAX_NAME_LEN];
 185   char n_plugin[DATA_MAX_NAME_LEN];
 186   char n_plugin_instance[DATA_MAX_NAME_LEN];
 187   char n_type[DATA_MAX_NAME_LEN];
 188   char n_type_instance[DATA_MAX_NAME_LEN];
 189
 190   char tmp_plugin[2 * DATA_MAX_NAME_LEN + 1];
 191   char tmp_type[2 * DATA_MAX_NAME_LEN + 1];
 192
 193   if (prefix == NULL)
 194     prefix = "";
 195
 196   if (postfix == NULL)
 197     postfix = "";
 198
 199   bool preserve_separator = (flags & GRAPHITE_PRESERVE_SEPARATOR);
 200
 201   gr_copy_escape_part(n_host, vl->host, sizeof(n_host), escape_char,
 202                       preserve_separator);
 203   gr_copy_escape_part(n_plugin, vl->plugin, sizeof(n_plugin), escape_char,
 204                       preserve_separator);
 205   gr_copy_escape_part(n_plugin_instance, vl->plugin_instance,
 206                       sizeof(n_plugin_instance), escape_char,
 207                       preserve_separator);
 208   gr_copy_escape_part(n_type, vl->type, sizeof(n_type), escape_char,
 209                       preserve_separator);
 210   gr_copy_escape_part(n_type_instance, vl->type_instance,
 211                       sizeof(n_type_instance), escape_char, preserve_separator);
 212
 213   if (n_plugin_instance[0] != '\0')
 214     snprintf(tmp_plugin, sizeof(tmp_plugin), "%s%c%s", n_plugin,
 215              (flags & GRAPHITE_SEPARATE_INSTANCES) ? '.' : '-',
 216              n_plugin_instance);
 217   else
 218     sstrncpy(tmp_plugin, n_plugin, sizeof(tmp_plugin));
 219
 220   if (n_type_instance[0] != '\0') {
 221     if ((flags & GRAPHITE_DROP_DUPE_FIELDS) && strcmp(n_plugin, n_type) == 0)
 222       sstrncpy(tmp_type, n_type_instance, sizeof(tmp_type));
 223     else
 224       snprintf(tmp_type, sizeof(tmp_type), "%s%c%s", n_type,
 225                (flags & GRAPHITE_SEPARATE_INSTANCES) ? '.' : '-',
 226                n_type_instance);
 227   } else
 228     sstrncpy(tmp_type, n_type, sizeof(tmp_type));
 229
 230   /* Assert always_append_ds -> ds_name */
 231   assert(!(flags & GRAPHITE_ALWAYS_APPEND_DS) || (ds_name != NULL));
 232   if (ds_name != NULL) {
 233     if ((flags & GRAPHITE_DROP_DUPE_FIELDS) &&
 234         strcmp(tmp_plugin, tmp_type) == 0)
 235       snprintf(ret, ret_len, "%s%s%s.%s.%s", prefix, n_host, postfix,
 236                tmp_plugin, ds_name);
 237     else
 238       snprintf(ret, ret_len, "%s%s%s.%s.%s.%s", prefix, n_host, postfix,
 239                tmp_plugin, tmp_type, ds_name);
 240   } else
 241     snprintf(ret, ret_len, "%s%s%s.%s.%s", prefix, n_host, postfix, tmp_plugin,
 242              tmp_type);
 243
 244   return 0;
 245 }
 246
 247 static void escape_graphite_string(char *buffer, char escape_char) {
 248   assert(strchr(GRAPHITE_FORBIDDEN, escape_char) == NULL);
 249
 250   for (char *head = buffer + strcspn(buffer, GRAPHITE_FORBIDDEN); *head != '\0';
 251        head += strcspn(head, GRAPHITE_FORBIDDEN))
 252     *head = escape_char;
 253 }
 254
 255 int format_graphite(char *buffer, size_t buffer_size, data_set_t const *ds,
 256                     value_list_t const *vl, char const *prefix,
 257                     char const *postfix, char const escape_char,
 258                     unsigned int flags) {
 259   int status = 0;
 260   int buffer_pos = 0;
 261
 262   gauge_t *rates = NULL;
 263   if (flags & GRAPHITE_STORE_RATES) {
 264     rates = uc_get_rate(ds, vl);
 265     if (rates == NULL) {
 266       P_ERROR("format_graphite: error with uc_get_rate");
 267       return -1;
 268     }
 269   }
 270
 271   for (size_t i = 0; i < ds->ds_num; i++) {
 272     char const *ds_name = NULL;
 273     char key[10 * DATA_MAX_NAME_LEN];
 274     char values[512];
 275     size_t message_len;
 276     char message[1024];
 277
 278     if ((flags & GRAPHITE_ALWAYS_APPEND_DS) || (ds->ds_num > 1))
 279       ds_name = ds->ds[i].name;
 280
 281     /* Copy the identifier to `key' and escape it. */
 282     if (flags & GRAPHITE_USE_TAGS) {
 283       status = gr_format_name_tagged(key, sizeof(key), vl, ds_name, prefix,
 284                                      postfix, escape_char, flags);
 285       if (status != 0) {
 286         P_ERROR("format_graphite: error with gr_format_name_tagged");
 287         sfree(rates);
 288         return status;
 289       }
 290     } else {
 291       status = gr_format_name(key, sizeof(key), vl, ds_name, prefix, postfix,
 292                               escape_char, flags);
 293       if (status != 0) {
 294         P_ERROR("format_graphite: error with gr_format_name");
 295         sfree(rates);
 296         return status;
 297       }
 298     }
 299
 300     escape_graphite_string(key, escape_char);
 301
 302     /* Convert the values to an ASCII representation and put that into
 303      * `values'. */
 304     status = gr_format_values(values, sizeof(values), i, ds, vl, rates);
 305     if (status != 0) {
 306       P_ERROR("format_graphite: error with gr_format_values");
 307       sfree(rates);
 308       return status;
 309     }
 310
 311     /* Compute the graphite command */
 312     message_len =
 313         (size_t)snprintf(message, sizeof(message), "%s %s %u\r\n", key, values,
 314                          (unsigned int)CDTIME_T_TO_TIME_T(vl->time));
 315     if (message_len >= sizeof(message)) {
 316       P_ERROR("format_graphite: message buffer too small: "
 317               "Need %" PRIsz " bytes.",
 318               message_len + 1);
 319       sfree(rates);
 320       return -ENOMEM;
 321     }
 322
 323     /* Append it in case we got multiple data set */
 324     if ((buffer_pos + message_len) >= buffer_size) {
 325       P_ERROR("format_graphite: target buffer too small");
 326       sfree(rates);
 327       return -ENOMEM;
 328     }
 329     memcpy((void *)(buffer + buffer_pos), message, message_len);
 330     buffer_pos += message_len;
 331     buffer[buffer_pos] = '\0';
 332   }
 333   sfree(rates);
 334   return status;
 335 } /* int format_graphite */