statsd histogram to support more than 1 second
[collectd.git] / src / csv.c
1 /**
2  * collectd - src/csv.c
3  * Copyright (C) 2007-2009  Florian octo Forster
4  * Copyright (C) 2009       Doug MacEachern
5  *
6  * This program is free software; you can redistribute it and/or modify it
7  * under the terms of the GNU General Public License as published by the
8  * Free Software Foundation; only version 2 of the License is applicable.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License along
16  * with this program; if not, write to the Free Software Foundation, Inc.,
17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
18  *
19  * Authors:
20  *   Florian octo Forster <octo at verplant.org>
21  *   Doug MacEachern <dougm@hyperic.com>
22  **/
23
24 #include "collectd.h"
25 #include "plugin.h"
26 #include "common.h"
27 #include "utils_cache.h"
28 #include "utils_parse_option.h"
29
30 /*
31  * Private variables
32  */
33 static const char *config_keys[] =
34 {
35         "DataDir",
36         "StoreRates"
37 };
38 static int config_keys_num = STATIC_ARRAY_SIZE (config_keys);
39
40 static char *datadir   = NULL;
41 static int store_rates = 0;
42 static int use_stdio   = 0;
43
44 static int value_list_to_string (char *buffer, int buffer_len,
45                 const data_set_t *ds, const value_list_t *vl)
46 {
47         int offset;
48         int status;
49         int i;
50         gauge_t *rates = NULL;
51
52         assert (0 == strcmp (ds->type, vl->type));
53
54         memset (buffer, '\0', buffer_len);
55
56         status = ssnprintf (buffer, buffer_len, "%.3f",
57                         CDTIME_T_TO_DOUBLE (vl->time));
58         if ((status < 1) || (status >= buffer_len))
59                 return (-1);
60         offset = status;
61
62         for (i = 0; i < ds->ds_num; i++)
63         {
64                 if ((ds->ds[i].type != DS_TYPE_COUNTER)
65                                 && (ds->ds[i].type != DS_TYPE_GAUGE)
66                                 && (ds->ds[i].type != DS_TYPE_DERIVE)
67                                 && (ds->ds[i].type != DS_TYPE_ABSOLUTE))
68                         return (-1);
69
70                 if (ds->ds[i].type == DS_TYPE_GAUGE) 
71                 {
72                         status = ssnprintf (buffer + offset, buffer_len - offset,
73                                         ",%lf", vl->values[i].gauge);
74                 } 
75                 else if (store_rates != 0)
76                 {
77                         if (rates == NULL)
78                                 rates = uc_get_rate (ds, vl);
79                         if (rates == NULL)
80                         {
81                                 WARNING ("csv plugin: "
82                                                 "uc_get_rate failed.");
83                                 return (-1);
84                         }
85                         status = ssnprintf (buffer + offset,
86                                         buffer_len - offset,
87                                         ",%lf", rates[i]);
88                 }
89                 else if (ds->ds[i].type == DS_TYPE_COUNTER)
90                 {
91                         status = ssnprintf (buffer + offset,
92                                         buffer_len - offset,
93                                         ",%llu",
94                                         vl->values[i].counter);
95                 }
96                 else if (ds->ds[i].type == DS_TYPE_DERIVE)
97                 {
98                         status = ssnprintf (buffer + offset,
99                                         buffer_len - offset,
100                                         ",%"PRIi64,
101                                         vl->values[i].derive);
102                 }
103                 else if (ds->ds[i].type == DS_TYPE_ABSOLUTE)
104                 {
105                         status = ssnprintf (buffer + offset,
106                                         buffer_len - offset,
107                                         ",%"PRIu64,
108                                         vl->values[i].absolute);
109                 }
110
111                 if ((status < 1) || (status >= (buffer_len - offset)))
112                 {
113                         sfree (rates);
114                         return (-1);
115                 }
116
117                 offset += status;
118         } /* for ds->ds_num */
119
120         sfree (rates);
121         return (0);
122 } /* int value_list_to_string */
123
124 static int value_list_to_filename (char *buffer, size_t buffer_size,
125                 value_list_t const *vl)
126 {
127         int status;
128
129         char *ptr = buffer;
130         size_t ptr_size = buffer_size;
131         time_t now;
132         struct tm struct_tm;
133
134         if (datadir != NULL)
135         {
136                 size_t len = strlen (datadir) + 1;
137
138                 if (len >= ptr_size)
139                         return (ENOBUFS);
140
141                 memcpy (ptr, datadir, len);
142                 ptr[len-1] = '/';
143                 ptr_size -= len;
144                 ptr += len;
145         }
146
147         status = FORMAT_VL (ptr, ptr_size, vl);
148         if (status != 0)
149                 return (status);
150
151         /* Skip all the time formatting stuff when printing to STDOUT or
152          * STDERR. */
153         if (use_stdio)
154                 return (0);
155
156         ptr_size -= strlen (ptr);
157         ptr +=  strlen (ptr);
158
159         /* "-2013-07-12" => 11 bytes */
160         if (ptr_size < 12)
161         {
162                 ERROR ("csv plugin: Buffer too small.");
163                 return (ENOMEM);
164         }
165
166         /* TODO: Find a way to minimize the calls to `localtime_r',
167          * since they are pretty expensive.. */
168         now = time (NULL);
169         if (localtime_r (&now, &struct_tm) == NULL)
170         {
171                 ERROR ("csv plugin: localtime_r failed");
172                 return (-1);
173         }
174
175         status = strftime (ptr, ptr_size, "-%Y-%m-%d", &struct_tm);
176         if (status == 0) /* yep, it returns zero on error. */
177         {
178                 ERROR ("csv plugin: strftime failed");
179                 return (-1);
180         }
181
182         return (0);
183 } /* int value_list_to_filename */
184
185 static int csv_create_file (const char *filename, const data_set_t *ds)
186 {
187         FILE *csv;
188         int i;
189
190         if (check_create_dir (filename))
191                 return (-1);
192
193         csv = fopen (filename, "w");
194         if (csv == NULL)
195         {
196                 char errbuf[1024];
197                 ERROR ("csv plugin: fopen (%s) failed: %s",
198                                 filename,
199                                 sstrerror (errno, errbuf, sizeof (errbuf)));
200                 return (-1);
201         }
202
203         fprintf (csv, "epoch");
204         for (i = 0; i < ds->ds_num; i++)
205                 fprintf (csv, ",%s", ds->ds[i].name);
206
207         fprintf (csv, "\n");
208         fclose (csv);
209
210         return 0;
211 } /* int csv_create_file */
212
213 static int csv_config (const char *key, const char *value)
214 {
215         if (strcasecmp ("DataDir", key) == 0)
216         {
217                 if (datadir != NULL)
218                 {
219                         free (datadir);
220                         datadir = NULL;
221                 }
222                 if (strcasecmp ("stdout", value) == 0)
223                 {
224                         use_stdio = 1;
225                         return (0);
226                 }
227                 else if (strcasecmp ("stderr", value) == 0)
228                 {
229                         use_stdio = 2;
230                         return (0);
231                 }
232                 datadir = strdup (value);
233                 if (datadir != NULL)
234                 {
235                         int len = strlen (datadir);
236                         while ((len > 0) && (datadir[len - 1] == '/'))
237                         {
238                                 len--;
239                                 datadir[len] = '\0';
240                         }
241                         if (len <= 0)
242                         {
243                                 free (datadir);
244                                 datadir = NULL;
245                         }
246                 }
247         }
248         else if (strcasecmp ("StoreRates", key) == 0)
249         {
250                 if (IS_TRUE (value))
251                         store_rates = 1;
252                 else
253                         store_rates = 0;
254         }
255         else
256         {
257                 return (-1);
258         }
259         return (0);
260 } /* int csv_config */
261
262 static int csv_write (const data_set_t *ds, const value_list_t *vl,
263                 user_data_t __attribute__((unused)) *user_data)
264 {
265         struct stat  statbuf;
266         char         filename[512];
267         char         values[4096];
268         FILE        *csv;
269         int          csv_fd;
270         struct flock fl;
271         int          status;
272
273         if (0 != strcmp (ds->type, vl->type)) {
274                 ERROR ("csv plugin: DS type does not match value list type");
275                 return -1;
276         }
277
278         status = value_list_to_filename (filename, sizeof (filename), vl);
279         if (status != 0)
280                 return (-1);
281
282         DEBUG ("csv plugin: csv_write: filename = %s;", filename);
283
284         if (value_list_to_string (values, sizeof (values), ds, vl) != 0)
285                 return (-1);
286
287         if (use_stdio)
288         {
289                 size_t i;
290
291                 escape_string (filename, sizeof (filename));
292
293                 /* Replace commas by colons for PUTVAL compatible output. */
294                 for (i = 0; i < sizeof (values); i++)
295                 {
296                         if (values[i] == 0)
297                                 break;
298                         else if (values[i] == ',')
299                                 values[i] = ':';
300                 }
301
302                 fprintf (use_stdio == 1 ? stdout : stderr,
303                          "PUTVAL %s interval=%.3f %s\n",
304                          filename,
305                          CDTIME_T_TO_DOUBLE (vl->interval),
306                          values);
307                 return (0);
308         }
309
310         if (stat (filename, &statbuf) == -1)
311         {
312                 if (errno == ENOENT)
313                 {
314                         if (csv_create_file (filename, ds))
315                                 return (-1);
316                 }
317                 else
318                 {
319                         char errbuf[1024];
320                         ERROR ("stat(%s) failed: %s", filename,
321                                         sstrerror (errno, errbuf,
322                                                 sizeof (errbuf)));
323                         return (-1);
324                 }
325         }
326         else if (!S_ISREG (statbuf.st_mode))
327         {
328                 ERROR ("stat(%s): Not a regular file!",
329                                 filename);
330                 return (-1);
331         }
332
333         csv = fopen (filename, "a");
334         if (csv == NULL)
335         {
336                 char errbuf[1024];
337                 ERROR ("csv plugin: fopen (%s) failed: %s", filename,
338                                 sstrerror (errno, errbuf, sizeof (errbuf)));
339                 return (-1);
340         }
341         csv_fd = fileno (csv);
342
343         memset (&fl, '\0', sizeof (fl));
344         fl.l_start  = 0;
345         fl.l_len    = 0; /* till end of file */
346         fl.l_pid    = getpid ();
347         fl.l_type   = F_WRLCK;
348         fl.l_whence = SEEK_SET;
349
350         status = fcntl (csv_fd, F_SETLK, &fl);
351         if (status != 0)
352         {
353                 char errbuf[1024];
354                 ERROR ("csv plugin: flock (%s) failed: %s", filename,
355                                 sstrerror (errno, errbuf, sizeof (errbuf)));
356                 fclose (csv);
357                 return (-1);
358         }
359
360         fprintf (csv, "%s\n", values);
361
362         /* The lock is implicitely released. I we don't release it explicitely
363          * because the `FILE *' may need to flush a cache first */
364         fclose (csv);
365
366         return (0);
367 } /* int csv_write */
368
369 void module_register (void)
370 {
371         plugin_register_config ("csv", csv_config,
372                         config_keys, config_keys_num);
373         plugin_register_write ("csv", csv_write, /* user_data = */ NULL);
374 } /* void module_register */