src/rrd_open.c

   1 /*****************************************************************************
   2  * RRDtool 1.1.x  Copyright Tobias Oetiker, 1997 - 2002
   3  *****************************************************************************
   4  * rrd_open.c  Open an RRD File
   5  *****************************************************************************
   6  * $Id$
   7  * $Log$
   8  * Revision 1.9  2003/04/29 21:56:49  oetiker
   9  * readline in rrd_open.c reads the file in 8 KB blocks, and calls realloc for
  10  * each block. realloc is very slow in Mac OS X for huge blocks, e.g. when
  11  * restoring databases from huge xml files. This patch finds the size of the
  12  * file, and starts out with malloc'ing the full size.
  13  * -- Peter Speck <speck@ruc.dk>
  14  *
  15  * Revision 1.8  2003/04/11 19:43:44  oetiker
  16  * New special value COUNT which allows calculations based on the position of a
  17  * value within a data set. Bug fix in rrd_rpncalc.c. PREV returned erroneus
  18  * value for the second value. Bug fix in rrd_restore.c. Bug causing seek error
  19  * when accesing an RRD restored from an xml that holds an RRD version <3.
  20  * --  Ruben Justo <ruben@ainek.com>
  21  *
  22  * Revision 1.7  2003/03/31 21:22:12  oetiker
  23  * enables RRDtool updates with microsecond or in case of windows millisecond
  24  * precision. This is needed to reduce time measurement error when archive step
  25  * is small. (<30s) --  Sasha Mikheev <sasha@avalon-net.co.il>
  26  *
  27  * Revision 1.6  2003/02/13 07:05:27  oetiker
  28  * Find attached the patch I promised to send to you. Please note that there
  29  * are three new source files (src/rrd_is_thread_safe.h, src/rrd_thread_safe.c
  30  * and src/rrd_not_thread_safe.c) and the introduction of librrd_th. This
  31  * library is identical to librrd, but it contains support code for per-thread
  32  * global variables currently used for error information only. This is similar
  33  * to how errno per-thread variables are implemented.  librrd_th must be linked
  34  * alongside of libpthred
  35  *
  36  * There is also a new file "THREADS", holding some documentation.
  37  *
  38  * -- Peter Stamfest <peter@stamfest.at>
  39  *
  40  * Revision 1.5  2002/06/20 00:21:03  jake
  41  * More Win32 build changes; thanks to Kerry Calvert.
  42  *
  43  * Revision 1.4  2002/02/01 20:34:49  oetiker
  44  * fixed version number and date/time
  45  *
  46  * Revision 1.3  2001/03/04 13:01:55  oetiker
  47  * Aberrant Behavior Detection support. A brief overview added to rrdtool.pod.
  48  * Major updates to rrd_update.c, rrd_create.c. Minor update to other core files.
  49  * This is backwards compatible! But new files using the Aberrant stuff are not readable
  50  * by old rrdtool versions. See http://cricket.sourceforge.net/aberrant/rrd_hw.htm
  51  * -- Jake Brutlag <jakeb@corp.webtv.net>
  52  *
  53  * Revision 1.2  2001/03/04 10:29:20  oetiker
  54  * fixed filedescriptor leak
  55  * -- Mike Franusich <mike@franusich.com>
  56  *
  57  * Revision 1.1.1.1  2001/02/25 22:25:05  oetiker
  58  * checkin
  59  *
  60  *****************************************************************************/
  61
  62 #include "rrd_tool.h"
  63 #define MEMBLK 8192
  64
  65 /* open a database file, return its header and a open filehandle */
  66 /* positioned to the first cdp in the first rra */
  67
  68 int
  69 rrd_open(char *file_name, FILE **in_file, rrd_t *rrd, int rdwr)
  70 {
  71
  72
  73     char *mode = NULL;
  74     int version;
  75
  76     rrd_init(rrd);
  77     if (rdwr == RRD_READONLY) {
  78 #ifndef WIN32
  79         mode = "r";
  80 #else
  81         mode = "rb";
  82 #endif
  83     } else {
  84 #ifndef WIN32
  85         mode = "r+";
  86 #else
  87         mode = "rb+";
  88 #endif
  89     }
  90
  91     if (((*in_file) = fopen(file_name,mode)) == NULL ){
  92         rrd_set_error("opening '%s': %s",file_name, rrd_strerror(errno));
  93         return (-1);
  94     }
  95 /*
  96         if (rdwr == RRD_READWRITE)
  97         {
  98            if (setvbuf((*in_file),NULL,_IONBF,2)) {
  99                   rrd_set_error("failed to disable the stream buffer\n");
 100                   return (-1);
 101            }
 102         }
 103 */
 104
 105 #define MYFREAD(MYVAR,MYVART,MYCNT) \
 106     if ((MYVAR = malloc(sizeof(MYVART) * MYCNT)) == NULL) {\
 107         rrd_set_error("" #MYVAR " malloc"); \
 108         fclose(*in_file); \
 109     return (-1); } \
 110     fread(MYVAR,sizeof(MYVART),MYCNT, *in_file);
 111
 112
 113     MYFREAD(rrd->stat_head, stat_head_t,  1)
 114     version = atoi(rrd->stat_head->version);
 115
 116         /* lets do some test if we are on track ... */
 117         if (strncmp(rrd->stat_head->cookie,RRD_COOKIE,4) != 0){
 118             rrd_set_error("'%s' is not an RRD file",file_name);
 119             free(rrd->stat_head);
 120             fclose(*in_file);
 121             return(-1);}
 122
 123         if (version > atoi(RRD_VERSION)){
 124             rrd_set_error("can't handle RRD file version %s",
 125                         rrd->stat_head->version);
 126             free(rrd->stat_head);
 127             fclose(*in_file);
 128             return(-1);}
 129
 130         if (rrd->stat_head->float_cookie != FLOAT_COOKIE){
 131             rrd_set_error("This RRD was created on other architecture");
 132             free(rrd->stat_head);
 133             fclose(*in_file);
 134             return(-1);}
 135
 136     MYFREAD(rrd->ds_def,    ds_def_t,     rrd->stat_head->ds_cnt)
 137     MYFREAD(rrd->rra_def,   rra_def_t,    rrd->stat_head->rra_cnt)
 138     /* handle different format for the live_head */
 139     if(version < 3) {
 140             rrd->live_head = (live_head_t *)malloc(sizeof(live_head_t));
 141             if(rrd->live_head == NULL) {
 142                 rrd_set_error("live_head_t malloc");
 143                 fclose(*in_file);
 144                 return (-1);
 145             }
 146                 fread(&rrd->live_head->last_up, sizeof(long), 1, *in_file);
 147                 rrd->live_head->last_up_usec = 0;
 148     }
 149     else {
 150             MYFREAD(rrd->live_head, live_head_t, 1)
 151     }
 152     MYFREAD(rrd->pdp_prep,  pdp_prep_t,   rrd->stat_head->ds_cnt)
 153     MYFREAD(rrd->cdp_prep,  cdp_prep_t,   (rrd->stat_head->rra_cnt
 154                                              * rrd->stat_head->ds_cnt))
 155     MYFREAD(rrd->rra_ptr,   rra_ptr_t,    rrd->stat_head->rra_cnt)
 156 #undef MYFREAD
 157
 158     return(0);
 159 }
 160
 161 void rrd_init(rrd_t *rrd)
 162 {
 163     rrd->stat_head = NULL;
 164     rrd->ds_def = NULL;
 165     rrd->rra_def = NULL;
 166     rrd->live_head = NULL;
 167     rrd->rra_ptr = NULL;
 168     rrd->pdp_prep = NULL;
 169     rrd->cdp_prep = NULL;
 170     rrd->rrd_value = NULL;
 171 }
 172
 173 void rrd_free(rrd_t *rrd)
 174 {
 175     if (rrd->stat_head) free(rrd->stat_head);
 176     if (rrd->ds_def) free(rrd->ds_def);
 177     if (rrd->rra_def) free(rrd->rra_def);
 178     if (rrd->live_head) free(rrd->live_head);
 179     if (rrd->rra_ptr) free(rrd->rra_ptr);
 180     if (rrd->pdp_prep) free(rrd->pdp_prep);
 181     if (rrd->cdp_prep) free(rrd->cdp_prep);
 182     if (rrd->rrd_value) free(rrd->rrd_value);
 183 }
 184
 185 /* routine used by external libraries to free memory allocated by
 186  * rrd library */
 187 void rrd_freemem(void *mem)
 188 {
 189
 190     if (mem) free(mem);
 191 }
 192
 193 int readfile(char *file_name, char **buffer, int skipfirst){
 194     long writecnt=0,totalcnt = MEMBLK;
 195      long offset = 0;
 196     FILE *input=NULL;
 197     char c ;
 198     if ((strcmp("-",file_name) == 0)) { input = stdin; }
 199     else {
 200       if ((input = fopen(file_name,"rb")) == NULL ){
 201         rrd_set_error("opening '%s': %s",file_name,rrd_strerror(errno));
 202         return (-1);
 203       }
 204     }
 205     if (skipfirst){
 206       do { c = getc(input); offset++; } while (c != '\n' && ! feof(input));
 207     }
 208     if (strcmp("-",file_name)) {
 209       fseek(input, 0, SEEK_END);
 210       /* have extra space for detecting EOF without realloc */
 211       totalcnt = (ftell(input) + 1) / sizeof(char) - offset;
 212       if (totalcnt < MEMBLK)
 213         totalcnt = MEMBLK; /* sanitize */
 214       fseek(input, offset * sizeof(char), SEEK_SET);
 215     }
 216     if (((*buffer) = (char *) malloc((totalcnt+4) * sizeof(char))) == NULL) {
 217         perror("Allocate Buffer:");
 218         exit(1);
 219     };
 220     do{
 221       writecnt += fread((*buffer)+writecnt, 1, (totalcnt - writecnt) * sizeof(char),input);
 222       if (writecnt >= totalcnt){
 223         totalcnt += MEMBLK;
 224         if (((*buffer)=rrd_realloc((*buffer), (totalcnt+4) * sizeof(char)))==NULL){
 225             perror("Realloc Buffer:");
 226             exit(1);
 227         };
 228       }
 229     } while (! feof(input));
 230     (*buffer)[writecnt] = '\0';
 231     if (strcmp("-",file_name) != 0) {fclose(input);};
 232     return writecnt;
 233 }
 234
 235