added posix_fadvise support (untested) ... this should help performance by
[rrdtool.git] / src / rrd_update.c
index 6296cfe..dc1a492 100644 (file)
@@ -1,5 +1,5 @@
 /*****************************************************************************
- * RRDtool 1.2.12  Copyright by Tobi Oetiker, 1997-2005
+ * RRDtool 1.2.23  Copyright by Tobi Oetiker, 1997-2007
  *****************************************************************************
  * rrd_update.c  RRD Update Function
  *****************************************************************************
@@ -87,38 +87,19 @@ info_t *write_RRA_row (rrd_t *rrd, unsigned long rra_idx,
                                        unsigned short CDP_scratch_idx, FILE *rrd_file,
                                        info_t *pcdp_summary, time_t *rra_time);
 #endif
-int rrd_update_r(char *filename, char *tmplt, int argc, char **argv);
-int _rrd_update(char *filename, char *tmplt, int argc, char **argv, 
+int rrd_update_r(const char *filename, const char *tmplt, int argc, const char **argv);
+int _rrd_update(const char *filename, const char *tmplt, int argc, const char **argv, 
                                        info_t*);
 
 #define IFDNAN(X,Y) (isnan(X) ? (Y) : (X));
 
 
-#ifdef STANDALONE
-int 
-main(int argc, char **argv){
-        rrd_update(argc,argv);
-        if (rrd_test_error()) {
-                printf("RRDtool " PACKAGE_VERSION "  Copyright by Tobi Oetiker, 1997-2005\n\n"
-                        "Usage: rrdupdate filename\n"
-                        "\t\t\t[--template|-t ds-name:ds-name:...]\n"
-                        "\t\t\ttime|N:value[:value...]\n\n"
-                        "\t\t\tat-time@value[:value...]\n\n"
-                        "\t\t\t[ time:value[:value...] ..]\n\n");
-                                   
-                printf("ERROR: %s\n",rrd_get_error());
-                rrd_clear_error();                                                            
-                return 1;
-        }
-        return 0;
-}
-#endif
-
 info_t *rrd_update_v(int argc, char **argv)
 {
     char             *tmplt = NULL;          
        info_t *result = NULL;
        infoval rc;
+      rc.u_int = -1;
     optind = 0; opterr = 0;  /* initialize getopt */
 
     while (1) {
@@ -142,7 +123,6 @@ info_t *rrd_update_v(int argc, char **argv)
                
                case '?':
                        rrd_set_error("unknown option '%s'",argv[optind-1]);
-            rc.u_int = -1;
                        goto end_tag;
                }
     }
@@ -150,12 +130,12 @@ info_t *rrd_update_v(int argc, char **argv)
     /* need at least 2 arguments: filename, data. */
     if (argc-optind < 2) {
                rrd_set_error("Not enough arguments");
-        rc.u_int = -1;
                goto end_tag;
     }
+    rc.u_int = 0;
     result = info_push(NULL,sprintf_alloc("return_value"),RD_I_INT,rc);
        rc.u_int = _rrd_update(argv[optind], tmplt,
-                     argc - optind - 1, argv + optind + 1, result);
+                     argc - optind - 1, (const char **)(argv + optind + 1), result);
     result->value.u_int = rc.u_int;
 end_tag:
     return result;
@@ -201,18 +181,18 @@ rrd_update(int argc, char **argv)
     }
  
        rc = rrd_update_r(argv[optind], tmplt,
-                     argc - optind - 1, argv + optind + 1);
+                     argc - optind - 1, (const char **)(argv + optind + 1));
     return rc;
 }
 
 int
-rrd_update_r(char *filename, char *tmplt, int argc, char **argv)
+rrd_update_r(const char *filename, const char *tmplt, int argc, const char **argv)
 {
    return _rrd_update(filename, tmplt, argc, argv, NULL);
 }
 
 int
-_rrd_update(char *filename, char *tmplt, int argc, char **argv, 
+_rrd_update(const char *filename, const char *tmplt, int argc, const char **argv, 
    info_t *pcdp_summary)
 {
 
@@ -231,7 +211,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
                                          * spot in the rrd file. */
     unsigned long    rra_pos_tmp;        /* temporary byte pointer. */
     double           interval,
-       pre_int,post_int;                /* interval between this and
+                     pre_int,post_int;   /* interval between this and
                                          * the last run */
     unsigned long    proc_pdp_st;        /* which pdp_st was the last
                                          * to be processed */
@@ -281,11 +261,13 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
     rpnstack_t       rpnstack; /* used for COMPUTE DS */
     int                     version;  /* rrd version */
     char             *endptr; /* used in the conversion */
+
 #ifdef HAVE_MMAP
     void            *rrd_mmaped_file;
     unsigned long    rrd_filesize;
 #endif
 
+
     rpnstack_init(&rpnstack);
 
     /* need at least 1 arguments: data. */
@@ -299,6 +281,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
     if(rrd_open(filename,&rrd_file,&rrd, RRD_READWRITE)==-1){
        return -1;
     }
+
     /* initialize time */
     version = atoi(rrd.stat_head->version);
     gettimeofday(&tmp_time, 0);
@@ -383,13 +366,13 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
        /* we should work on a writeable copy here */
        char *dsname;
        unsigned int tmpl_len;
-       tmplt = strdup(tmplt);
-       dsname = tmplt;
+       char *tmplt_copy = strdup(tmplt);
+       dsname = tmplt_copy;
        tmpl_cnt = 1; /* the first entry is the time */
-       tmpl_len = strlen(tmplt);
+       tmpl_len = strlen(tmplt_copy);
        for(i=0;i<=tmpl_len ;i++) {
-           if (tmplt[i] == ':' || tmplt[i] == '\0') {
-               tmplt[i] = '\0';
+           if (tmplt_copy[i] == ':' || tmplt_copy[i] == '\0') {
+               tmplt_copy[i] = '\0';
                if (tmpl_cnt>rrd.stat_head->ds_cnt){
                    rrd_set_error("tmplt contains more DS definitions than RRD");
                    free(updvals); free(pdp_temp);
@@ -399,23 +382,23 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
                if ((tmpl_idx[tmpl_cnt++] = ds_match(&rrd,dsname)) == -1){
                    rrd_set_error("unknown DS name '%s'",dsname);
                    free(updvals); free(pdp_temp);
-                   free(tmplt);
+                   free(tmplt_copy);
                    free(tmpl_idx); rrd_free(&rrd);
                    fclose(rrd_file); return(-1);
                } else {
                  /* the first element is always the time */
                  tmpl_idx[tmpl_cnt-1]++; 
-                 /* go to the next entry on the tmplt */
-                 dsname = &tmplt[i+1];
+                 /* go to the next entry on the tmplt_copy */
+                 dsname = &tmplt_copy[i+1];
                   /* fix the damage we did before */
                   if (i<tmpl_len) {
-                     tmplt[i]=':';
+                     tmplt_copy[i]=':';
                   } 
 
                }
            }       
        }
-       free(tmplt);
+       free(tmplt_copy);
     }
     if ((pdp_new = malloc(sizeof(rrd_value_t)
                          *rrd.stat_head->ds_cnt))==NULL){
@@ -447,7 +430,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
 #endif
     /* loop through the arguments. */
     for(arg_i=0; arg_i<argc;arg_i++) {
-       char *stepper = malloc((strlen(argv[arg_i])+1)*sizeof(char));
+       char *stepper = strdup(argv[arg_i]);
         char *step_start = stepper;
        char *p;
        char *parsetime_error = NULL;
@@ -455,6 +438,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
        struct rrd_time_value ds_tv;
         if (stepper == NULL){
                 rrd_set_error("failed duplication argv entry");
+               free(step_start);
                 free(updvals);
                 free(pdp_temp);  
                 free(tmpl_idx);
@@ -468,7 +452,6 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
        /* initialize all ds input to unknown except the first one
            which has always got to be set */
        for(ii=1;ii<=rrd.stat_head->ds_cnt;ii++) updvals[ii] = "U";
-       strcpy(stepper,argv[arg_i]);
        updvals[0]=stepper;
        /* separate all ds elements; first must be examined separately
           due to alternate time syntax */
@@ -481,7 +464,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
            *p = '\0';
            stepper = p+1;
        } else {
-           rrd_set_error("expected timestamp not found in data source from %s:...",
+           rrd_set_error("expected timestamp not found in data source from %s",
                          argv[arg_i]);
            free(step_start);
            break;
@@ -500,7 +483,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
        }
 
        if (ii != tmpl_cnt-1) {
-           rrd_set_error("expected %lu data source readings (got %lu) from %s:...",
+           rrd_set_error("expected %lu data source readings (got %lu) from %s",
                          tmpl_cnt-1, ii, argv[arg_i]);
            free(step_start);
            break;
@@ -609,9 +592,9 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
            dst_idx= dst_conv(rrd.ds_def[i].dst);
 
             /* make sure we do not build diffs with old last_ds values */
-           if(rrd.ds_def[i].par[DS_mrhb_cnt].u_cnt < interval 
-               && ( dst_idx == DST_COUNTER || dst_idx == DST_DERIVE)){
+           if(rrd.ds_def[i].par[DS_mrhb_cnt].u_cnt < interval) {
                strncpy(rrd.pdp_prep[i].last_ds,"U",LAST_DS_LEN-1);
+               rrd.pdp_prep[i].last_ds[LAST_DS_LEN-1]='\0';
            }
 
            /* NOTE: DST_CDEF should never enter this if block, because
@@ -623,7 +606,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
                   (dst_idx != DST_CDEF) &&
               rrd.ds_def[i].par[DS_mrhb_cnt].u_cnt >= interval) {
               double rate = DNAN;
-              /* the data source type defines how to process the data */
+              /* the data source type defines how to process the data */
                /* pdp_new contains rate * time ... eg the bytes
                 * transferred during the interval. Doing it this way saves
                 * a lot of math operations */
@@ -634,7 +617,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
                case DST_DERIVE:
                    if(rrd.pdp_prep[i].last_ds[0] != 'U'){
                       for(ii=0;updvals[i+1][ii] != '\0';ii++){
-                            if(updvals[i+1][ii] < '0' || updvals[i+1][ii] > '9' || (ii==0 && updvals[i+1][ii] == '-')){
+                            if((updvals[i+1][ii] < '0' || updvals[i+1][ii] > '9') && (ii != 0 && updvals[i+1][ii] != '-')){
                                  rrd_set_error("not a simple integer: '%s'",updvals[i+1]);
                                  break;
                             }
@@ -707,6 +690,7 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
                /* no news is news all the same */
                pdp_new[i] = DNAN;
            }
+
            
            /* make a copy of the command line argument for the next run */
 #ifdef DEBUG
@@ -719,11 +703,8 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
                    rrd.pdp_prep[i].last_ds,
                    updvals[i+1], pdp_new[i]);
 #endif
-           if(dst_idx == DST_COUNTER || dst_idx == DST_DERIVE){
-               strncpy(rrd.pdp_prep[i].last_ds,
-                       updvals[i+1],LAST_DS_LEN-1);
-               rrd.pdp_prep[i].last_ds[LAST_DS_LEN-1]='\0';
-           }
+           strncpy(rrd.pdp_prep[i].last_ds, updvals[i+1],LAST_DS_LEN-1);
+           rrd.pdp_prep[i].last_ds[LAST_DS_LEN-1]='\0';
        }
        /* break out of the argument parsing loop if the error_string is set */
        if (rrd_test_error()){
@@ -736,9 +717,12 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
            /* no we have not passed a pdp_st moment. therefore update is simple */
 
            for(i=0;i<rrd.stat_head->ds_cnt;i++){
-               if(isnan(pdp_new[i]))
-                   rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt += floor(interval+0.5);
-               else {
+               if(isnan(pdp_new[i])) {            
+                   /* this is not realy accurate if we use subsecond data arival time
+                      should have thought of it when going subsecond resolution ...
+                       sorry next format change we will have it! */
+                   rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt += floor(interval);          
+               } else {
                     if (isnan( rrd.pdp_prep[i].scratch[PDP_val].u_val )){
                        rrd.pdp_prep[i].scratch[PDP_val].u_val= pdp_new[i];
                     } else {
@@ -765,9 +749,12 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
 
            for(i=0;i<rrd.stat_head->ds_cnt;i++){
                /* update pdp_prep to the current pdp_st. */
-               
+                double pre_unknown = 0.0;              
                if(isnan(pdp_new[i]))
-                   rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt += floor(pre_int+0.5);
+                    /* a final bit of unkonwn to be added bevore calculation
+                    * we use a tempaorary variable for this so that we 
+                    * don't have to turn integer lines before using the value */                
+                   pre_unknown = pre_int;
                else {
                     if (isnan( rrd.pdp_prep[i].scratch[PDP_val].u_val )){
                        rrd.pdp_prep[i].scratch[PDP_val].u_val=         pdp_new[i]/interval*pre_int;
@@ -790,9 +777,9 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
                    pdp_temp[i] = DNAN;
                } else {
                    pdp_temp[i] = rrd.pdp_prep[i].scratch[PDP_val].u_val
-                       / (double)( occu_pdp_st
-                                   - proc_pdp_st
-                                   - rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt);
+                       / ((double)(occu_pdp_st - proc_pdp_st
+                                    - rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt)
+                            -pre_unknown);
                }
 
                /* process CDEF data sources; remember each CDEF DS can
@@ -817,7 +804,10 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
         
                /* make pdp_prep ready for the next run */
                if(isnan(pdp_new[i])){
-                   rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt = floor(post_int + 0.5);
+                   /* this is not realy accurate if we use subsecond data arival time
+                      should have thought of it when going subsecond resolution ...
+                       sorry next format change we will have it! */
+                   rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt = floor(post_int);
                    rrd.pdp_prep[i].scratch[PDP_val].u_val = DNAN;
                } else {
                    rrd.pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt = 0;
@@ -1408,6 +1398,19 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
        fclose(rrd_file);
        return(-1);
     }
+#ifdef POSIX_FADVISE
+
+    /* with update we have write ops, so they will probably not be done by now, this means
+       the buffers will not get freed. But calling this for the whole file - header
+       will let the data off the hook as soon as it is written when if it is from a previous
+       update cycle. Calling fdsync to force things is much too hard here. */
+
+    if (0 != posix_fadvise(fileno(in_file), rra_begin, 0, POSIX_FADV_DONTNEED)) {
+         rrd_set_error("setting POSIX_FADV_DONTNEED on '%s': %s",file_name, rrd_strerror(errno));
+         fclose(in_file);
+         return(-1);
+    } 
+#endif
 
     /* OK now close the files and free the memory */
     if(fclose(rrd_file) != 0){
@@ -1428,6 +1431,8 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
        if (schedule_smooth)
        {
          rrd_file = fopen(filename,"rb+");
+          
+
          rra_start = rra_begin;
          for (i = 0; i < rrd.stat_head -> rra_cnt; ++i)
          {
@@ -1444,6 +1449,14 @@ _rrd_update(char *filename, char *tmplt, int argc, char **argv,
            rra_start += rrd.rra_def[i].row_cnt
              *rrd.stat_head->ds_cnt*sizeof(rrd_value_t);
          }
+#ifdef POSIX_FADVISE
+          /* same procedure as above ... */
+          if (0 != posix_fadvise(fileno(in_file), rrd_head_size, 0, POSIX_FADV_DONTNEED)) {
+             rrd_set_error("setting POSIX_FADV_DONTNEED on '%s': %s",file_name, rrd_strerror(errno));
+             fclose(in_file);
+             return(-1);
+          } 
+#endif
          fclose(rrd_file);
        }
     rrd_free(&rrd);