doc/rrdgraph_rpn.pod

   1 =head1 NAME
   2
   3 rrdgraph_rpn - About RPN Math in rrdtool graph
   4
   5 =head1 SYNOPSIS
   6
   7 I<RPN expression>:=I<vname>|I<operator>|I<value>[,I<RPN expression>]
   8
   9 =head1 DESCRIPTION
  10
  11 If you have ever used a traditional HP calculator you already know
  12 B<RPN> (Reverse Polish Notation).
  13 The idea behind B<RPN> is that you have a stack and push
  14 your data onto this stack. Whenever you execute an operation, it
  15 takes as many elements from the stack as needed. Pushing is done
  16 implicitly, so whenever you specify a number or a variable, it gets
  17 pushed onto the stack automatically.
  18
  19 At the end of the calculation there should be one and only one value left on
  20 the stack.  This is the outcome of the function and this is what is put into
  21 the I<vname>.  For B<CDEF> instructions, the stack is processed for each
  22 data point on the graph. B<VDEF> instructions work on an entire data set in
  23 one run. Note, that currently B<VDEF> instructions only support a limited
  24 list of functions.
  25
  26 Example: C<VDEF:maximum=mydata,MAXIMUM>
  27
  28 This will set variable "maximum" which you now can use in the rest
  29 of your RRD script.
  30
  31 Example: C<CDEF:mydatabits=mydata,8,*>
  32
  33 This means:  push variable I<mydata>, push the number 8, execute
  34 the operator I<*>. The operator needs two elements and uses those
  35 to return one value.  This value is then stored in I<mydatabits>.
  36 As you may have guessed, this instruction means nothing more than
  37 I<mydatabits = mydata * 8>.  The real power of B<RPN> lies in the
  38 fact that it is always clear in which order to process the input.
  39 For expressions like C<a = b + 3 * 5> you need to multiply 3 with
  40 5 first before you add I<b> to get I<a>. However, with parentheses
  41 you could change this order: C<a = (b + 3) * 5>. In B<RPN>, you
  42 would do C<a = b, 3, +, 5, *> without the need for parentheses.
  43
  44 =head1 OPERATORS
  45
  46 =over 4
  47
  48 =item Boolean operators
  49
  50 B<LT, LE, GT, GE, EQ, NE>
  51
  52 Pop two elements from the stack, compare them for the selected condition
  53 and return 1 for true or 0 for false. Comparing an I<unknown> or an
  54 I<infinite> value will always result in 0 (false).
  55
  56 B<UN, ISINF>
  57
  58 Pop one element from the stack, compare this to I<unknown> respectively
  59 to I<positive or negative infinity>. Returns 1 for true or 0 for false.
  60
  61 B<IF>
  62
  63 Pops three elements from the stack.  If the element popped last is 0
  64 (false), the value popped first is pushed back onto the stack,
  65 otherwise the value popped second is pushed back. This does, indeed,
  66 mean that any value other than 0 is considered to be true.
  67
  68 Example: C<A,B,C,IF> should be read as C<if (A) then (B) else (C)>
  69
  70 Z<>
  71
  72 =item Comparing values
  73
  74 B<MIN, MAX>
  75
  76 Pops two elements from the stack and returns the smaller or larger,
  77 respectively.  Note that I<infinite> is larger than anything else.
  78 If one of the input numbers is I<unknown> then the result of the operation will be
  79 I<unknown> too.
  80
  81 B<LIMIT>
  82
  83 Pops two elements from the stack and uses them to define a range.
  84 Then it pops another element and if it falls inside the range, it
  85 is pushed back. If not, an I<unknown> is pushed.
  86
  87 The range defined includes the two boundaries (so: a number equal
  88 to one of the boundaries will be pushed back). If any of the three
  89 numbers involved is either I<unknown> or I<infinite> this function
  90 will always return an I<unknown>
  91
  92 Example: C<CDEF:a=alpha,0,100,LIMIT> will return I<unknown> if
  93 alpha is lower than 0 or if it is higher than 100.
  94
  95 Z<>
  96
  97 =item Arithmetics
  98
  99 B<+, -, *, /, %>
 100
 101 Add, subtract, multiply, divide, modulo
 102
 103 B<ADDNAN>
 104
 105 NAN-safe addition. If one parameter is NAN/UNKNOWN it'll be treated as
 106 zero. If both parameters are NAN/UNKNOWN, NAN/UNKNOWN will be returned.
 107
 108 B<SIN, COS, LOG, EXP, SQRT>
 109
 110 Sine and cosine (input in radians), log and exp (natural logarithm),
 111 square root.
 112
 113 B<ATAN>
 114
 115 Arctangent (output in radians).
 116
 117 B<ATAN2>
 118
 119 Arctangent of y,x components (output in radians).
 120 This pops one element from the stack, the x (cosine) component, and then
 121 a second, which is the y (sine) component.
 122 It then pushes the arctangent of their ratio, resolving the ambiguity between
 123 quadrants.
 124
 125 Example: C<CDEF:angle=Y,X,ATAN2,RAD2DEG> will convert C<X,Y>
 126 components into an angle in degrees.
 127
 128 B<FLOOR, CEIL>
 129
 130 Round down or up to the nearest integer.
 131
 132 B<DEG2RAD, RAD2DEG>
 133
 134 Convert angle in degrees to radians, or radians to degrees.
 135
 136 B<ABS>
 137
 138 Take the absolute value.
 139
 140 =item Set Operations
 141
 142 B<SORT, REV>
 143
 144 Pop one element from the stack.  This is the I<count> of items to be sorted
 145 (or reversed).  The top I<count> of the remaining elements are then sorted
 146 (or reversed) in place on the stack.
 147
 148 Example: C<CDEF:x=v1,v2,v3,v4,v5,v6,6,SORT,POP,5,REV,POP,+,+,+,4,/> will
 149 compute the average of the values v1 to v6 after removing the smallest and
 150 largest.
 151
 152 B<AVG>
 153
 154 Pop one element (I<count>) from the stack. Now pop I<count> elements and build the
 155 average, ignoring all UNKNOWN values in the process.
 156
 157 Example: C<CDEF:x=a,b,c,d,4,AVG>
 158
 159 B<TREND, TRENDNAN>
 160
 161 Create a "sliding window" average of another data series.
 162
 163 Usage:
 164 CDEF:smoothed=x,1800,TREND
 165
 166 This will create a half-hour (1800 second) sliding window average of x.  The
 167 average is essentially computed as shown here:
 168
 169                  +---!---!---!---!---!---!---!---!--->
 170                                                      now
 171                        delay     t0
 172                  <--------------->
 173                          delay       t1
 174                      <--------------->
 175                               delay      t2
 176                          <--------------->
 177
 178
 179      Value at sample (t0) will be the average between (t0-delay) and (t0)
 180      Value at sample (t1) will be the average between (t1-delay) and (t1)
 181      Value at sample (t2) will be the average between (t2-delay) and (t2)
 182
 183 TRENDNAN is - in contrast to TREND - NAN-safe. If you use TREND and one
 184 source value is NAN the complete sliding window is affected. The TRENDNAN
 185 operation ignores all NAN-values in a sliding window and computes the
 186 average of the remaining values.
 187
 188 B<PREDICT, PREDICTSIGMA>
 189
 190 Create a "sliding window" average/sigma of another data series, that also
 191 shifts the data series by given amounts of of time as well
 192
 193 Usage - explicit stating shifts:
 194 CDEF:predict=<shift n>,...,<shift 1>,n,<window>,x,PREDICT
 195 CDEF:sigma=<shift n>,...,<shift 1>,n,<window>,x,PREDICTSIGMA
 196
 197 Usage - shifts defined as a base shift and a number of time this is applied
 198 CDEF:predict=<shift multiplier>,-n,<window>,x,PREDICT
 199 CDEF:sigma=<shift multiplier>,-n,<window>,x,PREDICTSIGMA
 200
 201 Example:
 202 CDEF:predict=172800,86400,2,1800,x,PREDICT
 203
 204 This will create a half-hour (1800 second) sliding window average/sigma of x, that
 205 average is essentially computed as shown here:
 206
 207  +---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!--->
 208                                                                      now
 209                                                   shift 1        t0
 210                                          <----------------------->
 211                                window
 212                          <--------------->
 213                                        shift 2
 214                  <----------------------------------------------->
 215        window
 216  <--------------->
 217                                                       shift 1        t1
 218                                              <----------------------->
 219                                    window
 220                              <--------------->
 221                                             shift 2
 222                      <----------------------------------------------->
 223            window
 224      <--------------->
 225
 226  Value at sample (t0) will be the average between (t0-shift1-window) and (t0-shift1)
 227                                       and between (t0-shift2-window) and (t0-shift2)
 228  Value at sample (t1) will be the average between (t1-shift1-window) and (t1-shift1)
 229                                       and between (t1-shift2-window) and (t1-shift2)
 230
 231
 232 The function is by design NAN-safe.
 233 This also allows for extrapolation into the future (say a few days)
 234 - you may need to define the data series whit the optional start= parameter, so that
 235 the source data series has enough data to provide prediction also at the beginning of a graph...
 236
 237 Here an example, that will create a 10 day graph that also shows the
 238 prediction 3 days into the future with its uncertainty value (as defined by avg+-4*sigma)
 239 This also shows if the prediction is exceeded at a certain point.
 240
 241 rrdtool graph image.png --imgformat=PNG \
 242  --start=-7days --end=+3days --width=1000 --height=200 --alt-autoscale-max \
 243  DEF:value=value.rrd:value:AVERAGE:start=-14days \
 244  LINE1:value#ff0000:value \
 245  CDEF:predict=86400,-7,1800,value,PREDICT \
 246  CDEF:sigma=86400,-7,1800,value,PREDICTSIGMA \
 247  CDEF:upper=predict,sigma,3,*,+ \
 248  CDEF:lower=predict,sigma,3,*,- \
 249  LINE1:predict#00ff00:prediction \
 250  LINE1:upper#0000ff:upper\ certainty\ limit \
 251  LINE1:lower#0000ff:lower\ certainty\ limit \
 252  CDEF:exceeds=value,UN,0,value,lower,upper,LIMIT,UN,IF \
 253  TICK:exceeds#aa000080:1
 254
 255 Note: Experience has shown that a factor between 3 and 5 to scale sigma is a good
 256 discriminator to detect abnormal behavior. This obviously depends also on the type
 257 of data and how "noisy" the data series is.
 258
 259 This prediction can only be used for short term extrapolations - say a few days into the future-
 260
 261 =item Special values
 262
 263 B<UNKN>
 264
 265 Pushes an unknown value on the stack
 266
 267 B<INF, NEGINF>
 268
 269 Pushes a positive or negative infinite value on the stack. When
 270 such a value is graphed, it appears at the top or bottom of the
 271 graph, no matter what the actual value on the y-axis is.
 272
 273 B<PREV>
 274
 275 Pushes an I<unknown> value if this is the first value of a data
 276 set or otherwise the result of this B<CDEF> at the previous time
 277 step. This allows you to do calculations across the data.  This
 278 function cannot be used in B<VDEF> instructions.
 279
 280 B<PREV(vname)>
 281
 282 Pushes an I<unknown> value if this is the first value of a data
 283 set or otherwise the result of the vname variable at the previous time
 284 step. This allows you to do calculations across the data. This
 285 function cannot be used in B<VDEF> instructions.
 286
 287 B<COUNT>
 288
 289 Pushes the number 1 if this is the first value of the data set, the
 290 number 2 if it is the second, and so on. This special value allows
 291 you to make calculations based on the position of the value within
 292 the data set. This function cannot be used in B<VDEF> instructions.
 293
 294 =item Time
 295
 296 Time inside RRDtool is measured in seconds since the epoch. The
 297 epoch is defined to be S<C<Thu Jan  1 00:00:00 UTC 1970>>.
 298
 299 B<NOW>
 300
 301 Pushes the current time on the stack.
 302
 303 B<TIME>
 304
 305 Pushes the time the currently processed value was taken at onto the stack.
 306
 307 B<LTIME>
 308
 309 Takes the time as defined by B<TIME>, applies the time zone offset
 310 valid at that time including daylight saving time if your OS supports
 311 it, and pushes the result on the stack.  There is an elaborate example
 312 in the examples section below on how to use this.
 313
 314 =item Processing the stack directly
 315
 316 B<DUP, POP, EXC>
 317
 318 Duplicate the top element, remove the top element, exchange the two
 319 top elements.
 320
 321 Z<>
 322
 323 =back
 324
 325 =head1 VARIABLES
 326
 327 These operators work only on B<VDEF> statements. Note that currently ONLY these work for B<VDEF>.
 328
 329 =over 4
 330
 331 =item MAXIMUM, MINIMUM, AVERAGE
 332
 333 Return the corresponding value, MAXIMUM and MINIMUM also return
 334 the first occurrence of that value in the time component.
 335
 336 Example: C<VDEF:avg=mydata,AVERAGE>
 337
 338 =item STDEV
 339
 340 Returns the standard deviation of the values.
 341
 342 Example: C<VDEF:stdev=mydata,STDEV>
 343
 344 =item LAST, FIRST
 345
 346 Return the last/first value including its time.  The time for
 347 FIRST is actually the start of the corresponding interval, whereas
 348 LAST returns the end of the corresponding interval.
 349
 350 Example: C<VDEF:first=mydata,FIRST>
 351
 352 =item TOTAL
 353
 354 Returns the rate from each defined time slot multiplied with the
 355 step size.  This can, for instance, return total bytes transferred
 356 when you have logged bytes per second. The time component returns
 357 the number of seconds.
 358
 359 Example: C<VDEF:total=mydata,TOTAL>
 360
 361 =item PERCENT, PERCENTNAN
 362
 363 This should follow a B<DEF> or B<CDEF> I<vname>. The I<vname> is popped,
 364 another number is popped which is a certain percentage (0..100). The
 365 data set is then sorted and the value returned is chosen such that
 366 I<percentage> percent of the values is lower or equal than the result.
 367 For PERCENTNAN I<Unknown> values are ignored, but for PERCENT
 368 I<Unknown> values are considered lower than any finite number for this
 369 purpose so if this operator returns an I<unknown> you have quite a lot
 370 of them in your data.  B<Inf>inite numbers are lesser, or more, than the
 371 finite numbers and are always more than the I<Unknown> numbers.
 372 (NaN E<lt> -INF E<lt> finite values E<lt> INF)
 373
 374 Example: C<VDEF:perc95=mydata,95,PERCENT>
 375          C<VDEF:percnan95=mydata,95,PERCENTNAN>
 376
 377 =item LSLSLOPE, LSLINT, LSLCORREL
 378
 379 Return the parameters for a B<L>east B<S>quares B<L>ine I<(y = mx +b)>
 380 which approximate the provided dataset.  LSLSLOPE is the slope I<(m)> of
 381 the line related to the COUNT position of the data.  LSLINT is the
 382 y-intercept I<(b)>, which happens also to be the first data point on the
 383 graph. LSLCORREL is the Correlation Coefficient (also know as Pearson's
 384 Product Moment Correlation Coefficient).  It will range from 0 to +/-1
 385 and represents the quality of fit for the approximation.
 386
 387 Example: C<VDEF:slope=mydata,LSLSLOPE>
 388
 389 =back
 390
 391 =head1 SEE ALSO
 392
 393 L<rrdgraph> gives an overview of how B<rrdtool graph> works.
 394 L<rrdgraph_data> describes B<DEF>,B<CDEF> and B<VDEF> in detail.
 395 L<rrdgraph_rpn> describes the B<RPN> language used in the B<?DEF> statements.
 396 L<rrdgraph_graph> page describes all of the graph and print functions.
 397
 398 Make sure to read L<rrdgraph_examples> for tipsE<amp>tricks.
 399
 400 =head1 AUTHOR
 401
 402 Program by Tobias Oetiker E<lt>tobi@oetiker.chE<gt>
 403
 404 This manual page by Alex van den Bogaerdt E<lt>alex@vandenbogaerdt.nlE<gt>
 405 with corrections and/or additions by several people