3 rrdgraph_rpn - About RPN Math in rrdtool graph
7 I<RPN expression>:=I<vname>|I<operator>|I<value>[,I<RPN expression>]
11 If you have ever used a traditional HP calculator you already know
12 B<RPN>. The idea behind B<RPN> is that you have a stack and push
13 your data onto this stack. Whenever you execute an operation, it
14 takes as many elements from the stack as needed. Pushing is done
15 implicitly, so whenever you specify a number or a variable, it gets
16 pushed onto the stack automatically.
18 At the end of the calculation there should be one and only one value left on
19 the stack.  This is the outcome of the function and this is what is put into
20 the I<vname>.  For B<CDEF> instructions, the stack is processed for each
21 data point on the graph. B<VDEF> instructions work on an entire data set in
22 one run. Note, that currently B<VDEF> instructions only support a limited
23 list of functions.
25 Example: C<VDEF:maximum=mydata,MAXIMUM>
27 This will set variable "maximum" which you now can use in the rest
28 of your RRD script.
30 Example: C<CDEF:mydatabits=mydata,8,*>
32 This means:  push variable I<mydata>, push the number 8, execute
33 the operator I<*>. The operator needs two elements and uses those
34 to return one value.  This value is then stored in I<mydatabits>.
35 As you may have guessed, this instruction means nothing more than
36 I<mydatabits = mydata * 8>.  The real power of B<RPN> lies in the
37 fact that it is always clear in which order to process the input.
38 For expressions like C<a = b + 3 * 5> you need to multiply 3 with
39 5 first before you add I<b> to get I<a>. However, with parentheses
40 you could change this order: C<a = (b + 3) * 5>. In B<RPN>, you
41 would do C<a = b, 3, +, 5, *> without the need for parentheses.
45 =over 4
47 =item Boolean operators
49 B<LT, LE, GT, GE, EQ, NE>
51 Pop two elements from the stack, compare them for the selected condition
52 and return 1 for true or 0 for false. Comparing an I<unknown> or an
53 I<infinite> value will always result in 0 (false).
55 B<UN, ISINF>
57 Pop one element from the stack, compare this to I<unknown> respectively
58 to I<positive or negative infinity>. Returns 1 for true or 0 for false.
60 B<IF>
62 Pops three elements from the stack.  If the element popped last is 0
63 (false), the value popped first is pushed back onto the stack,
64 otherwise the value popped second is pushed back. This does, indeed,
65 mean that any value other than 0 is considered to be true.
67 Example: C<A,B,C,IF> should be read as C<if (A) then (B) else (C)>
69 Z<>
71 =item Comparing values
73 B<MIN, MAX>
75 Pops two elements from the stack and returns the smaller or larger,
76 respectively.  Note that I<infinite> is larger than anything else.
77 If one of the input numbers is I<unknown> then the result of the operation will be
78 I<unknown> too.
80 B<LIMIT>
82 Pops two elements from the stack and uses them to define a range.
83 Then it pops another element and if it falls inside the range, it
84 is pushed back. If not, an I<unknown> is pushed.
86 The range defined includes the two boundaries (so: a number equal
87 to one of the boundaries will be pushed back). If any of the three
88 numbers involved is either I<unknown> or I<infinite> this function
89 will always return an I<unknown>
91 Example: C<CDEF:a=alpha,0,100,LIMIT> will return I<unknown> if
92 alpha is lower than 0 or if it is higher than 100.
94 Z<>
96 =item Arithmetics
98 B<+, -, *, /, %>
100 Add, subtract, multiply, divide, modulo
104 NAN-safe addition. If one parameter is NAN/UNKNOWN it'll be treated as
105 zero. If both parameters are NAN/UNKNOWN, NAN/UNKNOWN will be returned.
107 B<SIN, COS, LOG, EXP, SQRT>
109 Sine and cosine (input in radians), log and exp (natural logarithm),
110 square root.
112 B<ATAN>
116 B<ATAN2>
118 Arctangent of y,x components (output in radians).
119 This pops one element from the stack, the x (cosine) component, and then
120 a second, which is the y (sine) component.
121 It then pushes the arctangent of their ratio, resolving the ambiguity between
124 Example: C<CDEF:angle=Y,X,ATAN2,RAD2DEG> will convert C<X,Y>
125 components into an angle in degrees.
127 B<FLOOR, CEIL>
129 Round down or up to the nearest integer.
135 B<ABS>
137 Take the absolute value.
139 =item Set Operations
141 B<SORT, REV>
143 Pop one element from the stack.  This is the I<count> of items to be sorted
144 (or reversed).  The top I<count> of the remaining elements are then sorted
145 (or reversed) in place on the stack.
147 Example: C<CDEF:x=v1,v2,v3,v4,v5,v6,6,SORT,POP,5,REV,POP,+,+,+,4,/> will
148 compute the average of the values v1 to v6 after removing the smallest and
149 largest.
151 B<AVG>
153 Pop one element (I<count>) from the stack. Now pop I<count> elements and build the
154 average, ignoring all UNKNOWN values in the process.
156 Example: C<CDEF:x=a,b,c,d,4,AVG>
158 B<TREND, TRENDNAN>
160 Create a "sliding window" average of another data series.
162 Usage:
163 CDEF:smoothed=x,1800,TREND
165 This will create a half-hour (1800 second) sliding window average of x.  The
166 average is essentially computed as shown here:
168                  +---!---!---!---!---!---!---!---!--->
169                                                      now
170                        delay     t0
171                  <--------------->
172                          delay       t1
173                      <--------------->
174                               delay      t2
175                          <--------------->
178      Value at sample (t0) will be the average between (t0-delay) and (t0)
179      Value at sample (t1) will be the average between (t1-delay) and (t1)
180      Value at sample (t2) will be the average between (t2-delay) and (t2)
182 TRENDNAN is - in contrast to TREND - NAN-safe. If you use TREND and one
183 source value is NAN the complete sliding window is affected. The TRENDNAN
184 operation ignores all NAN-values in a sliding window and computes the
185 average of the remaining values.
187 B<PREDICT, PREDICTSIGMA>
189 Create a "sliding window" average/sigma of another data series, that also
190 shifts the data series by given amounts of of time as well
192 Usage - explicit stating shifts:
193 CDEF:predict=<shift n>,...,<shift 1>,n,<window>,x,PREDICT
194 CDEF:sigma=<shift n>,...,<shift 1>,n,<window>,x,PREDICTSIGMA
196 Usage - shifts defined as a base shift and a number of time this is applied
197 CDEF:predict=<shift multiplier>,-n,<window>,x,PREDICT
198 CDEF:sigma=<shift multiplier>,-n,<window>,x,PREDICTSIGMA
200 Example:
201 CDEF:predict=172800,86400,2,1800,x,PREDICT
203 This will create a half-hour (1800 second) sliding window average/sigma of x, that
204 average is essentially computed as shown here:
206  +---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!--->
207                                                                      now
208                                                   shift 1        t0
209                                          <----------------------->
210                                window
211                          <--------------->
212                                        shift 2
213                  <----------------------------------------------->
214        window
215  <--------------->
216                                                       shift 1        t1
217                                              <----------------------->
218                                    window
219                              <--------------->
220                                             shift 2
221                      <----------------------------------------------->
222            window
223      <--------------->
225  Value at sample (t0) will be the average between (t0-shift1-window) and (t0-shift1)
226                                       and between (t0-shift2-window) and (t0-shift2)
227  Value at sample (t1) will be the average between (t1-shift1-window) and (t1-shift1)
228                                       and between (t1-shift2-window) and (t1-shift2)
231 The function is by design NAN-safe.
232 This also allows for extrapolation into the future (say a few days)
233 - you may need to define the data series whit the optional start= parameter, so that
234 the source data series has enough data to provide prediction also at the beginning of a graph...
236 Here an example, that will create a 10 day graph that also shows the
237 prediction 3 days into the future with its uncertainty value (as defined by avg+-4*sigma)
238 This also shows if the prediction is exceeded at a certain point.
240 rrdtool graph image.png --imgformat=PNG \
241  --start=-7days --end=+3days --width=1000 --height=200 --alt-autoscale-max \
242  DEF:value=value.rrd:value:AVERAGE:start=-14days \
243  LINE1:value#ff0000:value \
244  CDEF:predict=86400,-7,1800,value,PREDICT \
245  CDEF:sigma=86400,-7,1800,value,PREDICTSIGMA \
246  CDEF:upper=predict,sigma,3,*,+ \
247  CDEF:lower=predict,sigma,3,*,- \
248  LINE1:predict#00ff00:prediction \
249  LINE1:upper#0000ff:upper\ certainty\ limit \
250  LINE1:lower#0000ff:lower\ certainty\ limit \
251  CDEF:exceeds=value,UN,0,value,lower,upper,LIMIT,UN,IF \
252  TICK:exceeds#aa000080:1
254 Note: Experience has shown that a factor between 3 and 5 to scale sigma is a good
255 discriminator to detect abnormal behaviour. This obviously depends also on the type
256 of data and how "noisy" the data series is.
258 This prediction can only be used for short term extrapolations - say a few days into the future-
260 =item Special values
262 B<UNKN>
264 Pushes an unknown value on the stack
266 B<INF, NEGINF>
268 Pushes a positive or negative infinite value on the stack. When
269 such a value is graphed, it appears at the top or bottom of the
270 graph, no matter what the actual value on the y-axis is.
272 B<PREV>
274 Pushes an I<unknown> value if this is the first value of a data
275 set or otherwise the result of this B<CDEF> at the previous time
276 step. This allows you to do calculations across the data.  This
277 function cannot be used in B<VDEF> instructions.
279 B<PREV(vname)>
281 Pushes an I<unknown> value if this is the first value of a data
282 set or otherwise the result of the vname variable at the previous time
283 step. This allows you to do calculations across the data. This
284 function cannot be used in B<VDEF> instructions.
286 B<COUNT>
288 Pushes the number 1 if this is the first value of the data set, the
289 number 2 if it is the second, and so on. This special value allows
290 you to make calculations based on the position of the value within
291 the data set. This function cannot be used in B<VDEF> instructions.
293 =item Time
295 Time inside RRDtool is measured in seconds since the epoch. The
296 epoch is defined to be S<C<Thu Jan  1 00:00:00 UTC 1970>>.
298 B<NOW>
300 Pushes the current time on the stack.
302 B<TIME>
304 Pushes the time the currently processed value was taken at onto the stack.
306 B<LTIME>
308 Takes the time as defined by B<TIME>, applies the time zone offset
309 valid at that time including daylight saving time if your OS supports
310 it, and pushes the result on the stack.  There is an elaborate example
311 in the examples section below on how to use this.
313 =item Processing the stack directly
315 B<DUP, POP, EXC>
317 Duplicate the top element, remove the top element, exchange the two
318 top elements.
320 Z<>
322 =back
326 These operators work only on B<VDEF> statements. Note that currently ONLY these work for B<VDEF>.
328 =over 4
330 =item MAXIMUM, MINIMUM, AVERAGE
332 Return the corresponding value, MAXIMUM and MINIMUM also return
333 the first occurrence of that value in the time component.
335 Example: C<VDEF:avg=mydata,AVERAGE>
337 =item STDEV
339 Returns the standard deviation of the values.
341 Example: C<VDEF:stdev=mydata,STDEV>
343 =item LAST, FIRST
345 Return the last/first value including its time.  The time for
346 FIRST is actually the start of the corresponding interval, whereas
347 LAST returns the end of the corresponding interval.
349 Example: C<VDEF:first=mydata,FIRST>
351 =item TOTAL
353 Returns the rate from each defined time slot multiplied with the
354 step size.  This can, for instance, return total bytes transfered
355 when you have logged bytes per second. The time component returns
356 the number of seconds.
358 Example: C<VDEF:total=mydata,TOTAL>
360 =item PERCENT, PERCENTNAN
362 This should follow a B<DEF> or B<CDEF> I<vname>. The I<vname> is popped,
363 another number is popped which is a certain percentage (0..100). The
364 data set is then sorted and the value returned is chosen such that
365 I<percentage> percent of the values is lower or equal than the result.
366 For PERCENTNAN I<Unknown> values are ignored, but for PERCENT
367 I<Unknown> values are considered lower than any finite number for this
368 purpose so if this operator returns an I<unknown> you have quite a lot
369 of them in your data.  B<Inf>inite numbers are lesser, or more, than the
370 finite numbers and are always more than the I<Unknown> numbers.
371 (NaN E<lt> -INF E<lt> finite values E<lt> INF)
373 Example: C<VDEF:perc95=mydata,95,PERCENT>
374          C<VDEF:percnan95=mydata,95,PERCENTNAN>
376 =item LSLSLOPE, LSLINT, LSLCORREL
378 Return the parameters for a B<L>east B<S>quares B<L>ine I<(y = mx +b)>
379 which approximate the provided dataset.  LSLSLOPE is the slope I<(m)> of
380 the line related to the COUNT position of the data.  LSLINT is the
381 y-intercept I<(b)>, which happens also to be the first data point on the
382 graph. LSLCORREL is the Correlation Coefficient (also know as Pearson's
383 Product Moment Correlation Coefficient).  It will range from 0 to +/-1
384 and represents the quality of fit for the approximation.
386 Example: C<VDEF:slope=mydata,LSLSLOPE>
388 =back