Big bunch of improvements for the caching daemon.

Tobi et al.,

I have made some enhancements to Florian's rrdcached patch.  This patch
(against /trunk) can be found at the following URL.  Testing has shown it
to be production ready.

http://dist.rufus.net/~kbrint/rrdcached/rrdcache.patch
http://dist.rufus.net/~kbrint/rrdcached/rrdcache.patch.asc

It applies cleanly to 1.3.2 as well (with obligatory automake;autoconf).

The enhancements over Florian's version are in the postscript.

--
 kevin brintnall =~ /kbrint@rufus.net/

=================================================================

fixed: removed extra compiler pragmas that caused portability problems

added: more server logging (startup, shutdown, ...)

added: client maintains a cached connection across multiple commands.
  correctly handles a long-running process where some commands are specified
  with --daemon and others are specified without

fixed: consolidated duplicate code for finding daemon addr (from --daemon
  or environment).

fixed: update with --template and daemon specified by environment was not
  treated properly in rrd_update.c:rrd_update(line ~442)

fixed: memory leak with ci->values not being freed

added: added -z to spread write load

fixed: check that file is writable before accepting UPDATE

fixed: queue_thread_main: avoid tight-spin when we're scheduling the next
  flush.  old code called flush_old_values(-1) once per update for up to a
  full second. ("<" vs "<=" comparison)

added: journal support with recovery

fixed: signal handlers wake up queue_thread for timely shutdown

fixed: refuse to start if pid file present at startup

added: more stats

fixed: "flush file" should not error if file exists on the file system,
  but not in update cache.  the file may have been flushed due to
  inactivity, or the daemon may have just started up.  if the file exists,
  return success.  still fails if files does not exist at all on disk.

fixed: ENODATA is not portable

Merge branch 'master' into ff/rrdd

Conflicts:

doc/rrdgraph.pod
src/librrd.sym.in
src/rrd_lastupdate.c
src/rrd_update.c

The attached patch eliminates the many places where the rra_current pointer was maintained; the existing write/seek mechanisms update rrd_file->pos correctly.
Also, the seek at the front of process_arg is not necessary; write_to_rras will now take care to correct the file position at every update cycle.
This eliminates unnecessary rrd_seek() calls when MMAP is not enabled. -- kevin brintnall  kbrint rufus.net

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1488 a5681a0c-68f1-0310-ab6d-d61299d08faa

prepare for the release of rrdtool-1.3.2

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1484 a5681a0c-68f1-0310-ab6d-d61299d08faa

we need rrd_format.h here for things to compile properly

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1483 a5681a0c-68f1-0310-ab6d-d61299d08faa

updated opensolaris build instructions

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1482 a5681a0c-68f1-0310-ab6d-d61299d08faa

only link build and use rrd_getopt if there is no getopt_long provided by
by the os ... this should also fix problems for solaris 2.8 and other
non getopt_long oses who were not taken care of anymore after the intriduction of librrd.sym

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1481 a5681a0c-68f1-0310-ab6d-d61299d08faa

fix for multi update - data corruption bug as reported (and patched) in #178 by kevin brintnall

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1480 a5681a0c-68f1-0310-ab6d-d61299d08faa

make pod checker happy

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1479 a5681a0c-68f1-0310-ab6d-d61299d08faa

inline functions are not supported in c99 ... lets remove this.
the compiler will foture it out if they are important.

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1478 a5681a0c-68f1-0310-ab6d-d61299d08faa

introduced a persistant fontmap ... this makes our pango rendering 6 times faster starting from the second graph we draw.

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1477 a5681a0c-68f1-0310-ab6d-d61299d08faa

Merge branch 'master' into ff/rrdd

Conflicts:

src/rrd_lastupdate.c
src/rrd_update.c

now the results actually look as they did with the old code only things are FASTER

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1476 a5681a0c-68f1-0310-ab6d-d61299d08faa

Improve performance by keeping multiple pango font descriptions. For the first invocation we are about 20% times as fast
for the second one about 4-5 times faster ...

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1475 a5681a0c-68f1-0310-ab6d-d61299d08faa

trying to improve the pango performance I added facilities to cache layout,context and more in between invocations of
the text function, unfortunately it does not seem to help all that much.

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1474 a5681a0c-68f1-0310-ab6d-d61299d08faa

use the standart info free function

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1473 a5681a0c-68f1-0310-ab6d-d61299d08faa

fix handling of error conditions in rrd_tool.c ... errno is not for detection, only for information AFTER detection.

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1471 a5681a0c-68f1-0310-ab6d-d61299d08faa

free the linebuffer if you don't return it!

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1470 a5681a0c-68f1-0310-ab6d-d61299d08faa

some more leak plugging

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1469 a5681a0c-68f1-0310-ab6d-d61299d08faa

drop the dummy surface prior to creating the real one

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1468 a5681a0c-68f1-0310-ab6d-d61299d08faa

added some freeing for error conditions

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1467 a5681a0c-68f1-0310-ab6d-d61299d08faa

fixed indentation  ... gnu indent results are not realy beautifl. I might switch to uncrustify.

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1466 a5681a0c-68f1-0310-ab6d-d61299d08faa

Many rrd_create memory leaks patched ... based on valgrind analysis by Sven Engelhardt. Thanks!

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1465 a5681a0c-68f1-0310-ab6d-d61299d08faa

fix indentation

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1464 a5681a0c-68f1-0310-ab6d-d61299d08faa

added  sparc-sun-solaris2.8 to list of broken isfinite implementations

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1463 a5681a0c-68f1-0310-ab6d-d61299d08faa

it is rb_rrd_infocall not rrd_infocall ...

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1462 a5681a0c-68f1-0310-ab6d-d61299d08faa

When in lazy mode, and the graph does not get regenerated, then there are no
results from PRINT either. Fix for #163.

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1461 a5681a0c-68f1-0310-ab6d-d61299d08faa

documentation updates

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1460 a5681a0c-68f1-0310-ab6d-d61299d08faa

make sure imageinfo only reports the filename and not the whole path. This is a regression from 1.2.x where this was implemented properly.

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1459 a5681a0c-68f1-0310-ab6d-d61299d08faa

The attached patch converts the given string to UTF-8 using glib's
g_locale_to_utf8() function. This function expects the string to be
encoded as specified by the locale settings, so this will fail if e.g.
you're using some script which is encoded in some way incompatible to
the locale settings. In this case, the patch falls back to use the
original string as provided by the user as there is no way to tell how
to interpret that string. So, in this case, you will still get the old
behavior (that pango warning and messed up strings in the graph).
However, imho this is perfectly fine since it should be up to the user
to take care of a sane environment. -- Sebastian Harl

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1457 a5681a0c-68f1-0310-ab6d-d61299d08faa

newer perlapi docu suggests to  use SV * instead of void for managed returns

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1456 a5681a0c-68f1-0310-ab6d-d61299d08faa

fixed some c++ style lines -- David Masterson

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1455 a5681a0c-68f1-0310-ab6d-d61299d08faa

spelling fix

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1454 a5681a0c-68f1-0310-ab6d-d61299d08faa

forward ported patch for rra cur_row randomization in rrd_restore from 1.2.28 to 1.3.1

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1453 a5681a0c-68f1-0310-ab6d-d61299d08faa

prepare for the release of rrdtool-1.3.1

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1447 a5681a0c-68f1-0310-ab6d-d61299d08faa

added support for restoring rrdtool 1.0.x files ... removed support for old HW patched rrd format created by an early patched version of 1.0.x

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1446 a5681a0c-68f1-0310-ab6d-d61299d08faa

Fix for #167 - rrdcreate is arguably missing a check for 'step>=1' for RRAs with AVERAGE as a CF. I ran into this when specifying 0.6 as a step value, assuming floats were also accepted. Patch attached here. -- Bogdan

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1445 a5681a0c-68f1-0310-ab6d-d61299d08faa

src/rrd_daemon.c: Flush ALL values when/before shutting down.

rrdcached(1): Document which commands are aware of the daemon.

rrdtool(1): Add a pointer to the rrdcached(1) manpage.

rrdxport(1): Add `--daemon' to the synopsis.

rrdfetch(1): Add `--daemon' to the synopsis.

rrdlastupdate(1): Document the new `--daemon' option.

rrdlast(1): Document the new `--daemon' option.

rrdinfo(1): Document the new `--daemon' option.

rrddump(1): Document the new `--daemon' option.

rrdtool(1): Add a pointer to the rrdflush(1) manual page.

rrdflush(1): Added a manual page for the `flush' command.

src/rrd_{fetch,update}.c: Rename the variable `daemon' to `opt_daemon'.

This resolves a stupid warning GCC throws..

src/rrd_info.c: Implement the `--daemon' option for `rrdtool last'.

src/rrd_flush.c: Add the `flush' command to the `rrdtool' application.

src/rrd_dump.c: Rename the `rrdcached' variable to `opt_daemon'.

src/rrd_lastupdate.c: Implement the `--daemon' option for `rrdtool lastupdate'.

The new library function `rrd_lastupdate' takes the usual (argc, argv)
arguments. The `rrd_lastupdate_r' function has been changed to receive
a file name directly instead of using only argv[1].

src/rrd_last.c: Implement the `--daemon' option for `rrdtool last'.

src/rrd_dump.c: Implement the `--daemon' option for `rrdtool dump'.

src/rrd_daemon.c: Stat files before creating a tree-node for them.

This way `rrdtool update' does complain about nonexistent files.

src/rrd_daemon.c: Only increate number of updates and datasets if no failure.

src/librrd.sym: Export the `rrdc_{connect,disconnect,update,flush} symbols.

src/rrd_daemon.c: Create listen threads in the detached state.

src/rrd_daemon.c: Remove remaining debug messages.

src/rrd_update.c: Set `rc' correctly when succeeding.

src/rrd_daemon.c: Instann the SIGTERM handler correctly.

rrdcached(1): Some typo and minor formulation fixes.

rrdcached(1): Documented the protocol used by the daemon.

Some statistic values have been renamed. This has been changed in
src/rrd_daemon.c, too.

src/rrd_daemon.c: Don't close the socket if UPDATE fails.

src/rrd_daemon.c: Use `sread' and `swrite' instead of read(2) and write(2).

The ``secure'' sread assures that the received string ends with a newline,
strips it off the buffer and assures that the returned buffer is null
terminated. swrite returns success only if all bytes could be written.

src/rrd_client.c: Close the socket if writing to it fails.

src/rrd_daemon.c: Implemented the `HELP' command.

src/rrd_daemon.c: Tell the connected party about invalid commands.

src/rrd_daemon.c: Catch invalid uses of `flush'.

And don't run into an assertion in that case.

src/rrd_daemon.c: Impemented the `stats' command.

It currently returns five statistics:
- Number of nodes and depth of the tree.
- Number of nodes in the update queue.
- Total number of updates and values written to disk since startup.

src/rrd_daemon.c: Count some statistics.

src/rrd_xport.c: Allow the short option `-d', too.

rrdcached(1): Removed the note stating that tree nodes are never removed.

src/rrd_daemon.c: Implemented removal of unused tree nodes.

src/rrd_daemon.c: Don't return TRUE in `tree_callback_flush'.

Returning TRUE will stop the traversal, so return FALSE instead.

rrdxport(1): Document the new `--daemon' option.

src/rrd_xport.c: Implement the `--daemon' option for `rrdtool xport'.

src/rrd_fetch.c: Revert `rrd_fetch_r' to the original version again.

Build system: Install `rrd_client.h' during `make install'.

Merge branch 'master' into ff/rrdd

rrdcached(1): Added the `SECURITY CONSIDERATIONS' and `HOW IT WORKS' sections.

header-fix

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1444 a5681a0c-68f1-0310-ab6d-d61299d08faa

improve layout

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1443 a5681a0c-68f1-0310-ab6d-d61299d08faa

rrdcached(1): Documented the `-p' and `-b' options.

Merge branch 'master' into ff/rrdd

added rrd filename to illegal update message -- he at uninett.no

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1441 a5681a0c-68f1-0310-ab6d-d61299d08faa

src/rrd_daemon.c: Use static structs for the signal handler configuration.

src/rrd_daemon.c: Implement PID-file and basedir options.

rrdtool.spec fix by Anton Blanchard to build without php patch

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1440 a5681a0c-68f1-0310-ab6d-d61299d08faa

make sure image-with and image-height get returned even when rrdtool is called with --lazy as reported in bug #163

git-svn-id: svn://svn.oetiker.ch/rrdtool/trunk/program@1439 a5681a0c-68f1-0310-ab6d-d61299d08faa

rrdgraph(1): Document the RRDCACHED_ADDRESS environment variable.

rrdfetch(1): Document the RRDCACHED_ADDRESS environment variable.

src/rrd_client.h: Make it possible to set a custom RRDCACHED_DEFAULT_ADDRESS.

rrdcached(1): Documented default settings.

rrdupdate(1): Document the RRDCACHED_ADDRESS environment variable.

src/rrd_{fetch,graph,update}.c: Use the `RRDCACHED_ADDRESS' environment variable..

..as default daemon address.

src/rrd_client.h: Renamed the defines to be more consistent with other names.

rrdgraph(1): Removed a legacy `=back'.

rrdupdate(1): Updated the manpage to reflect the current option handling.

I. e. the section about `--[no]cache' has been removed and the section
about `--daemon' has been updated.