contrib/php-collection: Save/load graph list and fix HTTPS handling.

Hi,

An update to the graphing interface. (incremental patch attached)

This fixes security complaint by a few browsers when page is accessed
via HTTPS and also makes sure the graphs and lists will load if HTTP
and HTTPS paths differ.
Thanks to Mullet- for spotting this issue.

In addition to the fix above this patch adds support for saving
current graph list to a cookie and appending graph list read from
cookie to the currently displayed list.

A future extension would be to allow saving/loading named graph lists
so multiple list can coexist (pretty useful when monitoring multiple
servers/services)

Bruno

contrib/php-collection: Add a PHP frontend for graph generation.

Hi,

Attached is a patch with a set of PHP files for a complete graphing
environment for collectd-generated RRDs.
Before generating a graph with rrdtool it can tell collectd to flush
the RRDs that are about to be used.

The interface is built with dynamic HTML.
It provides following options:
 - host selection
 -> plugin selection
 --> plugin instance selection
 ---> type selection
 ----> type instance selection (or meta graph)
 - linear / logarithmic Y-scale
 - verbose / minimal legend
 - [Add Graph] [Remove all Graphs] [Refresh Graphs]
For each displayed graph:
 - Move above previous graph
 - Refresh graph
 - Remove graph
 - Move below following graph

I tested on following browsers:
- Firefox-3.0
- Safari-3.2 (Win32)
- Konqueror (KDE-4.1.3)
- Webkit (webkit-gtk-0_p40220)
- Internet Explorer (6, 7, 8rc - CSS layout issues with <8)

Dependencies:
- PHP-5 (might run with PHP-4)
  > GD suport for error images
  > Ability to execute rrdtool binary
  > Unix socket for FLUSH support
- RRDTool (rrdtool graph, rrdtool info)

TODO: complete/improve graph definitions in definitions.php
 though there is code to generate basic graph for any RRD of
 unknown type, so definitions are rather a matter of color,
 DS combination and stacking.

Bruno

File listing with short description:
- config.php
  (configuration)
- functions.php
  (common functions)
- definitions.php
  (graph definitions for most? types from types.db
   - based on collection.cgi)
- definitions.local.php
  (place for site-local graph definitions, e.g. for
   unixsock, tail, snmp generated RRDs)
- index.php
  (main page)
- graph.php
  (page returning the graph's PNG image)
- browser.js
  (whole bunch of Javascript logic to show/hide/update graphs)

Not included are a few images:
- collectd-logo.png
  (16x16, e.g. use collectd.org's favicon)
- favicon.png
  (e.g. use the one in share/collection*)
- refresh.png
- move-up.png
- move-down.png
- delete.png
  (16x16 take matching ones from your system's action-icons)

contrib/collection.cgi: Add graph definition for libvirt/virt_cpu_total

Merge branch 'collectd-4.4' of /var/lib/git/collectd into collectd-4.4

build system: Check for the libupsclient library using pkg-config *and* a custom script.

References: #24

tcpconns plugin: Fix an endianness problem under *BSD.

The port numbers were assumed to be in the host's byte order, when in
fact they are in network byte order (big endian). The patch adds `ntohs'
where necessary to fix this problem.

Resolves: #35

utils_cache: Free then unused memory before returning in an error condition.

utils_cache: Unlock the cache mutex before returning in an error condition.

contrib/cussh.pl: Add the PUTNOTIF command.

I was using this to test notifications for jcollectd like so:
echo "PUTNOTIF host=foo severity=warning message=my perl is rusty" |
perl -Mblib=bindings/perl contrib/cussh.pl

Signed-off-by: Doug MacEachern <dougm@hyperic.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

ascent plugin: Fix a memory leak.

According to libxml2 API doc, the string returned by
   xmlNodeListGetString()
must be freed by the user with
   xmlFree()

The attached patch adds the missing calls to xmlFree() for the ascent plugin.

Bumped version to 4.4.5; Updated ChangeLog.

network plugin: A fix for the buffer problem for version 4.4.

This patch fixes the same problem as 6605ff1a, the insufficient copying of
values to the `type' buffer.

Thanks again to Bruno Prémont for reporting and debugging this :)

Resolves: #37

types.db(5): Fix a typo.

types.db(5): Explain in more detail how custom types should be added.

Apparently there was quite some confusion over this.

Do not use *printf() to report errors / debugging messages.

The only exception to that is during configuration (which is done before
daemonization) to let the user know about problems immediately.

collectd.conf(5): Updated the section about the "mysql" plugin.

 * Do not talk about what RRD files things end up in - there is more than
   "rrdtool" by now.
 * Updated the section number of the "Server Status Variables" in the MySQL
   reference manual.
 * Mention that the MySQL user does not need any special privileges.

collectd: Abort with an appropriate status in exit_usage().

In case of an error, the exit status code now equals 1.

collectd: Abort if any non-options are left over after command-line parsing.

This happens if any arguments not starting with a dash are passed to collectd.
Any of those are invalid, so let the user know about that.

Thanks to Kris (gruntruk) for (unknowingly) pointing that out ;-)

collectd.conf.in: Fixed a wrong type used in the "tail" example.

collectd.conf.pod: Consistently use spaces instead of tabs in examples.

unixsock plugin: Make sure the initialization function is run only once.

If called multiple times, the global `sock_fd' variable will be re-set,
breaking the plugin.

configure.in: Some improvements for Solaris, expecially the swap plugin.

If Solaris is detected, "-D_POSIX_PTHREAD_SEMANTICS" will be added to
CPPFLAGS automatically now.

If sys/swap.h is not found, print a message suggesting to build a 64bit
binary. (sys/swap.h cannot be included when a 32bit binary is being built,
but it's most likely present under Solaris.)

Enable the swap plugin only if sys/swap.h has been found (when under
Solaris).

multimeter plugin: Check the return value of `write'.

This resolves warnings when compiling on GNU with:
  CPPFLAGS="-D_FORTIFY_SOURCE"

contrib/collection.cgi: Add meta-graph definitions for the vmem plugin.

contrib/collection.cgi: Add graph definitions for the vmem plugin.

configure, mysql plugin: Check for mysql.h as well.

Up to now, only mysql/mysql.h has been checked for. However, mysql_config
--cflags usually adds the complete path to mysql.h to the include flags. In
most setups, mysql/mysql.h can be found in the search path as well (usually
the header is available in something like /usr/include/mysql/mysql.h) so this
issue has not been found so far. However, if that's not the case, the build
will fail.

Thanks to Dusty Doris <collectd@dusty.name> for reporting this.

contrib/collection3: Add the `format' parameter to the graph.cgi.

With this parameter one can specify the file format the graph is returned in,
for example `format=SVG' for an SVG image.

apcups plugin: Include "collectd.h" *before" <stdlib.h>.

If not defined, <stdlib.h> sets/defines _FILE_OFFSET_BITS. Since (in 32bit
mode) "collectd.h" defines that, too, you'll run into compilation problems.

src/utils_dns.c: Cast a `char' to `int' when using `tolower'.

This is needed at least on NetBSD, but probably on other non-GNU libcs as well.

Resolves: #32

libiptc/libip6tc.c: Fix a glibc 2.8 compatibility problem.

Hi,
the attached patch fix the build with glibc 2.8. Please include it in
the next version.

Thanks,
Devid Antonio Filoni

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/configfile.c: Fix a closing-brace comment.

ChangeLog: Fix a typo.

ChangeLog: Added the changed poisoning behavior.

src/collectd.h: Poison various insecure string functions only when debugging is enabled.

Because the `poison' pragma complains about macros (which are then never
used), this feature does more harm than good in everyday use. So we'll
only activate it when building in debug mode, so hopefully authors of
new plugins will use this.

Bumped version to 4.4.4; Updated ChangeLog.

contrib/exec-munin.px: Fix the folding markers..

src/utils_tail.c: Call `clearerr' before `fgets'.

Hopefully this will resolve problems under the dietlibc.

src/Makefile.am: Fix a copy'n'paste typo.

types.db: Reintroduced the "spam_check" type.

This is used by the "email" plugin. Apparently, it got lost when converting
the plugin to the v4 interface: Instead of "spam_check", "email_check" had
been added to types.db. I did not remove "email_check" though as this would
introduce a regression - though very unlikely, somebody out there might be
using that type.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collection.cgi: Added support for the "connection" type.

This is used e.g. by the "ipvs" plugin.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_cache.c: Fix a serious memory leak.

Whenever a data set went missing, the its name (the `key'; up to (5*64)+4
bytes) was not free'd.

Thanks to Niraj Tolia for reporting this :)

src/configfile.c: Fix a minor memory leak.

Thanks to Niraj Tolia for reporting this :)

network plugin: Fix a minor memory leak.

Thanks to Niraj Tolia for reporting this :)

collectd-nagios(1): Make the documentation easier to read, more correct and fix errors.

configure.in: Correct the `--enable-<plugin>' code.

The new behavior is documented in the `README' file, too.

configure.in: Let configure bail out on missing dependencies

The patch below adds check in AC_PLUGIN() that verifies if the
dependencies are met for any enabled plugin.

In case some dependency is missing (default is disabled and enabled
is selected) configure will fail after dumping summary so all
dependency issues are visible in a single configure pass.

A later addition would be to list requirements (dependencies, OS/Kernel
restrictions) for all plugins in an easily accessible location (e.g.
INSTALL file)

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/collectd-nagios.c: Improve handling of lines returned from `GETVAL'.

Then selecting only certain data sources with the `-d' option, the program
would try to read more lines from the server than the server reports, resulting
in the communication never finishing.

This patch resolves that problem and introduces a couple other error handling
blocks.

Thanks to Fabian Linzberger for pointing this out.

netlink plugin: Fix an incorrect format string.

src/utils_ignorelist.c: Fix an off-by-one errror when adding regular expressions.

Resolves: #20

collectdmon: Do not block SIGCHLD.

There is no reason to do so as we do not need to synchronize any waitpid()
calls. In fact, doing so was wrong because waitpid() should then return with
an error according to POSIX. This was still working so far since waitpid()
would not return until all children terminated and this is all we really care
about.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd.conf(5): Briefly document "OKAY"-notifications.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

ipvs plugin: Use sizeof() instead of a constant.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

build.sh: Check for more (all?) programs needed.

collection.cgi: Added support for the memcached-specific types.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/plugin.c: Increase the plugin_log() message buffer to 1024 bytes.

512 bytes is not enough for some perl error messages.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Log the perl error messages if bootstrapping Collectd failed.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/collection3: Added graphs for `apache_{bytes,requests}'.

contrib/collection3: Use `instance' rather than `plugin_instance'

for all the `disk_*' graphs.

collection3/etc/collection.conf: Added some mysql stuff.

collectd.conf(5): Changed the default socket paths of the powerdns plugin.

powerdns plugin: Use `LOCALSTATEDIR' instead of "/var".

I was working on updating Gentoo's ebuild and I noticed that localstatedir was
not used in certain places.  Please review these patches and consider them.

Boian Berberov

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Merge branch 'collectd-4.3' into collectd-4.4

processes plugin: Fix a format string.

Bumped version to 4.4.3; Updated ChangeLog.

Merge branch 'collectd-4.3' into collectd-4.4

Conflicts:

ChangeLog
version-gen.sh

ChangeLog: Entry for 4.3.4: Bring plugins in alphabetical order.

Bumped version to 4.3.3; Updated ChangeLog.

Merge branch 'collectd-4.3' into collectd-4.4

.gitignore: Added collectd-nagios, collectdmon and perl stuff.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd.conf.in: Moved logging plugins to the top of the file.

This will make all logging output of all other plugins available.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Re-get the perl interpreter after parsing each configuration option.

The current perl interpreter might change while parsing the configuration
(e.g. the first interpreter is created by the "LoadPlugin" option), so this is
to make sure that we're using the right interpreter at all times.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/snmp-probe-host.px: Don't fail silently, but outupt an empty config.

contrib/snmp-probe-host.px: Work-around for Windows systems.

They don't return an error, but `success' and a string stating
  NOSUCHOBJECT.
Just great.

contrib/snmp-probe-host.px: Fix for `table' data without instance.

Collectd::Unixsock: Allow passing of `Interval' to `PUTVAL'.

collectd.conf(5): Fix an example for the tail plugin.

Resolves: #27

memcached plugin: Wait for a *little* longer for the memcached to answer.

poll(2) takes a timeout in milliseconds, not seconds. Multiply
`interval_g' by 1000 before passing it to `poll'.

Thanks to Joost Cassee <joost at cassee.net> for helping debug this.

Merge branch 'collectd-4.3' into collectd-4.4

contrib/snmp-probe-host.px: Added script to semi-automatically create SNMP "host" blocks.

Details can be found in the inline documentation ("POD").

collectd-exec(5): Fix two typos.

src/plugin.c: Include the shared object when reporting errors with `lt_dlopen'.

memcached plugin: Remove an unused variable.

Oops.

Merge branch 'collectd-4.3' into collectd-4.4

memcached plugin: Fix a possible file descriptor leak.

Not sure if this fixes the reported bug, but it might.. Feedback would be
welcome.

References: #26

contrib/collection3: Added graph description for `ps_rss'.

contrib/collection3: Added the ability to `flush' data sets.

Both, bin/index.cgi and bin/graph.cgi can now send a FLUSH command to
the daemon via the Collectd::Unixsock module. For this to work you will
have to add the path to the UNIX socket of the `unixsock' plugin to the
configuration file `collection.conf'.

The configuration looks like this:
  UnixSockAddr "/var/run/collectd-unixsock"

contrib/collection3: Remove an annoying debug message.

collectd.conf(5): Added documentation for the ipmi plugin.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/common.h: Make sfree() usable like a function.

By putting the code into a "do { } while (0)" loop it is treated like a single
statement and does not break "if () sfree()" like constructs.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd(1), collectd{-exec,.conf}(5): Fixed some minor POD errors.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Merge branch 'collectd-4.3' into collectd-4.4

build system: Automatically enable the swap plugin if the kvm library is found.

This fixes a bug introduced with the previous commit.

Merge branch 'collectd-4.3' into collectd-4.4

Merge branch 'collectd-4.3' of /var/lib/git/collectd into collectd-4.3

build system: Define which version of libkvm has been checked for.

The used `kvm_getswapinfo' is apparently an extension not all versions of the
kvm library support.

tcpconns plugin: Fix another format string.

tcpconns plugin: Fix formatstrings.

snmp plugin: Fix a possible memory leak.

The result was not freed when `csnmp_instance_list_add' failed. This
rarely happens in 4.3, but later versions will be more strict in the
function, so this became a problem.

contrib/collection3: Added a couple more graph definitions.

contrib/collection3: Added the forgotten Collectd::Graph::Config module.