rrdtool plugin: Fix a possible race condition at startup.

On a very busy system, if the network plugin was initialized before the
rrdtool plugin, `rrd_cache_insert' may be called before the RRDtool
plugin is initialized. It would then pass `cache == NULL' to
`c_avl_get', resulting in a segmentation fault.

contrib/collection3: Fix stacking with NAN values.

Stacked values above NAN values were not drawn previously..

contrib/collection3: Minor cleanups.

contrib/collection3: Add the "IgnoreUnknown" config option.

Used by the "GenericStacked" graphs.

contrib/collection3: Add "Total" to "GenericIO" graphs.

Using the RRDtool 1.2 VDEF syntax.

contrib/collection3: Add the "DataDir" config option.

contrib/collection3/bin/.htaccess: s/SetHandler/AddHandler/

SetHandler doesn't accept a file extension.

contrib/collection3/bin/.htaccess: Add file.

This has been missing. Wonder why nobody complained..?

snmp plugin: Added a note about a potential bug that needs fixing.

Negative absolute (gauge) values may be casted to an unsigned integer
variable on their way throught he daemon, producing VERY HIGH tempera-
tures in winter..

Merge branch 'bp/php-collection' into collectd-4.5

php-collection: Add support for named graph lists as favorites

php-collection: Add support for named graph lists as favorites

php-collection allowed saving and loading a list of graphs from a
cookie.
This patch changes loading/saving to provide support for naming
of favorite graph lists.
When saving a name has to be provided (up to 30 alphanumerical
characters includeing underscore and hyphen.
For loading a named list can be selected from a dropdown list (this list
is refreshed when it gets focus) of available favorites.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

php-collection/functions.php: Escape/avoid problematic characters in RRD commandline

php-collection/functions.php: Escape/avoid problematic characters in RRD commandline

rrdtool does not like '!' in variable names so replace them with '_'.
(bind plugin has them in a few type-instances and type-instance is used
as variable name by MetaGraphs)
Also escape rrdtool field seperators that might appear in file names.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

php-collection/definitions.php: Add MetaGraph definitions for bind plugin

php-collection/definitions.php: Add MetaGraph definitions for bind plugin

Add metagraph definition and matching function for the various
types used by bind plugin.
Adjust the memory MetaGraph function to support bind memory statistics.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

php-collection/graph.php: Add missing error500() function

php-collection/graph.php: Add missing error500() function

When a call to rrdtool fails or some other internal error occurs
a HTTP error with code 500 and matching error image should be
returned, added the missing error500() function which does this
the same way as error404() and error400() functions.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

php-collection: Fixes and multiple saved graph lists

php-collection/functions.php: Fix collectd_flush()

Some obsolete code in collectd_flush() caused PHP Notice errors
and prevented caused the function to return before attempting
to ask collectd to flush cache.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

php-collection/definitions.php: Add missing MetaGraph for tcp_connections

php-collection/definitions.php: Add missing MetaGraph for tcp_connections

Add missing MetaGraph reference for tcp_connections and fix DS name
for the MetaGraph

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/php-collection: A few more bug-fixes to the graphing scripts.

This removes some obsolete code which prevents flush from working and adds
missing wrapper error500().

README: Documented the `--with-fp-layout' configure option.

dns plugin: Don't pass a NULL pointer to `pcap_open_live'.

Although the documentation states clearly, that passing a NULL pointer
as device is okay and handled like "any", doing so will crash the daemon
on some systems, most notably *BSDs but Linux users have reported this
behavior, too.

This patch passes "any" when the pointer it NULL, which reportedly
resulted in a different behavior, but still crashing the daemon. We'll
keep trying ;)

src/common.c: Fixed a race condition in check_create_dir().

Between checking for the existence of a directory using stat() and creating
the directory using mkdir(), another thread might have already created the
directory thus causing mkdir() to fail with errno == EEXIST. This case is now
handled sanely, no longer causing the function (and thus some write callback)
to fail in this case.

Most likely, this only happens during startup when creating the data
directories - later, no two threads should try to create the same directory.

Interestingly enough, I frequently encountered this issue on a single core
machine.

collectd-unixsock(5): Slightly improved the description.

Revert "libiptc/Makefile.am: Added xtables.h, libxtc.h to libiptc_la_SOURCES."

This reverts commit b6612126d862d182d9219e0512fa9ca833272b62.

This commit should have gone in the master branch, not in the
collectd-4.5 branch.

Bumped version to 4.5.3; Updated ChangeLog.

contrib/cussh.pl: Fixed and improved command parsing.

The input line is now split into separate tokens which are either quoted or
unquoted strings. This simplifies e.g. the parsing of identifiers as the whole
token may be interpreted as just the id string. This allows for specifying a
somewhat greedy regex which before led to the whole remainder of the input
line ending up in the type or type instance.

contrib/cussh.pl: Improved error reporting.

Collectd::Unixsock: Improved error handling in putval().

ipmi plugin: Use a less error-prone approach to build the sensor name.

ipmi plugin: Fix an off-by-one error.

Hi,

One of my ipmi sensors has a name longer than DATA_MAX_NAME_LEN and this
results in a SEGV.

cu Peter

Merge branch 'collectd-4.4' into collectd-4.5

Conflicts:

configure.in

collectd.conf(5): Add documentation for the `notify_email' plugin.

contrib/php-collection: Save/load graph list and fix HTTPS handling.

Hi,

An update to the graphing interface. (incremental patch attached)

This fixes security complaint by a few browsers when page is accessed
via HTTPS and also makes sure the graphs and lists will load if HTTP
and HTTPS paths differ.
Thanks to Mullet- for spotting this issue.

In addition to the fix above this patch adds support for saving
current graph list to a cookie and appending graph list read from
cookie to the currently displayed list.

A future extension would be to allow saving/loading named graph lists
so multiple list can coexist (pretty useful when monitoring multiple
servers/services)

Bruno

contrib/php-collection: Add a PHP frontend for graph generation.

Hi,

Attached is a patch with a set of PHP files for a complete graphing
environment for collectd-generated RRDs.
Before generating a graph with rrdtool it can tell collectd to flush
the RRDs that are about to be used.

The interface is built with dynamic HTML.
It provides following options:
 - host selection
 -> plugin selection
 --> plugin instance selection
 ---> type selection
 ----> type instance selection (or meta graph)
 - linear / logarithmic Y-scale
 - verbose / minimal legend
 - [Add Graph] [Remove all Graphs] [Refresh Graphs]
For each displayed graph:
 - Move above previous graph
 - Refresh graph
 - Remove graph
 - Move below following graph

I tested on following browsers:
- Firefox-3.0
- Safari-3.2 (Win32)
- Konqueror (KDE-4.1.3)
- Webkit (webkit-gtk-0_p40220)
- Internet Explorer (6, 7, 8rc - CSS layout issues with <8)

Dependencies:
- PHP-5 (might run with PHP-4)
  > GD suport for error images
  > Ability to execute rrdtool binary
  > Unix socket for FLUSH support
- RRDTool (rrdtool graph, rrdtool info)

TODO: complete/improve graph definitions in definitions.php
 though there is code to generate basic graph for any RRD of
 unknown type, so definitions are rather a matter of color,
 DS combination and stacking.

Bruno

File listing with short description:
- config.php
  (configuration)
- functions.php
  (common functions)
- definitions.php
  (graph definitions for most? types from types.db
   - based on collection.cgi)
- definitions.local.php
  (place for site-local graph definitions, e.g. for
   unixsock, tail, snmp generated RRDs)
- index.php
  (main page)
- graph.php
  (page returning the graph's PNG image)
- browser.js
  (whole bunch of Javascript logic to show/hide/update graphs)

Not included are a few images:
- collectd-logo.png
  (16x16, e.g. use collectd.org's favicon)
- favicon.png
  (e.g. use the one in share/collection*)
- refresh.png
- move-up.png
- move-down.png
- delete.png
  (16x16 take matching ones from your system's action-icons)

contrib/collection.cgi: Add graph definition for libvirt/virt_cpu_total

Merge branch 'collectd-4.4' of /var/lib/git/collectd into collectd-4.4

build system: Check for the libupsclient library using pkg-config *and* a custom script.

References: #24

Merge branch 'collectd-4.4' into collectd-4.5

tcpconns plugin: Fix an endianness problem under *BSD.

The port numbers were assumed to be in the host's byte order, when in
fact they are in network byte order (big endian). The patch adds `ntohs'
where necessary to fix this problem.

Resolves: #35

utils_cache: Free then unused memory before returning in an error condition.

utils_cache: Unlock the cache mutex before returning in an error condition.

contrib/cussh.pl: Add the PUTNOTIF command.

I was using this to test notifications for jcollectd like so:
echo "PUTNOTIF host=foo severity=warning message=my perl is rusty" |
perl -Mblib=bindings/perl contrib/cussh.pl

Signed-off-by: Doug MacEachern <dougm@hyperic.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

ascent plugin: Fix a memory leak.

According to libxml2 API doc, the string returned by
   xmlNodeListGetString()
must be freed by the user with
   xmlFree()

The attached patch adds the missing calls to xmlFree() for the ascent plugin.

Bumped version to 4.5.2; Updated ChangeLog.

Merge branch 'collectd-4.4' into collectd-4.5

Conflicts:

ChangeLog
version-gen.sh

Bumped version to 4.4.5; Updated ChangeLog.

Merge branch 'collectd-4.4' into collectd-4.5

Conflicts:

src/network.c

network plugin: Fix an invalid size of buffer being used.

When specifying the amount of data to copy, we used `sizeof (buffer)' where
`buffer' is a pointer, giving 4 or 8 bytes, depending on the architecture (and
not depending on the actual buffer size). This results in the `type' being sent
much more often than necessary and sometimes not sending a new type when is was
actually necessary. The only prominent case in the default configuration(s) was
`cpufreq' being used instead of `cpu', though.

While in the process, the global `type' buffer was replaced, because an
appropriate buffer is in `value_list_t' now.

Much thanks to Bruno Prémont for reporting and debugging this issue :)

References: #37

network plugin: A fix for the buffer problem for version 4.4.

This patch fixes the same problem as 6605ff1a, the insufficient copying of
values to the `type' buffer.

Thanks again to Bruno Prémont for reporting and debugging this :)

Resolves: #37

types.db(5): Fix a typo.

types.db(5): Explain in more detail how custom types should be added.

Apparently there was quite some confusion over this.

Merge branch 'collectd-4.4' into collectd-4.5

Conflicts:

src/utils_dns.c

Do not use *printf() to report errors / debugging messages.

The only exception to that is during configuration (which is done before
daemonization) to let the user know about problems immediately.

src/Makefile: Do not print the command when checking for POD ERRORS.

Else, the build output would include the word "error" in a cryptically looking
paragraph which might confuse users.

collectd.conf(5): Updated the section about the "mysql" plugin.

 * Do not talk about what RRD files things end up in - there is more than
   "rrdtool" by now.
 * Updated the section number of the "Server Status Variables" in the MySQL
   reference manual.
 * Mention that the MySQL user does not need any special privileges.

collectd: Abort with an appropriate status in exit_usage().

In case of an error, the exit status code now equals 1.

collectd: Abort if any non-options are left over after command-line parsing.

This happens if any arguments not starting with a dash are passed to collectd.
Any of those are invalid, so let the user know about that.

Thanks to Kris (gruntruk) for (unknowingly) pointing that out ;-)

perl plugin, utils_complain: Fixed errors identified by -Wformat-security.

A few "format not a string literal and no format arguments" errors have been
fixed by using "%s" as the format argument.

Thanks to Kevin (onebinary) for reporting this.

collectd.conf.in: Fixed a wrong type used in the "tail" example.

collectd.conf.pod: Consistently use spaces instead of tabs in examples.

configfile.c: Ignore registered undefined config keys.

If a registered config key equals NULL, it is now ignored. Before, this would
cause a segfault. As this has happened a few times in the past, we not handle
it sanely.

processes plugin: Fixed a segfault when handling unknown config options.

When using STATIC_ARRAY_SIZE() to determine the number of config keys, the
list must not include NULL. Else, the configfile module will handle that as
another config key and dereference it in case no previous key matched, i.e.
when handling unknown config options.

unixsock plugin: Make sure the initialization function is run only once.

If called multiple times, the global `sock_fd' variable will be re-set,
breaking the plugin.

configure.in: Check for `kvm_openfiles'.

Check for both, `kvm_nlist' and `kvm_openfiles' before enabling the
tcpconns plugin with libkvm: Solaris has a libkvm, too, but doesn't
provide the necessary functions to read the connections with it. At
least not in the same way.

Merge branch 'collectd-4.4' into collectd-4.5

configure.in: Some improvements for Solaris, expecially the swap plugin.

If Solaris is detected, "-D_POSIX_PTHREAD_SEMANTICS" will be added to
CPPFLAGS automatically now.

If sys/swap.h is not found, print a message suggesting to build a 64bit
binary. (sys/swap.h cannot be included when a 32bit binary is being built,
but it's most likely present under Solaris.)

Enable the swap plugin only if sys/swap.h has been found (when under
Solaris).

src/plugin.[ch]: Don't use unnamed unions.

They're non-standard and cause a lot of trouble.

Merge branch 'collectd-4.4' into collectd-4.5

multimeter plugin: Check the return value of `write'.

This resolves warnings when compiling on GNU with:
  CPPFLAGS="-D_FORTIFY_SOURCE"

contrib/collection.cgi: Add meta-graph definitions for the vmem plugin.

contrib/collection.cgi: Add graph definitions for the vmem plugin.

Merge branch 'collectd-4.4' into collectd-4.5

libiptc/Makefile.am: Added xtables.h, libxtc.h to libiptc_la_SOURCES.

Else, those files would not be included in the tarball.

src/Makefile: Build ipvs and uuid plugins using $AM_CFLAGS.

configure, mysql plugin: Check for mysql.h as well.

Up to now, only mysql/mysql.h has been checked for. However, mysql_config
--cflags usually adds the complete path to mysql.h to the include flags. In
most setups, mysql/mysql.h can be found in the search path as well (usually
the header is available in something like /usr/include/mysql/mysql.h) so this
issue has not been found so far. However, if that's not the case, the build
will fail.

Thanks to Dusty Doris <collectd@dusty.name> for reporting this.

contrib/collection3: Add the `format' parameter to the graph.cgi.

With this parameter one can specify the file format the graph is returned in,
for example `format=SVG' for an SVG image.

src/utils_complain.c: Include "collectd.h" as first header file.

This is needed to get the _FILE_OFFSET_BITS define right.

apcups plugin: Include "collectd.h" *before" <stdlib.h>.

If not defined, <stdlib.h> sets/defines _FILE_OFFSET_BITS. Since (in 32bit
mode) "collectd.h" defines that, too, you'll run into compilation problems.

filecount plugin: Fixed an off-by-one error in the configuration code.

The memory allocated to store the information about configured directories did
not take into account the newly added directory. This would cause a segfault
at some point of time (when specifying more than four directories in my case).

Thanks to Martin Janota <janota.m@cce.cz> for finding and reporting this bug.

perl plugin: Fix an uninitialized variable warning.

Resolves: #33

src/utils_dns.c: Cast a `char' to `int' when using `tolower'.

This is needed at least on NetBSD, but probably on other non-GNU libcs as well.

Resolves: #32

libiptc/libip6tc.c: Fix a glibc 2.8 compatibility problem.

Hi,
the attached patch fix the build with glibc 2.8. Please include it in
the next version.

Thanks,
Devid Antonio Filoni

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/configfile.c: Fix a closing-brace comment.

ChangeLog: Fix a typo.

ChangeLog: Fix a typo.

Bumped version to 4.5.1; Updated ChangeLog.

Merge branch 'collectd-4.4' into collectd-4.5

Conflicts:

ChangeLog
version-gen.sh

ChangeLog: Added the changed poisoning behavior.

src/collectd.h: Poison various insecure string functions only when debugging is enabled.

Because the `poison' pragma complains about macros (which are then never
used), this feature does more harm than good in everyday use. So we'll
only activate it when building in debug mode, so hopefully authors of
new plugins will use this.

Bumped version to 4.4.4; Updated ChangeLog.

postgresql plugin: Added another missing call to PQclear().

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

postgresql plugin: Do not open new connections during reinitialization.

When reinitializing the plugin a new connection to all databases has been
opened. Now, we check if the connection already exists. In that case no new
connection will be opened but the existing connection will be pinged instead.

Thanks to Admin <collectd-info@internode.com.au> for finding and reporting
this.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

postgresql plugin: Add a couple of PQclear() calls.

The postgresql plugin is missing a couple of PQclear() calls

Thanks to Admin <collectd-info@internode.com.au> for pointing this out.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/exec-munin.px: Fix the folding markers..

src/Makefile.am: Use $mkinstalldirs instead of $(INSTALL) -D.

Some systems (e.g. Solaris 8) do not support the -D option.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_tail.c: Call `clearerr' before `fgets'.

Hopefully this will resolve problems under the dietlibc.

src/Makefile.am: Fix a copy'n'paste typo.

collectd.conf: Added a sample <Plugin> section in the perl config.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

types.db: Reintroduced the "spam_check" type.

This is used by the "email" plugin. Apparently, it got lost when converting
the plugin to the v4 interface: Instead of "spam_check", "email_check" had
been added to types.db. I did not remove "email_check" though as this would
introduce a regression - though very unlikely, somebody out there might be
using that type.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collection.cgi: Added support for the "connection" type.

This is used e.g. by the "ipvs" plugin.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Merge branch 'collectd-4.4' into collectd-4.5

src/utils_cache.c: Fix a serious memory leak.

Whenever a data set went missing, the its name (the `key'; up to (5*64)+4
bytes) was not free'd.

Thanks to Niraj Tolia for reporting this :)