dpdkevents: detect primary DPDK application (re)start

Current implementation attempts to open KA SHM only once during init callback.
If at the time primary DPDK application is not running shm_open will fail, which
will result in dpdkevents plugin being unloaded. Move KA SHM open logic to read
callback to allow plugin to attach to primary DPDK application later without a
need to restart collectd. Moreover, it will allow to determine if primary DPDK
application was killed and plugin should stop dispatching KA statistics.

Additionally modify dpdk_event_keep_alive_shm_open function to detect restart of
primary DPDK application. When primary DPDK application (with KA support) is
restarted it unlinks existing shared memory object and creates a new one. It's
necessary for the plugin to create a new SHM mapping in order to prevent reading
statistics from stale SHM block.

Change-Id: I7fc0047ba117db771ada58a40cbe0b2bddd00112
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

mcelog: set n.meta to NULL after meta data is cleared.

mcelog plugin got stuck after corrected and uncorrected memory errors injection.
This is caused due to pointing n.meta to unknown place in memory as n.meta
was not set to NULL after meta data has been cleared.

Change-Id: I81bdbeb43a9858f0071e1798e4d7a15423832a35
Signed-off-by: Korynkevych, RomanX <romanx.korynkevych@intel.com>

mcelog: make options mutually exclusive

Make the logfile and socket options mutually exclusive as the collection
requirements for the 2 are different and the memory errors from the
socket overlap with the logfile. Set the default to memory errors until
the logfile changes are merged.

Change-Id: If1eef9d37f1ffe404cf679df4dca9ae3c92ab9ea
Signed-off-by: Tahhan, Maryam <maryam.tahhan@intel.com>

mcelog: notification persist option

Implement notification persist option and separate out memory block from the
rest of the configuration.

Change-Id: I48d946bb381d3cfc61fee91a31f3865802389eef
Signed-off-by: Tahhan, Maryam <maryam.tahhan@intel.com>

mcelog: code review fix

Get rid of verbose mcelog_get_dimm() function and use llist_search() instead.

Change-Id: Iccc5c083cf254b82c74f6f77df4a0659ba14282c
Signed-off-by: Tahhan, Maryam <maryam.tahhan@intel.com>

processes: Show real disk IO in addition to process IO (Linux only)

Before this patch, Collectd reports /proc/PID/io fields 'io_rchar/io_wchar' as
'ps_disk_octets' type and 'io_syscr/io_syscw' as 'ps_disk_ops' type.
The names of these types do not match values they represent.

New, correct mapping implemented:

 io_rchar/io_wchar      -> io_octets   (was ps_disk_octets, not used anymore)
 io_syscr/io_syscw      -> io_ops      (was ps_disk_ops, not used anymore)
 read_bytes/write_bytes -> disk_octets (new data collected)

 Closes: #1990

libcollectdclient: Include "config.h" unconditionally.

Merge pull request #2341 from rpv-tomsk/issue-2328

curl plugins: Use configured URL for all poll cycles

curl plugins: Use configured URL for all poll cycles

After redirect received, Collectd send subsequent requests to new location.
That is wrong - Collectd should use configured URL for all poll cycles, regardless of the responses received previously.

Problem was caused by libcurl issue 1631. To avoid that we set request url in each poll cycle.

Closes: #2328

write_mongodb: fix build warning

  CC       src/write_mongodb_la-write_mongodb.lo
src/write_mongodb.c: In function ‘wm_config’:
src/write_mongodb.c:371:55: warning: ‘%s’ directive output may be truncated writing up to 127 bytes into a region of size 114 [-Wformat-truncation=]
     snprintf(cb_name, sizeof(cb_name), "write_mongodb/%s", node->name);
                                                       ^~
src/write_mongodb.c:371:5: note: ‘snprintf’ output between 15 and 142 bytes into a destination of size 128
     snprintf(cb_name, sizeof(cb_name), "write_mongodb/%s", node->name);
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

write_redis: fix build warning

src/write_redis.c: In function ‘wr_config’:
src/write_redis.c:222:53: warning: ‘%s’ directive output may be truncated writing up to 127 bytes into a region of size 116 [-Wformat-truncation=]
     snprintf(cb_name, sizeof(cb_name), "write_redis/%s", node->name);
                                                     ^~
src/write_redis.c:222:5: note: ‘snprintf’ output between 13 and 140 bytes into a destination of size 128
     snprintf(cb_name, sizeof(cb_name), "write_redis/%s", node->name);
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

libcollectdclient: increase error buffer

make[1]: Entering directory '/home/ruben/src/collectd'
  CC       src/libcollectdclient/libcollectdclient_la-client.lo
src/libcollectdclient/client.c: In function ‘lcc_getval’:
src/libcollectdclient/client.c:621:23: warning: ‘%s’ directive output may be truncated writing up to 1023 bytes into a region of size 1010 [-Wformat-truncation=]
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
                       ^                   ~
src/libcollectdclient/client.c:94:48: note: in definition of macro ‘LCC_SET_ERRSTR’
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
                                                ^~~~~~~~~~~
src/libcollectdclient/client.c:94:5: note: ‘snprintf’ output between 15 and 1038 bytes into a destination of size 1024
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/libcollectdclient/client.c:621:5: note: in expansion of macro ‘LCC_SET_ERRSTR’
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
     ^~~~~~~~~~~~~~
src/libcollectdclient/client.c: In function ‘lcc_putval’:
src/libcollectdclient/client.c:754:23: warning: ‘%s’ directive output may be truncated writing up to 1023 bytes into a region of size 1010 [-Wformat-truncation=]
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
                       ^                   ~
src/libcollectdclient/client.c:94:48: note: in definition of macro ‘LCC_SET_ERRSTR’
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
                                                ^~~~~~~~~~~
src/libcollectdclient/client.c:94:5: note: ‘snprintf’ output between 15 and 1038 bytes into a destination of size 1024
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/libcollectdclient/client.c:754:5: note: in expansion of macro ‘LCC_SET_ERRSTR’
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
     ^~~~~~~~~~~~~~
src/libcollectdclient/client.c: In function ‘lcc_flush’:
src/libcollectdclient/client.c:802:23: warning: ‘%s’ directive output may be truncated writing up to 1023 bytes into a region of size 1010 [-Wformat-truncation=]
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
                       ^                   ~
src/libcollectdclient/client.c:94:48: note: in definition of macro ‘LCC_SET_ERRSTR’
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
                                                ^~~~~~~~~~~
src/libcollectdclient/client.c:94:5: note: ‘snprintf’ output between 15 and 1038 bytes into a destination of size 1024
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/libcollectdclient/client.c:802:5: note: in expansion of macro ‘LCC_SET_ERRSTR’
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
     ^~~~~~~~~~~~~~
src/libcollectdclient/client.c: In function ‘lcc_listval’:
src/libcollectdclient/client.c:834:23: warning: ‘%s’ directive output may be truncated writing up to 1023 bytes into a region of size 1010 [-Wformat-truncation=]
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
                       ^                   ~
src/libcollectdclient/client.c:94:48: note: in definition of macro ‘LCC_SET_ERRSTR’
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
                                                ^~~~~~~~~~~
src/libcollectdclient/client.c:94:5: note: ‘snprintf’ output between 15 and 1038 bytes into a destination of size 1024
     snprintf((c)->errbuf, sizeof((c)->errbuf), __VA_ARGS__);                   \
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/libcollectdclient/client.c:834:5: note: in expansion of macro ‘LCC_SET_ERRSTR’
     LCC_SET_ERRSTR(c, "Server error: %s", res.message);
     ^~~~~~~~~~~~~~

Fixes #2200

libcollectclient: snprintf already NUL-terminates

processes plugin: fix build warning

  CC       src/processes.lo
src/processes.c: In function ‘ps_read’:
src/processes.c:823:58: warning: ‘%s’ directive output may be truncated writing up to 255 bytes into a region of size between 32 and 51 [-Wformat-truncation=]
     snprintf(filename, sizeof(filename), "/proc/%li/task/%s/status", ps->id,
                                                          ^~
src/processes.c:823:5: note: ‘snprintf’ output between 21 and 295 bytes into a destination of size 64
     snprintf(filename, sizeof(filename), "/proc/%li/task/%s/status", ps->id,
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
               tpid);
               ~~~~~

In practice the buffer is more than large enough, since all we substitute are process ids, but gcc can't know that.

Treewide: replace ssnprintf with snprintf

ssnprintf supposedly was a safer version of snprintf, but they both
always NUL-terminate the buffer.

After this change GCC >= 7 will start warning when snprintf silenty
truncates, which is good since I want to see when that happens.

Merge branch 'collectd-5.7'

tcpconns plugin: fix build on FreeBSD current

FreeBSD commit https://github.com/freebsd/freebsd/commit/3a5c9aaf2b2ea107bcaf0ba28b706238d92bdbbd
hides inpcb and tcpcb from userland.

Patch taken from FreeBSD ports tree, thanks glebius@.

write_mongodb: use ssnprintf_alloc to create dsn

write_mongodb: fix potential NULL dereference

scan-build: Using '/usr/bin/clang-4.0' for static analysis
make  all-am
make[1]: Entering directory '/home/ruben/src/collectd'
  CC       src/write_mongodb_la-write_mongodb.lo
src/write_mongodb.c:173:41: warning: Null pointer passed as an argument to a 'nonnull' parameter
                 strlen(node->passwd) + strlen(node->host) + 5 +
                                        ^~~~~~~~~~~~~~~~~~
src/write_mongodb.c:199:42: warning: Null pointer passed as an argument to a 'nonnull' parameter
    uri_length = strlen(format_string) + strlen(node->host) + 5 + 1;
                                         ^~~~~~~~~~~~~~~~~~
2 warnings generated.
  CCLD     write_mongodb.la

write_mongodb.c: clang-format

Only build libplugin_mock.la during make check

Merge pull request #2315 from mcorbin/feat/riemann-microseconds-resolution

Add micro-seconds resolution in write_riemann

Merge pull request #2301 from rpv-tomsk/fix-apcups

apcups: Fix reconnect implementation

ipvs plugin: remove custom kernel source support

Linux has shipped ipvs.h in its uapi for ages now.

configure.ac: minor cleanup

configure.ac: remove some whitespace

snmp_agent plugin: fix a few build warnings

```
CC       src/snmp_agent_la-snmp_agent.lo
src/snmp_agent.c:166:25: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
      for (int i = 0; i < dd->oids_len; i++) {
                      ~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:190:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < dd->oids_len; i++) {
                    ~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:289:37: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
  for (i = 0; i < key_len && offset < oid->oid_len; i++)
                             ~~~~~~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:355:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < dd->oids_len; i++)
                    ~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:420:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < (*dd)->oids_len; i++)
                    ~ ^ ~~~~~~~~~~~~~~~
src/snmp_agent.c:429:25: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
      for (int i = 0; i < (*dd)->oids_len; i++)
                      ~ ^ ~~~~~~~~~~~~~~~
src/snmp_agent.c:440:25: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
      for (int i = 0; i < (*dd)->oids_len; i++)
                      ~ ^ ~~~~~~~~~~~~~~~
src/snmp_agent.c:532:20: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
  assert(oid_index < values_num);
         ~~~~~~~~~ ^ ~~~~~~~~~~
/usr/include/assert.h:89:5: note: expanded from macro 'assert'
  ((expr)                                                               \
    ^~~~
src/snmp_agent.c:584:25: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
      for (int i = 0; i < dd->oids_len; i++) {
                      ~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:768:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < dd->oids_len; i++) {
                    ~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:806:25: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
      for (int i = 0; i < dd->oids_len; i++) {
                      ~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:821:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < dd->oids_len; i++) {
                    ~ ^ ~~~~~~~~~~~~
src/snmp_agent.c:1287:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < dd->oids_len; i++) {
                    ~ ^ ~~~~~~~~~~~~
13 warnings generated.
```

ipvs plugin: minor cleanup

- Remove some Yoda conditionals
- Give some variables better names
- Use C99 designated initializers in some places.

Merge pull request #2327 from rpv-tomsk/snmp-custom-port

snmp plugin: Option `Address` documented in more details.

email plugin: fix Yoda conditionals

Fix mismerge

exec plugin: remove some Yoda conditionals

Merge branch 'collectd-5.7'

Conflicts:
src/openldap.c

Merge branch 'collectd-5.6' into collectd-5.7

email, exec and unixsock plugins: enlarge buffer for getgrnam_r result

Thanks to Jeremie Courreges-Anglas and Daniel Jakots.

email, exec and unixsock plugins: fix error handling

Diff from Jeremie Courreges-Anglas, via Daniel Jakots

Merge pull request #2331 from mfournier/ldap_unbind-segfault

openldap: check ld structure before passing it to ldap_unbind()

openldap: check ld structure before passing it to ldap_unbind()

This prevents collectd from segfaulting when the ldap session setup
fails before opening a connection to openldap (syntax error in the URL
option for example).

snmp: Option `Address` documented in more details.

As described at http://net-snmp.sourceforge.net/dev/agent/structsnmp__session.html,
it may include transport specifier and/or port number.
Configuration examples are updated too.

Closes: #2302

Merge pull request #2320 from maryamtahhan/feat_snmp_compilation_issue

SNMP Agent: Fix compilation issue of snmp_agent plugin

SNMP Agent: Fix compilation issue on Net-SNMP v5.4.3

The compilation of SNMP Agent fails on older version of
Net-SNMP (5.4.3).

Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Add micro-seconds resolution in write_riemann

riemann-c-client 1.10.0 and higher supports micro-seconds time
resolution for Riemann events.

intel_pmu: address PR comments

Change-Id: I172ad8535edda429cd58e0d6198aa19af76151eb
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Bump version to 5.7.2; Update ChangeLog.

Merge branch 'collectd-5.7'

Conflicts:
src/intel_rdt.c

Merge pull request #2310 from octo/ff/intel_rdt

intel_rdt plugin: Remove unnecessary goto.

intel_rdt plugin: Remove unnecessary goto.

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7

Bind plugin: plug a few leaks

Fixes: #2303

Merge pull request #2307 from saiarcot895/mongo-mem-leak

Use bson_destroy instead of bson_free, and fix memleak issue.

Use bson_destroy instead of bson_free, and fix memleak issue.

intel_pmu: configure.ac code style cleanup

Change-Id: Ie69b921a253f418ac7b87248faa29d9d35c647a0
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Merge pull request #2304 from archii/fix-ipmi-docs-typo

Fix ipmi docs typo

intel_pmu: address PR comments

  - cleanup of configure.ac
  - add config option EventList to avoid dependency on environment variables

Change-Id: I987095b6e71bcf05103e773793c0a40c815f729b
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Merge pull request #1 from archii/archii-fix-docs-typo-1

fix typo in collectd.conf.pod

fix typo in collectd.conf.pod

python plugin: stop disabling strict aliasing

According to https://bugs.python.org/issue1718153, this has been fixed
in python 2.6, the oldest version we support.

configure.ac: slightly tweak dpdk check

configure.ac: keep libs sorted

configure.ac: detect compiler vendor

I'll use this in followup patches to detect if the compiler supports
various warning flags. For example, a long standing issue is that older
version of the Sun studio compiler doesn't support -Werror.

configure.ac: no need for body for preproc test

configure.ac: use preprocessor to detect libpqos version

No need to run the program.

configure.ac: use preprocessor to detect dpdk version

The test doesn't run any code, so no need to compile it.

configure.ac: replace AS_IF with normal test

AS_IF is slightly more portable, but slightly less readable.

configure.ac: replace last few tabs with spaces

configure.ac: fix libpqos detection style

snmp-agent: fix build on RHEL6

libnetsnmpagent.so from net-snmp 5.5 needs some symbols from libnetsnmphelpers.so,
but does not link against it on RHEL5.

Work around this by looking for one of those symbols in the helper lib,
and if found, link against it.

Later versions of net-snmp seem to have moved those symbols to
libnetsnmpagent.so, so it's not an issue there.

configure.ac: remove unneeded include

All files in AC_CONFIG_MACRO_DIR are included by default.

configure.ac: improve libnetsnmpagent detection

Turn it into a separate check, which also makes it possible to disable
it.

snmp_agent and snmp are separate plugins, and on at least Fedora are
packaged separately.

A beneficial side effect is that this reduces overlinking of snmp.so
with libnetsnmpagent.so

snmp-agent: check for the right header

We never include net-snmp/agent/agent_module_config.h

configure.ac: fix style for snmpagent plugin

configure.ac: fix overquoting

intel_pmu: address PR comments

Change-Id: I6ec3cb1602b96e76b75339a79e7768b39b2c323a
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

apcups: Fix reconnect implementation

Implementation was broken, it doesn't reconnects as planned.

format_graphite: Error if call to uc_get_rate fails to return a value.

This prevents a wrong value being sent to graphite for DERIVE types.

See #2209

Signed-off-by: Florian Forster <octo@collectd.org>

snmp plugin: Avoid allocation of temporary buffers on the heap.

src/daemon/utils_cache.c: Add debug message for lookup of missing metrics.

Issue: #1234

src/daemon/utils_cache.c: Remove unnecessary cast.

(data_set_t).ds_num has been changed to be a size_t.

Merge remote-tracking branch 'github/pr/2285'

Merge pull request #2290 from BrandonArp/snmp_agent_rpm

allow configuration of snmp_agent in rpm builds

allow configuration of snmp_agent in rpm builds

Merge pull request #2287 from BrandonArp/fix_am_1_11

fix build on automake 1.11

curl_json plugin: Work around a limitation in EPEL6's GCC.

Merge remote-tracking branch 'github/pr/2105'

Merge remote-tracking branch 'github/pr/2190'

chrony plugin: Re-run clang-format.

memcached plugin: Expand "del" to "delete" for clarity.

memcached plugin: Add delete_{hits,misses} metrics.

src/daemon/utils_cache.c: Read time *after* acquiring the lock.

Fixes: #1193

fix build on automake 1.11

snmp_agent plugin: Don't export the g_agent variable.

snmp_agent plugin: Remove parenthesis around return values.

See also: #2277

snmp_agent plugin: Format with clang-format.

Merge remote-tracking branch 'github/pr/2277'

amqp plugin: Enable the "ExchangeType" for publishers, too.

Fixes: #2286

curl_json plugin: Refactor the way trees/keys are stored.

Previously, keys had a "magic" as their first member which was used to
differentiate between the two types when they were returned from the
binary search tree.

This patch creates a new struct, cj_tree_entry_t, which includes an enum
identifying which union member is valid.

curl_json plugin: Expand unit tests.

This adds various tests involving arrays.

Issue: #2266

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7