Merge pull request #2157 from maryamtahhan/dpdkevents_upstream

Plugin for getting DPDK ports link status and keep alive events.

Merge pull request #2194 from maryamtahhan/feat_dpdkstat_fix

dpdkstat: fix retrieval of statistics

dpdkstat: fix retrieval of statistics

This change forces dpdkstat plugin to check if memory needs to be resized on
every DPDK_CMD_GET_STATS command, rather than resizing it only once at
initialization. Additionally it fixes incorrect metric retrieval logic, which
allows plugin to dispatch metrics only if number of retrieved extended statistics
is equal to allocated stats array size for port. Based on DPDK API documentation
rte_eth_xstats_get (and rte_eth_xstats_get_names) function can return positive
value lower than array size, which isn't considered a failure.

If primary DPDK process is restarted with a greater number of ports bound to
DPDK driver while collectd dpdkstat plugin is running, then memory isn't resized.
Due to insufficient memory allocation dpdkstat plugin is unable to gather metrics
from new ports.

Change-Id: I25c8995105a322474653bf7065c2228047f886b1
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

dpdkevents: PR comments addressed

RTE version check changed to compile time. Adressing PR
review comments. Minor format changes

Change-Id: Ie345a6009a291490323f614183362dfce8e6a5e6

Merge pull request #2169 from ipavlikevich/master

virt plugin: fix skipping inactive domains

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7

log_logstash: send log messages to STDERR by default

See also dec394e08

src/daemon/collectd.c: do not refer to syslog in error message

... as the message the user would be looking for can be found on
stderr/stdout or in any configured logfile.

logfile: send log messages to STDERR by default

This prevents early startup log messages from going unnoticed if the
default logfile isn't writeable.

Fixes: #2057

virt plugin: fix skipping inactive domains

Remove inactive domains from domains list, not only in CPU/Memory/VCPU usage accounting

Signed-off-by: Igor Pavlikevich <ipavlikevich@gmail.com>

Merge pull request #2181 from maryamtahhan/feat_ovs_events_dispatch_option

ovs_events: Make dispatch link status configurable

ovs_events: Make dispatch link status configurable

Change-Id: Ib1853ff8caf57c6e33171e9d419af84c2ce69cae
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>
ovs_events: Revert changing SendNotification default

Change-Id: I5e318e132937301aac355dcedaf3474a623f3853
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec

Merge branch 'collectd-5.6' into collectd-5.7

Conflicts:
contrib/redhat/collectd.spec

collectd.spec: enable XFS support in df plugin

Fixes #2178

Merge pull request #2158 from pmauduit/java_atomic_types

Java bindings - Adding Atomic* support

write_riemann_threshold: remove unused header

This fixes the build on EPEL7, which doesn't have ltdl-devel installed
(and it shouldn't have to since commit 98153711).

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec
src/Makefile.am
src/dpdkstat.c

Merge branch 'collectd-5.6' into collectd-5.7

Merge pull request #2145 from Geraden07/master

SSL Certificate Verification For collectd-nut Plugin

Implemented certificate checking conditionally if compiler finds upsclient library version >= 2.7. Otherwise will show warnings if this feature is used.

Added ForceSSL feature. Updated documentation and added my contributor information.

Merge pull request #2175 from mojaves-redhat/pr-add-cputime

virt plugin: Add physical cpu reporting

virt plugin: don't shadow global variable

and use a matching type for local one.

virt plugin: fix prototype

Previously it failed to compile, even though somehow gcc 6.3.1 liked it.

Merge pull request #2176 from maryamtahhan/feat_dpdkstat_shm_bugfix

dpdkstat: fix fixed shared mem object name

dpdkstat: fix fixed shared mem object name

Fix the shared memory object name so that it's configurable. This way multiple
DPDK applications running in containers can be monitored at the same time
(assuming collectd is also running in that container).

Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

virt plugin: Add physical cpu reporting

Add a metric to report physical cpu consumed by the hypervisor,
split per user/system time. This is provided by libvirt since version
0.9.11, and used by oVirt.

We also extend the newly-added 'ExtraStats' option to allow
users to toggle on/off the new metric. Default is off.

Signed-off-by: Francesco Romani <fromani@redhat.com>

Merge pull request #2156 from maryamtahhan/feat_dpdkstat_bugfix

dpdkstat: Fix metrics' types

Merge pull request #2167 from maryamtahhan/feat_dpdkstat_bugfix_5_7

dpdkstat: Fix metrics' types

Merge pull request #2103 from mojaves-redhat/pr-block-stats-flags

virt plugin: support virDomainBlockStatsFlags

virt plugin: Address PR comments

Signed-off-by: Francesco Romani <fromani@redhat.com>

Merge pull request #2170 from javicacheiro/fix_redhat_spec_file

Fix rpm spec file for 5.7.1

virt plugin: Add option to disable extra stats

We are adding more metrics to the virt plugin, but not everyone
may be interested in those.
This patch add one more option to the virt plugin to enable
or disable the new stats.
For backward compatibility, the default is disabled.

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: Report disk flush information

Now that we switched to virDomainBLockStatsFlags, we can
report the `flush` stats.

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: Add disk_time reporting

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: support virDomainBlockStatsFlags

We want to export more disk stats, like disk_time.
To do so, we must use the virDomainBlockStatsFlags API, but it
could not be available on all the platforms collectd supports.
To cope with that, we add a minimal layer around the API, and
we use virDomainBlockStatsFlags only if available.

This patch adds the code to use the new API and the fallback code
in the case the platform' libvirt is too old.

Signed-off-by: Francesco Romani <fromani@redhat.com>

Fix release

Fix rpm spec file for 5.7.1

Merge pull request #2165 from maryamtahhan/feat_rdt_bugfix

intel_rdt: bugfix configuration

dpdkstat: Fix metrics' types

This patch fixes parsing of metrics' types. Some statistics, such as
rx_q0errors, rx_q0bytes or rx_q0packet, don't contain suffix _errors, _bytes or
_packets. This has caused them to use generic type 'derive', rather than
more specific one, for instance 'if_rx_errors'. Additionally, some
statistics contain string 'error', rather than 'errors'.

Change-Id: I51dfa9c4d98346a654adbc4041b64ebd3897278c
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

intel_rdt: bugfix configuration

Fix the configuration to stop collectd bombing out and deal with configuration
errors gracefully. Otherwise collectd will fail at the configuration phase
with: "Error: Reading the config file failed!".

Signed-off-by: Tahhan, Maryam <maryam.tahhan@intel.com>

Merge pull request #2162 from maryamtahhan/feat_intel_rdt

collectd.service: add intel_rdt plugin capability requirement

notify_email: don't explicitly link against libssl and libcrypto

libesmtp takes care of this.

Pointed out by https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=852924

collectd.service: add intel_rdt plugin capability requirement

Change-Id: I08849f5947b052d8ffae263396f4e7deba8966f3
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

Java bindings - Adding Atomic* support

AtomicIntegers are used to address some concurrency problems in Java, and this
is advised by some metrics libraries like Netflix's servo:

https://github.com/Netflix/servo/wiki#jmx

Unfortunately, the GenericJMXConfValue.java class is not able to get the values
from such types, hence this PR.

I scanned the Java doc for the Java package:
https://docs.oracle.com/javase/8/docs/api/java/util/concurrent/atomic/package-summary.html
I think I have not forgotten any types.

Tests: tested at runtime

Plugin for getting DPDK ports link status and keep alive events.

Dpdkevents plugin collects and reports following events from DPDK based
applications:
- link status of network ports bound with DPDK
- keep alive events related to DPDK logical cores

In order to get link status plugin forks child process that attaches itself to
DPDK application as secondary DPDK process and fetches link status data using
DPDK API. This is the same approach like for dpdkstat plugin, also the same
utils_dpdk.c helper is utilized.

For getting keep alive events plugin communicates with DPDK application
via shared memory area. This is possible only if keep alive feature
is implemented in monitored application.
More details can be found under link
http://dpdk.org/doc/guides/sample_app_ug/keep_alive.html

Minimal required version of DPDK is 16.07.

Change-Id: Id820407ea933b1ecc31a72b6e344a6ec186ec780
Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

dpdkstat: Fix metrics' types

This patch fixes parsing of metrics' types. Some statistics, such as
rx_q0errors, rx_q0bytes or rx_q0packet, don't contain suffix _errors, _bytes or
_packets. This has caused them to use generic type 'derive', rather than
more specific one, for instance 'if_rx_errors'. Additionally, some
statistics contain string 'error', rather than 'errors'.

Change-Id: Ifd4ed6c0d2c21723900f36fb1a376d4673e59850
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

Merge branch 'collectd-5.6' into collectd-5.7

dpdkstat plugin: jump to the right label

Bump version to 5.7.1; Update ChangeLog.

Merge pull request #2140 from maryamtahhan/feat_ras_bugfix

mcelog: Bug fixes and code style changes

mcelog: Address PR comments.

Change-Id: Ifde0311b54535b8cd5b3e0ccb05ce908dc499f62
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

mcelog: Minor changes

Change-Id: I99f8ed0b30c9f8bc6d7b22deb291e30ca0301507
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

mcelog: Free notification metadata

Change-Id: I68f883415a1c5d75cecb748b6c5788b536903333
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

mcelog: Dispatch notification on successful connection to mcelog server

Change-Id: Ia5503972c665a2e951a2c5f14847be4c7580a9f3
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

mcelog: Check if location was correctly parsed

Avoid dispatching metrics if location (used as plugin instance) wasn't parsed
correctly. Such thing can occur when there are no machine check exceptions
reported by mcelog server. With csv plugin enabled, it was causing a creation of
unexpected mcelog directory with all files (metrics) filled out with 0's.

Change-Id: Ib01f355a986ee5c6191cd126e1b32ef956ffce1f
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

mcelog: Increase delay between socket reinitialization

Change delay between subsequent socket reinitialization attempts from 1000 usec
to 1000 ms. Such frequent attempts were affecting collectd functionality and
flooded the syslog. Issue can be eaisly reproduced by stopping mcelog service
while collectd with mcelog plugin enabled is running.

Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

mqtt plugin: Fix invalid symbols in topic name.

mqtt plugin: Fix resource leak.

Fixes: #2123

Merge pull request #2141 from piotr1212/link_unixsock_with_cmds

unixsock.so: undefined symbol: handle_getthreshold -> link unixsock against libcmds

link unixsock against libcmds

unixsock_la_LIBS is not being processed by automake and thus being
incorrectly linked. This results in an symbol error when loading
the module. Changing to unixsock_la_LIBADD fixes this.

Merge pull request #2122 from octo/issue/2108

src/daemon/plugin.c: Register plugin_update_internal_statistics() as …

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7

chrony: add missing build flag

This is a backport of 211bd4843.

src/daemon/plugin.c: explicitly declare vl.interval

This properly gets rid of the warning reported in #2108

Thanks to @charliesignalfx for suggesting this and reporting the issue !

src/daemon/plugin.c: avoid deprecated statement

As suggested by @rubenk in #2122

collectd.spec: ensure write_riemann build deps are installed

collectd.spec: fixes to previous commit

collectd.spec: re-enable write_riemann on EL7, as build dep is now available in EPEL7

Merge branch 'collectd-5.6' into collectd-5.7

chrony: add missing build flag

The chrony plugin uses the `pow()` math function so it needs to be built with `-lm`. Otherwise collectd crashes with `symbol lookup error: /usr/lib/collectd/chrony.so: undefined symbol: pow`.

curl_json: use configured interval as default timeout value

When no timeout is specified, the default timeout should be set to the
configured interval, not the default timeout (which is -1, no timeout).

This bug got introduced in bce14a848.

Merge pull request #2130 from maryamtahhan/issue_ovs_events_2127

ovs_events: fix #2127

ovs_events: fix #2127

- Fixed FreeBSD compilation issue
- Fixed CLANG warnings:
   "-Wsign-compare, -Wtautological-compare"

Change-Id: I7a58271c34120e2782e43d4245abefebae2601ca
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Merge pull request #2095 from maryamtahhan/dpdkstat_utils_rework

dpdkstat plugin rework

Addressing PR comments related with dpdk_utils

Change-Id: I4d6e132e0b5aa940a9c444c141967c8b79d90f0e
Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

PR review comments addressed

Adressed comments raised during PR review. Removed documentation
chapter related with static linking since it was outdated and
there's no single universal solution for all supported DPDK
releases. Static linking of external libraries into plugins
is not supported in collectd.

Change-Id: I35f7decb0fdacaaaad50fa2bf35f7ba6aa96c3f0
Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

dpdkstat plugin rework

This patch contains rework of existing dpdkstat plugin. Changes are focused on
extracting common dpdk related features into utils file that could be reused by
other DPDK plugins. Also some related structural changes are introduced.

List of changes:
- introduction of new utils_dpdk.c that handles child process spawning,
  and terminating, messaging between parent and child, DPDK configuration
  and initialization and DPDK commands execution
- DPDK EAL specific options put into separate subsection of
  dpdkstat configuration
- documentation update

Those changes are preparatory steps for upstreaming dpdkevent plugin
that is going to collect DPDK ports and logical cores status info.

Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

ovs_events: fix build failures on Jessie

src/utils_ovs.c: In function ‘ovs_db_table_update_cb’:
src/utils_ovs.c:464:15: error: unused variable ‘table_name’ [-Werror=unused-variable]
   const char *table_name = NULL;
               ^~~~~~~~~~
src/utils_ovs.c:463:10: error: unused variable ‘obj_len’ [-Werror=unused-variable]
   size_t obj_len = 0;
          ^~~~~~~
src/utils_ovs.c:462:12: error: unused variable ‘jtable_update’ [-Werror=unused-variable]
   yajl_val jtable_update;
            ^~~~~~~~~~~~~
src/utils_ovs.c: In function ‘ovs_db_reconnect’:
src/utils_ovs.c:713:22: error: unused variable ‘saunix’ [-Werror=unused-variable]
   struct sockaddr_un saunix;
                      ^~~~~~
src/utils_ovs.c:710:14: error: unused variable ‘unix_prefix’ [-Werror=unused-variable]
   const char unix_prefix[] = "unix:";
              ^~~~~~~~~~~
src/utils_ovs.c: In function ‘ovs_yajl_gen_val’:
src/utils_ovs.c:373:10: error: ‘yajl_gen_ret’ may be used uninitialized in this function [-Werror=maybe-uninitialized]
   return yajl_gen_ret;
          ^~~~~~~~~~~~
cc1: all warnings being treated as errors

Makefile.am: keep plugins sorted

ovs_events plugin: fix build

collectd.spec: add new ovs_events plugin

Makefile.am: fix indentation

Merge pull request #2097 from YmrDtnJu/zfs_arc

zfs_arc updates for linux

Makefile.am: sort some stuff

ceph plugin: remove unused assignment

ovs_events: append flags to _CPPFLAGS, not _CFLAGS

zfs_arc: Do not log an error if a value cannot be found.

configure.ac: keep plugins sorted

collectd.spec: add new mcelog plugin

Merge pull request #1971 from maryamtahhan/feat_ovs_link

OVS events plugin

intel_rdt: check libpqos library version.

Change-Id: I83d42b63873569445d4c6339d7a69761e16ead14
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

ovs_events: Fix root Makefile.am

The location of OVS sources in Malefile.am is `src/*` folder now.

Change-Id: Iffe8a439faf531e74e0a752c3fb544369928cfb6
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

ovs_events: fix using of plugin_thread_create ()

- the prototype of plugin_thread_create () has been changed in
  latest master.

Change-Id: I492942442717c43cd6e6e73478248164b5083894
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

ovs_events: Fix PR code clean-up comments

- Fix OVS documentation
- Code clean-up

Change-Id: I84fb003aea19f73381192f31935c79b51eaba1c9
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

ovs_events: Fix OvS documentation URL address

Change-Id: I5bd4d7aabaf0ff66edd9c1cd75caf7f37448e00d
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

ovs_events: PR clean-up

Clean-up OVS events plugin based on PR comments.

Change-Id: Ibd18924dd2a6f936d0ea83ed4eeb3b34ff8416b5
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>