virt: add support for new metrics

Add support for new libvirt metrics:
- Performance monitoring events
- Domain state & reason
- Percentage CPU usage
- CPU pinning (affinity)
- Disk errors
- File system info
- Job stats

Change-Id: I233fb18653d218c7e906a157743606c6818f9feb
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

ovs_events: fix scan-build warnings #2205

src/utils_ovs.c:366:20: warning: Access to field 'type' results in a dereference of a null pointer (loaded from variable 'jval')
              (int)(jval)->type);
                   ^~~~~~~~~~~~
...

Change-Id: Ic856d21f2121f920bdd2043c69620555bb3d1cb8
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

ovs_events: change configuration option defaults

Right now, the plugin dispatches values by default and doesn't send
any notification messages. The expected behaviour of the event plugin
is to send notification by default. So, changed default value of
SendNotification & DispatchValues options to opposite.

Change-Id: I908799da1b2e75d2089765769ce56af00246c440
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

processes plugin: Fix broken compilation on AIX

After a bb0000acfc57e230fc1c26099bc7acb913680f1a an extra pse.cpu_system
statement was left in the AIX / elif HAVE_PROCINFO_H section, which caused
the compilation to fail.

Fixes: #1981

Merge pull request #2207 from maryamtahhan/fix_for_2201

ovs_stats: Increase devname buffer

Increase devname buffer buffer to ensure that snprintf output
would not be truncated before the last format character

Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

collectd.spec: move new plugins to subpackages

collectd.spec: add ovs_stats plugin

virt plugin: fix build warning

CC       src/virt_la-virt.lo
src/virt.c:417:37: warning: comparison of integers of different signs: 'int' and 'unsigned long' [-Wsign-compare]
  if ((tag_index < 0) || (tag_index >= STATIC_ARRAY_SIZE(tags))) {
                          ~~~~~~~~~ ^  ~~~~~~~~~~~~~~~~~~~~~~~
1 warning generated.

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec

Merge branch 'collectd-5.6' into collectd-5.7

Conflicts:
contrib/redhat/collectd.spec

collectd.spec: Don't enable XFS support on RHEL6

It is missing for i386.
If there's strong interest in having support for xfs in the df plugin in
RHEL6 we can do some macro magic to only BuildRequire xfsprogs-devel if
were not on rhel6 i386, but this was the easiest fix and unblocks our
package builds.

spec: Don't enable XFS support on RHEL6

It is missing for i386.

Add dpkdevents plugin to spec file

utils_cmd_flush.c: fix another build warning

src/utils_cmd_flush.c:140:11: warning: declaration shadows a local variable [-Wshadow]
      int status;
          ^
src/utils_cmd_flush.c:114:7: note: previous declaration is here
  int status;
      ^

utils_cmd_flush.c: fix build warning

CC       src/utils_cmd_flush.lo
src/utils_cmd_flush.c:139:12: warning: declaration shadows a local variable [-Wshadow]
      char buffer[1024];
           ^
src/utils_cmd_flush.c:108:47: note: previous declaration is here
cmd_status_t cmd_handle_flush(FILE *fh, char *buffer) {
                                              ^

ovs_stats plugin: fix some more build warnings

CC       src/ovs_stats_la-ovs_stats.lo
src/ovs_stats.c:158:8: warning: 'const' type qualifier on return type has no effect [-Wignored-qualifiers]
static const iface_counter ovs_stats_counter_name_to_type(const char *counter) {
       ^~~~~~
src/ovs_stats.c:356:29: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
          for (int i = 0; i < ports_num; i++)
                          ~ ^ ~~~~~~~~~
src/ovs_stats.c:401:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(bridges)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:415:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(bridges)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:501:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(ports)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:524:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(ports)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:538:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_ARRAY(stats)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:558:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_ARRAY(ext_ids)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:684:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(ports)->len; i++)
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~
9 warnings generated.

ovs_stats plugin: fix build warning

src/ovs_stats.c:158:8: warning: 'const' type qualifier on return type has no effect [-Wignored-qualifiers]
static const iface_counter ovs_stats_counter_name_to_type(const char *counter) {
       ^~~~~~

Merge branch 'collectd-5.7'

Conflicts:
configure.ac

Merge branch 'collectd-5.6' into collectd-5.7

Merge pull request #2204 from collectd/check-for-cap-is-supported

Check for the CAP_IS_SUPPORTED macro

Check for the CAP_IS_SUPPORTED macro

On EPEL6:
src/daemon/common.c: In function 'check_capability':
src/daemon/common.c:1571: error: implicit declaration of function 'CAP_IS_SUPPORTED'
make[1]: *** [src/daemon/common.lo] Error 1

Merge branch 'master' into virt_list_domains

fix spelling again

fix spelling

switch back 'http_attrs_num' to type size_t

remove unnecessary newline

add support for new parameter 'Attribute'

add doc on new parameter 'Attribute'

optional parameter 'Attribute' for kairosdb

Merge pull request #2137 from maryamtahhan/feat_ovs_stats

ovs_stats: Implement OVS statistics plugin.

Merge branch 'collectd-5.7'

Conflicts:
configure.ac

Merge branch 'collectd-5.6' into collectd-5.7

look for cap_get_proc instead of cap_get_bound

a2ddc38 switched the capability check from cap_get_bound() to
cap_get_proc()

Merge pull request #2151 from mfournier/check_capability-rewrite-fix

daemon/common.c: Fix check_capability() by using cap_get_proc()

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7

Conflicts:
src/utils_match.c

smart: log warning if CAP_SYS_RAWIO is missing

Related to #2143

Merge pull request #2157 from maryamtahhan/dpdkevents_upstream

Plugin for getting DPDK ports link status and keep alive events.

Merge pull request #2192 from maryamtahhan/bugfix_regex_memleak

fix for memory leak in utils_match.c

Merge pull request #2194 from maryamtahhan/feat_dpdkstat_fix

dpdkstat: fix retrieval of statistics

dpdkstat: fix retrieval of statistics

This change forces dpdkstat plugin to check if memory needs to be resized on
every DPDK_CMD_GET_STATS command, rather than resizing it only once at
initialization. Additionally it fixes incorrect metric retrieval logic, which
allows plugin to dispatch metrics only if number of retrieved extended statistics
is equal to allocated stats array size for port. Based on DPDK API documentation
rte_eth_xstats_get (and rte_eth_xstats_get_names) function can return positive
value lower than array size, which isn't considered a failure.

If primary DPDK process is restarted with a greater number of ports bound to
DPDK driver while collectd dpdkstat plugin is running, then memory isn't resized.
Due to insufficient memory allocation dpdkstat plugin is unable to gather metrics
from new ports.

Change-Id: I25c8995105a322474653bf7065c2228047f886b1
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

fix for memory leak in utils_match.c

Change-Id: I058afae8c0a99115bda70e125840fc6bd224b358
Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

dpdkevents: PR comments addressed

RTE version check changed to compile time. Adressing PR
review comments. Minor format changes

Change-Id: Ie345a6009a291490323f614183362dfce8e6a5e6

Merge pull request #2169 from ipavlikevich/master

virt plugin: fix skipping inactive domains

chrony: use time_offset type for last measured offset

The last measured offset from the source report should be more useful
for monitoring than the current estimated offset from the sourcestats
report.

chrony: add padding to IPAddr struct

Since the IPAddr struct is declared with the packed attribute and
contains a 32-bit field, it needs to include a 16-bit padding in order
to be aligned to 32 bits.

chrony: fix type instances for reference clocks

When chronyd is using a reference clock, the reference ID of the source
is provided as an IPv4 address in the source report. Format it as an
ASCII string instead of an IPv4 address.

chrony: fix type instances for unreachable sources

When a time source is unreachable, no sourcestats request is made and
the NaN values are pushed with an empty string as the type instance.
Modify chrony_request_source_data() and chrony_request_source_stats()
to share the address of the source, so the address is valid even when
sourcestats is not requested.

chrony: fix conversion of very small floating-poing values

This is copied from the chrony code.

chrony: fix conversion of clock_last_meas value

The f_since_sample field in source data has 32 bits.

chrony: fix limits of frequency types

The frequency_error value is in parts per million and the range of
<-2,2> is too small to cover most computer clocks. The clock_skew_ppm
cannot be negative, but it can also be much larger.

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7

log_logstash: send log messages to STDERR by default

See also dec394e08

src/daemon/collectd.c: do not refer to syslog in error message

... as the message the user would be looking for can be found on
stderr/stdout or in any configured logfile.

logfile: send log messages to STDERR by default

This prevents early startup log messages from going unnoticed if the
default logfile isn't writeable.

Fixes: #2057

virt plugin: fix skipping inactive domains

Remove inactive domains from domains list, not only in CPU/Memory/VCPU usage accounting

Signed-off-by: Igor Pavlikevich <ipavlikevich@gmail.com>

Merge pull request #2181 from maryamtahhan/feat_ovs_events_dispatch_option

ovs_events: Make dispatch link status configurable

ovs_events: Make dispatch link status configurable

Change-Id: Ib1853ff8caf57c6e33171e9d419af84c2ce69cae
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>
ovs_events: Revert changing SendNotification default

Change-Id: I5e318e132937301aac355dcedaf3474a623f3853
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec

Merge branch 'collectd-5.6' into collectd-5.7

Conflicts:
contrib/redhat/collectd.spec

collectd.spec: enable XFS support in df plugin

Fixes #2178

Removed unused function

Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Addressed PR comments

Fixed issue with missing counter

Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Merge pull request #2158 from pmauduit/java_atomic_types

Java bindings - Adding Atomic* support

write_riemann_threshold: remove unused header

This fixes the build on EPEL7, which doesn't have ltdl-devel installed
(and it shouldn't have to since commit 98153711).

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec
src/Makefile.am
src/dpdkstat.c

Merge branch 'collectd-5.6' into collectd-5.7

Merge pull request #2145 from Geraden07/master

SSL Certificate Verification For collectd-nut Plugin

Implemented certificate checking conditionally if compiler finds upsclient library version >= 2.7. Otherwise will show warnings if this feature is used.

Added ForceSSL feature. Updated documentation and added my contributor information.

Merge pull request #2175 from mojaves-redhat/pr-add-cputime

virt plugin: Add physical cpu reporting

virt plugin: don't shadow global variable

and use a matching type for local one.

virt plugin: fix prototype

Previously it failed to compile, even though somehow gcc 6.3.1 liked it.

Merge pull request #2176 from maryamtahhan/feat_dpdkstat_shm_bugfix

dpdkstat: fix fixed shared mem object name

dpdkstat: fix fixed shared mem object name

Fix the shared memory object name so that it's configurable. This way multiple
DPDK applications running in containers can be monitored at the same time
(assuming collectd is also running in that container).

Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

virt plugin: Add physical cpu reporting

Add a metric to report physical cpu consumed by the hypervisor,
split per user/system time. This is provided by libvirt since version
0.9.11, and used by oVirt.

We also extend the newly-added 'ExtraStats' option to allow
users to toggle on/off the new metric. Default is off.

Signed-off-by: Francesco Romani <fromani@redhat.com>

Merge pull request #2156 from maryamtahhan/feat_dpdkstat_bugfix

dpdkstat: Fix metrics' types

Merge pull request #2167 from maryamtahhan/feat_dpdkstat_bugfix_5_7

dpdkstat: Fix metrics' types

Merge pull request #2103 from mojaves-redhat/pr-block-stats-flags

virt plugin: support virDomainBlockStatsFlags

virt plugin: Address PR comments

Signed-off-by: Francesco Romani <fromani@redhat.com>

Merge pull request #2170 from javicacheiro/fix_redhat_spec_file

Fix rpm spec file for 5.7.1

virt plugin: Add option to disable extra stats

We are adding more metrics to the virt plugin, but not everyone
may be interested in those.
This patch add one more option to the virt plugin to enable
or disable the new stats.
For backward compatibility, the default is disabled.

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: Report disk flush information

Now that we switched to virDomainBLockStatsFlags, we can
report the `flush` stats.

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: Add disk_time reporting

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: support virDomainBlockStatsFlags

We want to export more disk stats, like disk_time.
To do so, we must use the virDomainBlockStatsFlags API, but it
could not be available on all the platforms collectd supports.
To cope with that, we add a minimal layer around the API, and
we use virDomainBlockStatsFlags only if available.

This patch adds the code to use the new API and the fallback code
in the case the platform' libvirt is too old.

Signed-off-by: Francesco Romani <fromani@redhat.com>

Fix release

Fix rpm spec file for 5.7.1

Merge pull request #2165 from maryamtahhan/feat_rdt_bugfix

intel_rdt: bugfix configuration

dpdkstat: Fix metrics' types

This patch fixes parsing of metrics' types. Some statistics, such as
rx_q0errors, rx_q0bytes or rx_q0packet, don't contain suffix _errors, _bytes or
_packets. This has caused them to use generic type 'derive', rather than
more specific one, for instance 'if_rx_errors'. Additionally, some
statistics contain string 'error', rather than 'errors'.

Change-Id: I51dfa9c4d98346a654adbc4041b64ebd3897278c
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

intel_rdt: bugfix configuration

Fix the configuration to stop collectd bombing out and deal with configuration
errors gracefully. Otherwise collectd will fail at the configuration phase
with: "Error: Reading the config file failed!".

Signed-off-by: Tahhan, Maryam <maryam.tahhan@intel.com>

Merge pull request #2162 from maryamtahhan/feat_intel_rdt

collectd.service: add intel_rdt plugin capability requirement

notify_email: don't explicitly link against libssl and libcrypto

libesmtp takes care of this.

Pointed out by https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=852924

collectd.service: add intel_rdt plugin capability requirement

Change-Id: I08849f5947b052d8ffae263396f4e7deba8966f3
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

Java bindings - Adding Atomic* support

AtomicIntegers are used to address some concurrency problems in Java, and this
is advised by some metrics libraries like Netflix's servo:

https://github.com/Netflix/servo/wiki#jmx

Unfortunately, the GenericJMXConfValue.java class is not able to get the values
from such types, hence this PR.

I scanned the Java doc for the Java package:
https://docs.oracle.com/javase/8/docs/api/java/util/concurrent/atomic/package-summary.html
I think I have not forgotten any types.

Tests: tested at runtime

snmp_agent: fix c_avl_pick() segmentation fault.

Segmentation fault caused by c_avl_pick() occurs when NULL
iterator is passed.

Change-Id: I3dc960f80b556e18616717ca53fd992c8cf9d78b
Signed-off-by: Korynkevych, RomanX <romanx.korynkevych@intel.com>

Plugin for getting DPDK ports link status and keep alive events.

Dpdkevents plugin collects and reports following events from DPDK based
applications:
- link status of network ports bound with DPDK
- keep alive events related to DPDK logical cores

In order to get link status plugin forks child process that attaches itself to
DPDK application as secondary DPDK process and fetches link status data using
DPDK API. This is the same approach like for dpdkstat plugin, also the same
utils_dpdk.c helper is utilized.

For getting keep alive events plugin communicates with DPDK application
via shared memory area. This is possible only if keep alive feature
is implemented in monitored application.
More details can be found under link
http://dpdk.org/doc/guides/sample_app_ug/keep_alive.html

Minimal required version of DPDK is 16.07.

Change-Id: Id820407ea933b1ecc31a72b6e344a6ec186ec780
Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

daemon/common.c: Fix check_capability() by using cap_get_proc()

Rewrite this function, as 58acba67f made it a no-op.

dpdkstat: Fix metrics' types

This patch fixes parsing of metrics' types. Some statistics, such as
rx_q0errors, rx_q0bytes or rx_q0packet, don't contain suffix _errors, _bytes or
_packets. This has caused them to use generic type 'derive', rather than
more specific one, for instance 'if_rx_errors'. Additionally, some
statistics contain string 'error', rather than 'errors'.

Change-Id: Ifd4ed6c0d2c21723900f36fb1a376d4673e59850
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>