projects / collectd.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
Merge branch 'ff/highres'
[collectd.git] / src / python.c
diff --git a/src/python.c b/src/python.c
index b67a795..eed0591 100644 (file)
--- a/src/python.c
+++ b/src/python.c
@@ -1,6 +1,33 @@
+/**
+ * collectd - src/python.c
+ * Copyright (C) 2009  Sven Trenkel
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a
+ * copy of this software and associated documentation files (the "Software"),
+ * to deal in the Software without restriction, including without limitation
+ * the rights to use, copy, modify, merge, publish, distribute, sublicense,
+ * and/or sell copies of the Software, and to permit persons to whom the
+ * Software is furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+ * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
+ * DEALINGS IN THE SOFTWARE.
+ *
+ * Authors:
+ *   Sven Trenkel <collectd at semidefinite.de>  
+ **/
+
 #include <Python.h>
 #include <structmember.h>
 
 #include <Python.h>
 #include <structmember.h>
 
+#include <signal.h>
 #if HAVE_PTHREAD_H
 # include <pthread.h>
 #endif
 #if HAVE_PTHREAD_H
 # include <pthread.h>
 #endif
@@ -35,34 +62,32 @@ static char reg_log_doc[] = "register_log(callback[, data][, name]) -> identifie
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>.<name>'. If 'name' contains a '.' it\n"
-               "    replaces both module and name, otherwise it replaces only name.\n"
+               "    is 'python.<module>'.\n"
                "    Every callback needs a unique identifier, so if you want to\n"
                "    Every callback needs a unique identifier, so if you want to\n"
-               "    register one function multiple time you need to specify a name\n"
-               "    here.\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with two or three parameters:\n"
                "severity: An integer that should be compared to the LOG_ constants.\n"
                "message: The text to be logged.\n"
                "data: The optional data parameter passed to the register function.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with two or three parameters:\n"
                "severity: An integer that should be compared to the LOG_ constants.\n"
                "message: The text to be logged.\n"
                "data: The optional data parameter passed to the register function.\n"
-               "    If the parameter was obmitted it will be obmitted here, too.";
+               "    If the parameter was omitted it will be omitted here, too.";
 
 static char reg_init_doc[] = "register_init(callback[, data][, name]) -> identifier\n"
                "\n"
                "Register a callback function that will be executed once after the config.\n"
                "file has been read, all plugins heve been loaded and the collectd has\n"
 
 static char reg_init_doc[] = "register_init(callback[, data][, name]) -> identifier\n"
                "\n"
                "Register a callback function that will be executed once after the config.\n"
                "file has been read, all plugins heve been loaded and the collectd has\n"
-               "forked into the backgroud.\n"
+               "forked into the background.\n"
                "\n"
                "'callback' is a callable object that will be executed.\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function when it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "\n"
                "'callback' is a callable object that will be executed.\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function when it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>.<name>'. If 'name' contains a '.' it\n"
-               "    replaces both module and name, otherwise it replaces only name.\n"
+               "    is 'python.<module>'.\n"
                "    Every callback needs a unique identifier, so if you want to\n"
                "    Every callback needs a unique identifier, so if you want to\n"
-               "    register one function multiple time you need to specify a name\n"
-               "    here.\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called without parameters, except for\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called without parameters, except for\n"
@@ -75,15 +100,16 @@ static char reg_config_doc[] = "register_config(callback[, data][, name]) -> ide
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>'. Every callback needs a unique identifier,\n"
-               "    so if you want to register one function multiple time you need to\n"
-               "    specify a name here.\n"
+               "    is 'python.<module>'.\n"
+               "    Every callback needs a unique identifier, so if you want to\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with one or two parameters:\n"
                "config: A Config object.\n"
                "data: The optional data parameter passed to the register function.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with one or two parameters:\n"
                "config: A Config object.\n"
                "data: The optional data parameter passed to the register function.\n"
-               "    If the parameter was obmitted it will be obmitted here, too.";
+               "    If the parameter was omitted it will be omitted here, too.";
 
 static char reg_read_doc[] = "register_read(callback[, interval][, data][, name]) -> identifier\n"
                "\n"
 
 static char reg_read_doc[] = "register_read(callback[, interval][, data][, name]) -> identifier\n"
                "\n"
@@ -96,11 +122,10 @@ static char reg_read_doc[] = "register_read(callback[, interval][, data][, name]
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>.<name>'. If 'name' contains a '.' it\n"
-               "    replaces both module and name, otherwise it replaces only name.\n"
+               "    is 'python.<module>'.\n"
                "    Every callback needs a unique identifier, so if you want to\n"
                "    Every callback needs a unique identifier, so if you want to\n"
-               "    register one function multiple time you need to specify a name\n"
-               "    here.\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called without parameters, except for\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called without parameters, except for\n"
@@ -114,17 +139,16 @@ static char reg_write_doc[] = "register_write(callback[, data][, name]) -> ident
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>.<name>'. If 'name' contains a '.' it\n"
-               "    replaces both module and name, otherwise it replaces only name.\n"
+               "    is 'python.<module>'.\n"
                "    Every callback needs a unique identifier, so if you want to\n"
                "    Every callback needs a unique identifier, so if you want to\n"
-               "    register one function multiple time you need to specify a name\n"
-               "    here.\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with one or two parameters:\n"
                "values: A Values object which is a copy of the dispatched values.\n"
                "data: The optional data parameter passed to the register function.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with one or two parameters:\n"
                "values: A Values object which is a copy of the dispatched values.\n"
                "data: The optional data parameter passed to the register function.\n"
-               "    If the parameter was obmitted it will be obmitted here, too.";
+               "    If the parameter was omitted it will be omitted here, too.";
 
 static char reg_notification_doc[] = "register_notification(callback[, data][, name]) -> identifier\n"
                "\n"
 
 static char reg_notification_doc[] = "register_notification(callback[, data][, name]) -> identifier\n"
                "\n"
@@ -134,17 +158,16 @@ static char reg_notification_doc[] = "register_notification(callback[, data][, n
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>.<name>'. If 'name' contains a '.' it\n"
-               "    replaces both module and name, otherwise it replaces only name.\n"
+               "    is 'python.<module>'.\n"
                "    Every callback needs a unique identifier, so if you want to\n"
                "    Every callback needs a unique identifier, so if you want to\n"
-               "    register one function multiple time you need to specify a name\n"
-               "    here.\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with one or two parameters:\n"
                "notification: A copy of the notification that was dispatched.\n"
                "data: The optional data parameter passed to the register function.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with one or two parameters:\n"
                "notification: A copy of the notification that was dispatched.\n"
                "data: The optional data parameter passed to the register function.\n"
-               "    If the parameter was obmitted it will be obmitted here, too.";
+               "    If the parameter was omitted it will be omitted here, too.";
 
 static char reg_flush_doc[] = "register_flush(callback[, data][, name]) -> identifier\n"
                "\n"
 
 static char reg_flush_doc[] = "register_flush(callback[, data][, name]) -> identifier\n"
                "\n"
@@ -154,16 +177,18 @@ static char reg_flush_doc[] = "register_flush(callback[, data][, name]) -> ident
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function every time it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>'. Every callback needs a unique identifier,\n"
-               "    so if you want to register one function multiple time you need to\n"
-               "    specify a name here.\n"
+               "    is 'python.<module>'.\n"
+               "    Every callback needs a unique identifier, so if you want to\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with two or three parameters:\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with two or three parameters:\n"
-               "timeout: ???.\n"
-               "id: ???.\n"
+               "timeout: Indicates that only data older than 'timeout' seconds is to\n"
+               "    be flushed.\n"
+               "id: Specifies which values are to be flushed.\n"
                "data: The optional data parameter passed to the register function.\n"
                "data: The optional data parameter passed to the register function.\n"
-               "    If the parameter was obmitted it will be obmitted here, too.";
+               "    If the parameter was omitted it will be omitted here, too.";
 
 static char reg_shutdown_doc[] = "register_shutdown(callback[, data][, name]) -> identifier\n"
                "\n"
 
 static char reg_shutdown_doc[] = "register_shutdown(callback[, data][, name]) -> identifier\n"
                "\n"
@@ -173,11 +198,10 @@ static char reg_shutdown_doc[] = "register_shutdown(callback[, data][, name]) ->
                "'data' is an optional object that will be passed back to the callback\n"
                "    function if it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
                "'data' is an optional object that will be passed back to the callback\n"
                "    function if it is called.\n"
                "'name' is an optional identifier for this callback. The default name\n"
-               "    is 'python.<module>.<name>'. If 'name' contains a '.' it\n"
-               "    replaces both module and name, otherwise it replaces only name.\n"
+               "    is 'python.<module>'.\n"
                "    Every callback needs a unique identifier, so if you want to\n"
                "    Every callback needs a unique identifier, so if you want to\n"
-               "    register one function multiple time you need to specify a name\n"
-               "    here.\n"
+               "    register this callback multiple time from the same module you need\n"
+               "    to specify a name here.\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with no parameters except for\n"
                "'identifier' is the full identifier assigned to this callback.\n"
                "\n"
                "The callback function will be called with no parameters except for\n"
@@ -210,46 +234,32 @@ static void cpy_destroy_user_data(void *data) {
 /* You must hold the GIL to call this function!
  * But if you managed to extract the callback parameter then you probably already do. */
 
 /* You must hold the GIL to call this function!
  * But if you managed to extract the callback parameter then you probably already do. */
 
-static void cpy_build_name(char *buf, size_t size, PyObject *callback, const char *name, int short_name) {
-       const char *module;
-       PyObject *mod = NULL, *n = NULL;
+static void cpy_build_name(char *buf, size_t size, PyObject *callback, const char *name) {
+       const char *module = NULL;
+       PyObject *mod = NULL;
        
        
-       if (name != NULL && (strchr(name, '.') != NULL || short_name)) {
+       if (name != NULL) {
                snprintf(buf, size, "python.%s", name);
                return;
        }
        
        mod = PyObject_GetAttrString(callback, "__module__"); /* New reference. */
        if (mod != NULL)
                snprintf(buf, size, "python.%s", name);
                return;
        }
        
        mod = PyObject_GetAttrString(callback, "__module__"); /* New reference. */
        if (mod != NULL)
-               module = PyString_AsString(mod);
-       else
-               module = "collectd";
+               module = cpy_unicode_or_bytes_to_string(&mod);
        
        
-       if (short_name) {
+       if (module != NULL) {
                snprintf(buf, size, "python.%s", module);
                Py_XDECREF(mod);
                snprintf(buf, size, "python.%s", module);
                Py_XDECREF(mod);
+               PyErr_Clear();
                return;
        }
                return;
        }
-       
-       if (name != NULL) {
-               snprintf(buf, size, "python.%s.%s", module, name);
-               Py_XDECREF(mod);
-               return;
-       }
-       
-       n = PyObject_GetAttrString(callback, "__name__"); /* New reference. */
-       if (n != NULL)
-               name = PyString_AsString(n);
-       
-       if (name != NULL)
-               snprintf(buf, size, "python.%s.%s", module, name);
-       else
-               snprintf(buf, size, "python.%s.%p", module, callback);
        Py_XDECREF(mod);
        Py_XDECREF(mod);
-       Py_XDECREF(n);
+       
+       snprintf(buf, size, "python.%p", callback);
+       PyErr_Clear();
 }
 
 }
 
-static void cpy_log_exception(const char *context) {
+void cpy_log_exception(const char *context) {
        int l = 0, i;
        const char *typename = NULL, *message = NULL;
        PyObject *type, *value, *traceback, *tn, *m, *list;
        int l = 0, i;
        const char *typename = NULL, *message = NULL;
        PyObject *type, *value, *traceback, *tn, *m, *list;
@@ -258,16 +268,18 @@ static void cpy_log_exception(const char *context) {
        PyErr_NormalizeException(&type, &value, &traceback);
        if (type == NULL) return;
        tn = PyObject_GetAttrString(type, "__name__"); /* New reference. */
        PyErr_NormalizeException(&type, &value, &traceback);
        if (type == NULL) return;
        tn = PyObject_GetAttrString(type, "__name__"); /* New reference. */
-       m = PyObject_GetAttrString(value, "message"); /* New reference. */
+       m = PyObject_Str(value); /* New reference. */
        if (tn != NULL)
        if (tn != NULL)
-               typename = PyString_AsString(tn);
+               typename = cpy_unicode_or_bytes_to_string(&tn);
        if (m != NULL)
        if (m != NULL)
-               message = PyString_AsString(m);
+               message = cpy_unicode_or_bytes_to_string(&m);
        if (typename == NULL)
                typename = "NamelessException";
        if (message == NULL)
                message = "N/A";
        if (typename == NULL)
                typename = "NamelessException";
        if (message == NULL)
                message = "N/A";
+       Py_BEGIN_ALLOW_THREADS
        ERROR("Unhandled python exception in %s: %s: %s", context, typename, message);
        ERROR("Unhandled python exception in %s: %s: %s", context, typename, message);
+       Py_END_ALLOW_THREADS
        Py_XDECREF(tn);
        Py_XDECREF(m);
        if (!cpy_format_exception) {
        Py_XDECREF(tn);
        Py_XDECREF(m);
        if (!cpy_format_exception) {
@@ -289,11 +301,14 @@ static void cpy_log_exception(const char *context) {
                PyObject *line;
                
                line = PyList_GET_ITEM(list, i); /* Borrowed reference. */
                PyObject *line;
                
                line = PyList_GET_ITEM(list, i); /* Borrowed reference. */
-               s = strdup(PyString_AsString(line));
+               Py_INCREF(line);
+               s = strdup(cpy_unicode_or_bytes_to_string(&line));
                Py_DECREF(line);
                if (s[strlen(s) - 1] == '\n')
                        s[strlen(s) - 1] = 0;
                Py_DECREF(line);
                if (s[strlen(s) - 1] == '\n')
                        s[strlen(s) - 1] = 0;
+               Py_BEGIN_ALLOW_THREADS
                ERROR("%s", s);
                ERROR("%s", s);
+               Py_END_ALLOW_THREADS
                free(s);
        }
        Py_XDECREF(list);
                free(s);
        }
        Py_XDECREF(list);
@@ -312,13 +327,16 @@ static int cpy_read_callback(user_data_t *data) {
                        Py_DECREF(ret);
                }
        CPY_RELEASE_THREADS
                        Py_DECREF(ret);
                }
        CPY_RELEASE_THREADS
+       if (ret == NULL)
+               return 1;
        return 0;
 }
 
 static int cpy_write_callback(const data_set_t *ds, const value_list_t *value_list, user_data_t *data) {
        int i;
        cpy_callback_t *c = data->data;
        return 0;
 }
 
 static int cpy_write_callback(const data_set_t *ds, const value_list_t *value_list, user_data_t *data) {
        int i;
        cpy_callback_t *c = data->data;
-       PyObject *ret, *v, *list;
+       PyObject *ret, *list, *temp, *dict = NULL, *val;
+       Values *v;
 
        CPY_LOCK_THREADS
                list = PyList_New(value_list->values_len); /* New reference. */
 
        CPY_LOCK_THREADS
                list = PyList_New(value_list->values_len); /* New reference. */
@@ -345,20 +363,86 @@ static int cpy_write_callback(const data_set_t *ds, const value_list_t *value_li
                                else
                                        PyList_SetItem(list, i, PyLong_FromUnsignedLongLong(value_list->values[i].absolute));
                        } else {
                                else
                                        PyList_SetItem(list, i, PyLong_FromUnsignedLongLong(value_list->values[i].absolute));
                        } else {
+                               Py_BEGIN_ALLOW_THREADS
                                ERROR("cpy_write_callback: Unknown value type %d.", ds->ds->type);
                                ERROR("cpy_write_callback: Unknown value type %d.", ds->ds->type);
+                               Py_END_ALLOW_THREADS
                                Py_DECREF(list);
                                CPY_RETURN_FROM_THREADS 0;
                        }
                        if (PyErr_Occurred() != NULL) {
                                cpy_log_exception("value building for write callback");
                                Py_DECREF(list);
                                CPY_RETURN_FROM_THREADS 0;
                        }
                        if (PyErr_Occurred() != NULL) {
                                cpy_log_exception("value building for write callback");
+                               Py_DECREF(list);
                                CPY_RETURN_FROM_THREADS 0;
                        }
                }
                                CPY_RETURN_FROM_THREADS 0;
                        }
                }
-               v = PyObject_CallFunction((PyObject *) &ValuesType, "sOssssdi", value_list->type, list,
-                               value_list->plugin_instance, value_list->type_instance, value_list->plugin,
-                               value_list->host, (double) value_list->time, value_list->interval);
-               Py_DECREF(list);
+               dict = PyDict_New();
+               if (value_list->meta) {
+                       int i, num;
+                       char **table;
+                       meta_data_t *meta = value_list->meta;
+
+                       num = meta_data_toc(meta, &table);
+                       for (i = 0; i < num; ++i) {
+                               int type;
+                               char *string;
+                               int64_t si;
+                               uint64_t ui;
+                               double d;
+                               _Bool b;
+                               
+                               type = meta_data_type(meta, table[i]);
+                               if (type == MD_TYPE_STRING) {
+                                       if (meta_data_get_string(meta, table[i], &string))
+                                               continue;
+                                       temp = cpy_string_to_unicode_or_bytes(string);
+                                       free(string);
+                                       PyDict_SetItemString(dict, table[i], temp);
+                                       Py_XDECREF(temp);
+                               } else if (type == MD_TYPE_SIGNED_INT) {
+                                       if (meta_data_get_signed_int(meta, table[i], &si))
+                                               continue;
+                                       temp = PyObject_CallFunctionObjArgs((void *) &SignedType, PyLong_FromLongLong(si), (void *) 0);
+                                       PyDict_SetItemString(dict, table[i], temp);
+                                       Py_XDECREF(temp);
+                               } else if (type == MD_TYPE_UNSIGNED_INT) {
+                                       if (meta_data_get_unsigned_int(meta, table[i], &ui))
+                                               continue;
+                                       temp = PyObject_CallFunctionObjArgs((void *) &UnsignedType, PyLong_FromUnsignedLongLong(ui), (void *) 0);
+                                       PyDict_SetItemString(dict, table[i], temp);
+                                       Py_XDECREF(temp);
+                               } else if (type == MD_TYPE_DOUBLE) {
+                                       if (meta_data_get_double(meta, table[i], &d))
+                                               continue;
+                                       temp = PyFloat_FromDouble(d);
+                                       PyDict_SetItemString(dict, table[i], temp);
+                                       Py_XDECREF(temp);
+                               } else if (type == MD_TYPE_BOOLEAN) {
+                                       if (meta_data_get_boolean(meta, table[i], &b))
+                                               continue;
+                                       if (b)
+                                               PyDict_SetItemString(dict, table[i], Py_True);
+                                       else
+                                               PyDict_SetItemString(dict, table[i], Py_False);
+                               }
+                               free(table[i]);
+                       }
+                       free(table);
+               }
+               val = Values_New(); /* New reference. */
+               v = (Values *) val; 
+               sstrncpy(v->data.host, value_list->host, sizeof(v->data.host));
+               sstrncpy(v->data.type, value_list->type, sizeof(v->data.type));
+               sstrncpy(v->data.type_instance, value_list->type_instance, sizeof(v->data.type_instance));
+               sstrncpy(v->data.plugin, value_list->plugin, sizeof(v->data.plugin));
+               sstrncpy(v->data.plugin_instance, value_list->plugin_instance, sizeof(v->data.plugin_instance));
+               v->data.time = CDTIME_T_TO_DOUBLE(value_list->time);
+               v->interval = CDTIME_T_TO_DOUBLE(value_list->interval);
+               Py_CLEAR(v->values);
+               v->values = list;
+               Py_CLEAR(v->meta);
+               v->meta = dict;
                ret = PyObject_CallFunctionObjArgs(c->callback, v, c->data, (void *) 0); /* New reference. */
                ret = PyObject_CallFunctionObjArgs(c->callback, v, c->data, (void *) 0); /* New reference. */
+               Py_XDECREF(val);
                if (ret == NULL) {
                        cpy_log_exception("write callback");
                } else {
                if (ret == NULL) {
                        cpy_log_exception("write callback");
                } else {
@@ -370,13 +454,22 @@ static int cpy_write_callback(const data_set_t *ds, const value_list_t *value_li
 
 static int cpy_notification_callback(const notification_t *notification, user_data_t *data) {
        cpy_callback_t *c = data->data;
 
 static int cpy_notification_callback(const notification_t *notification, user_data_t *data) {
        cpy_callback_t *c = data->data;
-       PyObject *ret, *n;
+       PyObject *ret, *notify;
+       Notification *n;
 
        CPY_LOCK_THREADS
 
        CPY_LOCK_THREADS
-               n = PyObject_CallFunction((PyObject *) &NotificationType, "ssssssdi", notification->type, notification->message,
-                               notification->plugin_instance, notification->type_instance, notification->plugin,
-                               notification->host, (double) notification->time, notification->severity);
+               notify = Notification_New(); /* New reference. */
+               n = (Notification *) notify;
+               sstrncpy(n->data.host, notification->host, sizeof(n->data.host));
+               sstrncpy(n->data.type, notification->type, sizeof(n->data.type));
+               sstrncpy(n->data.type_instance, notification->type_instance, sizeof(n->data.type_instance));
+               sstrncpy(n->data.plugin, notification->plugin, sizeof(n->data.plugin));
+               sstrncpy(n->data.plugin_instance, notification->plugin_instance, sizeof(n->data.plugin_instance));
+               n->data.time = CDTIME_T_TO_DOUBLE(notification->time);
+               sstrncpy(n->message, notification->message, sizeof(n->message));
+               n->severity = notification->severity;
                ret = PyObject_CallFunctionObjArgs(c->callback, n, c->data, (void *) 0); /* New reference. */
                ret = PyObject_CallFunctionObjArgs(c->callback, n, c->data, (void *) 0); /* New reference. */
+               Py_XDECREF(notify);
                if (ret == NULL) {
                        cpy_log_exception("notification callback");
                } else {
                if (ret == NULL) {
                        cpy_log_exception("notification callback");
                } else {
@@ -388,19 +481,22 @@ static int cpy_notification_callback(const notification_t *notification, user_da
 
 static void cpy_log_callback(int severity, const char *message, user_data_t *data) {
        cpy_callback_t * c = data->data;
 
 static void cpy_log_callback(int severity, const char *message, user_data_t *data) {
        cpy_callback_t * c = data->data;
-       PyObject *ret;
+       PyObject *ret, *text;
 
        CPY_LOCK_THREADS
 
        CPY_LOCK_THREADS
+       text = cpy_string_to_unicode_or_bytes(message);
        if (c->data == NULL)
        if (c->data == NULL)
-               ret = PyObject_CallFunction(c->callback, "is", severity, message); /* New reference. */
+               ret = PyObject_CallFunction(c->callback, "iN", severity, text); /* New reference. */
        else
        else
-               ret = PyObject_CallFunction(c->callback, "isO", severity, message, c->data); /* New reference. */
+               ret = PyObject_CallFunction(c->callback, "iNO", severity, text, c->data); /* New reference. */
 
        if (ret == NULL) {
                /* FIXME */
                /* Do we really want to trigger a log callback because a log callback failed?
                 * Probably not. */
                PyErr_Print();
 
        if (ret == NULL) {
                /* FIXME */
                /* Do we really want to trigger a log callback because a log callback failed?
                 * Probably not. */
                PyErr_Print();
+               /* In case someone wanted to be clever, replaced stderr and failed at that. */
+               PyErr_Clear();
        } else {
                Py_DECREF(ret);
        }
        } else {
                Py_DECREF(ret);
        }
@@ -409,13 +505,14 @@ static void cpy_log_callback(int severity, const char *message, user_data_t *dat
 
 static void cpy_flush_callback(int timeout, const char *id, user_data_t *data) {
        cpy_callback_t * c = data->data;
 
 static void cpy_flush_callback(int timeout, const char *id, user_data_t *data) {
        cpy_callback_t * c = data->data;
-       PyObject *ret;
+       PyObject *ret, *text;
 
        CPY_LOCK_THREADS
 
        CPY_LOCK_THREADS
+       text = cpy_string_to_unicode_or_bytes(id);
        if (c->data == NULL)
        if (c->data == NULL)
-               ret = PyObject_CallFunction(c->callback, "is", timeout, id); /* New reference. */
+               ret = PyObject_CallFunction(c->callback, "iN", timeout, text); /* New reference. */
        else
        else
-               ret = PyObject_CallFunction(c->callback, "isO", timeout, id, c->data); /* New reference. */
+               ret = PyObject_CallFunction(c->callback, "iNO", timeout, text, c->data); /* New reference. */
 
        if (ret == NULL) {
                cpy_log_exception("flush callback");
 
        if (ret == NULL) {
                cpy_log_exception("flush callback");
@@ -425,19 +522,19 @@ static void cpy_flush_callback(int timeout, const char *id, user_data_t *data) {
        CPY_RELEASE_THREADS
 }
 
        CPY_RELEASE_THREADS
 }
 
-static PyObject *cpy_register_generic(cpy_callback_t **list_head, PyObject *args, PyObject *kwds, int short_name) {
+static PyObject *cpy_register_generic(cpy_callback_t **list_head, PyObject *args, PyObject *kwds) {
        char buf[512];
        cpy_callback_t *c;
        const char *name = NULL;
        PyObject *callback = NULL, *data = NULL, *mod = NULL;
        static char *kwlist[] = {"callback", "data", "name", NULL};
        
        char buf[512];
        cpy_callback_t *c;
        const char *name = NULL;
        PyObject *callback = NULL, *data = NULL, *mod = NULL;
        static char *kwlist[] = {"callback", "data", "name", NULL};
        
-       if (PyArg_ParseTupleAndKeywords(args, kwds, "O|Oz", kwlist, &callback, &data, &name) == 0) return NULL;
+       if (PyArg_ParseTupleAndKeywords(args, kwds, "O|Oet", kwlist, &callback, &data, NULL, &name) == 0) return NULL;
        if (PyCallable_Check(callback) == 0) {
                PyErr_SetString(PyExc_TypeError, "callback needs a be a callable object.");
                return NULL;
        }
        if (PyCallable_Check(callback) == 0) {
                PyErr_SetString(PyExc_TypeError, "callback needs a be a callable object.");
                return NULL;
        }
-       cpy_build_name(buf, sizeof(buf), callback, name, short_name);
+       cpy_build_name(buf, sizeof(buf), callback, name);
 
        Py_INCREF(callback);
        Py_XINCREF(data);
 
        Py_INCREF(callback);
        Py_XINCREF(data);
@@ -448,7 +545,7 @@ static PyObject *cpy_register_generic(cpy_callback_t **list_head, PyObject *args
        c->next = *list_head;
        *list_head = c;
        Py_XDECREF(mod);
        c->next = *list_head;
        *list_head = c;
        Py_XDECREF(mod);
-       return PyString_FromString(buf);
+       return cpy_string_to_unicode_or_bytes(buf);
 }
 
 static PyObject *cpy_flush(cpy_callback_t **list_head, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_flush(cpy_callback_t **list_head, PyObject *args, PyObject *kwds) {
@@ -456,7 +553,7 @@ static PyObject *cpy_flush(cpy_callback_t **list_head, PyObject *args, PyObject
        const char *plugin = NULL, *identifier = NULL;
        static char *kwlist[] = {"plugin", "timeout", "identifier", NULL};
        
        const char *plugin = NULL, *identifier = NULL;
        static char *kwlist[] = {"plugin", "timeout", "identifier", NULL};
        
-       if (PyArg_ParseTupleAndKeywords(args, kwds, "|ziz", kwlist, &plugin, &timeout, &identifier) == 0) return NULL;
+       if (PyArg_ParseTupleAndKeywords(args, kwds, "|etiet", kwlist, NULL, &plugin, &timeout, NULL, &identifier) == 0) return NULL;
        Py_BEGIN_ALLOW_THREADS
        plugin_flush(plugin, timeout, identifier);
        Py_END_ALLOW_THREADS
        Py_BEGIN_ALLOW_THREADS
        plugin_flush(plugin, timeout, identifier);
        Py_END_ALLOW_THREADS
@@ -464,16 +561,16 @@ static PyObject *cpy_flush(cpy_callback_t **list_head, PyObject *args, PyObject
 }
 
 static PyObject *cpy_register_config(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_config(PyObject *self, PyObject *args, PyObject *kwds) {
-       return cpy_register_generic(&cpy_config_callbacks, args, kwds, 1);
+       return cpy_register_generic(&cpy_config_callbacks, args, kwds);
 }
 
 static PyObject *cpy_register_init(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_init(PyObject *self, PyObject *args, PyObject *kwds) {
-       return cpy_register_generic(&cpy_init_callbacks, args, kwds, 0);
+       return cpy_register_generic(&cpy_init_callbacks, args, kwds);
 }
 
 typedef int reg_function_t(const char *name, void *callback, void *data);
 
 }
 
 typedef int reg_function_t(const char *name, void *callback, void *data);
 
-static PyObject *cpy_register_generic_userdata(void *reg, void *handler, PyObject *args, PyObject *kwds, int short_name) {
+static PyObject *cpy_register_generic_userdata(void *reg, void *handler, PyObject *args, PyObject *kwds) {
        char buf[512];
        reg_function_t *register_function = (reg_function_t *) reg;
        cpy_callback_t *c = NULL;
        char buf[512];
        reg_function_t *register_function = (reg_function_t *) reg;
        cpy_callback_t *c = NULL;
@@ -482,12 +579,12 @@ static PyObject *cpy_register_generic_userdata(void *reg, void *handler, PyObjec
        PyObject *callback = NULL, *data = NULL;
        static char *kwlist[] = {"callback", "data", "name", NULL};
        
        PyObject *callback = NULL, *data = NULL;
        static char *kwlist[] = {"callback", "data", "name", NULL};
        
-       if (PyArg_ParseTupleAndKeywords(args, kwds, "O|Oz", kwlist, &callback, &data, &name) == 0) return NULL;
+       if (PyArg_ParseTupleAndKeywords(args, kwds, "O|Oet", kwlist, &callback, &data, NULL, &name) == 0) return NULL;
        if (PyCallable_Check(callback) == 0) {
                PyErr_SetString(PyExc_TypeError, "callback needs a be a callable object.");
                return NULL;
        }
        if (PyCallable_Check(callback) == 0) {
                PyErr_SetString(PyExc_TypeError, "callback needs a be a callable object.");
                return NULL;
        }
-       cpy_build_name(buf, sizeof(buf), callback, name, short_name);
+       cpy_build_name(buf, sizeof(buf), callback, name);
        
        Py_INCREF(callback);
        Py_XINCREF(data);
        
        Py_INCREF(callback);
        Py_XINCREF(data);
@@ -500,7 +597,7 @@ static PyObject *cpy_register_generic_userdata(void *reg, void *handler, PyObjec
        user_data->free_func = cpy_destroy_user_data;
        user_data->data = c;
        register_function(buf, handler, user_data);
        user_data->free_func = cpy_destroy_user_data;
        user_data->data = c;
        register_function(buf, handler, user_data);
-       return PyString_FromString(buf);
+       return cpy_string_to_unicode_or_bytes(buf);
 }
 
 static PyObject *cpy_register_read(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_read(PyObject *self, PyObject *args, PyObject *kwds) {
@@ -513,12 +610,12 @@ static PyObject *cpy_register_read(PyObject *self, PyObject *args, PyObject *kwd
        struct timespec ts;
        static char *kwlist[] = {"callback", "interval", "data", "name", NULL};
        
        struct timespec ts;
        static char *kwlist[] = {"callback", "interval", "data", "name", NULL};
        
-       if (PyArg_ParseTupleAndKeywords(args, kwds, "O|dOz", kwlist, &callback, &interval, &data, &name) == 0) return NULL;
+       if (PyArg_ParseTupleAndKeywords(args, kwds, "O|dOet", kwlist, &callback, &interval, &data, NULL, &name) == 0) return NULL;
        if (PyCallable_Check(callback) == 0) {
                PyErr_SetString(PyExc_TypeError, "callback needs a be a callable object.");
                return NULL;
        }
        if (PyCallable_Check(callback) == 0) {
                PyErr_SetString(PyExc_TypeError, "callback needs a be a callable object.");
                return NULL;
        }
-       cpy_build_name(buf, sizeof(buf), callback, name, 0);
+       cpy_build_name(buf, sizeof(buf), callback, name);
        
        Py_INCREF(callback);
        Py_XINCREF(data);
        
        Py_INCREF(callback);
        Py_XINCREF(data);
@@ -532,33 +629,38 @@ static PyObject *cpy_register_read(PyObject *self, PyObject *args, PyObject *kwd
        user_data->data = c;
        ts.tv_sec = interval;
        ts.tv_nsec = (interval - ts.tv_sec) * 1000000000;
        user_data->data = c;
        ts.tv_sec = interval;
        ts.tv_nsec = (interval - ts.tv_sec) * 1000000000;
-       plugin_register_complex_read(buf, cpy_read_callback, &ts, user_data);
-       return PyString_FromString(buf);
+       plugin_register_complex_read(/* group = */ NULL, buf,
+                       cpy_read_callback, &ts, user_data);
+       return cpy_string_to_unicode_or_bytes(buf);
 }
 
 static PyObject *cpy_register_log(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_log(PyObject *self, PyObject *args, PyObject *kwds) {
-       return cpy_register_generic_userdata(plugin_register_log, cpy_log_callback, args, kwds, 0);
+       return cpy_register_generic_userdata((void *) plugin_register_log,
+                       (void *) cpy_log_callback, args, kwds);
 }
 
 static PyObject *cpy_register_write(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_write(PyObject *self, PyObject *args, PyObject *kwds) {
-       return cpy_register_generic_userdata(plugin_register_write, cpy_write_callback, args, kwds, 0);
+       return cpy_register_generic_userdata((void *) plugin_register_write,
+                       (void *) cpy_write_callback, args, kwds);
 }
 
 static PyObject *cpy_register_notification(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_notification(PyObject *self, PyObject *args, PyObject *kwds) {
-       return cpy_register_generic_userdata(plugin_register_notification, cpy_notification_callback, args, kwds, 0);
+       return cpy_register_generic_userdata((void *) plugin_register_notification,
+                       (void *) cpy_notification_callback, args, kwds);
 }
 
 static PyObject *cpy_register_flush(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_flush(PyObject *self, PyObject *args, PyObject *kwds) {
-       return cpy_register_generic_userdata(plugin_register_flush, cpy_flush_callback, args, kwds, 1);
+       return cpy_register_generic_userdata((void *) plugin_register_flush,
+                       (void *) cpy_flush_callback, args, kwds);
 }
 
 static PyObject *cpy_register_shutdown(PyObject *self, PyObject *args, PyObject *kwds) {
 }
 
 static PyObject *cpy_register_shutdown(PyObject *self, PyObject *args, PyObject *kwds) {
-       return cpy_register_generic(&cpy_shutdown_callbacks, args, kwds, 0);
+       return cpy_register_generic(&cpy_shutdown_callbacks, args, kwds);
 }
 
 static PyObject *cpy_error(PyObject *self, PyObject *args) {
        const char *text;
 }
 
 static PyObject *cpy_error(PyObject *self, PyObject *args) {
        const char *text;
-       if (PyArg_ParseTuple(args, "s", &text) == 0) return NULL;
+       if (PyArg_ParseTuple(args, "et", NULL, &text) == 0) return NULL;
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_ERR, "%s", text);
        Py_END_ALLOW_THREADS
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_ERR, "%s", text);
        Py_END_ALLOW_THREADS
@@ -567,7 +669,7 @@ static PyObject *cpy_error(PyObject *self, PyObject *args) {
 
 static PyObject *cpy_warning(PyObject *self, PyObject *args) {
        const char *text;
 
 static PyObject *cpy_warning(PyObject *self, PyObject *args) {
        const char *text;
-       if (PyArg_ParseTuple(args, "s", &text) == 0) return NULL;
+       if (PyArg_ParseTuple(args, "et", NULL, &text) == 0) return NULL;
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_WARNING, "%s", text);
        Py_END_ALLOW_THREADS
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_WARNING, "%s", text);
        Py_END_ALLOW_THREADS
@@ -576,7 +678,7 @@ static PyObject *cpy_warning(PyObject *self, PyObject *args) {
 
 static PyObject *cpy_notice(PyObject *self, PyObject *args) {
        const char *text;
 
 static PyObject *cpy_notice(PyObject *self, PyObject *args) {
        const char *text;
-       if (PyArg_ParseTuple(args, "s", &text) == 0) return NULL;
+       if (PyArg_ParseTuple(args, "et", NULL, &text) == 0) return NULL;
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_NOTICE, "%s", text);
        Py_END_ALLOW_THREADS
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_NOTICE, "%s", text);
        Py_END_ALLOW_THREADS
@@ -585,7 +687,7 @@ static PyObject *cpy_notice(PyObject *self, PyObject *args) {
 
 static PyObject *cpy_info(PyObject *self, PyObject *args) {
        const char *text;
 
 static PyObject *cpy_info(PyObject *self, PyObject *args) {
        const char *text;
-       if (PyArg_ParseTuple(args, "s", &text) == 0) return NULL;
+       if (PyArg_ParseTuple(args, "et", NULL, &text) == 0) return NULL;
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_INFO, "%s", text);
        Py_END_ALLOW_THREADS
        Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_INFO, "%s", text);
        Py_END_ALLOW_THREADS
@@ -595,36 +697,41 @@ static PyObject *cpy_info(PyObject *self, PyObject *args) {
 static PyObject *cpy_debug(PyObject *self, PyObject *args) {
 #ifdef COLLECT_DEBUG
        const char *text;
 static PyObject *cpy_debug(PyObject *self, PyObject *args) {
 #ifdef COLLECT_DEBUG
        const char *text;
-       if (PyArg_ParseTuple(args, "s", &text) == 0) return NULL;
+       if (PyArg_ParseTuple(args, "et", NULL, &text) == 0) return NULL;
+       Py_BEGIN_ALLOW_THREADS
        plugin_log(LOG_DEBUG, "%s", text);
        plugin_log(LOG_DEBUG, "%s", text);
+       Py_END_ALLOW_THREADS
 #endif
        Py_RETURN_NONE;
 }
 
 #endif
        Py_RETURN_NONE;
 }
 
-static PyObject *cpy_unregister_generic(cpy_callback_t **list_head, PyObject *arg, const char *desc, int short_name) {
+static PyObject *cpy_unregister_generic(cpy_callback_t **list_head, PyObject *arg, const char *desc) {
        char buf[512];
        const char *name;
        cpy_callback_t *prev = NULL, *tmp;
 
        char buf[512];
        const char *name;
        cpy_callback_t *prev = NULL, *tmp;
 
-       if (PyString_Check(arg)) {
-               name = PyString_AsString(arg);
-       } else {
+       Py_INCREF(arg);
+       name = cpy_unicode_or_bytes_to_string(&arg);
+       if (name == NULL) {
+               PyErr_Clear();
                if (!PyCallable_Check(arg)) {
                        PyErr_SetString(PyExc_TypeError, "This function needs a string or a callable object as its only parameter.");
                if (!PyCallable_Check(arg)) {
                        PyErr_SetString(PyExc_TypeError, "This function needs a string or a callable object as its only parameter.");
+                       Py_DECREF(arg);
                        return NULL;
                }
                        return NULL;
                }
-               cpy_build_name(buf, sizeof(buf), arg, NULL, short_name);
+               cpy_build_name(buf, sizeof(buf), arg, NULL);
                name = buf;
        }
        for (tmp = *list_head; tmp; prev = tmp, tmp = tmp->next)
                if (strcmp(name, tmp->name) == 0)
                        break;
        
                name = buf;
        }
        for (tmp = *list_head; tmp; prev = tmp, tmp = tmp->next)
                if (strcmp(name, tmp->name) == 0)
                        break;
        
+       Py_DECREF(arg);
        if (tmp == NULL) {
                PyErr_Format(PyExc_RuntimeError, "Unable to unregister %s callback '%s'.", desc, name);
                return NULL;
        }
        if (tmp == NULL) {
                PyErr_Format(PyExc_RuntimeError, "Unable to unregister %s callback '%s'.", desc, name);
                return NULL;
        }
-       /* Yes, this is actually save. To call this function the calles has to
+       /* Yes, this is actually save. To call this function the caller has to
         * hold the GIL. Well, save as long as there is only one GIL anyway ... */
        if (prev == NULL)
                *list_head = tmp->next;
         * hold the GIL. Well, save as long as there is only one GIL anyway ... */
        if (prev == NULL)
                *list_head = tmp->next;
@@ -636,56 +743,61 @@ static PyObject *cpy_unregister_generic(cpy_callback_t **list_head, PyObject *ar
 
 typedef int cpy_unregister_function_t(const char *name);
 
 
 typedef int cpy_unregister_function_t(const char *name);
 
-static PyObject *cpy_unregister_generic_userdata(cpy_unregister_function_t *unreg, PyObject *arg, const char *desc, int short_name) {
+static PyObject *cpy_unregister_generic_userdata(cpy_unregister_function_t *unreg, PyObject *arg, const char *desc) {
        char buf[512];
        const char *name;
 
        char buf[512];
        const char *name;
 
-       if (PyString_Check(arg)) {
-               name = PyString_AsString(arg);
-       } else {
+       Py_INCREF(arg);
+       name = cpy_unicode_or_bytes_to_string(&arg);
+       if (name == NULL) {
+               PyErr_Clear();
                if (!PyCallable_Check(arg)) {
                        PyErr_SetString(PyExc_TypeError, "This function needs a string or a callable object as its only parameter.");
                if (!PyCallable_Check(arg)) {
                        PyErr_SetString(PyExc_TypeError, "This function needs a string or a callable object as its only parameter.");
+                       Py_DECREF(arg);
                        return NULL;
                }
                        return NULL;
                }
-               cpy_build_name(buf, sizeof(buf), arg, NULL, short_name);
+               cpy_build_name(buf, sizeof(buf), arg, NULL);
                name = buf;
        }
                name = buf;
        }
-       if (unreg(name) == 0)
+       if (unreg(name) == 0) {
+               Py_DECREF(arg);
                Py_RETURN_NONE;
                Py_RETURN_NONE;
+       }
        PyErr_Format(PyExc_RuntimeError, "Unable to unregister %s callback '%s'.", desc, name);
        PyErr_Format(PyExc_RuntimeError, "Unable to unregister %s callback '%s'.", desc, name);
+       Py_DECREF(arg);
        return NULL;
 }
 
 static PyObject *cpy_unregister_log(PyObject *self, PyObject *arg) {
        return NULL;
 }
 
 static PyObject *cpy_unregister_log(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic_userdata(plugin_unregister_log, arg, "log", 0);
+       return cpy_unregister_generic_userdata(plugin_unregister_log, arg, "log");
 }
 
 static PyObject *cpy_unregister_init(PyObject *self, PyObject *arg) {
 }
 
 static PyObject *cpy_unregister_init(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic(&cpy_init_callbacks, arg, "init", 0);
+       return cpy_unregister_generic(&cpy_init_callbacks, arg, "init");
 }
 
 static PyObject *cpy_unregister_config(PyObject *self, PyObject *arg) {
 }
 
 static PyObject *cpy_unregister_config(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic(&cpy_config_callbacks, arg, "config", 1);
+       return cpy_unregister_generic(&cpy_config_callbacks, arg, "config");
 }
 
 static PyObject *cpy_unregister_read(PyObject *self, PyObject *arg) {
 }
 
 static PyObject *cpy_unregister_read(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic_userdata(plugin_unregister_read, arg, "read", 0);
+       return cpy_unregister_generic_userdata(plugin_unregister_read, arg, "read");
 }
 
 static PyObject *cpy_unregister_write(PyObject *self, PyObject *arg) {
 }
 
 static PyObject *cpy_unregister_write(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic_userdata(plugin_unregister_write, arg, "write", 0);
+       return cpy_unregister_generic_userdata(plugin_unregister_write, arg, "write");
 }
 
 static PyObject *cpy_unregister_notification(PyObject *self, PyObject *arg) {
 }
 
 static PyObject *cpy_unregister_notification(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic_userdata(plugin_unregister_notification, arg, "notification", 0);
+       return cpy_unregister_generic_userdata(plugin_unregister_notification, arg, "notification");
 }
 
 static PyObject *cpy_unregister_flush(PyObject *self, PyObject *arg) {
 }
 
 static PyObject *cpy_unregister_flush(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic_userdata(plugin_unregister_flush, arg, "flush", 1);
+       return cpy_unregister_generic_userdata(plugin_unregister_flush, arg, "flush");
 }
 
 static PyObject *cpy_unregister_shutdown(PyObject *self, PyObject *arg) {
 }
 
 static PyObject *cpy_unregister_shutdown(PyObject *self, PyObject *arg) {
-       return cpy_unregister_generic(&cpy_shutdown_callbacks, arg, "shutdown", 0);
+       return cpy_unregister_generic(&cpy_shutdown_callbacks, arg, "shutdown");
 }
 
 static PyMethodDef cpy_methods[] = {
 }
 
 static PyMethodDef cpy_methods[] = {
@@ -729,20 +841,59 @@ static int cpy_shutdown(void) {
                else
                        Py_DECREF(ret);
        }
                else
                        Py_DECREF(ret);
        }
+       PyErr_Print();
        Py_Finalize();
        return 0;
 }
 
        Py_Finalize();
        return 0;
 }
 
+static void cpy_int_handler(int sig) {
+       return;
+}
+
 static void *cpy_interactive(void *data) {
 static void *cpy_interactive(void *data) {
-       CPY_LOCK_THREADS
-               if (PyImport_ImportModule("readline") == NULL) {
-                       /* This interactive session will suck. */
-                       cpy_log_exception("interactive session init");
-               }
-               PyRun_InteractiveLoop(stdin, "<stdin>");
-       CPY_RELEASE_THREADS
+       sigset_t sigset;
+       struct sigaction sig_int_action, old;
+       
+       /* Signal handler in a plugin? Bad stuff, but the best way to
+        * handle it I guess. In an interactive session people will
+        * press Ctrl+C at some time, which will generate a SIGINT.
+        * This will cause collectd to shutdown, thus killing the
+        * interactive interpreter, and leaving the terminal in a
+        * mess. Chances are, this isn't what the user wanted to do.
+        * 
+        * So this is the plan:
+        * 1. Block SIGINT in the main thread.
+        * 2. Install our own signal handler that does nothing.
+        * 3. Unblock SIGINT in the interactive thread.
+        *
+        * This will make sure that SIGINT won't kill collectd but
+        * still interrupt syscalls like sleep and pause.
+        * It does not raise a KeyboardInterrupt exception because so
+        * far nobody managed to figure out how to do that. */
+       memset (&sig_int_action, '\0', sizeof (sig_int_action));
+       sig_int_action.sa_handler = cpy_int_handler;
+       sigaction (SIGINT, &sig_int_action, &old);
+       
+       sigemptyset(&sigset);
+       sigaddset(&sigset, SIGINT);
+       pthread_sigmask(SIG_UNBLOCK, &sigset, NULL);
+       PyEval_AcquireThread(state);
+       if (PyImport_ImportModule("readline") == NULL) {
+               /* This interactive session will suck. */
+               cpy_log_exception("interactive session init");
+       }
+       PyRun_InteractiveLoop(stdin, "<stdin>");
+       PyErr_Print();
+       PyEval_ReleaseThread(state);
        NOTICE("python: Interactive interpreter exited, stopping collectd ...");
        NOTICE("python: Interactive interpreter exited, stopping collectd ...");
+       /* Restore the original collectd SIGINT handler and raise SIGINT.
+        * The main thread still has SIGINT blocked and there's nothing we
+        * can do about that so this thread will handle it. But that's not
+        * important, except that it won't interrupt the main loop and so
+        * it might take a few seconds before collectd really shuts down. */
+       sigaction (SIGINT, &old, NULL);
        raise(SIGINT);
        raise(SIGINT);
+       pause();
        return NULL;
 }
 
        return NULL;
 }
 
@@ -750,7 +901,13 @@ static int cpy_init(void) {
        cpy_callback_t *c;
        PyObject *ret;
        static pthread_t thread;
        cpy_callback_t *c;
        PyObject *ret;
        static pthread_t thread;
+       sigset_t sigset;
        
        
+       if (!Py_IsInitialized()) {
+               WARNING("python: Plugin loaded but not configured.");
+               plugin_unregister_shutdown("python");
+               return 0;
+       }
        PyEval_InitThreads();
        /* Now it's finally OK to use python threads. */
        for (c = cpy_init_callbacks; c; c = c->next) {
        PyEval_InitThreads();
        /* Now it's finally OK to use python threads. */
        for (c = cpy_init_callbacks; c; c = c->next) {
@@ -760,6 +917,9 @@ static int cpy_init(void) {
                else
                        Py_DECREF(ret);
        }
                else
                        Py_DECREF(ret);
        }
+       sigemptyset(&sigset);
+       sigaddset(&sigset, SIGINT);
+       pthread_sigmask(SIG_BLOCK, &sigset, NULL);
        state = PyEval_SaveThread();
        if (do_interactive) {
                if (pthread_create(&thread, NULL, cpy_interactive, NULL)) {
        state = PyEval_SaveThread();
        if (do_interactive) {
                if (pthread_create(&thread, NULL, cpy_interactive, NULL)) {
@@ -780,7 +940,7 @@ static PyObject *cpy_oconfig_to_pyconfig(oconfig_item_t *ci, PyObject *parent) {
        values = PyTuple_New(ci->values_num); /* New reference. */
        for (i = 0; i < ci->values_num; ++i) {
                if (ci->values[i].type == OCONFIG_TYPE_STRING) {
        values = PyTuple_New(ci->values_num); /* New reference. */
        for (i = 0; i < ci->values_num; ++i) {
                if (ci->values[i].type == OCONFIG_TYPE_STRING) {
-                       PyTuple_SET_ITEM(values, i, PyString_FromString(ci->values[i].value.string));
+                       PyTuple_SET_ITEM(values, i, cpy_string_to_unicode_or_bytes(ci->values[i].value.string));
                } else if (ci->values[i].type == OCONFIG_TYPE_NUMBER) {
                        PyTuple_SET_ITEM(values, i, PyFloat_FromDouble(ci->values[i].value.number));
                } else if (ci->values[i].type == OCONFIG_TYPE_BOOLEAN) {
                } else if (ci->values[i].type == OCONFIG_TYPE_NUMBER) {
                        PyTuple_SET_ITEM(values, i, PyFloat_FromDouble(ci->values[i].value.number));
                } else if (ci->values[i].type == OCONFIG_TYPE_BOOLEAN) {
@@ -788,7 +948,8 @@ static PyObject *cpy_oconfig_to_pyconfig(oconfig_item_t *ci, PyObject *parent) {
                }
        }
        
                }
        }
        
-       item = PyObject_CallFunction((PyObject *) &ConfigType, "sONO", ci->key, parent, values, Py_None);
+       tmp = cpy_string_to_unicode_or_bytes(ci->key);
+       item = PyObject_CallFunction((void *) &ConfigType, "NONO", tmp, parent, values, Py_None);
        if (item == NULL)
                return NULL;
        children = PyTuple_New(ci->children_num); /* New reference. */
        if (item == NULL)
                return NULL;
        children = PyTuple_New(ci->children_num); /* New reference. */
@@ -801,8 +962,23 @@ static PyObject *cpy_oconfig_to_pyconfig(oconfig_item_t *ci, PyObject *parent) {
        return item;
 }
 
        return item;
 }
 
+#ifdef IS_PY3K
+static struct PyModuleDef collectdmodule = {
+       PyModuleDef_HEAD_INIT,
+       "collectd",   /* name of module */
+       "The python interface to collectd", /* module documentation, may be NULL */
+       -1,
+       cpy_methods
+};
+
+PyMODINIT_FUNC PyInit_collectd(void) {
+       return PyModule_Create(&collectdmodule);
+}
+#endif
+
 static int cpy_config(oconfig_item_t *ci) {
        int i;
 static int cpy_config(oconfig_item_t *ci) {
        int i;
+       char *argv = "";
        PyObject *sys, *tb;
        PyObject *sys_path;
        PyObject *module;
        PyObject *sys, *tb;
        PyObject *sys_path;
        PyObject *module;
@@ -813,6 +989,12 @@ static int cpy_config(oconfig_item_t *ci) {
         * python code during the config callback so we have to start
         * the interpreter here. */
        /* Do *not* use the python "thread" module at this point! */
         * python code during the config callback so we have to start
         * the interpreter here. */
        /* Do *not* use the python "thread" module at this point! */
+
+#ifdef IS_PY3K
+       /* Add a builtin module, before Py_Initialize */
+       PyImport_AppendInittab("collectd", PyInit_collectd);
+#endif
+       
        Py_Initialize();
        
        PyType_Ready(&ConfigType);
        Py_Initialize();
        
        PyType_Ready(&ConfigType);
@@ -821,6 +1003,10 @@ static int cpy_config(oconfig_item_t *ci) {
        PyType_Ready(&ValuesType);
        NotificationType.tp_base = &PluginDataType;
        PyType_Ready(&NotificationType);
        PyType_Ready(&ValuesType);
        NotificationType.tp_base = &PluginDataType;
        PyType_Ready(&NotificationType);
+       SignedType.tp_base = &PyLong_Type;
+       PyType_Ready(&SignedType);
+       UnsignedType.tp_base = &PyLong_Type;
+       PyType_Ready(&UnsignedType);
        sys = PyImport_ImportModule("sys"); /* New reference. */
        if (sys == NULL) {
                cpy_log_exception("python initialization");
        sys = PyImport_ImportModule("sys"); /* New reference. */
        if (sys == NULL) {
                cpy_log_exception("python initialization");
@@ -832,10 +1018,19 @@ static int cpy_config(oconfig_item_t *ci) {
                cpy_log_exception("python initialization");
                return 1;
        }
                cpy_log_exception("python initialization");
                return 1;
        }
+       PySys_SetArgv(1, &argv);
+       PyList_SetSlice(sys_path, 0, 1, NULL);
+
+#ifdef IS_PY3K
+       module = PyImport_ImportModule("collectd");
+#else
        module = Py_InitModule("collectd", cpy_methods); /* Borrowed reference. */
        module = Py_InitModule("collectd", cpy_methods); /* Borrowed reference. */
-       PyModule_AddObject(module, "Config", (PyObject *) &ConfigType); /* Steals a reference. */
-       PyModule_AddObject(module, "Values", (PyObject *) &ValuesType); /* Steals a reference. */
-       PyModule_AddObject(module, "Notification", (PyObject *) &NotificationType); /* Steals a reference. */
+#endif
+       PyModule_AddObject(module, "Config", (void *) &ConfigType); /* Steals a reference. */
+       PyModule_AddObject(module, "Values", (void *) &ValuesType); /* Steals a reference. */
+       PyModule_AddObject(module, "Notification", (void *) &NotificationType); /* Steals a reference. */
+       PyModule_AddObject(module, "Signed", (void *) &SignedType); /* Steals a reference. */
+       PyModule_AddObject(module, "Unsigned", (void *) &UnsignedType); /* Steals a reference. */
        PyModule_AddIntConstant(module, "LOG_DEBUG", LOG_DEBUG);
        PyModule_AddIntConstant(module, "LOG_INFO", LOG_INFO);
        PyModule_AddIntConstant(module, "LOG_NOTICE", LOG_NOTICE);
        PyModule_AddIntConstant(module, "LOG_DEBUG", LOG_DEBUG);
        PyModule_AddIntConstant(module, "LOG_INFO", LOG_INFO);
        PyModule_AddIntConstant(module, "LOG_NOTICE", LOG_NOTICE);
@@ -851,6 +1046,12 @@ static int cpy_config(oconfig_item_t *ci) {
                        if (item->values_num != 1 || item->values[0].type != OCONFIG_TYPE_BOOLEAN)
                                continue;
                        do_interactive = item->values[0].value.boolean;
                        if (item->values_num != 1 || item->values[0].type != OCONFIG_TYPE_BOOLEAN)
                                continue;
                        do_interactive = item->values[0].value.boolean;
+               } else if (strcasecmp(item->key, "Encoding") == 0) {
+                       if (item->values_num != 1 || item->values[0].type != OCONFIG_TYPE_STRING)
+                               continue;
+                       /* Why is this even necessary? And undocumented? */
+                       if (PyUnicode_SetDefaultEncoding(item->values[0].value.string))
+                               cpy_log_exception("setting default encoding");
                } else if (strcasecmp(item->key, "LogTraces") == 0) {
                        if (item->values_num != 1 || item->values[0].type != OCONFIG_TYPE_BOOLEAN)
                                continue;
                } else if (strcasecmp(item->key, "LogTraces") == 0) {
                        if (item->values_num != 1 || item->values[0].type != OCONFIG_TYPE_BOOLEAN)
                                continue;
@@ -876,7 +1077,7 @@ static int cpy_config(oconfig_item_t *ci) {
                        
                        if (cf_util_get_string(item, &dir) != 0) 
                                continue;
                        
                        if (cf_util_get_string(item, &dir) != 0) 
                                continue;
-                       dir_object = PyString_FromString(dir); /* New reference. */
+                       dir_object = cpy_string_to_unicode_or_bytes(dir); /* New reference. */
                        if (dir_object == NULL) {
                                ERROR("python plugin: Unable to convert \"%s\" to "
                                      "a python object.", dir);
                        if (dir_object == NULL) {
                                ERROR("python plugin: Unable to convert \"%s\" to "
                                      "a python object.", dir);
@@ -901,7 +1102,6 @@ static int cpy_config(oconfig_item_t *ci) {
                        if (module == NULL) {
                                ERROR("python plugin: Error importing module \"%s\".", module_name);
                                cpy_log_exception("importing module");
                        if (module == NULL) {
                                ERROR("python plugin: Error importing module \"%s\".", module_name);
                                cpy_log_exception("importing module");
-                               PyErr_Print();
                        }
                        free(module_name);
                        Py_XDECREF(module);
                        }
                        free(module_name);
                        Py_XDECREF(module);
collectd, the system statistics collection daemon