README.persistency

   1  yaala 0.7.3 - README.persistency - 2004-11-10
   2 ===============================================
   3 http://yaala.org/
   4
   5
   6 Since version 0.7.0 yaala can dump it's internal data into a file and
   7 read it the next time it runs to re-use already-pased data. This may be
   8 a speedup if you parse very big logfiles and is very useful for the
   9 daily runs. This may mean that you can delete old logfile while still
  10 see their data in the reports.
  11
  12 That is pretty cool, at least in my opinion. But it comes with a price:
  13 You used to be able to parse the logfiles in whatever order you want.
  14 This it not possible anymore since the parsers will think they already
  15 have that data is newer data exists. Maybe there will be a switch to
  16 turn that off in future versions but right now there it no such thing.
  17
  18 Also, since yaala is very flexible it doesn't always make sense to use
  19 the saved data. So if you play around it may happen that the earlier
  20 saved data is not being used but overwritten instead. Here I want to
  21 explain when this happens:
  22
  23 Along with the persistent data two config options are saved in the
  24 persistent-data file: ``logtype'' and (all) ``select''. These config
  25 options are checked against the ones coming from the config-file or
  26 command-line. If they don't match precisely the persistency-file will be
  27 overwritten.
  28
  29 This sound a bit limiting at first. But keep in mind that you can
  30 specify different files to store the persistency-information in. So you
  31 can realize something like that easily as a cron-job:
  32 --sample--
  33     #!/bin/bash
  34
  35     /path/to/yaala --persistency_file "data/squid" --logtype Squid \
  36         --select "bytes BY user" /var/log/squid/access.log
  37     /path/to/yaala --persistency_file "data/apache" --logtype Common \
  38         --select "requests BY date, hour" /var/log/httpd/access_log
  39     ...
  40 --sample--
  41
  42 Of course you can also use different config-files and just use something
  43 like this (save all the config options in extra config-files):
  44 --sample--
  45     #!/bin/bash
  46
  47     /path/to/yaala --config "squid.conf"
  48     /path/to/yaala --config "apache.conf"
  49 --sample--
  50
  51 If all this confuses you, you can turn of persistency in the config
  52 file. Have fun ;)
  53
  54 --
  55 octo (at verplant.org)