Parser/Ncsa.pm: Assure that at least 20 search terms are printed.
[yaala.git] / README.selections
1  yaala 0.7.3 - README.selections - 2004-11-10
2 ==============================================
3 http://yaala.org/
4
5
6 One of the key features of yaala is, that you cen select the data printed
7 in the reports yourself. This is done using one or more select statements
8 which can be configured either in the config file or in the command line.
9
10 GENERAL SYNTAX
11 --------------
12 First you have to know that there are two types of fields: normal fields
13 (sometimes also called 'key') and aggregations. An aggregation is
14 basically everything you can sum up. In a webserver logfile this would be
15 the amount of bytes transferred and the number of requests. The keyfields
16 is everything else, e.g. the status code, because it doesn't make sense to
17 sum it up.
18
19 The syntax for select-statements is a bit like SQL. A basic select looks
20 as follows:
21   select: "aggregation BY field";
22
23 This displays, for example, the amount of bytes transferred on each day.
24 For more detailed output you can select more than one (key)field. (The
25 combined output module supports up to three fields.) The fields have to be
26 comma-seperated:
27   select: "aggregation BY field0, field1, field2";
28
29 If you are interested in more than one aggregation for the same
30 (combination of) fields, you can select more than one aggregation, too.
31 However, this tends to look confusing in the generated output.
32   select: "aggregation0, aggregation1 BY field0, field1";
33
34 Ok, now you might only be interested in a part of all the requests. For
35 example you might wonder, how many times google has visited each file. You
36 can do this like this:
37   select: "requests BY file WHERE host =~ google";
38
39 Or, more general like this:
40   select: "aggregation BY field[, field ..] WHERE field <CMP> value";
41
42 '<CMP>' is the rule how to match the values. Methods implemented are:
43   '=='  equal
44   '!='  not equal
45   '=~'  regular expression              (non-numeric only)
46   '!~'  negated regular expression      (non-numeric only)
47   '<', '>'      lesser/greater than
48   '<=', '>='    lesser/greater or equal
49
50
51 FIELDS PROVIDED BY PARSERS
52 --------------------------
53 Which fields are available depends on the parser being used. A list of all
54 fields available from each parser follows:
55
56 Fields provided by the 'Bind9' parser:
57 Aggregations:
58 - requests
59 Keyfields:
60 - date
61 - hour
62 - client
63 - query
64 - class
65 - type
66 - severity
67 - category
68
69 Fields provided by the 'Common' parser:
70 Aggregations:
71 - bytes
72 - requests
73 Keyfields:
74 - date
75 - file
76 - host
77 - hour
78 - status
79 - tld
80
81 Fields provided by the 'Ncsa' parser:
82 Aggregations:
83 - bytes
84 - requests
85 Keyfields:
86 - browser
87 - date
88 - file
89 - host
90 - hour
91 - os
92 - referer
93 - status
94 - tld
95 - user
96 - virtualhost
97
98 Fields provided by the 'Squid' parser:
99 Aggregations:
100 - bytes
101 - elapsed
102 - requests
103 Keyfields:
104 - client
105 - date
106 - hierarchycode
107 - hour
108 - httpstatus
109 - method
110 - mime
111 - peer
112 - protocol
113 - resultcode
114 - server
115
116 Fields provided by the 'Xferlog' parser:
117 Aggregations:
118 - bytes
119 - count
120 Keyfields:
121 - host
122 - user
123 - access_mode
124 - date
125 - hour
126 - file
127 - completion_status
128 - direction
129 - transfer_type
130 - transfer_time
131 - special_action
132
133 Fields provided by the 'Postfix' parser:
134 Aggregations:
135 - count
136 - bytes
137 Keyfields:
138 - date
139 - hour
140 - sender
141 - recipient
142 - defer_count
143 - delay
144 - incoming_host
145 - outgoing_host
146
147 Fields provided by the 'Netacct' parser:
148 Please check/edit netacct.config, too!!
149 (EXPERIMENTAL!)
150 Aggregations:
151 - bytes
152 - packetcount
153 - connections
154 Keyfields:
155 - date
156 - destination
157 - destinationport
158 - hour
159 - interface
160 - month
161 - protocol
162 - source
163 - sourceport