privoxy-log-parser.pl: Unbreak the gathering of host statistics with http requests
[privoxy.git] / tools / privoxy-log-parser.pl
1 #!/usr/bin/perl
2
3 ################################################################################
4 # privoxy-log-parser
5 #
6 # A parser for Privoxy log messages. For incomplete documentation run
7 # perldoc privoxy-log-parser(.pl), for fancy screenshots see:
8 #
9 # https://www.fabiankeil.de/sourcecode/privoxy-log-parser/
10 #
11 # TODO:
12 #       - LOG_LEVEL_CGI, LOG_LEVEL_ERROR, LOG_LEVEL_WRITE content highlighting
13 #       - create fancy statistics
14 #       - grep through Privoxy sources to find unsupported log messages
15 #       - hunt down substitutions that match content from variables which
16 #         can contain stuff like ()?'[]
17 #       - replace $h{'foo'} with h('foo') where possible
18 #       - hunt down XXX comments instead of just creating them
19 #       - add example log lines for every regex and mark them up for
20 #         regression testing
21 #       - Handle incomplete input without Perl warning about undefined variables.
22 #       - Use generic highlighting function that takes a regex and the
23 #         hash key as input.
24 #       - Add --compress and --decompress options.
25 #
26 # Copyright (c) 2007-2020 Fabian Keil <fk@fabiankeil.de>
27 #
28 # Permission to use, copy, modify, and distribute this software for any
29 # purpose with or without fee is hereby granted, provided that the above
30 # copyright notice and this permission notice appear in all copies.
31 #
32 # THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
33 # WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
34 # MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
35 # ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
36 # WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
37 # ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
38 # OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
39 ################################################################################
40
41 use strict;
42 use warnings;
43 use Getopt::Long;
44
45 use constant {
46     PRIVOXY_LOG_PARSER_VERSION => '0.9.1',
47     # Feel free to mess with these ...
48     DEFAULT_BACKGROUND => 'black',  # Choose registered colour (like 'black')
49     DEFAULT_TEXT_COLOUR => 'white', # Choose registered colour (like 'black')
50     HEADER_DEFAULT_COLOUR => 'yellow',
51     REGISTER_HEADERS_WITH_THE_SAME_COLOUR => 1,
52
53     CLI_OPTION_DEFAULT_TO_HTML_OUTPUT => 0,
54     CLI_OPTION_TITLE => 'Privoxy-Log-Parser in da house',
55     CLI_OPTION_NO_EMBEDDED_CSS => 0,
56     CLI_OPTION_NO_MSECS => 0,
57     CLI_OPTION_NO_SYNTAX_HIGHLIGHTING => 0,
58     CLI_OPTION_SHORTEN_THREAD_IDS => 0,
59     CLI_OPTION_SHOW_INEFFECTIVE_FILTERS => 0,
60     CLI_OPTION_STATISTICS => 0,
61     CLI_OPTION_STRICT_CHECKS => 0,
62     CLI_OPTION_UNBREAK_LINES_ONLY => 0,
63     CLI_OPTION_URL_STATISTICS_THRESHOLD => 0,
64     CLI_OPTION_HOST_STATISTICS_THRESHOLD => 0,
65     CLI_OPTION_SHOW_COMPLETE_REQUEST_DISTRIBUTION => 0,
66
67     SUPPRESS_SUCCEEDED_FILTER_ADDITIONS => 1,
68     SHOW_SCAN_INTRO => 0,
69     SHOW_FILTER_READIN_IN => 0,
70     SUPPRESS_EMPTY_LINES => 1,
71     SUPPRESS_SUCCESSFUL_CONNECTIONS => 1,
72     SUPPRESS_GIF_NOT_CHANGED => 1,
73     SUPPRESS_NEED_TO_DE_CHUNK_FIRST => 1,
74
75     DEBUG_HEADER_REGISTERING => 0,
76     DEBUG_HEADER_HIGHLIGHTING => 0,
77     DEBUG_TICKS => 0,
78     DEBUG_PAINT_IT => 0,
79     DEBUG_SUPPRESS_LOG_MESSAGES => 0,
80
81     PUNISH_MISSING_LOG_KNOWLEDGE_WITH_DEATH => 0,
82     PUNISH_MISSING_HIGHLIGHT_KNOWLEDGE_WITH_DEATH => 1,
83
84     LOG_UNPARSED_LINES_TO_EXTRA_FILE => 0,
85     ERROR_LOG_FILE => '/var/log/privoxy-log-parser',
86
87     # You better leave these alone unless you know what you're doing.
88     COLOUR_RESET      => "\033[0;0m",
89     ESCAPE => "\033[",
90 };
91
92 # For performance reasons, these are global.
93
94 my $t;
95 my %req; # request data from previous lines
96 my %h;
97 my %thread_colours;
98 my @all_colours;
99 my @time_colours;
100 my $thread_colour_index = 0;
101 my $header_colour_index = 0;
102 my $time_colour_index = 0;
103 my %header_colours;
104 my $no_special_header_highlighting;
105 my %reason_colours;
106 my %h_colours;
107 my $header_highlight_regex = '';
108
109 my $html_output_mode;
110 my $no_msecs_mode; # XXX: should probably be removed
111 my $shorten_thread_ids;
112 my $line_end;
113
114 sub prepare_our_stuff() {
115
116     # Syntax Higlight hash
117     @all_colours = (
118         'red', 'green', 'brown', 'blue', 'purple', 'cyan',
119         'light_gray', 'light_red', 'light_green', 'yellow',
120         'light_blue', 'pink', 'light_cyan', 'white'
121     );
122
123     %h = (
124         # LOG_LEVEL
125         Info            => 'blue',
126         Header          => 'green',
127         Filter          => 'purple', # XXX: Used?
128         'Re-Filter'     => 'purple',
129         Connect         => 'brown',
130         Request         => 'light_cyan',
131         CGI             => 'light_green',
132         Redirect        => 'cyan',
133         Error           => 'light_red',
134         Crunch          => 'cyan',
135         'Fatal error'   => 'light_red',
136         'Gif-Deanimate' => 'blue',
137         Force           => 'red',
138         Writing         => 'light_green',
139         Received        => 'yellow',
140         Actions         => 'yellow',
141         # ----------------------
142         URL                  => 'yellow',
143         path                 => 'brown',
144         request_             => 'brown', # host+path but no protocol
145         'ip-address'         => 'yellow',
146         Number               => 'yellow',
147         Standard             => 'reset',
148         Truncation           => 'light_red',
149         Status               => 'brown',
150         Timestamp            => 'brown',
151         Crunching            => 'light_red',
152         crunched             => 'light_red',
153         'Request-Line'       => 'pink',
154         method               => 'purple',
155         destination          => 'yellow',
156         'http-version'       => 'pink',
157         'crunch-pattern'     => 'pink',
158         not                  => 'brown',
159         file                 => 'brown',
160         signal               => 'yellow',
161         version              => 'green',
162         'program-name'       => 'cyan',
163         port                 => 'red',
164         host                 => 'red',
165         warning              => 'light_red',
166         debug                => 'light_red',
167         filter               => 'green',
168         tag                  => 'green',
169         tagger               => 'green',
170         'status-message'     => 'light_cyan',
171         'status-code'        => 'yellow',
172         'invalid-request'    => 'light_red',
173         'hits'               => 'yellow',
174         error                => 'light_red',
175         'rewritten-URL'      => 'light_red',
176         'pcrs-delimiter'     => 'light_red',
177         'ignored'            => 'light_red',
178         'action-bits-update' => 'light_red',
179         'configuration-line' => 'red',
180         'content-type'       => 'yellow',
181         'HOST'               => HEADER_DEFAULT_COLOUR,
182     );
183
184     %h_colours = %h;
185
186     # Header colours need their own hash so the keys can be accessed properly
187     %header_colours = (
188         # Prefilled with headers that should not appear with default header colours
189         Cookie => 'light_red',
190         'Set-Cookie' => 'light_red',
191         Warning => 'light_red',
192         Default => HEADER_DEFAULT_COLOUR,
193     );
194
195     # Crunch reasons need their own hash as well
196     %reason_colours = (
197         'Unsupported HTTP feature'               => 'light_red',
198         Blocked                                  => 'light_red',
199         Untrusted                                => 'light_red',
200         Redirected                               => 'green',
201         'CGI Call'                               => 'white',
202         'DNS failure'                            => 'red',
203         'Forwarding failed'                      => 'light_red',
204         'Connection failure'                     => 'light_red',
205         'Out of memory (may mask other reasons)' => 'light_red',
206         'No reason recorded'                     => 'light_red',
207     );
208
209     @time_colours = ('white', 'light_gray');
210
211     # Translate highlight strings into highlight code
212     prepare_highlight_hash(\%header_colours);
213     prepare_highlight_hash(\%reason_colours);
214     prepare_highlight_hash(\%h);
215     prepare_colour_array(\@all_colours);
216     prepare_colour_array(\@time_colours);
217     init_css_colours();
218
219     init_stats();
220 }
221
222 sub paint_it($) {
223 ###############################################################
224 # Takes a colour string and returns an ANSI escape sequence
225 # (unless --no-syntax-highlighting is used).
226 # XXX: The Rolling Stones reference has to go.
227 ###############################################################
228
229     my $colour = shift;
230
231     return "" if cli_option_is_set('no-syntax-highlighting');
232
233     my %light = (
234         black       => 0,
235         red         => 0,
236         green       => 0,
237         brown       => 0,
238         blue        => 0,
239         purple      => 0,
240         cyan        => 0,
241         light_gray  => 0,
242         gray        => 0,
243         dark_gray   => 1,
244         light_red   => 1,
245         light_green => 1,
246         yellow      => 1,
247         light_blue  => 1,
248         pink        => 1,
249         light_cyan  => 1,
250         white       => 1,
251     );
252
253     my %text = (
254         black       => 30,
255         red         => 31,
256         green       => 32,
257         brown       => 33,
258         blue        => 34,
259         purple      => 35,
260         cyan        => 36,
261         gray        => 37,
262         light_gray  => 37,
263         dark_gray   => 30,
264         light_red   => 31,
265         light_green => 32,
266         yellow      => 33,
267         light_blue  => 34,
268         pink        => 35,
269         light_cyan  => 36,
270         white       => 37,
271     );
272
273     my $bg_code = get_background();
274     my $colour_code;
275     our $default = default_colours();
276
277     if (defined($text{$colour})) {
278         $colour_code  = ESCAPE;
279         $colour_code .= $text{$colour};
280         $colour_code .= ";";
281         $colour_code .= $light{$colour} ? "1" : "2";
282         $colour_code .= ";";
283         $colour_code .= $bg_code;
284         $colour_code .= "m";
285         debug_message $colour . " is \'" . $colour_code . $colour . $default . "\'" if DEBUG_PAINT_IT;
286
287     } elsif ($colour =~ /reset/) {
288
289         $colour_code = default_colours();
290
291     } else {
292
293         die "What's $colour supposed to mean?\n";
294     }
295
296     return $colour_code;
297 }
298
299 sub get_semantic_html_markup($) {
300 ###############################################################
301 # Takes a string and returns a span element
302 ###############################################################
303
304     my $type = shift;
305     my $code;
306
307     if ($type =~ /Standard/) {
308         $code = '</span>';
309     } else {
310         $type = lc($type);
311         $code = '<span title="' . $type . '" class="' . $type . '">';
312     }
313
314     return $code;
315 }
316
317 sub cli_option_is_set($) {
318
319     our %cli_options;
320     my $cli_option = shift;
321
322     die "Unknown CLI option: $cli_option" unless defined $cli_options{$cli_option};
323
324     return $cli_options{$cli_option};
325 }
326
327 sub get_html_title() {
328
329     our %cli_options;
330     return $cli_options{'title'};
331
332 }
333
334 sub init_css_colours() {
335
336     our %css_colours = (
337         black       => "000",
338         red         => "F00",
339         green       => "0F0",
340         brown       => "C90",
341         blue        => "0F0",
342         purple      => "F06", # XXX: wrong
343         cyan        => "F09", # XXX: wrong
344         light_gray  => "999",
345         gray        => "333",
346         dark_gray   => "222",
347         light_red   => "F33",
348         light_green => "33F",
349         yellow      => "FF0",
350         light_blue  => "30F",
351         pink        => "F0F",
352         light_cyan  => "66F",
353         white       => "FFF",
354     );
355 }
356
357 sub get_css_colour($) {
358
359    our %css_colours;
360    my $colour = shift;
361
362    die "What's $colour supposed to mean?\n" unless defined($css_colours{$colour});
363
364    return '#' . $css_colours{$colour};
365 }
366
367 sub get_css_line($) {
368
369     my $class = shift;
370     my $css_line;
371
372     $css_line .= '.' . lc($class) . ' {'; # XXX: lc() shouldn't be necessary
373     die "What's $class supposed to mean?\n" unless defined($h_colours{$class});
374     $css_line .= 'color:' . get_css_colour($h_colours{$class}) . ';';
375     $css_line .= 'background-color:' . get_css_colour(DEFAULT_BACKGROUND) . ';';
376     $css_line .= '}' . "\n";
377
378     return $css_line;
379 }
380
381 sub get_css_line_for_colour($) {
382
383     my $colour = shift;
384     my $css_line;
385
386     $css_line .= '.' . lc($colour) . ' {'; # XXX: lc() shouldn't be necessary
387     $css_line .= 'color:' . get_css_colour($colour) . ';';
388     $css_line .= 'background-color:' . get_css_colour(DEFAULT_BACKGROUND) . ';';
389     $css_line .= '}' . "\n";
390
391     return $css_line;
392 }
393
394 # XXX: Wrong solution
395 sub get_missing_css_lines() {
396
397     my $css_line;
398
399     $css_line .= '.' . 'default' . ' {';
400     $css_line .= 'color:' . HEADER_DEFAULT_COLOUR . ';';
401     $css_line .= 'background-color:' . get_css_colour(DEFAULT_BACKGROUND) . ';';
402     $css_line .= '}' . "\n";
403
404     return $css_line;
405 }
406
407 sub get_css() {
408
409     our %css_colours; #XXX: Wrong solution
410
411     my $css = '';
412
413     $css .= '.privoxy-log {';
414     $css .= 'color:' . get_css_colour(DEFAULT_TEXT_COLOUR) . ';';
415     $css .= 'background-color:' . get_css_colour(DEFAULT_BACKGROUND) . ';';
416     $css .= '}' . "\n";
417
418     foreach my $key (keys %h_colours) {
419
420         next if ($h_colours{$key} =~ m/reset/); #XXX: Wrong solution.
421         $css .= get_css_line($key);
422
423     }
424
425     foreach my $colour (keys %css_colours) {
426
427         $css .= get_css_line_for_colour($colour);
428
429     }
430
431     $css .= get_missing_css_lines(); #XXX: Wrong solution
432
433     return $css;
434 }
435
436 sub print_intro() {
437
438     my $intro = '';
439
440     if (cli_option_is_set('html-output')) {
441
442         my $title = get_html_title();
443
444         $intro .= '<html><head>';
445         $intro .= '<title>' . $title . '</title>';
446         $intro .= '<style>' . get_css() . '</style>' unless cli_option_is_set('no-embedded-css');
447         $intro .= '</head><body>';
448         $intro .= '<h1>' . $title . '</h1><p class="privoxy-log">';
449
450         print $intro;
451     }
452 }
453
454 sub print_outro() {
455
456     my $outro = '';
457
458     if (cli_option_is_set('html-output')) {
459
460         $outro = '</p></body></html>';
461         print $outro;
462
463     }
464 }
465
466 sub get_line_end() {
467     return cli_option_is_set('html-output') ? "<br>\n" : "\n";
468 }
469
470 sub get_colour_html_markup($) {
471 ###############################################################
472 # Takes a colour string a span element. XXX: WHAT?
473 # XXX: This function shouldn't be necessary, the
474 # markup should always be semantically correct.
475 ###############################################################
476
477     my $type = shift;
478     my $code;
479
480     if ($type =~ /Standard/) {
481         $code = '</span>';
482     } else {
483         $code = '<span class="' . lc($type) . '">';
484     }
485
486     return $code;
487 }
488
489 sub default_colours() {
490     # XXX: Properly
491     our $bg_code;
492     return reset_colours();
493 }
494
495 sub show_colours() {
496     # XXX: Implement
497 }
498
499 sub reset_colours() {
500     return ESCAPE . "0m";
501 }
502
503 sub set_background($) {
504
505     my $colour = shift;
506     our $bg_code;
507     my %backgrounds = (
508               black       => "40",
509               red         => "41",
510               green       => "42",
511               brown       => "43",
512               blue        => "44",
513               magenta     => "45",
514               cyan        => "46",
515               white       => "47",
516               default     => "49",
517     );
518
519     if (defined($backgrounds{$colour})) {
520         $bg_code = $backgrounds{$colour};
521     } else {
522         die "Invalid background colour: " . $colour;
523     }
524 }
525
526 sub get_background() {
527     return our $bg_code;
528 }
529
530 sub prepare_highlight_hash($) {
531     my $ref = shift;
532
533     foreach my $key (keys %$ref) {
534         $$ref{$key} = $html_output_mode ?
535             get_semantic_html_markup($key) :
536             paint_it($$ref{$key});
537     }
538 }
539
540 sub prepare_colour_array($) {
541     my $ref = shift;
542
543     foreach my $i (0 ... @$ref - 1) {
544         $$ref[$i] = $html_output_mode ?
545             get_colour_html_markup($$ref[$i]) :
546             paint_it($$ref[$i]);
547     }
548 }
549
550 sub found_unknown_content($) {
551
552     my $unknown = shift;
553     my $message;
554
555     return unless cli_option_is_set('strict-checks');
556
557     return if ($unknown =~ /\[too long, truncated\]$/);
558
559     $message = "found_unknown_content: Don't know how to highlight: ";
560     # Break line so the log file can later be parsed as Privoxy log file again
561     $message .= '"' . $unknown . '"' . " in:\n";
562     $message .= $req{$t}{'log-message'};
563     debug_message($message);
564     log_parse_error($req{$t}{'log-message'});
565
566     die "Unworthy content parser" if PUNISH_MISSING_LOG_KNOWLEDGE_WITH_DEATH;
567 }
568
569 sub log_parse_error($) {
570
571     my $message = shift;
572
573     if (LOG_UNPARSED_LINES_TO_EXTRA_FILE) {
574         open(my $errorlog_fd, ">>", ERROR_LOG_FILE) || die "Writing " . ERROR_LOG_FILE . " failed";
575         print $errorlog_fd $message;
576         close($errorlog_fd);
577     }
578 }
579
580 sub debug_message(@) {
581     my @message = @_;
582
583     print $h{'debug'} . "@message" . $h{'Standard'} . "\n";
584 }
585
586 ################################################################################
587 # highlighter functions that aren't loglevel-specific
588 ################################################################################
589
590 sub h($) {
591
592     # Get highlight marker
593     my $highlight = shift; # XXX: Stupid name;
594     my $result = '';
595     my $message;
596
597     if (defined($highlight)) {
598
599         $result = $h{$highlight};
600
601     } else {
602
603         $message = "h: Don't recognize highlighter $highlight.";
604         debug_message($message);
605         log_parser_error($message);
606         die "Unworthy highlighter function" if PUNISH_MISSING_HIGHLIGHT_KNOWLEDGE_WITH_DEATH;
607     }
608
609     return $result;
610 }
611
612 sub highlight_known_headers($) {
613
614     my $content = shift;
615
616     debug_message("Searching $content for things to highlight.") if DEBUG_HEADER_HIGHLIGHTING;
617
618     if ($content =~ m/(?<=\s)($header_highlight_regex):/) {
619         my $header = $1;
620         $content =~ s@(?<=[\s|'])($header)(?=:)@$header_colours{$header}$1$h{'Standard'}@ig;
621         debug_message("Highlighted '$header' in '$content'") if DEBUG_HEADER_HIGHLIGHTING;
622     }
623
624     return $content;
625 }
626
627 sub highlight_matched_request_line($$) {
628
629     my $result = shift; # XXX: Stupid name;
630     my $regex = shift;
631     if ($result =~ m@(.*)($regex)(.*)@) {
632         $result = $1 . highlight_request_line($2) . $3
633     }
634     return $result;
635 }
636
637 sub highlight_request_line($) {
638
639     my $rl = shift;
640     my ($method, $url, $http_version);
641
642     #GET http://images.sourceforge.net/sfx/icon_warning.gif HTTP/1.1
643     if ($rl =~ m/Invalid request/) {
644
645         $rl = h('invalid-request') . $rl . h('Standard');
646
647     } elsif ($rl =~ m/^([-\w]+) (.*) (HTTP\/\d+\.\d+)/) {
648
649         # XXX: might not match in case of HTTP method fuzzing.
650         # XXX: save these: ($method, $path, $http_version) = ($1, $2, $3);
651         $rl =~ s@^(\w+)@$h{'method'}$1$h{'Standard'}@;
652         if ($rl =~ /http:\/\//) {
653             $rl = highlight_matched_url($rl, '[^\s]*(?=\sHTTP)');
654         } else {
655             $rl = highlight_matched_pattern($rl, 'request_', '[^\s]*(?=\sHTTP)');
656         }
657
658         $rl =~ s@(HTTP\/\d\.\d)$@$h{'http-version'}$1$h{'Standard'}@;
659
660     } elsif ($rl =~ m/\.\.\. \[too long, truncated\]$/) {
661
662         $rl =~ s@^(\w+)@$h{'method'}$1$h{'Standard'}@;
663         $rl = highlight_matched_url($rl, '[^\s]*(?=\.\.\.)');
664
665     } elsif ($rl =~ m/^ $/) {
666
667         $rl = h('error') . "No request line specified!" . h('Standard');
668
669     } else {
670
671         debug_message ("Can't parse request line: $rl");
672
673     }
674
675     return $rl;
676 }
677
678 sub highlight_response_line($) {
679
680     my $rl = shift;
681     my ($http_version, $status_code, $status_message);
682
683     #HTTP/1.1 200 OK
684     #ICY 200 OK
685
686     # TODO: Mark different status codes differently
687
688     if ($rl =~ m/((?:HTTP\/\d\.\d|ICY)) (\d+) (.*)/) {
689         ($http_version, $status_code, $status_message) = ($1, $2, $3);
690     } else {
691         debug_message ("Can't parse response line: $rl") and die 'Fix this';
692     }
693
694     # Rebuild highlighted
695     $rl= "";
696     $rl .= h('http-version') . $http_version . h('Standard');
697     $rl .= " ";
698     $rl .= h('status-code') . $status_code . h('Standard');
699     $rl .= " ";
700     $rl .= h('status-message') . $status_message . h('Standard');
701
702     return $rl;
703 }
704
705 sub highlight_matched_url($$) {
706
707     my $result = shift; # XXX: Stupid name;
708     my $regex = shift;
709
710     #print "Got $result, regex ($regex)\n";
711
712     if ($result =~ m@(.*?)($regex)(.*)@) {
713         $result = $1 . highlight_url($2) . $3;
714         #print "Now the result is $result\n";
715     }
716
717     return $result;
718 }
719
720 sub highlight_matched_host($$) {
721
722     my ($result, $regex) = @_; # XXX: result ist stupid name;
723
724     if ($result =~ m@(.*?)($regex)(.*)@) {
725         $result = $1 . $h{host} . $2 . $h{Standard} . $3;
726     }
727
728     return $result;
729 }
730
731 sub highlight_matched_pattern($$$) {
732
733     my $result = shift; # XXX: Stupid name;
734     my $key = shift;
735     my $regex = shift;
736
737     die "Unknown key $key" unless defined $h{$key};
738
739     if ($result =~ m@(.*?)($regex)(.*)@) {
740         $result = $1 . h($key) . $2 . h('Standard') . $3;
741     }
742
743     return $result;
744 }
745
746 sub highlight_matched_path($$) {
747
748     my $result = shift; # XXX: Stupid name;
749     my $regex = shift;
750
751     if ($result =~ m@(.*?)($regex)(.*)@) {
752         $result = $1 . h('path') . $2 . h('Standard') . $3;
753     }
754
755     return $result;
756 }
757
758 sub highlight_url($) {
759
760     my $url = shift;
761
762     if ($html_output_mode) {
763
764         $url = '<a href="' . $url . '">' . $url . '</a>';
765
766     } else {
767
768         $url = h('URL') . $url . h('Standard');
769
770     }
771
772     return $url;
773 }
774
775 sub update_header_highlight_regex($) {
776
777     my $header = shift;
778     my $headers = join ('|', keys %header_colours);
779
780     $header_highlight_regex = qr/$headers/;
781     print "Registering '$header'\n" if DEBUG_HEADER_HIGHLIGHTING;
782 }
783
784 ################################################################################
785 # loglevel-specific highlighter functions
786 ################################################################################
787
788 sub handle_loglevel_header($) {
789
790     my $c = shift;
791
792     if ($c =~ /^scan:/) {
793
794         if ($c =~ m/^scan: ([^: ]+):/) {
795
796             # Register new headers
797             # scan: Accept: image/png,image/*;q=0.8,*/*;q=0.5
798             my $header = $1;
799             if (!defined($header_colours{$header}) and $header =~ /^[\d\w-]*$/) {
800                 debug_message "Registering previously unknown header $1" if DEBUG_HEADER_REGISTERING;
801
802                 if (REGISTER_HEADERS_WITH_THE_SAME_COLOUR) {
803                     $header_colours{$header} =  $header_colours{'Default'};
804                 } else {
805                     $header_colours{$header} = $all_colours[$header_colour_index % @all_colours];
806                     $header_colour_index++;
807                 }
808                 update_header_highlight_regex($header);
809             }
810
811         } elsif ($c =~ m/^(scan: )(\w+ .+ HTTP\/\d\.\d)/) {
812
813             # scan: GET http://p.p/ HTTP/1.1
814             $c = $1 . highlight_request_line($2);
815
816         } elsif ($c =~ m/^(scan: )((?:HTTP\/\d\.\d|ICY) (\d+) (.*))/) {
817
818             # scan: HTTP/1.1 200 OK
819             $req{$t}{'response_line'} = $2;
820             $req{$t}{'status_code'} = $3;
821             $req{$t}{'status_message'} = $4;
822             $c = $1 . highlight_response_line($req{$t}{'response_line'});
823         }
824
825     } elsif ($c =~ m/^Crunching (?:server|client) header: .* \(contains: ([^\)]*)\)/) {
826
827         # Crunching server header: Set-Cookie: trac_form_token=d5308c34e16d15e9e301a456; (contains: Cookie:)
828         $c =~ s@(?<=contains: )($1)@$h{'crunch-pattern'}$1$h{'Standard'}@;
829         $c =~ s@(Crunching)@$h{$1}$1$h{'Standard'}@;
830
831     } elsif ($c =~ m/^New host is: ([^\s]*)\./) {
832
833         # New host is: trac.vidalia-project.net. Crunching Referer: http://www.vidalia-project.net/!
834         $c = highlight_matched_host($c, '(?<=New host is: )[^\s]+(?=\.)');
835         $c = highlight_matched_url($c, '(?<=Crunching Referer: )[^\s!]+');
836
837     } elsif ($c =~ m/^Text mode enabled by force. (Take cover)!/) {
838
839         # Text mode enabled by force. Take cover!
840         $c =~ s@($1)@$h{'warning'}$1$h{'Standard'}@;
841
842     } elsif ($c =~ m/^(New HTTP Request-Line: )(.*)/) {
843
844         # New HTTP Request-Line: GET http://www.privoxy.org/ HTTP/1.1
845         $c = $1 . highlight_request_line($2);
846
847     } elsif ($c =~ m/^Adjust(ed)? Content-Length to \d+/) {
848
849         # Adjusted Content-Length to 2132
850         # Adjust Content-Length to 33533
851         $c =~ s@(?<=Content-Length to )(\d+)@$h{'Number'}$1$h{'Standard'}@;
852         $c = highlight_known_headers($c);
853
854     } elsif ($c =~ m/^Destination extracted from "Host:" header. New request URL:/) {
855
856         # Destination extracted from "Host:" header. New request URL: http://www.cccmz.de/~ridcully/blog/
857         $c = highlight_matched_url($c, '(?<=New request URL: ).*');
858
859     } elsif ($c =~ m/^Couldn\'t parse:/) {
860
861         # XXX: These should probable be logged with LOG_LEVEL_ERROR
862         # Couldn't parse: If-Modified-Since: Wed, 21 Mar 2007 16:34:50 GMT (crunching!)
863         # Couldn't parse: at, 24 Mar 2007 13:46:21 GMT in If-Modified-Since: Sat, 24 Mar 2007 13:46:21 GMT (crunching!)
864         $c =~ s@^(Couldn\'t parse)@$h{'error'}$1$h{'Standard'}@;
865
866     } elsif ($c =~ /^Tagger \'([^\']*)\' added tag \'([^\']*)\'/ or
867              $c =~ m/^Adding tag \'([^\']*)\' created by header tagger \'([^\']*)\'/) {
868
869         # Adding tag 'GET request' created by header tagger 'method-man' (XXX: no longer used)
870         # Tagger 'revalidation' added tag 'REVALIDATION-REQUEST'. No action bit update necessary.
871         # Tagger 'revalidation' added tag 'REVALIDATION-REQUEST'. Action bits updated accordingly.
872
873         # XXX: Save tag and tagger
874
875         $c =~ s@(?<=^Tagger \')([^\']*)@$h{'tagger'}$1$h{'Standard'}@;
876         $c =~ s@(?<=added tag \')([^\']*)@$h{'tag'}$1$h{'Standard'}@;
877         $c =~ s@(?<=Action bits )(updated)@$h{'action-bits-update'}$1$h{'Standard'}@;
878         $no_special_header_highlighting = 1;
879
880     } elsif ($c =~ /^Tagger \'([^\']*)\' didn['']t add tag \'([^\']*)\'/) {
881
882         # Tagger 'revalidation' didn't add tag 'REVALIDATION-REQUEST'. Tag already present
883         # XXX: Save tag and tagger
884
885         $c =~ s@(?<=^Tagger \')([^\']*)@$h{'tag'}$1$h{'Standard'}@;
886         $c =~ s@(?<=didn['']t add tag \')([^\']*)@$h{'tagger'}$1$h{'Standard'}@;
887
888     } elsif ($c =~ m/^(?:scan:|Randomiz|addh:|Adding:|Removing:|Referer:|Modified:|Accept-Language header|[Cc]ookie)/
889           or $c =~ m/^(Text mode is already enabled|Denied request with NULL byte|Replaced:|add-unique:)/
890           or $c =~ m/^(Crunched (incoming|outgoing) cookie|Suppressed offer|Accepted the client)/
891           or $c =~ m/^(addh-unique|Referer forged to)/
892           or $c =~ m/^Downgraded answer to HTTP\/1.0/
893           or $c =~ m/^Parameter: \+hide-referrer\{[^\}]*\} is a bad idea, but I don\'t care./
894           or $c =~ m/^Referer (?:overwritten|replaced) with: Referer: / #XXX: should this be highlighted?
895           or $c =~ m/^Referer crunched!/
896           or $c =~ m/^crunched x-forwarded-for!/
897           or $c =~ m/^crunched From!/
898           or $c =~ m/^ modified$/
899           or $c =~ m/^Content filtering is enabled. Crunching:/
900           or $c =~ m/^force-text-mode overruled the client/
901           or $c =~ m/^Server time in the future\./
902           or $c =~ m/^content-disposition header crunched and replaced with:/i
903           or $c =~ m/^Reducing white space in /
904           or $c =~ m/^Ignoring single quote in /
905           or $c =~ m/^Converting tab to space in /
906           or $c =~ m/A HTTP\/1\.1 response without/
907           or $c =~ m/Disabled filter mode on behalf of the client/
908           or $c =~ m/Keeping the (?:server|client) header /
909           or $c =~ m/Content modified with no Content-Length header set/
910           or $c =~ m/^Appended client IP address to/
911           or $c =~ m/^Removing 'Connection: close' to imply keep-alive./
912           or $c =~ m/^keep-alive support is disabled/
913           or $c =~ m/^Continue hack in da house/
914           or $c =~ m/^Merged multiple header lines to:/
915           or $c =~ m/^Added header: /
916           or $c =~ m/^Enlisting (?:sorted|left-over) header/
917           or $c =~ m/^Multiple Content-Type headers detected. Removing and ignoring: Content-Type:/
918             )
919     {
920         # XXX: Some of these may need highlighting
921
922         # Modified: User-Agent: Mozilla/5.0 (X11; U; SunOS i86pc; pl-PL; rv:1.8.1.1) Gecko/20070214 Firefox/2.0.0.1
923         # Accept-Language header crunched and replaced with: Accept-Language: pl-pl
924         # cookie 'Set-Cookie: eZSessionCookie=07bfec287c197440d299f81580593c3d; \
925         #  expires=Thursday, 12-Apr-07 15:16:18 GMT; path=/' send by \
926         #  http://wirres.net/article/articleview/4265/1/6/ appears to be using time format 1 (XXX: gone with the wind)
927         # Cookie rewritten to a temporary one: Set-Cookie: NSC_gffe-iuuq-mc-wtfswfs=8efb33a53660;path=/
928         # Text mode is already enabled
929         # Denied request with NULL byte(s) turned into line break(s)
930         # Replaced: 'Connection: Yo, home to Bel Air' with 'Connection: close'
931         # addh-unique: Host: people.freebsd.org
932         # Suppressed offer to compress content
933         # Crunched incoming cookie -- yum!
934         # Accepted the client's request to fetch without filtering.
935         # Crunched outgoing cookie: Cookie: PREF=ID=6cf0abd347b30262:TM=1173357617:LM=1173357617:S=jZypyyJ7LPiwFi1_
936         # addh-unique: Host: subkeys.pgp.net:11371
937         # Referer forged to: Referer: http://10.0.0.1/
938         # Downgraded answer to HTTP/1.0
939         # Parameter: +hide-referrer{pille-palle} is a bad idea, but I don't care.
940         # Referer overwritten with: Referer: pille-palle
941         # Referer replaced with: Referer: pille-palle
942         # crunched x-forwarded-for!
943         # crunched From!
944         #  modified # XXX: pretty stupid log message
945         # Content filtering is enabled. Crunching: 'Range: 1234-5678' to prevent range-mismatch problems
946         # force-text-mode overruled the client's request to fetch without filtering!
947         # Server time in the future.
948         # content-disposition header crunched and replaced with: content-disposition: filename=baz
949         # Content-Disposition header crunched and replaced with: content-disposition: filename=baz
950         # Reducing white space in 'X-LWS-Test: "This  is  quoted" this is not "this  is  " but " this again   is  not'
951         # Ignoring single quote in 'X-LWS-Test: "This  is  quoted" this is not "this  is  " but "  this again   is  not'
952         # Converting tab to space in 'X-LWS-Test:   "This  is  quoted" this   is  not "this  is  "  but  "\
953         #  this again   is  not'
954         # A HTTP/1.1 response without Connection header implies keep-alive.
955         # Disabled filter mode on behalf of the client.
956         # Keeping the server header 'Connection: keep-alive' around.
957         # Keeping the client header 'Connection: close' around. The connection will not be kept alive.
958         # Keeping the client header 'Connection: keep-alive' around. The connection will be kept alive if possible.
959         # Content modified with no Content-Length header set. Creating a fake one for adjustment later on.
960         # Appended client IP address to X-Forwarded-For: 10.0.0.2, 10.0.0.1
961         # Removing 'Connection: close' to imply keep-alive.
962         # keep-alive support is disabled. Crunching: Keep-Alive: 300.
963         # Continue hack in da house.
964         # Merged multiple header lines to: 'X-FORWARDED-PROTO: http X-HOST: 127.0.0.1'
965         # Added header: Content-Encoding: deflate
966         # Enlisting sorted header User-Agent: Mozilla/5.0 (X11; SunOS i86pc; rv:10.0.3) Gecko/20100101 Firefox/10.0.3
967         # Enlisting left-over header Connection: close
968         # Multiple Content-Type headers detected. Removing and ignoring: Content-Type: text/html
969
970     } elsif ($c =~ m/^scanning headers for:/) {
971
972         return '' unless SHOW_SCAN_INTRO;
973
974     } elsif ($c =~ m/^[Cc]runch(ing|ed)|crumble crunched:/) {
975         # crunched User-Agent!
976         # Crunching: Content-Encoding: gzip
977
978         $c =~ s@(Crunching|crunched)@$h{$1}$1$h{'Standard'}@;
979
980     } elsif ($c =~ m/^Offending request data with NULL bytes turned into \'°\' characters:/) {
981
982         # Offending request data with NULL bytes turned into '°' characters: °°n°°(°°°
983
984         $c = h('warning') . $c . h('Standard');
985
986     } elsif ($c =~ m/^(Transforming \")(.*?)(\" to \")(.*?)(\")/) {
987
988         # Transforming "Proxy-Authenticate: Basic realm="Correos Proxy Server"" to\
989         #  "Proxy-Authenticate: Basic realm="Correos Proxy Server""
990
991        $c =~ s@(?<=^Transforming \")(.*)(?=\" to)@$h{'Header'}$1$h{'Standard'}@;
992        $c =~ s@(?<=to \")(.*)(?=\")@$h{'Header'}$1$h{'Standard'}@;
993
994     } elsif ($c =~ m/^Removing empty header/) {
995
996         # Removing empty header
997         # Ignore for now
998
999     } elsif ($c =~ m/^Content-Type: .* not replaced/) {
1000
1001         # Content-Type: application/octet-stream not replaced. It doesn't look like text.\
1002         #  Enable force-text-mode if you know what you're doing.
1003         # XXX: Could highlight more here.
1004         $c =~ s@(?<=^Content-Type: )(.*)(?= not replaced)@$h{'content-type'}$1$h{'Standard'}@;
1005
1006     } elsif ($c =~ m/^(Server|Client) keep-alive timeout is/) {
1007
1008        # Server keep-alive timeout is 5. Sticking with 10.
1009        # Client keep-alive timeout is 20. Sticking with 10.
1010
1011        $c =~ s@(?<=timeout is )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1012        $c =~ s@(?<=Sticking with )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1013
1014     } elsif ($c =~ m/^Reducing keep-alive timeout/) {
1015
1016        # Reducing keep-alive timeout from 60 to 10.
1017
1018        $c =~ s@(?<= from )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1019        $c =~ s@(?<= to )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1020
1021     } elsif ($c =~ m/^Killed all-caps Host header line: HOST:/) {
1022
1023        # Killed all-caps Host header line: HOST: bestproxydb.com
1024        $c = highlight_matched_host($c, '(?<=HOST: )[^\s]+');
1025        $c = highlight_matched_pattern($c, 'HOST', 'HOST');
1026
1027     } else {
1028
1029         found_unknown_content($c);
1030     }
1031
1032     # Highlight headers
1033     unless ($c =~ m/^Transforming/) {
1034         $c = highlight_known_headers($c) unless $no_special_header_highlighting;
1035     }
1036
1037     return $c;
1038 }
1039
1040 sub handle_loglevel_re_filter($) {
1041
1042     my $content = shift;
1043     my $c = $content;
1044     my $key;
1045
1046     if ($c =~ m/^(?:re_)?filtering ([^\s]+) \(size (\d+)\) with (?:filter )?\'?([^\s]+?)\'? produced (\d+) hits \(new size (\d+)\)/) {
1047
1048         # XXX: only the second version gets highlighted properly.
1049         # re_filtering www.lfk.de/favicon.ico (size 209) with filter untrackable-hulk produced 0 hits (new size 209).
1050         # filtering aci.blogg.de/ (size 37988) with 'blogg.de' produced 3 hits (new size 38057)
1051         $req{$t}{'content_source'} = $1;
1052         $req{$t}{'content_size'}   = $2;
1053         $req{$t}{'content_filter'} = $3;
1054         $req{$t}{'content_hits'}   = $4;
1055         $req{$t}{'new_content_size'} = $5;
1056         $req{$t}{'content_size_change'} = $req{$t}{'new_content_size'} - $req{$t}{'content_size'};
1057         #return '' if ($req{$t}{'content_hits'} == 0 && !cli_option_is_set('show-ineffective-filters'));
1058         if ($req{$t}{'content_hits'} == 0 and
1059             not (cli_option_is_set('show-ineffective-filters')
1060                  or ($req{$t}{'content_filter'} =~ m/^privoxy-filter-test$/))) {
1061                 return '';
1062         }
1063
1064         $c =~ s@(?<=\(size )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1065         $c =~ s@(?<=\(new size )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1066         $c =~ s@(?<=produced )(\d+)(?= hits)@$h{'Number'}$1$h{'Standard'}@;
1067
1068         $c =~ s@([^\s]+?)(\'? produced)@$h{'filter'}$1$h{'Standard'}$2@;
1069         $c = highlight_matched_host($c, '(?<=filtering )[^\s]+');
1070
1071         $c =~ s@\.$@ @;
1072         $c .= "(" . $h{'Number'};
1073         $c .= "+" if ($req{$t}{'content_size_change'} >= 0);
1074         $c .= $req{$t}{'content_size_change'} . $h{'Standard'} . ")";
1075         $content = $c;
1076
1077   } elsif ($c =~ /\.{3}$/
1078         and $c =~ m/^(?:re_)?filtering \'?(.*?)\'? \(size (\d*)\) with (?:filter )?\'?([^\s]*?)\'? ?\.{3}$/) {
1079
1080         # Used by Privoxy 3.0.5 and 3.0.6:
1081         # XXX: Fill in ...
1082         # Used by Privoxy 3.0.7:
1083         # filtering 'Connection: close' (size 17) with 'generic-content-ads' ...
1084
1085         $req{$t}{'filtered_header'} = $1;
1086         $req{$t}{'old_header_size'} = $2;
1087         $req{$t}{'header_filter_name'} = $3;
1088
1089         unless (cli_option_is_set('show-ineffective-filters') or
1090                 $req{$t}{'header_filter_name'} =~ m/^privoxy-filter-test$/) {
1091             return '';
1092         }
1093         $content =~ s@(?<=\(size )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1094         $content =~ s@($req{$t}{'header_filter_name'})@$h{'filter'}$1$h{'Standard'}@;
1095
1096     } elsif ($c =~ m/^ ?\.\.\. ?produced (\d*) hits \(new size (\d*)\)\./) {
1097
1098         # ...produced 0 hits (new size 23).
1099         #... produced 1 hits (new size 54).
1100
1101         $req{$t}{'header_filter_hits'} = $1;
1102         $req{$t}{'new_header_size'} = $2;
1103
1104         unless (cli_option_is_set('show-ineffective-filters') or
1105                 (defined($req{$t}{'header_filter_name'}) and
1106                  $req{$t}{'header_filter_name'} =~ m/^privoxy-filter-test$/)) {
1107
1108             if ($req{$t}{'header_filter_hits'} == 0 and
1109                 not (defined($req{$t}{'header_filter_name'}) and
1110                  $req{$t}{'header_filter_name'} =~ m/^privoxy-filter-test$/)) {
1111                 return '';
1112             }
1113             # Reformat including information from the intro
1114             $c = "'" . h('filter') . $req{$t}{'header_filter_name'} . h('Standard') . "'";
1115             $c .= " hit ";
1116             # XXX: Hide behind constant, it may be interesting if LOG_LEVEL_HEADER isn't enabled as well.
1117             # $c .= $req{$t}{'filtered_header'} . " ";
1118             $c .= h('Number') . $req{$t}{'header_filter_hits'}. h('Standard');
1119             $c .= ($req{$t}{'header_filter_hits'} == 1) ? " time, " : " times, ";
1120
1121             if ($req{$t}{'old_header_size'} !=  $req{$t}{'new_header_size'}) {
1122
1123                 $c .= "changing size from ";
1124                 $c .=  h('Number') . $req{$t}{'old_header_size'} . h('Standard');
1125                 $c .= " to ";
1126                 $c .= h('Number') . $req{$t}{'new_header_size'} . h('Standard');
1127                 $c .= ".";
1128
1129             } else {
1130
1131                 $c .= "keeping the size at " . $req{$t}{'old_header_size'};
1132
1133             }
1134
1135             # Highlight from last line (XXX: What?)
1136             # $c =~ s@(?<=produced )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1137             # $c =~ s@($req{$t}{'header_filter_name'})@$h{'filter'}$1$h{'Standard'}@;
1138
1139         } else {
1140
1141            # XXX: Untested
1142            $c =~ s@(?<=produced )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1143            $c =~ s@(?<=new size )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1144
1145         }
1146         $content = $c;
1147
1148     } elsif ($c =~ m/^(Tagger|Filter) ([^\s]*) has empty joblist. Nothing to do./) {
1149
1150         # Filter privoxy-filter-test has empty joblist. Nothing to do.
1151         # Tagger variable-test has empty joblist. Nothing to do.
1152
1153         $content =~ s@(?<=$1 )([^\s]*)@$h{'filter'}$1$h{'Standard'}@;
1154
1155     } elsif ($c =~ m/^De-chunking successful. Shrunk from (\d+) to (\d+)/) {
1156
1157         $req{$t}{'chunked-size'} = $1;
1158         $req{$t}{'dechunked-size'} = $2;
1159         $req{$t}{'dechunk-change'} = $req{$t}{'dechunked-size'} - $req{$t}{'chunked-size'};
1160
1161         $content .= " (" . h('Number') . $req{$t}{'dechunk-change'} . h('Standard') . ")";
1162
1163         $content =~ s@(?<=from )($req{$t}{'chunked-size'})@$h{'Number'}$1$h{'Standard'}@;
1164         $content =~ s@(?<=to )($req{$t}{'dechunked-size'})@$h{'Number'}$1$h{'Standard'}@;
1165
1166     } elsif ($c =~ m/^Decompression successful. Old size: (\d+), new size: (\d+)./) {
1167
1168         # Decompression successful. Old size: 670, new size: 1166.
1169
1170         $req{$t}{'size-compressed'} = $1;
1171         $req{$t}{'size-decompressed'} = $2;
1172         $req{$t}{'decompression-gain'} = $req{$t}{'size-decompressed'} - $req{$t}{'size-compressed'};
1173
1174         $content =~ s@(?<=Old size: )($req{$t}{'size-compressed'})@$h{'Number'}$1$h{'Standard'}@;
1175         $content =~ s@(?<=new size: )($req{$t}{'size-decompressed'})@$h{'Number'}$1$h{'Standard'}@;
1176
1177         # XXX: Create sub get_percentage()
1178         if ($req{$t}{'size-decompressed'}) {
1179             $req{$t}{'decompression-gain-percent'} =
1180                 $req{$t}{'decompression-gain'} / $req{$t}{'size-decompressed'} * 100;
1181
1182             $content .= " (saved: ";
1183             #$content .= h('Number') . $req{$t}{'decompression-gain'} . h('Standard');
1184             #$content .= "/";
1185             $content .= h('Number') . sprintf("%.2f%%", $req{$t}{'decompression-gain-percent'}) . h('Standard');
1186             $content .= ")";
1187         }
1188
1189     } elsif ($c =~ m/^(Need to de-chunk first)/) {
1190
1191         # Need to de-chunk first
1192         return '' if SUPPRESS_NEED_TO_DE_CHUNK_FIRST;
1193
1194     } elsif ($c =~ m/^(Adding (?:dynamic )?re_filter job)/) {
1195
1196         return ''  if (SUPPRESS_SUCCEEDED_FILTER_ADDITIONS && m/succeeded/);
1197
1198         # Adding re_filter job ...
1199         # Adding dynamic re_filter job s@^(?:\w*)\s+.*\s+HTTP/\d\.\d\s*@IP-ADDRESS: $origin@D\
1200         #  to filter client-ip-address succeeded.
1201
1202     } elsif ($c =~ m/^Compressed content from /) {
1203
1204         # Compressed content from 29258 to 8630 bytes. Compression level: 3
1205         $content =~ s@(?<=from )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1206         $content =~ s@(?<=to )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1207         $content =~ s@(?<=level: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1208
1209     } elsif ($c =~ m/^Reading in filter/) {
1210
1211         return '' unless SHOW_FILTER_READIN_IN;
1212
1213     } else {
1214
1215         found_unknown_content($content);
1216
1217     }
1218
1219     return $content;
1220 }
1221
1222 sub handle_loglevel_redirect($) {
1223
1224     my $c = shift;
1225
1226     if ($c =~ m/^Decoding "([^""]*)"/) {
1227
1228          $req{$t}{'original-destination'} = $1;
1229          $c = highlight_matched_path($c, '(?<=Decoding ")[^"]*');
1230          $c =~ s@\"@@g;
1231
1232     } elsif ($c =~ m/^Checking/) {
1233
1234          # Checking /_ylt=A0geu.Z76BRGR9k/**http://search.yahoo.com/search?p=view+odb+presentation+on+freebsd\
1235          #  &ei=UTF-8&xargs=0&pstart=1&fr=moz2&b=11 for redirects.
1236
1237          # TODO: Change colour if really url-decoded
1238          $req{$t}{'decoded-original-destination'} = $1;
1239          $c = highlight_matched_path($c, '(?<=Checking ")[^"]*');
1240          $c =~ s@\"@@g;
1241
1242     } elsif ($c =~ m/^pcrs command "([^""]*)" changed /) {
1243
1244         # pcrs command "s@&from=rss@@" changed \
1245         #  "http://it.slashdot.org/article.pl?sid=07/03/02/1657247&from=rss"\
1246         #  to "http://it.slashdot.org/article.pl?sid=07/03/02/1657247" (1 hit).
1247         $c =~ s@(?<=pcrs command )"([^""]*)"@$h{'filter'}$1$h{'Standard'}@;
1248         $c = highlight_matched_url($c, '(?<=changed ")[^""]*');
1249         $c =~ s@(?<=changed )"([^""]*)"@$1@; # Remove quotes
1250         $c = highlight_matched_url($c, '(?<=to ")[^""]*');
1251         $c =~ s@(?<=to )"([^""]*)"@$1@; # Remove quotes
1252         $c =~ s@(\d+)(?= hits?)@$h{'hits'}$1$h{'Standard'}@;
1253
1254     } elsif ($c =~ m/^pcrs command "([^""]*)" didn\'t change/) {
1255
1256         # pcrs command "s@^http://([^.]+?)/?$@http://www.bing.com/search?q=$1@" didn't \
1257         #  change "http://www.example.org/".
1258         $c =~ s@(?<=pcrs command )"([^""]*)"@$h{'filter'}$1$h{'Standard'}@;
1259         $c = highlight_matched_url($c, '(?<=change ")[^""]*');
1260
1261     } elsif ($c =~ m/(^New URL is: )(.*)/) {
1262
1263         # New URL is: http://it.slashdot.org/article.pl?sid=07/03/04/1511210
1264         # XXX: Use URL highlighter
1265         # XXX: Save?
1266         $c = $1 . h('rewritten-URL') . $2 . h('Standard');
1267
1268     } elsif ($c =~ m/No pcrs command recognized, assuming that/) {
1269         # No pcrs command recognized, assuming that "http://config.privoxy.org/user-manual/favicon.png"\
1270         #  is already properly formatted.
1271         # XXX: assume the same?
1272         $c = highlight_matched_url($c, '(?<=assuming that \")[^"]*');
1273
1274     } elsif ($c =~ m/^Percent-encoding redirect/) {
1275
1276         # Percent-encoding redirect URL: http://www.example.org/\x02
1277         $c = highlight_matched_url($c, '(?<=redirect URL: ).*');
1278
1279     } else {
1280
1281         found_unknown_content($c);
1282
1283     }
1284
1285     return $c;
1286 }
1287
1288 sub handle_loglevel_gif_deanimate($) {
1289
1290     my $content = shift;
1291
1292     if ($content =~ m/Success! GIF shrunk from (\d+) bytes to (\d+)\./) {
1293
1294         my $bytes_from = $1;
1295         my $bytes_to = $2;
1296         # Gif-Deanimate: Success! GIF shrunk from 205 bytes to 133.
1297         $content =~ s@$bytes_from@$h{'Number'}$bytes_from$h{'Standard'}@;
1298         # XXX: Do we need g in case of ($1 == $2)?
1299         $content =~ s@$bytes_to@$h{'Number'}$bytes_to$h{'Standard'}@;
1300
1301     } elsif ($content =~ m/GIF (not) changed/) {
1302
1303         # Gif-Deanimate: GIF not changed.
1304         return '' if SUPPRESS_GIF_NOT_CHANGED;
1305         $content =~ s@($1)@$h{'not'}$1$h{'Standard'}@;
1306
1307     } elsif ($content =~ m/^failed! \(gif parsing\)/) {
1308
1309         # failed! (gif parsing)
1310         # XXX: Replace this error message with something less stupid
1311         $content =~ s@(failed!)@$h{'error'}$1$h{'Standard'}@;
1312
1313     } elsif ($content =~ m/^Need to de-chunk first/) {
1314
1315         # Need to de-chunk first
1316         return '' if SUPPRESS_NEED_TO_DE_CHUNK_FIRST;
1317
1318     } elsif ($content =~ m/^(?:No GIF header found|failed while parsing)/) {
1319
1320         # No GIF header found (XXX: Did I ever commit this?)
1321         # failed while parsing 195 134747048 (XXX: never committed)
1322
1323         # Ignore these for now
1324
1325     } else {
1326
1327         found_unknown_content($content);
1328
1329     }
1330
1331     return $content;
1332 }
1333
1334 sub handle_loglevel_request($) {
1335
1336     my $content = shift;
1337
1338     if ($content =~ m/crunch! /) {
1339
1340         # config.privoxy.org/send-stylesheet crunch! (CGI Call)
1341
1342         # Highlight crunch reasons
1343         foreach my $reason (keys %reason_colours) {
1344             $content =~ s@\(($reason)\)@$reason_colours{$reason}($1)$h{'Standard'}@g;
1345         }
1346         # Highlight request URL domain and ditch 'crunch!'
1347         $content = highlight_matched_pattern($content, 'request_', '[^ ]*(?= crunch!)');
1348         $content =~ s@ crunch!@@;
1349
1350     } elsif ($content =~ m/\[too long, truncated\]$/) {
1351
1352         # config.privoxy.org/edit-actions-submit?f=3&v=1176116716&s=7&Submit=Submit[...]&filter... [too long, truncated]
1353         $content = highlight_matched_pattern($content, 'request_', '^.*(?=\.\.\. \[too long, truncated\]$)');
1354
1355     } elsif ($content =~ m/(.*)/) { # XXX: Pretty stupid
1356
1357         # trac.vidalia-project.net/wiki/Volunteer?format=txt
1358         $content = h('request_') . $content . h('Standard');
1359
1360     } else {  # XXX: Nop
1361
1362         found_unknown_content($content);
1363
1364     }
1365
1366     return $content;
1367 }
1368
1369 sub handle_loglevel_crunch($) {
1370
1371     my $content = shift;
1372
1373     # Highlight crunch reason
1374     foreach my $reason (keys %reason_colours) {
1375         $content =~ s@($reason)@$reason_colours{$reason}$1$h{'Standard'}@g;
1376     }
1377
1378     if ($content =~ m/\[too long, truncated\]$/) {
1379
1380         # Blocked: config.privoxy.org/edit-actions-submit?f=3&v=1176116716&s=7&Submit=Submit\
1381         #  [...]&filter... [too long, truncated]
1382         $content = highlight_matched_pattern($content, 'request_', '^.*(?=\.\.\. \[too long, truncated\]$)');
1383
1384     } else {
1385
1386         # Blocked: http://ads.example.org/
1387         $content = highlight_matched_pattern($content, 'request_', '(?<=: ).*');
1388     }
1389
1390     return $content;
1391 }
1392
1393 sub handle_loglevel_connect($) {
1394
1395     my $c = shift;
1396
1397     if ($c =~ m/^via [^\s]+ to: [^\s]+/) {
1398
1399         # Connect: via 10.0.0.1:8123 to: www.example.org.noconnect
1400
1401         $c = highlight_matched_host($c, '(?<=via )[^\s]+');
1402         $c = highlight_matched_host($c, '(?<=to: )[^\s]+');
1403
1404     } elsif ($c =~ m/^connect to: .* failed: .*/) {
1405
1406         # connect to: www.example.org.noconnect failed: Operation not permitted
1407
1408         $c = highlight_matched_host($c, '(?<=connect to: )[^\s]+');
1409
1410         $c =~ s@(?<=failed: )(.*)@$h{'error'}$1$h{'Standard'}@;
1411
1412     } elsif ($c =~ m/^to ([^\s]*)( successful)?$/) {
1413
1414         # Connect: to www.nzherald.co.nz successful
1415         # Connect: to archiv.radiotux.de
1416
1417         return '' if SUPPRESS_SUCCESSFUL_CONNECTIONS;
1418         $c = highlight_matched_host($c, '(?<=to )[^\s]+');
1419
1420     } elsif ($c =~ m/^to ([^\s]*)$/) {
1421
1422         # Connect: to lists.sourceforge.net:443
1423
1424         $c = highlight_matched_host($c, '(?<=to )[^\s]+');
1425
1426     } elsif ($c =~ m/^[Aa]ccepted connection from .*/ or
1427              $c =~ m/^OK/) {
1428
1429         # Privoxy 3.0.20:
1430         # Accepted connection from 10.0.0.1 on socket 5
1431         # Privoxy between 3.0.20 and 3.0.6:
1432         # accepted connection from 10.0.0.1( on socket 5)?
1433         # Privoxy 3.0.6 and earlier just say:
1434         # OK
1435         $c = highlight_matched_host($c, '(?<=connection from )[^ ]*');
1436         $c = highlight_matched_pattern($c, 'Number', '(?<=socket )\d+');
1437
1438     } elsif ($c =~ m/^Closing client socket/) {
1439
1440         # Closing client socket 5. Keep-alive: 0, Socket alive: 1. Data available: 0.
1441         # Privoxy 3.0.20 and later
1442         # Closing client socket 8. Keep-alive: 1. Socket alive: 0. Data available: 0. \
1443         #  Configuration file change detected: 0. Requests received: 11.
1444
1445         $c = highlight_matched_pattern($c, 'Number', '(?<=socket )\d+');
1446         $c = highlight_matched_pattern($c, 'Number', '(?<=Keep-alive: )\d+');
1447         $c = highlight_matched_pattern($c, 'Number', '(?<=Socket alive: )\d+');
1448         $c = highlight_matched_pattern($c, 'Number', '(?<=available: )\d+');
1449         $c = highlight_matched_pattern($c, 'Number', '(?<=detected: )\d+');
1450         $c = highlight_matched_pattern($c, 'Number', '(?<=received: )\d+');
1451
1452     } elsif ($c =~ m/^write header to: .* failed:/) {
1453
1454         # write header to: 10.0.0.1 failed: Broken pipe
1455
1456         $c = highlight_matched_host($c, '(?<=write header to: )[^\s]*');
1457         $c =~ s@(?<=failed: )(.*)@$h{'Error'}$1$h{'Standard'}@;
1458
1459     } elsif ($c =~ m/^write header to client failed:/) {
1460
1461         # write header to client failed: Broken pipe
1462         # XXX: Stil in use?
1463         $c =~ s@(?<=failed: )(.*)@$h{'Error'}$1$h{'Standard'}@;
1464
1465     } elsif ($c =~ m/^socks4_connect:/) {
1466
1467         # socks4_connect: SOCKS request rejected or failed.
1468         $c =~ s@(?<=socks4_connect: )(.*)@$h{'Error'}$1$h{'Standard'}@;
1469
1470     } elsif ($c =~ m/^Listening for new connections/ or
1471              $c =~ m/^accept connection/) {
1472         # XXX: Highlight?
1473         # Privoxy versions above 3.0.6 say:
1474         # Listening for new connections ...
1475         # earlier versions say:
1476         # accept connection ...
1477         return '';
1478
1479     } elsif ($c =~ m/^accept failed:/) {
1480
1481         $c =~ s@(?<=accept failed: )(.*)@$h{'Error'}$1$h{'Standard'}@;
1482
1483     } elsif ($c =~ m/^Overriding forwarding settings/) {
1484
1485         # Overriding forwarding settings based on 'forward 10.0.0.1:8123'
1486         $c =~ s@(?<=based on \')(.*)(?=\')@$h{'configuration-line'}$1$h{'Standard'}@;
1487
1488     } elsif ($c =~ m/^Denying suspicious CONNECT request from/) {
1489
1490         # Denying suspicious CONNECT request from 10.0.0.1
1491         $c = highlight_matched_host($c, '(?<=from )[^\s]+'); # XXX: not an URL
1492
1493     } elsif ($c =~ m/^socks5_connect:/) {
1494
1495         $c =~ s@(?<=socks5_connect: )(.*)@$h{'error'}$1$h{'Standard'}@;
1496
1497     } elsif ($c =~ m/^Created new connection to/) {
1498
1499         # Created new connection to www.privoxy.org:80 on socket 11.
1500         $c = highlight_matched_host($c, '(?<=connection to )[^\s]+');
1501         $c =~ s@(?<=on socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1502
1503     } elsif ($c =~ m/^Found reusable socket/) {
1504
1505         # Found reusable socket 9 for www.privoxy.org:80 in slot 0.
1506         # 3.0.15 and later:
1507         # Found reusable socket 8 for www.privoxy.org:80 in slot 2.\
1508         #  Timestamp made 0 seconds ago. Timeout: 1. Latency: 0.
1509         $c =~ s@(?<=Found reusable socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1510         $c = highlight_matched_host($c, '(?<=for )[^\s]+');
1511         $c =~ s@(?<=in slot )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1512         $c =~ s@(?<=made )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1513         $c =~ s@(?<=Timeout: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1514         $c =~ s@(?<=Latency: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1515
1516     } elsif ($c =~ m/^Marking open socket/) {
1517
1518         # Marking open socket 9 for www.privoxy.org:80 in slot 0 as unused.
1519         $c =~ s@(?<=Marking open socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1520         $c = highlight_matched_host($c, '(?<=for )[^\s]+');
1521         $c =~ s@(?<=in slot )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1522
1523     } elsif ($c =~ m/^No reusable/) {
1524
1525         # No reusable socket for addons.mozilla.org:443 found. Opening a new one.
1526         $c = highlight_matched_host($c, '(?<=for )[^\s]+');
1527
1528     } elsif ($c =~ m/^(Remembering|Forgetting) socket/) {
1529
1530         # Remembering socket 13 for www.privoxy.org:80 in slot 0.
1531         # Forgetting socket 38 for www.privoxy.org:80 in slot 5.
1532
1533         $c =~ s@(?<=socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1534         $c = highlight_matched_host($c, '(?<=for )[^\s]+');
1535         $c =~ s@(?<=in slot )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1536
1537     } elsif ($c =~ m/^Socket/) {
1538
1539         # Socket 16 already forgotten or never remembered.
1540         $c =~ s@(?<=Socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1541
1542     } elsif ($c =~ m/^The connection to/) {
1543
1544         # The connection to www.privoxy.org:80 in slot 6 timed out. Closing socket 19. Timeout is: 61.
1545         # 3.0.15 and later:
1546         # The connection to 1.bp.blogspot.com:80 in slot 0 timed out. Closing socket 5.\
1547         #  Timeout is: 1. Assumed latency: 4.
1548         # The connection to 10.0.0.1:80 in slot 0 is no longer usable. Closing socket 4.
1549         $c = highlight_matched_host($c, '(?<=connection to )[^\s]+');
1550         $c =~ s@(?<=in slot )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1551         $c =~ s@(?<=Closing socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1552         $c =~ s@(?<=Timeout is: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1553         $c =~ s@(?<=Assumed latency: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1554
1555     } elsif ($c =~ m/^Stopped waiting for the request line/ or
1556              $c =~ m/^No request line on socket \d received in time/ or
1557              $c =~ m/^The client side of the connection on socket \d/) {
1558
1559         # Stopped waiting for the request line. Timeout: 121.
1560         # Privoxy 3.0.19 and later:
1561         # No request line on socket 5 received in time. Timeout: 1.
1562         # The client side of the connection on socket 5 got closed \
1563         #  without sending a complete request line.
1564         $c =~ s@(?<=Timeout: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1565         $c =~ s@(?<=socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1566
1567     } elsif ($c =~ m/^Waiting for \d/) {
1568
1569         # Waiting for 1 connections to timeout.
1570         $c =~ s@(?<=^Waiting for )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1571
1572     } elsif ($c =~ m/^Initialized/) {
1573
1574         # Initialized 20 socket slots.
1575         $c =~ s@(?<=Initialized )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1576
1577     } elsif ($c =~ m/^Done reading from server/) {
1578
1579         # Done reading from server. Expected content length: 24892. \
1580         #  Actual content length: 24892. Most recently received: 4412.
1581         # 3.0.15 and later:
1582         # Done reading from server. Expected content length: 24892. \
1583         #  Actual content length: 24892. Bytes most recently read: 4412.
1584         # Done reading from server. Content length: 6018 as expected. \
1585         #  Bytes most recently read: 294.
1586         $c =~ s@(?<=ontent length: )(\d+)@$h{'Number'}$1$h{'Standard'}@g;
1587         $c =~ s@(?<=received: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1588         $c =~ s@(?<=read: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1589
1590     } elsif ($c =~ m/^Continuing buffering (?:server )?headers/) {
1591
1592         # Continuing buffering headers. byte_count: 19. header_offset: 517. len: 536.
1593         $c =~ s@(?<=byte_count: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1594         $c =~ s@(?<=header_offset: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1595         $c =~ s@(?<=len: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1596         # 3.0.15 up to 3.0.19:
1597         # Continuing buffering headers. Bytes most recently read: 498.
1598         $c =~ s@(?<=read: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1599         # 3.0.20 and later:
1600         # Continuing buffering server headers from socket 5. Bytes most recently read: 498.
1601         $c =~ s@(?<=socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1602
1603     } elsif ($c =~ m/^Received \d+ bytes while/) {
1604
1605         # Received 206 bytes while expecting 12103.
1606         $c =~ s@(?<=Received )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1607         $c =~ s@(?<=expecting )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1608
1609     } elsif ($c =~ m/^(Rejecting c|C)onnection from/) {
1610
1611         # Connection from 81.163.28.218 dropped due to ACL
1612         # Rejecting connection from 178.63.152.227. Maximum number of connections reached.
1613         # Connection from 192.168.2.1 on 127.0.1.1:8118 (socket 3) dropped due to ACL
1614         $c = highlight_matched_host($c, '(?<=onnection from )[\d.:]+');
1615         $c = highlight_matched_host($c, '(?<=on )[\d.:]+');
1616         $c =~ s@(?<=socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1617
1618     } elsif ($c =~ m/^(?:Reusing|Closing) server socket / or
1619              $c =~ m/^No additional client request/) {
1620
1621         # Reusing server socket 4. Opened for 10.0.0.1.
1622         # Closing server socket 2. Opened for 10.0.0.1.
1623         # No additional client request received in time. \
1624         #  Closing server socket 4, initially opened for 10.0.0.1.
1625         # No additional client request received in time on socket 29.
1626         # Privoxy 3.0.20 and later
1627         # Reusing server socket 7 connected to www.privoxy.org. Total requests: 2.
1628         # Closing server socket 6 connected to d.asset.soup.io. Keep-alive: 0.\
1629         #  Tainted: 1. Socket alive: 1. Timeout: 60. Configuration file change detected: 0.
1630
1631         $c =~ s@(?<= socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1632         $c = highlight_matched_host($c, '(?<=for )[^\s]+(?=\.)');
1633         $c = highlight_matched_host($c, '(?<=connected to )[^\s]+(?=\.)');
1634         for my $number_pattern ('requests', 'Keep-alive', 'Tainted', ' alive', 'Timeout', 'detected') {
1635             $c = highlight_matched_pattern($c, 'Number', '(?<='. $number_pattern . ': )\d+');
1636         }
1637
1638     } elsif ($c =~ m/^Connected to /) {
1639
1640         # Connected to tor-jail[10.0.0.2]:9050.
1641
1642         $c = highlight_matched_host($c, '(?<=\[)[^\]]+');
1643         $c = highlight_matched_host($c, '(?<=Connected to )[^\[\s]+');
1644         $c =~ s@(?<=\]:)(\d+)@$h{'Number'}$1$h{'Standard'}@;
1645
1646     } elsif ($c =~ m/^Could not connect to /) {
1647
1648         # Could not connect to [10.0.0.1]:80.
1649
1650         $c = highlight_matched_host($c, '(?<=\[)[^\]]+');
1651         $c =~ s@(?<=\]:)(\d+)@$h{'Number'}$1$h{'Standard'}@;
1652
1653     } elsif ($c =~ m/^Waiting for the next client request/ or
1654              $c =~ m/^The connection on server socket/ or
1655              $c =~ m/^Client request (?:\d+ )?(?:arrived in time|has been pipelined) /) {
1656
1657         # Waiting for the next client request on socket 3. Keeping the server \
1658         #  socket 12 to a.fsdn.com open.
1659         # The connection on server socket 6 to upload.wikimedia.org isn't reusable. Closing.
1660         # Privoxy 3.0.20 and later:
1661         # Client request 4 arrived in time on socket 7.
1662         # Used by Privoxy 3.0.18 and 3.0.19:
1663         # Client request arrived in time on socket 21.
1664         # Used by earlier version:
1665         # Client request arrived in time or the client closed the connection on socket 12.
1666         # Client request 8 has been pipelined on socket 7 and the socket is still alive.
1667
1668         $c =~ s@(?<=request )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1669         $c =~ s@(?<=on socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1670         $c =~ s@(?<=server socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1671         $c = highlight_matched_host($c, '(?<=to )[^\s]+');
1672
1673     } elsif ($c =~ m/^Marking the server socket/) {
1674
1675         # Marking the server socket 7 tainted.
1676
1677         $c =~ s@(?<=server socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1678
1679     } elsif ($c =~ m/^Reduced expected bytes to /) {
1680
1681         # Reduced expected bytes to 0 to account for the 1542 ones we already got.
1682         $c =~ s@(?<=bytes to )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1683         $c =~ s@(?<=for the )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1684
1685     } elsif ($c =~ m/^The client closed socket /) {
1686
1687         # The client closed socket 2 while the server socket 4 is still open.
1688         $c =~ s@(?<=closed socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1689         $c =~ s@(?<=server socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1690
1691     } elsif ($c =~ m/^Expected client content length set /) {
1692
1693         # Expected client content length set to 667325411 after reading 4999 bytes.
1694         $c =~ s@(?<=set to )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1695         $c =~ s@(?<=reading )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1696
1697     } elsif ($c =~ m/^Reducing expected bytes to /) {
1698
1699         # Reducing expected bytes to 0. Marking the server socket tainted after throwing 4 bytes away.
1700         $c =~ s@(?<=bytes to )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1701         $c =~ s@(?<=after throwing )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1702
1703     } elsif ($c =~ m/^Waiting for up to /) {
1704
1705         # Waiting for up to 4999 bytes from the client.
1706         $c =~ s@(?<=up to )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1707
1708     } elsif ($c =~ m/^Optimistically sending /) {
1709
1710         # Optimistically sending 318 bytes of client headers intended for www.privoxy.org
1711         $c =~ s@(?<=sending )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1712         $c = highlight_matched_host($c, '(?<=for )[^\s]+');
1713
1714     } elsif ($c =~ m/^Stopping to watch the client socket/) {
1715
1716         # Stopping to watch the client socket. There's already another request waiting.
1717         # Privoxy 3.0.20 and later:
1718         # Stopping to watch the client socket 5. There's already another request waiting.
1719         $c =~ s@(?<=client socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1720
1721     } elsif ($c =~ m/^Drained \d+ bytes before closing/) {
1722
1723         # Drained 180 bytes before closing socket 6
1724         $c =~ s@(?<=Drained )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1725         $c =~ s@(?<=socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1726
1727     } elsif ($c =~ m/^Tainting client socket/ or
1728              $c =~ m/^Failed to shutdown socket/) {
1729
1730         # Tainting client socket 7 due to unread data.
1731         # Failed to shutdown socket 11: Connection reset by peer
1732
1733         $c =~ s@(?<=socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1734
1735     } elsif ($c =~ m/^Shifting \d+ pipelined bytes/) {
1736
1737         # Shifting 360 pipelined bytes by 360 bytes
1738         $c =~ s@(?<=Shifting )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1739         $c =~ s@(?<=by )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1740
1741     } elsif ($c =~ m/^Flushed (\d+) bytes of request body while expecting (\d+)/) {
1742
1743         # Flushed 30 bytes of request body while expecting 30
1744         $c =~ s@(?<=Flushed )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1745         $c =~ s@(?<=expecting )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1746
1747     } elsif ($c =~ m/^Performing the TLS\/SSL handshake with client. Hash of host:/) {
1748
1749         # Performing the TLS/SSL handshake with client. Hash of host: bab5296b25e256c7b06b92b17b56bcae
1750         $c = highlight_matched_host($c, '(?<=Hash of host: ).+');
1751
1752     } elsif ($c =~ m/^Forwarding \d+ bytes of encrypted POST data/) {
1753
1754         # Forwarding 1954 bytes of encrypted POST data
1755         $c =~ s@(?<=Forwarding )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1756
1757     } elsif ($c =~ m/^Forwarded the last \d+ bytes/) {
1758
1759         # Forwarded the last 1954 bytes
1760         $c =~ s@(?<=the last )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1761
1762     } elsif ($c =~ m/^Waiting for the next client connection. Currently active threads:/) {
1763
1764         # Waiting for the next client connection. Currently active threads: 30
1765         $c =~ s@(?<=threads: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1766
1767     } elsif ($c =~ m/^Looks like we / or
1768              $c =~ m/^Unsetting keep-alive flag/ or
1769              $c =~ m/^No connections to wait/ or
1770              $c =~ m/^Complete client request received/ or
1771              $c =~ m/^Possible pipeline attempt detected./ or
1772              $c =~ m/^POST request detected. The connection will not be kept alive./ or
1773              $c =~ m/^The server still wants to talk, but the client hung up on us./ or
1774              $c =~ m/^The server didn't specify how long the connection will stay open/ or
1775              $c =~ m/^There might be a request body. The connection will not be kept alive/ or
1776              $c =~ m/^There better be a request body./ or
1777              $c =~ m/^Done reading from the client\.$/) {
1778
1779         # Looks like we reached the end of the last chunk. We better stop reading.
1780         # Looks like we read the end of the last chunk together with the server \
1781         #  headers. We better stop reading.
1782         # Looks like we got the last chunk together with the server headers. \
1783         #  We better stop reading.
1784         # Unsetting keep-alive flag.
1785         # No connections to wait for left.
1786         # Client request arrived in time or the client closed the connection.
1787         # Complete client request received
1788         # Possible pipeline attempt detected. The connection will not be \
1789         #  kept alive and we will only serve the first request.
1790         # POST request detected. The connection will not be kept alive.
1791         # The server still wants to talk, but the client hung up on us.
1792         # The server didn't specify how long the connection will stay open. Assume it's only a second.
1793         # There might be a request body. The connection will not be kept alive.
1794         # Privoxy 3.0.20 and later
1795         # There better be a request body.
1796         # Done reading from the client.
1797
1798     } else {
1799
1800         found_unknown_content($c);
1801
1802     }
1803
1804     return $c;
1805 }
1806
1807
1808 sub handle_loglevel_info($) {
1809
1810     my $c = shift;
1811
1812     if ($c =~ m/^Rewrite detected:/) {
1813
1814         # Rewrite detected: GET http://10.0.0.2:88/blah.txt HTTP/1.1
1815         $c = highlight_matched_request_line($c, '(?<=^Rewrite detected: ).*');
1816
1817     } elsif ($c =~ m/^Decompress(ing deflated|ion didn)/ or
1818              $c =~ m/^Compressed content detected/ or
1819              $c =~ m/^SDCH-compressed content detected/ or
1820              $c =~ m/^Tagger/
1821             ) {
1822         # Decompressing deflated iob: 117
1823         # Decompression didn't result in any content.
1824         # Compressed content detected, content filtering disabled. Consider recompiling Privoxy\
1825         #  with zlib support or enable the prevent-compression action.
1826         # SDCH-compressed content detected, content filtering disabled.\
1827         #  Consider suppressing SDCH offers made by the client.
1828         # Tagger 'complete-url' created empty tag. Ignored.
1829
1830         # Ignored for now
1831
1832     } elsif ($c =~ m/^(Re)?loading configuration file /) {
1833
1834         # loading configuration file '/usr/local/etc/privoxy/config':
1835         # Reloading configuration file '/usr/local/etc/privoxy/config'
1836         $c =~ s@(?<=loading configuration file \')([^\']*)@$h{'file'}$1$h{'Standard'}@;
1837
1838     } elsif ($c =~ m/^Loading (actions|filter|trust) file: /) {
1839
1840         # Loading actions file: /usr/local/etc/privoxy/default.action
1841         # Loading filter file: /usr/local/etc/privoxy/default.filter
1842         # Loading trust file: /usr/local/etc/privoxy/trust
1843
1844         $c =~ s@(?<= file: )(.*)$@$h{'file'}$1$h{'Standard'}@;
1845
1846     } elsif ($c =~ m/^exiting by signal/) {
1847
1848         # exiting by signal 15 .. bye
1849         $c =~ s@(?<=exiting by signal )(\d+)@$h{'signal'}$1$h{'Standard'}@;
1850
1851     } elsif ($c =~ m/^Privoxy version/) {
1852
1853         # Privoxy version 3.0.7
1854         $c =~ s@(?<=^Privoxy version )(\d+\.\d+\.\d+)$@$h{'version'}$1$h{'Standard'}@;
1855
1856     } elsif ($c =~ m/^Program name: /) {
1857
1858         # Program name: /usr/local/sbin/privoxy
1859         $c =~ s@(?<=Program name: )(.*)@$h{'program-name'}$1$h{'Standard'}@;
1860
1861     } elsif ($c =~ m/^Listening on port /) {
1862
1863         # Listening on port 8118 on IP address 10.0.0.1
1864         $c =~ s@(?<=Listening on port )(\d+)@$h{'port'}$1$h{'Standard'}@;
1865         $c =~ s@(?<=on IP address )(.*)@$h{'ip-address'}$1$h{'Standard'}@;
1866
1867     } elsif ($c =~ m/^\(Re-\)Open(?:ing)? logfile/) {
1868
1869         # (Re-)Open logfile /var/log/privoxy/privoxy.log
1870         $c =~ s@(?<=Open logfile )(.*)@$h{'file'}$1$h{'Standard'}@;
1871
1872     } elsif ($c =~ m/^(Request from|Malformed server response detected)/) {
1873
1874         # Request from 10.0.0.1 denied. limit-connect{,} doesn't allow CONNECT requests to port 443.
1875         # Request from 10.0.0.1 marked for blocking. limit-connect{,} doesn't allow CONNECT requests to port 443.
1876         # 3.0.18 and later:
1877         # Request from 10.0.0.1 marked for blocking. limit-connect{0} doesn't allow CONNECT requests to www.example.org:443
1878         # Malformed server response detected. Downgrading to HTTP/1.0 impossible.
1879
1880         $c =~ s@(?<=Request from )([^\s]*)@$h{'ip-address'}$1$h{'Standard'}@;
1881         $c =~ s@(denied|blocking)@$h{'warning'}$1$h{'Standard'}@;
1882         $c =~ s@(CONNECT)@$h{'method'}$1$h{'Standard'}@;
1883         $c =~ s@(?<=to port )(\d+)@$h{'port'}$1$h{'Standard'}@;
1884         $c =~ s@(?<=to )([^\s]+)@$h{'request_'}$1$h{'Standard'}@;
1885
1886     } elsif ($c =~ m/^Status code/) {
1887
1888         # Status code 304 implies no body.
1889         $c =~ s@(?<=Status code )(\d+)@$h{'status-code'}$1$h{'Standard'}@;
1890
1891     } elsif ($c =~ m/^Method/) {
1892
1893         # Method HEAD implies no body.
1894         $c =~ s@(?<=Method )([^\s]+)@$h{'method'}$1$h{'Standard'}@;
1895
1896     } elsif ($c =~ m/^Buffer limit reached while extending /) {
1897
1898         # Buffer limit reached while extending the buffer (iob). Needed: 4197470. Limit: 4194304
1899         $c =~ s@(?<=Needed: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1900         $c =~ s@(?<=Limit: )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1901
1902     } elsif ($c =~ m/^File modification detected: /) {
1903
1904         # File modification detected: /usr/local/etc/privoxy/user-agent.action
1905         $c =~ s@(?<= detected: )(.*)$@$h{'file'}$1$h{'Standard'}@;
1906
1907     } elsif ($c =~ m/^No logfile configured/ or
1908              $c =~ m/^Malformerd HTTP headers detected and MS IIS5 hack enabled/ or
1909              $c =~ m/^Invalid \"chunked\" transfer/ or
1910              $c =~ m/^Support for/ or
1911              $c =~ m/^Flushing header and buffers/ or
1912              $c =~ m/^Can not resolve/
1913              ) {
1914
1915         # No logfile configured. Please enable it before reporting any problems.
1916         # Malformerd HTTP headers detected and MS IIS5 hack enabled. Expect an invalid \
1917         #  response or even no response at all.
1918         # No logfile configured. Logging disabled.
1919         # Invalid "chunked" transfer encoding detected and ignored.
1920         # Support for 'Connection: keep-alive' is experimental, incomplete and\
1921         #  known not to work properly in some situations.
1922         # Flushing header and buffers. Stepping back from filtering.
1923         # Can not resolve doesnotexist: hostname nor servname provided, or not known
1924
1925     } else {
1926
1927         found_unknown_content($c);
1928
1929     }
1930
1931     return $c;
1932 }
1933
1934 sub handle_loglevel_cgi($) {
1935
1936     my $c = shift;
1937
1938     if ($c =~ m/^Granting access to/) {
1939
1940         #Granting access to http://config.privoxy.org/send-stylesheet, referrer http://p.p/ is trustworthy.
1941
1942     } elsif ($c =~ m/^Substituting: s(.)/) {
1943
1944         # Substituting: s/@else-not-FEATURE_ZLIB@.*@endif-FEATURE_ZLIB@//sigTU
1945         # XXX: prone to span several lines
1946
1947         my $delimiter = $1;
1948         #$c =~ s@(?<=failed: )(.*)@$h{'error'}$1$h{'Standard'}@;
1949         $c =~ s@(?!<=\\)($delimiter)@$h{'pcrs-delimiter'}$1$h{'Standard'}@g; # XXX: Too aggressive
1950         #$c =~ s@(?!<=\\)($1)@$h{'pcrs-delimiter'}$1$h{'Standard'}@g;
1951     }
1952
1953     return $c;
1954 }
1955
1956 sub handle_loglevel_force($) {
1957
1958     my $c = shift;
1959
1960     if ($c =~ m/^Ignored force prefix in request:/) {
1961
1962         # Ignored force prefix in request: "GET http://10.0.0.1/PRIVOXY-FORCE/block HTTP/1.1"
1963         $c =~ s@^(Ignored)@$h{'ignored'}$1$h{'Standard'}@;
1964         $c = highlight_matched_request_line($c, '(?<=request: ")[^"]*');
1965
1966     } elsif ($c =~ m/^Enforcing request:/) {
1967
1968         # Enforcing request: "GET http://10.0.0.1/block HTTP/1.1".
1969         $c = highlight_matched_request_line($c, '(?<=request: ")[^"]*');
1970
1971     } else {
1972
1973         found_unknown_content($c);
1974
1975     }
1976
1977     return $c;
1978 }
1979
1980 sub handle_loglevel_error($) {
1981
1982     my $c = shift;
1983
1984     if ($c =~ m/^(?:Empty|No) server or forwarder response received on socket \d+\./) {
1985
1986         # Empty server or forwarder response received on socket 4.
1987         # Empty server or forwarder response received on socket 3. \
1988         #  Closing client socket 15 without sending data.
1989         # Used by Privoxy 3.0.18 and later:
1990         # No server or forwarder response received on socket 8. \
1991         #  Closing client socket 10 without sending data.
1992
1993         $c =~ s@(?<=on socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1994         $c =~ s@(?<=client socket )(\d+)@$h{'Number'}$1$h{'Standard'}@;
1995
1996     } elsif ($c =~ m/^Didn't receive data in time:/) {
1997
1998         # Didn't receive data in time: a.fsdn.com:443
1999         $c =~ s@(?<=in time: )(.*)@$h{'destination'}$1$h{'Standard'}@;
2000     }
2001
2002     # XXX: There are probably more messages that deserve highlighting.
2003
2004     return $c;
2005 }
2006
2007
2008 sub handle_loglevel_ignore($) {
2009     return shift;
2010 }
2011
2012 sub gather_loglevel_clf_stats($) {
2013
2014     my $content = shift;
2015     my ($method, $resource, $http_version, $status_code, $size);
2016     our %stats;
2017     our %cli_options;
2018
2019     # +0200] "GET https://www.youtube.com/watch?v=JmcA9LIIXWw HTTP/1.1" 200 68004
2020     # +0200] "VERSION-CONTROL http://p.p/ HTTP/1.1" 200 2787
2021     $content =~ m/^[+-]\d{4}\] "([^ ]+) (.+) (HTTP\/\d\.\d)" (\d+) (\d+)/;
2022     $method       = $1;
2023     $resource     = $2;
2024     $http_version = $3;
2025     $status_code  = $4;
2026     $size         = $5;
2027
2028     $stats{requests_clf}++;
2029
2030     unless (defined $method) {
2031         # +0200] "Invalid request" 400 0
2032         return if ($content =~ m/^[+-]\d{4}\] "Invalid request"/);
2033         print("Failed to parse: $content\n");
2034         return;
2035     }
2036     $stats{'method'}{$method}++;
2037     if ($cli_options{'url-statistics-threshold'} != 0) {
2038         $stats{'resource'}{$resource}++;
2039     }
2040     $stats{'http-version'}{$http_version}++;
2041
2042     if ($cli_options{'host-statistics-threshold'} != 0) {
2043         $resource =~ m@(?:https?://)?([^/]+)/?@;
2044         $stats{'hosts'}{$1}++;
2045     }
2046     $stats{'content-size-total'} += $size;
2047     $stats{'status-code'}{$status_code}++;
2048 }
2049
2050 sub gather_loglevel_request_stats($$) {
2051     my $c = shift;
2052     my $thread = shift;
2053     our %stats;
2054
2055     $stats{requests}++;
2056 }
2057
2058 sub gather_loglevel_crunch_stats($$) {
2059     my $c = shift;
2060     my $thread = shift;
2061     our %stats;
2062
2063     $stats{crunches}++;
2064
2065     if ($c =~ m/^Redirected:/) {
2066         # Redirected: http://www.example.org/http://p.p/
2067         $stats{'fast-redirections'}++;
2068
2069     } elsif ($c =~ m/^Blocked:/) {
2070         # Blocked: blogger.googleusercontent.com:443
2071         $stats{'blocked'}++;
2072
2073     } elsif ($c =~ m/^Connection timeout:/) {
2074         # Connection timeout: http://c.tile.openstreetmap.org/18/136116/87842.png
2075         $stats{'connection-timeout'}++;
2076
2077     } elsif ($c =~ m/^Connection failure:/) {
2078         # Connection failure: http://127.0.0.1:8080/
2079         $stats{'connection-failure'}++;
2080     }
2081 }
2082
2083
2084 sub gather_loglevel_error_stats($$) {
2085
2086     my $c = shift;
2087     my $thread = shift;
2088     our %stats;
2089     our %thread_data;
2090
2091     if ($c =~ m/^Empty server or forwarder response received on socket \d+./) {
2092
2093         # Empty server or forwarder response received on socket 4.
2094         $stats{'empty-responses'}++;
2095         if ($thread_data{$thread}{'new_connection'}) {
2096             $stats{'empty-responses-on-new-connections'}++;
2097         } else {
2098             $stats{'empty-responses-on-reused-connections'}++;
2099         }
2100     }
2101 }
2102
2103 sub gather_loglevel_connect_stats($$) {
2104
2105     my ($c, $thread) = @_;
2106     our %thread_data;
2107     our %stats;
2108
2109     if ($c =~ m/^via ([^\s]+) to: [^\s]+/) {
2110
2111         # Connect: via 10.0.0.1:8123 to: www.example.org.noconnect
2112         $thread_data{$thread}{'forwarder'} = $1; # XXX: is this missue?
2113
2114     } elsif ($c =~ m/^to ([^\s]*)$/) {
2115
2116         # Connect: to lists.sourceforge.net:443
2117
2118         $thread_data{$thread}{'forwarder'} = 'direct connection';
2119
2120     } elsif ($c =~ m/^Created new connection to/) {
2121
2122         # Created new connection to www.privoxy.org:80 on socket 11.
2123
2124         $thread_data{$thread}{'new_connection'} = 1;
2125
2126     } elsif ($c =~ m/^Reusing server socket \d./ or
2127              $c =~ m/^Found reusable socket/) {
2128
2129         # Reusing server socket 4. Opened for 10.0.0.1.
2130         # Found reusable socket 9 for www.privoxy.org:80 in slot 0.
2131
2132         $thread_data{$thread}{'new_connection'} = 0;
2133         $stats{'reused-connections'}++;
2134
2135     } elsif ($c =~ m/^Closing client socket \d+. .* Requests received: (\d+)\.$/) {
2136
2137         # Closing client socket 12. Keep-alive: 1. Socket alive: 1. Data available: 0. \
2138         #  Configuration file change detected: 0. Requests received: 14.
2139
2140         $stats{'client-requests-on-connection'}{$1}++;
2141         $stats{'closed-client-connections'}++;
2142     }
2143 }
2144
2145 sub gather_loglevel_header_stats($$) {
2146
2147     my ($c, $thread) = @_;
2148     our %stats;
2149     our %cli_options;
2150
2151     if ($c =~ m/^A HTTP\/1\.1 response without/ or
2152         $c =~ m/^Keeping the server header 'Connection: keep-alive' around./)
2153     {
2154         # A HTTP/1.1 response without Connection header implies keep-alive.
2155         # Keeping the server header 'Connection: keep-alive' around.
2156         $stats{'server-keep-alive'}++;
2157     }
2158 }
2159
2160 sub init_stats() {
2161     our %stats = (
2162         requests => 0,
2163         requests_clf => 0,
2164         crunches => 0,
2165         'server-keep-alive' => 0,
2166         'reused-connections' => 0,
2167         'empty-responses' => 0,
2168         'empty-responses-on-new-connections' => 0,
2169         'empty-responses-on-reused-connections' => 0,
2170         'fast-redirections' => 0,
2171         'blocked' => 0,
2172         'connection-failure' => 0,
2173         'connection-timeout' => 0,
2174         'reused-connections' => 0,
2175         'server-keep-alive' => 0,
2176         'closed-client-connections' => 0,
2177         'content-size-total' => 0,
2178         );
2179         $stats{'client-requests-on-connection'}{1} = 0;
2180 }
2181
2182 sub get_percentage($$) {
2183     my $big = shift;
2184     my $small = shift;
2185
2186     # If small is 0 the percentage is always 0%.
2187     # Make sure it works even if big is 0 as well.
2188     return "0.00%" if ($small eq 0);
2189
2190     # Prevent division by zero.
2191     # XXX: Is this still supposed to be reachable?
2192     return "NaN" if ($big eq 0);
2193
2194     return sprintf("%.2f%%", $small / $big * 100);
2195 }
2196
2197 sub print_stats() {
2198
2199     our %stats;
2200     our %cli_options;
2201     my $new_connections = $stats{requests} - $stats{crunches} - $stats{'reused-connections'};
2202     my $client_requests_checksum = 0;
2203     my $requests_total;
2204
2205     if ($stats{requests_clf} && $stats{requests}
2206         && $stats{requests_clf} != $stats{requests}) {
2207         print "Inconsistent request counts: " . $stats{requests} . "/" . $stats{requests_clf} . "\n";
2208     }
2209
2210     # To get the total number of requests we can use either the number
2211     # of Common-Log-Format lines or the number of "Request:" messages.
2212     # We prefer the number of CLF lines if available because using
2213     # it works when analysing old log files from Privoxy versions before 3.0.29.
2214     # In Privoxy 3.0.28 and earlier "Request:" messages excluded
2215     # crunched messages.
2216     $requests_total = $stats{requests_clf} ? $stats{requests_clf} : $stats{requests};
2217
2218     if ($requests_total eq 0) {
2219         print "No requests yet.\n";
2220         return;
2221     }
2222
2223     print "Client requests total: " . $requests_total . "\n";
2224     if ($stats{crunches}) {
2225         my $outgoing_requests = $requests_total - $stats{crunches};
2226         print "Crunches: " . $stats{crunches} . " (" .
2227             get_percentage($requests_total, $stats{crunches}) . ")\n";
2228         print "Blocks: " . $stats{'blocked'} . " (" .
2229             get_percentage($requests_total, $stats{'blocked'}) . ")\n";
2230         print "Fast redirections: " . $stats{'fast-redirections'} . " (" .
2231             get_percentage($requests_total, $stats{'fast-redirections'}) . ")\n";
2232         print "Connection timeouts: " . $stats{'connection-timeout'} . " (" .
2233             get_percentage($requests_total, $stats{'connection-timeout'}) . ")\n";
2234         print "Connection failures: " . $stats{'connection-failure'} . " (" .
2235             get_percentage($requests_total, $stats{'connection-failure'}) . ")\n";
2236         print "Outgoing requests: " . $outgoing_requests . " (" .
2237             get_percentage($requests_total, $outgoing_requests) . ")\n";
2238     } else {
2239         print "No crunches detected. Is 'debug 1024' enabled?\n";
2240     }
2241
2242     print "Server keep-alive offers: " . $stats{'server-keep-alive'} . " (" .
2243         get_percentage($requests_total, $stats{'server-keep-alive'}) . ")\n";
2244     print "New outgoing connections: " . $new_connections . " (" .
2245         get_percentage($requests_total, $new_connections) . ")\n";
2246     print "Reused connections: " . $stats{'reused-connections'} . " (" .
2247         get_percentage($requests_total, $stats{'reused-connections'}) .
2248         "; server offers accepted: " .
2249         get_percentage($stats{'server-keep-alive'}, $stats{'reused-connections'}) . ")\n";
2250     print "Empty responses: " . $stats{'empty-responses'} . " (" .
2251         get_percentage($requests_total, $stats{'empty-responses'}) . ")\n";
2252     print "Empty responses on new connections: "
2253          . $stats{'empty-responses-on-new-connections'} . " (" .
2254         get_percentage($requests_total, $stats{'empty-responses-on-new-connections'})
2255         . ")\n";
2256     print "Empty responses on reused connections: " .
2257         $stats{'empty-responses-on-reused-connections'} . " (" .
2258         get_percentage($requests_total, $stats{'empty-responses-on-reused-connections'}) .
2259         ")\n";
2260     print "Client connections: " .  $stats{'closed-client-connections'} . "\n";
2261     if ($stats{'content-size-total'}) {
2262         print "Bytes of content transfered to the client: " .  $stats{'content-size-total'} . "\n";
2263     }
2264     my $lines_printed = 0;
2265     print "Client requests per connection distribution:\n";
2266     foreach my $client_requests (sort {
2267         $stats{'client-requests-on-connection'}{$b} <=> $stats{'client-requests-on-connection'}{$a}}
2268                                   keys %{$stats{'client-requests-on-connection'}
2269                                   })
2270     {
2271         my $count = $stats{'client-requests-on-connection'}{$client_requests};
2272         $client_requests_checksum += $count * $client_requests;
2273         if ($cli_options{'show-complete-request-distribution'} or ($lines_printed < 10)) {
2274             printf "%8d: %d\n", $count, $client_requests;
2275             $lines_printed++;
2276         }
2277     }
2278     unless ($cli_options{'show-complete-request-distribution'}) {
2279         printf "Enable --show-complete-request-distribution to get less common numbers as well.\n";
2280     }
2281     # Due to log rotation we may not have a complete picture for all the requests
2282     printf "Improperly accounted requests: ~%d\n", abs($requests_total - $client_requests_checksum);
2283
2284     if (exists $stats{method}) {
2285         print "Method distribution:\n";
2286         foreach my $method (sort {$stats{'method'}{$b} <=> $stats{'method'}{$a}} keys %{$stats{'method'}}) {
2287             printf "%8d : %-8s\n", $stats{'method'}{$method}, $method;
2288         }
2289     } else {
2290         print "Method distribution unknown. No CLF message parsed yet. Is 'debug 512' enabled?\n";
2291     }
2292     if (exists $stats{'http-version'}) {
2293         print "Client HTTP versions:\n";
2294         foreach my $http_version (sort {$stats{'http-version'}{$b} <=> $stats{'http-version'}{$a}} keys %{$stats{'http-version'}}) {
2295             printf "%8d : %-8s\n",  $stats{'http-version'}{$http_version}, $http_version;
2296         }
2297     } else {
2298         print "HTTP version distribution unknown. No CLF message parsed yet. Is 'debug 512' enabled?\n";
2299     }
2300     if (exists $stats{'status-code'}) {
2301         print "HTTP status codes:\n";
2302         foreach my $status_code (sort {$stats{'status-code'}{$b} <=> $stats{'status-code'}{$a}} keys %{$stats{'status-code'}}) {
2303             printf "%8d : %-8d\n",  $stats{'status-code'}{$status_code}, $status_code;
2304         }
2305     } else {
2306         print "Status code distribution unknown. No CLF message parsed yet. Is 'debug 512' enabled?\n";
2307     }
2308
2309     if ($cli_options{'url-statistics-threshold'} == 0) {
2310         print "URL statistics are disabled. Increase --url-statistics-threshold to enable them.\n";
2311     } else {
2312         print "Requested URLs:\n";
2313         foreach my $resource (sort {$stats{'resource'}{$b} <=> $stats{'resource'}{$a}} keys %{$stats{'resource'}}) {
2314             if ($stats{'resource'}{$resource} < $cli_options{'url-statistics-threshold'}) {
2315                 print "Skipped statistics for URLs below the treshold.\n";
2316                 last;
2317             }
2318             printf "%d : %s\n", $stats{'resource'}{$resource}, $resource;
2319         }
2320     }
2321
2322     if ($cli_options{'host-statistics-threshold'} == 0) {
2323         print "Host statistics are disabled. Increase --host-statistics-threshold to enable them.\n";
2324     } else {
2325         print "Requested Hosts:\n";
2326         foreach my $host (sort {$stats{'hosts'}{$b} <=> $stats{'hosts'}{$a}} keys %{$stats{'hosts'}}) {
2327             if ($stats{'hosts'}{$host} < $cli_options{'host-statistics-threshold'}) {
2328                 print "Skipped statistics for Hosts below the treshold.\n";
2329                 last;
2330             }
2331             printf "%d : %s\n", $stats{'hosts'}{$host}, $host;
2332         }
2333     }
2334 }
2335
2336
2337 ################################################################################
2338 # Functions that actually print stuff
2339 ################################################################################
2340
2341 sub print_clf_message() {
2342
2343     our ($ip, $timestamp, $request_line, $status_code, $size);
2344     my $output = '';
2345
2346     return if DEBUG_SUPPRESS_LOG_MESSAGES;
2347
2348     # Rebuild highlighted
2349     $output .= $h{'Number'} . $ip . $h{'Standard'};
2350     $output .= " - - ";
2351     $output .= "[" . $h{'Timestamp'} . $timestamp . $h{'Standard'} . "]";
2352     $output .= " ";
2353     $output .= "\"" . highlight_request_line("$request_line") . "\"";
2354     $output .= " ";
2355     $output .= $h{'Status'} . $status_code . $h{'Standard'};
2356     $output .= " ";
2357     $output .= $h{'Number'} . $size . $h{'Standard'};
2358     $output .= $line_end;
2359
2360     print $output;
2361 }
2362
2363 sub print_non_clf_message($) {
2364
2365     my $content = shift;
2366     my $msec_string = $no_msecs_mode ? '' : '.' . $req{$t}{'msecs'};
2367     my $line_start = $html_output_mode ? '' : $h{"Standard"};
2368
2369     return if DEBUG_SUPPRESS_LOG_MESSAGES;
2370
2371     print $line_start
2372         . $time_colours[$time_colour_index % 2]
2373         . $req{$t}{'time-stamp'}
2374         . $msec_string
2375         . $h{Standard} . " "
2376         . $thread_colours{$t}
2377         . $t
2378         . $h{Standard}
2379         . " "
2380         . $h{$req{$t}{'log-level'}}
2381         . $req{$t}{'log-level'}
2382         . $h{Standard}
2383         . ": "
2384         . $content
2385         . $line_end;
2386 }
2387
2388 sub shorten_thread_id($) {
2389
2390     my $thread_id = shift;
2391
2392     our %short_thread_ids;
2393     our $max_threadid;
2394
2395     unless (defined $short_thread_ids{$thread_id}) {
2396         $short_thread_ids{$thread_id} = sprintf "%.3d", $max_threadid++;
2397     }
2398
2399     return $short_thread_ids{$thread_id}
2400 }
2401
2402 sub parse_loop() {
2403
2404     my ($day, $time_stamp, $thread, $log_level, $content, $c, $msecs);
2405     my $last_msecs  = 0;
2406     my $last_thread = 0;
2407     my $last_timestamp = 0;
2408     my $filters_that_did_nothing;
2409     my $key;
2410     my $time_colour;
2411     $time_colour = paint_it('white');
2412
2413     my %log_level_handlers = (
2414         'Re-Filter'         => \&handle_loglevel_re_filter,
2415         'Header'            => \&handle_loglevel_header,
2416         'Connect'           => \&handle_loglevel_connect,
2417         'Redirect'          => \&handle_loglevel_redirect,
2418         'Request'           => \&handle_loglevel_request,
2419         'Crunch'            => \&handle_loglevel_crunch,
2420         'Gif-Deanimate'     => \&handle_loglevel_gif_deanimate,
2421         'Info'              => \&handle_loglevel_info,
2422         'CGI'               => \&handle_loglevel_cgi,
2423         'Force'             => \&handle_loglevel_force,
2424         'Error'             => \&handle_loglevel_error,
2425         'Fatal error'       => \&handle_loglevel_ignore,
2426         'Writing'           => \&handle_loglevel_ignore,
2427         'Received'          => \&handle_loglevel_ignore,
2428         'Actions'           => \&handle_loglevel_ignore,
2429         'Unknown log level' => \&handle_loglevel_ignore,
2430     );
2431
2432     while (<>) {
2433
2434         if (m/^(\d{4}-\d{2}-\d{2}|\w{3} \d{2}) (\d\d:\d\d:\d\d)\.?(\d+)? (?:Privoxy\()?([^\)\s]*)[\)]? ([\w -]*): (.*?)\r?$/) {
2435             $thread = $t = ($shorten_thread_ids) ? shorten_thread_id($4) : $4;
2436             $req{$t}{'day'} = $day = $1;
2437             $req{$t}{'time-stamp'} = $time_stamp = $2;
2438             $req{$t}{'msecs'} = $msecs = $3 ? $3 : 0; # Only the cool kids have micro second resolution;
2439             $req{$t}{'log-level'} = $log_level = $5;
2440             $req{$t}{'content'} = $content = $c = $6;
2441             $req{$t}{'log-message'} = $_;
2442             $no_special_header_highlighting = 0;
2443
2444             if (defined($log_level_handlers{$log_level})) {
2445
2446                 $content = $log_level_handlers{$log_level}($content);
2447
2448             } else {
2449
2450                 die "No handler found for log level \"$log_level\"\n";
2451             }
2452
2453             # Highlight Truncations
2454             if (length($_) > 4000) {
2455                 $content =~ s@(too long, truncated)]$@$h{'Truncation'}$1$h{'Standard'}]@g;
2456             }
2457
2458             next unless $content;
2459
2460             # Register threads to keep the colour constant
2461             if (!defined($thread_colours{$thread})) {
2462                 $thread_colours{$thread} = $all_colours[$thread_colour_index % @all_colours];
2463                 $thread_colour_index++;
2464             }
2465
2466             # Switch timestamp colour if timestamps differ
2467             if (($msecs ne $last_msecs) || ($time_stamp ne $last_timestamp)) {
2468                debug_message("Tick tack!") if DEBUG_TICKS;
2469                $time_colour = $time_colours[$time_colour_index % 2];
2470                $time_colour_index++;
2471                $last_msecs = $msecs;
2472                $last_timestamp = $time_stamp;
2473             }
2474
2475             $last_thread = $thread;
2476
2477             print_non_clf_message($content);
2478
2479         } elsif (m/^((?:\d+\.\d+\.\d+\.\d+|[:\d]+)) - - \[(.*)\] "(.*)" (\d+) (\d+)/) {
2480
2481             # LOG_LEVEL_CLF lines look like this
2482             # 61.152.239.32 - - [04/Mar/2007:18:28:23 +0100] "GET \
2483             #  http://ad.yieldmanager.com/imp?z=1&Z=120x600&s=109339&u=http%3A%2F%2Fwww.365loan.co.uk%2F&r=1\
2484             #  HTTP/1.1" 403 1730
2485             our ($ip, $timestamp, $request_line, $status_code, $size) = ($1, $2, $3, $4, $5);
2486
2487             print_clf_message();
2488
2489         } else {
2490
2491             # Some Privoxy log messages span more than one line,
2492             # usually to dump lots of content that doesn't need any syntax highlighting.
2493             # XXX: add mechanism to forward these lines to the right handler anyway.
2494             chomp();
2495             unless (DEBUG_SUPPRESS_LOG_MESSAGES or (SUPPRESS_EMPTY_LINES and m/^\s+$/)) {
2496                 print and print get_line_end(); # unless (SUPPRESS_EMPTY_LINES and m/^\s+$/);
2497             }
2498         }
2499     }
2500 }
2501
2502 sub stats_loop() {
2503
2504     my ($day, $time_stamp, $msecs, $thread, $log_level, $content);
2505     my $strict_checks = cli_option_is_set('strict-checks');
2506     my %log_level_handlers = (
2507          'Connect:'           => \&gather_loglevel_connect_stats,
2508          'Crunch:'            => \&gather_loglevel_crunch_stats,
2509          'Error:'             => \&gather_loglevel_error_stats,
2510          'Header:'            => \&gather_loglevel_header_stats,
2511          'Request:'           => \&gather_loglevel_request_stats,
2512     );
2513     my %ignored_log_levels = (
2514          'Actions:'           => \&handle_loglevel_ignore,
2515          'CGI:'               => \&handle_loglevel_ignore,
2516          'Fatal error:'       => \&handle_loglevel_ignore,
2517          'Force:'             => \&handle_loglevel_ignore,
2518          'Gif-Deanimate:'     => \&handle_loglevel_ignore,
2519          'Info:'              => \&handle_loglevel_ignore,
2520          'Re-Filter:'         => \&handle_loglevel_ignore,
2521          'Received:'          => \&handle_loglevel_ignore,
2522          'Redirect:'          => \&handle_loglevel_ignore,
2523          'Unknown log level:' => \&handle_loglevel_ignore,
2524          'Writing:'           => \&handle_loglevel_ignore,
2525     );
2526
2527     while (<>) {
2528         (undef, $time_stamp, $thread, $log_level, $content) = split(/ /, $_, 5);
2529
2530
2531         next if (not defined($log_level));
2532
2533         if ($time_stamp eq "-") {
2534
2535             gather_loglevel_clf_stats($content);
2536
2537         } elsif (defined($log_level_handlers{$log_level})) {
2538
2539             $content = $log_level_handlers{$log_level}($content, $thread);
2540
2541         } elsif ($strict_checks and not defined($ignored_log_levels{$log_level})) {
2542
2543             die "No handler found for: $_";
2544         }
2545     }
2546
2547     print_stats();
2548
2549 }
2550
2551 sub unbreak_lines_only_loop() {
2552     my $log_messages_reached = 0;
2553     while (<>) {
2554         chomp;
2555
2556             # Log level other than LOG_LEVEL_CLF?
2557         if (m/^(\d{4}-\d{2}-\d{2}|\w{3} \d{2}) (\d\d:\d\d:\d\d)\.?(\d+)? (?:Privoxy\()?([^\)\s]*)[\)]? ([\w -]*): (.*?)\r?$/ or
2558             # LOG_LEVEL_CLF?
2559             m/^((?:\d+\.\d+\.\d+\.\d+)) - - \[(.*)\] "(.*)" (\d+) (\d+)/) {
2560             $log_messages_reached = 1;
2561             print "\n";
2562
2563         } else {
2564             # Wrapped message
2565             $_ = "\n". $_  if /^(?:\d+\.\d+\.\d+\.\d+)/;
2566             $_ = " " . $_;
2567         }
2568         s@<BR>$@@;
2569         print;
2570         print "\n" unless $log_messages_reached;
2571     }
2572     print "\n";
2573 }
2574
2575 sub VersionMessage {
2576     my $version_message;
2577
2578     $version_message .= 'Privoxy-Log-Parser ' . PRIVOXY_LOG_PARSER_VERSION  . "\n";
2579     $version_message .= 'https://www.fabiankeil.de/sourcecode/privoxy-log-parser/' . "\n";
2580
2581     print $version_message;
2582 }
2583
2584 sub get_cli_options() {
2585
2586     our %cli_options = (
2587         'html-output'              => CLI_OPTION_DEFAULT_TO_HTML_OUTPUT,
2588         'title'                    => CLI_OPTION_TITLE,
2589         'no-syntax-highlighting'   => CLI_OPTION_NO_SYNTAX_HIGHLIGHTING,
2590         'no-embedded-css'          => CLI_OPTION_NO_EMBEDDED_CSS,
2591         'no-msecs'                 => CLI_OPTION_NO_MSECS,
2592         'shorten-thread-ids'       => CLI_OPTION_SHORTEN_THREAD_IDS,
2593         'show-ineffective-filters' => CLI_OPTION_SHOW_INEFFECTIVE_FILTERS,
2594         'statistics'               => CLI_OPTION_STATISTICS,
2595         'strict-checks'            => CLI_OPTION_STRICT_CHECKS,
2596         'url-statistics-threshold' => CLI_OPTION_URL_STATISTICS_THRESHOLD,
2597         'unbreak-lines-only'       => CLI_OPTION_UNBREAK_LINES_ONLY,
2598         'host-statistics-threshold'=> CLI_OPTION_HOST_STATISTICS_THRESHOLD,
2599         'show-complete-request-distribution' => CLI_OPTION_SHOW_COMPLETE_REQUEST_DISTRIBUTION,
2600     );
2601
2602     GetOptions (
2603         'html-output'              => \$cli_options{'html-output'},
2604         'title'                    => \$cli_options{'title'},
2605         'no-syntax-highlighting'   => \$cli_options{'no-syntax-highlighting'},
2606         'no-embedded-css'          => \$cli_options{'no-embedded-css'},
2607         'no-msecs'                 => \$cli_options{'no-msecs'},
2608         'shorten-thread-ids'       => \$cli_options{'shorten-thread-ids'},
2609         'show-ineffective-filters' => \$cli_options{'show-ineffective-filters'},
2610         'statistics'               => \$cli_options{'statistics'},
2611         'strict-checks'            => \$cli_options{'strict-checks'},
2612         'unbreak-lines-only'       => \$cli_options{'unbreak-lines-only'},
2613         'url-statistics-threshold=i'=> \$cli_options{'url-statistics-threshold'},
2614         'host-statistics-threshold=i'=> \$cli_options{'host-statistics-threshold'},
2615         'show-complete-request-distribution' => \$cli_options{'show-complete-request-distribution'},
2616         'version'                  => sub { VersionMessage && exit(0) },
2617         'help'                     => \&help,
2618    ) or exit(1);
2619
2620    $html_output_mode = cli_option_is_set('html-output');
2621    $no_msecs_mode = cli_option_is_set('no-msecs');
2622    $shorten_thread_ids = cli_option_is_set('shorten-thread-ids');
2623    $line_end = get_line_end();
2624 }
2625
2626 sub help() {
2627
2628     our %cli_options;
2629
2630     VersionMessage();
2631
2632     print << "    EOF"
2633
2634 Options and their default values if they have any:
2635     [--host-statistics-threshold $cli_options{'host-statistics-threshold'}]
2636     [--html-output]
2637     [--no-embedded-css]
2638     [--no-msecs]
2639     [--no-syntax-highlighting]
2640     [--shorten-thread-ids]
2641     [--show-ineffective-filters]
2642     [--show-complete-request-distribution]
2643     [--statistics]
2644     [--unbreak-lines-only]
2645     [--url-statistics-threshold $cli_options{'url-statistics-threshold'}]
2646     [--title $cli_options{'title'}]
2647     [--version]
2648 see "perldoc $0" for more information
2649     EOF
2650     ;
2651     exit(0);
2652 }
2653
2654 ################################################################################
2655 # main
2656 ################################################################################
2657 sub main() {
2658
2659     get_cli_options();
2660     set_background(DEFAULT_BACKGROUND);
2661     prepare_our_stuff();
2662
2663     print_intro();
2664
2665     # XXX: should explicitly reject incompatible argument combinations
2666     if (cli_option_is_set('unbreak-lines-only')) {
2667         unbreak_lines_only_loop();
2668     } elsif (cli_option_is_set('statistics')) {
2669         stats_loop();
2670     } else {
2671         parse_loop();
2672     }
2673
2674     print_outro();
2675 }
2676
2677 main();
2678
2679 =head1 NAME
2680
2681 B<privoxy-log-parser> - A parser and syntax-highlighter for Privoxy log messages
2682
2683 =head1 SYNOPSIS
2684
2685 B<privoxy-log-parser> [B<--html-output>]
2686 [B<--no-msecs>] [B<--no-syntax-higlighting>] [B<--statistics>]
2687 [B<--shorten-thread-ids>] [B<--show-ineffective-filters>]
2688 [B<--url-statistics-threshold>] [B<--version>]
2689
2690 =head1 DESCRIPTION
2691
2692 B<privoxy-log-parser> reads Privoxy log messages and
2693
2694 - syntax-highlights recognized lines,
2695
2696 - reformats some of them for easier comprehension,
2697
2698 - filters out less useful messages, and
2699
2700 - (in some cases) calculates additional information,
2701   like the compression ratio or how a filter affected
2702   the content size.
2703
2704 With B<privoxy-log-parser> you should be able to increase Privoxy's log level
2705 without getting confused by the resulting amount of output. For example for
2706 "debug 64" B<privoxy-log-parser> will (by default) only show messages that
2707 affect the content. If a filter doesn't cause any hits, B<privoxy-log-parser>
2708 will hide the "filter foo caused 0 hits" message.
2709
2710 =head1 OPTIONS
2711
2712 [B<--host-statistics-threshold>] Only show the request count for a host
2713 if it's above or equal to the given threshold. If the threshold is 0, host
2714 statistics are disabled.
2715
2716 [B<--html-output>] Use HTML and CSS for the syntax highlighting. If this option is
2717 omitted, ANSI escape sequences are used unless B<--no-syntax-highlighting> is active.
2718 This option is only intended to make embedding log excerpts in web pages easier.
2719 It does not escape any input!
2720
2721 [B<--no-msecs>] Don't expect milisecond resolution
2722
2723 [B<--no-syntax-highlighting>] Disable syntax-highlighting. Useful when
2724 the filtered output is piped into less in which case the ANSI control
2725 codes don't work, or if the terminal itself doesn't support the control
2726 codes.
2727
2728 [B<--shorten-thread-ids>] Shorten the thread ids to a three-digit decimal number.
2729 Note that the mapping from thread ids to shortened ids is created at run-time
2730 and thus varies with the input.
2731
2732 [B<--show-ineffective-filters>] Don't suppress log lines for filters
2733 that didn't modify the content.
2734
2735 [B<--show-complete-request-distribution>] Show the complete client request
2736 distribution in the B<--statistics> output. Without this option only the
2737 ten most common numbers are shown.
2738
2739 [B<--statistics>] Gather various statistics instead of syntax highlighting
2740 log messages. This is an experimental feature, if the results look wrong
2741 they very well might be. Also note that the results are pretty much guaranteed
2742 to be incorrect if Privoxy and Privoxy-Log-Parser aren't in sync.
2743
2744 [B<--strict-checks>] When generating statistics, look more careful at the
2745 input data and abort if it is unexpected, even if it doesn't affect the
2746 results. Significantly slows the parsing down and is not expected to catch
2747 any problems that matter.
2748 When highlighting, print warnings in case of unknown messages which can't be
2749 properly highlighted.
2750
2751 [B<--unbreak-lines-only>] Tries to fix lines that got messed up by a broken or
2752 interestingly configured mail client and thus are no longer recognized properly.
2753 Only fixes some breakage, but may be good enough or at least better than nothing.
2754 Doesn't do anything else, so you probably want to pipe the output into
2755 B<privoxy-log-parser> again.
2756
2757 [B<--url-statistics-threshold>] Only show the request count for a resource
2758 if it's above or equal to the given threshold. If the threshold is 0, URL
2759 statistics are disabled.
2760
2761 [B<--version>] Print version and exit.
2762
2763 =head1 EXAMPLES
2764
2765 To monitor a log file:
2766
2767 tail -F /usr/jails/privoxy-jail/var/log/privoxy/privoxy.log | B<privoxy-log-parser>
2768
2769 Replace '-F' with '-f' if your tail implementation lacks '-F' support
2770 or if the log won't get rotated anyway. The log file location depends
2771 on your system (Doh!).
2772
2773 To monitor Privoxy without having it write to a log file:
2774
2775 privoxy --no-daemon /usr/jails/privoxy-jail/usr/local/etc/privoxy/config 2>&1 | B<privoxy-log-parser>
2776
2777 Again, the config file location depends on your system. Output redirection
2778 depends on your shell, the above works with bourne shells.
2779
2780 To read a processed Privoxy log file from top to bottom, letting the content
2781 scroll by slightly faster than you can read:
2782
2783 B<privoxy-log-parser> < /usr/jails/privoxy-jail/var/log/privoxy/privoxy.log
2784
2785 This is probably only useful to fill screens in the background of haxor movies.
2786
2787 =head1 CAVEATS
2788
2789 Syntax highlighting with ANSI escape sequences will look strange
2790 if your background color isn't black.
2791
2792 Some messages aren't recognized yet and will not be fully highlighted.
2793
2794 B<privoxy-log-parser> is developed with Privoxy 3.0.7 or later in mind,
2795 using earlier Privoxy versions will probably result in an increased amount
2796 of unrecognized log lines.
2797
2798 Privoxy's log files tend to be rather large. If you use HTML
2799 highlighting some browsers can't handle them, get confused and
2800 will eventually crash because of segmentation faults or unexpected
2801 exceptions. This is a problem in the browser and not B<privoxy-log-parser>'s
2802 fault.
2803
2804 =head1 BUGS
2805
2806 Many settings can't be controlled through command line options yet.
2807
2808 =head1 SEE ALSO
2809
2810 privoxy(1)
2811
2812 =head1 AUTHOR
2813
2814 Fabian Keil <fk@fabiankeil.de>
2815
2816 =cut