e146b71bea6fbe7c55d0d3a9f4d9e849dd1b651f
[privoxy.git] / doc / source / user-manual.sgml
1 <!DOCTYPE article PUBLIC "-//OASIS//DTD DocBook V3.1//EN" [
2 <!entity % dummy "IGNORE"> 
3 <!entity supported SYSTEM "supported.sgml">
4 <!entity newfeatures SYSTEM "newfeatures.sgml">
5 <!entity p-intro SYSTEM "privoxy.sgml">
6 <!entity seealso SYSTEM "seealso.sgml">
7 <!entity buildsource SYSTEM "buildsource.sgml">
8 <!entity contacting SYSTEM "contacting.sgml">
9 <!entity history SYSTEM "history.sgml">
10 <!entity copyright SYSTEM "copyright.sgml">
11 <!entity license SYSTEM "license.sgml">
12 <!entity p-authors SYSTEM "p-authors.sgml">
13 <!entity config SYSTEM "p-config.sgml">
14 <!entity p-version "0.0.0">
15 <!entity p-status "UNRELEASED">
16 <!entity % p-authors-formal "INCLUDE"> <!-- include additional text, etc  -->
17 <!entity % p-not-stable "INCLUDE">
18 <!entity % p-stable "IGNORE">
19 <!entity % p-text "IGNORE">        <!-- define we are not a text only doc -->
20 <!entity % p-doc "INCLUDE">        <!-- and we are a formal doc           -->
21 <!entity % p-readme "IGNORE">
22 <!entity % user-man "IGNORE">
23 <!entity % config-file "IGNORE">
24 <!entity % p-supp-userman "IGNORE"> <!-- Omit some from supported.sgml    -->
25 <!entity  my-copy "&copy;">         <!-- kludge for docbook2man           -->
26 <!entity % draft "IGNORE">          <!-- WIP stuff    -->
27 ]>
28 <!--
29  File        :  $Source: /cvsroot/ijbswa/current/doc/source/user-manual.sgml,v $
30
31  Purpose     :  user manual
32                 This file belongs into
33                 ijbswa.sourceforge.net:/home/groups/i/ij/ijbswa/htdocs/
34
35  $Id: user-manual.sgml,v 1.123.2.24 2002/11/17 06:41:06 hal9 Exp $
36
37  Copyright (C) 2001, 2002 Privoxy Developers <developers@privoxy.org>
38  See LICENSE.
39
40  ========================================================================
41  NOTE: Please read developer-manual/documentation.html before touching 
42  anything in this, or other Privoxy documentation.
43  ========================================================================
44
45 -->
46
47 <article id="index">
48 <artheader>
49
50 <title>Privoxy &p-version; User Manual</title>
51
52 <pubdate>
53  <subscript>
54 <!-- Completely the wrong markup, but very little is allowed  -->
55 <!-- in this part of an article. FIXME -->
56  <link linkend="copyright">Copyright</link> &my-copy; 2001, 2002 by 
57  <ulink url="http://www.privoxy.org/">Privoxy Developers</ulink>
58  </subscript>
59 </pubdate>
60
61 <pubdate>$Id: user-manual.sgml,v 1.123.2.24 2002/11/17 06:41:06 hal9 Exp $</pubdate>
62
63 <!--
64
65 Note: the following should generate a separate page, and a live link to it,
66 all nicely done. But it doesn't for some mysterious reason. Please leave
67 commented unless it can be fixed proper. For the time being, the
68 copyright/license declarations will be in their own sgml.
69
70 Hal.
71
72 <copyright>
73   <year>2001</year>
74   <year>2002</year>
75   <holder>Privoxy Developers</holder>
76 </copyright>
77
78 <legalnotice id="legalnotice"> 
79  <para>
80   text goes here ........
81  </para>
82 </legalnotice>
83
84 -->
85
86
87 <abstract>
88
89 <![%dummy;[
90  <para>
91  <comment>
92   This is here to keep vim syntax file from breaking :/
93   If I knew enough to fix it, I would.
94   PLEASE DO NOT REMOVE! HB: hal@foobox.net
95  </comment>
96  </para>
97 ]]>
98
99  <para>
100   The <citetitle>User Manual</citetitle> gives users information on how to
101   install, configure and use <ulink
102   url="http://www.privoxy.org/"><application>Privoxy</application></ulink>.
103  </para>
104
105 <!-- Include privoxy.sgml boilerplate: -->
106  &p-intro;
107 <!-- end privoxy.sgml -->
108
109  <para>
110   You can find the latest version of the <citetitle>User Manual</citetitle> at  <ulink
111   url="http://www.privoxy.org/user-manual/">http://www.privoxy.org/user-manual/</ulink>.
112   Please see the <link linkend="contact">Contact section</link> on how to
113   contact the developers.
114  </para>
115
116 <!--   <para> -->
117 <!--    Feel free to send a note to the developers at <email>ijbswa-developers@lists.sourceforge.net</email>. -->
118 <!--   </para> -->
119 </abstract>
120
121 </artheader>
122
123 <!--   ~~~~~       New section      ~~~~~     -->
124 <sect1 label="1" id="introduction"><title>Introduction</title>
125 <para>
126  This documentation is included with the current &p-status; version of
127  <application>Privoxy</application>, v.&p-version;<![%p-not-stable;[, 
128  and is mostly complete at this point. The most up to date reference for the
129  time being is still the comments in the source files and in the individual
130  configuration files. Development of version 3.0 is currently nearing
131  completion, and includes many significant changes and enhancements over
132  earlier versions. The target release date for
133  stable v3.0 is <quote>soon</quote> ;-)]]>.
134 </para>
135
136 <!-- include only in non-stable versions -->
137 <![%p-not-stable;[
138 <para>
139  Since this is a &p-status; version, not all new features are well tested. This
140  documentation may be slightly out of sync as a result (especially with 
141  CVS sources). And there <emphasis>may be</emphasis> bugs, though hopefully
142  not many! 
143 </para>
144 ]]>
145
146 <!--   ~~~~~       New section      ~~~~~     -->
147 <sect2 id="features"><title>Features</title>
148 <para>
149  In addition to <application>Internet Junkbuster's</application> traditional
150  features of ad and banner blocking and cookie management,
151  <application>Privoxy</application> provides new features<![%p-not-stable;[,
152  some of them currently under development]]>:
153 </para>
154 <!-- Include newfeatures.sgml boilerplate here: -->
155  &newfeatures;
156 <!-- end boilerplate -->
157 </sect2>
158
159 </sect1>
160
161 <!--  ~  End section  ~  -->
162
163
164 <!--   ~~~~~       New section      ~~~~~     -->
165 <sect1 id="installation"><title>Installation</title>
166
167 <para>
168  <application>Privoxy</application> is available both in convenient pre-compiled
169  packages for a wide range of operating systems, and as raw source code.
170  For most users, we recommend using the packages, which can be downloaded from our
171  <ulink url="http://sourceforge.net/projects/ijbswa/">Privoxy Project
172  Page</ulink>.
173 </para>
174
175 <para>
176  Note: If you have a previous <application>Junkbuster</application> or
177  <application>Privoxy</application> installation on your system, you
178  will need to remove it.  On some platforms, this may be done for you as part
179  of their installation procedure. (See below for your platform). In any case
180  <emphasis>be sure to backup your old configuration if it is valuable to
181  you.</emphasis> See the <link linkend="upgradersnote">note to
182  upgraders</link> section below.
183 </para>
184
185 <!--   ~~~~~       New section      ~~~~~     --> 
186 <sect2 id="installation-packages"><title>Binary Packages</title>
187 <para>
188 How to install the binary packages depends on your operating system:
189 </para>
190
191 <!--   ~~~~~       New section      ~~~~~     -->
192 <sect3 id="installation-pack-rpm"><title>Red Hat, SuSE and Conectiva RPMs</title>
193
194 <para>
195  RPMs can be installed with <literal>rpm -Uvh privoxy-&p-version;-1.rpm</literal>,
196  and will use <filename>/etc/privoxy</filename> for the location 
197  of configuration files.
198 </para>
199
200 <para>
201  Note that on Red Hat, <application>Privoxy</application> will
202  <emphasis>not</emphasis> be automatically started on system boot. You will
203  need to enable that using <command>chkconfig</command>,
204  <command>ntsysv</command>, or similar methods. Note that SuSE will 
205 automatically start Privoxy in the boot process.
206 </para>
207
208 <para>
209  If you have problems with failed dependencies, try rebuilding the SRC RPM: 
210  <literal>rpm --rebuild privoxy-&p-version;-1.src.rpm</literal>. This 
211  will use your locally installed libraries and RPM version. 
212 </para>
213
214 <para>
215  Also note that if you have a <application>Junkbuster</application> RPM installed
216  on your system, you need to remove it first, because the packages conflict.
217  Otherwise, RPM will try to remove <application>Junkbuster</application>
218  automatically, before installing <application>Privoxy</application>.
219 </para>
220 </sect3>
221
222 <!--   ~~~~~       New section      ~~~~~     -->
223 <sect3 id="installation-deb"><title>Debian</title>
224 <para>
225  DEBs can be installed with <literal>dpkg -i
226  privoxy_&p-version;-1.deb</literal>, and will use
227  <filename>/etc/privoxy</filename> for the location of configuration
228  files.
229 </para>
230 </sect3>
231
232 <!--   ~~~~~       New section      ~~~~~     -->
233 <sect3 id="installation-pack-win"><title>Windows</title>
234
235 <para>
236  Just double-click the installer, which will guide you through
237  the installation process. You will find the configuration files
238  in the same directory as you installed Privoxy in. We do not
239  use the registry of Windows. 
240 </para>
241 </sect3>
242
243 <!--   ~~~~~       New section      ~~~~~     -->
244 <sect3 id="installation-pack-bintgz"><title>Solaris, NetBSD, FreeBSD, HP-UX</title>
245
246 <para>
247  Create a new directory, <literal>cd</literal> to it, then unzip and
248  untar the archive. For the most part, you'll have to figure out where
249  things go. <!-- FIXME, more info needed? -->
250 </para>
251 </sect3>
252
253 <!--   ~~~~~       New section      ~~~~~     -->
254 <sect3 id="installation-os2"><title>OS/2</title>
255
256 <para>
257  First, make sure that no previous installations of
258  <application>Junkbuster</application> and / or 
259  <application>Privoxy</application> are left on your
260  system. Check that no <application>Junkbuster</application>
261  or <application>Privoxy</application> objects are in
262  your startup folder.
263
264 </para>
265
266 <para>
267  Then, just double-click the WarpIN self-installing archive, which will
268  guide you through the installation process. A shadow of the
269  <application>Privoxy</application> executable will be placed in your
270  startup folder so it will start automatically whenever OS/2 starts.
271 </para>
272
273 <para>
274  The directory you choose to install <application>Privoxy</application>
275  into will contain all of the configuration files.
276 </para>
277 </sect3>
278
279 <!--   ~~~~~       New section      ~~~~~     -->
280 <sect3 id="installation-mac"><title>Mac OSX</title>
281 <para>
282  Unzip the downloaded file (you can either double-click on the file
283  from the finder, or from the desktop if you downloaded it there).
284  Then, double-click on the package installer icon named
285  <literal>Privoxy.pkg</literal>
286  and follow the installation process.
287  <application>Privoxy</application> will be installed in the folder
288  <literal>/Library/Privoxy</literal>.
289  It will start automatically whenever you start up.  To prevent it from
290  starting automatically, remove or rename the folder
291  <literal>/Library/StartupItems/Privoxy</literal>. 
292 </para>
293 <para>
294  To start Privoxy by hand, double-click on 
295  <literal>StartPrivoxy.command</literal> in the
296  <literal>/Library/Privoxy</literal> folder.
297  Or, type this command in the Terminal:
298 </para>
299 <para>
300   <screen>
301   /Library/Privoxy/StartPrivoxy.command
302   </screen>
303 </para>
304 <para>
305  You will be prompted for the administrator password.
306 </para>
307 </sect3>
308
309 <!--   ~~~~~       New section      ~~~~~     -->
310 <sect3 id="installation-amiga"><title>AmigaOS</title>
311 <para>
312  Copy and then unpack the <filename>lha</filename> archive to a suitable location. 
313  All necessary files will be installed into <application>Privoxy</application>
314  directory, including all configuration and log files. To uninstall, just 
315  remove this directory.
316 </para>
317 </sect3>
318
319 <!--   ~~~~~       New section      ~~~~~     -->
320 <sect3 id="installattion-gentoo"><title>Gentoo</title>
321 <para>
322  Gentoo source packages (Ebuilds) for <application>Privoxy</application> are 
323  contained in the Gentoo  Portage Tree (they are not on the download page, 
324  but there is a Gentoo section, where you can see when a new 
325  <application>Privoxy</application> Version is added to the  Portage Tree).
326 </para>
327 <para>
328  Before installing <application>Privoxy</application> under Gentoo just do 
329  first <literal>emerge rsync</literal> to get the latest changes from the 
330  Portage tree. With <literal>emerge privoxy</literal> you install the latest 
331  version.
332 </para>
333 <para>
334  Configuration files are in <filename>/etc/privoxy</filename>, the 
335  documentation is in <filename>/usr/share/doc/privoxy-&p-version;</filename>
336  and the Log directory is in <filename>/var/log/privoxy</filename>.
337 </para>
338 </sect3>
339
340 </sect2>
341
342 <!--   ~~~~~       New section      ~~~~~     -->
343 <sect2 id="installation-source"><title>Building from Source</title>
344
345 <para>
346  The most convenient way to obtain the <application>Privoxy</application> sources
347  is to download the source tarball from our <ulink url="http://sf.net/projects/ijbswa/">project
348  page</ulink>.
349 </para>
350
351 <para>
352  If you like to live on the bleeding edge and are not afraid of using
353  possibly unstable development versions, you can check out the up-to-the-minute
354  version directly from <ulink url="http://sourceforge.net/cvs/?group_id=11118">the
355  CVS repository</ulink> or simply download <ulink
356  url="http://cvs.sourceforge.net/cvstarballs/ijbswa-cvsroot.tar.gz">the nightly CVS
357  tarball.</ulink>
358 </para>
359
360 <!-- include buildsource.sgml boilerplate: -->
361 &buildsource;
362 <!-- end boilerplate -->
363
364 </sect2>
365 <!--   ~~~~~       New section      ~~~~~     --> 
366 <sect2 id="installation-keepupdated"><title>Keeping your Installation Up-to-Date</title>
367 <para>
368  As user feedback comes in and development continues, we will make updated versions
369  of both the main <link linkend="actions-file">actions file</link> (as a <ulink
370  url="http://sourceforge.net/project/showfiles.php?group_id=11118&amp;release_id=103670">separate
371  package</ulink>) and the software itself (including the actions file) available for
372  download.
373 </para>
374
375 <para>
376  If you wish to receive an email notification whenever we release updates of
377  <application>Privoxy</application> or the actions file, <ulink
378  url="http://lists.sourceforge.net/lists/listinfo/ijbswa-announce/">subscribe
379  to our announce  mailing list</ulink>, ijbswa-announce@lists.sourceforge.net.
380 </para>
381
382 <para>
383  In order not to loose your personal changes and adjustments when updating
384  to the latest <literal>default.action</literal> file we <emphasis>strongly
385  recommend</emphasis> that you use <literal>user.action</literal> for your
386  customization of <application>Privoxy</application>. See the <link
387  linkend="actions-file">Chapter on actions files</link> for details.
388 </para>
389
390 </sect2>
391
392
393 </sect1>
394
395 <!--  ~  End section  ~  -->
396
397 <!--   ~~~~~       New section      ~~~~~     -->
398 <sect1 id="upgradersnote">
399 <title>Note to Upgraders</title>
400 <para>
401  There are very significant changes from earlier 
402  <application>Junkbuster</application> versions to the current
403  <application>Privoxy</application>. The number, names, syntax, and
404  purposes of configuration files have substantially  changed.
405  <application>Junkbuster 2.0.x</application> configuration
406  files will not migrate, <application>Junkbuster 2.9.x</application>
407  and <application>Privoxy</application> configurations will need to be
408  ported. The functionalities of the old <filename>blockfile</filename>,
409  <filename>cookiefile</filename> and <filename>imagelist</filename> 
410  are now combined into the <link linkend="actions-file"><quote>actions
411  files</quote></link>.  
412  <filename>default.action</filename>, is the main actions file. Local
413  exceptions should best be put into <filename>user.action</filename>.
414 </para>
415 <para>
416  A <link linkend="filter-file"><quote>filter file</quote></link> (typically
417  <filename>default.filter</filename>) is new as of <application>Privoxy
418  2.9.x</application>, and provides some of the new sophistication (explained
419  below). <filename>config</filename> is much the same as before.
420 </para>
421 <para>
422  If upgrading from a 2.0.x version, you will have to use the new config 
423  files, and possibly adapt any personal rules from your older files.
424  When porting personal rules over from the old <filename>blockfile</filename>
425  to the new actions files, please note that even the pattern syntax has
426  changed. If upgrading from 2.9.x development versions, it is still
427  recommended to use the new configuration files.
428 </para>
429 <para>
430  A quick list of things to be aware of before upgrading: 
431 </para>
432
433 <para>
434  <itemizedlist>
435
436  <listitem>
437   <para>
438    The default listening port is now 8118 due to a conflict with another 
439    service (NAS).
440   </para>
441  </listitem>  
442  <listitem>
443   <para>  
444     Some installers may remove earlier versions completely. Save any 
445     important configuration files!
446   </para>
447  </listitem>
448  <listitem>
449   <para>
450    <application>Privoxy</application> is controllable with a web browser 
451    at the special URL: <ulink
452    url="http://config.privoxy.org/">http://config.privoxy.org/</ulink>
453    (Shortcut: <ulink url="http://p.p/">http://p.p/</ulink>). Many
454    aspects of configuration can be done here, including temporarily disabling
455    <application>Privoxy</application>.
456   </para>
457  </listitem> 
458  <listitem>
459   <para>
460    The primary configuration files for cookie management, ad and banner 
461    blocking, and many other aspects of <application>Privoxy</application>
462    configuration are the <link linkend="actions-file">actions
463    files</link>. It is strongly recommended to become familiar with the new
464    actions concept below, before modifying these files. Locally defined rules 
465    should go into <filename>user.action</filename>.
466   </para>
467  </listitem> 
468   <listitem>
469   <para>
470 <!-- I think it is best to keep this somewhat vague, in case  -->
471 <!-- the situation changes under our feet. -->   
472    Some installers may not automatically start
473    <application>Privoxy</application> after installation.
474   </para>
475  </listitem> 
476
477  </itemizedlist>
478 </para>
479 </sect1>
480
481 <!--   ~~~~~       New section      ~~~~~     -->
482 <sect1 id="quickstart"><title>Quickstart to Using <application>Privoxy</application></title>
483 <para>
484  <itemizedlist>
485
486  <listitem>
487   <para>
488    If upgrading, from versions before 2.9.16, please back up any configuration
489    files. See the <link linkend="upgradersnote">Note to Upgraders</link> Section.
490  </para>
491 </listitem> 
492
493  <listitem>
494   <para>
495   Install <application>Privoxy</application>. See the <link
496   linkend="installation">Installation Section</link> below for platform specific
497   information. 
498  </para>
499  </listitem>  
500
501  <listitem>
502   <para>
503    Advanced users and those who want to offer <application>Privoxy</application>
504    service to more than just their local machine should check the <link
505    linkend="config">main config file</link>, especially the <link
506    linkend="access-control">security-relevant</link> options. These are 
507    off by default.
508   </para>
509  </listitem>  
510
511  <listitem>
512   <para>
513   Start <application>Privoxy</application>, if the installation program has
514   not done this already (may vary according to platform). See the section
515   <link linkend="startup">Starting <application>Privoxy</application></link>.
516   </para>
517  </listitem>
518
519  <listitem>
520   <para>
521    Set your browser to use <application>Privoxy</application> as HTTP and
522    HTTPS (SSL) proxy by setting the proxy configuration for address of
523    <literal>127.0.0.1</literal> and port <literal>8118</literal>.
524    (<application>Junkbuster</application> and earlier versions of
525    <application>Privoxy</application> used port 8000.) See the section <link
526    linkend="startup">Starting <application>Privoxy</application></link> below
527    for more details on this.
528   </para>
529  </listitem>  
530
531  <listitem>
532   <para>
533     Flush your browser's disk and memory caches, to remove any cached ad images.
534     If using <application>Privoxy</application> to manage cookies, you should 
535     remove any currently stored cookies too.
536   </para>
537  </listitem> 
538
539  <listitem>
540   <para>
541    A default installation should provide a reasonable starting point for 
542    most. There will undoubtedly be occasions where you will want to adjust the
543    configuration, but that can be dealt with as the need arises. Little 
544    to no initial configuration is required in most cases.
545   </para>
546   <para>
547    See the <link linkend="configuration">Configuration section</link> for more
548    configuration options, and how to customize your installation.
549  <![%draft;[  You might also want to look at the <link
550    linkend="quickstart-ad-blocking">next section</link> for a quick
551    introduction to how <application>Privoxy</application> blocks ads and
552    banners.]]>
553   </para>
554  </listitem> 
555
556  <listitem>
557   <para>
558     If you experience ads that slipped through, innocent images that are
559     blocked, or otherwise feel the need to fine-tune
560     <application>Privoxy's</application> behaviour, take a look at the <link
561     linkend="actions-file">actions files</link>. As a quick start, you might
562     find the <link linkend="act-examples">richly commented examples</link>
563     helpful. You can also view and edit the actions files through the <ulink
564     url="http://config.privoxy.org">web-based user interface</ulink>. The
565     Appendix <quote><link linkend="actionsanat">Anatomy of an
566     Action</link></quote> has hints how to debug actions that
567     <quote>misbehave</quote>.
568   </para>
569  </listitem> 
570
571  <listitem>
572   <para>
573    Please see the section <link linkend="contact">Contacting the
574    Developers</link> on how to report bugs or problems with websites or to get
575    help. 
576   </para>
577  </listitem> 
578
579  <listitem>
580   <para>
581    Now enjoy surfing with enhanced comfort and privacy!
582   </para>
583  </listitem> 
584  
585  </itemizedlist>
586 </para>
587
588
589 <!--   ~~~~~       New section      ~~~~~     -->
590
591 <sect2 id="quickstart-ad-blocking">
592 <title>Quickstart to Ad Blocking</title>
593 <!--
594  NOTE:  This section is deliberately redundant for those that don't 
595  want to read the whole thing (which is getting lengthy).
596 -->
597 <para>
598  Ad blocking is but one of <application>Privoxy's</application>
599  array of features. Many of these features are for the technically minded advanced 
600  user. But, ad and banner blocking is surely common ground for everybody.
601 </para>
602 <para> 
603  This section will provide a quick summary of ad blocking so 
604  you can get up to speed quickly without having to read the more extensive
605  information provided below, though this is highly recommended.
606 </para>
607 <para>
608  First a bit of a warning ... blocking ads is much like blocking SPAM: the
609  more aggressive you are about it, the more likely you are to block 
610  things that were not intended. So there is a trade off here. If you want
611  extreme ad free browsing, be prepared to deal with more
612  <quote>problem</quote> sites, and to spend more time adjusting the
613  configuration to solve these unintended consequences. In short, there is 
614  not an easy way to eliminate <emphasis>all</emphasis> ads. Either take 
615  the easy way and settle for <emphasis>most</emphasis> ads blocked with the
616  default configuration, or jump in and tweak it for your personal surfing
617  habits and preferences.
618 </para>
619 <para>
620  Secondly, a brief explanation of <application>Privoxy's </application>
621  <quote>actions</quote>. <quote>Actions</quote> in this context, are 
622  the directives we use to tell <application>Privoxy</application> to perform
623  some task relating to HTTP transactions (i.e. web browsing). We tell
624  <application>Privoxy</application> to take some <quote>action</quote>. Each
625  action has a unique name and function. While there are many potential
626  <application>actions</application> in <application>Privoxy's</application>
627  arsenal, only a few are used for ad blocking. <link
628  linkend="actions">Actions</link>, and <link linkend="actions-file">action
629  configuration files</link>, are explained in depth below.
630 </para>
631 <para>
632  Actions are specified in <application>Privoxy's</application> configuration,
633  followed by one or more URLs to which the action should apply. URLs 
634  can actually be URL type <link linkend="af-patterns">patterns</link> that use
635  wildcards so they can apply potentially to a range of similar URLs. The
636  actions, together with the URL patterns are called a section.
637 </para>
638 <para>
639  When you connect to a website, the full URL will either match one or more
640  of the sections as defined in <application>Privoxy's</application> configuration,
641  or not. If so, then <application>Privoxy</application> will perform the
642  respective actions. If not, then nothing special happens. Furthermore, web
643  pages may contain embedded, secondary URLs that your web browser will
644  use to load additional components of the page, as it parses the
645  original page's HTML content. An ad image for instance, is just an URL
646  embedded in the page somewhere. The image itself may be on the same server,
647  or a server somewhere else on the Internet. Complex web pages will have many
648  such embedded URLs.
649 </para>
650
651 <para>
652  The actions we need to know about for ad blocking are:  <literal><link
653  linkend="block">block</link></literal>, <literal><link
654  linkend="handle-as-image">handle-as-image</link></literal>, and
655  <literal><link linkend="set-image-blocker">set-image-blocker</link></literal>:
656 </para>
657
658 <para>
659  <itemizedlist>
660   
661  <listitem>
662   <para>
663    <literal><link linkend="block">block</link></literal> - this action stops
664    any contact between your browser and any URL patterns that match this
665    action's configuration. It can be used for blocking ads, but also anything
666    that is determined to be unwanted. By itself, it simply stops any
667    communication with the remote server and sends <application>Privoxy</application>'s
668    own built-in BLOCKED page instead to let you now what has happened.
669   </para>
670  </listitem> 
671
672  <listitem>
673   <para>
674    <literal><link linkend="handle-as-image">handle-as-image</link></literal> - 
675    tells <application>Privoxy</application> to treat this URL as an image.
676    <application>Privoxy</application>'s default configuration already does this
677    for all common image types (e.g. GIF), but there are many situations where this
678    is not so easy to determine. So we'll force it in these cases. This is particularly
679    important for ad blocking, since  only if we know that it's an image of
680    some kind, can we replace it with an image of our choosing, instead of the 
681    <application>Privoxy</application> BLOCKED page (which would only result in
682    a <quote>broken image</quote> icon). There are some limitations to this
683    though. For instance, you can't just brute-force an image substitution for
684    an entire HTML page in most situations.
685   </para>
686  </listitem> 
687
688  <listitem>
689   <para>
690    <literal><link
691    linkend="set-image-blocker">set-image-blocker</link></literal> - tells
692    <application>Privoxy</application> what to display in place of an ad image that
693    has hit a block rule. For this to come into play, the URL must match a
694    <literal><link linkend="block">block</link></literal> action somewhere in the
695    configuration, <emphasis>and</emphasis>, it must also match an
696    <literal><link linkend="handle-as-image">handle-as-image</link></literal> action.
697   </para>
698   <para>
699    The configuration options on what to display instead of the ad are:
700   </para>
701   <simplelist>
702    <member>
703     &nbsp;&nbsp;&nbsp;<emphasis>pattern</emphasis> - a checkerboard pattern, so that an ad 
704     replacement is obvious. This is the default.
705    </member>
706   </simplelist>
707   <simplelist>
708    <member>
709     &nbsp;&nbsp;&nbsp;<emphasis>blank</emphasis> - A very small empty GIF image is displayed.
710     This is the so-called <quote>invisible</quote> configuration option.
711    </member>
712   </simplelist>
713   <simplelist>
714    <member>
715     &nbsp;&nbsp;&nbsp;<emphasis>http://&lt;URL&gt;</emphasis> - A redirect to any image anywhere
716     of the user's choosing (advanced usage).
717    </member>
718   </simplelist>
719   </listitem> 
720
721 </itemizedlist>
722 </para>
723
724 <para>
725  The quickest way to adjust any of these settings is with your browser through
726  the special <application>Privoxy</application> editor at <ulink
727  url="http://config.privoxy.org/show-status">http://config.privoxy.org/show-status</ulink>
728  (shortcut: <ulink url="http://p.p/">http://p.p/show-status</ulink>). This 
729  is an internal page, and does not require Internet access. Select the
730  appropriate <quote>actions</quote> file, and click
731  <quote><guibutton>Edit</guibutton></quote>. It is best to put personal or
732  local preferences in <filename>user.action</filename> since this is not
733  meant to be overwritten during upgrades, and will over-ride the settings in
734  other files. Here you can insert new <quote>actions</quote>, and URLs for ad
735  blocking or other purposes, and make other adjustments to the configuration.
736  <application>Privoxy</application> will detect these changes automatically.
737 </para>
738
739 <para>
740  A quick and simple step by step example:
741 </para>
742
743 <para>
744  <itemizedlist>
745
746   <listitem>
747    <para>
748      Right click on the ad image to be blocked, then select 
749      <quote><guimenuitem>Copy Link Location</guimenuitem></quote> from the
750      pop-up menu. 
751    </para>
752   </listitem> 
753   <listitem>
754    <para>
755     Set your browser to 
756     <ulink
757  url="http://config.privoxy.org/show-status">http://config.privoxy.org/show-status</ulink>
758    </para>
759   </listitem> 
760   <listitem>
761    <para>
762     Find <filename>user.action</filename> in the top section, and click 
763     on <quote><guibutton>Edit</guibutton></quote>:
764    </para>
765
766  <!-- image of editor and actions files selections -->
767  <para>
768   <figure pgwide="0" float="0"><title>Actions Files in Use</title>
769    <mediaobject>
770      <imageobject>
771       <imagedata  fileref="../images/files-in-use.jpg" format="jpg">
772        </imageobject> 
773        <textobject>
774         <phrase>[ Screenshot of Actions Files in Use ]</phrase>
775       </textobject>
776    </mediaobject>
777   </figure>
778  </para>
779  </listitem> 
780  
781  <listitem>
782   <para>
783    You should have a section with only
784    <literal><link linkend="block">block</link></literal> listed under 
785    <quote>Actions:</quote>.
786    If not, click a <quote><guibutton>Insert new section below</guibutton></quote>
787    button, and in the new section that just appeared, click the 
788    <guibutton>Edit</guibutton> button right under the word <quote>Actions:</quote>.
789    This will bring up a list of all actions. Find
790    <literal><link linkend="block">block</link></literal> near the top, and click
791    in the <quote>Enabled</quote> column, then <quote><guibutton>Submit</guibutton></quote>
792    just below the list.
793   </para>
794  </listitem> 
795  <listitem>
796   <para>
797    Now, in the <literal><link linkend="block">block</link></literal> actions section,
798    click the <quote><guibutton>Add</guibutton></quote> button, and paste the URL the
799    browser got from <quote><guimenuitem>Copy Link Location</guimenuitem></quote>.
800    Remove the <literal>http://</literal> at the beginning of the URL. Then, click
801    <quote><guibutton>Submit</guibutton></quote> (or
802    <quote><guibutton>OK</guibutton></quote> if in a pop-up window).
803   </para>
804  </listitem> 
805  <listitem>
806   <para>
807    Now go back to the original page, and press <keycap>SHIFT-Reload</keycap>
808    (or flush all browser caches). The image should be gone now.
809   </para>
810  </listitem> 
811  
812  </itemizedlist>
813 </para>
814
815 <para>
816  This is a very crude and simple example. There might be good reasons to use a 
817  wildcard pattern match to include potentially similar images from the same
818  site. For a more extensive explanation of <quote>patterns</quote>, and 
819  the entire actions concept, see <link linkend="actions-file">the Actions
820  section</link>.
821 </para>
822
823 <para>
824  For advanced users who want to hand edit their config files, you might want
825  to now go to the <link linkend="act-examples">Actions Files Tutorial</link>.
826  The ideas explained therein also apply to the web-based editor.
827 </para>
828
829 </sect2>
830
831 </sect1>
832
833 <!--  ~  End section  ~  -->
834
835
836 <!--   ~~~~~       New section      ~~~~~     -->
837 <sect1 id="startup">
838 <title>Starting <application>Privoxy</application></title>
839 <para>
840  Before launching <application>Privoxy</application> for the first time, you
841  will want to configure your browser(s) to use
842  <application>Privoxy</application> as a HTTP and HTTPS proxy. The default is
843  127.0.0.1 (or localhost) for the proxy address, and port 8118 (earlier versions
844  used port 8000). This is the one configuration step that must be done!
845 </para>
846 <para>
847  Please note that <application>Privoxy</application> can only proxy HTTP and 
848  HTTPS traffic. It will not work with FTP or other protocols.
849 </para>
850
851  <!-- image of Mozilla Proxy configuration -->
852  <para>
853   <figure pgwide="0" float="0"><title>Proxy Configuration (Mozilla)</title>
854    <mediaobject>
855      <imageobject>
856       <imagedata  fileref="../images/proxy_setup.jpg" format="jpg">
857        </imageobject> 
858        <textobject>
859         <phrase>[ Screenshot of Mozilla Proxy Configuration ]</phrase>
860       </textobject>
861    </mediaobject>
862   </figure>
863  </para>
864  
865 <para> 
866  With <application>Netscape</application> (and
867  <application>Mozilla</application>), this can be set under:
868 </para>
869  
870 <literallayout>
871 <!-- Mix ascii and gui art, something for everybody -->
872 <!-- spacing on this is tricky -->
873  <guibutton>Edit</guibutton>
874    |_   
875          <guibutton>Preferences</guibutton>
876                 |_       
877                         <guibutton>Advanced</guibutton>
878                               |_     
879                                     <guibutton>Proxies</guibutton>
880                                          |_       
881                                                 <guibutton>HTTP Proxy</guibutton>
882 </literallayout>
883
884 <para>
885  For <application>Internet Explorer</application>: 
886 </para>
887
888 <literallayout>
889 <!-- Mix ascii and gui art, something for everybody -->
890 <!-- spacing on this is tricky -->
891  <guibutton>Tools</guibutton>
892      |_   
893          <guibutton>Internet Properties</guibutton>
894                             |_       
895                                       <guibutton>Connections</guibutton>
896                                                |_     
897                                                             <guibutton>LAN Settings</guibutton>
898 </literallayout>
899
900 <para>
901  Then, check <quote>Use Proxy</quote> and fill in the appropriate info
902  (Address: 127.0.0.1, Port: 8118). Include HTTPS (SSL), if you want HTTPS
903  proxy support too. 
904 </para>
905
906 <para>
907  After doing this, flush your browser's disk and memory caches to force a
908  re-reading of all pages and to get rid of any ads that may be cached. You 
909  are now ready to start enjoying the benefits of using
910  <application>Privoxy</application>!
911 </para>
912
913 <para>
914  <application>Privoxy</application> is typically started by specifying the
915  main configuration file to be used on the command line. If no configuration
916  file is specified on the command line, <application>Privoxy</application>
917  will look for a file named <filename>config</filename> in the current
918  directory. Except on Win32 where it will try <filename>config.txt</filename>.
919 </para>
920
921 <sect2 id="start-redhat">
922 <title>Red Hat and Conectiva</title>
923 <para>
924  We use a script. Note that Red Hat does not start Privoxy upon booting per
925  default. It will use the file <filename>/etc/privoxy/config</filename> as
926  its main configuration file.
927 </para>
928 <para>
929  <screen>
930  # /etc/rc.d/init.d/privoxy start
931 </screen>
932 </para>
933 </sect2>
934
935 <sect2 id="start-debian">
936 <title>Debian</title>
937 <para>
938  We use a script. Note that Debian starts Privoxy upon booting per
939  default.  It will use the file
940  <filename>/etc/privoxy/config</filename> as its main configuration
941  file.
942 </para>
943 <para>
944  <screen>
945  # /etc/init.d/privoxy start
946 </screen>
947 </para>
948 </sect2>
949
950 <sect2 id="start-suse">
951 <title>SuSE</title>
952 <para>
953 We use a script. It will use the file <filename>/etc/privoxy/config</filename>
954 as its main configuration file. Note that SuSE starts Privoxy upon booting
955 your PC.
956 </para>
957 <para>
958  <screen>
959  # rcprivoxy start
960 </screen>
961 </para>
962 </sect2>
963
964 <sect2 id="start-windows">
965 <title>Windows</title>
966 <para>
967 Click on the Privoxy Icon to start Privoxy. If no configuration file is
968  specified on the command line, <application>Privoxy</application> will look
969  for a file named <filename>config.txt</filename>. Note that Windows will
970  automatically start Privoxy upon booting you PC.
971 </para>
972 </sect2>
973
974 <sect2 id="start-unices">
975 <title>Solaris, NetBSD, FreeBSD, HP-UX and others</title>
976 <para>
977 Example Unix startup command:
978 </para>
979 <para>
980  <screen>
981  # /usr/sbin/privoxy /etc/privoxy/config
982 </screen>
983 </para>
984 </sect2>
985
986 <sect2 id="start-os2">
987 <title>OS/2</title>
988 <para>
989  During installation, <application>Privoxy</application> is configured to
990  start automatically when the system restarts. You can start it manually by
991  double-clicking on the <application>Privoxy</application> icon in the
992  <application>Privoxy</application> folder.
993 </para>
994 </sect2>
995
996 <sect2 id="start-macosx">
997 <title>Mac OSX</title>
998 <para>
999  During installation, <application>Privoxy</application> is configured to
1000  start automatically when the system restarts.  To start Privoxy by hand,
1001  double-click on the <literal>StartPrivoxy.command</literal> icon in the
1002  <literal>/Library/Privoxy</literal> folder.  Or, type this command
1003  in the Terminal:
1004 </para>
1005 <para>
1006   <screen>
1007   /Library/Privoxy/StartPrivoxy.command
1008   </screen>
1009 </para>
1010 <para>
1011  You will be prompted for the administrator password.
1012 </para>
1013 </sect2>
1014
1015
1016 <sect2 id="start-amigaos">
1017 <title>AmigaOS</title>
1018 <para>
1019  Start <application>Privoxy</application> (with RUN &lt;&gt;NIL:) in your
1020  <filename>startnet</filename> script (AmiTCP), in
1021  <filename>s:user-startup</filename> (RoadShow), as startup program in your
1022  startup script (Genesis), or as startup action (Miami and MiamiDx). 
1023  <application>Privoxy</application> will automatically quit when you quit your
1024  TCP/IP stack (just ignore the harmless warning your TCP/IP stack may display that
1025  <application>Privoxy</application> is still running).
1026 </para>
1027 </sect2>
1028
1029 <sect2 id="start-gentoo">
1030 <title>Gentoo</title>
1031 <para>
1032  A script is again used. It will use the file <filename>/etc/privoxy/config 
1033  </filename> as its main configuration file.
1034 </para>
1035 <para>
1036  <screen>
1037  /etc/init.d/privoxy start
1038  </screen>
1039 </para>
1040 <para>
1041  Note that <application>Privoxy</application> is not automatically started at 
1042  boot time by default. You can change this with the <literal>rc-update</literal> 
1043  command.
1044 </para>
1045 <para> 
1046  <screen>
1047  rc-update add privoxy default
1048  </screen>
1049 </para>
1050 </sect2>
1051
1052 <!--
1053
1054 <para>
1055  See the section <link linkend="cmdoptions">Command line options</link> for
1056  furher info.
1057 </para>
1058
1059 must find a better place for this paragraph
1060
1061 <para>
1062  The included default configuration files should give a reasonable starting
1063  point. Most of the per site configuration is done in the
1064  <ulink url="actions-file.html"><quote>actions</quote></ulink> files. These are
1065  where various cookie actions are defined, ad and banner blocking, and other
1066  aspects of <application>Privoxy</application> configuration. There are several
1067  such files included, with varying levels of aggressiveness. 
1068 </para>
1069
1070 <para>
1071  You will probably want to keep an eye out for sites for which you may prefer
1072  persistent cookies, and add these to your actions configuration as needed. By
1073  default, most of these will be accepted only during the current browser
1074  session (aka <quote>session cookies</quote>), unless you add them to the
1075  configuration. If you want the browser to handle this instead, you will need
1076  to edit <filename>user.action</filename> (or through the web based interface)
1077  and disable this feature. If you use more than one browser, it would make
1078  more sense to let <application>Privoxy</application> handle this. In which
1079  case, the browser(s) should be set to accept all cookies.
1080 </para>
1081
1082 <para>
1083  Another feature where you will probably want to define exceptions for trusted
1084  sites is the popup-killing (through the <ulink
1085  url="actions-file.html#KILL-POPUPS"><quote>+kill-popups</quote></ulink> and
1086  <ulink
1087  url="actions-file.html#FILTER-POPUPS"><quote>+filter{popups}</quote></ulink>
1088  actions), because your favorite shopping, banking, or leisure site may need
1089  popups (explained below). 
1090 </para>
1091
1092 <para>
1093  <application>Privoxy</application> is HTTP/1.1 compliant,  but not all of
1094  the optional 1.1 features are as yet supported. In the unlikely event that
1095  you experience inexplicable problems with browsers that use HTTP/1.1 per default
1096  (like <application>Mozilla</application> or recent versions of I.E.), you might
1097  try to force HTTP/1.0 compatibility. For Mozilla, look under <literal>Edit -&gt;
1098  Preferences -&gt; Debug -&gt; Networking</literal>.
1099  Alternatively, set the <quote>+downgrade-http-version</quote> config option in
1100  <filename>default.action</filename> which will downgrade your browser's HTTP
1101  requests from HTTP/1.1 to HTTP/1.0 before processing them.
1102 </para>
1103
1104 <para>
1105  After running <application>Privoxy</application> for a while, you can 
1106  start to fine tune the configuration to suit your personal, or site, 
1107  preferences and requirements. There are many, many aspects that can 
1108  be customized. <quote>Actions</quote> 
1109  can be adjusted by pointing your browser to 
1110  <ulink url="http://config.privoxy.org/">http://config.privoxy.org/</ulink>
1111  (shortcut: <ulink url="http://p.p/">http://p.p/</ulink>), 
1112  and then follow the link to <quote>View &#38; Change the Current Configuration</quote>. 
1113  (This is an internal page and does not require Internet access.)
1114 </para>
1115
1116 <para>
1117  In fact, various aspects of <application>Privoxy</application>
1118  configuration can be viewed from this page, including 
1119  current configuration parameters, source code version numbers, 
1120  the browser's request headers, and <quote>actions</quote> that apply 
1121  to a given URL. In addition to the actions file 
1122  editor mentioned above, <application>Privoxy</application> can also 
1123  be turned <quote>on</quote> and <quote>off</quote> (toggled) from this page.
1124 </para>
1125
1126 <para>
1127  If you encounter problems, try loading the page without
1128  <application>Privoxy</application>. If that helps, enter the URL where
1129  you have the problems into <ulink url="http://p.p/show-url-info">the browser
1130  based rule tracing utility</ulink>. See which rules apply and why, and
1131  then try turning them off for that site one after the other, until the problem
1132  is gone. When you have found the culprit, you might want to turn the rest on
1133  again.
1134 </para>
1135
1136 <para>
1137  If the above paragraph sounds gibberish to you, you might want to <link
1138  linkend="actions-file">read more about the actions concept</link>
1139  or even dive deep into the <link linkend="actionsanat">Appendix
1140  on actions</link>.
1141 </para>
1142
1143 <para>
1144  If you can't get rid of the problem at all, think you've found a bug in
1145  Privoxy, want to propose a new feature or smarter rules, please see the 
1146  section <link linkend="contact"><quote>Contacting the
1147  Developers</quote></link> below. 
1148 </para>
1149
1150 -->
1151
1152 <!--   ~~~~~       New section      ~~~~~     -->
1153 <sect2 id="cmdoptions">
1154 <title>Command Line Options</title>
1155 <para>
1156  <application>Privoxy</application> may be invoked with the following
1157  command-line options:
1158 </para>
1159
1160 <para>
1161  <itemizedlist>
1162
1163  <listitem>
1164   <para>
1165     <emphasis>--version</emphasis>
1166   </para>
1167   <para>
1168      Print version info and exit. Unix only.
1169   </para>
1170  </listitem> 
1171  <listitem>
1172   <para>
1173     <emphasis>--help</emphasis>
1174   </para>
1175   <para>
1176    Print short usage info and exit. Unix only.
1177   </para>
1178  </listitem> 
1179  <listitem>
1180   <para>
1181    <emphasis>--no-daemon</emphasis>
1182   </para>
1183   <para>
1184    Don't become a daemon, i.e. don't fork and become process group
1185    leader, and don't detach from controlling tty. Unix only.
1186   </para>
1187  </listitem> 
1188  <listitem>
1189   <para>
1190    <emphasis>--pidfile FILE</emphasis>
1191   
1192   </para>
1193   <para>
1194    On startup, write the process ID to <emphasis>FILE</emphasis>. Delete the
1195    <emphasis>FILE</emphasis> on exit. Failure to create or delete the
1196    <emphasis>FILE</emphasis> is non-fatal. If no <emphasis>FILE</emphasis>
1197    option is given, no PID file will be used. Unix only.
1198   </para>
1199  </listitem> 
1200  <listitem>
1201   <para>
1202    <emphasis>--user USER[.GROUP]</emphasis>
1203   
1204   </para>
1205   <para>
1206    After (optionally) writing the PID file, assume the user  ID  of
1207    <emphasis>USER</emphasis>, and if included the GID of GROUP.  Exit if the
1208    privileges are not sufficient to do so. Unix only.
1209   </para>
1210  </listitem> 
1211  <listitem>
1212   <para>
1213     <emphasis>configfile</emphasis>
1214   </para>
1215   <para>
1216     If no <emphasis>configfile</emphasis> is included on the command line, 
1217     <application>Privoxy</application> will look for a file named 
1218     <quote>config</quote> in the current directory (except on Win32 
1219     where it will look for <quote>config.txt</quote> instead). Specify 
1220     full path to avoid confusion. If no config file is found, 
1221     <application>Privoxy</application> will fail to start.
1222   </para>
1223  </listitem> 
1224
1225  </itemizedlist>
1226 </para>
1227
1228 </sect2>
1229
1230 </sect1>
1231
1232 <!--  ~  End section  ~  -->
1233
1234
1235 <!--   ~~~~~       New section      ~~~~~     -->
1236 <sect1 id="configuration"><title><application>Privoxy</application> Configuration</title>
1237  <para>
1238   All <application>Privoxy</application> configuration is stored  
1239   in text files. These files can be edited with a text editor.
1240   Many important aspects of <application>Privoxy</application> can 
1241   also be controlled easily with a web browser.
1242  </para>
1243
1244
1245 <!--   ~~~~~       New section      ~~~~~     -->
1246
1247 <sect2>
1248 <title>Controlling <application>Privoxy</application> with Your Web Browser</title>
1249 <para>
1250  <application>Privoxy</application>'s user interface can be reached through the special 
1251  URL <ulink url="http://config.privoxy.org/">http://config.privoxy.org/</ulink>
1252  (shortcut: <ulink url="http://p.p/">http://p.p/</ulink>), 
1253  which is a built-in page and works without Internet access.
1254  You will see the following section:
1255
1256 </para>
1257
1258 <!-- Needs to be put in a table and colorized  -->
1259 <screen>
1260  <msgtext>
1261  <bridgehead renderas="sect2">&nbsp;&nbsp;&nbsp;&nbsp;Privoxy Menu</bridgehead>
1262
1263  <simplelist>
1264  <member>
1265   &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&squf;&nbsp;&nbsp;<ulink url="http://config.privoxy.org/show-status">View & change the current configuration</ulink>
1266  </member>
1267  <member>
1268   &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&squf;&nbsp;&nbsp;<ulink url="http://config.privoxy.org/show-version">View the source code version numbers</ulink>
1269  </member>
1270  <member>
1271   &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&squf;&nbsp;&nbsp;<ulink url="http://config.privoxy.org/show-request">View the request headers.</ulink>
1272  </member>
1273  <member>
1274   &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&squf;&nbsp;&nbsp;<ulink url="http://config.privoxy.org/show-url-info">Look up which actions apply to a URL and why</ulink>
1275  </member>
1276  <member>
1277   &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&squf;&nbsp;&nbsp;<ulink url="http://config.privoxy.org/toggle">Toggle Privoxy on or off</ulink>
1278  </member>
1279  <member>
1280   &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&squf;&nbsp;&nbsp;<ulink url="http://www.privoxy.org/&p-version;/user-manual/">Documentation</ulink>
1281  </member>
1282  </simplelist>
1283  </msgtext>
1284 </screen>
1285
1286
1287 <para>
1288  This should be self-explanatory. Note the first item leads to an editor for the
1289  <link linkend="actions-file">actions files</link>, which is where the ad, banner,
1290  cookie, and URL blocking magic is configured as well as other advanced features of
1291  <application>Privoxy</application>. This is an easy way to adjust various
1292  aspects of <application>Privoxy</application> configuration. The actions
1293  file, and other configuration files, are explained in detail below. 
1294 </para>
1295
1296 <para>
1297  <quote>Toggle Privoxy On or Off</quote> is handy for sites that might 
1298  have problems with your current actions and filters. You can in fact use
1299  it as a test to see whether it is <application>Privoxy</application> 
1300  causing the problem or not. <application>Privoxy</application> continues 
1301  to run as a proxy in this case, but all manipulation is disabled, i.e.
1302  <application>Privoxy</application> acts like a normal forwarding proxy. There
1303  is even a toggle <link linkend="bookmarklets">Bookmarklet</link> offered, so
1304  that you can toggle <application>Privoxy</application> with one click from
1305  your browser.
1306 </para>
1307
1308 </sect2>
1309
1310 <!--  ~  End section  ~  -->
1311
1312
1313
1314
1315 <!--   ~~~~~       New section      ~~~~~     -->
1316
1317 <sect2 id="confoverview">
1318 <title>Configuration Files Overview</title>
1319 <para>
1320  For Unix, *BSD and Linux, all configuration files are located in
1321  <filename>/etc/privoxy/</filename> by default. For MS Windows, OS/2, and
1322  AmigaOS these are all in the same directory as the 
1323  <application>Privoxy</application> executable. <![%p-not-stable;[ The name
1324  and number of configuration files has changed from previous versions, and is
1325  subject to change as development progresses.]]>
1326 </para>
1327
1328 <para>
1329  The installed defaults provide a reasonable starting point, though 
1330  some settings may be aggressive by some standards. For the time being, the
1331  principle configuration files are:
1332 </para>
1333
1334 <para>
1335  <itemizedlist>
1336
1337   <listitem>
1338    <para>
1339      The <link linkend="config">main configuration file</link> is named <filename>config</filename>
1340      on Linux, Unix, BSD, OS/2, and AmigaOS and <filename>config.txt</filename>
1341      on Windows. This is a required file.
1342    </para>
1343   </listitem> 
1344
1345   <listitem>
1346    <para>
1347     <filename>default.action</filename> (the main <link linkend="actions-file">actions file</link>)
1348     is used to define which <quote>actions</quote> relating to banner-blocking, images, pop-ups,
1349     content modification, cookie handling etc should be applied by default. It also defines many
1350     exceptions (both positive and negative) from this default set of actions that enable 
1351     <application>Privoxy</application> to selectively eliminate the junk, and only the junk, on
1352     as many websites as possible.
1353    </para>
1354    <para>
1355     Multiple actions files may be defined in <filename>config</filename>. These 
1356     are processed in the order they are defined. Local customizations and locally 
1357     preferred exceptions to the default policies  as defined in
1358     <filename>default.action</filename> (which you will most probably want
1359     to define sooner or later) are probably best applied in
1360     <filename>user.action</filename>, where you can preserve them across
1361     upgrades. <filename>standard.action</filename> is for
1362     <application>Privoxy's</application> internal use.
1363    </para>
1364    <para>    
1365     There is also a web based editor that can be accessed from
1366     <ulink
1367     url="http://config.privoxy.org/show-status">http://config.privoxy.org/show-status</ulink>
1368     (Shortcut: <ulink
1369     url="http://p.p/show-status">http://p.p/show-status</ulink>) for the
1370     various actions files. 
1371    </para>
1372   </listitem> 
1373
1374   <listitem>
1375    <para>
1376     <filename>default.filter</filename> (the <link linkend="filter-file">filter
1377     file</link>) can be used to re-write the raw page content, including
1378     viewable text as well as embedded HTML and JavaScript, and whatever else
1379     lurks on any given web page. The filtering jobs are only pre-defined here;
1380     whether to apply them or not is up to the actions files.
1381    </para>
1382   </listitem> 
1383
1384  </itemizedlist>
1385 </para>
1386
1387 <para>
1388  All files use the <quote><literal>#</literal></quote> character to denote a
1389  comment (the rest of the line will be ignored) and understand line continuation
1390  through placing a backslash ("<literal>\</literal>") as the very last character
1391  in a line. If the <literal>#</literal> is preceded by a backslash, it looses
1392  its special function. Placing a <literal>#</literal> in front of an otherwise
1393  valid configuration line to prevent it from being interpreted is called "commenting
1394  out" that line.
1395 </para>
1396
1397 <para>
1398  The actions files and <filename>default.filter</filename> 
1399  can use Perl style <link linkend="regex">regular expressions</link> for
1400  maximum flexibility. 
1401 </para>
1402
1403 <para>
1404  After making any changes, there is no need to restart
1405  <application>Privoxy</application> in order for the changes to take
1406  effect. <application>Privoxy</application> detects such changes 
1407  automatically. Note, however, that it may take one or two additional
1408  requests for the change to take effect. When changing the listening address
1409  of <application>Privoxy</application>, these <quote>wake up</quote> requests
1410  must obviously be sent to the <emphasis>old</emphasis> listening address.
1411 </para>
1412
1413 <![%p-not-stable;[
1414 <para>
1415  While under development, the configuration content is subject to change. 
1416  The below documentation may not be accurate by the time you read this. 
1417  Also, what constitutes a <quote>default</quote> setting, may change, so 
1418  please check all your configuration files on important issues.
1419 </para>
1420 ]]>
1421
1422 </sect2>
1423 </sect1>
1424 <!--  ~  End section  ~  -->
1425
1426
1427 <!--   ~~~~~~~~       New section Header    ~~~~~~~~~     -->
1428
1429 <!-- **************************************************** -->
1430 <!-- Include config.sgml here -->
1431 <!-- This is where the entire config file is detailed. -->
1432  &config;
1433 <!-- end include  -->
1434
1435
1436 <!--  ~  End section  ~  -->
1437
1438
1439
1440 <!--   ~~~~~~~~       New section Header    ~~~~~~~~~     -->
1441
1442 <sect1 id="actions-file"><title>Actions Files</title>
1443
1444 <para>
1445  The actions files are used to define what actions
1446  <application>Privoxy</application> takes for which URLs, and thus determine
1447  how ad images, cookies and various other aspects of HTTP content and
1448  transactions are handled, and on which sites (or even parts thereof). There 
1449  are three such files included with <application>Privoxy</application>
1450  with differing purposes:
1451  </para>
1452  
1453  <para>
1454   <itemizedlist>
1455    <listitem>
1456     <para>
1457      <filename>default.action</filename> - is the primary action file 
1458      that sets the initial values for all actions. It is intended to 
1459      provide a base level of functionality for
1460      <application>Privoxy's</application> array of features. So it is 
1461      a set of broad rules that should work reasonably well for users everywhere.
1462      This is the file that the developers are keeping updated, and <link
1463      linkend="installation-keepupdated">making available to users</link>.
1464     </para>
1465    </listitem> 
1466    <listitem>
1467     <para>
1468      <filename>user.action</filename> - is intended to be for local site 
1469      preferences and exceptions. As an example, if your ISP or your bank
1470      has specific requirements, and need special handling, this kind of 
1471      thing should go here. This file will not be upgraded.
1472     </para>
1473   </listitem> 
1474    <listitem>
1475     <para>
1476      <filename>standard.action</filename> - is used by the web based editor, 
1477      to set various pre-defined sets of rules for the default actions section
1478      in <filename>default.action</filename>. These have increasing levels of
1479      aggressiveness <emphasis>and have no influence on your browsing unless
1480      you select them explicitly in the editor</emphasis>. It is not recommend
1481      to edit this file.
1482     </para>
1483     <para>
1484      The default profiles, and their associated actions, as pre-defined in
1485      <filename>standard.action</filename> are:
1486     </para>
1487     <para>
1488     <table frame=all><title>Default Configurations</title>
1489     <tgroup cols=4 align=left colsep=1 rowsep=1>
1490     <colspec colname=c1>
1491     <colspec colname=c2>
1492     <colspec colname=c3>
1493     <colspec colname=c4>
1494     <thead>
1495     <row>
1496       <entry>Feature</entry>
1497       <entry>Cautious</entry>
1498       <entry>Medium</entry>
1499       <entry>Radical</entry>
1500     </row>
1501     </thead>
1502     <!--  <tfoot> -->
1503     <!--  <row> -->
1504     <!--    <entry>f1</entry> -->
1505     <!--    <entry>f2</entry> -->
1506     <!--    <entry>f3</entry> -->
1507     <!--    <entry>f4</entry> -->
1508     <!--  </row> -->
1509     <!--  </tfoot> -->
1510     <tbody>
1511
1512     <row>
1513       <entry>Ad-blocking by URL</entry>
1514       <entry>yes</entry>
1515       <entry>yes</entry>
1516       <entry>yes</entry>
1517     </row>
1518
1519     <row>
1520       <entry>Ad-filtering by size</entry>
1521       <entry>yes</entry>
1522       <entry>yes</entry>
1523       <entry>yes</entry>
1524     </row>
1525
1526     <row>
1527       <entry>GIF de-animation</entry>
1528       <entry>no</entry>
1529       <entry>yes</entry>
1530       <entry>yes</entry>
1531     </row>
1532
1533     <row>
1534       <entry>Referer forging</entry>
1535       <entry>no</entry>
1536       <entry>yes</entry>
1537       <entry>yes</entry>
1538     </row>
1539
1540     <row>
1541       <entry>Cookie handling</entry>
1542       <entry>none</entry>
1543       <entry>session-only</entry>
1544       <entry>kill</entry>
1545     </row>
1546
1547     <row>
1548       <entry>Pop-up killing</entry>
1549       <entry>unsolicited</entry>
1550       <entry>unsolicited</entry>
1551       <entry>all</entry>
1552     </row>
1553
1554     <row>
1555       <entry>Fast redirects</entry>
1556       <entry>no</entry>
1557       <entry>no</entry>
1558       <entry>yes</entry>
1559     </row>
1560
1561     <row>
1562       <entry>HTML taming</entry>
1563       <entry>yes</entry>
1564       <entry>yes</entry>
1565       <entry>yes</entry>
1566     </row>
1567
1568     <row>
1569       <entry>JavaScript taming</entry>
1570       <entry>yes</entry>
1571       <entry>yes</entry>
1572       <entry>yes</entry>
1573     </row>
1574
1575     <row>
1576       <entry>Web-bug killing</entry>
1577       <entry>yes</entry>
1578       <entry>yes</entry>
1579       <entry>yes</entry>
1580     </row>
1581
1582     <row>
1583       <entry>Fun text replacements</entry>
1584       <entry>no</entry>
1585       <entry>no</entry>
1586       <entry>yes</entry>
1587     </row>
1588
1589     <row>
1590       <entry>Image tag reordering</entry>
1591       <entry>no</entry>
1592       <entry>no</entry>
1593       <entry>yes</entry>
1594     </row>
1595
1596     <row>
1597       <entry>Ad-filtering by link</entry>
1598       <entry>no</entry>
1599       <entry>no</entry>
1600       <entry>yes</entry>
1601     </row>
1602
1603     <row>
1604       <entry>Demoronizer</entry>
1605       <entry>no</entry>
1606       <entry>yes</entry>
1607       <entry>yes</entry>
1608     </row>
1609
1610
1611     </tbody>
1612     </tgroup>
1613     </table>
1614     </para>
1615
1616    </listitem> 
1617   </itemizedlist>
1618  </para> 
1619
1620 <para>
1621  The list of actions files to be used are defined in the main configuration 
1622  file, and are processed in the order they are defined (e.g.
1623  <filename>default.action</filename> is typically process before
1624  <filename>user.action</filename>). The content of these can all be viewed and
1625  edited from <ulink
1626  url="http://config.privoxy.org/show-status">http://config.privoxy.org/show-status</ulink>.
1627 </para>
1628
1629 <para>
1630  An actions file typically has multiple sections. If you want to use
1631  <quote>aliases</quote> in an actions file, you have to place the (optional)
1632  <link linkend="aliases">alias section</link> at the top of that file.
1633  Then comes the default set of rules which will apply universally to all
1634  sites and pages (be <emphasis>very careful</emphasis> with using such a
1635  universal set in <filename>user.action</filename> or any other actions file after 
1636  <filename>default.action</filename>, because it will override the result
1637  from consulting any previous file). And then below that,
1638  exceptions to the defined universal policies. You can regard
1639  <filename>user.action</filename> as an appendix to <filename>default.action</filename>,
1640  with the advantage that is a separate file, which makes preserving your
1641  personal settings across <application>Privoxy</application> upgrades easier.
1642 </para>
1643
1644 <para> 
1645  Actions can be used to block anything you want, including ads, banners, or
1646  just some obnoxious URL that you would rather not see. Cookies can be accepted
1647  or rejected, or accepted only during the current browser session (i.e. not
1648  written to disk), content can be modified, JavaScripts tamed, user-tracking
1649  fooled, and much more. See below for a <link linkend="actions">complete list
1650  of actions</link>.
1651 </para>
1652
1653 <!--   ~~~~~       New section      ~~~~~     -->
1654 <sect2>
1655 <title>Finding the Right Mix</title>
1656 <para>
1657  Note that some <link linkend="actions">actions</link>, like cookie suppression
1658  or script disabling, may render some sites unusable that rely on these
1659  techniques to work properly. Finding the right mix of actions is not always easy and
1660  certainly a matter of personal taste. In general, it can be said that the more
1661  <quote>aggressive</quote> your default settings (in the top section of the
1662  actions file) are, the more exceptions for <quote>trusted</quote> sites you
1663  will have to make later. If, for example, you want to crunch all cookies per
1664  default, you'll have to make exceptions from that rule for sites that you
1665  regularly use and that require cookies for actually useful puposes, like maybe
1666  your bank, favorite shop, or newspaper. 
1667 </para>
1668
1669 <para>
1670  We have tried to provide you with reasonable rules to start from in the
1671  distribution actions files. But there is no general rule of thumb on these
1672  things. There just are too many variables, and sites are constantly changing.
1673  Sooner or later you will want to change the rules (and read this chapter again :).
1674 </para>
1675 </sect2>
1676
1677 <!--   ~~~~~       New section      ~~~~~     -->
1678 <sect2>
1679 <title>How to Edit</title>
1680 <para>
1681  The easiest way to edit the actions files is with a browser by
1682  using our browser-based editor, which can be reached from <ulink
1683  url="http://config.privoxy.org/show-status">http://config.privoxy.org/show-status</ulink>.
1684  The editor allows both fine-grained control over every single feature on a
1685  per-URL basis, and easy choosing from wholesale sets of defaults like
1686  <quote>Cautious</quote>, <quote>Medium</quote> or <quote>Radical</quote>.
1687  Warning: the <quote>Radical</quote> setting is not only more aggressive, 
1688  but includes settings that are fun and subversive, and which some may find of 
1689  dubious merit!
1690 </para>
1691
1692 <para>
1693  If you prefer plain text editing to GUIs, you can of course also directly edit the
1694  the actions files. Look at <filename>default.action</filename> which is richly
1695  commented.
1696 </para>
1697 </sect2>
1698
1699
1700 <sect2 id="actions-apply">
1701 <title>How Actions are Applied to URLs</title>
1702 <para>
1703  Actions files are divided into sections. There are special sections,
1704  like the <quote><link linkend="aliases">alias</link></quote> sections which will
1705  be discussed later. For now let's concentrate on regular sections: They have a
1706  heading line (often split up to multiple lines for readability) which consist
1707  of a list of actions, separated by whitespace and enclosed in curly braces.
1708  Below that, there is a list of URL patterns, each on a separate line.
1709 </para>
1710
1711 <para>
1712  To determine which actions apply to a request, the URL of the request is
1713  compared to all patterns in each action file file. Every time it matches, the list of
1714  applicable actions for the URL is incrementally updated, using the heading
1715  of the section in which the pattern is located. If multiple matches for
1716  the same URL set the same action differently, the last match wins. If not, 
1717  the effects are aggregated. E.g. a URL might match a regular section with 
1718  a heading line of <literal>{ 
1719  +<link linkend="handle-as-image">handle-as-image</link> }</literal>,
1720  then later another one with just <literal>{
1721  +<link linkend="block">block</link> }</literal>, resulting
1722  in <emphasis>both</emphasis> actions to apply.
1723 </para>
1724
1725 <para>
1726  You can trace this process for any given URL by visiting <ulink
1727  url="http://config.privoxy.org/show-url-info">http://config.privoxy.org/show-url-info</ulink>.
1728 </para>
1729
1730 <para>
1731  More detail on this is provided in the Appendix, <link linkend="ACTIONSANAT">
1732  Anatomy of an Action</link>.
1733 </para>
1734 </sect2>
1735
1736 <!--   ~~~~~       New section      ~~~~~     -->
1737 <sect2 id="af-patterns">
1738 <title>Patterns</title>
1739 <para> 
1740  As mentioned, <application>Privoxy</application> uses <quote>patterns</quote>
1741  to determine what actions might apply to which sites and pages your browser 
1742  attempts to access. These <quote>patterns</quote> use wild card type 
1743  <emphasis>pattern</emphasis> matching to achieve a high degree of 
1744  flexibility. This allows one expression to be expanded and potentially match
1745  against many similar patterns.
1746 </para>
1747  
1748 <para>
1749  Generally, a <application>Privoxy</application> pattern has the form
1750  <literal>&lt;domain&gt;/&lt;path&gt;</literal>, where both the
1751  <literal>&lt;domain&gt;</literal> and <literal>&lt;path&gt;</literal> are
1752  optional. (This is why the special <literal>/</literal> pattern matches all
1753  URLs). Note that the protocol portion of the URL pattern (e.g.
1754  <literal>http://</literal>) should <emphasis>not</emphasis> be included in
1755  the pattern. This is assumed already!
1756 </para>
1757
1758 <variablelist>
1759  <varlistentry>
1760   <term><literal>www.example.com/</literal></term>
1761   <listitem>
1762    <para>
1763     is a domain-only pattern and will match any request to <literal>www.example.com</literal>,
1764     regardless of which document on that server is requested.
1765    </para>
1766   </listitem>
1767  </varlistentry>
1768  <varlistentry>
1769   <term><literal>www.example.com</literal></term>
1770   <listitem>
1771    <para>
1772     means exactly the same. For domain-only patterns, the trailing <literal>/</literal> may
1773     be omitted.
1774    </para>
1775   </listitem>
1776  </varlistentry>
1777  <varlistentry>
1778   <term><literal>www.example.com/index.html</literal></term>
1779   <listitem>
1780    <para>
1781     matches only the single document <literal>/index.html</literal>
1782     on <literal>www.example.com</literal>.
1783    </para>
1784   </listitem>
1785  </varlistentry>
1786  <varlistentry>
1787   <term><literal>/index.html</literal></term>
1788   <listitem>
1789    <para>
1790     matches the document <literal>/index.html</literal>, regardless of the domain,
1791     i.e. on <emphasis>any</emphasis> web server.
1792    </para>
1793   </listitem>
1794  </varlistentry>
1795  <varlistentry>
1796   <term><literal>index.html</literal></term>
1797   <listitem>
1798    <para>
1799     matches nothing, since it would be  interpreted as a domain name and
1800     there is no top-level domain called <literal>.html</literal>.
1801    </para>
1802   </listitem>
1803  </varlistentry>
1804 </variablelist>
1805
1806
1807 <!--   ~~~~~       New section      ~~~~~     -->
1808 <sect3><title>The Domain Pattern</title>
1809
1810 <para>
1811  The matching of the domain part offers some flexible options: if the
1812  domain starts or ends with a dot, it becomes unanchored at that end. 
1813  For example:
1814 </para>
1815
1816 <variablelist>
1817  <varlistentry>
1818   <term><literal>.example.com</literal></term>
1819   <listitem>
1820    <para>
1821     matches any domain that <emphasis>ENDS</emphasis> in
1822     <literal>.example.com</literal>
1823    </para>
1824   </listitem>
1825  </varlistentry>
1826  <varlistentry>
1827   <term><literal>www.</literal></term>
1828   <listitem>
1829    <para>
1830     matches any domain that <emphasis>STARTS</emphasis> with
1831     <literal>www.</literal>
1832    </para>
1833   </listitem>
1834  </varlistentry>
1835  <varlistentry>
1836   <term><literal>.example.</literal></term>
1837   <listitem>
1838    <para>
1839     matches any domain that <emphasis>CONTAINS</emphasis> <literal>.example.</literal>
1840     (Correctly speaking: It matches any FQDN that contains <literal>example</literal> as a domain.)
1841    </para>
1842   </listitem>
1843  </varlistentry>
1844 </variablelist>
1845
1846 <para>
1847  Additionally, there are wild-cards that you can use in the domain names
1848  themselves. They work pretty similar to shell wild-cards: <quote>*</quote>
1849  stands for zero or more arbitrary characters, <quote>?</quote> stands for
1850  any single character, you can define character classes in square
1851  brackets and all of that can be freely mixed:
1852 </para>
1853
1854 <variablelist>
1855  <varlistentry>
1856   <term><literal>ad*.example.com</literal></term>
1857   <listitem>
1858    <para>
1859     matches <quote>adserver.example.com</quote>, 
1860     <quote>ads.example.com</quote>, etc but not <quote>sfads.example.com</quote>
1861    </para>
1862   </listitem>
1863  </varlistentry>
1864  <varlistentry>
1865   <term><literal>*ad*.example.com</literal></term>
1866   <listitem>
1867    <para>
1868     matches all of the above, and then some.
1869    </para>
1870   </listitem>
1871  </varlistentry>
1872  <varlistentry>
1873   <term><literal>.?pix.com</literal></term>
1874   <listitem>
1875    <para>
1876     matches <literal>www.ipix.com</literal>,
1877     <literal>pictures.epix.com</literal>, <literal>a.b.c.d.e.upix.com</literal> etc. 
1878    </para>
1879   </listitem>
1880  </varlistentry>
1881  <varlistentry>
1882   <term><literal>www[1-9a-ez].example.c*</literal></term>
1883   <listitem>
1884    <para>
1885      matches <literal>www1.example.com</literal>, 
1886      <literal>www4.example.cc</literal>, <literal>wwwd.example.cy</literal>, 
1887      <literal>wwwz.example.com</literal> etc., but <emphasis>not</emphasis> 
1888      <literal>wwww.example.com</literal>.
1889    </para>
1890   </listitem>
1891  </varlistentry>
1892 </variablelist>
1893
1894 </sect3>
1895
1896 <!--  ~  End section  ~  -->
1897
1898
1899 <!--   ~~~~~       New section      ~~~~~     -->
1900 <sect3><title>The Path Pattern</title>
1901
1902 <para>
1903  <application>Privoxy</application> uses Perl compatible regular expressions
1904  (through the <ulink url="http://www.pcre.org/">PCRE</ulink> library) for
1905  matching the path.
1906 </para>
1907
1908 <para>
1909  There is an <link linkend="regex">Appendix</link> with a brief quick-start into regular
1910  expressions, and full (very technical) documentation on PCRE regex syntax is available on-line
1911  at <ulink url="http://www.pcre.org/man.txt">http://www.pcre.org/man.txt</ulink>.
1912  You might also find the Perl man page on regular expressions (<literal>man perlre</literal>)
1913  useful, which is available on-line at <ulink
1914  url="http://www.perldoc.com/perl5.6/pod/perlre.html">http://www.perldoc.com/perl5.6/pod/perlre.html</ulink>.
1915 </para>
1916
1917 <para>
1918  Note that the path pattern is automatically left-anchored at the <quote>/</quote>,
1919  i.e. it matches as if it would start with a <quote>^</quote> (regular expression speak 
1920  for the beginning of a line).
1921 </para>
1922
1923 <para>
1924  Please also note that matching in the path is <emphasis>CASE INSENSITIVE</emphasis>
1925  by default, but you can switch to case sensitive at any point in the pattern by using the 
1926  <quote>(?-i)</quote> switch: <literal>www.example.com/(?-i)PaTtErN.*</literal> will match
1927  only documents whose path starts with <literal>PaTtErN</literal> in
1928  <emphasis>exactly</emphasis> this capitalization.
1929 </para>
1930 </sect3>
1931
1932 </sect2>
1933
1934 <!--  ~  End section  ~  -->
1935
1936
1937 <!--   ~~~~~       New section      ~~~~~     -->
1938
1939 <sect2 id="actions">
1940 <title>Actions</title>
1941 <para>
1942  All actions are disabled by default, until they are explicitly enabled
1943  somewhere in an actions file. Actions are turned on if preceded with a
1944  <quote>+</quote>, and turned off if preceded with a <quote>-</quote>. So a
1945  <literal>+action</literal> means <quote>do that action</quote>, e.g.
1946  <literal>+block</literal> means <quote>please block URLs that match the
1947  following patterns</quote>, and <literal>-block</literal> means <quote>don't
1948  block URLs that match the following patterns, even if <literal>+block</literal>
1949  previously applied.</quote>
1950
1951 </para>
1952
1953 <para> 
1954  Again, actions are invoked by placing them on a line, enclosed in curly braces and
1955  separated by whitespace, like in 
1956  <literal>{+some-action -some-other-action{some-parameter}}</literal>,
1957  followed by a list of URL patterns, one per line, to which they apply.
1958  Together, the actions line and the following pattern lines make up a section
1959  of the actions file. 
1960 </para>
1961
1962 <para> 
1963  There are three classes of actions:
1964 </para>
1965
1966 <para>
1967  <itemizedlist>
1968  <listitem>
1969   <para>  
1970    Boolean, i.e the action can only be <quote>enabled</quote> or
1971    <quote>disabled</quote>. Syntax:
1972   </para>
1973   <para>
1974    <screen>
1975   +<replaceable class="function">name</replaceable>        # enable action <replaceable class="parameter">name</replaceable>
1976   -<replaceable class="function">name</replaceable>        # disable action <replaceable class="parameter">name</replaceable></screen>
1977   </para>
1978   <para>  
1979    Example: <literal>+block</literal>
1980   </para>
1981  </listitem>
1982
1983
1984  <listitem>
1985   <para>  
1986    Parameterized, where some value is required in order to enable this type of action.
1987    Syntax:
1988   </para>
1989   <para>
1990    <screen>
1991   +<replaceable class="function">name</replaceable>{<replaceable class="parameter">param</replaceable>}  # enable action and set parameter to <replaceable class="parameter">param</replaceable>,
1992                # overwriting parameter from previous match if necessary
1993   -<replaceable class="function">name</replaceable>         # disable action. The parameter can be omitted</screen>
1994   </para>
1995   <para>
1996    Note that if the URL matches multiple positive forms of a parameterized action,
1997    the last match wins, i.e. the params from earlier matches are simply ignored.
1998   </para>
1999   <para>  
2000    Example: <literal>+hide-user-agent{ Mozilla 1.0 }</literal>
2001   </para>
2002  </listitem>
2003  
2004  <listitem>
2005   <para>  
2006    Multi-value. These look exactly like parameterized actions,
2007    but they behave differently: If the action applies multiple times to the
2008    same URL, but with different parameters, <emphasis>all</emphasis> the parameters
2009    from <emphasis>all</emphasis> matches are remembered. This is used for actions
2010    that can be executed for the same request repeatedly, like adding multiple
2011    headers, or filtering through multiple filters. Syntax:
2012   </para>
2013   <para>
2014    <screen>
2015   +<replaceable class="function">name</replaceable>{<replaceable class="parameter">param</replaceable>}   # enable action and add <replaceable class="parameter">param</replaceable> to the list of parameters
2016   -<replaceable class="function">name</replaceable>{<replaceable class="parameter">param</replaceable>}   # remove the parameter <replaceable class="parameter">param</replaceable> from the list of parameters
2017                 # If it was the last one left, disable the action.
2018   <replaceable class="parameter">-name</replaceable>          # disable this action completely and remove all parameters from the list</screen>
2019   </para>
2020   <para>  
2021    Examples: <literal>+add-header{X-Fun-Header: Some text}</literal> and
2022    <literal>+filter{html-annoyances}</literal>
2023   </para>
2024  </listitem>
2025
2026  </itemizedlist>
2027 </para>
2028
2029 <para>
2030  If nothing is specified in any actions file, no <quote>actions</quote> are
2031  taken. So in this case <application>Privoxy</application> would just be a
2032  normal, non-blocking, non-anonymizing proxy. You must specifically enable the
2033  privacy and blocking features you need (although the provided default actions
2034  files will give a good starting point).
2035 </para>
2036
2037 <para>
2038  Later defined actions always over-ride earlier ones.  So exceptions 
2039  to any rules you make, should come in the latter part of the file (or 
2040  in a file that is processed later when using multiple actions files). For
2041  multi-valued actions, the actions are applied in the order they are specified.
2042  Actions files are processed in the order they are defined in
2043  <filename>config</filename> (the default installation has three actions
2044  files). It also quite possible for any given URL pattern to match more than
2045  one pattern and thus more than one set of actions!
2046 </para>
2047
2048 <!-- start actions listing -->
2049 <para>
2050  The list of valid <application>Privoxy</application> actions are:
2051 </para>
2052
2053
2054 <!-- ********************************************************** -->
2055 <!-- Please note the below defined actions use id's that are    -->
2056 <!-- probably linked from other places, so please don't change. -->
2057 <!--                                                            -->
2058 <!-- ********************************************************** -->
2059
2060
2061 <!--   ~~~~~       New section      ~~~~~     -->
2062
2063 <sect3 renderas="sect4" id="add-header">
2064 <title>add-header</title>
2065
2066 <variablelist>
2067  <varlistentry>
2068   <term>Typical use:</term>
2069   <listitem>
2070    <para>Confuse log analysis, custom applications</para>
2071   </listitem>
2072  </varlistentry>
2073
2074  <varlistentry>
2075   <term>Effect:</term>
2076   <listitem>
2077    <para>
2078     Sends a user defined HTTP header to the web server.
2079    </para>
2080   </listitem>
2081  </varlistentry>
2082
2083  <varlistentry>
2084   <term>Type:</term>
2085   <!-- boolean, parameterized, Multi-value -->
2086   <listitem>
2087    <para>Multi-value.</para>
2088   </listitem>
2089  </varlistentry>
2090  
2091  <varlistentry>
2092   <term>Parameter:</term>
2093   <listitem>
2094    <para>
2095     Any string value is possible. Validity of the defined HTTP headers is not checked.
2096     It is recommended that you use the <quote><literal>X-</literal></quote> prefix
2097     for custom headers.
2098    </para>
2099   </listitem>
2100  </varlistentry>
2101  
2102 <varlistentry>
2103   <term>Notes:</term>
2104   <listitem>
2105    <para>
2106     This action may be specified multiple times, in order to define multiple 
2107     headers. This is rarely needed for the typical user. If you don't know what 
2108     <quote>HTTP headers</quote> are, you definitely don't need to worry about this 
2109     one.
2110    </para>
2111   </listitem>
2112  </varlistentry>
2113
2114  <varlistentry>
2115   <term>Example usage:</term>
2116   <listitem>
2117     <para>
2118      <screen>+add-header{X-User-Tracking: sucks}</screen>
2119    </para>
2120   </listitem>
2121  </varlistentry>
2122 </variablelist>
2123 </sect3>
2124
2125
2126 <!--   ~~~~~       New section      ~~~~~     -->
2127 <sect3 renderas="sect4" id="block">
2128 <title>block</title>
2129
2130 <variablelist>
2131  <varlistentry>
2132   <term>Typical use:</term>
2133   <listitem>
2134    <para>Block ads or other obnoxious content</para>
2135   </listitem>
2136  </varlistentry>
2137
2138  <varlistentry>
2139   <term>Effect:</term>
2140   <listitem>
2141    <para>
2142     Requests for URLs to which this action applies are blocked, i.e. the requests are not
2143     forwarded to the remote server, but answered locally with a substitute page or image,
2144     as determined by the <literal><link linkend="handle-as-image">handle-as-image</link></literal>
2145     and <literal><link linkend="set-image-blocker">set-image-blocker</link></literal> actions.
2146    </para>
2147   </listitem>
2148  </varlistentry>
2149
2150  <varlistentry>
2151   <term>Type:</term>
2152   <!-- boolean, parameterized, Multi-value -->
2153   <listitem>
2154    <para>Boolean.</para>
2155   </listitem>
2156  </varlistentry>
2157
2158  <varlistentry>
2159   <term>Parameter:</term>
2160   <listitem>
2161    <para>N/A</para>
2162   </listitem>
2163  </varlistentry>
2164  
2165 <varlistentry>
2166   <term>Notes:</term>
2167   <listitem>
2168    <para>
2169     <application>Privoxy</application> sends a special <quote>BLOCKED</quote> page
2170     for requests to blocked pages. This page contains links to find out why the request
2171     was blocked, and a click-through to the blocked content (the latter only if compiled with the
2172     force feature enabled). The <quote>BLOCKED</quote> page adapts to the available
2173     screen space -- it displays full-blown if space allows, or miniaturized and text-only
2174     if loaded into a small frame or window. If you are using <application>Privoxy</application>
2175     right now, you can take a look at the 
2176     <ulink url="http://ads.bannerserver.example.com/nasty-ads/sponsor.html"><quote>BLOCKED</quote>
2177     page</ulink>.
2178    </para>
2179    <para> 
2180     A very important exception occurs if <emphasis>both</emphasis> 
2181     <literal>block</literal> and <literal><link linkend="handle-as-image">handle-as-image</link></literal>,
2182     apply to the same request: it will then be replaced by an image. If 
2183     <literal><link linkend="set-image-blocker">set-image-blocker</link></literal>
2184     (see below) also applies, the type of image will be determined by its parameter,
2185     if not, the standard checkerboard pattern is sent.
2186    </para>
2187    <para>
2188     It is important to understand this process, in order 
2189     to understand how <application>Privoxy</application> deals with 
2190     ads and other unwanted content.
2191    </para>
2192    <para>
2193     The <literal><link linkend="filter">filter</link></literal>
2194     action can perform a very similar task, by <quote>blocking</quote>
2195     banner images and other content through rewriting the relevant URLs in the
2196     document's HTML source, so they don't get requested in the first place.
2197     Note that this is a totally different technique, and it's easy to confuse the two.
2198    </para>
2199   </listitem>
2200  </varlistentry>
2201
2202  <varlistentry>
2203   <term>Example usage (section):</term>
2204   <listitem>
2205     <para>
2206      <screen>{+block}      # Block and replace with "blocked" page
2207 .nasty-stuff.example.com
2208
2209 {+block +handle-as-image} # Block and replace with image
2210 .ad.doubleclick.net
2211 .ads.r.us</screen>
2212     </para>
2213   </listitem>
2214  </varlistentry>
2215
2216
2217 </variablelist>
2218 </sect3>
2219
2220 <!--   ~~~~~       New section      ~~~~~     -->
2221 <sect3 renderas="sect4" id="crunch-incoming-cookies">
2222 <title>crunch-incoming-cookies</title>
2223
2224 <variablelist>
2225  <varlistentry>
2226   <term>Typical use:</term>
2227   <listitem>
2228    <para>
2229     Prevent the web server from setting any cookies on your system
2230    </para>
2231   </listitem>
2232  </varlistentry>
2233
2234  <varlistentry>
2235   <term>Effect:</term>
2236   <listitem>
2237    <para>
2238     Deletes any <quote>Set-Cookie:</quote> HTTP headers from server replies.
2239    </para>
2240   </listitem>
2241  </varlistentry>
2242
2243  <varlistentry>
2244   <term>Type:</term>
2245   <!-- Boolean, Parameterized, Multi-value -->
2246   <listitem>
2247    <para>Boolean.</para>
2248   </listitem>
2249  </varlistentry>
2250
2251  <varlistentry>
2252   <term>Parameter:</term>
2253   <listitem>
2254    <para>
2255     N/A
2256    </para>
2257   </listitem>
2258  </varlistentry>
2259  
2260  <varlistentry>
2261   <term>Notes:</term>
2262   <listitem>
2263    <para>
2264     This action is only concerned with <emphasis>incoming</emphasis> cookies. For
2265     <emphasis>outgoing</emphasis> cookies, use
2266     <literal><link linkend="crunch-outgoing-cookies">crunch-outgoing-cookies</link></literal>.
2267     Use <emphasis>both</emphasis> to disable cookies completely.
2268    </para>
2269    <para>
2270     It makes <emphasis>no sense at all</emphasis> to use this action in conjunction
2271     with the <literal><link linkend="session-cookies-only">session-cookies-only</link></literal> action,
2272     since it would prevent the session cookies from being set. See also 
2273     <literal><link linkend="filter-content-cookies">filter-content-cookies</link></literal>.
2274    </para>
2275   </listitem>
2276  </varlistentry>
2277
2278  <varlistentry>
2279   <term>Example usage:</term>
2280   <listitem>
2281    <para>
2282     <screen>+crunch-incoming-cookies</screen>
2283    </para>
2284   </listitem>
2285  </varlistentry>
2286 </variablelist>
2287 </sect3>
2288
2289
2290 <!--   ~~~~~       New section      ~~~~~     -->
2291 <sect3 renderas="sect4" id="crunch-outgoing-cookies">
2292 <title>crunch-outgoing-cookies</title>
2293
2294 <variablelist>
2295  <varlistentry>
2296   <term>Typical use:</term>
2297   <listitem>
2298    <para>
2299     Prevent the web server from reading any cookies from your system
2300    </para>
2301   </listitem>
2302  </varlistentry>
2303
2304  <varlistentry>
2305   <term>Effect:</term>
2306   <listitem>
2307    <para>
2308     Deletes any <quote>Cookie:</quote> HTTP headers from client requests.
2309    </para>
2310   </listitem>
2311  </varlistentry>
2312
2313  <varlistentry>
2314   <term>Type:</term>
2315   <!-- Boolean, Parameterized, Multi-value -->
2316   <listitem>
2317    <para>Boolean.</para>
2318   </listitem>
2319  </varlistentry>
2320
2321  <varlistentry>
2322   <term>Parameter:</term>
2323   <listitem>
2324    <para>
2325     N/A
2326    </para>
2327   </listitem>
2328  </varlistentry>
2329  
2330  <varlistentry>
2331   <term>Notes:</term>
2332   <listitem>
2333    <para>
2334     This action is only concerned with <emphasis>outgoing</emphasis> cookies. For
2335     <emphasis>incoming</emphasis> cookies, use
2336     <literal><link linkend="crunch-incoming-cookies">crunch-incoming-cookies</link></literal>.
2337     Use <emphasis>both</emphasis> to disable cookies completely.
2338    </para>
2339    <para>
2340     It makes <emphasis>no sense at all</emphasis> to use this action in conjunction
2341     with the <literal><link linkend="session-cookies-only">session-cookies-only</link></literal> action,
2342     since it would prevent the session cookies from being read.
2343    </para>
2344   </listitem>
2345  </varlistentry>
2346
2347  <varlistentry>
2348   <term>Example usage:</term>
2349   <listitem>
2350    <para>
2351     <screen>+crunch-outgoing-cookies</screen>
2352    </para>
2353   </listitem>
2354  </varlistentry>
2355
2356 </variablelist>
2357 </sect3>
2358
2359
2360 <!--   ~~~~~       New section      ~~~~~     -->
2361 <sect3 renderas="sect4" id="deanimate-gifs">
2362 <title>deanimate-gifs</title>
2363
2364 <variablelist>
2365  <varlistentry>
2366   <term>Typical use:</term>
2367   <listitem>
2368    <para>Stop those annoying, distracting animated GIF images.</para>
2369   </listitem>
2370  </varlistentry>
2371
2372  <varlistentry>
2373   <term>Effect:</term>
2374   <listitem>
2375    <para>
2376     De-animate GIF animations, i.e. reduce them to their first or last image.
2377    </para>
2378   </listitem>
2379  </varlistentry>
2380
2381  <varlistentry>
2382   <term>Type:</term>
2383   <!-- boolean, parameterized, Multi-value -->
2384   <listitem>
2385    <para>Parameterized.</para>
2386   </listitem>
2387  </varlistentry>
2388
2389  <varlistentry>
2390   <term>Parameter:</term>
2391   <listitem>
2392    <para>
2393     <quote>last</quote> or <quote>first</quote>
2394    </para>
2395   </listitem>
2396  </varlistentry>
2397  
2398  <varlistentry>
2399   <term>Notes:</term>
2400   <listitem>
2401    <para>
2402     This will also shrink the images considerably (in bytes, not pixels!). If
2403     the option <quote>first</quote> is given, the first frame of the animation
2404     is used as the replacement. If <quote>last</quote> is given, the last
2405     frame of the animation is used instead, which probably makes more sense for
2406     most banner animations, but also has the risk of not showing the entire
2407     last frame (if it is only a delta to an earlier frame).
2408    </para>
2409    <para>
2410     You can safely use this action with patterns that will also match non-GIF
2411     objects, because no attempt will be made at anything that doesn't look like
2412     a GIF.
2413    </para>
2414   </listitem>
2415  </varlistentry>
2416
2417  <varlistentry>
2418   <term>Example usage:</term>
2419   <listitem>
2420     <para>
2421       <screen>+deanimate-gifs{last}</screen>
2422     </para>
2423   </listitem>
2424  </varlistentry>
2425 </variablelist>
2426 </sect3>
2427
2428 <!--   ~~~~~       New section      ~~~~~     -->
2429 <sect3 renderas="sect4" id="downgrade-http-version">
2430 <title>downgrade-http-version</title>
2431
2432 <variablelist>
2433  <varlistentry>
2434   <term>Typical use:</term>
2435   <listitem>
2436    <para>Work around (very rare) problems with HTTP/1.1</para>
2437   </listitem>
2438  </varlistentry>
2439
2440  <varlistentry>
2441   <term>Effect:</term>
2442   <listitem>
2443    <para>
2444     Downgrades HTTP/1.1 client requests and server replies to HTTP/1.0.
2445    </para>
2446   </listitem>
2447  </varlistentry>
2448
2449  <varlistentry>
2450   <term>Type:</term>
2451   <!-- boolean, parameterized, Multi-value -->
2452   <listitem>
2453    <para>Boolean.</para>
2454   </listitem>
2455  </varlistentry>
2456
2457  <varlistentry>
2458   <term>Parameter:</term>
2459   <listitem>
2460    <para>
2461     N/A
2462    </para>
2463   </listitem>
2464  </varlistentry>
2465  
2466 <varlistentry>
2467   <term>Notes:</term>
2468   <listitem>
2469    <para>
2470     This is a left-over from the time when <application>Privoxy</application>
2471     didn't support important HTTP/1.1 features well. It is left here for the
2472     unlikely case that you experience HTTP/1.1 related problems with some server
2473     out there. Not all (optional) HTTP/1.1 features are supported yet, so there
2474     is a chance you might need this action.
2475    </para>
2476   </listitem>
2477  </varlistentry>
2478
2479  <varlistentry>
2480   <term>Example usage (section):</term>
2481   <listitem>
2482     <para>
2483      <screen>{+downgrade-http-version}
2484 problem-host.example.com</screen>
2485     </para>
2486   </listitem>
2487  </varlistentry>
2488
2489 </variablelist>
2490 </sect3>
2491
2492 <!--   ~~~~~       New section      ~~~~~     -->
2493 <sect3 renderas="sect4" id="fast-redirects">
2494 <title>fast-redirects</title>
2495
2496 <variablelist>
2497  <varlistentry>
2498   <term>Typical use:</term>
2499   <listitem>
2500    <para>Fool some click-tracking scripts and speed up indirect links</para>
2501   </listitem>
2502  </varlistentry>
2503
2504  <varlistentry>
2505   <term>Effect:</term>
2506   <listitem>
2507    <para>
2508     Cut off all but the last valid URL from requests.
2509    </para>
2510   </listitem>
2511  </varlistentry>
2512
2513  <varlistentry>
2514   <term>Type:</term>
2515   <!-- boolean, parameterized, Multi-value -->
2516   <listitem>
2517    <para>Boolean.</para>
2518   </listitem>
2519  </varlistentry>
2520
2521  <varlistentry>
2522   <term>Parameter:</term>
2523   <listitem>
2524    <para>
2525     N/A
2526    </para>
2527   </listitem>
2528  </varlistentry>
2529
2530  <varlistentry>
2531   <term>Notes:</term>
2532   <listitem>
2533    <para>  
2534     Many sites, like yahoo.com, don't just link to other sites. Instead, they
2535     will link to some script on their own servers, giving the destination as a
2536     parameter, which will then redirect you to the final target. URLs
2537     resulting from this scheme typically look like:
2538     <emphasis>http://some.place/click-tracker.cgi?target=http://some.where.else</emphasis>.
2539   </para>
2540    <para>
2541     Sometimes, there are even multiple consecutive redirects encoded in the
2542     URL. These redirections via scripts make your web browsing more traceable,
2543     since the server from which you follow such a link can see where you go
2544     to. Apart from that, valuable bandwidth and time is wasted, while your
2545     browser ask the server for one redirect after the other. Plus, it feeds
2546     the advertisers.
2547    </para>
2548    <para>
2549     This feature is currently not very smart and is scheduled for improvement.
2550     It is likely to break some sites. You should expect to need possibly 
2551     many exceptions to this action, if it is enabled by default in
2552     <filename>default.action</filename>. Some sites just don't work without 
2553     it.
2554    </para>
2555   </listitem>
2556  </varlistentry>
2557
2558  <varlistentry>
2559   <term>Example usage:</term>
2560   <listitem>
2561     <para>
2562      <screen>{+fast-redirects}</screen>
2563     </para>
2564   </listitem>
2565  </varlistentry>
2566
2567 </variablelist>
2568 </sect3>
2569
2570
2571 <!--   ~~~~~       New section      ~~~~~     -->
2572 <sect3 renderas="sect4" id="filter">
2573 <title>filter</title>
2574
2575 <variablelist>
2576  <varlistentry>
2577   <term>Typical use:</term>
2578   <listitem>
2579    <para>Get rid of HTML and JavaScript annoyances, banner advertisements (by size), do fun text replacements, etc.</para>
2580   </listitem>
2581  </varlistentry>
2582
2583  <varlistentry>
2584   <term>Effect:</term>
2585   <listitem>
2586    <para>
2587     Text documents, including HTML and JavaScript, to which this action
2588     applies, are filtered on-the-fly through the specified regular expression
2589     based substitutions.
2590    </para>
2591   </listitem>
2592  </varlistentry>
2593
2594  <varlistentry>
2595   <term>Type:</term>
2596   <!-- boolean, parameterized, Multi-value -->
2597   <listitem>
2598    <para>Parameterized.</para>
2599   </listitem>
2600  </varlistentry>
2601
2602  <varlistentry>
2603   <term>Parameter:</term>
2604   <listitem>
2605    <para>
2606     The name of a filter, as defined in the <link linkend="filter-file">filter file</link>
2607     (typically <filename>default.filter</filename>, set by the
2608     <literal><link linkend="filterfile">filterfile</link></literal>
2609     option in the <link linkend="config">config file</link>). Filtering 
2610     can be completely disabled without the use of parameters.
2611    </para>
2612   </listitem>
2613  </varlistentry>
2614  
2615  <varlistentry>
2616   <term>Notes:</term>
2617   <listitem>
2618    <para>
2619     For your convenience, there are a number of pre-defined filters available 
2620     in the distribution filter file that you can use. See the examples below for
2621     a list.
2622    </para>
2623    <para>
2624     This is potentially a very powerful feature!  But <quote>rolling your own</quote>
2625     filters requires a knowledge of regular expressions and HTML.
2626    </para>
2627    <para>
2628     Filtering requires buffering the page content, which may appear to
2629     slow down page rendering since nothing is displayed until all content has
2630     passed the filters. (It does not really take longer, but seems that way
2631     since the page is not incrementally displayed.) This effect will be more
2632     noticeable on slower connections.
2633    </para>
2634    <para>
2635     The amount of data that can be filtered is limited to the 
2636     <literal><link linkend="buffer-limit">buffer-limit</link></literal>
2637     option in the main <link linkend="config">config file</link>. The 
2638     default is 4096 KB (4 Megs). Once this limit is exceeded, the buffered
2639     data, and all pending data, is passed through unfiltered. 
2640    </para>
2641    <para>
2642     Inappropriate MIME types, such as zipped files, are not filtered at all.
2643     Encrypted SSL data (from HTTPS servers) cannot be filtered either since
2644     this would violate the integrity of the secure transaction.
2645    </para>
2646    <para>
2647     At this time, <application>Privoxy</application> cannot (yet!) uncompress compressed
2648     documents. If you want filtering to work on all documents, even those that
2649     would normally be sent compressed, use the
2650     <literal><link linkend="prevent-compression">prevent-compression</link></literal>
2651     action in conjunction with <literal>filter</literal>.
2652    </para>
2653    <para>
2654     Filtering can achieve some of the same effects as the 
2655     <literal><link linkend="block">block</link></literal>
2656     action, i.e. it can be used to block ads and banners. But the mechanism 
2657     works quite differently. One effective use, is to block ad banners 
2658     based on their size (see below), since many of these seem to be somewhat 
2659     standardized.
2660    </para>
2661    <para>
2662     <link linkend="contact">Feedback</link> with suggestions for new or
2663     improved filters is particularly welcome!
2664    </para>
2665   </listitem>
2666  </varlistentry>
2667
2668  <varlistentry>
2669   <term>Example usage (with filters from the distribution <filename>default.filter</filename> file):</term>
2670   <listitem>
2671    <para>
2672     <anchor id="filter-js-annoyances">
2673     <screen>+filter{js-annoyances}       # Get rid of particularly annoying JavaScript abuse</screen>
2674    </para>
2675    <para>
2676     <anchor id="filter-js-events">
2677     <screen>+filter{js-events}           # Kill all JS event bindings (Radically destructive! Only for extra nasty sites)</screen>
2678    </para>
2679    <para>
2680     <anchor id="filter-html-annoyances">
2681     <screen>+filter{html-annoyances}     # Get rid of particularly annoying HTML abuse</screen>
2682    </para>
2683    <para>
2684     <anchor id="filter-content-cookies">
2685     <screen>+filter{content-cookies}     # Kill cookies that come in the HTML or JS content</screen>
2686    </para>
2687    <para>
2688     <anchor id="filter-refresh-tags">
2689     <screen>+filter{refresh-tags}        # Kill automatic refresh tags (for dial-on-demand setups)</screen>
2690    </para>
2691    <para>
2692     <anchor id="filter-unsolicited-popups">
2693     <screen>+filter{unsolicited-popups}  # Disable only unsolicited pop-up windows</screen>
2694    </para>
2695    <para>
2696     <anchor id="filter-all-popups">
2697     <screen>+filter{all-popups}          # Kill all popups in JavaScript and HTML</screen>
2698    </para>
2699    <para>
2700     <anchor id="filter-img-reorder">
2701     <screen>+filter{img-reorder}         # Reorder attributes in &lt;img&gt; tags to make the banners-by-* filters more effective</screen>
2702    </para>
2703    <para>
2704     <anchor id="filter-banners-by-size">
2705     <screen>+filter{banners-by-size}     # Kill banners by size</screen>
2706    </para>
2707    <para>
2708     <anchor id="filter-banners-by-link">
2709     <screen>+filter{banners-by-link}     # Kill banners by their links to known clicktrackers</screen>
2710    </para>
2711    <para>
2712     <anchor id="filter-webbugs">
2713     <screen>+filter{webbugs}             # Squish WebBugs (1x1 invisible GIFs used for user tracking)</screen>
2714    </para>
2715    <para>
2716     <anchor id="filter-tiny-textforms">
2717     <screen>+filter{tiny-textforms}      # Extend those tiny textareas up to 40x80 and kill the hard wrap</screen>
2718    </para>
2719    <para>
2720     <anchor id="filter-jumping-windows">
2721     <screen>+filter{jumping-windows}     # Prevent windows from resizing and moving themselves</screen>
2722    </para>
2723    <para>
2724     <anchor id="filter-frameset-borders">
2725     <screen>+filter{frameset-borders}    # Give frames a border and make them resizable</screen>
2726    </para>
2727    <para>
2728     <anchor id="filter-demoronizer">
2729     <screen>+filter{demoronizer}         # Fix MS's non-standard use of standard charsets</screen>
2730    </para>
2731    <para>
2732     <anchor id="filter-shockwave-flash">
2733     <screen>+filter{shockwave-flash}     # Kill embedded Shockwave Flash objects</screen>
2734    </para>
2735    <para>
2736     <anchor id="filter-quicktime-kioskmode">
2737     <screen>+filter{quicktime-kioskmode} # Make Quicktime movies saveable</screen>
2738    </para>
2739    <para>
2740     <anchor id="filter-fun">
2741     <screen>+filter{fun}                 # Text replacements for subversive browsing fun!</screen>
2742    </para>
2743    <para>
2744     <anchor id="filter-crude-parental">
2745     <screen>+filter{crude-parental}      # Crude parental filtering (demo only)</screen>
2746    </para>
2747    <para>
2748     <anchor id="filter-ie-exploits">
2749     <screen>+filter{ie-exploits}         # Disable some known Internet Explorer bug exploits</screen>
2750    </para>
2751   </listitem>
2752  </varlistentry>
2753 </variablelist>
2754 </sect3>
2755
2756
2757 <!--   ~~~~~       New section      ~~~~~     -->
2758 <sect3 renderas="sect4" id="handle-as-image">
2759 <title>handle-as-image</title>
2760
2761 <variablelist>
2762  <varlistentry>
2763   <term>Typical use:</term>
2764   <listitem>
2765    <para>Mark URLs as belonging to images (so they'll be replaced by images <emphasis>if they get blocked</emphasis>)</para>
2766   </listitem>
2767  </varlistentry>
2768
2769  <varlistentry>
2770   <term>Effect:</term>
2771   <listitem>
2772    <para>
2773     This action alone doesn't do anything noticeable. It just marks URLs as images.
2774     If the <literal><link linkend="block">block</link></literal> action <emphasis>also applies</emphasis>,
2775     the presence or absence of this mark decides whether an HTML <quote>blocked</quote>
2776     page, or a replacement image (as determined by the <literal><link
2777     linkend="set-image-blocker">set-image-blocker</link></literal> action) will be sent to the
2778     client as a substitute for the blocked content.
2779    </para>
2780   </listitem>
2781  </varlistentry>
2782
2783  <varlistentry>
2784   <term>Type:</term>
2785   <!-- Boolean, Parameterized, Multi-value -->
2786   <listitem>
2787    <para>Boolean.</para>
2788   </listitem>
2789  </varlistentry>
2790
2791  <varlistentry>
2792   <term>Parameter:</term>
2793   <listitem>
2794    <para>
2795     N/A
2796    </para>
2797   </listitem>
2798  </varlistentry>
2799  
2800  <varlistentry>
2801   <term>Notes:</term>
2802   <listitem>
2803    <para>
2804     The below generic example section is actually part of <filename>default.action</filename>.
2805     It marks all URLs with well-known image file name extensions as images and should
2806     be left intact. 
2807    </para>
2808    <para>
2809     Users will probably only want to use the handle-as-image action in conjunction with
2810     <literal><link linkend="block">block</link></literal>, to block sources of banners, whose URLs don't
2811     reflect the file type, like in the second example section.
2812    </para>
2813    <para>
2814     Note that you cannot treat HTML pages as images in most cases. For instance, (in-line) ad
2815     frames require an HTML page to be sent, or they won't display properly.
2816     Forcing <literal>handle-as-image</literal> in this situation will not replace the
2817     ad frame with an image, but lead to error messages.
2818    </para>
2819   </listitem>
2820  </varlistentry>
2821
2822  <varlistentry>
2823   <term>Example usage (sections):</term>
2824   <listitem>
2825    <para>
2826      <screen># Generic image extensions:
2827 #
2828 {+handle-as-image}
2829 /.*\.(gif|jpg|jpeg|png|bmp|ico)$
2830
2831 # These don't look like images, but they're banners and should be
2832 # blocked as images:
2833 #
2834 {+block +handle-as-image}
2835 some.nasty-banner-server.com/junk.cgi?output=trash
2836
2837 # Banner source! Who cares if they also have non-image content?
2838 ad.doubleclick.net 
2839 </screen>
2840    </para>
2841   </listitem>
2842  </varlistentry>
2843 </variablelist>
2844 </sect3>
2845
2846
2847 <!--   ~~~~~       New section      ~~~~~     -->
2848 <sect3 renderas="sect4" id="hide-forwarded-for-headers">
2849 <title>hide-forwarded-for-headers</title>
2850
2851 <variablelist>
2852  <varlistentry>
2853   <term>Typical use:</term>
2854   <listitem>
2855    <para>Improve privacy by hiding the true source of the request</para>
2856   </listitem>
2857  </varlistentry>
2858
2859  <varlistentry>
2860   <term>Effect:</term>
2861   <listitem>
2862    <para>
2863     Deletes any existing <quote>X-Forwarded-for:</quote> HTTP header from client requests,
2864     and prevents adding a new one.
2865    </para>
2866   </listitem>
2867  </varlistentry>
2868
2869  <varlistentry>
2870   <term>Type:</term>
2871   <!-- Boolean, Parameterized, Multi-value -->
2872   <listitem>
2873    <para>Boolean.</para>
2874   </listitem>
2875  </varlistentry>
2876
2877  <varlistentry>
2878   <term>Parameter:</term>
2879   <listitem>
2880    <para>
2881     N/A
2882    </para>
2883   </listitem>
2884  </varlistentry>
2885  
2886  <varlistentry>
2887   <term>Notes:</term>
2888   <listitem>
2889    <para>
2890     It is fairly safe to leave this on.
2891    </para>
2892    <para>
2893     This action is scheduled for improvement: It should be able to generate forged 
2894     <quote>X-Forwarded-for:</quote> headers using random IP addresses from a specified network,
2895     to make successive requests from the same client look like requests from a pool of different
2896     users sharing the same proxy.
2897    </para>
2898   </listitem>
2899  </varlistentry>
2900
2901  <varlistentry>
2902   <term>Example usage:</term>
2903   <listitem>
2904     <para>
2905      <screen>+hide-forwarded-for-headers</screen>
2906    </para>
2907   </listitem>
2908  </varlistentry>
2909 </variablelist>
2910 </sect3>
2911
2912
2913 <!--   ~~~~~       New section      ~~~~~     -->
2914 <sect3 renderas="sect4" id="hide-from-header">
2915 <title>hide-from-header</title>
2916
2917 <variablelist>
2918  <varlistentry>
2919   <term>Typical use:</term>
2920   <listitem>
2921    <para>Keep your (old and ill) browser from telling web servers your email address</para>
2922   </listitem>
2923  </varlistentry>
2924
2925  <varlistentry>
2926   <term>Effect:</term>
2927   <listitem>
2928    <para>
2929     Deletes any existing <quote>From:</quote> HTTP header, or replaces it with the
2930     specified string.
2931    </para>
2932   </listitem>
2933  </varlistentry>
2934
2935  <varlistentry>
2936   <term>Type:</term>
2937   <!-- Boolean, Parameterized, Multi-value -->
2938   <listitem>
2939    <para>Parameterized.</para>
2940   </listitem>
2941  </varlistentry>
2942
2943  <varlistentry>
2944   <term>Parameter:</term>
2945   <listitem>
2946    <para>
2947     Keyword: <quote>block</quote>, or any user defined value.
2948    </para>
2949   </listitem>
2950  </varlistentry>
2951  
2952  <varlistentry>
2953   <term>Notes:</term>
2954   <listitem>
2955    <para>
2956     The keyword <quote>block</quote> will completely remove the header 
2957     (not to be confused with the <literal><link linkend="block">block</link></literal>
2958     action).
2959    </para>
2960    <para>
2961     Alternately, you can specify any value you prefer to be sent to the web
2962     server. If you do, it is a matter of fairness not to use any address that
2963     is actually used by a real person.
2964    </para>
2965    <para>
2966     This action is rarely needed, as modern web browsers don't send
2967     <quote>From:</quote> headers anymore.
2968    </para>
2969   </listitem>
2970  </varlistentry>
2971
2972  <varlistentry>
2973   <term>Example usage:</term>
2974   <listitem>
2975    <para>
2976     <screen>+hide-from-header{block}</screen> or
2977     <screen>+hide-from-header{spam-me-senseless@sittingduck.example.com}</screen>
2978    </para>
2979   </listitem>
2980  </varlistentry>
2981 </variablelist>
2982 </sect3>
2983
2984
2985 <!--   ~~~~~       New section      ~~~~~     -->
2986 <sect3 renderas="sect4" id="hide-referrer">
2987 <title>hide-referrer</title>
2988 <anchor id="hide-referer">
2989 <variablelist>
2990  <varlistentry>
2991   <term>Typical use:</term>
2992   <listitem>
2993    <para>Conceal which link you followed to get to a particular site</para>
2994   </listitem>
2995  </varlistentry>
2996
2997  <varlistentry>
2998   <term>Effect:</term>
2999   <listitem>
3000    <para>
3001     Deletes the <quote>Referer:</quote> (sic) HTTP header from the client request,
3002     or replaces it with a forged one.
3003    </para>
3004   </listitem>
3005  </varlistentry>
3006
3007  <varlistentry>
3008   <term>Type:</term>
3009   <!-- Boolean, Parameterized, Multi-value -->
3010   <listitem>
3011    <para>Parameterized.</para>
3012   </listitem>
3013  </varlistentry>
3014
3015  <varlistentry>
3016   <term>Parameter:</term>
3017   <listitem>
3018    <itemizedlist>
3019     <listitem>
3020      <para><quote>block</quote> to delete the header completely.</para>
3021     </listitem>
3022     <listitem>
3023      <para><quote>forge</quote> to pretend to be coming from the homepage of the server we are talking to.</para>
3024     </listitem>
3025     <listitem>
3026      <para>Any other string to set a user defined referrer.</para>
3027     </listitem>
3028    </itemizedlist>
3029   </listitem>
3030  </varlistentry>
3031  
3032  <varlistentry>
3033   <term>Notes:</term>
3034   <listitem>
3035    <para>
3036     <quote>forge</quote> is the preferred option here, since some servers will
3037     not send images back otherwise, in an attempt to prevent their valuable
3038     content from being embedded elsewhere (and hence, without being surrounded
3039     by <emphasis>their</emphasis> banners).
3040    </para>
3041   <para>  
3042    <literal>hide-referer</literal> is an alternate spelling of
3043    <literal>hide-referrer</literal> and the two can be can be freely
3044    substituted with each other. (<quote>referrer</quote> is the
3045    correct English spelling, however the HTTP specification has a bug - it
3046    requires it to be spelled as <quote>referer</quote>.) 
3047   </para>
3048   </listitem>
3049  </varlistentry>
3050
3051  <varlistentry>
3052   <term>Example usage:</term>
3053   <listitem>
3054    <para>
3055      <screen>+hide-referrer{forge}</screen> or
3056      <screen>+hide-referrer{http://www.yahoo.com/}</screen>
3057    </para>
3058   </listitem>
3059  </varlistentry>
3060 </variablelist>
3061 </sect3>
3062
3063
3064 <!--   ~~~~~       New section      ~~~~~     -->
3065 <sect3 renderas="sect4" id="hide-user-agent">
3066 <title>hide-user-agent</title>
3067
3068 <variablelist>
3069  <varlistentry>
3070   <term>Typical use:</term>
3071   <listitem>
3072    <para>Conceal your type of browser and client operating system</para>
3073   </listitem>
3074  </varlistentry>
3075
3076  <varlistentry>
3077   <term>Effect:</term>
3078   <listitem>
3079    <para>
3080     Replaces the value of the <quote>User-Agent:</quote> HTTP header
3081     in client requests with the specified value.
3082    </para>
3083   </listitem>
3084  </varlistentry>
3085
3086  <varlistentry>
3087   <term>Type:</term>
3088   <!-- Boolean, Parameterized, Multi-value -->
3089   <listitem>
3090    <para>Parameterized.</para>
3091   </listitem>
3092  </varlistentry>
3093
3094  <varlistentry>
3095   <term>Parameter:</term>
3096   <listitem>
3097    <para>
3098     Any user-defined string.
3099    </para>
3100   </listitem>
3101  </varlistentry>
3102  
3103  <varlistentry>
3104   <term>Notes:</term>
3105   <listitem>
3106    <warning> 
3107     <para>
3108      This breaks many web sites that depend on looking at this header in order
3109      to customize their content for different browsers (which, by the
3110      way, is <emphasis>NOT</emphasis> a <ulink
3111      url="http://www.javascriptkit.com/javaindex.shtml">smart way to do
3112      that</ulink>!).
3113     </para>
3114    </warning>
3115    <para>
3116     Using this action in multi-user setups or wherever different types of
3117     browsers will access the same <application>Privoxy</application> is
3118     <emphasis>not recommended</emphasis>. In single-user, single-browser
3119     setups, you might use it to delete your OS version information from
3120     the headers, because it is an invitation to exploit known bugs for your
3121     OS. It is also occasionally useful to forge this in order to access 
3122     sites that won't let you in otherwise (though there may be a good 
3123     reason in some cases). Example of this: some MSN sites will not 
3124     let <application>Mozilla</application> enter, yet forging to a 
3125     <application>Netscape 6.1</application> user-agent works just fine.
3126     (Must be just a silly MS goof, I'm sure :-).
3127    </para>
3128    <para>
3129     This action is scheduled for improvement.
3130    </para>
3131    </listitem>
3132  </varlistentry>
3133
3134  <varlistentry>
3135   <term>Example usage:</term>
3136   <listitem>
3137    <para>
3138      <screen>+hide-user-agent{Netscape 6.1 (X11; I; Linux 2.4.18 i686)}</screen>
3139    </para>
3140   </listitem>
3141  </varlistentry>
3142 </variablelist>
3143 </sect3>
3144
3145
3146 <!--   ~~~~~       New section      ~~~~~     -->
3147 <sect3 renderas="sect4" id="kill-popups">
3148 <title>kill-popups<anchor id="kill-popup"></title>
3149
3150 <variablelist>
3151  <varlistentry>
3152   <term>Typical use:</term>
3153   <listitem>
3154    <para>Eliminate those annoying pop-up windows (deprecated)</para>
3155   </listitem>
3156  </varlistentry>
3157
3158  <varlistentry>
3159   <term>Effect:</term>
3160   <listitem>
3161    <para>
3162     While loading the document, replace JavaScript code that opens
3163     pop-up windows with (syntactically neutral) dummy code on the fly.
3164    </para>
3165   </listitem>
3166  </varlistentry>
3167
3168  <varlistentry>
3169   <term>Type:</term>
3170   <!-- Boolean, Parameterized, Multi-value -->
3171   <listitem>
3172    <para>Boolean.</para>
3173   </listitem>
3174  </varlistentry>
3175
3176  <varlistentry>
3177   <term>Parameter:</term>
3178   <listitem>
3179    <para>
3180     N/A
3181    </para>
3182   </listitem>
3183  </varlistentry>
3184  
3185  <varlistentry>
3186   <term>Notes:</term>
3187   <listitem>
3188    <para>
3189     This action is basically a built-in, hardwired special-purpose filter
3190     action, but there are important differences: For <literal>kill-popups</literal>,
3191     the document need not be buffered, so it can be incrementally rendered while
3192     downloading. But <literal>kill-popups</literal> doesn't catch as many pop-ups as
3193     <literal><link
3194     linkend="FILTER-ALL-POPUPS">filter{<replaceable>all-popups</replaceable>}</link></literal>
3195     does and is not as smart as <literal><link
3196     linkend="FILTER-UNSOLICITED-POPUPS">filter{<replaceable>unsolicited-popups</replaceable>}</link>
3197     </literal>is.
3198    </para>
3199    <para>
3200     Think of it as a fast and efficient replacement for a filter that you
3201     can use if you don't want any filtering at all. Note that it doesn't make
3202     sense to combine it with any <literal><link linkend="filter">filter</link></literal> action,
3203     since as soon as one <literal><link linkend="filter">filter</link></literal> applies,
3204     the whole document needs to be buffered anyway, which destroys the advantage of
3205     the <literal>kill-popups</literal> action over its filter equivalent.
3206    </para>
3207    <para>
3208     Killing all pop-ups unconditionally is problematic. Many shops and banks rely on
3209     pop-ups to display forms, shopping carts etc, and the <literal><link
3210     linkend="FILTER-UNSOLICITED-POPUPS">filter{<replaceable>unsolicited-popups</replaceable>}</link>
3211     </literal> does a fairly good job of catching only the unwanted ones.
3212    </para>
3213    <para>
3214     If the only kind of pop-ups that you want to kill are exit consoles (those
3215     <emphasis>really nasty</emphasis> windows that appear when you close an other
3216     one), you might want to use
3217     <literal><link
3218     linkend="filter">filter</link>{<replaceable>js-annoyances</replaceable>}</literal>
3219     instead. 
3220    </para>
3221
3222   <!-- 
3223    <para>
3224     An alternate spelling is <literal>+kill-popup</literal>, which is 
3225     interchangeable.
3226    </para>
3227  --> 
3228   </listitem>
3229  </varlistentry>
3230
3231  <varlistentry>
3232   <term>Example usage:</term>
3233   <listitem>
3234    <para><screen>+kill-popups</screen></para>
3235   </listitem>
3236  </varlistentry>
3237 </variablelist>
3238 </sect3>
3239
3240
3241 <!--   ~~~~~       New section      ~~~~~     -->
3242 <sect3 renderas="sect4" id="limit-connect">
3243 <title>limit-connect</title>
3244
3245 <variablelist>
3246  <varlistentry>
3247   <term>Typical use:</term>
3248   <listitem>
3249    <para>Prevent abuse of <application>Privoxy</application> as a TCP proxy relay</para>
3250   </listitem>
3251  </varlistentry>
3252
3253  <varlistentry>
3254   <term>Effect:</term>
3255   <listitem>
3256    <para>
3257     Specifies to which ports HTTP CONNECT requests are allowable.
3258    </para>
3259   </listitem>
3260  </varlistentry>
3261
3262  <varlistentry>
3263   <term>Type:</term>
3264   <!-- Boolean, Parameterized, Multi-value -->
3265   <listitem>
3266    <para>Parameterized.</para>
3267   </listitem>
3268  </varlistentry>
3269
3270  <varlistentry>
3271   <term>Parameter:</term>
3272   <listitem>
3273    <para>
3274     A comma-separated list of ports or port ranges (the latter using dashes, with the minimum
3275     defaulting to 0 and the maximum to 65K).
3276    </para>
3277   </listitem>
3278  </varlistentry>
3279  
3280  <varlistentry>
3281   <term>Notes:</term>
3282   <listitem>
3283    <para>
3284     By default, i.e. if no <literal>limit-connect</literal> action applies,
3285     <application>Privoxy</application> only allows HTTP CONNECT
3286     requests to port 443 (the standard, secure HTTPS port). Use 
3287     <literal>limit-connect</literal> if more fine-grained control is desired
3288     for some or all destinations.
3289    </para>
3290    <para>
3291     The CONNECT methods exists in HTTP to allow access to secure websites
3292     (<quote>https://</quote> URLs) through proxies. It works very simply:
3293     the proxy connects to the server on the specified port, and then
3294     short-circuits its connections to the client and to the remote server.
3295     This can be a big security hole, since CONNECT-enabled proxies can be
3296     abused as TCP relays very easily.
3297   </para>
3298   <para>
3299    If you don't know what any of this means, there probably is no reason to 
3300    change this one, since the default is already very restrictive.
3301   </para>
3302   </listitem>
3303  </varlistentry>
3304
3305  <varlistentry>
3306   <term>Example usages:</term>
3307   <listitem>
3308    <!-- I had trouble getting the spacing to look right in my browser -->
3309    <!-- I probably have the wrong font setup, bollocks. -->
3310    <!-- Apparently the emphasis tag uses a proportional font no matter what -->
3311     <para>
3312      <screen>+limit-connect{443}                   # This is the default and need not be specified.
3313 +limit-connect{80,443}                # Ports 80 and 443 are OK.
3314 +limit-connect{-3, 7, 20-100, 500-}   # Ports less than 3, 7, 20 to 100 and above 500 are OK.
3315 +limit-connect{-}                     # All ports are OK (gaping security hole!)</screen>
3316    </para>
3317   </listitem>
3318  </varlistentry>
3319 </variablelist>
3320 </sect3>
3321
3322 <!--   ~~~~~       New section      ~~~~~     -->
3323 <sect3 renderas="sect4" id="prevent-compression">
3324 <title>prevent-compression</title>
3325
3326 <variablelist>
3327  <varlistentry>
3328   <term>Typical use:</term>
3329   <listitem>
3330    <para>
3331     Ensure that servers send the content uncompressed, so it can be
3332     passed through <literal><link linkend="filter">filter</link></literal>s
3333    </para>
3334   </listitem>
3335  </varlistentry>
3336
3337  <varlistentry>
3338   <term>Effect:</term>
3339   <listitem>
3340    <para>
3341     Adds a header to the request that asks for uncompressed transfer.
3342    </para>
3343   </listitem>
3344  </varlistentry>
3345
3346  <varlistentry>
3347   <term>Type:</term>
3348   <!-- Boolean, Parameterized, Multi-value -->
3349   <listitem>
3350    <para>Boolean.</para>
3351   </listitem>
3352  </varlistentry>
3353
3354  <varlistentry>
3355   <term>Parameter:</term>
3356   <listitem>
3357    <para>
3358     N/A
3359    </para>
3360   </listitem>
3361  </varlistentry>
3362  
3363  <varlistentry>
3364   <term>Notes:</term>
3365   <listitem>
3366    <para>
3367     More and more websites send their content compressed by default, which
3368     is generally a good idea and saves bandwidth. But for the <literal><link
3369     linkend="filter">filter</link></literal>, <literal><link linkend="deanimate-gifs">deanimate-gifs</link></literal>
3370     and <literal><link linkend="kill-popups">kill-popups</link></literal> actions to work,
3371     <application>Privoxy</application> needs access to the  uncompressed data.
3372     Unfortunately, <application>Privoxy</application> can't yet(!)  uncompress, filter, and
3373     re-compress the content on the fly. So if you want to ensure that all websites, including
3374     those that normally compress, can be filtered, you need to use this action.
3375    </para>
3376    <para>
3377     This will slow down transfers from those websites, though. If you use any of the above-mentioned
3378     actions, you will typically want to use <literal>prevent-compression</literal> in conjunction
3379     with them.
3380    </para>
3381    <para>
3382     Note that some (rare) ill-configured sites don't handle requests for uncompressed
3383     documents correctly (they send an empty document body). If you use <literal>prevent-compression</literal>
3384     per default, you'll have to add exceptions for those sites. See the example for how to do that.
3385    </para>
3386   </listitem>
3387  </varlistentry>
3388
3389  <varlistentry>
3390   <term>Example usage (sections):</term>
3391   <listitem>
3392    <para>
3393     <screen># Set default:
3394 #
3395 {+prevent-compression}
3396 / # Match all sites
3397
3398 # Make exceptions for ill sites:
3399 #
3400 {-prevent-compression}
3401 www.debianhelp.org
3402 www.pclinuxonline.com</screen>
3403    </para>
3404   </listitem>
3405  </varlistentry>
3406
3407 </variablelist>
3408 </sect3>
3409
3410
3411 <!--   ~~~~~       New section      ~~~~~     -->
3412 <sect3 renderas="sect4" id="send-vanilla-wafer">
3413 <title>send-vanilla-wafer</title>
3414
3415 <variablelist>
3416  <varlistentry>
3417   <term>Typical use:</term>
3418   <listitem>
3419    <para>
3420     Feed log analysis scripts with useless data.
3421    </para>
3422   </listitem>
3423  </varlistentry>
3424
3425  <varlistentry>
3426   <term>Effect:</term>
3427   <listitem>
3428    <para>
3429     Sends a cookie with each request stating that you do not accept any copyright
3430     on cookies sent to you, and asking the site operator not to track you.
3431    </para>
3432   </listitem>
3433  </varlistentry>
3434
3435  <varlistentry>
3436   <term>Type:</term>
3437   <!-- Boolean, Parameterized, Multi-value -->
3438   <listitem>
3439    <para>Boolean.</para>
3440   </listitem>
3441  </varlistentry>
3442
3443  <varlistentry>
3444   <term>Parameter:</term>
3445   <listitem>
3446    <para>
3447     N/A
3448    </para>
3449   </listitem>
3450  </varlistentry>
3451  
3452  <varlistentry>
3453   <term>Notes:</term>
3454   <listitem>
3455    <para>
3456     The vanilla wafer is a (relatively) unique header and could conceivably be used to track you.
3457    </para>
3458    <para>
3459     This action is rarely used and not enabled in the default configuration.
3460    </para>
3461   </listitem>
3462  </varlistentry>
3463
3464  <varlistentry>
3465   <term>Example usage:</term>
3466   <listitem>
3467    <para>
3468      <screen>+send-vanilla-wafer</screen>
3469    </para>
3470   </listitem>
3471  </varlistentry>
3472
3473 </variablelist>
3474 </sect3>
3475
3476
3477 <!--   ~~~~~       New section      ~~~~~     -->
3478 <sect3 renderas="sect4" id="send-wafer">
3479 <title>send-wafer</title>
3480
3481 <variablelist>
3482  <varlistentry>
3483   <term>Typical use:</term>
3484   <listitem>
3485    <para>
3486     Send custom cookies or feed log analysis scripts with even more useless data.
3487    </para>
3488   </listitem>
3489  </varlistentry>
3490
3491  <varlistentry>
3492   <term>Effect:</term>
3493   <listitem>
3494    <para>
3495     Sends a custom, user-defined cookie with each request.
3496    </para>
3497   </listitem>
3498  </varlistentry>
3499
3500  <varlistentry>
3501   <term>Type:</term>
3502   <!-- Boolean, Parameterized, Multi-value -->
3503   <listitem>
3504    <para>Multi-value.</para>
3505   </listitem>
3506  </varlistentry>
3507
3508  <varlistentry>
3509   <term>Parameter:</term>
3510   <listitem>
3511    <para>
3512     A string of the form <quote><replaceable class="option">name</replaceable>=<replaceable
3513     class="parameter">value</replaceable></quote>.
3514    </para>
3515   </listitem>
3516  </varlistentry>
3517  
3518  <varlistentry>
3519   <term>Notes:</term>
3520   <listitem>
3521    <para>
3522     Being multi-valued, multiple instances of this action can apply to the same request,
3523     resulting in multiple cookies being sent.
3524    </para>
3525    <para>
3526     This action is rarely used and not enabled in the default configuration.
3527    </para>
3528   </listitem>
3529  </varlistentry>
3530  <varlistentry>
3531   <term>Example usage (section):</term>
3532   <listitem>
3533    <para>
3534     <screen>{+send-wafer{UsingPrivoxy=true}}
3535 my-internal-testing-server.void</screen>
3536    </para>
3537   </listitem>
3538  </varlistentry>
3539 </variablelist>
3540 </sect3>
3541
3542
3543 <!--   ~~~~~       New section      ~~~~~     -->
3544 <sect3 renderas="sect4" id="session-cookies-only">
3545 <title>session-cookies-only</title>
3546
3547 <variablelist>
3548  <varlistentry>
3549   <term>Typical use:</term>
3550   <listitem>
3551    <para>
3552     Allow only temporary <quote>session</quote> cookies (for the current
3553     browser session <emphasis>only</emphasis>). 
3554    </para>
3555   </listitem>
3556  </varlistentry>
3557
3558  <varlistentry>
3559   <term>Effect:</term>
3560   <listitem>
3561    <para>
3562     Deletes the <quote>expires</quote> field from <quote>Set-Cookie:</quote>
3563     server headers. Most browsers will not store such cookies permanently and
3564     forget them in between sessions.
3565    </para>
3566   </listitem>
3567  </varlistentry>
3568
3569 <varlistentry>
3570   <term>Type:</term>
3571   <!-- Boolean, Parameterized, Multi-value -->
3572   <listitem>
3573    <para>Boolean.</para>
3574   </listitem>
3575  </varlistentry>
3576
3577  <varlistentry>
3578   <term>Parameter:</term>
3579   <listitem>
3580    <para>
3581     N/A
3582    </para>
3583   </listitem>
3584  </varlistentry>
3585  
3586  <varlistentry>
3587   <term>Notes:</term>
3588   <listitem>
3589    <para>
3590     This is less strict than <literal><link linkend="crunch-incoming-cookies">crunch-incoming-cookies</link></literal> / 
3591     <literal><link linkend="crunch-outgoing-cookies">crunch-outgoing-cookies</link></literal> and allows you to browse
3592     websites that insist or rely on setting cookies, without compromising your privacy too badly.
3593    </para>
3594    <para>
3595     Most browsers will not permanently store cookies that have been processed by
3596     <literal>session-cookies-only</literal> and will forget about them between sessions.
3597     This makes profiling cookies useless, but won't break sites which require cookies so
3598     that you can log in for transactions. This is generally turned on for all 
3599     sites, and is the recommended setting.
3600    </para>
3601    <para>
3602     It makes <emphasis>no sense at all</emphasis> to use <literal>session-cookies-only</literal>
3603     together with <literal><link linkend="crunch-incoming-cookies">crunch-incoming-cookies</link></literal> or
3604     <literal><link linkend="crunch-outgoing-cookies">crunch-outgoing-cookies</link></literal>. If you do, cookies
3605     will be plainly killed.
3606    </para>
3607    <para>
3608     Note that it is up to the browser how it handles such cookies without an <quote>expires</quote>
3609     field. If you use an exotic browser, you might want to try it out to be sure.
3610    </para>
3611    <para>
3612     This setting also has no effect on cookies that may have been stored
3613     previously by the browser before starting <application>Privoxy</application>.
3614     These would have to be removed manually.
3615    </para>
3616    <para>
3617      <application>Privoxy</application> also uses  
3618      the <link linkend="filter-content-cookies">content-cookies filter</link> 
3619      to block some types of cookies. Content cookies are not effected by 
3620      <literal>session-cookies-only</literal>.
3621    </para>
3622   </listitem>
3623  </varlistentry>
3624
3625  <varlistentry>
3626   <term>Example usage:</term>
3627   <listitem>
3628    <para>
3629      <screen>+session-cookies-only</screen>
3630    </para>
3631   </listitem>
3632  </varlistentry>
3633 </variablelist>
3634 </sect3>
3635
3636
3637 <!--   ~~~~~       New section      ~~~~~     -->
3638 <sect3 renderas="sect4" id="set-image-blocker">
3639 <title>set-image-blocker</title>
3640
3641 <variablelist>
3642  <varlistentry>
3643   <term>Typical use:</term>
3644   <listitem>
3645    <para>Choose the replacement for blocked images</para>
3646   </listitem>
3647  </varlistentry>
3648
3649  <varlistentry>
3650   <term>Effect:</term>
3651   <listitem>
3652    <para>
3653      This action alone doesn't do anything noticeable. If <emphasis>both</emphasis>
3654      <literal><link linkend="block">block</link></literal> <emphasis>and</emphasis> <literal><link
3655      linkend="handle-as-image">handle-as-image</link></literal> <emphasis>also</emphasis>
3656      apply, i.e. if the request is to be blocked as an image,
3657      <emphasis>then</emphasis> the parameter of this action decides what will be
3658      sent as a replacement.
3659    </para>
3660   </listitem>
3661  </varlistentry>
3662
3663  <varlistentry>
3664   <term>Type:</term>
3665   <!-- Boolean, Parameterized, Multi-value -->
3666   <listitem>
3667    <para>Parameterized.</para>
3668   </listitem>
3669  </varlistentry>
3670
3671  <varlistentry>
3672   <term>Parameter:</term>
3673   <listitem>
3674    <itemizedlist>
3675     <listitem>
3676      <para>
3677       <quote>pattern</quote> to send a built-in checkerboard pattern image. The image is visually
3678       decent, scales very well, and makes it obvious where banners were busted.
3679      </para>
3680     </listitem>
3681     <listitem>
3682      <para>
3683       <quote>blank</quote> to send a built-in transparent image. This makes banners disappear
3684       completely, but makes it hard to detect where <application>Privoxy</application> has blocked
3685       images on a given page and complicates troubleshooting if <application>Privoxy</application>
3686       has blocked innocent images, like navigation icons.
3687      </para>
3688     </listitem>
3689     <listitem>
3690      <para>
3691       <quote><replaceable class="parameter">target-url</replaceable></quote> to
3692       send a redirect to <replaceable class="parameter">target-url</replaceable>. You can redirect
3693       to any image anywhere, even in your local filesystem (via <quote>file:///</quote> URL).
3694      </para>
3695      <para>
3696       A good application of redirects is to use special <application>Privoxy</application>-built-in
3697       URLs, which send the built-in images, as <replaceable class="parameter">target-url</replaceable>.
3698       This has the same visual effect as specifying <quote>blank</quote> or <quote>pattern</quote> in
3699       the first place, but enables your browser to cache the replacement image, instead of requesting
3700       it over and over again.
3701      </para>
3702     </listitem>
3703    </itemizedlist>
3704   </listitem>
3705  </varlistentry>
3706
3707  <varlistentry>
3708   <term>Notes:</term>
3709   <listitem>
3710    <para>
3711     The URLs for the built-in images are <quote>http://config.privoxy.org/send-banner?type=<replaceable
3712     class="parameter">type</replaceable></quote>, where <replaceable class="parameter">type</replaceable> is
3713     either <quote>blank</quote> or <quote>pattern</quote>.
3714    </para>
3715    <para>
3716     There is a third (advanced) type, called <quote>auto</quote>. It is <emphasis>NOT</emphasis> to be
3717     used in <literal>set-image-blocker</literal>, but meant for use from <link linkend="filter-file">filters</link>.
3718     Auto will select the type of image that would have applied to the referring page, had it been an image.
3719    </para>
3720   </listitem>
3721  </varlistentry>
3722
3723  <varlistentry>
3724   <term>Example usage:</term>
3725   <listitem>
3726    <para>
3727     Built-in pattern:
3728    </para>
3729    <para>
3730     <screen>+set-image-blocker{pattern}</screen>
3731    </para>
3732    <para>
3733     Redirect to the BSD devil:
3734    </para>
3735    <para>
3736     <screen>+set-image-blocker{http://www.freebsd.org/gifs/dae_up3.gif}</screen>
3737    </para>
3738    <para>
3739     Redirect to the built-in pattern for better caching:
3740    </para>
3741    <para>
3742     <screen>+set-image-blocker{http://config.privoxy.org/send-banner?type=pattern}</screen>
3743    </para>
3744   </listitem>
3745  </varlistentry>
3746 </variablelist>
3747 </sect3>
3748
3749
3750 <!--   ~~~~~       New section      ~~~~~     -->
3751 <sect3>
3752 <title>Summary</title>
3753 <para>
3754  Note that many of these actions have the potential to cause a page to
3755  misbehave, possibly even not to display at all. There are many ways 
3756  a site designer may choose to design his site, and what HTTP header 
3757  content, and other criteria, he may depend on. There is no way to have hard
3758  and fast rules for all sites. See the <link
3759  linkend="ACTIONSANAT">Appendix</link> for a brief example on troubleshooting
3760  actions.
3761 </para>
3762 </sect3>
3763 </sect2>
3764
3765 <!--   ~~~~~       New section      ~~~~~     -->
3766 <sect2 id="aliases">
3767 <title>Aliases</title>
3768 <para>
3769  Custom <quote>actions</quote>, known to <application>Privoxy</application>
3770  as <quote>aliases</quote>, can be defined by combining other actions.
3771  These can in turn be invoked just like the built-in actions.
3772  Currently, an alias name can contain any character except space, tab,
3773  <quote>=</quote>,
3774  <quote>{</quote> and <quote>}</quote>, but we <emphasis>strongly 
3775  recommend</emphasis> that you only use <quote>a</quote> to <quote>z</quote>,
3776  <quote>0</quote> to <quote>9</quote>, <quote>+</quote>, and <quote>-</quote>.
3777  Alias names are not case sensitive, and are not required to start with a
3778  <quote>+</quote> or <quote>-</quote> sign, since they are merely textually
3779  expanded.
3780 </para>
3781 <para>
3782  Aliases can be used throughout the actions file, but they <emphasis>must be
3783  defined in a special section at the top of the file!</emphasis>
3784  And there can only be one such section per actions file. Each actions file may
3785  have its own alias section, and the aliases defined in it are only visible
3786  within that file.
3787 </para>
3788 <para>
3789  There are two main reasons to use aliases: One is to save typing for frequently
3790  used combinations of actions, the other one is a gain in flexibility: If you
3791  decide once how you want to handle shops by defining an alias called
3792  <quote>shop</quote>, you can later change your policy on shops in
3793  <emphasis>one</emphasis> place, and your changes will take effect everywhere
3794  in the actions file where the <quote>shop</quote> alias is used. Calling aliases
3795  by their purpose also makes your actions files more readable.
3796 </para>
3797 <para>
3798  Currently, there is one big drawback to using aliases, though:
3799  <application>Privoxy</application>'s built-in web-based action file
3800  editor honors aliases when reading the actions files, but it expands
3801  them before writing. So the effects of your aliases are of course preserved,
3802  but the aliases themselves are lost when you edit sections that use aliases
3803  with it.
3804  This is likely to change in future versions of <application>Privoxy</application>.
3805 </para>
3806
3807 <para>
3808  Now let's define some aliases...
3809 </para>
3810
3811 <para>
3812  <screen>
3813  # Useful custom aliases we can use later.
3814  #
3815  # Note the (required!) section header line and that this section
3816  # must be at the top of the actions file!
3817  #
3818  {{alias}}
3819
3820  # These aliases just save typing later:
3821  # (Note that some already use other aliases!)
3822  #
3823  +crunch-all-cookies = +<link linkend="CRUNCH-INCOMING-COOKIES">crunch-incoming-cookies</link> +<link linkend="CRUNCH-OUTGOING-COOKIES">crunch-outgoing-cookies</link>
3824  -crunch-all-cookies = -<link linkend="CRUNCH-INCOMING-COOKIES">crunch-incoming-cookies</link> -<link linkend="CRUNCH-OUTGOING-COOKIES">crunch-outgoing-cookies</link>
3825  block-as-image      = +block +handle-as-image
3826  mercy-for-cookies   = -crunch-all-cookies -<link linkend="SESSION-COOKIES-ONLY">session-cookies-only</link> -<link linkend="FILTER-CONTENT-COOKIES">filter{content-cookies}</link>
3827
3828  # These aliases define combinations of actions
3829  # that are useful for certain types of sites:
3830  #
3831  fragile     = -<link linkend="BLOCK">block</link> -<link linkend="FILTER">filter</link> -crunch-all-cookies -<link linkend="FAST-REDIRECTS">fast-redirects</link> -<link linkend="HIDE-REFERER">hide-referrer</link> -<link linkend="KILL-POPUPS">kill-popups</link>
3832  shop        = -crunch-all-cookies -<link linkend="FILTER-ALL-POPUPS">filter{all-popups}</link> -<link linkend="KILL-POPUPS">kill-popups</link>
3833
3834  # Short names for other aliases, for really lazy people ;-)
3835  #
3836  c0 = +crunch-all-cookies
3837  c1 = -crunch-all-cookies</screen>
3838 </para>
3839
3840 <para>
3841  ...and put them to use. These sections would appear in the lower part of an 
3842  actions file and define exceptions to the default actions (as specified further
3843  up for the <quote>/</quote> pattern):
3844 </para>
3845
3846 <para>
3847  <screen>
3848  # These sites are either very complex or very keen on
3849  # user data and require minimal interference to work:
3850  #
3851  {fragile}
3852  .office.microsoft.com
3853  .windowsupdate.microsoft.com
3854  .nytimes.com
3855
3856  # Shopping sites:
3857  # Allow cookies (for setting and retrieving your customer data)
3858  #           
3859  {shop}
3860  .quietpc.com
3861  .worldpay.com   # for quietpc.com
3862  .scan.co.uk
3863
3864  # These shops require pop-ups:
3865  #
3866  {shop -kill-popups -filter{all-popups}}
3867   .dabs.com
3868   .overclockers.co.uk</screen>
3869 </para>
3870
3871 <para>
3872  Aliases like <quote>shop</quote> and <quote>fragile</quote> are often used for 
3873  <quote>problem</quote> sites that require some actions to be disabled 
3874  in order to function properly.
3875 </para>
3876 </sect2>
3877
3878 <!--   ~~~~~       New section      ~~~~~     -->
3879 <sect2 id="act-examples">
3880 <title>Actions Files Tutorial</title>
3881 <para>
3882  The above chapters have shown <link linkend="actions-file">which actions files
3883  there are and how they are organized</link>, how actions are <link
3884  linkend="actions">specified</link> and <link linkend="actions-apply">applied
3885  to URLs</link>, how <link linkend="af-patterns">patterns</link> work, and how to
3886  define and use <link linkend="aliases">aliases</link>. Now, let's look at an
3887  example <filename>default.action</filename> and <filename>user.action</filename>
3888  file and see how all these pieces come together:
3889 </para>
3890
3891 <sect3><title>default.action</title>
3892
3893 <para>
3894 Every config file should start with a short comment stating its purpose:
3895 </para>
3896
3897 <para>
3898  <screen># Sample default.action file &lt;developers@privoxy.org&gt;</screen>
3899 </para>
3900
3901 <para>
3902 Then, since this is the <filename>default.action</filename> file, the
3903 first section is a special section for internal use that you needn't
3904 change or worry about:
3905 </para>
3906
3907 <para>
3908  <screen>
3909 ##########################################################################
3910 # Settings -- Don't change! For internal Privoxy use ONLY.
3911 ##########################################################################
3912
3913 {{settings}}
3914 for-privoxy-version=3.0</screen>
3915 </para>
3916
3917 <para>
3918 After that comes the (optional) alias section. We'll use the example
3919 section from the above <link linkend="aliases">chapter on aliases</link>,
3920 that also explains why and how aliases are used:
3921 </para>
3922
3923 <para>
3924  <screen>
3925 ##########################################################################
3926 # Aliases
3927 ##########################################################################
3928 {{alias}}
3929
3930  # These aliases just save typing later:
3931  # (Note that some already use other aliases!)
3932  #
3933  +crunch-all-cookies = +<link linkend="CRUNCH-INCOMING-COOKIES">crunch-incoming-cookies</link> +<link linkend="CRUNCH-OUTGOING-COOKIES">crunch-outgoing-cookies</link>
3934  -crunch-all-cookies = -<link linkend="CRUNCH-INCOMING-COOKIES">crunch-incoming-cookies</link> -<link linkend="CRUNCH-OUTGOING-COOKIES">crunch-outgoing-cookies</link>
3935  block-as-image      = +block +handle-as-image
3936  mercy-for-cookies   = -crunch-all-cookies -<link linkend="SESSION-COOKIES-ONLY">session-cookies-only</link> -<link linkend="FILTER-CONTENT-COOKIES">filter{content-cookies}</link>
3937
3938  # These aliases define combinations of actions
3939  # that are useful for certain types of sites:
3940  #
3941  fragile     = -<link linkend="BLOCK">block</link> -<link linkend="FILTER">filter</link> -crunch-all-cookies -<link linkend="FAST-REDIRECTS">fast-redirects</link> -<link linkend="HIDE-REFERER">hide-referrer</link> -<link linkend="KILL-POPUPS">kill-popups</link>
3942  shop        = -crunch-all-cookies -<link linkend="FILTER-ALL-POPUPS">filter{all-popups}</link> -<link linkend="KILL-POPUPS">kill-popups</link></screen>
3943 </para>
3944
3945 <para>
3946  Now come the regular sections, i.e. sets of actions, accompanied
3947  by URL patterns to which they apply. Remember <emphasis>all actions
3948  are disabled when matching starts</emphasis>, so we have to explicitly
3949  enable the ones we want.
3950 </para>
3951
3952 <para>
3953  The first regular section is probably the most important. It has only
3954  one pattern, <quote><literal>/</literal></quote>, but this pattern
3955  <link linkend="af-patterns">matches all URLs</link>. Therefore, the
3956  set of actions used in this <quote>default</quote> section <emphasis>will
3957  be applied to all requests as a start</emphasis>. It can  be partly or
3958  wholly overridden by later matches further down this file, or in user.action,
3959  but it will still be largely responsible for your overall browsing
3960  experience.
3961 </para>
3962
3963 <para>
3964  Again, at the start of matching, all actions are disabled, so there is
3965  no real need to disable any actions here, but we will do that nonetheless,
3966  to have a complete listing for your reference. (Remember: a <quote>+</quote>
3967  preceding the action name enables the action, a <quote>-</quote> disables!).
3968  Also note how this long line has been made more readable by splitting it into
3969  multiple lines with line continuation.
3970 </para> 
3971
3972 <para>
3973  <screen>
3974 ##########################################################################
3975 # "Defaults" section:
3976 ##########################################################################
3977  { \
3978  -<link linkend="ADD-HEADER">add-header</link> \
3979  -<link linkend="BLOCK">block</link> \
3980  -<link linkend="CRUNCH-INCOMING-COOKIES">crunch-incoming-cookies</link> \
3981  -<link linkend="CRUNCH-OUTGOING-COOKIES">crunch-outgoing-cookies</link> \
3982  +<link linkend="DEANIMATE-GIFS">deanimate-gifs</link> \
3983  -<link linkend="DOWNGRADE-HTTP-VERSION">downgrade-http-version</link> \
3984  +<link linkend="FAST-REDIRECTS">fast-redirects</link> \
3985  +<link linkend="FILTER-JS-ANNOYANCES">filter{js-annoyances}</link> \
3986  -<link linkend="FILTER-JS-EVENTS">filter{js-events}</link> \
3987  +<link linkend="FILTER-HTML-ANNOYANCES">filter{html-annoyances}</link> \
3988  -<link linkend="FILTER-CONTENT-COOKIES">filter{content-cookies}</link> \
3989  +<link linkend="FILTER-REFRESH-TAGS">filter{refresh-tags}</link> \
3990  +<link linkend="FILTER-UNSOLICITED-POPUPS">filter{unsolicited-popups}</link> \
3991  -<link linkend="FILTER-ALL-POPUPS">filter{all-popups}</link> \
3992  +<link linkend="FILTER-IMG-REORDER">filter{img-reorder}</link> \
3993  +<link linkend="FILTER-BANNERS-BY-SIZE">filter{banners-by-size}</link> \
3994  -<link linkend="FILTER-BANNERS-BY-LINK">filter{banners-by-link}</link> \
3995  +<link linkend="FILTER-WEBBUGS">filter{webbugs}</link> \
3996  -<link linkend="FILTER-TINY-TEXTFORMS">filter{tiny-textforms}</link> \
3997  +<link linkend="FILTER-JUMPING-WINDOWS">filter{jumping-windows}</link> \
3998  -<link linkend="FILTER-FRAMESET-BORDERS">filter{frameset-borders}</link> \
3999  +<link linkend="FILTER-DEMORONIZER">filter{demoronizer}</link> \
4000  -<link linkend="FILTER-SHOCKWAVE-FLASH">filter{shockwave-flash}</link> \
4001  -<link linkend="FILTER-QUICKTIME-KIOSKMODE">filter{quicktime-kioskmode}</link> \
4002  -<link linkend="FILTER-FUN">filter{fun}</link> \
4003  -<link linkend="FILTER-CRUDE-PARENTAL">filter{crude-parental}</link> \
4004  +<link linkend="FILTER-IE-EXPLOITS">filter{ie-exploits}</link> \     
4005  -<link linkend="HANDLE-AS-IMAGE">handle-as-image</link> \
4006  +<link linkend="HIDE-FORWARDED-FOR-HEADERS">hide-forwarded-for-headers</link> \
4007  +<link linkend="HIDE-FROM-HEADER">hide-from-header{block}</link> \
4008  +<link linkend="HIDE-REFERER">hide-referrer{forge}</link> \
4009  -<link linkend="HIDE-USER-AGENT">hide-user-agent</link> \
4010  -<link linkend="KILL-POPUPS">kill-popups</link> \
4011  -<link linkend="LIMIT-CONNECT">limit-connect</link> \
4012  +<link linkend="PREVENT-COMPRESSION">prevent-compression</link> \
4013  -<link linkend="SEND-VANILLA-WAFER">send-vanilla-wafer</link> \
4014  -<link linkend="SEND-WAFER">send-wafer</link> \
4015  +<link linkend="SESSION-COOKIES-ONLY">session-cookies-only</link> \
4016  +<link linkend="SET-IMAGE-BLOCKER">set-image-blocker{pattern}</link> \
4017  }
4018  / # forward slash will match *all* potential URL patterns.</screen>
4019 </para>
4020
4021 <para>
4022  The default behavior is now set. Note that some actions, like not hiding
4023  the user agent, are part of a <quote>general policy</quote> that applies
4024  universally and won't get any exceptions defined later. Other choices,
4025  like not blocking (which is <emphasis>understandably</emphasis> the
4026  default!) need exceptions, i.e. we need to specify explicitly what we
4027  want to block in later sections.
4028 </para>
4029
4030 <para>
4031  The first of our specialized sections is concerned with <quote>fragile</quote>
4032  sites, i.e. sites that require minimum interference, because they are either
4033  very complex or very keen on tracking you (and have mechanisms in place that
4034  make them unusable for people who avoid being tracked). We will simply use
4035  our pre-defined <literal>fragile</literal> alias instead of stating the list
4036  of actions explicitly:
4037 </para>
4038
4039 <para>
4040  <screen>
4041 ##########################################################################
4042 # Exceptions for sites that'll break under the default action set:
4043 ##########################################################################
4044
4045 # "Fragile" Use a minimum set of actions for these sites (see alias above):
4046 #
4047 { fragile }
4048 .office.microsoft.com           # surprise, surprise!
4049 .windowsupdate.microsoft.com</screen>
4050 </para>
4051
4052 <para>
4053  Shopping sites are not as fragile, but they typically
4054  require cookies to log in, and pop-up windows for shopping
4055  carts or item details. Again, we'll use a pre-defined alias:
4056 </para>
4057  
4058 <para>
4059  <screen>
4060 # Shopping sites:
4061 #
4062 { shop }
4063 .quietpc.com 
4064 .worldpay.com   # for quietpc.com
4065 .jungle.com
4066 .scan.co.uk</screen>
4067 </para>
4068
4069 <!-- No longer needed BEGIN OF COMMENTED OUT BLOCK 
4070
4071 <para>
4072  Then, there are sites which rely on pop-up windows (yuck!) to work.
4073  Since we made pop-up-killing our default above, we need to make exceptions
4074  now. <ulink url="http://www.mozilla.org/">Mozilla</ulink> users, who
4075  can turn on smart handling of unwanted pop-ups in their browsers, can
4076  safely choose
4077  -<literal><link linkend="FILTER-ALL-POPUPS">filter{popups}</link></literal> (and
4078  -<literal><link linkend="KILL-POPUPS">kill-popups</link></literal>) above
4079  and hence don't need this section. Anyway, disabling an already disabled
4080  action doesn't hurt, so we'll define our exceptions regardless of what was
4081  chosen in the defaults section:
4082 </para>
4083
4084 <para>
4085  <screen>
4086 # These sites require pop-ups too :( 
4087 #
4088 { -<link linkend="KILL-POPUPS">kill-popups</link> -<link linkend="FILTER-ALL-POPUPS">filter{popups}</link> }
4089 .dabs.com
4090 .overclockers.co.uk
4091 .deutsche-bank-24.de</screen>
4092 </para>
4093
4094  END OF COMMENTED OUT BLOCK -->
4095
4096 <para>
4097  The <literal><link linkend="FAST-REDIRECTS">fast-redirects</link></literal>
4098  action, which we enabled per default above,  breaks some sites. So disable
4099  it for popular sites where we know it misbehaves:
4100 </para>
4101
4102 <para>
4103  <screen>
4104 { -<link linkend="FAST-REDIRECTS">fast-redirects</link> }
4105 login.yahoo.com
4106 edit.*.yahoo.com
4107 .google.com
4108 .altavista.com/.*(like|url|link):http
4109 .altavista.com/trans.*urltext=http
4110 .nytimes.com</screen>
4111 </para>
4112
4113 <para>
4114  It is important that <application>Privoxy</application> knows which
4115  URLs belong to images, so that <emphasis>if</emphasis> they are to
4116  be blocked, a substitute image can be sent, rather than an HTML page.
4117  Contacting the remote site to find out is not an option, since it
4118  would destroy the loading time advantage of banner blocking, and it
4119  would feed the advertisers (in terms of money <emphasis>and</emphasis>
4120  information). We can mark any URL as an image with the <literal><link
4121  linkend="handle-as-image">handle-as-image</link></literal> action,
4122  and marking all URLs that end in a known image file extension is a
4123  good start:
4124 </para>
4125
4126 <para>
4127  <screen>
4128 ##########################################################################
4129 # Images:
4130 ##########################################################################
4131
4132 # Define which file types will be treated as images, in case they get
4133 # blocked further down this file:
4134 #
4135 { +<link linkend="HANDLE-AS-IMAGE">handle-as-image</link> }
4136 /.*\.(gif|jpe?g|png|bmp|ico)$</screen>
4137 </para>
4138
4139 <para>
4140  And then there are known banner sources. They often use scripts to
4141  generate the banners, so it won't be visible from the URL that the
4142  request is for an image. Hence we block them <emphasis>and</emphasis>
4143  mark them as images in one go, with the help of our
4144  <literal>block-as-image</literal> alias defined above. (We could of
4145  course just as well use <literal>+<link linkend="block">block</link>
4146  +<link linkend="handle-as-image">handle-as-image</link></literal> here.)
4147  Remember that the type of the replacement image is chosen by the
4148  <literal><link linkend="set-image-blocker">set-image-blocker</link></literal>
4149  action. Since all URLs have matched the default section with its
4150  <literal>+<link linkend="set-image-blocker">set-image-blocker</link>{pattern}</literal>
4151  action before, it still applies and needn't be repeated:
4152 </para>
4153
4154 <para>
4155  <screen>
4156 # Known ad generators:
4157 #
4158 { block-as-image }
4159 ar.atwola.com 
4160 .ad.doubleclick.net
4161 .ad.*.doubleclick.net
4162 .a.yimg.com/(?:(?!/i/).)*$
4163 .a[0-9].yimg.com/(?:(?!/i/).)*$
4164 bs*.gsanet.com
4165 bs*.einets.com
4166 .qkimg.net</screen>
4167 </para>
4168
4169 <para>
4170  One of the most important jobs of <application>Privoxy</application>
4171  is to block banners. A huge bunch of them are already <quote>blocked</quote>
4172  by the <literal><link linkend="filter">filter</link>{banners-by-size}</literal>
4173  action, which we enabled above, and which deletes the references to banner
4174  images from the pages while they are loaded, so the browser doesn't request
4175  them anymore, and hence they don't need to be blocked here. But this naturally
4176  doesn't catch all banners, and some people choose not to use filters, so we
4177  need a comprehensive list of patterns for banner URLs here, and apply the
4178  <literal><link linkend="block">block</link></literal> action to them.
4179 </para>
4180 <para>
4181  First comes a bunch of generic patterns, which do most of the work, by
4182  matching typical domain and path name components of banners. Then comes
4183  a list of individual patterns for specific sites, which is omitted here
4184  to keep the example short:
4185 </para>
4186
4187 <para>
4188  <screen>
4189 ##########################################################################
4190 # Block these fine banners:
4191 ##########################################################################
4192 { <link linkend="BLOCK">+block</link> }
4193
4194 # Generic patterns:
4195
4196 ad*.
4197 .*ads.
4198 banner?.
4199 count*.
4200 /.*count(er)?\.(pl|cgi|exe|dll|asp|php[34]?)
4201 /(?:.*/)?(publicite|werbung|rekla(ma|me|am)|annonse|maino(kset|nta|s)?)/
4202
4203 # Site-specific patterns (abbreviated):
4204 #
4205 .hitbox.com</screen>
4206 </para>
4207
4208 <para>
4209  You wouldn't believe how many advertisers actually call their banner
4210  servers ads.<replaceable>company</replaceable>.com, or call the directory
4211  in which the banners are stored simply <quote>banners</quote>. So the above
4212  generic patterns are surprisingly effective.
4213 </para>
4214 <para>
4215  But being very generic, they necessarily also catch URLs that we don't want
4216  to block. The pattern <literal>.*ads.</literal> e.g. catches 
4217  <quote>nasty-<emphasis>ads</emphasis>.nasty-corp.com</quote> as intended,
4218  but also <quote>downlo<emphasis>ads</emphasis>.sourcefroge.net</quote> or
4219  <quote><emphasis>ads</emphasis>l.some-provider.net.</quote> So here come some
4220  well-known exceptions to the <literal>+<link linkend="BLOCK">block</link></literal>
4221  section above.
4222 </para>
4223 <para>
4224  Note that these are exceptions to exceptions from the default! Consider the URL
4225  <quote>downloads.sourcefroge.net</quote>: Initially, all actions are deactivated,
4226  so it wouldn't get blocked. Then comes the defaults section, which matches the
4227  URL, but just deactivates the <literal><link linkend="BLOCK">block</link></literal>
4228  action once again. Then it matches <literal>.*ads.</literal>, an exception to the
4229  general non-blocking policy, and suddenly
4230  <literal><link linkend="BLOCK">+block</link></literal> applies. And now, it'll match
4231  <literal>.*loads.</literal>, where <literal><link linkend="BLOCK">-block</link></literal>
4232  applies, so (unless it matches <emphasis>again</emphasis> further down) it ends up
4233  with no <literal><link linkend="BLOCK">block</link></literal> action applying.
4234 </para>
4235
4236 <para>
4237  <screen>
4238 ##########################################################################
4239 # Save some innocent victims of the above generic block patterns:
4240 ##########################################################################
4241
4242 # By domain:
4243
4244 { -<link linkend="BLOCK">block</link> }
4245 adv[io]*.  # (for advogato.org and advice.*)
4246 adsl.      # (has nothing to do with ads)
4247 ad[ud]*.   # (adult.* and add.*)
4248 .edu       # (universities don't host banners (yet!))
4249 .*loads.   # (downloads, uploads etc)
4250
4251 # By path:
4252 #
4253 /.*loads/
4254
4255 # Site-specific:
4256 #
4257 www.globalintersec.com/adv # (adv = advanced)
4258 www.ugu.com/sui/ugu/adv</screen>
4259 </para>
4260
4261 <para>
4262  Filtering source code can have nasty side effects,
4263  so make an exception for our friends at sourceforge.net,
4264  and all paths with <quote>cvs</quote> in them. Note that
4265  <literal>-<link linkend="FILTER">filter</link></literal>
4266  disables <emphasis>all</emphasis> filters in one fell swoop!
4267 </para>
4268
4269 <para>
4270  <screen>
4271 # Don't filter code!
4272 #
4273 { -<link linkend="FILTER">filter</link> }
4274 /.*cvs
4275 .sourceforge.net</screen>
4276 </para>
4277
4278 <para>
4279  The actual <filename>default.action</filename> is of course more
4280  comprehensive, but we hope this example made clear how it works.
4281 </para>
4282
4283 </sect3>
4284
4285 <sect3><title>user.action</title>
4286
4287 <para>
4288  So far we are painting with a broad brush by setting general policies,
4289  which would be a reasonable starting point for many people. Now, 
4290  you might want to be more specific and have customized rules that
4291  are more suitable to your personal habits and preferences. These would
4292  be for narrowly defined situations like your ISP or your bank, and should
4293  be placed in <filename>user.action</filename>, which is parsed after all other 
4294  actions files and hence has the last word, over-riding any previously
4295  defined actions. <filename>user.action</filename> is also a 
4296  <emphasis>safe</emphasis> place for your personal settings, since
4297  <filename>default.action</filename> is actively maintained by the
4298  <application>Privoxy</application> developers and you'll probably want
4299  to install updated versions from time to time.
4300 </para>
4301
4302 <para>
4303  So let's look at a few examples of things that one might typically do in
4304  <filename>user.action</filename>: 
4305 </para>
4306
4307
4308 <!-- brief sample user.action here -->
4309
4310 <para>
4311  <screen>
4312 # My user.action file. &lt;fred@foobar.com&gt;</screen>
4313 </para>
4314
4315 <para>
4316  As <link linkend="aliases">aliases</link> are local to the actions
4317  file that they are defined in, you can't use the ones from
4318  <filename>default.action</filename>, unless you repeat them here:
4319 </para>
4320
4321 <para>
4322  <screen>
4323 # Aliases are local to the file they are defined in.
4324 # (Re-)define aliases for this file:
4325 #
4326 {{alias}}
4327
4328 # These aliases just save typing later, and the alias names should 
4329 # be self explanatory.
4330 #
4331 +crunch-all-cookies = +crunch-incoming-cookies +crunch-outgoing-cookies
4332 -crunch-all-cookies = -crunch-incoming-cookies -crunch-outgoing-cookies
4333  allow-all-cookies  = -crunch-all-cookies -session-cookies-only
4334  allow-popups       = -filter{all-popups} -kill-popups
4335 +block-as-image     = +block +handle-as-image
4336 -block-as-image     = -block
4337
4338 # These aliases define combinations of actions that are useful for
4339 # certain types of sites:
4340 #
4341 fragile     = -block -crunch-all-cookies -filter -fast-redirects -hide-referer -kill-popups
4342 shop        = -crunch-all-cookies allow-popups
4343
4344 # Allow ads for selected useful free sites:
4345 #
4346 allow-ads   = -block -filter{banners-by-size} -filter{banners-by-link}</screen>
4347
4348  
4349 </para>
4350
4351 <para>
4352  Say you have accounts on some sites that you visit regularly, and
4353  you don't want to have to log in manually each time. So you'd like
4354  to allow persistent cookies for these sites. The
4355  <literal>allow-all-cookies</literal> alias defined above does exactly
4356  that, i.e. it disables crunching of cookies in any direction, and the 
4357  processing of cookies to make them only temporary.
4358 </para>
4359
4360 <para>
4361  <screen>
4362 { allow-all-cookies }
4363 sunsolve.sun.com
4364 slashdot.org
4365 .yahoo.com
4366 .msdn.microsoft.com
4367 .redhat.com</screen>
4368 </para>
4369
4370 <para>
4371  Your bank is allergic to some filter, but you don't know which, so you disable them all:
4372 </para>
4373
4374 <para>
4375  <screen>
4376 { -<link linkend="FILTER">filter</link> }
4377 .your-home-banking-site.com</screen>
4378 </para>
4379
4380 <para>
4381  Some file types you may not want to filter.
4382  <application>Privoxy</application> makes no distinctions between regular web
4383  pages and downloads done via your web browser if it is an html or text type
4384  document.
4385 </para>
4386
4387 <para>
4388  <screen>
4389 # A list of common file extensions that are likely to indicate raw text, and best
4390 # if unfiltered.
4391 /(.*/)?.*\.(pl|(s|p)?h|c(c|xx|pp)?|tcl|am|init?|cfg?|conf(ig)?|txt|rc|bat)$
4392
4393 # Documentation should not need filtering (at least on some sites).
4394 .tldp.org</screen>
4395 </para>
4396
4397 <para>
4398  Example of a simple <link linkend="BLOCK">block</link> action. Say you've
4399  seen an ad on your favourite page on example.com that you want to get rid of.
4400  You have right-clicked the image, selected <quote>copy image location</quote>
4401  and pasted the URL below while removing the leading http://, into a 
4402  <literal>{ +block }</literal> section. Note that <literal>{ +handle-as-image
4403  }</literal> need not be specified, since all URLs ending in
4404  <literal>.gif</literal> will be tagged as images by the general rules as set
4405  in default.action anyway:
4406 </para>
4407
4408 <para>
4409  <screen>
4410 { +<link linkend="BLOCK">block</link> }
4411 www.example.com/nasty-ads/sponsor.gif
4412 another.popular.site.net/more/junk/here/
4413
4414 #  Here we found one that is not in <application>Privoxy's</application> default blocked list:
4415 .adfactory.net</screen>
4416 </para>
4417
4418 <para>
4419  To force URLs that tend to have ad images, but it is difficult for
4420  <application>Privoxy</application> to know this since the ultimate returned
4421  object is obscured for one reason or another, we can try to force these to be
4422  treated as images (and thus avoid <application>Privoxy's</application>
4423  <quote>BLOCKED</quote> banner page). Note that if what is returned by the
4424  server turns out NOT to be an image, then your browser typically will display
4425  a broken icon image. Use cautiously.
4426 </para>
4427
4428 <para>
4429  <screen>
4430 { +block-as-image }
4431 # A shockwave ad, very annoying.
4432 .trip.com/.*\.swf
4433 .doubleclick.net
4434 /Realmedia/ads/
4435 adremote.</screen>
4436 </para>
4437
4438 <para>
4439  Now you noticed that the default configuration breaks Forbes Magazine,
4440  but you were too lazy to find out which action is the culprit, and you
4441  were again too lazy to give <link linkend="contact">feedback</link>, so
4442  you just used the <literal>fragile</literal> alias on the site, and
4443  -- <emphasis>whoa!</emphasis> -- it worked. The <literal>fragile</literal>
4444  aliases disables those actions that are most likely to break a site. Also,
4445  good for testing purposes to see if it is <application>Privoxy</application>
4446  that is causing the problem or not.
4447 </para>
4448
4449 <para>
4450 <screen>
4451 { fragile }
4452 .forbes.com</screen>
4453 </para>
4454
4455 <para>
4456  You like the <quote>fun</quote> text replacements in <filename>default.filter</filename>,
4457  but it is disabled in the distributed actions file. (My colleagues on the team just
4458  don't have a sense of humour, that's why! ;-). So you'd like to turn it on in your private,
4459  update-safe config, once and for all:
4460 </para>
4461
4462 <para>
4463 <screen>
4464 { +<link linkend="filter-fun">filter{fun}</link> }
4465 / # For ALL sites!</screen>
4466 </para>
4467
4468 <para>
4469  Note that the above is not really a good idea: There are exceptions
4470  to the filters in <filename>default.action</filename> for things that
4471  really shouldn't be filtered, like code on CVS->Web interfaces. Since
4472  <filename>user.action</filename> has the last word, these exceptions
4473  won't be valid for the <quote>fun</quote> filtering specified here.
4474 </para>
4475
4476 <para>
4477  You might also worry about how your favourite free websites are
4478  funded, and find that they rely on displaying banner advertisements
4479  to survive. So you might want to specifically allow banners for those
4480  sites that you feel provide value to you:
4481 </para>
4482
4483 <para>
4484 <screen>
4485 { allow-ads }
4486 .sourceforge.net
4487 .slashdot.org
4488 .osdn.net</screen>   
4489 </para>
4490
4491 <para>
4492  Note that <literal>allow-ads</literal> has been aliased to 
4493  <literal>-<link linkend="block">block</link></literal>, 
4494  <literal>-<link linkend="filter-banners-by-size">filter{banners-by-size}</link></literal>, and 
4495  <literal>-<link linkend="filter-banners-by-link">filter{banners-by-link}</link></literal> above.
4496 </para>
4497
4498 <para>
4499  <filename>user.action</filename> is generally the best place to define
4500  exceptions and additions to the default policies of
4501  <filename>default.action</filename>. Some actions are safe to have their
4502  default policies set here though. So let's set a default policy to have a
4503  <quote>blank</quote> image as opposed to the checkerboard pattern for
4504  <emphasis>ALL</emphasis> sites. <quote>/</quote> of course matches all URL
4505  paths and patterns:
4506 </para>
4507
4508 <para>
4509 <screen>
4510 { +<link linkend="set-image-blocker">set-image-blocker{blank}</link> }
4511 / # ALL sites</screen>
4512 </para>
4513
4514 </sect3>
4515 </sect2>
4516
4517 <!--  ~  End section  ~  -->
4518
4519 </sect1>
4520
4521 <!--  ~  End section  ~  -->
4522
4523 <!--   ~~~~~~~~       New section Header    ~~~~~~~~~     -->
4524
4525 <sect1 id="filter-file">
4526 <title>The Filter File</title>
4527
4528 <para>
4529  All text substitutions that can be invoked through the
4530  <literal><link linkend="filter">filter</link></literal> action
4531  must first be defined in the filter file, which is typically
4532  called <filename>default.filter</filename> and which can be
4533  selected through the <literal>
4534  <link linkend="filterfile">filterfile</link></literal> config
4535  option.
4536 </para>
4537
4538 <para>
4539  Typical reasons for doing such substitutions are to eliminate
4540  common annoyances in HTML and JavaScript, such as pop-up windows,
4541  exit consoles, crippled windows without navigation tools, the
4542  infamous &lt;BLINK&gt; tag etc, to suppress images with certain
4543  width and height attributes (standard banner sizes or web-bugs),
4544  or just to have fun. The possibilities are endless.
4545 </para>
4546
4547 <para>
4548  Filtering works on any text-based document type, including plain
4549  text, HTML, JavaScript, CSS etc. (all <literal>text/*</literal>
4550  MIME types). Substitutions are made at the source level, so if
4551  you want to <quote>roll your own</quote> filters, you should be
4552  familiar with HTML syntax.
4553 </para>
4554
4555 <para>
4556  Just like the <link linkend="actions-file">actions files</link>, the
4557  filter file is organized in sections, which are called <emphasis>filters</emphasis>
4558  here. Each filter consists of a heading line, that starts with the
4559  <emphasis>keyword</emphasis> <literal>FILTER:</literal>, followed by
4560  the filter's <emphasis>name</emphasis>, and a short (one line) 
4561  <emphasis>description</emphasis> of what it does. Below that line
4562  come the <emphasis>jobs</emphasis>, i.e. lines that define the actual
4563  text substitutions. By convention, the name of a filter
4564  should describe what the filter <emphasis>eliminates</emphasis>. The
4565  comment is used in the <ulink url="http://config.privoxy.org/">web-based
4566  user interface</ulink>.
4567 </para>
4568
4569 <para>
4570  Once a filter called <replaceable>name</replaceable> has been defined
4571  in the filter file, it can be invoked by using an action of the form
4572  +<literal><link linkend="filter">filter</link>{<replaceable>name</replaceable>}</literal>
4573  in any <link linkend="actions-file">actions file</link>.
4574 </para>
4575  
4576 <para>
4577  A filter header line for a filter called <quote>foo</quote> could look
4578  like this:
4579 </para>
4580
4581 <para>
4582  <screen>FILTER: foo Replace all "foo" with "bar"</screen>
4583 </para>
4584
4585 <para>
4586  Below that line, and up to the next header line, come the jobs that
4587  define what text replacements the filter executes. They are specified
4588  in a syntax that imitates <ulink url="http://www.perl.org/">Perl</ulink>'s
4589  <literal>s///</literal> operator. If you are familiar with Perl, you
4590  will find this to be quite intuitive, and may want to look at the
4591  <ulink url="http://www.oesterhelt.org/pcrs/pcrs.3.html">PCRS man page</ulink>
4592  for the subtle differences to Perl behaviour. Most notably, the non-standard
4593  option letter <literal>U</literal> is supported, which turns the default
4594  to ungreedy matching.
4595 </para>
4596
4597 <para>
4598  If you are new to regular expressions, you might want to take a look at
4599  the <link linkend="regex">Appendix on regular expressions</link>, and
4600  see the <ulink url="http://perldoc.com/perl5.6.1/pod/perl.html">Perl
4601  manual</ulink> for
4602  <ulink url="http://perldoc.com/perl5.6.1/pod/perlop.html#s-PATTERN-REPLACEMENT-egimosx">the 
4603  <literal>s///</literal> operator's syntax</ulink> and <ulink
4604  url="http://perldoc.com/perl5.6.1/pod/perlre.html">Perl-style regular
4605  expressions</ulink> in general.
4606  The below examples might also help to get you started.
4607 </para>
4608
4609 <!--   ~~~~~~~~       New section Header    ~~~~~~~~~     -->
4610
4611 <sect2><title>Filter File Tutorial</title>
4612 <para>
4613  Now, let's complete our <quote>foo</quote> filter. We have already defined
4614  the heading, but the jobs are still missing. Since all it does is to replace
4615  <quote>foo</quote> with <quote>bar</quote>, there is only one (trivial) job
4616  needed:
4617 </para>
4618
4619 <para>
4620  <screen>s/foo/bar/</screen>
4621 </para>
4622
4623 <para>
4624  But wait! Didn't the comment say that <emphasis>all</emphasis> occurrences
4625  of <quote>foo</quote> should be replaced? Our current job will only take
4626  care of the first <quote>foo</quote> on each page. For global substitution,
4627  we'll need to add the <literal>g</literal> option:
4628 </para>
4629
4630 <para>
4631  <screen>s/foo/bar/g</screen>
4632 </para>
4633
4634 <para>
4635  Our complete filter now looks like this:
4636 </para>
4637 <para>
4638  <screen>FILTER: foo Replace all "foo" with "bar"
4639 s/foo/bar/g</screen>
4640 </para>
4641
4642 <para>
4643  Let's look at some real filters for more interesting examples. Here you see
4644  a filter that protects against some common annoyances that arise from JavaScript
4645  abuse. Let's look at its jobs one after the other:
4646 </para>
4647
4648
4649 <para>
4650  <screen>
4651 FILTER: js-annoyances Get rid of particularly annoying JavaScript abuse
4652
4653 # Get rid of JavaScript referrer tracking. Test page: http://www.randomoddness.com/untitled.htm
4654 #
4655 s|(&lt;script.*)document\.referrer(.*&lt;/script&gt;)|$1"Not Your Business!"$2|Usg</screen>
4656 </para>
4657
4658 <para>
4659  Following the header line and a comment, you see the job. Note that it uses
4660  <literal>|</literal> as the delimiter instead of <literal>/</literal>, because
4661  the pattern contains a forward slash, which would otherwise have to be escaped
4662  by a backslash (<literal>\</literal>).
4663 </para>
4664
4665 <para>
4666  Now, let's examine the pattern: it starts with the text <literal>&lt;script.*</literal>
4667  enclosed in parentheses. Since the dot matches any character, and <literal>*</literal>
4668  means: <quote>Match an arbitrary number of the element left of myself</quote>, this
4669  matches <quote>&lt;script</quote>, followed by <emphasis>any</emphasis> text, i.e.
4670  it matches the whole page, from the start of the first &lt;script&gt; tag.
4671 </para>
4672
4673 <para>
4674  That's more than we want, but the pattern continues: <literal>document\.referrer</literal>
4675  matches only the exact string <quote>document.referrer</quote>. The dot needed to
4676  be <emphasis>escaped</emphasis>, i.e. preceded by a backslash, to take away its
4677  special meaning as a joker, and make it just a regular dot. So far, the meaning is:
4678  Match from the start of the first &lt;script&gt; tag in a the page, up to, and including,
4679  the text <quote>document.referrer</quote>, if <emphasis>both</emphasis> are present
4680  in the page (and appear in that order).
4681 </para>
4682
4683 <para>
4684  But there's still more pattern to go. The next element, again enclosed in parentheses,
4685  is <literal>.*&lt;/script&gt;</literal>. You already know what <literal>.*</literal>
4686  means, so the whole pattern translates to: Match from the start of the first  &lt;script&gt;
4687  tag in a page to the end of the last &lt;script&gt; tag, provided that the text
4688  <quote>document.referrer</quote> appears somewhere in between.
4689 </para>
4690
4691 <para>
4692  This is still not the whole story, since we have ignored the options and the parentheses:
4693  The portions of the page matched by sub-patterns that are enclosed in parentheses, will be
4694  remembered and be available through the variables <literal>$1, $2, ...</literal> in
4695  the substitute. The <literal>U</literal> option switches to ungreedy matching, which means
4696  that the first <literal>.*</literal> in the pattern will only <quote>eat up</quote> all
4697  text in between <quote>&lt;script</quote> and the <emphasis>first</emphasis> occurrence
4698  of <quote>document.referrer</quote>, and that the second <literal>.*</literal> will
4699  only span the text up to the <emphasis>first</emphasis> <quote>&lt;/script&gt;</quote>
4700  tag. Furthermore, the <literal>s</literal> option says that the match may span
4701  multiple lines in the page, and the <literal>g</literal> option again means that the
4702  substitution is global.
4703 </para>
4704
4705 <para>
4706  So, to summarize, the pattern means: Match all scripts that contain the text
4707  <quote>document.referrer</quote>. Remember the parts of the script from
4708  (and including) the start tag up to (and excluding) the string
4709  <quote>document.referrer</quote> as <literal>$1</literal>, and the part following
4710  that string, up to and including the closing tag, as <literal>$2</literal>.
4711 </para>
4712
4713 <para>
4714  Now the pattern is deciphered, but wasn't this about substituting things? So
4715  lets look at the substitute: <literal>$1"Not Your Business!"$2</literal> is
4716  easy to read: The text remembered as <literal>$1</literal>, followed by 
4717  <literal>"Not Your Business!"</literal> (<emphasis>including</emphasis>
4718  the quotation marks!), followed by the text remembered as <literal>$2</literal>.
4719  This produces an exact copy of the original string, with the middle part
4720  (the <quote>document.referrer</quote>) replaced by <literal>"Not Your
4721  Business!"</literal>.
4722 </para>
4723
4724 <para>
4725  The whole job now reads: Replace <quote>document.referrer</quote> by
4726  <literal>"Not Your Business!"</literal> wherever it appears inside a
4727  &lt;script&gt tag. Note that this job won't break JavaScript syntax,
4728  since both the original and the replacement are syntactically valid
4729  string objects. The script just won't have access to the referrer
4730  information anymore.
4731 </para>
4732
4733 <para>
4734  We'll show you two other jobs from the JavaScript taming department, but
4735  this time only point out the constructs of special interest:
4736 </para>
4737
4738 <para>
4739  <screen>
4740 # The status bar is for displaying link targets, not pointless blahblah
4741 #
4742 s/window\.status\s*=\s*(['"]).*?\1/dUmMy=1/ig</screen>
4743 </para>
4744
4745 <para>
4746  <literal>\s</literal> stands for whitespace characters (space, tab, newline,
4747  carriage return, form feed), so that <literal>\s*</literal> means: <quote>zero
4748  or more whitespace</quote>. The <literal>?</literal> in <literal>.*?</literal>
4749  makes this matching of arbitrary text ungreedy. (Note that the <literal>U</literal>
4750  option is not set). The <literal>['"]</literal> construct means: <quote>a single
4751  <emphasis>or</emphasis> a double quote</quote>. Finally, <literal>\1</literal> is
4752  a backreference to the first parenthesis just like <literal>$1</literal> above,
4753  with the difference that in the <emphasis>pattern</emphasis>, a backslash indicates
4754  a backreference, whereas in the <emphasis>substitute</emphasis>, it's the dollar.
4755 </para>
4756
4757 <para>
4758  So what does this job do? It replaces assignments of single- or double-quoted
4759  strings to the <quote>window.status</quote> object with a dummy assignment
4760  (using a variable name that is hopefully odd enough not to conflict with
4761  real variables in scripts). Thus, it catches many cases where e.g. pointless
4762  descriptions are displayed in the status bar instead of the link target when
4763  you move your mouse over links.
4764 </para>
4765
4766 <para>
4767  <screen>
4768 # Kill OnUnload popups. Yummy. Test: http://www.zdnet.com/zdsubs/yahoo/tree/yfs.html
4769 #
4770 s/(&lt;body [^&gt;]*)onunload(.*&gt;)/$1never$2/iU</screen>
4771 </para>
4772
4773 <para>
4774  Including the
4775  <ulink url="http://www.w3.org/TR/2000/REC-DOM-Level-2-Events-20001113/events.html#Events-eventgroupings-htmlevents">OnUnload
4776  event binding</ulink> in the HTML DOM was a <emphasis>CRIME</emphasis>.
4777  When I close a browser window, I want it to close and die. Basta.
4778  This job replaces the <quote>onunload</quote> attribute in
4779  <quote>&lt;body&gt</quote> tags with the dummy word <literal>never</literal>.
4780  Note that the <literal>i</literal> option makes the pattern matching
4781  case-insensitive. Also note that ungreedy matching alone doesn't always guarantee
4782  a minimal match: In the first parenthesis, we had to use <literal>[^&gt;]*</literal>
4783  instead of <literal>.*</literal> to prevent the match from exceeding the 
4784  &lt;body&gt tag if it doesn't contain <quote>OnUnload</quote>, but the page's
4785  content does.
4786 </para>
4787
4788 <para>
4789  The last example is from the fun department:
4790 </para>
4791
4792 <para>
4793  <screen>
4794 FILTER: fun Fun text replacements
4795
4796 # Spice the daily news:
4797 #
4798 s/microsoft(?!\.com)/MicroSuck/ig</screen>
4799 </para>
4800
4801 <para>
4802  Note the <literal>(?!\.com)</literal> part (a so-called negative lookahead)
4803  in the job's pattern, which means: Don't match, if the string 
4804  <quote>.com</quote> appears directly following <quote>microsoft</quote>
4805  in the page. This prevents links to microsoft.com from being trashed, while
4806  still replacing the word everywhere else.
4807 </para>
4808
4809 <para>
4810  <screen>
4811 # Buzzword Bingo (example for extended regex syntax)
4812 #
4813 s* industry[ -]leading \
4814 |  cutting[ -]edge \
4815 |  customer[ -]focused \
4816 |  market[ -]driven \
4817 |  award[ -]winning # Comments are OK, too! \
4818 |  high[ -]performance \
4819 |  solutions[ -]based \
4820 |  unmatched \
4821 |  unparalleled \
4822 |  unrivalled \
4823 *&lt;font color="red"&gt;&lt;b&gt;BINGO!&lt;/b&gt;&lt;/font&gt; \
4824 *igx</screen>
4825 </para>
4826
4827 <para>
4828  The <literal>x</literal> option in this job turns on extended syntax, and allows for
4829  e.g. the liberal use of (non-interpreted!) whitespace for nicer formatting. 
4830 </para>
4831
4832 <para>
4833  You get the idea?
4834 </para>
4835 </sect2>
4836 </sect1>
4837
4838 <!--  ~  End section  ~  -->
4839
4840
4841
4842 <!--   ~~~~~       New section      ~~~~~     -->
4843
4844 <sect1 id="templates">
4845 <title>Templates</title>
4846 <para>
4847  All <application>Privoxy</application> built-in pages, i.e. error pages such as the 
4848  <ulink url="http://show-the-404-error.page"><quote>404 - No Such Domain</quote>
4849  error page</ulink>, the <ulink
4850  url="http://ads.bannerserver.example.com/nasty-ads/sponsor.html"><quote>BLOCKED</quote>
4851  page</ulink>
4852  and all pages of its <ulink url="http://config.privoxy.org/">web-based
4853  user interface</ulink>, are generated from <emphasis>templates</emphasis>. 
4854  (<application>Privoxy</application> must be running for the above links to work as
4855  intended.)
4856 </para>
4857
4858 <para>
4859  These templates are stored in a subdirectory of the <link linkend="confdir">configuration
4860  directory</link> called <filename>templates</filename>. On Unixish platforms,
4861  this is typically
4862  <ulink url="file:///etc/privoxy/templates/"><filename>/etc/privoxy/templates/</filename></ulink>.
4863 </para>
4864
4865 <para>
4866  The templates are basically normal HTML files, but with place-holders (called symbols
4867  or exports), which <application>Privoxy</application> fills at run time. You can
4868  edit the templates with a normal text editor, should you want to customize them.
4869  (<emphasis>Not recommended for the casual user</emphasis>). Note that
4870  just like in configuration files, lines starting with <literal>#</literal> are
4871  ignored when the templates are filled in.
4872 </para>
4873
4874 <para>
4875  The place-holders are of the form <literal>@name@</literal>, and you will
4876  find a list of available symbols, which vary from template to template,
4877  in the comments at the start of each file. Note that these comments are not
4878  always accurate, and that it's probably best to look at the existing HTML
4879  code to find out which symbols are supported and what they are filled in with.
4880 </para>
4881
4882 <para>
4883  A special application of this substitution mechanism is to make whole
4884  blocks of HTML code disappear when a specific symbol is set. We use this
4885  for many purposes, one of them being to include the beta warning in all
4886  our user interface (CGI) pages when <application>Privoxy</application>
4887  in in an alpha or beta development stage:
4888 </para>
4889
4890 <para>
4891  <screen>
4892 &lt;!-- @if-unstable-start --&gt;
4893
4894   ... beta warning HTML code goes here ...
4895
4896 &lt;!-- if-unstable-end@ --&gt;</screen>
4897 </para>
4898
4899 <para>
4900  If the "unstable" symbol is set, everything in between and including
4901  <literal>@if-unstable-start</literal> and <literal>if-unstable-end@</literal>
4902  will disappear, leaving nothing but an empty comment:
4903 </para>
4904
4905 <para>
4906  <screen>&lt;!--  --&gt;</screen>
4907 </para>
4908
4909 <para>
4910  There's also an if-then-else construct and an <literal>#include</literal>
4911  mechanism, but you'll sure find out if you are inclined to edit the
4912  templates ;-)
4913 </para>
4914
4915 <para>
4916  All templates refer to a style located at
4917  <ulink url="http://config.privoxy.org/send-stylesheet"><literal>http://config.privoxy.org/send-stylesheet</literal></ulink>.
4918  This is, of course, locally served by <application>Privoxy</application>
4919  and the source for it can be found and edited in the
4920  <filename>cgi-style.css</filename> template.
4921 </para>
4922
4923 </sect1>
4924
4925 <!--  ~  End section  ~  -->
4926
4927
4928
4929 <!--   ~~~~~       New section      ~~~~~     -->
4930
4931 <sect1 id="contact"><title>Contacting the Developers, Bug Reporting and Feature
4932 Requests</title>
4933
4934 <!-- Include contacting.sgml boilerplate: -->
4935  &contacting;
4936 <!-- end boilerplate -->
4937
4938 </sect1>
4939
4940 <!--  ~  End section  ~  -->
4941
4942
4943 <!--   ~~~~~       New section      ~~~~~     -->
4944 <sect1 id="copyright"><title><application>Privoxy</application> Copyright, License and History</title>
4945
4946 <!-- Include copyright.sgml: -->
4947  &copyright;
4948 <!-- end copyright -->
4949
4950 <!--   ~~~~~       New section      ~~~~~     -->
4951 <sect2><title>License</title>
4952 <!-- Include copyright.sgml: -->
4953  &license;
4954 <!-- end copyright -->
4955 </sect2>
4956 <!--  ~  End section  ~  -->
4957
4958
4959 <!--   ~~~~~       New section      ~~~~~     -->
4960
4961 <sect2 id="history"><title>History</title>
4962 <!-- Include history.sgml: -->
4963  &history;
4964 <!-- end history -->
4965 </sect2>
4966
4967 <sect2 id="authors"><title>Authors</title>
4968 <!-- Include p-authors.sgml: -->
4969  &p-authors;
4970 <!-- end authors -->
4971 </sect2>
4972
4973 </sect1>
4974
4975 <!--  ~  End section  ~  -->
4976
4977
4978 <!--   ~~~~~       New section      ~~~~~     -->
4979 <sect1 id="seealso"><title>See Also</title>
4980 <!-- Include seealso.sgml: -->
4981  &seealso;
4982 <!-- end seealso -->
4983 </sect1>
4984
4985
4986
4987 <!--   ~~~~~       New section      ~~~~~     -->
4988 <sect1 id="appendix"><title>Appendix</title>
4989
4990
4991 <!--   ~~~~~       New section      ~~~~~     -->
4992 <sect2 id="regex">
4993 <title>Regular Expressions</title>
4994 <para>
4995  <application>Privoxy</application> uses Perl-style <quote>regular
4996  expressions</quote> in its <link linkend="actions-file">actions
4997  files</link> and <link linkend="filter-file">filter file</link>,
4998  through the <ulink url="http://www.pcre.org/">PCRE</ulink> and
4999  <ulink url="http://www.oesterhelt.org/pcrs/">PCRS</ulink> libraries.
5000 </para>
5001
5002 <para>
5003  If you are reading this, you probably don't understand what <quote>regular
5004  expressions</quote> are, or what they can do. So this will be a very brief
5005  introduction only. A full explanation would require a <ulink
5006  url="http://www.oreilly.com/catalog/regex/">book</ulink> ;-)
5007 </para>
5008
5009 <para>
5010  Regular expressions provide a language to describe patterns that can be
5011  run against strings of characters (letter, numbers, etc), to see if they
5012  match the string or not. The  patterns are themselves (sometimes complex)
5013  strings of literal characters, combined with  wild-cards, and other special
5014  characters, called meta-characters. The <quote>meta-characters</quote> have
5015  special meanings and are used to build complex patterns to be matched against.
5016  Perl Compatible Regular Expressions are an especially convenient
5017  <quote>dialect</quote> of the regular expression language.
5018 </para>
5019
5020 <para>
5021  To make a simple analogy, we do something similar when we use wild-card
5022  characters when listing files with the <command>dir</command> command in DOS. 
5023  <literal>*.*</literal> matches all filenames. The <quote>special</quote>
5024  character here is the asterisk which matches any and all characters. We can be
5025  more specific and use <literal>?</literal> to match just individual
5026  characters. So <quote>dir file?.text</quote> would match
5027  <quote>file1.txt</quote>, <quote>file2.txt</quote>, etc. We are pattern
5028  matching, using a similar technique to <quote>regular expressions</quote>!
5029 </para>
5030
5031 <para>
5032  Regular expressions do essentially the same thing, but are much, much more
5033  powerful. There are many more <quote>special characters</quote> and ways of 
5034  building complex patterns however. Let's look at a few of the common ones,
5035  and then some examples:
5036 </para>
5037
5038 <para><simplelist>
5039  <member>
5040   <emphasis>.</emphasis> - Matches any single character, e.g. <quote>a</quote>,
5041   <quote>A</quote>, <quote>4</quote>, <quote>:</quote>, or <quote>@</quote>.
5042  </member>
5043 </simplelist></para>
5044
5045 <para><simplelist>
5046  <member>
5047   <emphasis>?</emphasis> - The preceding character or expression is matched ZERO or ONE
5048   times. Either/or.
5049  </member>
5050 </simplelist></para>
5051
5052 <para><simplelist>
5053  <member>
5054   <emphasis>+</emphasis> - The preceding character or expression is matched ONE or MORE
5055   times.
5056  </member>
5057 </simplelist></para>
5058
5059 <para><simplelist>
5060  <member>
5061   <emphasis>*</emphasis> - The preceding character or expression is matched ZERO or MORE
5062   times.
5063  </member>
5064 </simplelist></para>
5065
5066 <para><simplelist>
5067  <member>
5068   <emphasis>\</emphasis> - The <quote>escape</quote> character denotes that
5069   the following character should be taken literally. This is used where one of the 
5070   special characters (e.g. <quote>.</quote>) needs to be taken literally and
5071   not as a special meta-character. Example: <quote>example\.com</quote>, makes 
5072   sure the period is recognized only as a period (and not expanded to its 
5073   meta-character meaning of any single character).
5074  </member>
5075 </simplelist></para>
5076
5077 <para><simplelist>
5078  <member>
5079   <emphasis>[]</emphasis> - Characters enclosed in brackets will be matched if
5080   any of the enclosed characters are encountered. For instance, <quote>[0-9]</quote>
5081   matches any numeric digit (zero through nine). As an example, we can combine 
5082   this with <quote>+</quote> to match any digit one of more times: <quote>[0-9]+</quote>.
5083  </member>
5084 </simplelist></para>
5085
5086 <para><simplelist>
5087  <member>
5088   <emphasis>()</emphasis> - parentheses are used to group a sub-expression,
5089   or multiple sub-expressions.
5090  </member>
5091 </simplelist></para>
5092
5093 <para><simplelist>
5094  <member>
5095   <emphasis>|</emphasis> - The <quote>bar</quote> character works like an
5096   <quote>or</quote> conditional statement. A match is successful if the
5097   sub-expression on either side of <quote>|</quote> matches. As an example:
5098   <quote>/(this|that) example/</quote> uses grouping and the bar character 
5099   and would match either <quote>this example</quote> or <quote>that
5100   example</quote>, and nothing else.
5101  </member>
5102 </simplelist></para>
5103
5104 <para>
5105  These are just some of the ones you are likely to use when matching URLs with 
5106  <application>Privoxy</application>, and is a long way from a definitive
5107  list. This is enough to get us started with a few simple examples which may
5108  be more illuminating:
5109 </para>
5110
5111 <para>
5112  <emphasis><literal>/.*/banners/.*</literal></emphasis> - A  simple example
5113  that uses the common combination of <quote>.</quote> and <quote>*</quote> to 
5114  denote any character, zero or more times. In other words, any string at all.
5115  So we start with a literal forward slash, then our regular expression pattern 
5116  (<quote>.*</quote>) another literal forward slash, the string
5117  <quote>banners</quote>, another forward slash, and lastly another
5118  <quote>.*</quote>. We are building 
5119  a directory path here. This will match any file with the path that has a
5120  directory named <quote>banners</quote> in it. The <quote>.*</quote> matches
5121  any characters, and this could conceivably be more forward slashes, so it
5122  might expand into a much longer looking path. For example, this could match:
5123  <quote>/eye/hate/spammers/banners/annoy_me_please.gif</quote>, or just
5124  <quote>/banners/annoying.html</quote>, or almost an infinite number of other
5125  possible combinations, just so it has <quote>banners</quote> in the path
5126  somewhere.
5127 </para>
5128
5129 <para>
5130  A now something a little more complex:
5131 </para>
5132
5133 <para>
5134  <emphasis><literal>/.*/adv((er)?ts?|ertis(ing|ements?))?/</literal></emphasis> - 
5135  We have several literal forward slashes again (<quote>/</quote>), so we are
5136  building another expression that is a file path statement. We have another 
5137  <quote>.*</quote>, so we are matching against any conceivable sub-path, just so
5138  it matches our expression. The only true literal that <emphasis>must
5139  match</emphasis> our pattern is <application>adv</application>, together with
5140  the forward slashes. What comes after the <quote>adv</quote> string is the
5141  interesting part. 
5142 </para>
5143
5144 <para>
5145  Remember the <quote>?</quote> means the preceding expression (either a
5146  literal character or anything grouped with <quote>(...)</quote> in this case)
5147  can exist or not, since this means either zero or one match. So
5148  <quote>((er)?ts?|ertis(ing|ements?))</quote> is optional, as are the
5149  individual sub-expressions: <quote>(er)</quote>,
5150  <quote>(ing|ements?)</quote>, and the <quote>s</quote>. The <quote>|</quote>
5151  means <quote>or</quote>. We have two of those. For instance, 
5152  <quote>(ing|ements?)</quote>, can expand to match either <quote>ing</quote> 
5153  <emphasis>OR</emphasis> <quote>ements?</quote>. What is being done here, is an
5154  attempt at matching as many variations of <quote>advertisement</quote>, and 
5155  similar, as possible. So this would expand to match just <quote>adv</quote>,
5156  or <quote>advert</quote>, or <quote>adverts</quote>, or
5157  <quote>advertising</quote>, or <quote>advertisement</quote>, or
5158  <quote>advertisements</quote>. You get the idea. But it would not match 
5159  <quote>advertizements</quote> (with a <quote>z</quote>). We could fix that by
5160  changing our regular expression to: 
5161  <quote>/.*/adv((er)?ts?|erti(s|z)(ing|ements?))?/</quote>, which would then match
5162  either spelling.
5163 </para>
5164
5165 <para>
5166  <emphasis><literal>/.*/advert[0-9]+\.(gif|jpe?g)</literal></emphasis> - Again 
5167  another path statement with forward slashes. Anything in the square brackets 
5168  <quote>[]</quote> can be matched. This is using <quote>0-9</quote> as a
5169  shorthand expression to mean any digit one through nine. It is the same as
5170  saying <quote>0123456789</quote>. So any digit matches. The <quote>+</quote>
5171  means one or more of the preceding expression must be included. The preceding 
5172  expression here is what is in the square brackets -- in this case, any digit 
5173  one through nine. Then, at the end, we have a grouping: <quote>(gif|jpe?g)</quote>. 
5174  This includes a <quote>|</quote>, so this needs to match the expression on
5175  either side of that bar character also. A simple <quote>gif</quote> on one side, and the other
5176  side will in turn match either <quote>jpeg</quote> or <quote>jpg</quote>,
5177  since the <quote>?</quote> means the letter <quote>e</quote> is optional and
5178  can be matched once or not at all. So we are building an expression here to
5179  match image GIF or JPEG type image file. It must include the literal
5180  string <quote>advert</quote>, then one or more digits, and a <quote>.</quote>
5181  (which is now a literal, and not a special character, since it is escaped
5182  with <quote>\</quote>), and lastly either <quote>gif</quote>, or
5183  <quote>jpeg</quote>, or <quote>jpg</quote>. Some possible matches would
5184  include: <quote>//advert1.jpg</quote>,
5185  <quote>/nasty/ads/advert1234.gif</quote>,
5186  <quote>/banners/from/hell/advert99.jpg</quote>. It would not match
5187  <quote>advert1.gif</quote> (no leading slash), or
5188  <quote>/adverts232.jpg</quote> (the expression does not include an
5189  <quote>s</quote>), or <quote>/advert1.jsp</quote> (<quote>jsp</quote> is not
5190  in the expression anywhere).
5191 </para>
5192
5193 <para>
5194  We are barely scratching the surface of regular expressions here so that you
5195  can understand the default <application>Privoxy</application>
5196  configuration files, and maybe use this knowledge to customize your own
5197  installation. There is much, much more that can be done with regular
5198  expressions. Now that you know enough to get started, you can learn more on
5199  your own :/
5200 </para>
5201
5202 <para>
5203  More reading on Perl Compatible Regular expressions: 
5204  <ulink url="http://www.perldoc.com/perl5.6/pod/perlre.html">http://www.perldoc.com/perl5.6/pod/perlre.html</ulink>
5205 </para>
5206
5207 <para>
5208  For information on regular expression based substitutions and their applications
5209  in filters, please see the <link linkend="filter-file">filter file tutorial</link>
5210  in this manual.
5211 </para>
5212 </sect2>
5213
5214 <!--  ~  End section  ~  -->
5215
5216
5217 <!--   ~~~~~       New section      ~~~~~     -->
5218 <sect2>
5219 <title><application>Privoxy</application>'s Internal Pages</title>
5220
5221 <para>
5222  Since <application>Privoxy</application> proxies each requested 
5223  web page, it is easy for <application>Privoxy</application> to 
5224  trap certain special URLs. In this way, we can talk directly to
5225  <application>Privoxy</application>, and see how it is 
5226  configured, see how our rules are being applied, change these 
5227  rules and other configuration options, and even turn
5228  <application>Privoxy's</application> filtering off, all with 
5229  a web browser.
5230
5231 </para>
5232
5233 <para>
5234  The URLs listed below are the special ones that allow direct access 
5235  to <application>Privoxy</application>. Of course,
5236  <application>Privoxy</application> must be running to access these. If 
5237  not, you will get a friendly error message. Internet access is not 
5238  necessary either.
5239 </para>
5240
5241 <para>
5242  <itemizedlist>
5243
5244  <listitem>
5245   <para>  
5246    Privoxy main page: 
5247   </para>
5248   <blockquote>
5249    <para> 
5250      <ulink url="http://config.privoxy.org/">http://config.privoxy.org/</ulink>
5251    </para>
5252   </blockquote>
5253   <para>
5254    There is a shortcut: <ulink url="http://p.p/">http://p.p/</ulink> (But it
5255    doesn't provide a fall-back to a real page, in case the request is not
5256    sent through <application>Privoxy</application>)
5257   </para>
5258  </listitem>
5259
5260  <listitem>
5261   <para>  
5262     Show information about the current configuration, including viewing and 
5263     editing of actions files:
5264   </para>
5265    <blockquote>
5266    <para> 
5267     <ulink url="http://config.privoxy.org/show-status">http://config.privoxy.org/show-status</ulink>
5268    </para>
5269   </blockquote>
5270  </listitem>
5271  
5272  <listitem>
5273   <para>  
5274     Show the source code version numbers:
5275   </para>
5276   <blockquote>
5277    <para> 
5278     <ulink url="http://config.privoxy.org/show-version">http://config.privoxy.org/show-version</ulink>
5279    </para>
5280   </blockquote>
5281  </listitem>
5282  
5283  <listitem>
5284   <para>  
5285    Show the browser's request headers:
5286   </para>
5287   <blockquote>
5288    <para> 
5289     <ulink url="http://config.privoxy.org/show-request">http://config.privoxy.org/show-request</ulink>
5290    </para>
5291   </blockquote>
5292  </listitem>
5293  
5294  <listitem>
5295   <para>  
5296    Show which actions apply to a URL and why:
5297   </para>
5298    <blockquote>
5299    <para> 
5300     <ulink url="http://config.privoxy.org/show-url-info">http://config.privoxy.org/show-url-info</ulink>
5301    </para>
5302   </blockquote>
5303  </listitem>
5304  
5305  <listitem>
5306   <para>  
5307    Toggle Privoxy on or off. In this case, <quote>Privoxy</quote> continues 
5308    to run, but only as a pass-through proxy, with no actions taking place:
5309   </para>
5310    <blockquote>
5311    <para> 
5312     <ulink url="http://config.privoxy.org/toggle">http://config.privoxy.org/toggle</ulink>
5313    </para>
5314   </blockquote>
5315   <para>
5316    Short cuts. Turn off, then on: 
5317   </para>
5318    <blockquote>
5319    <para> 
5320      <ulink url="http://config.privoxy.org/toggle?set=disable">http://config.privoxy.org/toggle?set=disable</ulink>
5321    </para>
5322   </blockquote>
5323    <blockquote>
5324    <para> 
5325      <ulink url="http://config.privoxy.org/toggle?set=enable">http://config.privoxy.org/toggle?set=enable</ulink>
5326    </para>
5327   </blockquote>
5328  </listitem>
5329  
5330  </itemizedlist>
5331 </para>
5332
5333 <para>
5334  These may be bookmarked for quick reference. See next.
5335
5336 </para>
5337
5338 <sect3 id="bookmarklets">
5339 <title>Bookmarklets</title>
5340 <para>
5341  Below are some <quote>bookmarklets</quote> to allow you to easily access a
5342  <quote>mini</quote> version of some of <application>Privoxy's</application>
5343  special pages. They are designed for MS Internet Explorer, but should work
5344  equally well in Netscape, Mozilla, and other browsers which support
5345  JavaScript. They are designed to run directly from your bookmarks - not by
5346  clicking the links below (although that should work for testing).
5347 </para>
5348 <para>
5349  To save them, right-click the link and choose <quote>Add to Favorites</quote>
5350  (IE) or <quote>Add Bookmark</quote> (Netscape). You will get a warning that
5351  the bookmark <quote>may not be safe</quote> - just click OK. Then you can run the
5352  Bookmarklet directly from your favorites/bookmarks. For even faster access,
5353  you can put them on the <quote>Links</quote> bar (IE) or the <quote>Personal
5354  Toolbar</quote> (Netscape), and run them with a single click. 
5355 </para>
5356
5357 <para>
5358  <itemizedlist>
5359
5360   <listitem>
5361    <para>
5362     <ulink
5363     url="javascript:void(window.open('http://config.privoxy.org/toggle?mini=y&#38;set=enabled','ijbstatus','width=250,height=100,resizable=yes,scrollbars=no,toolbar=no,location=no,directories=no,status=no,menubar=no,copyhistory=no').focus());">Privoxy - Enable</ulink>
5364    </para>
5365   </listitem> 
5366
5367   <listitem>
5368    <para>
5369     <ulink
5370     url="javascript:void(window.open('http://config.privoxy.org/toggle?mini=y&#38;set=disabled','ijbstatus','width=250,height=100,resizable=yes,scrollbars=no,toolbar=no,location=no,directories=no,status=no,menubar=no,copyhistory=no').focus());">Privoxy - Disable</ulink>
5371    </para>
5372   </listitem> 
5373
5374   <listitem>
5375    <para>
5376     <ulink
5377     url="javascript:void(window.open('http://config.privoxy.org/toggle?mini=y&#38;set=toggle','ijbstatus','width=250,height=100,resizable=yes,scrollbars=no,toolbar=no,location=no,directories=no,status=no,menubar=no,copyhistory=no').focus());">Privoxy - Toggle Privoxy</ulink> (Toggles between enabled and disabled)
5378    </para>
5379   </listitem> 
5380
5381   <listitem>
5382    <para>
5383     <ulink
5384     url="javascript:void(window.open('http://config.privoxy.org/toggle?mini=y','ijbstatus','width=250,height=2,resizable=yes,scrollbars=no,toolbar=no,location=no,directories=no,status=no,menubar=no,copyhistory=no').focus());">Privoxy- View Status</ulink>
5385    </para>
5386   </listitem> 
5387
5388   <listitem>
5389    <para>
5390     <ulink url="javascript:w=Math.floor(screen.width/2);h=Math.floor(screen.height*0.9);void(window.open('http://www.privoxy.org/actions/index.php?url='+escape(location.href),'Feedback','screenx='+w+',width='+w+',height='+h+',scrollbars=yes,toolbar=no,location=no,directories=no,status=no,menubar=no,copyhistory=no').focus());">Privoxy - Submit Actions File Feedback</ulink>
5391    </para>
5392   </listitem> 
5393   <listitem>
5394    <para>
5395     <ulink url="javascript:void(window.open('http://config.privoxy.org/show-url-info?url='+escape(location.href),'Why').focus());">Privoxy - Why?</ulink>
5396    </para>
5397   </listitem> 
5398  </itemizedlist>
5399 </para>
5400
5401 <para>
5402  Credit: The site which gave us the general idea for these bookmarklets is
5403  <ulink url="http://www.bookmarklets.com/">www.bookmarklets.com</ulink>. They
5404  have more information about bookmarklets. 
5405 </para>
5406
5407
5408 </sect3>
5409
5410 </sect2>
5411
5412
5413 <!--   ~~~~~       New section      ~~~~~     -->
5414 <sect2 id="chain">
5415 <title>Chain of Events</title>
5416 <para>
5417  Let's take a quick look at the basic sequence of events when a web page is 
5418  requested by your browser and <application>Privoxy</application> is on duty:
5419 </para>
5420
5421 <para>
5422  <itemizedlist>
5423  <listitem>
5424   <para>
5425    First, your web browser requests a web page. The browser knows to send 
5426    the request to <application>Privoxy</application>, which will in turn, 
5427    relay the request to the remote web server after passing the following 
5428    tests: 
5429   </para>
5430  </listitem> 
5431  <listitem>
5432   <para>
5433    <application>Privoxy</application> traps any request for its own internal CGI 
5434    pages (e.g http://p.p/) and sends the CGI page back to the browser.
5435   </para>
5436  </listitem> 
5437  <listitem>
5438   <para>
5439    Next, <application>Privoxy</application> checks to see if the URL 
5440    matches any <link
5441    linkend="BLOCK"><quote>+block</quote></link> patterns. If
5442    so, the URL is then blocked, and the remote web server will not be contacted.
5443    <link linkend="HANDLE-AS-IMAGE"><quote>+handle-as-image</quote></link> 
5444    is then checked and if it does not match, an 
5445    HTML <quote>BLOCKED</quote> page is sent back. Otherwise, if it does match,
5446    an image is returned. The type of image depends on the setting of <link
5447    linkend="SET-IMAGE-BLOCKER"><quote>+set-image-blocker</quote></link>
5448    (blank, checkerboard pattern, or an HTTP redirect to an image elsewhere).
5449   </para>
5450  </listitem> 
5451  <listitem>
5452   <para>
5453    Untrusted URLs are blocked. If URLs are being added to the
5454    <filename>trust</filename> file, then that is done.
5455   </para>
5456  </listitem> 
5457  <listitem>
5458   <para>
5459    If the URL pattern matches the <link
5460    linkend="FAST-REDIRECTS"><quote>+fast-redirects</quote></link> action,
5461    it is then processed. Unwanted parts of the requested URL are stripped.
5462   </para>
5463  </listitem> 
5464  <listitem>
5465   <para>
5466    Now the rest of the client browser's request headers are processed. If any
5467    of these match any of the relevant actions (e.g. <link
5468    linkend="HIDE-USER-AGENT"><quote>+hide-user-agent</quote></link>,
5469    etc.), headers are suppressed or forged as determined by these actions and
5470    their parameters.
5471   </para>
5472  </listitem> 
5473  <listitem>
5474   <para>
5475    Now the web server starts sending its response back (i.e. typically a web page and related 
5476    data).
5477   </para>
5478  </listitem> 
5479  <listitem>
5480   <para>
5481    First, the server headers are read and processed to determine, among other
5482    things, the MIME type (document type) and encoding. The headers are then
5483    filtered as determined by the 
5484    <link linkend="CRUNCH-INCOMING-COOKIES"><quote>+crunch-incoming-cookies</quote></link>,
5485    <link linkend="SESSION-COOKIES-ONLY"><quote>+session-cookies-only</quote></link>,
5486    and <link linkend="DOWNGRADE-HTTP-VERSION"><quote>+downgrade-http-version</quote></link>
5487    actions.
5488   </para>
5489  </listitem> 
5490  <listitem>
5491   <para>
5492    If the <link linkend="KILL-POPUPS"><quote>+kill-popups</quote></link>
5493    action applies, and it is an HTML or JavaScript document, the popup-code in the
5494    response is filtered on-the-fly as it is received.
5495   </para>
5496  </listitem> 
5497  <listitem>
5498   <para>
5499    If a <link linkend="FILTER"><quote>+filter</quote></link>
5500    or <link
5501    linkend="DEANIMATE-GIFS"><quote>+deanimate-gifs</quote></link>
5502    action applies (and the document type fits the action), the rest of the page is
5503    read into memory (up to a configurable limit). Then the filter rules (from
5504    <filename>default.filter</filename>) are processed against the buffered
5505    content. Filters are applied in the order they are specified in the
5506    <filename>default.filter</filename> file. Animated GIFs, if present, are
5507    reduced to either the first or last frame, depending on the action
5508    setting.The entire page, which is now filtered, is then sent by
5509    <application>Privoxy</application> back to your browser. 
5510   </para>
5511   <para>
5512    If neither <link linkend="FILTER"><quote>+filter</quote></link>
5513    or <link
5514    linkend="DEANIMATE-GIFS"><quote>+deanimate-gifs</quote></link>
5515    matches, then <application>Privoxy</application> passes the raw data through 
5516    to the client browser as it becomes available.
5517   </para>
5518  </listitem> 
5519  <listitem>
5520   <para>
5521    As the browser receives the now (probably filtered) page content, it 
5522    reads and then requests any URLs that may be embedded within the page
5523    source, e.g. ad images, stylesheets, JavaScript, other HTML documents (e.g.
5524    frames), sounds, etc. For each of these objects, the browser issues a new
5525    request. And each such request is in turn processed as above. Note that a
5526    complex web page may have many such embedded URLs.
5527   </para>
5528  </listitem> 
5529  
5530  </itemizedlist>
5531 </para>
5532
5533 </sect2>
5534
5535
5536 <!--   ~~~~~       New section      ~~~~~     -->
5537 <sect2 id="actionsanat">
5538 <title>Anatomy of an Action</title>
5539
5540 <para>
5541  The way <application>Privoxy</application> applies 
5542  <link linkend="ACTIONS">actions</link> and <link linkend="FILTER">filters</link>
5543  to any given URL can be complex, and not always so
5544  easy to understand what is happening. And sometimes we need to be able to
5545  <emphasis>see</emphasis> just what <application>Privoxy</application> is
5546  doing. Especially, if something <application>Privoxy</application> is doing
5547  is causing us a problem inadvertently. It can be a little daunting to look at
5548  the actions and filters files themselves, since they tend to be filled with
5549  <link linkend="regex">regular expressions</link> whose consequences are not
5550  always so obvious. 
5551 </para>
5552
5553 <para>
5554  One quick test to see if <application>Privoxy</application> is causing a problem 
5555  or not, is to disable it temporarily. This should be the first troubleshooting 
5556  step. See <link linkend="bookmarklets">the Bookmarklets</link> section on a quick 
5557  and easy way to do this (be sure to flush caches afterward!). Looking at the 
5558  logs is a good idea too.
5559 </para>
5560
5561 <para>
5562  <application>Privoxy</application> also provides the 
5563  <ulink url="http://config.privoxy.org/show-url-info">http://config.privoxy.org/show-url-info</ulink>
5564  page that can show us very specifically how <application>actions</application>
5565  are being applied to any given URL. This is a big help for troubleshooting.
5566 </para>
5567
5568 <para>
5569  First, enter one URL (or partial URL) at the prompt, and then
5570  <application>Privoxy</application> will tell us 
5571  how the current configuration will handle it. This will not
5572  help with filtering effects (i.e. the <link
5573  linkend="FILTER"><quote>+filter</quote></link> action) from
5574  the <filename>default.filter</filename> file since this is handled very
5575  differently and not so easy to trap! It also will not tell you about any other
5576  URLs that may be embedded within the URL you are testing. For instance, images
5577  such as ads are expressed as URLs within the raw page source of HTML pages. So
5578  you will only get info for the actual URL that is pasted into the prompt area
5579  -- not any sub-URLs. If you want to know about embedded URLs like ads, you
5580  will have to dig those out of the HTML source. Use your browser's <quote>View
5581  Page Source</quote> option for this. Or right click on the ad, and grab the
5582  URL.
5583 </para>
5584
5585 <para>
5586  Let's try an example, <ulink url="http://google.com">google.com</ulink>, 
5587  and look at it one section at a time:
5588 </para>
5589
5590 <para>
5591  <screen>
5592  Matches for http://google.com:
5593
5594  In file: default.action <guibutton>[ View ]</guibutton> <guibutton>[ Edit ]</guibutton>
5595
5596 {-add-header 
5597  -block 
5598  -crunch-outgoing-cookies 
5599  -crunch-incoming-cookies 
5600  +deanimate-gifs{last} 
5601  -downgrade-http-version 
5602  +fast-redirects 
5603  -filter{popups} 
5604  -filter{fun} 
5605  -filter{shockwave-flash} 
5606  -filter{crude-parental} 
5607  +filter{html-annoyances} 
5608  +filter{js-annoyances} 
5609  +filter{content-cookies} 
5610  +filter{webbugs} 
5611  +filter{refresh-tags} 
5612  +filter{nimda} 
5613  +filter{banners-by-size} 
5614  +hide-forwarded-for-headers 
5615  +hide-from-header{block} 
5616  +hide-referer{forge} 
5617  -hide-user-agent 
5618  -handle-as-image 
5619  -kill-popups 
5620  -limit-connect 
5621  +prevent-compression 
5622  -send-vanilla-wafer 
5623  -send-wafer 
5624  +session-cookies-only 
5625  +set-image-blocker{pattern} }
5626 /
5627
5628  { -session-cookies-only }
5629  .google.com
5630
5631  { -fast-redirects }
5632  .google.com
5633
5634 In file: user.action <guibutton>[ View ]</guibutton> <guibutton>[ Edit ]</guibutton>
5635 (no matches in this file)  
5636 </screen>
5637 </para>
5638
5639 <para>
5640  This tells us how we have defined our 
5641  <link linkend="ACTIONS"><quote>actions</quote></link>, and
5642  which ones match for our example, <quote>google.com</quote>. The first listing
5643  is any matches for the <filename>standard.action</filename> file. No hits at
5644  all here on <quote>standard</quote>. Then next is <quote>default</quote>, or
5645  our <filename>default.action</filename> file. The large, multi-line listing,
5646  is how the actions are set to match for all URLs, i.e. our default settings.
5647  If you look at your <quote>actions</quote> file, this would be the section
5648  just below the <quote>aliases</quote> section near the top. This will apply to
5649  all URLs as signified by the single forward slash at the end of the listing
5650  -- <quote>/</quote>.
5651 </para>
5652
5653 <para>
5654  But we can define additional actions that would be exceptions to these general
5655  rules, and then list specific URLs (or patterns) that these exceptions would
5656  apply to. Last match wins. Just below this then are two explicit matches for
5657  <quote>.google.com</quote>. The first is negating our previous cookie setting, 
5658  which was for <link
5659  linkend="SESSION-COOKIES-ONLY"><quote>+session-cookies-only</quote></link>
5660  (i.e. not persistent). So we will allow persistent cookies for google. The
5661  second turns <emphasis>off</emphasis> any 
5662  <link
5663  linkend="FAST-REDIRECTS"><quote>+fast-redirects</quote></link>
5664  action, allowing this to take place unmolested. Note that there is a leading
5665  dot here -- <quote>.google.com</quote>. This will match any hosts and
5666  sub-domains, in the google.com domain also, such as
5667  <quote>www.google.com</quote>. So, apparently, we have these two actions
5668  defined somewhere in the lower part of our <filename>default.action</filename>
5669  file, and <quote>google.com</quote> is referenced somewhere in these latter
5670  sections.
5671 </para>
5672
5673 <para>
5674  Then, for our <filename>user.action</filename> file, we again have no hits.
5675 </para>
5676
5677 <para>
5678  And finally we pull it all together in the bottom section and summarize how
5679  <application>Privoxy</application> is applying all its <quote>actions</quote> 
5680  to <quote>google.com</quote>:
5681
5682 </para>
5683
5684 <para>
5685  <screen>
5686
5687  Final results:
5688  
5689  -add-header 
5690  -block 
5691  -crunch-outgoing-cookies 
5692  -crunch-incoming-cookies 
5693  +deanimate-gifs{last} 
5694  -downgrade-http-version 
5695  -fast-redirects 
5696  -filter{popups} 
5697  -filter{fun} 
5698  -filter{shockwave-flash} 
5699  -filter{crude-parental} 
5700  +filter{html-annoyances} 
5701  +filter{js-annoyances} 
5702  +filter{content-cookies} 
5703  +filter{webbugs} 
5704  +filter{refresh-tags} 
5705  +filter{nimda} 
5706  +filter{banners-by-size} 
5707  +hide-forwarded-for-headers 
5708  +hide-from-header{block} 
5709  +hide-referer{forge} 
5710  -hide-user-agent 
5711  -handle-as-image 
5712  -kill-popups 
5713  -limit-connect 
5714  +prevent-compression 
5715  -send-vanilla-wafer 
5716  -send-wafer
5717  -session-cookies-only 
5718  +set-image-blocker{pattern} 
5719 </screen>
5720 </para>
5721
5722 <para>
5723  Notice the only difference here to the previous listing, is to 
5724  <quote>fast-redirects</quote> and <quote>session-cookies-only</quote>.
5725 </para>
5726
5727 <para>
5728  Now another example, <quote>ad.doubleclick.net</quote>:
5729 </para>
5730
5731 <para>
5732  <screen>
5733
5734  { +block +handle-as-image }
5735   .ad.doubleclick.net
5736
5737  { +block +handle-as-image }
5738   ad*.
5739
5740  { +block +handle-as-image }
5741   .doubleclick.net
5742 </screen>
5743 </para>
5744
5745 <para>
5746  We'll just show the interesting part here, the explicit matches. It is 
5747  matched three different times. Each as an <quote>+block +handle-as-image</quote>,
5748  which is the expanded form of one of our aliases that had been defined as: 
5749  <quote>+imageblock</quote>. (<link
5750  linkend="ALIASES"><quote>Aliases</quote></link> are defined in
5751  the first section of the actions file and typically used to combine more 
5752  than one action.)
5753 </para>
5754
5755 <para>
5756  Any one of these would have done the trick and blocked this as an unwanted 
5757  image. This is unnecessarily redundant since the last case effectively 
5758  would also cover the first. No point in taking chances with these guys 
5759  though ;-) Note that if you want an ad or obnoxious 
5760  URL to be invisible, it should be defined as <quote>ad.doubleclick.net</quote>
5761  is done here -- as both a <link
5762  linkend="BLOCK"><quote>+block</quote></link>
5763  <emphasis>and</emphasis> an 
5764  <link
5765  linkend="HANDLE-AS-IMAGE"><quote>+handle-as-image</quote></link>.
5766  The custom alias <quote>+imageblock</quote> just simplifies the process and make 
5767  it more readable.
5768 </para>
5769
5770 <para>
5771  One last example. Let's try <quote>http://www.rhapsodyk.net/adsl/HOWTO/</quote>.
5772  This one is giving us problems. We are getting a blank page. Hmmm ...
5773 </para>
5774
5775 <para>
5776  <screen>
5777
5778  Matches for http://www.rhapsodyk.net/adsl/HOWTO/:
5779
5780  In file: default.action <guibutton>[ View ]</guibutton> <guibutton>[ Edit ]</guibutton>
5781
5782  {-add-header 
5783   -block 
5784   -crunch-incoming-cookies 
5785   -crunch-outgoing-cookies 
5786   +deanimate-gifs 
5787   -downgrade-http-version 
5788   +fast-redirects 
5789   +filter{html-annoyances} 
5790   +filter{js-annoyances} 
5791   +filter{kill-popups} 
5792   +filter{webbugs} 
5793   +filter{nimda} 
5794   +filter{banners-by-size} 
5795   +filter{hal} 
5796   +filter{fun} 
5797   +hide-forwarded-for-headers 
5798   +hide-from-header{block} 
5799   +hide-referer{forge} 
5800   -hide-user-agent 
5801   -handle-as-image 
5802   +kill-popups 
5803   +prevent-compression 
5804   -send-vanilla-wafer 
5805   -send-wafer 
5806   +session-cookies-only 
5807   +set-image-blocker{blank} }
5808    /
5809
5810  { +block +handle-as-image }
5811   /ads
5812 </screen>
5813 </para>
5814
5815 <para>
5816  Ooops, the <quote>/adsl/</quote> is matching <quote>/ads</quote>! But 
5817  we did not want this at all! Now we see why we get the blank page. We could
5818  now add a new action below this that explicitly does <emphasis>not</emphasis>
5819  block (<quote>{-block}</quote>) paths with <quote>adsl</quote>. There are
5820  various ways to handle such exceptions. Example:
5821 </para>
5822
5823 <para>
5824  <screen>
5825
5826  { -block }
5827   /adsl
5828 </screen>
5829 </para>
5830
5831 <para>
5832  Now the page displays ;-) Be sure to flush your browser's caches when 
5833  making such changes. Or, try using <literal>Shift+Reload</literal>.
5834 </para>
5835
5836 <para>
5837  But now what about a situation where we get no explicit matches like 
5838  we did with:
5839 </para>
5840
5841 <para>
5842  <screen>
5843
5844  { +block +handle-as-image }
5845  /ads
5846 </screen>
5847 </para>
5848
5849 <para>
5850  That actually was very telling and pointed us quickly to where the problem
5851  was. If you don't get this kind of match, then it means one of the default 
5852  rules in the first section is causing the problem. This would require some 
5853  guesswork, and maybe a little trial and error to isolate the offending rule.
5854  One likely cause would be one of the <quote>{+filter}</quote> actions. These 
5855  tend to be harder to troubleshoot. Try adding the URL for the site to one of
5856  aliases that turn off <quote>+filter</quote>:
5857 </para>
5858
5859 <para>
5860  <screen>
5861
5862  {shop}
5863  .quietpc.com
5864  .worldpay.com   # for quietpc.com
5865  .jungle.com
5866  .scan.co.uk
5867  .forbes.com
5868 </screen>
5869 </para>
5870
5871 <para>
5872  <quote>{shop}</quote> is an <quote>alias</quote> that expands to 
5873  <quote>{ -filter -session-cookies-only }</quote>.
5874  Or you could do your own exception to negate filtering:
5875
5876 </para>
5877
5878 <para>
5879  <screen>
5880
5881  {-filter}
5882  .forbes.com
5883 </screen>
5884 </para>
5885
5886 <para>
5887  This would turn off all filtering for that site. This would probably be most
5888  appropriately put in <filename>user.action</filename>, for local site
5889  exceptions.
5890 </para>
5891
5892 <para>
5893  Images that are inexplicably being blocked, may well be hitting the 
5894  <quote>+filter{banners-by-size}</quote> rule, which assumes 
5895  that images of certain sizes are ad banners (works well most of the time 
5896  since these tend to be standardized).
5897 </para>
5898
5899 <para>
5900  <quote>{fragile}</quote> is an alias that disables most actions. This can be 
5901  used as a last resort for problem sites. Remember to flush caches! If this 
5902  still does not work, you will have to go through the remaining actions one by
5903  one to find which one(s) is causing the problem.
5904 </para>
5905
5906 </sect2>
5907
5908 </sect1>
5909
5910  <!--
5911
5912  This program is free software; you can redistribute it 
5913  and/or modify it under the terms of the GNU General
5914  Public License as published by the Free Software
5915  Foundation; either version 2 of the License, or (at
5916  your option) any later version.
5917
5918  This program is distributed in the hope that it will
5919  be useful, but WITHOUT ANY WARRANTY; without even the
5920  implied warranty of MERCHANTABILITY or FITNESS FOR A
5921  PARTICULAR PURPOSE.  See the GNU General Public
5922  License for more details.
5923
5924  The GNU General Public License should be included with
5925  this file.  If not, you can view it at
5926  http://www.gnu.org/copyleft/gpl.html
5927  or write to the Free Software Foundation, Inc., 59
5928  Temple Place - Suite 330, Boston, MA  02111-1307, USA.
5929
5930  $Log: user-manual.sgml,v $
5931  Revision 1.123.2.24  2002/11/17 06:41:06  hal9
5932  Move default profiles table from FAQ to U-M, and other minor related changes.
5933  Add faq on cookies.
5934
5935  Revision 1.123.2.23  2002/10/21 02:32:01  hal9
5936  Updates to the user.action examples section. A few new ones.
5937
5938  Revision 1.123.2.22  2002/10/12 00:51:53  hal9
5939  Add demoronizer to filter section.
5940
5941  Revision 1.123.2.21  2002/10/10 04:09:35  hal9
5942  s/Advanced/Radical/ and added very brief note.
5943
5944  Revision 1.123.2.20  2002/10/10 03:49:21  hal9
5945  Add notes to session-cookies-only and Quickstart about pre-existing
5946  cookies. Also, note content-cookies work differently.
5947
5948  Revision 1.123.2.19  2002/09/26 01:25:36  hal9
5949  More explanation on Privoxy patterns, more on content-cookies and SSL.
5950
5951  Revision 1.123.2.18  2002/08/22 23:47:58  hal9
5952  Add 'Documentation' to Privoxy Menu shot in Configuration section to match
5953  CGIs.
5954
5955  Revision 1.123.2.17  2002/08/18 01:13:05  hal9
5956  Spell checked (only one typo this time!).
5957
5958  Revision 1.123.2.16  2002/08/09 19:20:54  david__schmidt
5959  Update to Mac OSX startup script name
5960
5961  Revision 1.123.2.15  2002/08/07 17:32:11  oes
5962  Converted some internal links from ulink to link for PDF creation; no content changed
5963
5964  Revision 1.123.2.14  2002/08/06 09:16:13  oes
5965  Nits re: actions file download
5966
5967  Revision 1.123.2.13  2002/08/02 18:23:19  g_sauthoff
5968  Just 2 small corrections to the Gentoo sections
5969
5970  Revision 1.123.2.12  2002/08/02 18:17:21  g_sauthoff
5971  Added 2 Gentoo sections
5972
5973  Revision 1.123.2.11  2002/07/26 15:20:31  oes
5974  - Added version info to title
5975  - Added info on new filters
5976  - Revised parts of the filter file tutorial
5977  - Added info on where to get updated actions files
5978
5979  Revision 1.123.2.10  2002/07/25 21:42:29  hal9
5980  Add brief notes on not proxying non-HTTP protocols.
5981
5982  Revision 1.123.2.9  2002/07/11 03:40:28  david__schmidt
5983
5984  Updated Mac OSX sections due to installation location change
5985
5986  Revision 1.123.2.8  2002/06/09 16:36:32  hal9
5987  Clarifications on filtering and MIME. Hardcode 'latest release' in index.html.
5988
5989  Revision 1.123.2.7  2002/06/09 00:29:34  hal9
5990  Touch ups on filtering, in actions section and Anatomy.
5991
5992  Revision 1.123.2.6  2002/06/06 23:11:03  hal9
5993  Fix broken link. Linkchecked all docs.
5994
5995  Revision 1.123.2.5  2002/05/29 02:01:02  hal9
5996  This is break out of the entire config section from u-m, so it can
5997  eventually be used to generate the comments, etc in the main config file
5998  so that these are in sync with each other.
5999
6000  Revision 1.123.2.4  2002/05/27 03:28:45  hal9
6001  Ooops missed something from David.
6002
6003  Revision 1.123.2.3  2002/05/27 03:23:17  hal9
6004  Fix FIXMEs for OS2 and OSX startup. Fix Redhat typos (should be Red Hat).
6005  That's a wrap, I think.
6006
6007  Revision 1.123.2.2  2002/05/26 19:02:09  hal9
6008  Move Amiga stuff around to take of FIXME in start up section.
6009
6010  Revision 1.123.2.1  2002/05/26 17:04:25  hal9
6011  -Spellcheck, very minor edits, and sync across branches
6012
6013  Revision 1.123  2002/05/24 23:19:23  hal9
6014  Include new image (Proxy setup). More fun with guibutton.
6015  Minor corrections/clarifications here and there.
6016
6017  Revision 1.122  2002/05/24 13:24:08  oes
6018  Added Bookmarklet for one-click pre-filled access to show-url-info
6019
6020  Revision 1.121  2002/05/23 23:20:17  oes
6021   - Changed more (all?) references to actions to the
6022     <literal><link> style.
6023   - Small fixes in the actions chapter
6024   - Small clarifications in the quickstart to ad blocking
6025   - Removed <emphasis> from <title>s since the new doc CSS
6026     renders them red (bad in TOC).
6027
6028  Revision 1.120  2002/05/23 19:16:43  roro
6029  Correct Debian specials (installation and startup).
6030
6031  Revision 1.119  2002/05/22 17:17:05  oes
6032  Added Security hint
6033
6034  Revision 1.118  2002/05/21 04:54:55  hal9
6035  -New Section: Quickstart to Ad Blocking
6036  -Reformat Actions Anatomy to match new CGI layout
6037
6038  Revision 1.117  2002/05/17 13:56:16  oes
6039   - Reworked & extended Templates chapter
6040   - Small changes to Regex appendix
6041   - #included authors.sgml into (C) and hist chapter
6042
6043  Revision 1.116  2002/05/17 03:23:46  hal9
6044  Fixing merge conflict in Quickstart section.
6045
6046  Revision 1.115  2002/05/16 16:25:00  oes
6047  Extended the Filter File chapter & minor fixes
6048
6049  Revision 1.114  2002/05/16 09:42:50  oes
6050  More ulink->link, added some hints to Quickstart section
6051
6052  Revision 1.113  2002/05/15 21:07:25  oes
6053  Extended and further commented the example actions files
6054
6055  Revision 1.112  2002/05/15 03:57:14  hal9
6056  Spell check. A few minor edits here and there for better syntax and
6057  clarification.
6058
6059  Revision 1.111  2002/05/14 23:01:36  oes
6060  Fixing the fixes   
6061
6062  Revision 1.110  2002/05/14 19:10:45  oes
6063  Restored alphabetical order of actions
6064
6065  Revision 1.109  2002/05/14 17:23:11  oes
6066  Renamed the prevent-*-cookies actions, extended aliases section and moved it before the example AFs
6067
6068  Revision 1.108  2002/05/14 15:29:12  oes
6069  Completed proofreading the actions chapter
6070
6071  Revision 1.107  2002/05/12 03:20:41  hal9
6072  Small clarifications for 127.0.0.1 vs localhost for listen-address since this
6073  apparently an important distinction for some OS's.
6074
6075  Revision 1.106  2002/05/10 01:48:20  hal9
6076  This is mostly proposed copyright/licensing additions and changes. Docs
6077  are still GPL, but licensing and copyright are more visible. Also, copyright
6078  changed in doc header comments (eliminate references to JB except FAQ).
6079
6080  Revision 1.105  2002/05/05 20:26:02  hal9
6081  Sorting out license vs copyright in these docs.
6082
6083  Revision 1.104  2002/05/04 08:44:45  swa
6084  bumped version
6085
6086  Revision 1.103  2002/05/04 00:40:53  hal9
6087  -Remove the TOC first page kludge. It's fixed proper now in ldp.dsl.in.
6088  -Some minor additions to Quickstart.
6089
6090  Revision 1.102  2002/05/03 17:46:00  oes
6091  Further proofread & reactivated short build instructions
6092
6093  Revision 1.101  2002/05/03 03:58:30  hal9
6094  Move the user-manual config directive to top of section. Add note about
6095  Privoxy needing read permissions for configs, and write for logs.
6096
6097  Revision 1.100  2002/04/29 03:05:55  hal9
6098  Add clarification on differences of new actions files.
6099
6100  Revision 1.99  2002/04/28 16:59:05  swa
6101  more structure in starting section
6102
6103  Revision 1.98  2002/04/28 05:43:59  hal9
6104  This is the break up of configuration.html into multiple files. This
6105  will probably break links elsewhere :(
6106
6107  Revision 1.97  2002/04/27 21:04:42  hal9
6108  -Rewrite of Actions File example.
6109  -Add section for user-manual directive in config.
6110
6111  Revision 1.96  2002/04/27 05:32:00  hal9
6112  -Add short section to Filter Files to tie in with +filter action.
6113  -Start rewrite of examples in Actions Examples (not finished).
6114
6115  Revision 1.95  2002/04/26 17:23:29  swa
6116  bookmarks cleaned, changed structure of user manual, screen and programlisting cleanups, and numerous other changes that I forgot
6117
6118  Revision 1.94  2002/04/26 05:24:36  hal9
6119  -Add most of Andreas suggestions to Chain of Events section.
6120  -A few other minor corrections and touch up.
6121
6122  Revision 1.92  2002/04/25 18:55:13  hal9
6123  More catchups on new actions files, and new actions names.
6124  Other assorted cleanups, and minor modifications.
6125
6126  Revision 1.91  2002/04/24 02:39:31  hal9
6127  Add 'Chain of Events' section.
6128
6129  Revision 1.90  2002/04/23 21:41:25  hal9
6130  Linuxconf is deprecated on RH, substitute chkconfig.
6131
6132  Revision 1.89  2002/04/23 21:05:28  oes
6133  Added hint for startup on Red Hat
6134
6135  Revision 1.88  2002/04/23 05:37:54  hal9
6136  Add AmigaOS install stuff.
6137
6138  Revision 1.87  2002/04/23 02:53:15  david__schmidt
6139  Updated OSX installation section
6140  Added a few English tweaks here an there
6141
6142  Revision 1.86  2002/04/21 01:46:32  hal9
6143  Re-write actions section.
6144
6145  Revision 1.85  2002/04/18 21:23:23  hal9
6146  Fix ugly typo (mine).
6147
6148  Revision 1.84  2002/04/18 21:17:13  hal9
6149  Spell Redhat correctly (ie Red Hat). A few minor grammar corrections.
6150
6151  Revision 1.83  2002/04/18 18:21:12  oes
6152  Added RPM install detail
6153
6154  Revision 1.82  2002/04/18 12:04:50  oes
6155  Cosmetics
6156
6157  Revision 1.81  2002/04/18 11:50:24  oes
6158  Extended Install section - needs fixing by packagers
6159
6160  Revision 1.80  2002/04/18 10:45:19  oes
6161  Moved text to buildsource.sgml, renamed some filters, details
6162
6163  Revision 1.79  2002/04/18 03:18:06  hal9
6164  Spellcheck, and minor touchups.
6165
6166  Revision 1.78  2002/04/17 18:04:16  oes
6167  Proofreading part 2
6168
6169  Revision 1.77  2002/04/17 13:51:23  oes
6170  Proofreading, part one
6171
6172  Revision 1.76  2002/04/16 04:25:51  hal9
6173  -Added 'Note to Upgraders' and re-ordered the 'Quickstart' section.
6174  -Note about proxy may need requests to re-read config files.
6175
6176  Revision 1.75  2002/04/12 02:08:48  david__schmidt
6177  Remove OS/2 building info... it is already in the developer-manual
6178
6179  Revision 1.74  2002/04/11 00:54:38  hal9
6180  Add small section on submitting actions.
6181
6182  Revision 1.73  2002/04/10 18:45:15  swa
6183  generated
6184
6185  Revision 1.72  2002/04/10 04:06:19  hal9
6186  Added actions feedback  to Bookmarklets section
6187
6188  Revision 1.71  2002/04/08 22:59:26  hal9
6189  Version update. Spell chkconfig correctly :)
6190
6191  Revision 1.70  2002/04/08 20:53:56  swa
6192  ?
6193
6194  Revision 1.69  2002/04/06 05:07:29  hal9
6195  -Add privoxy-man-page.sgml, for man page.
6196  -Add authors.sgml for AUTHORS (and p-authors.sgml)
6197  -Reworked various aspects of various docs.
6198  -Added additional comments to sub-docs.
6199
6200  Revision 1.68  2002/04/04 18:46:47  swa
6201  consistent look. reuse of copyright, history et. al.
6202
6203  Revision 1.67  2002/04/04 17:27:57  swa
6204  more single file to be included at multiple points. make maintaining easier
6205
6206  Revision 1.66  2002/04/04 06:48:37  hal9
6207  Structural changes to allow for conditional inclusion/exclusion of content
6208  based on entity toggles, e.g. 'entity % p-not-stable  "INCLUDE"'. And
6209  definition of internal entities, e.g. 'entity p-version "2.9.13"' that will
6210  eventually be set by Makefile.
6211  More boilerplate text for use across multiple docs.
6212
6213  Revision 1.65  2002/04/03 19:52:07  swa
6214  enhance squid section due to user suggestion
6215
6216  Revision 1.64  2002/04/03 03:53:43  hal9
6217  A few minor bug fixes, and touch ups. Ready for review.
6218
6219  Revision 1.63  2002/04/01 16:24:49  hal9
6220  Define entities to include boilerplate text. See doc/source/*.
6221
6222  Revision 1.62  2002/03/30 04:15:53  hal9
6223  - Fix privoxy.org/config links.
6224  - Paste in Bookmarklets from Toggle page.
6225  - Move Quickstart nearer top, and minor rework.
6226
6227  Revision 1.61  2002/03/29 01:31:08  hal9
6228  Minor update.
6229
6230  Revision 1.60  2002/03/27 01:57:34  hal9
6231  Added more to Anatomy section.
6232
6233  Revision 1.59  2002/03/27 00:54:33  hal9
6234  Touch up intro for new name.
6235
6236  Revision 1.58  2002/03/26 22:29:55  swa
6237  we have a new homepage!
6238
6239  Revision 1.57  2002/03/24 20:33:30  hal9
6240  A few minor catch ups with name change.
6241
6242  Revision 1.56  2002/03/24 16:17:06  swa
6243  configure needs to be generated.
6244
6245  Revision 1.55  2002/03/24 16:08:08  swa
6246  we are too lazy to make a block-built
6247  privoxy logo. hence removed the option.
6248
6249  Revision 1.54  2002/03/24 15:46:20  swa
6250  name change related issue.
6251
6252  Revision 1.53  2002/03/24 11:51:00  swa
6253  name change. changed filenames.
6254
6255  Revision 1.52  2002/03/24 11:01:06  swa
6256  name change
6257
6258  Revision 1.51  2002/03/23 15:13:11  swa
6259  renamed every reference to the old name with foobar.
6260  fixed "application foobar application" tag, fixed
6261  "the foobar" with "foobar". left junkbustser in cvs
6262  comments and remarks to history untouched.
6263
6264  Revision 1.50  2002/03/23 05:06:21  hal9
6265  Touch up.
6266
6267  Revision 1.49  2002/03/21 17:01:05  hal9
6268  New section in Appendix.
6269
6270  Revision 1.48  2002/03/12 06:33:01  hal9
6271  Catching up to Andreas and re_filterfile changes.
6272
6273  Revision 1.47  2002/03/11 13:13:27  swa
6274  correct feedback channels
6275
6276  Revision 1.46  2002/03/10 00:51:08  hal9
6277  Added section on JB internal pages in Appendix.
6278
6279  Revision 1.45  2002/03/09 17:43:53  swa
6280  more distros
6281
6282  Revision 1.44  2002/03/09 17:08:48  hal9
6283  New section on Jon's actions file editor, and move some stuff around.
6284
6285  Revision 1.43  2002/03/08 00:47:32  hal9
6286  Added imageblock{pattern}.
6287
6288  Revision 1.42  2002/03/07 18:16:55  swa
6289  looks better
6290
6291  Revision 1.41  2002/03/07 16:46:43  hal9
6292  Fix a few markup problems for jade.
6293
6294  Revision 1.40  2002/03/07 16:28:39  swa
6295  provide correct feedback channels
6296
6297  Revision 1.39  2002/03/06 16:19:28  hal9
6298  Note on perceived filtering slowdown per FR.
6299
6300  Revision 1.38  2002/03/05 23:55:14  hal9
6301  Stupid I did it again. Double hyphen in comment breaks jade.
6302
6303  Revision 1.37  2002/03/05 23:53:49  hal9
6304  jade barfs on '- -' embedded in comments. - -user option broke it.
6305
6306  Revision 1.36  2002/03/05 22:53:28  hal9
6307  Add new - - user option.
6308
6309  Revision 1.35  2002/03/05 00:17:27  hal9
6310  Added section on command line options.
6311
6312  Revision 1.34  2002/03/04 19:32:07  oes
6313  Changed default port to 8118
6314
6315  Revision 1.33  2002/03/03 19:46:13  hal9
6316  Emphasis on where/how to report bugs, etc
6317
6318  Revision 1.32  2002/03/03 09:26:06  joergs
6319  AmigaOS changes, config is now loaded from PROGDIR: instead of
6320  AmiTCP:db/junkbuster/ if no configuration file is specified on the
6321  command line.
6322
6323  Revision 1.31  2002/03/02 22:45:52  david__schmidt
6324  Just tweaking
6325
6326  Revision 1.30  2002/03/02 22:00:14  hal9
6327  Updated 'New Features' list. Ran through spell-checker.
6328
6329  Revision 1.29  2002/03/02 20:34:07  david__schmidt
6330  Update OS/2 build section
6331
6332  Revision 1.28  2002/02/24 14:34:24  jongfoster
6333  Formatting changes.  Now changing the doctype to DocBook XML 4.1
6334  will work - no other changes are needed.
6335
6336  Revision 1.27  2002/01/11 14:14:32  hal9
6337  Added a very short section on Templates
6338
6339  Revision 1.26  2002/01/09 20:02:50  hal9
6340  Fix bug re: auto-detect config file changes.
6341
6342  Revision 1.25  2002/01/09 18:20:30  hal9
6343  Touch ups for *.action files.
6344
6345  Revision 1.24  2001/12/02 01:13:42  hal9
6346  Fix typo.
6347
6348  Revision 1.23  2001/12/02 00:20:41  hal9
6349  Updates for recent changes.
6350
6351  Revision 1.22  2001/11/05 23:57:51  hal9
6352  Minor update for startup now daemon mode.
6353
6354  Revision 1.21  2001/10/31 21:11:03  hal9
6355  Correct 2 minor errors
6356
6357  Revision 1.18  2001/10/24 18:45:26  hal9
6358  *** empty log message ***
6359
6360  Revision 1.17  2001/10/24 17:10:55  hal9
6361  Catching up with Jon's recent work, and a few other things.
6362
6363  Revision 1.16  2001/10/21 17:19:21  swa
6364  wrong url in documentation
6365
6366  Revision 1.15  2001/10/14 23:46:24  hal9
6367  Various minor changes. Fleshed out SEE ALSO section.
6368
6369  Revision 1.13  2001/10/10 17:28:33  hal9
6370  Very minor changes.
6371
6372  Revision 1.12  2001/09/28 02:57:04  hal9
6373  Ditto :/
6374
6375  Revision 1.11  2001/09/28 02:25:20  hal9
6376  Ditto.
6377
6378  Revision 1.9  2001/09/27 23:50:29  hal9
6379  A few changes. A short section on regular expression in appendix.
6380
6381  Revision 1.8  2001/09/25 00:34:59  hal9
6382  Some additions, and re-arranging.
6383
6384  Revision 1.7  2001/09/24 14:31:36  hal9
6385  Diddling.
6386
6387  Revision 1.6  2001/09/24 14:10:32  hal9
6388  Including David's OS/2 installation instructions.
6389
6390  Revision 1.2  2001/09/13 15:27:40  swa
6391  cosmetics
6392
6393  Revision 1.1  2001/09/12 15:36:41  swa
6394  source files for junkbuster documentation
6395
6396  Revision 1.3  2001/09/10 17:43:59  swa
6397  first proposal of a structure.
6398
6399  Revision 1.2  2001/06/13 14:28:31  swa
6400  docs should have an author.
6401
6402  Revision 1.1  2001/06/13 14:20:37  swa
6403  first import of project's documentation for the webserver.
6404
6405  -->
6406
6407 </article>