Re-commit to fix various minor issues for new release.
[privoxy.git] / doc / text / user-manual.txt
1 Privoxy 3.0.8 User Manual
2
3 [ Copyright   2001 - 2008 by Privoxy Developers ]
4
5 $Id: user-manual.sgml,v 2.53 2008/01/19 15:03:05 hal9 Exp $
6
7 The Privoxy User Manual gives users information on how to install, configure
8 and use Privoxy.
9
10 Privoxy is a non-caching web proxy with advanced filtering capabilities for
11 enhancing privacy, modifying web page data, managing HTTP cookies, controlling
12 access, and removing ads, banners, pop-ups and other obnoxious Internet junk.
13 Privoxy has a flexible configuration and can be customized to suit individual
14 needs and tastes. Privoxy has application for both stand-alone systems and
15 multi-user networks.
16
17 Privoxy is based on Internet Junkbuster (tm).
18
19 You can find the latest version of the Privoxy User Manual at http://
20 www.privoxy.org/user-manual/. Please see the Contact section on how to contact
21 the developers.
22
23 -------------------------------------------------------------------------------
24
25 Table of Contents
26 1. Introduction
27
28     1.1. Features
29
30 2. Installation
31
32     2.1. Binary Packages
33
34         2.1.1. Red Hat and Fedora RPMs
35         2.1.2. Debian and Ubuntu
36         2.1.3. Windows
37         2.1.4. Solaris
38         2.1.5. OS/2
39         2.1.6. Mac OSX
40         2.1.7. AmigaOS
41         2.1.8. FreeBSD
42         2.1.9. Gentoo
43
44     2.2. Building from Source
45     2.3. Keeping your Installation Up-to-Date
46
47 3. What's New in this Release
48
49     3.1. Note to Upgraders
50
51 4. Quickstart to Using Privoxy
52
53     4.1. Quickstart to Ad Blocking
54
55 5. Starting Privoxy
56
57     5.1. Red Hat and Fedora
58     5.2. Debian
59     5.3. Windows
60     5.4. Solaris, NetBSD, FreeBSD, HP-UX and others
61     5.5. OS/2
62     5.6. Mac OSX
63     5.7. AmigaOS
64     5.8. Gentoo
65     5.9. Command Line Options
66
67 6. Privoxy Configuration
68
69     6.1. Controlling Privoxy with Your Web Browser
70     6.2. Configuration Files Overview
71
72 7. The Main Configuration File
73
74     7.1. Local Set-up Documentation
75
76         7.1.1. user-manual
77         7.1.2. trust-info-url
78         7.1.3. admin-address
79         7.1.4. proxy-info-url
80
81     7.2. Configuration and Log File Locations
82
83         7.2.1. confdir
84         7.2.2. templdir
85         7.2.3. logdir
86         7.2.4. actionsfile
87         7.2.5. filterfile
88         7.2.6. logfile
89         7.2.7. jarfile
90         7.2.8. trustfile
91
92     7.3. Debugging
93
94         7.3.1. debug
95         7.3.2. single-threaded
96
97     7.4. Access Control and Security
98
99         7.4.1. listen-address
100         7.4.2. toggle
101         7.4.3. enable-remote-toggle
102         7.4.4. enable-remote-http-toggle
103         7.4.5. enable-edit-actions
104         7.4.6. enforce-blocks
105         7.4.7. ACLs: permit-access and deny-access
106         7.4.8. buffer-limit
107
108     7.5. Forwarding
109
110         7.5.1. forward
111         7.5.2. forward-socks4 and forward-socks4a
112         7.5.3. Advanced Forwarding Examples
113         7.5.4. forwarded-connect-retries
114         7.5.5. accept-intercepted-requests
115         7.5.6. allow-cgi-request-crunching
116         7.5.7. split-large-forms
117
118     7.6. Windows GUI Options
119
120 8. Actions Files
121
122     8.1. Finding the Right Mix
123     8.2. How to Edit
124     8.3. How Actions are Applied to Requests
125     8.4. Patterns
126
127         8.4.1. The Domain Pattern
128         8.4.2. The Path Pattern
129         8.4.3. The Tag Pattern
130
131     8.5. Actions
132
133         8.5.1. add-header
134         8.5.2. block
135         8.5.3. client-header-filter
136         8.5.4. client-header-tagger
137         8.5.5. content-type-overwrite
138         8.5.6. crunch-client-header
139         8.5.7. crunch-if-none-match
140         8.5.8. crunch-incoming-cookies
141         8.5.9. crunch-server-header
142         8.5.10. crunch-outgoing-cookies
143         8.5.11. deanimate-gifs
144         8.5.12. downgrade-http-version
145         8.5.13. fast-redirects
146         8.5.14. filter
147         8.5.15. force-text-mode
148         8.5.16. forward-override
149         8.5.17. handle-as-empty-document
150         8.5.18. handle-as-image
151         8.5.19. hide-accept-language
152         8.5.20. hide-content-disposition
153         8.5.21. hide-if-modified-since
154         8.5.22. hide-forwarded-for-headers
155         8.5.23. hide-from-header
156         8.5.24. hide-referrer
157         8.5.25. hide-user-agent
158         8.5.26. inspect-jpegs
159         8.5.27. kill-popups
160         8.5.28. limit-connect
161         8.5.29. prevent-compression
162         8.5.30. overwrite-last-modified
163         8.5.31. redirect
164         8.5.32. send-vanilla-wafer
165         8.5.33. send-wafer
166         8.5.34. server-header-filter
167         8.5.35. server-header-tagger
168         8.5.36. session-cookies-only
169         8.5.37. set-image-blocker
170         8.5.38. treat-forbidden-connects-like-blocks
171         8.5.39. Summary
172
173     8.6. Aliases
174     8.7. Actions Files Tutorial
175
176         8.7.1. default.action
177         8.7.2. user.action
178
179 9. Filter Files
180
181     9.1. Filter File Tutorial
182     9.2. The Pre-defined Filters
183
184 10. Privoxy's Template Files
185 11. Contacting the Developers, Bug Reporting and Feature Requests
186
187     11.1. Get Support
188     11.2. Reporting Problems
189
190         11.2.1. Reporting Ads or Other Configuration Problems
191         11.2.2. Reporting Bugs
192
193     11.3. Request New Features
194     11.4. Other
195
196 12. Privoxy Copyright, License and History
197
198     12.1. License
199     12.2. History
200     12.3. Authors
201
202 13. See Also
203 14. Appendix
204
205     14.1. Regular Expressions
206     14.2. Privoxy's Internal Pages
207
208         14.2.1. Bookmarklets
209
210     14.3. Chain of Events
211     14.4. Troubleshooting: Anatomy of an Action
212
213 1. Introduction
214
215 This documentation is included with the current stable version of Privoxy,
216 v.3.0.8.
217
218 -------------------------------------------------------------------------------
219
220 1.1. Features
221
222 In addition to the core features of ad blocking and cookie management, Privoxy
223 provides many supplemental features, that give the end-user more control, more
224 privacy and more freedom:
225
226   * Can be run as an "intercepting" proxy, which obviates the need to configure
227     browsers individually.
228
229   * Sophisticated actions and filters for manipulating both server and client
230     headers.
231
232   * Can be chained with other proxies.
233
234   * Integrated browser based configuration and control utility at http://
235     config.privoxy.org/ (shortcut: http://p.p/). Browser-based tracing of rule
236     and filter effects. Remote toggling.
237
238   * Web page filtering (text replacements, removes banners based on size,
239     invisible "web-bugs", JavaScript and HTML annoyances, pop-up windows, etc.)
240
241   * Modularized configuration that allows for standard settings and user
242     settings to reside in separate files, so that installing updated actions
243     files won't overwrite individual user settings.
244
245   * Support for Perl Compatible Regular Expressions in the configuration files,
246     and a more sophisticated and flexible configuration syntax.
247
248   * Improved cookie management features (e.g. session based cookies).
249
250   * GIF de-animation.
251
252   * Bypass many click-tracking scripts (avoids script redirection).
253
254   * Multi-threaded (POSIX and native threads).
255
256   * User-customizable HTML templates for all proxy-generated pages (e.g.
257     "blocked" page).
258
259   * Auto-detection and re-reading of config file changes.
260
261   * Improved signal handling, and a true daemon mode (Unix).
262
263   * Every feature now controllable on a per-site or per-location basis,
264     configuration more powerful and versatile over-all.
265
266   * Many smaller new features added, limitations and bugs removed, and security
267     holes fixed.
268
269 -------------------------------------------------------------------------------
270
271 2. Installation
272
273 Privoxy is available both in convenient pre-compiled packages for a wide range
274 of operating systems, and as raw source code. For most users, we recommend
275 using the packages, which can be downloaded from our Privoxy Project Page.
276
277 Note: On some platforms, the installer may remove previously installed
278 versions, if found. (See below for your platform). In any case be sure to
279 backup your old configuration if it is valuable to you. See the note to
280 upgraders section below.
281
282 -------------------------------------------------------------------------------
283
284 2.1. Binary Packages
285
286 How to install the binary packages depends on your operating system:
287
288 -------------------------------------------------------------------------------
289
290 2.1.1. Red Hat and Fedora RPMs
291
292 RPMs can be installed with rpm -Uvh privoxy-3.0.8-1.rpm, and will use /etc/
293 privoxy for the location of configuration files.
294
295 Note that on Red Hat, Privoxy will not be automatically started on system boot.
296 You will need to enable that using chkconfig, ntsysv, or similar methods.
297
298 If you have problems with failed dependencies, try rebuilding the SRC RPM: rpm
299 --rebuild privoxy-3.0.8-1.src.rpm. This will use your locally installed
300 libraries and RPM version.
301
302 Also note that if you have a Junkbuster RPM installed on your system, you need
303 to remove it first, because the packages conflict. Otherwise, RPM will try to
304 remove Junkbuster automatically if found, before installing Privoxy.
305
306 -------------------------------------------------------------------------------
307
308 2.1.2. Debian and Ubuntu
309
310 DEBs can be installed with apt-get install privoxy, and will use /etc/privoxy
311 for the location of configuration files.
312
313 -------------------------------------------------------------------------------
314
315 2.1.3. Windows
316
317 Just double-click the installer, which will guide you through the installation
318 process. You will find the configuration files in the same directory as you
319 installed Privoxy in.
320
321 Version 3.0.5 beta introduced full Windows service functionality. On Windows
322 only, the Privoxy program has two new command line arguments to install and
323 uninstall Privoxy as a service.
324
325 Arguments:
326
327     --install[:service_name]
328
329     --uninstall[:service_name]
330
331 After invoking Privoxy with --install, you will need to bring up the Windows
332 service console to assign the user you want Privoxy to run under, and whether
333 or not you want it to run whenever the system starts. You can start the Windows
334 services console with the following command: services.msc. If you do not take
335 the manual step of modifying Privoxy's service settings, it will not start.
336 Note too that you will need to give Privoxy a user account that actually
337 exists, or it will not be permitted to write to its log and configuration
338 files.
339
340 -------------------------------------------------------------------------------
341
342 2.1.4. Solaris
343
344 Create a new directory, cd to it, then unzip and untar the archive. For the
345 most part, you'll have to figure out where things go.
346
347 -------------------------------------------------------------------------------
348
349 2.1.5. OS/2
350
351 First, make sure that no previous installations of Junkbuster and / or Privoxy
352 are left on your system. Check that no Junkbuster or Privoxy objects are in
353 your startup folder. 
354
355 Then, just double-click the WarpIN self-installing archive, which will guide
356 you through the installation process. A shadow of the Privoxy executable will
357 be placed in your startup folder so it will start automatically whenever OS/2
358 starts.
359
360 The directory you choose to install Privoxy into will contain all of the
361 configuration files.
362
363 -------------------------------------------------------------------------------
364
365 2.1.6. Mac OSX
366
367 Unzip the downloaded file (you can either double-click on the file from the
368 finder, or from the desktop if you downloaded it there). Then, double-click on
369 the package installer icon named Privoxy.pkg and follow the installation
370 process. Privoxy will be installed in the folder /Library/Privoxy. It will
371 start automatically whenever you start up. To prevent it from starting
372 automatically, remove or rename the folder /Library/StartupItems/Privoxy.
373
374 To start Privoxy by hand, double-click on StartPrivoxy.command in the /Library/
375 Privoxy folder. Or, type this command in the Terminal:
376
377   /Library/Privoxy/StartPrivoxy.command
378
379
380
381 You will be prompted for the administrator password.
382
383 -------------------------------------------------------------------------------
384
385 2.1.7. AmigaOS
386
387 Copy and then unpack the lha archive to a suitable location. All necessary
388 files will be installed into Privoxy directory, including all configuration and
389 log files. To uninstall, just remove this directory.
390
391 -------------------------------------------------------------------------------
392
393 2.1.8. FreeBSD
394
395 Privoxy is part of FreeBSD's Ports Collection, you can build and install it
396 with cd /usr/ports/www/privoxy; make install clean.
397
398 If you don't use the ports, you can fetch and install the package with pkg_add
399 -r privoxy.
400
401 The port skeleton and the package can also be downloaded from the File Release
402 Page, but there's no reason to use them unless you're interested in the beta
403 releases which are only available there.
404
405 -------------------------------------------------------------------------------
406
407 2.1.9. Gentoo
408
409 Gentoo source packages (Ebuilds) for Privoxy are contained in the Gentoo
410 Portage Tree (they are not on the download page, but there is a Gentoo section,
411 where you can see when a new Privoxy Version is added to the Portage Tree).
412
413 Before installing Privoxy under Gentoo just do first emerge rsync to get the
414 latest changes from the Portage tree. With emerge privoxy you install the
415 latest version.
416
417 Configuration files are in /etc/privoxy, the documentation is in /usr/share/doc
418 /privoxy-3.0.8 and the Log directory is in /var/log/privoxy.
419
420 -------------------------------------------------------------------------------
421
422 2.2. Building from Source
423
424 The most convenient way to obtain the Privoxy sources is to download the source
425 tarball from our project download page.
426
427 If you like to live on the bleeding edge and are not afraid of using possibly
428 unstable development versions, you can check out the up-to-the-minute version
429 directly from the CVS repository.
430
431 To build Privoxy from source, autoconf, GNU make (gmake), and, of course, a C
432 compiler like gcc are required.
433
434 When building from a source tarball, first unpack the source:
435
436  tar xzvf privoxy-3.0.8-src* [.tgz or .tar.gz]
437  cd privoxy-3.0.8
438
439
440 For retrieving the current CVS sources, you'll need a CVS client installed.
441 Note that sources from CVS are typically development quality, and may not be
442 stable, or well tested. To download CVS source, check the Sourceforge
443 documentation, which might give commands like:
444
445   cvs -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa login
446   cvs -z3 -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa co current
447   cd current
448
449
450 This will create a directory named current/, which will contain the source
451 tree.
452
453 You can also check out any Privoxy "branch", just exchange the current name
454 with the wanted branch name (Example: v_3_0_branch for the 3.0 cvs tree).
455
456 It is also strongly recommended to not run Privoxy as root. You should
457 configure/install/run Privoxy as an unprivileged user, preferably by creating a
458 "privoxy" user and group just for this purpose. See your local documentation
459 for the correct command line to do add new users and groups (something like
460 adduser, but the command syntax may vary from platform to platform).
461
462 /etc/passwd might then look like:
463
464   privoxy:*:7777:7777:privoxy proxy:/no/home:/no/shell
465
466
467 And then /etc/group, like:
468
469   privoxy:*:7777:
470
471
472 Some binary packages may do this for you.
473
474 Then, to build from either unpacked tarball or CVS source:
475
476  autoheader
477  autoconf
478  ./configure      # (--help to see options)
479  make             # (the make from GNU, sometimes called gmake)
480  su               # Possibly required
481  make -n install  # (to see where all the files will go)
482  make -s install  # (to really install, -s to silence output)
483
484
485 Using GNU make, you can have the first four steps automatically done for you by
486 just typing:
487
488   make
489
490
491 in the freshly downloaded or unpacked source directory.
492
493 To build an executable with security enhanced features so that users cannot
494 easily bypass the proxy (e.g. "Go There Anyway"), or alter their own
495 configurations, configure like this:
496
497  ./configure  --disable-toggle  --disable-editor  --disable-force
498
499
500 Then build as above. In Privoxy 3.0.7 and later, all of these options can also
501 be disabled through the configuration file.
502
503 WARNING: If installing as root, the install will fail unless a non-root user or
504 group is specified, or a privoxy user and group already exist on the system. If
505 a non-root user is specified, and no group, then the installation will try to
506 also use a group of the same name as "user". If a group is specified (and no
507 user), then the support files will be installed as writable by that group, and
508 owned by the user running the installation.
509
510 configure accepts --with-user and --with-group options for setting user and
511 group ownership of the configuration files (which need to be writable by the
512 daemon). The specified user must already exist. When starting Privoxy, it must
513 be run as this same user to insure write access to configuration and log files!
514
515 Alternately, you can specify user and group on the make command line, but be
516 sure both already exist:
517
518  make -s install  USER=privoxy GROUP=privoxy
519
520
521 The default installation path for make install is /usr/local. This may of
522 course be customized with the various ./configure path options. If you are
523 doing an install to anywhere besides /usr/local, be sure to set the appropriate
524 paths with the correct configure options (./configure --help). Non-privileged
525 users must of course have write access permissions to wherever the target
526 installation is going.
527
528 If you do install to /usr/local, the install will use sysconfdir=$prefix/etc/
529 privoxy by default. All other destinations, and the direct usage of
530 --sysconfdir flag behave like normal, i.e. will not add the extra privoxy
531 directory. This is for a safer install, as there may already exist another
532 program that uses a file with the "config" name, and thus makes /usr/local/etc
533 cleaner.
534
535 If installing to /usr/local, the documentation will go by default to $prefix/
536 share/doc. But if this directory doesn't exist, it will then try $prefix/doc
537 and install there before creating a new $prefix/share/doc just for Privoxy.
538
539 Again, if the installs goes to /usr/local, the localstatedir (ie: var/) will
540 default to /var instead of $prefix/var so the logs will go to /var/log/privoxy
541 /, and the pid file will be created in /var/run/privoxy.pid.
542
543 make install will attempt to set the correct values in config (main
544 configuration file). You should check this to make sure all values are correct.
545 If appropriate, an init script will be installed, but it is up to the user to
546 determine how and where to start Privoxy. The init script should be checked for
547 correct paths and values, if anything other than a default install is done.
548
549 If install finds previous versions of local configuration files, most of these
550 will not be overwritten, and the new ones will be installed with a "new"
551 extension. default.action, default.filter, and standard.action will be
552 overwritten. You will then need to manually update the other installed
553 configuration files as needed. The default template files will be overwritten.
554 If you have customized, local templates, these should be stored safely in a
555 separate directory and defined in config by the "templdir" directive. It is of
556 course wise to always back-up any important configuration files "just in case".
557 If a previous version of Privoxy is already running, you will have to restart
558 it manually.
559
560 For more detailed instructions on how to build Redhat RPMs, Windows
561 self-extracting installers, building on platforms with special requirements
562 etc, please consult the developer manual.
563
564 -------------------------------------------------------------------------------
565
566 2.3. Keeping your Installation Up-to-Date
567
568 As user feedback comes in and development continues, we will make updated
569 versions of both the main actions file (as a separate package) and the software
570 itself (including the actions file) available for download.
571
572 If you wish to receive an email notification whenever we release updates of
573 Privoxy or the actions file, subscribe to our announce mailing list,
574 ijbswa-announce@lists.sourceforge.net.
575
576 In order not to lose your personal changes and adjustments when updating to the
577 latest default.action file we strongly recommend that you use user.action and
578 user.filter for your local customizations of Privoxy. See the Chapter on
579 actions files for details.
580
581 -------------------------------------------------------------------------------
582
583 3. What's New in this Release
584
585 There are many improvements and new features since Privoxy 3.0.6, the last
586 stable release:
587
588   * Two new actions server-header-tagger and client-header-tagger that can be
589     used to create arbitrary "tags" based on client and server headers. These
590     "tags" can then subsequently be used to control the other actions used for
591     the current request, greatly increasing Privoxy's flexibility and
592     selectivity. See tag patterns for more information on tags.
593
594   * Header filtering is done with dedicated header filters now. As a result the
595     actions "filter-client-headers" and "filter-server-headers" that were
596     introduced with Privoxy 3.0.5 to apply content filters to the headers have
597     been removed. See the new actions server-header-filter and
598     client-header-filter for details.
599
600   * There are four new options for the main config file:
601
602       + allow-cgi-request-crunching which allows requests for Privoxy's
603         internal CGI pages to be blocked, redirected or (un)trusted like
604         ordinary requests.
605
606       + split-large-forms that will work around a browser bug that caused IE6
607         and IE7 to ignore the Submit button on the Privoxy's
608         edit-actions-for-url CGI page.
609
610       + accept-intercepted-requests which allows to combine Privoxy with any
611         packet filter to create an intercepting proxy for HTTP/1.1 requests
612         (and for HTTP/1.0 requests with Host header set). This means clients
613         can be forced to use Privoxy even if their proxy settings are
614         configured differently.
615
616       + templdir to designate an alternate location for Privoxy's locally
617         customized CGI templates so that these are not overwritten during
618         upgrades.
619
620   * A new command line option --pre-chroot-nslookup hostname to initialize the
621     resolver library before chroot'ing. On some systems this reduces the number
622     of files that must be copied into the chroot tree. (Patch provided by
623     Stephen Gildea)
624
625   * The forward-override action allows changing of the forwarding settings
626     through the actions files. Combined with tags, this allows to choose the
627     forwarder based on client headers like the User-Agent, or the request
628     origin.
629
630   * The redirect action can now use regular expression substitutions against
631     the original URL.
632
633   * zlib support is now available as a compile time option to filter compressed
634     content. Patch provided by Wil Mahan.
635
636   * Improve various filters, and add new ones.
637
638   * Include support for RFC 3253 so that Subversion works with Privoxy. Patch
639     provided by Petr Kadlec.
640
641   * Logging can be completely turned off by not specifying a logfile directive.
642
643   * A number of improvements to Privoxy's internal CGI pages, including the use
644     of favicons for error and control pages.
645
646   * Many bugfixes, memory leaks addressed, code improvements, and logging
647     improvements.
648
649 For a more detailed list of changes please have a look at the ChangeLog.
650
651 -------------------------------------------------------------------------------
652
653 3.1. Note to Upgraders
654
655 A quick list of things to be aware of before upgrading from earlier versions of
656 Privoxy:
657
658   * The recommended way to upgrade Privoxy is to backup your old configuration
659     files, install the new ones, verify that Privoxy is working correctly and
660     finally merge back your changes using diff and maybe patch.
661
662     There are a number of new features in each Privoxy release and most of them
663     have to be explicitly enabled in the configuration files. Old configuration
664     files obviously don't do that and due to syntax changes using old
665     configuration files with a new Privoxy isn't always possible anyway.
666
667   * Note that some installers remove earlier versions completely, including
668     configuration files, therefore you should really save any important
669     configuration files!
670
671   * On the other hand, other installers don't overwrite existing configuration
672     files, thinking you will want to do that yourself.
673
674   * standard.action now only includes the enabled actions. Not all actions as
675     before.
676
677   * In the default configuration only fatal errors are logged now. You can
678     change that in the debug section of the configuration file. You may also
679     want to enable more verbose logging until you verified that the new Privoxy
680     version is working as expected.
681
682   * Three other config file settings are now off by default:
683     enable-remote-toggle, enable-remote-http-toggle, and enable-edit-actions.
684     If you use or want these, you will need to explicitly enable them, and be
685     aware of the security issues involved.
686
687   * The "filter-client-headers" and "filter-server-headers" actions that were
688     introduced with Privoxy 3.0.5 to apply content filters to the headers have
689     been removed and replaced with new actions. See the What's New section
690     above.
691
692 -------------------------------------------------------------------------------
693
694 4. Quickstart to Using Privoxy
695
696   * Install Privoxy. See the Installation Section below for platform specific
697     information.
698
699   * Advanced users and those who want to offer Privoxy service to more than
700     just their local machine should check the main config file, especially the
701     security-relevant options. These are off by default.
702
703   * Start Privoxy, if the installation program has not done this already (may
704     vary according to platform). See the section Starting Privoxy.
705
706   * Set your browser to use Privoxy as HTTP and HTTPS (SSL) proxy by setting
707     the proxy configuration for address of 127.0.0.1 and port 8118. DO NOT
708     activate proxying for FTP or any protocols besides HTTP and HTTPS (SSL)
709     unless you intend to prevent your browser from using these protocols.
710
711   * Flush your browser's disk and memory caches, to remove any cached ad
712     images. If using Privoxy to manage cookies, you should remove any currently
713     stored cookies too.
714
715   * A default installation should provide a reasonable starting point for most.
716     There will undoubtedly be occasions where you will want to adjust the
717     configuration, but that can be dealt with as the need arises. Little to no
718     initial configuration is required in most cases, you may want to enable the
719     web-based action editor though. Be sure to read the warnings first.
720
721     See the Configuration section for more configuration options, and how to
722     customize your installation. You might also want to look at the next
723     section for a quick introduction to how Privoxy blocks ads and banners.
724
725   * If you experience ads that slip through, innocent images that are blocked,
726     or otherwise feel the need to fine-tune Privoxy's behavior, take a look at
727     the actions files. As a quick start, you might find the richly commented
728     examples helpful. You can also view and edit the actions files through the
729     web-based user interface. The Appendix "Troubleshooting: Anatomy of an
730     Action" has hints on how to understand and debug actions that "misbehave".
731
732   * Please see the section Contacting the Developers on how to report bugs,
733     problems with websites or to get help.
734
735   * Now enjoy surfing with enhanced control, comfort and privacy!
736
737 -------------------------------------------------------------------------------
738
739 4.1. Quickstart to Ad Blocking
740
741 Ad blocking is but one of Privoxy's array of features. Many of these features
742 are for the technically minded advanced user. But, ad and banner blocking is
743 surely common ground for everybody.
744
745 This section will provide a quick summary of ad blocking so you can get up to
746 speed quickly without having to read the more extensive information provided
747 below, though this is highly recommended.
748
749 First a bit of a warning ... blocking ads is much like blocking SPAM: the more
750 aggressive you are about it, the more likely you are to block things that were
751 not intended. And the more likely that some things may not work as intended. So
752 there is a trade off here. If you want extreme ad free browsing, be prepared to
753 deal with more "problem" sites, and to spend more time adjusting the
754 configuration to solve these unintended consequences. In short, there is not an
755 easy way to eliminate all ads. Either take the easy way and settle for most ads
756 blocked with the default configuration, or jump in and tweak it for your
757 personal surfing habits and preferences.
758
759 Secondly, a brief explanation of Privoxy's "actions". "Actions" in this
760 context, are the directives we use to tell Privoxy to perform some task
761 relating to HTTP transactions (i.e. web browsing). We tell Privoxy to take some
762 "action". Each action has a unique name and function. While there are many
763 potential actions in Privoxy's arsenal, only a few are used for ad blocking.
764 Actions, and action configuration files, are explained in depth below.
765
766 Actions are specified in Privoxy's configuration, followed by one or more URLs
767 to which the action should apply. URLs can actually be URL type patterns that
768 use wildcards so they can apply potentially to a range of similar URLs. The
769 actions, together with the URL patterns are called a section.
770
771 When you connect to a website, the full URL will either match one or more of
772 the sections as defined in Privoxy's configuration, or not. If so, then Privoxy
773 will perform the respective actions. If not, then nothing special happens.
774 Furthermore, web pages may contain embedded, secondary URLs that your web
775 browser will use to load additional components of the page, as it parses the
776 original page's HTML content. An ad image for instance, is just an URL embedded
777 in the page somewhere. The image itself may be on the same server, or a server
778 somewhere else on the Internet. Complex web pages will have many such embedded
779 URLs. Privoxy can deal with each URL individually, so, for instance, the main
780 page text is not touched, but images from such-and-such server are blocked.
781
782 The most important actions for basic ad blocking are: block, handle-as-image,
783 handle-as-empty-document,and set-image-blocker:
784
785   * block - this is perhaps the single most used action, and is particularly
786     important for ad blocking. This action stops any contact between your
787     browser and any URL patterns that match this action's configuration. It can
788     be used for blocking ads, but also anything that is determined to be
789     unwanted. By itself, it simply stops any communication with the remote
790     server and sends Privoxy's own built-in BLOCKED page instead to let you now
791     what has happened (with some exceptions, see below).
792
793   * handle-as-image - tells Privoxy to treat this URL as an image. Privoxy's
794     default configuration already does this for all common image types (e.g.
795     GIF), but there are many situations where this is not so easy to determine.
796     So we'll force it in these cases. This is particularly important for ad
797     blocking, since only if we know that it's an image of some kind, can we
798     replace it with an image of our choosing, instead of the Privoxy BLOCKED
799     page (which would only result in a "broken image" icon). There are some
800     limitations to this though. For instance, you can't just brute-force an
801     image substitution for an entire HTML page in most situations.
802
803   * handle-as-empty-document - sends an empty document instead of Privoxy's
804     normal BLOCKED HTML page. This is useful for file types that are neither
805     HTML nor images, such as blocking JavaScript files.
806
807   * set-image-blocker - tells Privoxy what to display in place of an ad image
808     that has hit a block rule. For this to come into play, the URL must match a
809     block action somewhere in the configuration, and, it must also match an
810     handle-as-image action.
811
812     The configuration options on what to display instead of the ad are:
813
814        pattern - a checkerboard pattern, so that an ad replacement is obvious.
815     This is the default.
816
817        blank - A very small empty GIF image is displayed. This is the so-called
818     "invisible" configuration option.
819
820        http://<URL> - A redirect to any image anywhere of the user's choosing
821     (advanced usage).
822
823 Advanced users will eventually want to explore Privoxy filters as well. Filters
824 are very different from blocks. A "block" blocks a site, page, or unwanted
825 contented. Filters are a way of filtering or modifying what is actually on the
826 page. An example filter usage: a text replacement of "no-no" for "nasty-word".
827 That is a very simple example. This process can be used for ad blocking, but it
828 is more in the realm of advanced usage and has some pitfalls to be wary off.
829
830 The quickest way to adjust any of these settings is with your browser through
831 the special Privoxy editor at http://config.privoxy.org/show-status (shortcut:
832 http://p.p/show-status). This is an internal page, and does not require
833 Internet access.
834
835 Note that as of Privoxy 3.0.7 beta the action editor is disabled by default.
836 Check the enable-edit-actions section in the configuration file to learn why
837 and in which cases it's safe to enable again.
838
839 If you decided to enable the action editor, select the appropriate "actions"
840 file, and click "Edit". It is best to put personal or local preferences in
841 user.action since this is not meant to be overwritten during upgrades, and will
842 over-ride the settings in other files. Here you can insert new "actions", and
843 URLs for ad blocking or other purposes, and make other adjustments to the
844 configuration. Privoxy will detect these changes automatically.
845
846 A quick and simple step by step example:
847
848   * Right click on the ad image to be blocked, then select "Copy Link Location"
849     from the pop-up menu.
850
851   * Set your browser to http://config.privoxy.org/show-status
852
853   * Find user.action in the top section, and click on "Edit":
854
855     Figure 1. Actions Files in Use
856
857     [files-in-u]
858
859   * You should have a section with only block listed under "Actions:". If not,
860     click a "Insert new section below" button, and in the new section that just
861     appeared, click the Edit button right under the word "Actions:". This will
862     bring up a list of all actions. Find block near the top, and click in the
863     "Enabled" column, then "Submit" just below the list.
864
865   * Now, in the block actions section, click the "Add" button, and paste the
866     URL the browser got from "Copy Link Location". Remove the http:// at the
867     beginning of the URL. Then, click "Submit" (or "OK" if in a pop-up window).
868
869   * Now go back to the original page, and press SHIFT-Reload (or flush all
870     browser caches). The image should be gone now.
871
872 This is a very crude and simple example. There might be good reasons to use a
873 wildcard pattern match to include potentially similar images from the same
874 site. For a more extensive explanation of "patterns", and the entire actions
875 concept, see the Actions section.
876
877 For advanced users who want to hand edit their config files, you might want to
878 now go to the Actions Files Tutorial. The ideas explained therein also apply to
879 the web-based editor.
880
881 There are also various filters that can be used for ad blocking (filters are a
882 special subset of actions). These fall into the "advanced" usage category, and
883 are explained in depth in later sections.
884
885 -------------------------------------------------------------------------------
886
887 5. Starting Privoxy
888
889 Before launching Privoxy for the first time, you will want to configure your
890 browser(s) to use Privoxy as a HTTP and HTTPS (SSL) proxy. The default is
891 127.0.0.1 (or localhost) for the proxy address, and port 8118 (earlier versions
892 used port 8000). This is the one configuration step that must be done!
893
894 Please note that Privoxy can only proxy HTTP and HTTPS traffic. It will not
895 work with FTP or other protocols.
896
897 Figure 2. Proxy Configuration Showing Mozilla/Netscape HTTP and HTTPS (SSL)
898 Settings
899
900 [proxy_setu]
901
902 With Firefox, this is typically set under:
903
904  Tools -> Options ->  Advanced -> Network ->Connection -> Settings
905  
906
907 Or optionally on some platforms:
908
909  Edit -> Preferences -> General -> Connection Settings -> Manual Proxy
910 Configuration
911  
912
913 With Netscape (and Mozilla), this can be set under:
914
915  Edit -> Preferences -> Advanced -> Proxies -> HTTP Proxy
916  
917
918 For Internet Explorer v.5-6:
919
920  Tools -> Internet Options -> Connections -> LAN Settings
921
922 Then, check "Use Proxy" and fill in the appropriate info (Address: 127.0.0.1,
923 Port: 8118). Include HTTPS (SSL), if you want HTTPS proxy support too
924 (sometimes labeled "Secure"). Make sure any checkboxes like "Use the same proxy
925 server for all protocols" is UNCHECKED. You want only HTTP and HTTPS (SSL)!
926
927 Figure 3. Proxy Configuration Showing Internet Explorer HTTP and HTTPS (Secure)
928 Settings
929
930 [proxy2]
931
932 After doing this, flush your browser's disk and memory caches to force a
933 re-reading of all pages and to get rid of any ads that may be cached. Remove
934 any cookies, if you want Privoxy to manage that. You are now ready to start
935 enjoying the benefits of using Privoxy!
936
937 Privoxy itself is typically started by specifying the main configuration file
938 to be used on the command line. If no configuration file is specified on the
939 command line, Privoxy will look for a file named config in the current
940 directory. Except on Win32 where it will try config.txt.
941
942 -------------------------------------------------------------------------------
943
944 5.1. Red Hat and Fedora
945
946 A default Red Hat installation may not start Privoxy upon boot. It will use the
947 file /etc/privoxy/config as its main configuration file.
948
949  # /etc/rc.d/init.d/privoxy start
950
951
952 Or ...
953
954  # service privoxy start
955
956
957 -------------------------------------------------------------------------------
958
959 5.2. Debian
960
961 We use a script. Note that Debian typically starts Privoxy upon booting per
962 default. It will use the file /etc/privoxy/config as its main configuration
963 file.
964
965  # /etc/init.d/privoxy start
966
967
968 -------------------------------------------------------------------------------
969
970 5.3. Windows
971
972 Click on the Privoxy Icon to start Privoxy. If no configuration file is
973 specified on the command line, Privoxy will look for a file named config.txt.
974 Note that Windows will automatically start Privoxy when the system starts if
975 you chose that option when installing.
976
977 Privoxy can run with full Windows service functionality. On Windows only, the
978 Privoxy program has two new command line arguments to install and uninstall
979 Privoxy as a service. See the Windows Installation instructions for details.
980
981 -------------------------------------------------------------------------------
982
983 5.4. Solaris, NetBSD, FreeBSD, HP-UX and others
984
985 Example Unix startup command:
986
987  # /usr/sbin/privoxy /etc/privoxy/config
988
989
990 -------------------------------------------------------------------------------
991
992 5.5. OS/2
993
994 During installation, Privoxy is configured to start automatically when the
995 system restarts. You can start it manually by double-clicking on the Privoxy
996 icon in the Privoxy folder.
997
998 -------------------------------------------------------------------------------
999
1000 5.6. Mac OSX
1001
1002 During installation, Privoxy is configured to start automatically when the
1003 system restarts. To start Privoxy manually, double-click on the
1004 StartPrivoxy.command icon in the /Library/Privoxy folder. Or, type this command
1005 in the Terminal:
1006
1007   /Library/Privoxy/StartPrivoxy.command
1008
1009
1010
1011 You will be prompted for the administrator password.
1012
1013 -------------------------------------------------------------------------------
1014
1015 5.7. AmigaOS
1016
1017 Start Privoxy (with RUN <>NIL:) in your startnet script (AmiTCP), in
1018 s:user-startup (RoadShow), as startup program in your startup script (Genesis),
1019 or as startup action (Miami and MiamiDx). Privoxy will automatically quit when
1020 you quit your TCP/IP stack (just ignore the harmless warning your TCP/IP stack
1021 may display that Privoxy is still running).
1022
1023 -------------------------------------------------------------------------------
1024
1025 5.8. Gentoo
1026
1027 A script is again used. It will use the file /etc/privoxy/config as its main
1028 configuration file.
1029
1030  /etc/init.d/privoxy start
1031
1032
1033
1034 Note that Privoxy is not automatically started at boot time by default. You can
1035 change this with the rc-update command.
1036
1037  rc-update add privoxy default
1038
1039
1040
1041 -------------------------------------------------------------------------------
1042
1043 5.9. Command Line Options
1044
1045 Privoxy may be invoked with the following command-line options:
1046
1047   * --version
1048
1049     Print version info and exit. Unix only.
1050
1051   * --help
1052
1053     Print short usage info and exit. Unix only.
1054
1055   * --no-daemon
1056
1057     Don't become a daemon, i.e. don't fork and become process group leader, and
1058     don't detach from controlling tty. Unix only.
1059
1060   * --pidfile FILE
1061
1062     On startup, write the process ID to FILE. Delete the FILE on exit. Failure
1063     to create or delete the FILE is non-fatal. If no FILE option is given, no
1064     PID file will be used. Unix only.
1065
1066   * --user USER[.GROUP]
1067
1068     After (optionally) writing the PID file, assume the user ID of USER, and if
1069     included the GID of GROUP. Exit if the privileges are not sufficient to do
1070     so. Unix only.
1071
1072   * --chroot
1073
1074     Before changing to the user ID given in the --user option, chroot to that
1075     user's home directory, i.e. make the kernel pretend to the Privoxy process
1076     that the directory tree starts there. If set up carefully, this can limit
1077     the impact of possible vulnerabilities in Privoxy to the files contained in
1078     that hierarchy. Unix only.
1079
1080   * --pre-chroot-nslookup hostname
1081
1082     Specifies a hostname to look up before doing a chroot. On some systems,
1083     initializing the resolver library involves reading config files from /etc
1084     and/or loading additional shared libraries from /lib. On these systems,
1085     doing a hostname lookup before the chroot reduces the number of files that
1086     must be copied into the chroot tree.
1087
1088     For fastest startup speed, a good value is a hostname that is not in /etc/
1089     hosts but that your local name server (listed in /etc/resolv.conf) can
1090     resolve without recursion (that is, without having to ask any other name
1091     servers). The hostname need not exist, but if it doesn't, an error message
1092     (which can be ignored) will be output.
1093
1094   * configfile
1095
1096     If no configfile is included on the command line, Privoxy will look for a
1097     file named "config" in the current directory (except on Win32 where it will
1098     look for "config.txt" instead). Specify full path to avoid confusion. If no
1099     config file is found, Privoxy will fail to start.
1100
1101 On MS Windows only there are two additional command-line options to allow
1102 Privoxy to install and run as a service. See the Window Installation section
1103 for details.
1104
1105 -------------------------------------------------------------------------------
1106
1107 6. Privoxy Configuration
1108
1109 All Privoxy configuration is stored in text files. These files can be edited
1110 with a text editor. Many important aspects of Privoxy can also be controlled
1111 easily with a web browser.
1112
1113 -------------------------------------------------------------------------------
1114
1115 6.1. Controlling Privoxy with Your Web Browser
1116
1117 Privoxy's user interface can be reached through the special URL http://
1118 config.privoxy.org/ (shortcut: http://p.p/), which is a built-in page and works
1119 without Internet access. You will see the following section: 
1120
1121      Privoxy Menu
1122         ?  View & change the current configuration
1123         ?  View the source code version numbers
1124         ?  View the request headers.
1125         ?  Look up which actions apply to a URL and why
1126         ?  Toggle Privoxy on or off
1127         ?  Documentation
1128
1129
1130 This should be self-explanatory. Note the first item leads to an editor for the
1131 actions files, which is where the ad, banner, cookie, and URL blocking magic is
1132 configured as well as other advanced features of Privoxy. This is an easy way
1133 to adjust various aspects of Privoxy configuration. The actions file, and other
1134 configuration files, are explained in detail below.
1135
1136 "Toggle Privoxy On or Off" is handy for sites that might have problems with
1137 your current actions and filters. You can in fact use it as a test to see
1138 whether it is Privoxy causing the problem or not. Privoxy continues to run as a
1139 proxy in this case, but all manipulation is disabled, i.e. Privoxy acts like a
1140 normal forwarding proxy. There is even a toggle Bookmarklet offered, so that
1141 you can toggle Privoxy with one click from your browser.
1142
1143 Note that several of the features described above are disabled by default in
1144 Privoxy 3.0.7 beta and later. Check the configuration file to learn why and in
1145 which cases it's safe to enable them again.
1146
1147 -------------------------------------------------------------------------------
1148
1149 6.2. Configuration Files Overview
1150
1151 For Unix, *BSD and Linux, all configuration files are located in /etc/privoxy/
1152 by default. For MS Windows, OS/2, and AmigaOS these are all in the same
1153 directory as the Privoxy executable.
1154
1155 The installed defaults provide a reasonable starting point, though some
1156 settings may be aggressive by some standards. For the time being, the principle
1157 configuration files are:
1158
1159   * The main configuration file is named config on Linux, Unix, BSD, OS/2, and
1160     AmigaOS and config.txt on Windows. This is a required file.
1161
1162   * default.action (the main actions file) is used to define which "actions"
1163     relating to banner-blocking, images, pop-ups, content modification, cookie
1164     handling etc should be applied by default. It also defines many exceptions
1165     (both positive and negative) from this default set of actions that enable
1166     Privoxy to selectively eliminate the junk, and only the junk, on as many
1167     websites as possible.
1168
1169     Multiple actions files may be defined in config. These are processed in the
1170     order they are defined. Local customizations and locally preferred
1171     exceptions to the default policies as defined in default.action (which you
1172     will most probably want to define sooner or later) are probably best
1173     applied in user.action, where you can preserve them across upgrades.
1174     standard.action is only for Privoxy's internal use.
1175
1176     There is also a web based editor that can be accessed from http://
1177     config.privoxy.org/show-status (Shortcut: http://p.p/show-status) for the
1178     various actions files.
1179
1180   * "Filter files" (the filter file) can be used to re-write the raw page
1181     content, including viewable text as well as embedded HTML and JavaScript,
1182     and whatever else lurks on any given web page. The filtering jobs are only
1183     pre-defined here; whether to apply them or not is up to the actions files.
1184     default.filter includes various filters made available for use by the
1185     developers. Some are much more intrusive than others, and all should be
1186     used with caution. You may define additional filter files in config as you
1187     can with actions files. We suggest user.filter for any locally defined
1188     filters or customizations.
1189
1190 The syntax of the configuration and filter files may change between different
1191 Privoxy versions, unfortunately some enhancements cost backwards compatibility.
1192
1193 All files use the "#" character to denote a comment (the rest of the line will
1194 be ignored) and understand line continuation through placing a backslash ("\")
1195 as the very last character in a line. If the # is preceded by a backslash, it
1196 looses its special function. Placing a # in front of an otherwise valid
1197 configuration line to prevent it from being interpreted is called "commenting
1198 out" that line. Blank lines are ignored.
1199
1200 The actions files and filter files can use Perl style regular expressions for
1201 maximum flexibility.
1202
1203 After making any changes, there is no need to restart Privoxy in order for the
1204 changes to take effect. Privoxy detects such changes automatically. Note,
1205 however, that it may take one or two additional requests for the change to take
1206 effect. When changing the listening address of Privoxy, these "wake up"
1207 requests must obviously be sent to the old listening address.
1208
1209 -------------------------------------------------------------------------------
1210
1211 7. The Main Configuration File
1212
1213 Again, the main configuration file is named config on Linux/Unix/BSD and OS/2,
1214 and config.txt on Windows. Configuration lines consist of an initial keyword
1215 followed by a list of values, all separated by whitespace (any number of spaces
1216 or tabs). For example:
1217
1218   confdir /etc/privoxy
1219
1220 Assigns the value /etc/privoxy to the option confdir and thus indicates that
1221 the configuration directory is named "/etc/privoxy/".
1222
1223 All options in the config file except for confdir and logdir are optional.
1224 Watch out in the below description for what happens if you leave them unset.
1225
1226 The main config file controls all aspects of Privoxy's operation that are not
1227 location dependent (i.e. they apply universally, no matter where you may be
1228 surfing).
1229
1230 -------------------------------------------------------------------------------
1231
1232 7.1. Local Set-up Documentation
1233
1234 If you intend to operate Privoxy for more users than just yourself, it might be
1235 a good idea to let them know how to reach you, what you block and why you do
1236 that, your policies, etc.
1237
1238 -------------------------------------------------------------------------------
1239
1240 7.1.1. user-manual
1241
1242 Specifies:
1243
1244     Location of the Privoxy User Manual.
1245
1246 Type of value:
1247
1248     A fully qualified URI
1249
1250 Default value:
1251
1252     Unset
1253
1254 Effect if unset:
1255
1256     http://www.privoxy.org/version/user-manual/ will be used, where version is
1257     the Privoxy version.
1258
1259 Notes:
1260
1261     The User Manual URI is the single best source of information on Privoxy,
1262     and is used for help links from some of the internal CGI pages. The manual
1263     itself is normally packaged with the binary distributions, so you probably
1264     want to set this to a locally installed copy.
1265
1266     Examples:
1267
1268     The best all purpose solution is simply to put the full local PATH to where
1269     the User Manual is located:
1270
1271       user-manual  /usr/share/doc/privoxy/user-manual
1272
1273
1274     The User Manual is then available to anyone with access to Privoxy, by
1275     following the built-in URL: http://config.privoxy.org/user-manual/ (or the
1276     shortcut: http://p.p/user-manual/).
1277
1278     If the documentation is not on the local system, it can be accessed from a
1279     remote server, as:
1280
1281       user-manual  http://example.com/privoxy/user-manual/
1282
1283
1284     +-----------------------------------------------------------------+
1285     |                             Warning                             |
1286     |-----------------------------------------------------------------|
1287     |If set, this option should be the first option in the config     |
1288     |file, because it is used while the config file is being read on  |
1289     |start-up.                                                        |
1290     +-----------------------------------------------------------------+
1291
1292 -------------------------------------------------------------------------------
1293
1294 7.1.2. trust-info-url
1295
1296 Specifies:
1297
1298     A URL to be displayed in the error page that users will see if access to an
1299     untrusted page is denied.
1300
1301 Type of value:
1302
1303     URL
1304
1305 Default value:
1306
1307     Two example URLs are provided
1308
1309 Effect if unset:
1310
1311     No links are displayed on the "untrusted" error page.
1312
1313 Notes:
1314
1315     The value of this option only matters if the experimental trust mechanism
1316     has been activated. (See trustfile below.)
1317
1318     If you use the trust mechanism, it is a good idea to write up some on-line
1319     documentation about your trust policy and to specify the URL(s) here. Use
1320     multiple times for multiple URLs.
1321
1322     The URL(s) should be added to the trustfile as well, so users don't end up
1323     locked out from the information on why they were locked out in the first
1324     place!
1325
1326 -------------------------------------------------------------------------------
1327
1328 7.1.3. admin-address
1329
1330 Specifies:
1331
1332     An email address to reach the Privoxy administrator.
1333
1334 Type of value:
1335
1336     Email address
1337
1338 Default value:
1339
1340     Unset
1341
1342 Effect if unset:
1343
1344     No email address is displayed on error pages and the CGI user interface.
1345
1346 Notes:
1347
1348     If both admin-address and proxy-info-url are unset, the whole "Local
1349     Privoxy Support" box on all generated pages will not be shown.
1350
1351 -------------------------------------------------------------------------------
1352
1353 7.1.4. proxy-info-url
1354
1355 Specifies:
1356
1357     A URL to documentation about the local Privoxy setup, configuration or
1358     policies.
1359
1360 Type of value:
1361
1362     URL
1363
1364 Default value:
1365
1366     Unset
1367
1368 Effect if unset:
1369
1370     No link to local documentation is displayed on error pages and the CGI user
1371     interface.
1372
1373 Notes:
1374
1375     If both admin-address and proxy-info-url are unset, the whole "Local
1376     Privoxy Support" box on all generated pages will not be shown.
1377
1378     This URL shouldn't be blocked ;-)
1379
1380 -------------------------------------------------------------------------------
1381
1382 7.2. Configuration and Log File Locations
1383
1384 Privoxy can (and normally does) use a number of other files for additional
1385 configuration, help and logging. This section of the configuration file tells
1386 Privoxy where to find those other files.
1387
1388 The user running Privoxy, must have read permission for all configuration
1389 files, and write permission to any files that would be modified, such as log
1390 files and actions files.
1391
1392 -------------------------------------------------------------------------------
1393
1394 7.2.1. confdir
1395
1396 Specifies:
1397
1398     The directory where the other configuration files are located.
1399
1400 Type of value:
1401
1402     Path name
1403
1404 Default value:
1405
1406     /etc/privoxy (Unix) or Privoxy installation dir (Windows)
1407
1408 Effect if unset:
1409
1410     Mandatory
1411
1412 Notes:
1413
1414     No trailing "/", please.
1415
1416 -------------------------------------------------------------------------------
1417
1418 7.2.2. templdir
1419
1420 Specifies:
1421
1422     An alternative directory where the templates are loaded from.
1423
1424 Type of value:
1425
1426     Path name
1427
1428 Default value:
1429
1430     unset
1431
1432 Effect if unset:
1433
1434     The templates are assumed to be located in confdir/template.
1435
1436 Notes:
1437
1438     Privoxy's original templates are usually overwritten with each update. Use
1439     this option to relocate customized templates that should be kept. As
1440     template variables might change between updates, you shouldn't expect
1441     templates to work with Privoxy releases other than the one they were part
1442     of, though.
1443
1444 -------------------------------------------------------------------------------
1445
1446 7.2.3. logdir
1447
1448 Specifies:
1449
1450     The directory where all logging takes place (i.e. where logfile and jarfile
1451     are located).
1452
1453 Type of value:
1454
1455     Path name
1456
1457 Default value:
1458
1459     /var/log/privoxy (Unix) or Privoxy installation dir (Windows)
1460
1461 Effect if unset:
1462
1463     Mandatory
1464
1465 Notes:
1466
1467     No trailing "/", please.
1468
1469 -------------------------------------------------------------------------------
1470
1471 7.2.4. actionsfile
1472
1473 Specifies:
1474
1475     The actions file(s) to use
1476
1477 Type of value:
1478
1479     Complete file name, relative to confdir
1480
1481 Default values:
1482
1483       standard.action     # Internal purposes, no editing recommended
1484
1485       default.action      # Main actions file
1486
1487       user.action         # User customizations
1488
1489 Effect if unset:
1490
1491     No actions are taken at all. More or less neutral proxying.
1492
1493 Notes:
1494
1495     Multiple actionsfile lines are permitted, and are in fact recommended!
1496
1497     The default values include standard.action, which is used for internal
1498     purposes and should be loaded, default.action, which is the "main" actions
1499     file maintained by the developers, and user.action, where you can make your
1500     personal additions.
1501
1502     Actions files contain all the per site and per URL configuration for ad
1503     blocking, cookie management, privacy considerations, etc. There is no point
1504     in using Privoxy without at least one actions file.
1505
1506     Note that since Privoxy 3.0.7, the complete filename, including the
1507     ".action" extension has to be specified. The syntax change was necessary to
1508     be consistent with the other file options and to allow previously forbidden
1509     characters.
1510
1511 -------------------------------------------------------------------------------
1512
1513 7.2.5. filterfile
1514
1515 Specifies:
1516
1517     The filter file(s) to use
1518
1519 Type of value:
1520
1521     File name, relative to confdir
1522
1523 Default value:
1524
1525     default.filter (Unix) or default.filter.txt (Windows)
1526
1527 Effect if unset:
1528
1529     No textual content filtering takes place, i.e. all +filter{name} actions in
1530     the actions files are turned neutral.
1531
1532 Notes:
1533
1534     Multiple filterfile lines are permitted.
1535
1536     The filter files contain content modification rules that use regular
1537     expressions. These rules permit powerful changes on the content of Web
1538     pages, and optionally the headers as well, e.g., you could try to disable
1539     your favorite JavaScript annoyances, re-write the actual displayed text, or
1540     just have some fun playing buzzword bingo with web pages.
1541
1542     The +filter{name} actions rely on the relevant filter (name) to be defined
1543     in a filter file!
1544
1545     A pre-defined filter file called default.filter that contains a number of
1546     useful filters for common problems is included in the distribution. See the
1547     section on the filter action for a list.
1548
1549     It is recommended to place any locally adapted filters into a separate
1550     file, such as user.filter.
1551
1552 -------------------------------------------------------------------------------
1553
1554 7.2.6. logfile
1555
1556 Specifies:
1557
1558     The log file to use
1559
1560 Type of value:
1561
1562     File name, relative to logdir
1563
1564 Default value:
1565
1566     Unset (commented out). When activated: logfile (Unix) or privoxy.log
1567     (Windows).
1568
1569 Effect if unset:
1570
1571     No logfile is written.
1572
1573 Notes:
1574
1575     The logfile is where all logging and error messages are written. The level
1576     of detail and number of messages are set with the debug option (see below).
1577     The logfile can be useful for tracking down a problem with Privoxy (e.g.,
1578     it's not blocking an ad you think it should block) and it can help you to
1579     monitor what your browser is doing.
1580
1581     Depending on the debug options below, the logfile may be a privacy risk if
1582     third parties can get access to it. As most users will never look at it,
1583     Privoxy 3.0.7 and later only log fatal errors by default.
1584
1585     For most troubleshooting purposes, you will have to change that, please
1586     refer to the debugging section for details.
1587
1588     Your logfile will grow indefinitely, and you will probably want to
1589     periodically remove it. On Unix systems, you can do this with a cron job
1590     (see "man cron"). For Red Hat based Linux distributions, a logrotate script
1591     has been included.
1592
1593     Any log files must be writable by whatever user Privoxy is being run as (on
1594     Unix, default user id is "privoxy").
1595
1596 -------------------------------------------------------------------------------
1597
1598 7.2.7. jarfile
1599
1600 Specifies:
1601
1602     The file to store intercepted cookies in
1603
1604 Type of value:
1605
1606     File name, relative to logdir
1607
1608 Default value:
1609
1610     Unset (commented out). When activated: jarfile (Unix) or privoxy.jar
1611     (Windows).
1612
1613 Effect if unset:
1614
1615     Intercepted cookies are not stored in a dedicated log file.
1616
1617 Notes:
1618
1619     The jarfile may grow to ridiculous sizes over time.
1620
1621     If debug 8 (show header parsing) is enabled, cookies are also written to
1622     the logfile with the rest of the headers. Therefore this option isn't very
1623     useful and may be removed in future releases. Please report to the
1624     developers if you are still using it.
1625
1626 -------------------------------------------------------------------------------
1627
1628 7.2.8. trustfile
1629
1630 Specifies:
1631
1632     The name of the trust file to use
1633
1634 Type of value:
1635
1636     File name, relative to confdir
1637
1638 Default value:
1639
1640     Unset (commented out). When activated: trust (Unix) or trust.txt (Windows)
1641
1642 Effect if unset:
1643
1644     The entire trust mechanism is disabled.
1645
1646 Notes:
1647
1648     The trust mechanism is an experimental feature for building white-lists and
1649     should be used with care. It is NOT recommended for the casual user.
1650
1651     If you specify a trust file, Privoxy will only allow access to sites that
1652     are specified in the trustfile. Sites can be listed in one of two ways:
1653
1654     Prepending a ~ character limits access to this site only (and any sub-paths
1655     within this site), e.g. ~www.example.com allows access to ~www.example.com/
1656     features/news.html, etc.
1657
1658     Or, you can designate sites as trusted referrers, by prepending the name
1659     with a + character. The effect is that access to untrusted sites will be
1660     granted -- but only if a link from this trusted referrer was used to get
1661     there. The link target will then be added to the "trustfile" so that
1662     future, direct accesses will be granted. Sites added via this mechanism do
1663     not become trusted referrers themselves (i.e. they are added with a ~
1664     designation). There is a limit of 512 such entries, after which new entries
1665     will not be made.
1666
1667     If you use the + operator in the trust file, it may grow considerably over
1668     time.
1669
1670     It is recommended that Privoxy be compiled with the --disable-force,
1671     --disable-toggle and --disable-editor options, if this feature is to be
1672     used.
1673
1674     Possible applications include limiting Internet access for children.
1675
1676 -------------------------------------------------------------------------------
1677
1678 7.3. Debugging
1679
1680 These options are mainly useful when tracing a problem. Note that you might
1681 also want to invoke Privoxy with the --no-daemon command line option when
1682 debugging.
1683
1684 -------------------------------------------------------------------------------
1685
1686 7.3.1. debug
1687
1688 Specifies:
1689
1690     Key values that determine what information gets logged.
1691
1692 Type of value:
1693
1694     Integer values
1695
1696 Default value:
1697
1698     0 (i.e.: only fatal errors (that cause Privoxy to exit) are logged)
1699
1700 Effect if unset:
1701
1702     Default value is used (see above).
1703
1704 Notes:
1705
1706     The available debug levels are:
1707
1708       debug         1 # log each request destination (and the crunch reason if Privoxy intercepted the request)
1709       debug         2 # show each connection status
1710       debug         4 # show I/O status
1711       debug         8 # show header parsing
1712       debug        16 # log all data written to the network into the logfile
1713       debug        32 # debug force feature
1714       debug        64 # debug regular expression filters
1715       debug       128 # debug redirects
1716       debug       256 # debug GIF de-animation
1717       debug       512 # Common Log Format
1718       debug      1024 # debug kill pop-ups
1719       debug      2048 # CGI user interface
1720       debug      4096 # Startup banner and warnings.
1721       debug      8192 # Non-fatal errors
1722
1723
1724     To select multiple debug levels, you can either add them or use multiple
1725     debug lines.
1726
1727     A debug level of 1 is informative because it will show you each request as
1728     it happens. 1, 4096 and 8192 are recommended so that you will notice when
1729     things go wrong. The other levels are probably only of interest if you are
1730     hunting down a specific problem. They can produce a hell of an output
1731     (especially 16).
1732
1733     Privoxy used to ship with the debug levels recommended above enabled by
1734     default, but due to privacy concerns 3.0.7 and later are configured to only
1735     log fatal errors.
1736
1737     If you are used to the more verbose settings, simply enable the debug lines
1738     below again.
1739
1740     If you want to use pure CLF (Common Log Format), you should set "debug 512"
1741     ONLY and not enable anything else.
1742
1743     Privoxy has a hard-coded limit for the length of log messages. If it's
1744     reached, messages are logged truncated and marked with "... [too long,
1745     truncated]".
1746
1747     Please don't file any support requests without trying to reproduce the
1748     problem with increased debug level first. Once you read the log messages,
1749     you may even be able to solve the problem on your own.
1750
1751 -------------------------------------------------------------------------------
1752
1753 7.3.2. single-threaded
1754
1755 Specifies:
1756
1757     Whether to run only one server thread.
1758
1759 Type of value:
1760
1761     None
1762
1763 Default value:
1764
1765     Unset
1766
1767 Effect if unset:
1768
1769     Multi-threaded (or, where unavailable: forked) operation, i.e. the ability
1770     to serve multiple requests simultaneously.
1771
1772 Notes:
1773
1774     This option is only there for debugging purposes. It will drastically
1775     reduce performance.
1776
1777 -------------------------------------------------------------------------------
1778
1779 7.4. Access Control and Security
1780
1781 This section of the config file controls the security-relevant aspects of
1782 Privoxy's configuration.
1783
1784 -------------------------------------------------------------------------------
1785
1786 7.4.1. listen-address
1787
1788 Specifies:
1789
1790     The IP address and TCP port on which Privoxy will listen for client
1791     requests.
1792
1793 Type of value:
1794
1795     [IP-Address]:Port
1796
1797 Default value:
1798
1799     127.0.0.1:8118
1800
1801 Effect if unset:
1802
1803     Bind to 127.0.0.1 (localhost), port 8118. This is suitable and recommended
1804     for home users who run Privoxy on the same machine as their browser.
1805
1806 Notes:
1807
1808     You will need to configure your browser(s) to this proxy address and port.
1809
1810     If you already have another service running on port 8118, or if you want to
1811     serve requests from other machines (e.g. on your local network) as well,
1812     you will need to override the default.
1813
1814     If you leave out the IP address, Privoxy will bind to all interfaces
1815     (addresses) on your machine and may become reachable from the Internet. In
1816     that case, consider using access control lists (ACL's, see below), and/or a
1817     firewall.
1818
1819     If you open Privoxy to untrusted users, you will also want to make sure
1820     that the following actions are disabled: enable-edit-actions and
1821     enable-remote-toggle
1822
1823 Example:
1824
1825     Suppose you are running Privoxy on a machine which has the address
1826     192.168.0.1 on your local private network (192.168.0.0) and has another
1827     outside connection with a different address. You want it to serve requests
1828     from inside only:
1829
1830       listen-address  192.168.0.1:8118
1831
1832
1833 -------------------------------------------------------------------------------
1834
1835 7.4.2. toggle
1836
1837 Specifies:
1838
1839     Initial state of "toggle" status
1840
1841 Type of value:
1842
1843     1 or 0
1844
1845 Default value:
1846
1847     1
1848
1849 Effect if unset:
1850
1851     Act as if toggled on
1852
1853 Notes:
1854
1855     If set to 0, Privoxy will start in "toggled off" mode, i.e. mostly behave
1856     like a normal, content-neutral proxy with both ad blocking and content
1857     filtering disabled. See enable-remote-toggle below.
1858
1859     The windows version will only display the toggle icon in the system tray if
1860     this option is present.
1861
1862 -------------------------------------------------------------------------------
1863
1864 7.4.3. enable-remote-toggle
1865
1866 Specifies:
1867
1868     Whether or not the web-based toggle feature may be used
1869
1870 Type of value:
1871
1872     0 or 1
1873
1874 Default value:
1875
1876     0
1877
1878 Effect if unset:
1879
1880     The web-based toggle feature is disabled.
1881
1882 Notes:
1883
1884     When toggled off, Privoxy mostly acts like a normal, content-neutral proxy,
1885     i.e. doesn't block ads or filter content.
1886
1887     Access to the toggle feature can not be controlled separately by "ACLs" or
1888     HTTP authentication, so that everybody who can access Privoxy (see "ACLs"
1889     and listen-address above) can toggle it for all users. So this option is
1890     not recommended for multi-user environments with untrusted users.
1891
1892     Note that malicious client side code (e.g Java) is also capable of using
1893     this option.
1894
1895     As a lot of Privoxy users don't read documentation, this feature is
1896     disabled by default.
1897
1898     Note that you must have compiled Privoxy with support for this feature,
1899     otherwise this option has no effect.
1900
1901 -------------------------------------------------------------------------------
1902
1903 7.4.4. enable-remote-http-toggle
1904
1905 Specifies:
1906
1907     Whether or not Privoxy recognizes special HTTP headers to change its
1908     behaviour.
1909
1910 Type of value:
1911
1912     0 or 1
1913
1914 Default value:
1915
1916     0
1917
1918 Effect if unset:
1919
1920     Privoxy ignores special HTTP headers.
1921
1922 Notes:
1923
1924     When toggled on, the client can change Privoxy's behaviour by setting
1925     special HTTP headers. Currently the only supported special header is
1926     "X-Filter: No", to disable filtering for the ongoing request, even if it is
1927     enabled in one of the action files.
1928
1929     This feature is disabled by default. If you are using Privoxy in a
1930     environment with trusted clients, you may enable this feature at your
1931     discretion. Note that malicious client side code (e.g Java) is also capable
1932     of using this feature.
1933
1934     This option will be removed in future releases as it has been obsoleted by
1935     the more general header taggers.
1936
1937 -------------------------------------------------------------------------------
1938
1939 7.4.5. enable-edit-actions
1940
1941 Specifies:
1942
1943     Whether or not the web-based actions file editor may be used
1944
1945 Type of value:
1946
1947     0 or 1
1948
1949 Default value:
1950
1951     0
1952
1953 Effect if unset:
1954
1955     The web-based actions file editor is disabled.
1956
1957 Notes:
1958
1959     Access to the editor can not be controlled separately by "ACLs" or HTTP
1960     authentication, so that everybody who can access Privoxy (see "ACLs" and
1961     listen-address above) can modify its configuration for all users.
1962
1963     This option is not recommended for environments with untrusted users and as
1964     a lot of Privoxy users don't read documentation, this feature is disabled
1965     by default.
1966
1967     Note that malicious client side code (e.g Java) is also capable of using
1968     the actions editor and you shouldn't enable this options unless you
1969     understand the consequences and are sure your browser is configured
1970     correctly.
1971
1972     Note that you must have compiled Privoxy with support for this feature,
1973     otherwise this option has no effect.
1974
1975 -------------------------------------------------------------------------------
1976
1977 7.4.6. enforce-blocks
1978
1979 Specifies:
1980
1981     Whether the user is allowed to ignore blocks and can "go there anyway".
1982
1983 Type of value:
1984
1985     0 or 1
1986
1987 Default value:
1988
1989     0
1990
1991 Effect if unset:
1992
1993     Blocks are not enforced.
1994
1995 Notes:
1996
1997     Privoxy is mainly used to block and filter requests as a service to the
1998     user, for example to block ads and other junk that clogs the pipes.
1999     Privoxy's configuration isn't perfect and sometimes innocent pages are
2000     blocked. In this situation it makes sense to allow the user to enforce the
2001     request and have Privoxy ignore the block.
2002
2003     In the default configuration Privoxy's "Blocked" page contains a "go there
2004     anyway" link to adds a special string (the force prefix) to the request
2005     URL. If that link is used, Privoxy will detect the force prefix, remove it
2006     again and let the request pass.
2007
2008     Of course Privoxy can also be used to enforce a network policy. In that
2009     case the user obviously should not be able to bypass any blocks, and that's
2010     what the "enforce-blocks" option is for. If it's enabled, Privoxy hides the
2011     "go there anyway" link. If the user adds the force prefix by hand, it will
2012     not be accepted and the circumvention attempt is logged.
2013
2014 Examples:
2015
2016     enforce-blocks 1
2017
2018 -------------------------------------------------------------------------------
2019
2020 7.4.7. ACLs: permit-access and deny-access
2021
2022 Specifies:
2023
2024     Who can access what.
2025
2026 Type of value:
2027
2028     src_addr[/src_masklen] [dst_addr[/dst_masklen]]
2029
2030     Where src_addr and dst_addr are IP addresses in dotted decimal notation or
2031     valid DNS names, and src_masklen and dst_masklen are subnet masks in CIDR
2032     notation, i.e. integer values from 2 to 30 representing the length (in
2033     bits) of the network address. The masks and the whole destination part are
2034     optional.
2035
2036 Default value:
2037
2038     Unset
2039
2040 Effect if unset:
2041
2042     Don't restrict access further than implied by listen-address
2043
2044 Notes:
2045
2046     Access controls are included at the request of ISPs and systems
2047     administrators, and are not usually needed by individual users. For a
2048     typical home user, it will normally suffice to ensure that Privoxy only
2049     listens on the localhost (127.0.0.1) or internal (home) network address by
2050     means of the listen-address option.
2051
2052     Please see the warnings in the FAQ that Privoxy is not intended to be a
2053     substitute for a firewall or to encourage anyone to defer addressing basic
2054     security weaknesses.
2055
2056     Multiple ACL lines are OK. If any ACLs are specified, Privoxy only talks to
2057     IP addresses that match at least one permit-access line and don't match any
2058     subsequent deny-access line. In other words, the last match wins, with the
2059     default being deny-access.
2060
2061     If Privoxy is using a forwarder (see forward below) for a particular
2062     destination URL, the dst_addr that is examined is the address of the
2063     forwarder and NOT the address of the ultimate target. This is necessary
2064     because it may be impossible for the local Privoxy to determine the IP
2065     address of the ultimate target (that's often what gateways are used for).
2066
2067     You should prefer using IP addresses over DNS names, because the address
2068     lookups take time. All DNS names must resolve! You can not use domain
2069     patterns like "*.org" or partial domain names. If a DNS name resolves to
2070     multiple IP addresses, only the first one is used.
2071
2072     Denying access to particular sites by ACL may have undesired side effects
2073     if the site in question is hosted on a machine which also hosts other sites
2074     (most sites are).
2075
2076 Examples:
2077
2078     Explicitly define the default behavior if no ACL and listen-address are
2079     set: "localhost" is OK. The absence of a dst_addr implies that all
2080     destination addresses are OK:
2081
2082       permit-access  localhost
2083
2084
2085     Allow any host on the same class C subnet as www.privoxy.org access to
2086     nothing but www.example.com (or other domains hosted on the same system):
2087
2088       permit-access  www.privoxy.org/24 www.example.com/32
2089
2090
2091     Allow access from any host on the 26-bit subnet 192.168.45.64 to anywhere,
2092     with the exception that 192.168.45.73 may not access the IP address behind
2093     www.dirty-stuff.example.com:
2094
2095       permit-access  192.168.45.64/26
2096       deny-access    192.168.45.73    www.dirty-stuff.example.com
2097
2098
2099 -------------------------------------------------------------------------------
2100
2101 7.4.8. buffer-limit
2102
2103 Specifies:
2104
2105     Maximum size of the buffer for content filtering.
2106
2107 Type of value:
2108
2109     Size in Kbytes
2110
2111 Default value:
2112
2113     4096
2114
2115 Effect if unset:
2116
2117     Use a 4MB (4096 KB) limit.
2118
2119 Notes:
2120
2121     For content filtering, i.e. the +filter and +deanimate-gif actions, it is
2122     necessary that Privoxy buffers the entire document body. This can be
2123     potentially dangerous, since a server could just keep sending data
2124     indefinitely and wait for your RAM to exhaust -- with nasty consequences.
2125     Hence this option.
2126
2127     When a document buffer size reaches the buffer-limit, it is flushed to the
2128     client unfiltered and no further attempt to filter the rest of the document
2129     is made. Remember that there may be multiple threads running, which might
2130     require up to buffer-limit Kbytes each, unless you have enabled
2131     "single-threaded" above.
2132
2133 -------------------------------------------------------------------------------
2134
2135 7.5. Forwarding
2136
2137 This feature allows routing of HTTP requests through a chain of multiple
2138 proxies.
2139
2140 Forwarding can be used to chain Privoxy with a caching proxy to speed up
2141 browsing. Using a parent proxy may also be necessary if the machine that
2142 Privoxy runs on has no direct Internet access.
2143
2144 Note that parent proxies can severely decrease your privacy level. For example
2145 a parent proxy could add your IP address to the request headers and if it's a
2146 caching proxy it may add the "Etag" header to revalidation requests again, even
2147 though you configured Privoxy to remove it. It may also ignore Privoxy's header
2148 time randomization and use the original values which could be used by the
2149 server as cookie replacement to track your steps between visits.
2150
2151 Also specified here are SOCKS proxies. Privoxy supports the SOCKS 4 and SOCKS
2152 4A protocols.
2153
2154 -------------------------------------------------------------------------------
2155
2156 7.5.1. forward
2157
2158 Specifies:
2159
2160     To which parent HTTP proxy specific requests should be routed.
2161
2162 Type of value:
2163
2164     target_pattern http_parent[:port]
2165
2166     where target_pattern is a URL pattern that specifies to which requests
2167     (i.e. URLs) this forward rule shall apply. Use / to denote "all URLs".
2168     http_parent[:port] is the DNS name or IP address of the parent HTTP proxy
2169     through which the requests should be forwarded, optionally followed by its
2170     listening port (default: 8080). Use a single dot (.) to denote "no
2171     forwarding".
2172
2173 Default value:
2174
2175     Unset
2176
2177 Effect if unset:
2178
2179     Don't use parent HTTP proxies.
2180
2181 Notes:
2182
2183     If http_parent is ".", then requests are not forwarded to another HTTP
2184     proxy but are made directly to the web servers.
2185
2186     Multiple lines are OK, they are checked in sequence, and the last match
2187     wins.
2188
2189 Examples:
2190
2191     Everything goes to an example parent proxy, except SSL on port 443 (which
2192     it doesn't handle):
2193
2194       forward   /      parent-proxy.example.org:8080
2195       forward   :443   .
2196
2197
2198     Everything goes to our example ISP's caching proxy, except for requests to
2199     that ISP's sites:
2200
2201       forward   /                  caching-proxy.isp.example.net:8000
2202       forward   .isp.example.net   .
2203
2204
2205 -------------------------------------------------------------------------------
2206
2207 7.5.2. forward-socks4 and forward-socks4a
2208
2209 Specifies:
2210
2211     Through which SOCKS proxy (and optionally to which parent HTTP proxy)
2212     specific requests should be routed.
2213
2214 Type of value:
2215
2216     target_pattern socks_proxy[:port] http_parent[:port]
2217
2218     where target_pattern is a URL pattern that specifies to which requests
2219     (i.e. URLs) this forward rule shall apply. Use / to denote "all URLs".
2220     http_parent and socks_proxy are IP addresses in dotted decimal notation or
2221     valid DNS names (http_parent may be "." to denote "no HTTP forwarding"),
2222     and the optional port parameters are TCP ports, i.e. integer values from 1
2223     to 64535
2224
2225 Default value:
2226
2227     Unset
2228
2229 Effect if unset:
2230
2231     Don't use SOCKS proxies.
2232
2233 Notes:
2234
2235     Multiple lines are OK, they are checked in sequence, and the last match
2236     wins.
2237
2238     The difference between forward-socks4 and forward-socks4a is that in the
2239     SOCKS 4A protocol, the DNS resolution of the target hostname happens on the
2240     SOCKS server, while in SOCKS 4 it happens locally.
2241
2242     If http_parent is ".", then requests are not forwarded to another HTTP
2243     proxy but are made (HTTP-wise) directly to the web servers, albeit through
2244     a SOCKS proxy.
2245
2246 Examples:
2247
2248     From the company example.com, direct connections are made to all "internal"
2249     domains, but everything outbound goes through their ISP's proxy by way of
2250     example.com's corporate SOCKS 4A gateway to the Internet.
2251
2252       forward-socks4a   /              socks-gw.example.com:1080  www-cache.isp.example.net:8080
2253       forward           .example.com   .
2254
2255
2256     A rule that uses a SOCKS 4 gateway for all destinations but no HTTP parent
2257     looks like this:
2258
2259       forward-socks4   /               socks-gw.example.com:1080  .
2260
2261
2262     To chain Privoxy and Tor, both running on the same system, you would use
2263     something like:
2264
2265       forward-socks4a   /               127.0.0.1:9050 .
2266
2267
2268     The public Tor network can't be used to reach your local network, if you
2269     need to access local servers you therefore might want to make some
2270     exceptions:
2271
2272       forward         192.168.*.*/     .
2273       forward            10.*.*.*/     .
2274       forward           127.*.*.*/     .
2275
2276
2277     Unencrypted connections to systems in these address ranges will be as (un)
2278     secure as the local network is, but the alternative is that you can't reach
2279     the local network through Privoxy at all. Of course this may actually be
2280     desired and there is no reason to make these exceptions if you aren't sure
2281     you need them.
2282
2283     If you also want to be able to reach servers in your local network by using
2284     their names, you will need additional exceptions that look like this:
2285
2286      forward           localhost/     .
2287
2288
2289 -------------------------------------------------------------------------------
2290
2291 7.5.3. Advanced Forwarding Examples
2292
2293 If you have links to multiple ISPs that provide various special content only to
2294 their subscribers, you can configure multiple Privoxies which have connections
2295 to the respective ISPs to act as forwarders to each other, so that your users
2296 can see the internal content of all ISPs.
2297
2298 Assume that host-a has a PPP connection to isp-a.example.net. And host-b has a
2299 PPP connection to isp-b.example.org. Both run Privoxy. Their forwarding
2300 configuration can look like this:
2301
2302 host-a:
2303
2304   forward    /           .
2305   forward    .isp-b.example.net  host-b:8118
2306
2307
2308 host-b:
2309
2310   forward    /           .
2311   forward    .isp-a.example.org  host-a:8118
2312
2313
2314 Now, your users can set their browser's proxy to use either host-a or host-b
2315 and be able to browse the internal content of both isp-a and isp-b.
2316
2317 If you intend to chain Privoxy and squid locally, then chaining as browser ->
2318 squid -> privoxy is the recommended way.
2319
2320 Assuming that Privoxy and squid run on the same box, your squid configuration
2321 could then look like this:
2322
2323   # Define Privoxy as parent proxy (without ICP)
2324   cache_peer 127.0.0.1 parent 8118 7 no-query
2325
2326   # Define ACL for protocol FTP
2327   acl ftp proto FTP
2328
2329   # Do not forward FTP requests to Privoxy
2330   always_direct allow ftp
2331
2332   # Forward all the rest to Privoxy
2333   never_direct allow all
2334
2335
2336 You would then need to change your browser's proxy settings to squid's address
2337 and port. Squid normally uses port 3128. If unsure consult http_port in
2338 squid.conf.
2339
2340 You could just as well decide to only forward requests you suspect of leading
2341 to Windows executables through a virus-scanning parent proxy, say, on
2342 antivir.example.com, port 8010:
2343
2344   forward   /                          .
2345   forward   /.*\.(exe|com|dll|zip)$    antivir.example.com:8010
2346
2347
2348 -------------------------------------------------------------------------------
2349
2350 7.5.4. forwarded-connect-retries
2351
2352 Specifies:
2353
2354     How often Privoxy retries if a forwarded connection request fails.
2355
2356 Type of value:
2357
2358     Number of retries.
2359
2360 Default value:
2361
2362     0
2363
2364 Effect if unset:
2365
2366     Connections forwarded through other proxies are treated like direct
2367     connections and no retry attempts are made.
2368
2369 Notes:
2370
2371     forwarded-connect-retries is mainly interesting for socks4a connections,
2372     where Privoxy can't detect why the connections failed. The connection might
2373     have failed because of a DNS timeout in which case a retry makes sense, but
2374     it might also have failed because the server doesn't exist or isn't
2375     reachable. In this case the retry will just delay the appearance of
2376     Privoxy's error message.
2377
2378     Note that in the context of this option, "forwarded connections" includes
2379     all connections that Privoxy forwards through other proxies. This option is
2380     not limited to the HTTP CONNECT method.
2381
2382     Only use this option, if you are getting lots of forwarding-related error
2383     messages that go away when you try again manually. Start with a small value
2384     and check Privoxy's logfile from time to time, to see how many retries are
2385     usually needed.
2386
2387 Examples:
2388
2389     forwarded-connect-retries 1
2390
2391 -------------------------------------------------------------------------------
2392
2393 7.5.5. accept-intercepted-requests
2394
2395 Specifies:
2396
2397     Whether intercepted requests should be treated as valid.
2398
2399 Type of value:
2400
2401     0 or 1
2402
2403 Default value:
2404
2405     0
2406
2407 Effect if unset:
2408
2409     Only proxy requests are accepted, intercepted requests are treated as
2410     invalid.
2411
2412 Notes:
2413
2414     If you don't trust your clients and want to force them to use Privoxy,
2415     enable this option and configure your packet filter to redirect outgoing
2416     HTTP connections into Privoxy.
2417
2418     Make sure that Privoxy's own requests aren't redirected as well.
2419     Additionally take care that Privoxy can't intentionally connect to itself,
2420     otherwise you could run into redirection loops if Privoxy's listening port
2421     is reachable by the outside or an attacker has access to the pages you
2422     visit.
2423
2424 Examples:
2425
2426     accept-intercepted-requests 1
2427
2428 -------------------------------------------------------------------------------
2429
2430 7.5.6. allow-cgi-request-crunching
2431
2432 Specifies:
2433
2434     Whether requests to Privoxy's CGI pages can be blocked or redirected.
2435
2436 Type of value:
2437
2438     0 or 1
2439
2440 Default value:
2441
2442     0
2443
2444 Effect if unset:
2445
2446     Privoxy ignores block and redirect actions for its CGI pages.
2447
2448 Notes:
2449
2450     By default Privoxy ignores block or redirect actions for its CGI pages.
2451     Intercepting these requests can be useful in multi-user setups to implement
2452     fine-grained access control, but it can also render the complete web
2453     interface useless and make debugging problems painful if done without care.
2454
2455     Don't enable this option unless you're sure that you really need it.
2456
2457 Examples:
2458
2459     allow-cgi-request-crunching 1
2460
2461 -------------------------------------------------------------------------------
2462
2463 7.5.7. split-large-forms
2464
2465 Specifies:
2466
2467     Whether the CGI interface should stay compatible with broken HTTP clients.
2468
2469 Type of value:
2470
2471     0 or 1
2472
2473 Default value:
2474
2475     0
2476
2477 Effect if unset:
2478
2479     The CGI form generate long GET URLs.
2480
2481 Notes:
2482
2483     Privoxy's CGI forms can lead to rather long URLs. This isn't a problem as
2484     far as the HTTP standard is concerned, but it can confuse clients with
2485     arbitrary URL length limitations.
2486
2487     Enabling split-large-forms causes Privoxy to divide big forms into smaller
2488     ones to keep the URL length down. It makes editing a lot less convenient
2489     and you can no longer submit all changes at once, but at least it works
2490     around this browser bug.
2491
2492     If you don't notice any editing problems, there is no reason to enable this
2493     option, but if one of the submit buttons appears to be broken, you should
2494     give it a try.
2495
2496 Examples:
2497
2498     split-large-forms 1
2499
2500 -------------------------------------------------------------------------------
2501
2502 7.6. Windows GUI Options
2503
2504 Privoxy has a number of options specific to the Windows GUI interface:
2505
2506 If "activity-animation" is set to 1, the Privoxy icon will animate when
2507 "Privoxy" is active. To turn off, set to 0.
2508
2509   activity-animation 1
2510    
2511
2512 If "log-messages" is set to 1, Privoxy will log messages to the console window:
2513
2514   log-messages 1
2515    
2516
2517 If "log-buffer-size" is set to 1, the size of the log buffer, i.e. the amount
2518 of memory used for the log messages displayed in the console window, will be
2519 limited to "log-max-lines" (see below).
2520
2521 Warning: Setting this to 0 will result in the buffer to grow infinitely and eat
2522 up all your memory!
2523
2524   log-buffer-size 1
2525    
2526
2527 log-max-lines is the maximum number of lines held in the log buffer. See above.
2528
2529   log-max-lines 200
2530    
2531
2532 If "log-highlight-messages" is set to 1, Privoxy will highlight portions of the
2533 log messages with a bold-faced font:
2534
2535   log-highlight-messages 1
2536    
2537
2538 The font used in the console window:
2539
2540   log-font-name Comic Sans MS
2541    
2542
2543 Font size used in the console window:
2544
2545   log-font-size 8
2546    
2547
2548 "show-on-task-bar" controls whether or not Privoxy will appear as a button on
2549 the Task bar when minimized:
2550
2551   show-on-task-bar 0
2552    
2553
2554 If "close-button-minimizes" is set to 1, the Windows close button will minimize
2555 Privoxy instead of closing the program (close with the exit option on the File
2556 menu).
2557
2558   close-button-minimizes 1
2559    
2560
2561 The "hide-console" option is specific to the MS-Win console version of Privoxy.
2562 If this option is used, Privoxy will disconnect from and hide the command
2563 console.
2564
2565   #hide-console
2566    
2567
2568 -------------------------------------------------------------------------------
2569
2570 8. Actions Files
2571
2572 The actions files are used to define what actions Privoxy takes for which URLs,
2573 and thus determines how ad images, cookies and various other aspects of HTTP
2574 content and transactions are handled, and on which sites (or even parts
2575 thereof). There are a number of such actions, with a wide range of
2576 functionality. Each action does something a little different. These actions
2577 give us a veritable arsenal of tools with which to exert our control,
2578 preferences and independence. Actions can be combined so that their effects are
2579 aggregated when applied against a given set of URLs.
2580
2581 There are three action files included with Privoxy with differing purposes:
2582
2583   * default.action - is the primary action file that sets the initial values
2584     for all actions. It is intended to provide a base level of functionality
2585     for Privoxy's array of features. So it is a set of broad rules that should
2586     work reasonably well as-is for most users. This is the file that the
2587     developers are keeping updated, and making available to users. The user's
2588     preferences as set in standard.action, e.g. either Cautious (the default),
2589     Medium, or Advanced (see below).
2590
2591   * user.action - is intended to be for local site preferences and exceptions.
2592     As an example, if your ISP or your bank has specific requirements, and need
2593     special handling, this kind of thing should go here. This file will not be
2594     upgraded.
2595
2596   * standard.action - is used only by the web based editor at http://
2597     config.privoxy.org/edit-actions-list?f=default, to set various pre-defined
2598     sets of rules for the default actions section in default.action.
2599
2600     Edit Set to Cautious Set to Medium Set to Advanced
2601
2602     These have increasing levels of aggressiveness and have no influence on
2603     your browsing unless you select them explicitly in the editor. A default
2604     installation should be pre-set to Cautious (versions prior to 3.0.5 were
2605     set to Medium). New users should try this for a while before adjusting the
2606     settings to more aggressive levels. The more aggressive the settings, then
2607     the more likelihood there is of problems such as sites not working as they
2608     should.
2609
2610     The Edit button allows you to turn each action on/off individually for
2611     fine-tuning. The Cautious button changes the actions list to low/safe
2612     settings which will activate ad blocking and a minimal set of Privoxy's
2613     features, and subsequently there will be less of a chance for accidental
2614     problems. The Medium button sets the list to a medium level of other
2615     features and a low level set of privacy features. The Advanced button sets
2616     the list to a high level of ad blocking and medium level of privacy. See
2617     the chart below. The latter three buttons over-ride any changes via with
2618     the Edit button. More fine-tuning can be done in the lower sections of this
2619     internal page.
2620
2621     It is not recommend to edit the standard.action file itself.
2622
2623     The default profiles, and their associated actions, as pre-defined in
2624     standard.action are:
2625
2626     Table 1. Default Configurations
2627
2628     +---------------------------------------------------------------+
2629     |         Feature          | Cautious  |   Medium   | Advanced  |
2630     |--------------------------+-----------+------------+-----------|
2631     |Ad-blocking Aggressiveness|medium     |high        |high       |
2632     |--------------------------+-----------+------------+-----------|
2633     |Ad-filtering by size      |no         |yes         |yes        |
2634     |--------------------------+-----------+------------+-----------|
2635     |Ad-filtering by link      |no         |no          |yes        |
2636     |--------------------------+-----------+------------+-----------|
2637     |Pop-up killing            |blocks only|blocks only |blocks only|
2638     |--------------------------+-----------+------------+-----------|
2639     |Privacy Features          |low        |medium      |medium/high|
2640     |--------------------------+-----------+------------+-----------|
2641     |Cookie handling           |none       |session-only|kill       |
2642     |--------------------------+-----------+------------+-----------|
2643     |Referer forging           |no         |yes         |yes        |
2644     |--------------------------+-----------+------------+-----------|
2645     |GIF de-animation          |no         |yes         |yes        |
2646     |--------------------------+-----------+------------+-----------|
2647     |Fast redirects            |no         |no          |yes        |
2648     |--------------------------+-----------+------------+-----------|
2649     |HTML taming               |no         |no          |yes        |
2650     |--------------------------+-----------+------------+-----------|
2651     |JavaScript taming         |no         |no          |yes        |
2652     |--------------------------+-----------+------------+-----------|
2653     |Web-bug killing           |no         |yes         |yes        |
2654     |--------------------------+-----------+------------+-----------|
2655     |Image tag reordering      |no         |no          |yes        |
2656     +---------------------------------------------------------------+
2657
2658 The list of actions files to be used are defined in the main configuration
2659 file, and are processed in the order they are defined (e.g. default.action is
2660 typically processed before user.action). The content of these can all be viewed
2661 and edited from http://config.privoxy.org/show-status. The over-riding
2662 principle when applying actions, is that the last action that matches a given
2663 URL wins. The broadest, most general rules go first (defined in
2664 default.action), followed by any exceptions (typically also in default.action),
2665 which are then followed lastly by any local preferences (typically in
2666 user.action). Generally, user.action has the last word.
2667
2668 An actions file typically has multiple sections. If you want to use "aliases"
2669 in an actions file, you have to place the (optional) alias section at the top
2670 of that file. Then comes the default set of rules which will apply universally
2671 to all sites and pages (be very careful with using such a universal set in
2672 user.action or any other actions file after default.action, because it will
2673 override the result from consulting any previous file). And then below that,
2674 exceptions to the defined universal policies. You can regard user.action as an
2675 appendix to default.action, with the advantage that it is a separate file,
2676 which makes preserving your personal settings across Privoxy upgrades easier.
2677
2678 Actions can be used to block anything you want, including ads, banners, or just
2679 some obnoxious URL whose content you would rather not see. Cookies can be
2680 accepted or rejected, or accepted only during the current browser session (i.e.
2681 not written to disk), content can be modified, some JavaScripts tamed,
2682 user-tracking fooled, and much more. See below for a complete list of actions.
2683
2684 -------------------------------------------------------------------------------
2685
2686 8.1. Finding the Right Mix
2687
2688 Note that some actions, like cookie suppression or script disabling, may render
2689 some sites unusable that rely on these techniques to work properly. Finding the
2690 right mix of actions is not always easy and certainly a matter of personal
2691 taste. And, things can always change, requiring refinements in the
2692 configuration. In general, it can be said that the more "aggressive" your
2693 default settings (in the top section of the actions file) are, the more
2694 exceptions for "trusted" sites you will have to make later. If, for example,
2695 you want to crunch all cookies per default, you'll have to make exceptions from
2696 that rule for sites that you regularly use and that require cookies for
2697 actually useful purposes, like maybe your bank, favorite shop, or newspaper.
2698
2699 We have tried to provide you with reasonable rules to start from in the
2700 distribution actions files. But there is no general rule of thumb on these
2701 things. There just are too many variables, and sites are constantly changing.
2702 Sooner or later you will want to change the rules (and read this chapter again
2703 :).
2704
2705 -------------------------------------------------------------------------------
2706
2707 8.2. How to Edit
2708
2709 The easiest way to edit the actions files is with a browser by using our
2710 browser-based editor, which can be reached from http://config.privoxy.org/
2711 show-status. Note: the config file option enable-edit-actions must be enabled
2712 for this to work. The editor allows both fine-grained control over every single
2713 feature on a per-URL basis, and easy choosing from wholesale sets of defaults
2714 like "Cautious", "Medium" or "Advanced". Warning: the "Advanced" setting is
2715 more aggressive, and will be more likely to cause problems for some sites.
2716 Experienced users only!
2717
2718 If you prefer plain text editing to GUIs, you can of course also directly edit
2719 the the actions files with your favorite text editor. Look at default.action
2720 which is richly commented with many good examples.
2721
2722 -------------------------------------------------------------------------------
2723
2724 8.3. How Actions are Applied to Requests
2725
2726 Actions files are divided into sections. There are special sections, like the "
2727 alias" sections which will be discussed later. For now let's concentrate on
2728 regular sections: They have a heading line (often split up to multiple lines
2729 for readability) which consist of a list of actions, separated by whitespace
2730 and enclosed in curly braces. Below that, there is a list of URL and tag
2731 patterns, each on a separate line.
2732
2733 To determine which actions apply to a request, the URL of the request is
2734 compared to all URL patterns in each "action file". Every time it matches, the
2735 list of applicable actions for the request is incrementally updated, using the
2736 heading of the section in which the pattern is located. The same is done again
2737 for tags and tag patterns later on.
2738
2739 If multiple applying sections set the same action differently, the last match
2740 wins. If not, the effects are aggregated. E.g. a URL might match a regular
2741 section with a heading line of { +handle-as-image }, then later another one
2742 with just { +block }, resulting in both actions to apply. And there may well be
2743 cases where you will want to combine actions together. Such a section then
2744 might look like:
2745
2746   { +handle-as-image  +block }
2747   # Block these as if they were images. Send no block page.
2748    banners.example.com
2749    media.example.com/.*banners
2750    .example.com/images/ads/
2751
2752
2753 You can trace this process for URL patterns and any given URL by visiting http:
2754 //config.privoxy.org/show-url-info.
2755
2756 Examples and more detail on this is provided in the Appendix, Troubleshooting:
2757 Anatomy of an Action section.
2758
2759 -------------------------------------------------------------------------------
2760
2761 8.4. Patterns
2762
2763 As mentioned, Privoxy uses "patterns" to determine what actions might apply to
2764 which sites and pages your browser attempts to access. These "patterns" use
2765 wild card type pattern matching to achieve a high degree of flexibility. This
2766 allows one expression to be expanded and potentially match against many similar
2767 patterns.
2768
2769 Generally, an URL pattern has the form <domain>/<path>, where both the <domain>
2770 and <path> are optional. (This is why the special / pattern matches all URLs).
2771 Note that the protocol portion of the URL pattern (e.g. http://) should not be
2772 included in the pattern. This is assumed already!
2773
2774 The pattern matching syntax is different for the domain and path parts of the
2775 URL. The domain part uses a simple globbing type matching technique, while the
2776 path part uses a more flexible "Regular Expressions (PCRE)" based syntax.
2777
2778 www.example.com/
2779
2780     is a domain-only pattern and will match any request to www.example.com,
2781     regardless of which document on that server is requested. So ALL pages in
2782     this domain would be covered by the scope of this action. Note that a
2783     simple example.com is different and would NOT match.
2784
2785 www.example.com
2786
2787     means exactly the same. For domain-only patterns, the trailing / may be
2788     omitted.
2789
2790 www.example.com/index.html$
2791
2792     matches all the documents on www.example.com whose name starts with /
2793     index.html.
2794
2795 www.example.com/index.html$
2796
2797     matches only the single document /index.html on www.example.com.
2798
2799 /index.html$
2800
2801     matches the document /index.html, regardless of the domain, i.e. on any web
2802     server anywhere.
2803
2804 index.html
2805
2806     matches nothing, since it would be interpreted as a domain name and there
2807     is no top-level domain called .html. So its a mistake.
2808
2809 -------------------------------------------------------------------------------
2810
2811 8.4.1. The Domain Pattern
2812
2813 The matching of the domain part offers some flexible options: if the domain
2814 starts or ends with a dot, it becomes unanchored at that end. For example:
2815
2816 .example.com
2817
2818     matches any domain with first-level domain com and second-level domain
2819     example. For example www.example.com, example.com and
2820     foo.bar.baz.example.com. Note that it wouldn't match if the second-level
2821     domain was another-example.
2822
2823 www.
2824
2825     matches any domain that STARTS with www. (It also matches the domain www
2826     but most of the time that doesn't matter.)
2827
2828 .example.
2829
2830     matches any domain that CONTAINS .example.. And, by the way, also included
2831     would be any files or documents that exist within that domain since no path
2832     limitations are specified. (Correctly speaking: It matches any FQDN that
2833     contains example as a domain.) This might be www.example.com,
2834     news.example.de, or www.example.net/cgi/testing.pl for instance. All these
2835     cases are matched.
2836
2837 Additionally, there are wild-cards that you can use in the domain names
2838 themselves. These work similarly to shell globbing type wild-cards: "*"
2839 represents zero or more arbitrary characters (this is equivalent to the
2840 "Regular Expression" based syntax of ".*"), "?" represents any single character
2841 (this is equivalent to the regular expression syntax of a simple "."), and you
2842 can define "character classes" in square brackets which is similar to the same
2843 regular expression technique. All of this can be freely mixed:
2844
2845 ad*.example.com
2846
2847     matches "adserver.example.com", "ads.example.com", etc but not
2848     "sfads.example.com"
2849
2850 *ad*.example.com
2851
2852     matches all of the above, and then some.
2853
2854 .?pix.com
2855
2856     matches www.ipix.com, pictures.epix.com, a.b.c.d.e.upix.com etc.
2857
2858 www[1-9a-ez].example.c*
2859
2860     matches www1.example.com, www4.example.cc, wwwd.example.cy,
2861     wwwz.example.com etc., but not wwww.example.com.
2862
2863 While flexible, this is not the sophistication of full regular expression based
2864 syntax.
2865
2866 -------------------------------------------------------------------------------
2867
2868 8.4.2. The Path Pattern
2869
2870 Privoxy uses Perl compatible (PCRE) "Regular Expression" based syntax (through
2871 the PCRE library) for matching the path portion (after the slash), and is thus
2872 more flexible.
2873
2874 There is an Appendix with a brief quick-start into regular expressions, and
2875 full (very technical) documentation on PCRE regex syntax is available on-line
2876 at http://www.pcre.org/man.txt. You might also find the Perl man page on
2877 regular expressions (man perlre) useful, which is available on-line at http://
2878 perldoc.perl.org/perlre.html.
2879
2880 Note that the path pattern is automatically left-anchored at the "/", i.e. it
2881 matches as if it would start with a "^" (regular expression speak for the
2882 beginning of a line).
2883
2884 Please also note that matching in the path is CASE INSENSITIVE by default, but
2885 you can switch to case sensitive at any point in the pattern by using the "(?
2886 -i)" switch: www.example.com/(?-i)PaTtErN.* will match only documents whose
2887 path starts with PaTtErN in exactly this capitalization.
2888
2889 .example.com/.*
2890
2891     Is equivalent to just ".example.com", since any documents within that
2892     domain are matched with or without the ".*" regular expression. This is
2893     redundant
2894
2895 .example.com/.*/index.html$
2896
2897     Will match any page in the domain of "example.com" that is named
2898     "index.html", and that is part of some path. For example, it matches
2899     "www.example.com/testing/index.html" but NOT "www.example.com/index.html"
2900     because the regular expression called for at least two "/'s", thus the path
2901     requirement. It also would match "www.example.com/testing/index_html",
2902     because of the special meta-character ".".
2903
2904 .example.com/(.*/)?index\.html$
2905
2906     This regular expression is conditional so it will match any page named
2907     "index.html" regardless of path which in this case can have one or more "/
2908     's". And this one must contain exactly ".html" (but does not have to end
2909     with that!).
2910
2911 .example.com/(.*/)(ads|banners?|junk)
2912
2913     This regular expression will match any path of "example.com" that contains
2914     any of the words "ads", "banner", "banners" (because of the "?") or "junk".
2915     The path does not have to end in these words, just contain them.
2916
2917 .example.com/(.*/)(ads|banners?|junk)/.*\.(jpe?g|gif|png)$
2918
2919     This is very much the same as above, except now it must end in either
2920     ".jpg", ".jpeg", ".gif" or ".png". So this one is limited to common image
2921     formats.
2922
2923 There are many, many good examples to be found in default.action, and more
2924 tutorials below in Appendix on regular expressions.
2925
2926 -------------------------------------------------------------------------------
2927
2928 8.4.3. The Tag Pattern
2929
2930 Tag patterns are used to change the applying actions based on the request's
2931 tags. Tags can be created with either the client-header-tagger or the
2932 server-header-tagger action.
2933
2934 Tag patterns have to start with "TAG:", so Privoxy can tell them apart from URL
2935 patterns. Everything after the colon including white space, is interpreted as a
2936 regular expression with path pattern syntax, except that tag patterns aren't
2937 left-anchored automatically (Privoxy doesn't silently add a "^", you have to do
2938 it yourself if you need it).
2939
2940 To match all requests that are tagged with "foo" your pattern line should be
2941 "TAG:^foo$", "TAG:foo" would work as well, but it would also match requests
2942 whose tags contain "foo" somewhere. "TAG: foo" wouldn't work as it requires
2943 white space.
2944
2945 Sections can contain URL and tag patterns at the same time, but tag patterns
2946 are checked after the URL patterns and thus always overrule them, even if they
2947 are located before the URL patterns.
2948
2949 Once a new tag is added, Privoxy checks right away if it's matched by one of
2950 the tag patterns and updates the action settings accordingly. As a result tags
2951 can be used to activate other tagger actions, as long as these other taggers
2952 look for headers that haven't already be parsed.
2953
2954 For example you could tag client requests which use the POST method, then use
2955 this tag to activate another tagger that adds a tag if cookies are sent, and
2956 then use a block action based on the cookie tag. This allows the outcome of one
2957 action, to be input into a subsequent action. However if you'd reverse the
2958 position of the described taggers, and activated the method tagger based on the
2959 cookie tagger, no method tags would be created. The method tagger would look
2960 for the request line, but at the time the cookie tag is created, the request
2961 line has already been parsed.
2962
2963 While this is a limitation you should be aware of, this kind of indirection is
2964 seldom needed anyway and even the example doesn't make too much sense.
2965
2966 -------------------------------------------------------------------------------
2967
2968 8.5. Actions
2969
2970 All actions are disabled by default, until they are explicitly enabled
2971 somewhere in an actions file. Actions are turned on if preceded with a "+", and
2972 turned off if preceded with a "-". So a +action means "do that action", e.g.
2973 +block means "please block URLs that match the following patterns", and -block
2974 means "don't block URLs that match the following patterns, even if +block
2975 previously applied." 
2976
2977 Again, actions are invoked by placing them on a line, enclosed in curly braces
2978 and separated by whitespace, like in {+some-action -some-other-action
2979 {some-parameter}}, followed by a list of URL patterns, one per line, to which
2980 they apply. Together, the actions line and the following pattern lines make up
2981 a section of the actions file.
2982
2983 Actions fall into three categories:
2984
2985   * Boolean, i.e the action can only be "enabled" or "disabled". Syntax:
2986
2987       +name        # enable action name
2988       -name        # disable action name
2989
2990
2991     Example: +block
2992
2993   * Parameterized, where some value is required in order to enable this type of
2994     action. Syntax:
2995
2996       +name{param}  # enable action and set parameter to param,
2997                    # overwriting parameter from previous match if necessary
2998       -name         # disable action. The parameter can be omitted
2999
3000
3001     Note that if the URL matches multiple positive forms of a parameterized
3002     action, the last match wins, i.e. the params from earlier matches are
3003     simply ignored.
3004
3005     Example: +hide-user-agent{Mozilla/5.0 (X11; U; FreeBSD i386; en-US;
3006     rv:1.8.1.4) Gecko/20070602 Firefox/2.0.0.4}
3007
3008   * Multi-value. These look exactly like parameterized actions, but they behave
3009     differently: If the action applies multiple times to the same URL, but with
3010     different parameters, all the parameters from all matches are remembered.
3011     This is used for actions that can be executed for the same request
3012     repeatedly, like adding multiple headers, or filtering through multiple
3013     filters. Syntax:
3014
3015       +name{param}   # enable action and add param to the list of parameters
3016       -name{param}   # remove the parameter param from the list of parameters
3017                     # If it was the last one left, disable the action.
3018       -name          # disable this action completely and remove all parameters from the list
3019
3020
3021     Examples: +add-header{X-Fun-Header: Some text} and +filter{html-annoyances}
3022
3023 If nothing is specified in any actions file, no "actions" are taken. So in this
3024 case Privoxy would just be a normal, non-blocking, non-filtering proxy. You
3025 must specifically enable the privacy and blocking features you need (although
3026 the provided default actions files will give a good starting point).
3027
3028 Later defined action sections always over-ride earlier ones of the same type.
3029 So exceptions to any rules you make, should come in the latter part of the file
3030 (or in a file that is processed later when using multiple actions files such as
3031 user.action). For multi-valued actions, the actions are applied in the order
3032 they are specified. Actions files are processed in the order they are defined
3033 in config (the default installation has three actions files). It also quite
3034 possible for any given URL to match more than one "pattern" (because of
3035 wildcards and regular expressions), and thus to trigger more than one set of
3036 actions! Last match wins.
3037
3038 The list of valid Privoxy actions are:
3039
3040 -------------------------------------------------------------------------------
3041
3042 8.5.1. add-header
3043
3044 Typical use:
3045
3046     Confuse log analysis, custom applications
3047
3048 Effect:
3049
3050     Sends a user defined HTTP header to the web server.
3051
3052 Type:
3053
3054     Multi-value.
3055
3056 Parameter:
3057
3058     Any string value is possible. Validity of the defined HTTP headers is not
3059     checked. It is recommended that you use the "X-" prefix for custom headers.
3060
3061 Notes:
3062
3063     This action may be specified multiple times, in order to define multiple
3064     headers. This is rarely needed for the typical user. If you don't know what
3065     "HTTP headers" are, you definitely don't need to worry about this one.
3066
3067 Example usage:
3068
3069     +add-header{X-User-Tracking: sucks}
3070
3071
3072 -------------------------------------------------------------------------------
3073
3074 8.5.2. block
3075
3076 Typical use:
3077
3078     Block ads or other unwanted content
3079
3080 Effect:
3081
3082     Requests for URLs to which this action applies are blocked, i.e. the
3083     requests are trapped by Privoxy and the requested URL is never retrieved,
3084     but is answered locally with a substitute page or image, as determined by
3085     the handle-as-image, set-image-blocker, and handle-as-empty-document
3086     actions.
3087
3088 Type:
3089
3090     Boolean.
3091
3092 Parameter:
3093
3094     N/A
3095
3096 Notes:
3097
3098     Privoxy sends a special "BLOCKED" page for requests to blocked pages. This
3099     page contains links to find out why the request was blocked, and a
3100     click-through to the blocked content (the latter only if compiled with the
3101     force feature enabled). The "BLOCKED" page adapts to the available screen
3102     space -- it displays full-blown if space allows, or miniaturized and
3103     text-only if loaded into a small frame or window. If you are using Privoxy
3104     right now, you can take a look at the "BLOCKED" page.
3105
3106     A very important exception occurs if both block and handle-as-image, apply
3107     to the same request: it will then be replaced by an image. If
3108     set-image-blocker (see below) also applies, the type of image will be
3109     determined by its parameter, if not, the standard checkerboard pattern is
3110     sent.
3111
3112     It is important to understand this process, in order to understand how
3113     Privoxy deals with ads and other unwanted content. Blocking is a core
3114     feature, and one upon which various other features depend.
3115
3116     The filter action can perform a very similar task, by "blocking" banner
3117     images and other content through rewriting the relevant URLs in the
3118     document's HTML source, so they don't get requested in the first place.
3119     Note that this is a totally different technique, and it's easy to confuse
3120     the two.
3121
3122 Example usage (section):
3123
3124     {+block}
3125     # Block and replace with "blocked" page
3126      .nasty-stuff.example.com
3127
3128     {+block +handle-as-image}
3129     # Block and replace with image
3130      .ad.doubleclick.net
3131      .ads.r.us/banners/
3132
3133     {+block +handle-as-empty-document}
3134     # Block and then ignore
3135      adserver.exampleclick.net/.*\.js$
3136
3137
3138 -------------------------------------------------------------------------------
3139
3140 8.5.3. client-header-filter
3141
3142 Typical use:
3143
3144     Rewrite or remove single client headers.
3145
3146 Effect:
3147
3148     All client headers to which this action applies are filtered on-the-fly
3149     through the specified regular expression based substitutions.
3150
3151 Type:
3152
3153     Parameterized.
3154
3155 Parameter:
3156
3157     The name of a client-header filter, as defined in one of the filter files.
3158
3159 Notes:
3160
3161     Client-header filters are applied to each header on its own, not to all at
3162     once. This makes it easier to diagnose problems, but on the downside you
3163     can't write filters that only change header x if header y's value is z. You
3164     can do that by using tags though.
3165
3166     Client-header filters are executed after the other header actions have
3167     finished and use their output as input.
3168
3169     If the request URL gets changed, Privoxy will detect that and use the new
3170     one. This can be used to rewrite the request destination behind the
3171     client's back, for example to specify a Tor exit relay for certain
3172     requests.
3173
3174     Please refer to the filter file chapter to learn which client-header
3175     filters are available by default, and how to create your own.
3176
3177 Example usage (section):
3178
3179     {+client-header-filter{hide-tor-exit-notation}}
3180     .exit/
3181
3182
3183
3184 -------------------------------------------------------------------------------
3185
3186 8.5.4. client-header-tagger
3187
3188 Typical use:
3189
3190     Block requests based on their headers.
3191
3192 Effect:
3193
3194     Client headers to which this action applies are filtered on-the-fly through
3195     the specified regular expression based substitutions, the result is used as
3196     tag.
3197
3198 Type:
3199
3200     Parameterized.
3201
3202 Parameter:
3203
3204     The name of a client-header tagger, as defined in one of the filter files.
3205
3206 Notes:
3207
3208     Client-header taggers are applied to each header on its own, and as the
3209     header isn't modified, each tagger "sees" the original.
3210
3211     Client-header taggers are the first actions that are executed and their
3212     tags can be used to control every other action.
3213
3214 Example usage (section):
3215
3216     # Tag every request with the User-Agent header
3217     {+client-header-tagger{user-agent}}
3218     /
3219
3220
3221
3222 -------------------------------------------------------------------------------
3223
3224 8.5.5. content-type-overwrite
3225
3226 Typical use:
3227
3228     Stop useless download menus from popping up, or change the browser's
3229     rendering mode
3230
3231 Effect:
3232
3233     Replaces the "Content-Type:" HTTP server header.
3234
3235 Type:
3236
3237     Parameterized.
3238
3239 Parameter:
3240
3241     Any string.
3242
3243 Notes:
3244
3245     The "Content-Type:" HTTP server header is used by the browser to decide
3246     what to do with the document. The value of this header can cause the
3247     browser to open a download menu instead of displaying the document by
3248     itself, even if the document's format is supported by the browser.
3249
3250     The declared content type can also affect which rendering mode the browser
3251     chooses. If XHTML is delivered as "text/html", many browsers treat it as
3252     yet another broken HTML document. If it is send as "application/xml",
3253     browsers with XHTML support will only display it, if the syntax is correct.
3254
3255     If you see a web site that proudly uses XHTML buttons, but sets
3256     "Content-Type: text/html", you can use Privoxy to overwrite it with
3257     "application/xml" and validate the web master's claim inside your
3258     XHTML-supporting browser. If the syntax is incorrect, the browser will
3259     complain loudly.
3260
3261     You can also go the opposite direction: if your browser prints error
3262     messages instead of rendering a document falsely declared as XHTML, you can
3263     overwrite the content type with "text/html" and have it rendered as broken
3264     HTML document.
3265
3266     By default content-type-overwrite only replaces "Content-Type:" headers
3267     that look like some kind of text. If you want to overwrite it
3268     unconditionally, you have to combine it with force-text-mode. This
3269     limitation exists for a reason, think twice before circumventing it.
3270
3271     Most of the time it's easier to replace this action with a custom
3272     server-header filter. It allows you to activate it for every document of a
3273     certain site and it will still only replace the content types you aimed at.
3274
3275     Of course you can apply content-type-overwrite to a whole site and then
3276     make URL based exceptions, but it's a lot more work to get the same
3277     precision.
3278
3279 Example usage (sections):
3280
3281     # Check if www.example.net/ really uses valid XHTML
3282     { +content-type-overwrite{application/xml} }
3283     www.example.net/
3284
3285     # but leave the content type unmodified if the URL looks like a style sheet
3286     {-content-type-overwrite}
3287     www.example.net/.*\.css$
3288     www.example.net/.*style
3289
3290
3291 -------------------------------------------------------------------------------
3292
3293 8.5.6. crunch-client-header
3294
3295 Typical use:
3296
3297     Remove a client header Privoxy has no dedicated action for.
3298
3299 Effect:
3300
3301     Deletes every header sent by the client that contains the string the user
3302     supplied as parameter.
3303
3304 Type:
3305
3306     Parameterized.
3307
3308 Parameter:
3309
3310     Any string.
3311
3312 Notes:
3313
3314     This action allows you to block client headers for which no dedicated
3315     Privoxy action exists. Privoxy will remove every client header that
3316     contains the string you supplied as parameter.
3317
3318     Regular expressions are not supported and you can't use this action to
3319     block different headers in the same request, unless they contain the same
3320     string.
3321
3322     crunch-client-header is only meant for quick tests. If you have to block
3323     several different headers, or only want to modify parts of them, you should
3324     use a client-header filter.
3325
3326     +-----------------------------------------------------------------+
3327     |                             Warning                             |
3328     |-----------------------------------------------------------------|
3329     |Don't block any header without understanding the consequences.   |
3330     +-----------------------------------------------------------------+
3331 Example usage (section):
3332
3333     # Block the non-existent "Privacy-Violation:" client header
3334     { +crunch-client-header{Privacy-Violation:} }
3335     /
3336
3337
3338
3339 -------------------------------------------------------------------------------
3340
3341 8.5.7. crunch-if-none-match
3342
3343 Typical use:
3344
3345     Prevent yet another way to track the user's steps between sessions.
3346
3347 Effect:
3348
3349     Deletes the "If-None-Match:" HTTP client header.
3350
3351 Type:
3352
3353     Boolean.
3354
3355 Parameter:
3356
3357     N/A
3358
3359 Notes:
3360
3361     Removing the "If-None-Match:" HTTP client header is useful for filter
3362     testing, where you want to force a real reload instead of getting status
3363     code "304" which would cause the browser to use a cached copy of the page.
3364
3365     It is also useful to make sure the header isn't used as a cookie
3366     replacement (unlikely but possible).
3367
3368     Blocking the "If-None-Match:" header shouldn't cause any caching problems,
3369     as long as the "If-Modified-Since:" header isn't blocked or missing as
3370     well.
3371
3372     It is recommended to use this action together with hide-if-modified-since
3373     and overwrite-last-modified.
3374
3375 Example usage (section):
3376
3377     # Let the browser revalidate cached documents but don't
3378     # allow the server to use the revalidation headers for user tracking.
3379     {+hide-if-modified-since{-60} \
3380      +overwrite-last-modified{randomize} \
3381      +crunch-if-none-match}
3382     /
3383
3384
3385 -------------------------------------------------------------------------------
3386
3387 8.5.8. crunch-incoming-cookies
3388
3389 Typical use:
3390
3391     Prevent the web server from setting HTTP cookies on your system
3392
3393 Effect:
3394
3395     Deletes any "Set-Cookie:" HTTP headers from server replies.
3396
3397 Type:
3398
3399     Boolean.
3400
3401 Parameter:
3402
3403     N/A
3404
3405 Notes:
3406
3407     This action is only concerned with incoming HTTP cookies. For outgoing HTTP
3408     cookies, use crunch-outgoing-cookies. Use both to disable HTTP cookies
3409     completely.
3410
3411     It makes no sense at all to use this action in conjunction with the
3412     session-cookies-only action, since it would prevent the session cookies
3413     from being set. See also filter-content-cookies.
3414
3415 Example usage:
3416
3417     +crunch-incoming-cookies
3418
3419
3420 -------------------------------------------------------------------------------
3421
3422 8.5.9. crunch-server-header
3423
3424 Typical use:
3425
3426     Remove a server header Privoxy has no dedicated action for.
3427
3428 Effect:
3429
3430     Deletes every header sent by the server that contains the string the user
3431     supplied as parameter.
3432
3433 Type:
3434
3435     Parameterized.
3436
3437 Parameter:
3438
3439     Any string.
3440
3441 Notes:
3442
3443     This action allows you to block server headers for which no dedicated
3444     Privoxy action exists. Privoxy will remove every server header that
3445     contains the string you supplied as parameter.
3446
3447     Regular expressions are not supported and you can't use this action to
3448     block different headers in the same request, unless they contain the same
3449     string.
3450
3451     crunch-server-header is only meant for quick tests. If you have to block
3452     several different headers, or only want to modify parts of them, you should
3453     use a custom server-header filter.
3454
3455     +-----------------------------------------------------------------+
3456     |                             Warning                             |
3457     |-----------------------------------------------------------------|
3458     |Don't block any header without understanding the consequences.   |
3459     +-----------------------------------------------------------------+
3460 Example usage (section):
3461
3462     # Crunch server headers that try to prevent caching
3463     { +crunch-server-header{no-cache} }
3464     /
3465
3466
3467 -------------------------------------------------------------------------------
3468
3469 8.5.10. crunch-outgoing-cookies
3470
3471 Typical use:
3472
3473     Prevent the web server from reading any HTTP cookies from your system
3474
3475 Effect:
3476
3477     Deletes any "Cookie:" HTTP headers from client requests.
3478
3479 Type:
3480
3481     Boolean.
3482
3483 Parameter:
3484
3485     N/A
3486
3487 Notes:
3488
3489     This action is only concerned with outgoing HTTP cookies. For incoming HTTP
3490     cookies, use crunch-incoming-cookies. Use both to disable HTTP cookies
3491     completely.
3492
3493     It makes no sense at all to use this action in conjunction with the
3494     session-cookies-only action, since it would prevent the session cookies
3495     from being read.
3496
3497 Example usage:
3498
3499     +crunch-outgoing-cookies
3500
3501
3502 -------------------------------------------------------------------------------
3503
3504 8.5.11. deanimate-gifs
3505
3506 Typical use:
3507
3508     Stop those annoying, distracting animated GIF images.
3509
3510 Effect:
3511
3512     De-animate GIF animations, i.e. reduce them to their first or last image.
3513
3514 Type:
3515
3516     Parameterized.
3517
3518 Parameter:
3519
3520     "last" or "first"
3521
3522 Notes:
3523
3524     This will also shrink the images considerably (in bytes, not pixels!). If
3525     the option "first" is given, the first frame of the animation is used as
3526     the replacement. If "last" is given, the last frame of the animation is
3527     used instead, which probably makes more sense for most banner animations,
3528     but also has the risk of not showing the entire last frame (if it is only a
3529     delta to an earlier frame).
3530
3531     You can safely use this action with patterns that will also match non-GIF
3532     objects, because no attempt will be made at anything that doesn't look like
3533     a GIF.
3534
3535 Example usage:
3536
3537     +deanimate-gifs{last}
3538
3539
3540 -------------------------------------------------------------------------------
3541
3542 8.5.12. downgrade-http-version
3543
3544 Typical use:
3545
3546     Work around (very rare) problems with HTTP/1.1
3547
3548 Effect:
3549
3550     Downgrades HTTP/1.1 client requests and server replies to HTTP/1.0.
3551
3552 Type:
3553
3554     Boolean.
3555
3556 Parameter:
3557
3558     N/A
3559
3560 Notes:
3561
3562     This is a left-over from the time when Privoxy didn't support important
3563     HTTP/1.1 features well. It is left here for the unlikely case that you
3564     experience HTTP/1.1 related problems with some server out there. Not all
3565     HTTP/1.1 features and requirements are supported yet, so there is a chance
3566     you might need this action.
3567
3568 Example usage (section):
3569
3570     {+downgrade-http-version}
3571     problem-host.example.com
3572
3573
3574 -------------------------------------------------------------------------------
3575
3576 8.5.13. fast-redirects
3577
3578 Typical use:
3579
3580     Fool some click-tracking scripts and speed up indirect links.
3581
3582 Effect:
3583
3584     Detects redirection URLs and redirects the browser without contacting the
3585     redirection server first.
3586
3587 Type:
3588
3589     Parameterized.
3590
3591 Parameter:
3592
3593       + "simple-check" to just search for the string "http://" to detect
3594         redirection URLs.
3595
3596       + "check-decoded-url" to decode URLs (if necessary) before searching for
3597         redirection URLs.
3598
3599 Notes:
3600
3601     Many sites, like yahoo.com, don't just link to other sites. Instead, they
3602     will link to some script on their own servers, giving the destination as a
3603     parameter, which will then redirect you to the final target. URLs resulting
3604     from this scheme typically look like: "http://www.example.org/
3605     click-tracker.cgi?target=http%3a//www.example.net/".
3606
3607     Sometimes, there are even multiple consecutive redirects encoded in the
3608     URL. These redirections via scripts make your web browsing more traceable,
3609     since the server from which you follow such a link can see where you go to.
3610     Apart from that, valuable bandwidth and time is wasted, while your browser
3611     asks the server for one redirect after the other. Plus, it feeds the
3612     advertisers.
3613
3614     This feature is currently not very smart and is scheduled for improvement.
3615     If it is enabled by default, you will have to create some exceptions to
3616     this action. It can lead to failures in several ways:
3617
3618     Not every URLs with other URLs as parameters is evil. Some sites offer a
3619     real service that requires this information to work. For example a
3620     validation service needs to know, which document to validate.
3621     fast-redirects assumes that every URL parameter that looks like another URL
3622     is a redirection target, and will always redirect to the last one. Most of
3623     the time the assumption is correct, but if it isn't, the user gets
3624     redirected anyway.
3625
3626     Another failure occurs if the URL contains other parameters after the URL
3627     parameter. The URL: "http://www.example.org/?redirect=http%3a//
3628     www.example.net/&foo=bar". contains the redirection URL "http://
3629     www.example.net/", followed by another parameter. fast-redirects doesn't
3630     know that and will cause a redirect to "http://www.example.net/&foo=bar".
3631     Depending on the target server configuration, the parameter will be
3632     silently ignored or lead to a "page not found" error. You can prevent this
3633     problem by first using the redirect action to remove the last part of the
3634     URL, but it requires a little effort.
3635
3636     To detect a redirection URL, fast-redirects only looks for the string
3637     "http://", either in plain text (invalid but often used) or encoded as
3638     "http%3a//". Some sites use their own URL encoding scheme, encrypt the
3639     address of the target server or replace it with a database id. In theses
3640     cases fast-redirects is fooled and the request reaches the redirection
3641     server where it probably gets logged.
3642
3643 Example usage:
3644
3645      { +fast-redirects{simple-check} }
3646        one.example.com
3647
3648      { +fast-redirects{check-decoded-url} }
3649        another.example.com/testing
3650
3651
3652 -------------------------------------------------------------------------------
3653
3654 8.5.14. filter
3655
3656 Typical use:
3657
3658     Get rid of HTML and JavaScript annoyances, banner advertisements (by size),
3659     do fun text replacements, add personalized effects, etc.
3660
3661 Effect:
3662
3663     All instances of text-based type, most notably HTML and JavaScript, to
3664     which this action applies, can be filtered on-the-fly through the specified
3665     regular expression based substitutions. (Note: as of version 3.0.3 plain
3666     text documents are exempted from filtering, because web servers often use
3667     the text/plain MIME type for all files whose type they don't know.)
3668
3669 Type:
3670
3671     Parameterized.
3672
3673 Parameter:
3674
3675     The name of a content filter, as defined in the filter file. Filters can be
3676     defined in one or more files as defined by the filterfile option in the
3677     config file. default.filter is the collection of filters supplied by the
3678     developers. Locally defined filters should go in their own file, such as
3679     user.filter.
3680
3681     When used in its negative form, and without parameters, all filtering is
3682     completely disabled.
3683
3684 Notes:
3685
3686     For your convenience, there are a number of pre-defined filters available
3687     in the distribution filter file that you can use. See the examples below
3688     for a list.
3689
3690     Filtering requires buffering the page content, which may appear to slow
3691     down page rendering since nothing is displayed until all content has passed
3692     the filters. (It does not really take longer, but seems that way since the
3693     page is not incrementally displayed.) This effect will be more noticeable
3694     on slower connections.
3695
3696     "Rolling your own" filters requires a knowledge of "Regular Expressions"
3697     and "HTML". This is very powerful feature, and potentially very intrusive.
3698     Filters should be used with caution, and where an equivalent "action" is
3699     not available.
3700
3701     The amount of data that can be filtered is limited to the buffer-limit
3702     option in the main config file. The default is 4096 KB (4 Megs). Once this
3703     limit is exceeded, the buffered data, and all pending data, is passed
3704     through unfiltered.
3705
3706     Inappropriate MIME types, such as zipped files, are not filtered at all.
3707     (Again, only text-based types except plain text). Encrypted SSL data (from
3708     HTTPS servers) cannot be filtered either, since this would violate the
3709     integrity of the secure transaction. In some situations it might be
3710     necessary to protect certain text, like source code, from filtering by
3711     defining appropriate -filter exceptions.
3712
3713     Compressed content can't be filtered either, unless Privoxy is compiled
3714     with zlib support (requires at least Privoxy 3.0.7), in which case Privoxy
3715     will decompress the content before filtering it.
3716
3717     If you use a Privoxy version without zlib support, but want filtering to
3718     work on as much documents as possible, even those that would normally be
3719     sent compressed, you must use the prevent-compression action in conjunction
3720     with filter.
3721
3722     Content filtering can achieve some of the same effects as the block action,
3723     i.e. it can be used to block ads and banners. But the mechanism works quite
3724     differently. One effective use, is to block ad banners based on their size
3725     (see below), since many of these seem to be somewhat standardized.
3726
3727     Feedback with suggestions for new or improved filters is particularly
3728     welcome!
3729
3730     The below list has only the names and a one-line description of each
3731     predefined filter. There are more verbose explanations of what these
3732     filters do in the filter file chapter.
3733
3734 Example usage (with filters from the distribution default.filter file). See the
3735     Predefined Filters section for more explanation on each:
3736
3737     +filter{js-annoyances}       # Get rid of particularly annoying JavaScript abuse
3738
3739
3740     +filter{js-events}           # Kill all JS event bindings (Radically destructive! Only for extra nasty sites)
3741
3742
3743     +filter{html-annoyances}     # Get rid of particularly annoying HTML abuse
3744
3745
3746     +filter{content-cookies}     # Kill cookies that come in the HTML or JS content
3747
3748
3749     +filter{refresh-tags}        # Kill automatic refresh tags (for dial-on-demand setups)
3750
3751
3752     +filter{unsolicited-popups}  # Disable only unsolicited pop-up windows. Useful if your browser lacks this ability.
3753
3754
3755     +filter{all-popups}          # Kill all popups in JavaScript and HTML. Useful if your browser lacks this ability.
3756
3757
3758     +filter{img-reorder}         # Reorder attributes in <img> tags to make the banners-by-* filters more effective
3759
3760
3761     +filter{banners-by-size}     # Kill banners by size
3762
3763
3764     +filter{banners-by-link}     # Kill banners by their links to known clicktrackers
3765
3766
3767     +filter{webbugs}             # Squish WebBugs (1x1 invisible GIFs used for user tracking)
3768
3769
3770     +filter{tiny-textforms}      # Extend those tiny textareas up to 40x80 and kill the hard wrap
3771
3772
3773     +filter{jumping-windows}     # Prevent windows from resizing and moving themselves
3774
3775
3776     +filter{frameset-borders}    # Give frames a border and make them resizeable
3777
3778
3779     +filter{demoronizer}         # Fix MS's non-standard use of standard charsets
3780
3781
3782     +filter{shockwave-flash}     # Kill embedded Shockwave Flash objects
3783
3784
3785     +filter{quicktime-kioskmode} # Make Quicktime movies savable
3786
3787
3788     +filter{fun}                 # Text replacements for subversive browsing fun!
3789
3790
3791     +filter{crude-parental}      # Crude parental filtering (demo only)
3792
3793
3794     +filter{ie-exploits}         # Disable a known Internet Explorer bug exploits
3795
3796
3797     +filter{site-specifics}      # Custom filters for specific site related problems
3798
3799
3800     +filter{google}              # Removes text ads and other Google specific improvements
3801
3802
3803     +filter{yahoo}               # Removes text ads and other Yahoo specific improvements
3804
3805
3806     +filter{msn}                 # Removes text ads and other MSN specific improvements
3807
3808
3809     +filter{blogspot}            # Cleans up Blogspot blogs
3810
3811
3812     +filter{no-ping}             # Removes non-standard ping attributes from anchor and area tags
3813
3814
3815 -------------------------------------------------------------------------------
3816
3817 8.5.15. force-text-mode
3818
3819 Typical use:
3820
3821     Force Privoxy to treat a document as if it was in some kind of text format.
3822
3823 Effect:
3824
3825     Declares a document as text, even if the "Content-Type:" isn't detected as
3826     such.
3827
3828 Type:
3829
3830     Boolean.
3831
3832 Parameter:
3833
3834     N/A
3835
3836 Notes:
3837
3838     As explained above, Privoxy tries to only filter files that are in some
3839     kind of text format. The same restrictions apply to content-type-overwrite.
3840     force-text-mode declares a document as text, without looking at the
3841     "Content-Type:" first.
3842
3843     +-----------------------------------------------------------------+
3844     |                             Warning                             |
3845     |-----------------------------------------------------------------|
3846     |Think twice before activating this action. Filtering binary data |
3847     |with regular expressions can cause file damage.                  |
3848     +-----------------------------------------------------------------+
3849 Example usage:
3850
3851     +force-text-mode
3852
3853
3854
3855 -------------------------------------------------------------------------------
3856
3857 8.5.16. forward-override
3858
3859 Typical use:
3860
3861     Change the forwarding settings based on User-Agent or request origin
3862
3863 Effect:
3864
3865     Overrules the forward directives in the configuration file.
3866
3867 Type:
3868
3869     Multi-value.
3870
3871 Parameter:
3872
3873       + "forward ." to use a direct connection without any additional proxies.
3874
3875       + "forward 127.0.0.1:8123" to use the HTTP proxy listening at 127.0.0.1
3876         port 8123.
3877
3878       + "forward-socks4a 127.0.0.1:9050 ." to use the socks4a proxy listening
3879         at 127.0.0.1 port 9050. Replace "forward-socks4a" with "forward-socks4"
3880         to use a socks4 connection (with local DNS resolution) instead.
3881
3882       + "forward-socks4a 127.0.0.1:9050 proxy.example.org:8000" to use the
3883         socks4a proxy listening at 127.0.0.1 port 9050 to reach the HTTP proxy
3884         listening at proxy.example.org port 8000. Replace "forward-socks4a"
3885         with "forward-socks4" to use a socks4 connection (with local DNS
3886         resolution) instead.
3887
3888 Notes:
3889
3890     This action takes parameters similar to the forward directives in the
3891     configuration file, but without the URL pattern. It can be used as
3892     replacement, but normally it's only used in cases where matching based on
3893     the request URL isn't sufficient.
3894
3895     +-----------------------------------------------------------------+
3896     |                             Warning                             |
3897     |-----------------------------------------------------------------|
3898     |Please read the description for the forward directives before    |
3899     |using this action. Forwarding to the wrong people will reduce    |
3900     |your privacy and increase the chances of man-in-the-middle       |
3901     |attacks.                                                         |
3902     |                                                                 |
3903     |If the ports are missing or invalid, default values will be used.|
3904     |This might change in the future and you shouldn't rely on it.    |
3905     |Otherwise incorrect syntax causes Privoxy to exit.               |
3906     |                                                                 |
3907     |Use the show-url-info CGI page to verify that your forward       |
3908     |settings do what you thought the do.                             |
3909     +-----------------------------------------------------------------+
3910 Example usage:
3911
3912     # Always use direct connections for requests previously tagged as
3913     # "User-Agent: fetch libfetch/2.0" and make sure
3914     # resuming downloads continues to work.
3915     # This way you can continue to use Tor for your normal browsing,
3916     # without overloading the Tor network with your FreeBSD ports updates
3917     # or downloads of bigger files like ISOs.
3918     # Note that HTTP headers are easy to fake and therefore their
3919     # values are as (un)trustworthy as your clients and users.
3920     {+forward-override{forward .} \
3921      -hide-if-modified-since      \
3922      -overwrite-last-modified     \
3923     }
3924     TAG:^User-Agent: fetch libfetch/2\.0$
3925
3926
3927
3928 -------------------------------------------------------------------------------
3929
3930 8.5.17. handle-as-empty-document
3931
3932 Typical use:
3933
3934     Mark URLs that should be replaced by empty documents if they get blocked
3935
3936 Effect:
3937
3938     This action alone doesn't do anything noticeable. It just marks URLs. If
3939     the block action also applies, the presence or absence of this mark decides
3940     whether an HTML "BLOCKED" page, or an empty document will be sent to the
3941     client as a substitute for the blocked content. The empty document isn't
3942     literally empty, but actually contains a single space.
3943
3944 Type:
3945
3946     Boolean.
3947
3948 Parameter:
3949
3950     N/A
3951
3952 Notes:
3953
3954     Some browsers complain about syntax errors if JavaScript documents are
3955     blocked with Privoxy's default HTML page; this option can be used to
3956     silence them. And of course this action can also be used to eliminate the
3957     Privoxy BLOCKED message in frames.
3958
3959     The content type for the empty document can be specified with
3960     content-type-overwrite{}, but usually this isn't necessary.
3961
3962 Example usage:
3963
3964     # Block all documents on example.org that end with ".js",
3965     # but send an empty document instead of the usual HTML message.
3966     {+block +handle-as-empty-document}
3967     example.org/.*\.js$
3968
3969
3970
3971 -------------------------------------------------------------------------------
3972
3973 8.5.18. handle-as-image
3974
3975 Typical use:
3976
3977     Mark URLs as belonging to images (so they'll be replaced by images if they
3978     do get blocked, rather than HTML pages)
3979
3980 Effect:
3981
3982     This action alone doesn't do anything noticeable. It just marks URLs as
3983     images. If the block action also applies, the presence or absence of this
3984     mark decides whether an HTML "blocked" page, or a replacement image (as
3985     determined by the set-image-blocker action) will be sent to the client as a
3986     substitute for the blocked content.
3987
3988 Type:
3989
3990     Boolean.
3991
3992 Parameter:
3993
3994     N/A
3995
3996 Notes:
3997
3998     The below generic example section is actually part of default.action. It
3999     marks all URLs with well-known image file name extensions as images and
4000     should be left intact.
4001
4002     Users will probably only want to use the handle-as-image action in
4003     conjunction with block, to block sources of banners, whose URLs don't
4004     reflect the file type, like in the second example section.
4005
4006     Note that you cannot treat HTML pages as images in most cases. For
4007     instance, (in-line) ad frames require an HTML page to be sent, or they
4008     won't display properly. Forcing handle-as-image in this situation will not
4009     replace the ad frame with an image, but lead to error messages.
4010
4011 Example usage (sections):
4012
4013     # Generic image extensions:
4014     #
4015     {+handle-as-image}
4016     /.*\.(gif|jpg|jpeg|png|bmp|ico)$
4017
4018     # These don't look like images, but they're banners and should be
4019     # blocked as images:
4020     #
4021     {+block +handle-as-image}
4022     some.nasty-banner-server.com/junk.cgi\?output=trash
4023
4024     # Banner source! Who cares if they also have non-image content?
4025     ad.doubleclick.net
4026
4027
4028 -------------------------------------------------------------------------------
4029
4030 8.5.19. hide-accept-language
4031
4032 Typical use:
4033
4034     Pretend to use different language settings.
4035
4036 Effect:
4037
4038     Deletes or replaces the "Accept-Language:" HTTP header in client requests.
4039
4040 Type:
4041
4042     Parameterized.
4043
4044 Parameter:
4045
4046     Keyword: "block", or any user defined value.
4047
4048 Notes:
4049
4050     Faking the browser's language settings can be useful to make a foreign
4051     User-Agent set with hide-user-agent more believable.
4052
4053     However some sites with content in different languages check the
4054     "Accept-Language:" to decide which one to take by default. Sometimes it
4055     isn't possible to later switch to another language without changing the
4056     "Accept-Language:" header first.
4057
4058     Therefore it's a good idea to either only change the "Accept-Language:"
4059     header to languages you understand, or to languages that aren't wide
4060     spread.
4061
4062     Before setting the "Accept-Language:" header to a rare language, you should
4063     consider that it helps to make your requests unique and thus easier to
4064     trace. If you don't plan to change this header frequently, you should stick
4065     to a common language.
4066
4067 Example usage (section):
4068
4069     # Pretend to use Canadian language settings.
4070     {+hide-accept-language{en-ca} \
4071     +hide-user-agent{Mozilla/5.0 (X11; U; OpenBSD i386; en-CA; rv:1.8.0.4) Gecko/20060628 Firefox/1.5.0.4} \
4072     }
4073     /
4074
4075
4076 -------------------------------------------------------------------------------
4077
4078 8.5.20. hide-content-disposition
4079
4080 Typical use:
4081
4082     Prevent download menus for content you prefer to view inside the browser.
4083
4084 Effect:
4085
4086     Deletes or replaces the "Content-Disposition:" HTTP header set by some
4087     servers.
4088
4089 Type:
4090
4091     Parameterized.
4092
4093 Parameter:
4094
4095     Keyword: "block", or any user defined value.
4096
4097 Notes:
4098
4099     Some servers set the "Content-Disposition:" HTTP header for documents they
4100     assume you want to save locally before viewing them. The
4101     "Content-Disposition:" header contains the file name the browser is
4102     supposed to use by default.
4103
4104     In most browsers that understand this header, it makes it impossible to
4105     just view the document, without downloading it first, even if it's just a
4106     simple text file or an image.
4107
4108     Removing the "Content-Disposition:" header helps to prevent this annoyance,
4109     but some browsers additionally check the "Content-Type:" header, before
4110     they decide if they can display a document without saving it first. In
4111     these cases, you have to change this header as well, before the browser
4112     stops displaying download menus.
4113
4114     It is also possible to change the server's file name suggestion to another
4115     one, but in most cases it isn't worth the time to set it up.
4116
4117     This action will probably be removed in the future, use server-header
4118     filters instead.
4119
4120 Example usage:
4121
4122     # Disarm the download link in Sourceforge's patch tracker
4123     { -filter \
4124      +content-type-overwrite{text/plain}\
4125      +hide-content-disposition{block} }
4126      .sourceforge.net/tracker/download\.php
4127
4128
4129 -------------------------------------------------------------------------------
4130
4131 8.5.21. hide-if-modified-since
4132
4133 Typical use:
4134
4135     Prevent yet another way to track the user's steps between sessions.
4136
4137 Effect:
4138
4139     Deletes the "If-Modified-Since:" HTTP client header or modifies its value.
4140
4141 Type:
4142
4143     Parameterized.
4144
4145 Parameter:
4146
4147     Keyword: "block", or a user defined value that specifies a range of hours.
4148
4149 Notes:
4150
4151     Removing this header is useful for filter testing, where you want to force
4152     a real reload instead of getting status code "304", which would cause the
4153     browser to use a cached copy of the page.
4154
4155     Instead of removing the header, hide-if-modified-since can also add or
4156     subtract a random amount of time to/from the header's value. You specify a
4157     range of minutes where the random factor should be chosen from and Privoxy
4158     does the rest. A negative value means subtracting, a positive value adding.
4159
4160     Randomizing the value of the "If-Modified-Since:" makes it less likely that
4161     the server can use the time as a cookie replacement, but you will run into
4162     caching problems if the random range is too high.
4163
4164     It is a good idea to only use a small negative value and let
4165     overwrite-last-modified handle the greater changes.
4166
4167     It is also recommended to use this action together with
4168     crunch-if-none-match, otherwise it's more or less pointless.
4169
4170 Example usage (section):
4171
4172     # Let the browser revalidate but make tracking based on the time less likely.
4173     {+hide-if-modified-since{-60} \
4174      +overwrite-last-modified{randomize} \
4175      +crunch-if-none-match}
4176     /
4177
4178
4179 -------------------------------------------------------------------------------
4180
4181 8.5.22. hide-forwarded-for-headers
4182
4183 Typical use:
4184
4185     Improve privacy by not forwarding the source of the request in the HTTP
4186     headers.
4187
4188 Effect:
4189
4190     Deletes any existing "X-Forwarded-for:" HTTP header from client requests.
4191
4192 Type:
4193
4194     Boolean.
4195
4196 Parameter:
4197
4198     N/A
4199
4200 Notes:
4201
4202     It is safe and recommended to leave this on.
4203
4204 Example usage:
4205
4206     +hide-forwarded-for-headers
4207
4208
4209 -------------------------------------------------------------------------------
4210
4211 8.5.23. hide-from-header
4212
4213 Typical use:
4214
4215     Keep your (old and ill) browser from telling web servers your email address
4216
4217 Effect:
4218
4219     Deletes any existing "From:" HTTP header, or replaces it with the specified
4220     string.
4221
4222 Type:
4223
4224     Parameterized.
4225
4226 Parameter:
4227
4228     Keyword: "block", or any user defined value.
4229
4230 Notes:
4231
4232     The keyword "block" will completely remove the header (not to be confused
4233     with the block action).
4234
4235     Alternately, you can specify any value you prefer to be sent to the web
4236     server. If you do, it is a matter of fairness not to use any address that
4237     is actually used by a real person.
4238
4239     This action is rarely needed, as modern web browsers don't send "From:"
4240     headers anymore.
4241
4242 Example usage:
4243
4244     +hide-from-header{block}
4245
4246
4247     or
4248
4249     +hide-from-header{spam-me-senseless@sittingduck.example.com}
4250
4251
4252 -------------------------------------------------------------------------------
4253
4254 8.5.24. hide-referrer
4255
4256 Typical use:
4257
4258     Conceal which link you followed to get to a particular site
4259
4260 Effect:
4261
4262     Deletes the "Referer:" (sic) HTTP header from the client request, or
4263     replaces it with a forged one.
4264
4265 Type:
4266
4267     Parameterized.
4268
4269 Parameter:
4270
4271       + "conditional-block" to delete the header completely if the host has
4272         changed.
4273
4274       + "conditional-forge" to forge the header if the host has changed.
4275
4276       + "block" to delete the header unconditionally.
4277
4278       + "forge" to pretend to be coming from the homepage of the server we are
4279         talking to.
4280
4281       + Any other string to set a user defined referrer.
4282
4283 Notes:
4284
4285     conditional-block is the only parameter, that isn't easily detected in the
4286     server's log file. If it blocks the referrer, the request will look like
4287     the visitor used a bookmark or typed in the address directly.
4288
4289     Leaving the referrer unmodified for requests on the same host allows the
4290     server owner to see the visitor's "click path", but in most cases she could
4291     also get that information by comparing other parts of the log file: for
4292     example the User-Agent if it isn't a very common one, or the user's IP
4293     address if it doesn't change between different requests.
4294
4295     Always blocking the referrer, or using a custom one, can lead to failures
4296     on servers that check the referrer before they answer any requests, in an
4297     attempt to prevent their content from being embedded or linked to
4298     elsewhere.
4299
4300     Both conditional-block and forge will work with referrer checks, as long as
4301     content and valid referring page are on the same host. Most of the time
4302     that's the case.
4303
4304     hide-referer is an alternate spelling of hide-referrer and the two can be
4305     can be freely substituted with each other. ("referrer" is the correct
4306     English spelling, however the HTTP specification has a bug - it requires it
4307     to be spelled as "referer".)
4308
4309 Example usage:
4310
4311     +hide-referrer{forge}
4312
4313
4314     or
4315
4316     +hide-referrer{http://www.yahoo.com/}
4317
4318
4319 -------------------------------------------------------------------------------
4320
4321 8.5.25. hide-user-agent
4322
4323 Typical use:
4324
4325     Try to conceal your type of browser and client operating system
4326
4327 Effect:
4328
4329     Replaces the value of the "User-Agent:" HTTP header in client requests with
4330     the specified value.
4331
4332 Type:
4333
4334     Parameterized.
4335
4336 Parameter:
4337
4338     Any user-defined string.
4339
4340 Notes:
4341
4342     +-----------------------------------------------------------------+
4343     |                             Warning                             |
4344     |-----------------------------------------------------------------|
4345     |This can lead to problems on web sites that depend on looking at |
4346     |this header in order to customize their content for different    |
4347     |browsers (which, by the way, is NOT the right thing to do: good  |
4348     |web sites work browser-independently).                           |
4349     +-----------------------------------------------------------------+
4350
4351     Using this action in multi-user setups or wherever different types of
4352     browsers will access the same Privoxy is not recommended. In single-user,
4353     single-browser setups, you might use it to delete your OS version
4354     information from the headers, because it is an invitation to exploit known
4355     bugs for your OS. It is also occasionally useful to forge this in order to
4356     access sites that won't let you in otherwise (though there may be a good
4357     reason in some cases). Example of this: some MSN sites will not let Mozilla
4358     enter, yet forging to a Netscape 6.1 user-agent works just fine. (Must be
4359     just a silly MS goof, I'm sure :-).
4360
4361     More information on known user-agent strings can be found at http://
4362     www.user-agents.org/ and http://en.wikipedia.org/wiki/User_agent.
4363
4364 Example usage:
4365
4366     +hide-user-agent{Netscape 6.1 (X11; I; Linux 2.4.18 i686)}
4367
4368
4369 -------------------------------------------------------------------------------
4370
4371 8.5.26. inspect-jpegs
4372
4373 Typical use:
4374
4375     Try to protect against a MS buffer over-run in JPEG processing
4376
4377 Effect:
4378
4379     Protect against a known exploit
4380
4381 Type:
4382
4383     Boolean.
4384
4385 Parameter:
4386
4387     N/A
4388
4389 Notes:
4390
4391     See Microsoft Security Bulletin MS04-028. JPEG images are one of the most
4392     common image types found across the Internet. The exploit as described can
4393     allow execution of code on the target system, giving an attacker access to
4394     the system in question by merely planting an altered JPEG image, which
4395     would have no obvious indications of what lurks inside. This action tries
4396     to prevent this exploit if delivered through unencrypted HTTP.
4397
4398     Note that the exploit mentioned is several years old and it's unlikely that
4399     your client is still vulnerable against it. This action may be removed in
4400     one of the next releases.
4401
4402 Example usage:
4403
4404     +inspect-jpegs
4405
4406
4407 -------------------------------------------------------------------------------
4408
4409 8.5.27. kill-popups
4410
4411 Typical use:
4412
4413     Eliminate those annoying pop-up windows (deprecated)
4414
4415 Effect:
4416
4417     While loading the document, replace JavaScript code that opens pop-up
4418     windows with (syntactically neutral) dummy code on the fly.
4419
4420 Type:
4421
4422     Boolean.
4423
4424 Parameter:
4425
4426     N/A
4427
4428 Notes:
4429
4430     This action is basically a built-in, hardwired special-purpose filter
4431     action, but there are important differences: For kill-popups, the document
4432     need not be buffered, so it can be incrementally rendered while
4433     downloading. But kill-popups doesn't catch as many pop-ups as filter
4434     {all-popups} does and is not as smart as filter{unsolicited-popups} is.
4435
4436     Think of it as a fast and efficient replacement for a filter that you can
4437     use if you don't want any filtering at all. Note that it doesn't make sense
4438     to combine it with any filter action, since as soon as one filter applies,
4439     the whole document needs to be buffered anyway, which destroys the
4440     advantage of the kill-popups action over its filter equivalent.
4441
4442     Killing all pop-ups unconditionally is problematic. Many shops and banks
4443     rely on pop-ups to display forms, shopping carts etc, and the filter
4444     {unsolicited-popups} does a better job of catching only the unwanted ones.
4445
4446     If the only kind of pop-ups that you want to kill are exit consoles (those
4447     really nasty windows that appear when you close an other one), you might
4448     want to use filter{js-annoyances} instead.
4449
4450     This action is most appropriate for browsers that don't have any controls
4451     for unwanted pop-ups. Not recommended for general usage.
4452
4453     This action doesn't work very reliable and may be removed in future
4454     releases.
4455
4456 Example usage:
4457
4458     +kill-popups
4459
4460
4461 -------------------------------------------------------------------------------
4462
4463 8.5.28. limit-connect
4464
4465 Typical use:
4466
4467     Prevent abuse of Privoxy as a TCP proxy relay or disable SSL for untrusted
4468     sites
4469
4470 Effect:
4471
4472     Specifies to which ports HTTP CONNECT requests are allowable.
4473
4474 Type:
4475
4476     Parameterized.
4477
4478 Parameter:
4479
4480     A comma-separated list of ports or port ranges (the latter using dashes,
4481     with the minimum defaulting to 0 and the maximum to 65K).
4482
4483 Notes:
4484
4485     By default, i.e. if no limit-connect action applies, Privoxy only allows
4486     HTTP CONNECT requests to port 443 (the standard, secure HTTPS port). Use
4487     limit-connect if more fine-grained control is desired for some or all
4488     destinations.
4489
4490     The CONNECT methods exists in HTTP to allow access to secure websites
4491     ("https://" URLs) through proxies. It works very simply: the proxy connects
4492     to the server on the specified port, and then short-circuits its
4493     connections to the client and to the remote server. This means
4494     CONNECT-enabled proxies can be used as TCP relays very easily.
4495
4496     Privoxy relays HTTPS traffic without seeing the decoded content. Websites
4497     can leverage this limitation to circumvent Privoxy's filters. By specifying
4498     an invalid port range you can disable HTTPS entirely. If you plan to
4499     disable SSL by default, consider enabling
4500     treat-forbidden-connects-like-blocks as well, to be able to quickly create
4501     exceptions.
4502
4503 Example usages:
4504
4505     +limit-connect{443}                   # This is the default and need not be specified.
4506     +limit-connect{80,443}                # Ports 80 and 443 are OK.
4507     +limit-connect{-3, 7, 20-100, 500-}   # Ports less than 3, 7, 20 to 100 and above 500 are OK.
4508     +limit-connect{-}                     # All ports are OK
4509     +limit-connect{,}                     # No HTTPS/SSL traffic is allowed
4510
4511
4512 -------------------------------------------------------------------------------
4513
4514 8.5.29. prevent-compression
4515
4516 Typical use:
4517
4518     Ensure that servers send the content uncompressed, so it can be passed
4519     through filters.
4520
4521 Effect:
4522
4523     Removes the Accept-Encoding header which can be used to ask for compressed
4524     transfer.
4525
4526 Type:
4527
4528     Boolean.
4529
4530 Parameter:
4531
4532     N/A
4533
4534 Notes:
4535
4536     More and more websites send their content compressed by default, which is
4537     generally a good idea and saves bandwidth. But the filter, deanimate-gifs
4538     and kill-popups actions need access to the uncompressed data.
4539
4540     When compiled with zlib support (available since Privoxy 3.0.7), content
4541     that should be filtered is decompressed on-the-fly and you don't have to
4542     worry about this action. If you are using an older Privoxy version, or one
4543     that hasn't been compiled with zlib support, this action can be used to
4544     convince the server to send the content uncompressed.
4545
4546     Most text-based instances compress very well, the size is seldom decreased
4547     by less than 50%, for markup-heavy instances like news feeds saving more
4548     than 90% of the original size isn't unusual.
4549
4550     Not using compression will therefore slow down the transfer, and you should
4551     only enable this action if you really need it. As of Privoxy 3.0.7 it's
4552     disabled in all predefined action settings.
4553
4554     Note that some (rare) ill-configured sites don't handle requests for
4555     uncompressed documents correctly. Broken PHP applications tend to send an
4556     empty document body, some IIS versions only send the beginning of the
4557     content. If you enable prevent-compression per default, you might want to
4558     add exceptions for those sites. See the example for how to do that.
4559
4560 Example usage (sections):
4561
4562     # Selectively turn off compression, and enable a filter
4563     #
4564     { +filter{tiny-textforms} +prevent-compression }
4565     # Match only these sites
4566      .google.
4567      sourceforge.net
4568      sf.net
4569
4570     # Or instead, we could set a universal default:
4571     #
4572     { +prevent-compression }
4573      / # Match all sites
4574
4575     # Then maybe make exceptions for broken sites:
4576     #
4577     { -prevent-compression }
4578     .compusa.com/
4579
4580
4581 -------------------------------------------------------------------------------
4582
4583 8.5.30. overwrite-last-modified
4584
4585 Typical use:
4586
4587     Prevent yet another way to track the user's steps between sessions.
4588
4589 Effect:
4590
4591     Deletes the "Last-Modified:" HTTP server header or modifies its value.
4592
4593 Type:
4594
4595     Parameterized.
4596
4597 Parameter:
4598
4599     One of the keywords: "block", "reset-to-request-time" and "randomize"
4600
4601 Notes:
4602
4603     Removing the "Last-Modified:" header is useful for filter testing, where
4604     you want to force a real reload instead of getting status code "304", which
4605     would cause the browser to reuse the old version of the page.
4606
4607     The "randomize" option overwrites the value of the "Last-Modified:" header
4608     with a randomly chosen time between the original value and the current
4609     time. In theory the server could send each document with a different
4610     "Last-Modified:" header to track visits without using cookies. "Randomize"
4611     makes it impossible and the browser can still revalidate cached documents.
4612
4613     "reset-to-request-time" overwrites the value of the "Last-Modified:" header
4614     with the current time. You could use this option together with
4615     hided-if-modified-since to further customize your random range.
4616
4617     The preferred parameter here is "randomize". It is safe to use, as long as
4618     the time settings are more or less correct. If the server sets the
4619     "Last-Modified:" header to the time of the request, the random range
4620     becomes zero and the value stays the same. Therefore you should later
4621     randomize it a second time with hided-if-modified-since, just to be sure.
4622
4623     It is also recommended to use this action together with
4624     crunch-if-none-match.
4625
4626 Example usage:
4627
4628     # Let the browser revalidate without being tracked across sessions
4629     { +hide-if-modified-since{-60} \
4630      +overwrite-last-modified{randomize} \
4631      +crunch-if-none-match}
4632     /
4633
4634
4635 -------------------------------------------------------------------------------
4636
4637 8.5.31. redirect
4638
4639 Typical use:
4640
4641     Redirect requests to other sites.
4642
4643 Effect:
4644
4645     Convinces the browser that the requested document has been moved to another
4646     location and the browser should get it from there.
4647
4648 Type:
4649
4650     Parameterized
4651
4652 Parameter:
4653
4654     An absolute URL or a single pcrs command.
4655
4656 Notes:
4657
4658     Requests to which this action applies are answered with a HTTP redirect to
4659     URLs of your choosing. The new URL is either provided as parameter, or
4660     derived by applying a single pcrs command to the original URL.
4661
4662     This action will be ignored if you use it together with block. It can be
4663     combined with fast-redirects{check-decoded-url} to redirect to a decoded
4664     version of a rewritten URL.
4665
4666     Use this action carefully, make sure not to create redirection loops and be
4667     aware that using your own redirects might make it possible to fingerprint
4668     your requests.
4669
4670 Example usages:
4671
4672     # Replace example.com's style sheet with another one
4673     { +redirect{http://localhost/css-replacements/example.com.css} }
4674      example.com/stylesheet\.css
4675
4676     # Create a short, easy to remember nickname for a favorite site
4677     # (relies on the browser accept and forward invalid URLs to Privoxy)
4678     { +redirect{http://www.privoxy.org/user-manual/actions-file.html} }
4679      a
4680
4681     # Always use the expanded view for Undeadly.org articles
4682     # (Note the $ at the end of the URL pattern to make sure
4683     # the request for the rewritten URL isn't redirected as well)
4684     {+redirect{s@$@&mode=expanded@}}
4685     undeadly.org/cgi\?action=article&sid=\d*$
4686
4687
4688 -------------------------------------------------------------------------------
4689
4690 8.5.32. send-vanilla-wafer
4691
4692 Typical use:
4693
4694     Feed log analysis scripts with useless data.
4695
4696 Effect:
4697
4698     Sends a cookie with each request stating that you do not accept any
4699     copyright on cookies sent to you, and asking the site operator not to track
4700     you.
4701
4702 Type:
4703
4704     Boolean.
4705
4706 Parameter:
4707
4708     N/A
4709
4710 Notes:
4711
4712     The vanilla wafer is a (relatively) unique header and could conceivably be
4713     used to track you.
4714
4715     This action is rarely used and not enabled in the default configuration.
4716
4717 Example usage:
4718
4719     +send-vanilla-wafer
4720
4721
4722 -------------------------------------------------------------------------------
4723
4724 8.5.33. send-wafer
4725
4726 Typical use:
4727
4728     Send custom cookies or feed log analysis scripts with even more useless
4729     data.
4730
4731 Effect:
4732
4733     Sends a custom, user-defined cookie with each request.
4734
4735 Type:
4736
4737     Multi-value.
4738
4739 Parameter:
4740
4741     A string of the form "name=value".
4742
4743 Notes:
4744
4745     Being multi-valued, multiple instances of this action can apply to the same
4746     request, resulting in multiple cookies being sent.
4747
4748     This action is rarely used and not enabled in the default configuration.
4749
4750 Example usage (section):
4751
4752     {+send-wafer{UsingPrivoxy=true}}
4753     my-internal-testing-server.void
4754
4755
4756 -------------------------------------------------------------------------------
4757
4758 8.5.34. server-header-filter
4759
4760 Typical use:
4761
4762     Rewrite or remove single server headers.
4763
4764 Effect:
4765
4766     All server headers to which this action applies are filtered on-the-fly
4767     through the specified regular expression based substitutions.
4768
4769 Type:
4770
4771     Parameterized.
4772
4773 Parameter:
4774
4775     The name of a server-header filter, as defined in one of the filter files.
4776
4777 Notes:
4778
4779     Server-header filters are applied to each header on its own, not to all at
4780     once. This makes it easier to diagnose problems, but on the downside you
4781     can't write filters that only change header x if header y's value is z. You
4782     can do that by using tags though.
4783
4784     Server-header filters are executed after the other header actions have
4785     finished and use their output as input.
4786
4787     Please refer to the filter file chapter to learn which server-header
4788     filters are available by default, and how to create your own.
4789
4790 Example usage (section):
4791
4792     {+server-header-filter{html-to-xml}}
4793     example.org/xml-instance-that-is-delivered-as-html
4794
4795     {+server-header-filter{xml-to-html}}
4796     example.org/instance-that-is-delivered-as-xml-but-is-not
4797
4798
4799
4800 -------------------------------------------------------------------------------
4801
4802 8.5.35. server-header-tagger
4803
4804 Typical use:
4805
4806     Enable or disable filters based on the Content-Type header.
4807
4808 Effect:
4809
4810     Server headers to which this action applies are filtered on-the-fly through
4811     the specified regular expression based substitutions, the result is used as
4812     tag.
4813
4814 Type:
4815
4816     Parameterized.
4817
4818 Parameter:
4819
4820     The name of a server-header tagger, as defined in one of the filter files.
4821
4822 Notes:
4823
4824     Server-header taggers are applied to each header on its own, and as the
4825     header isn't modified, each tagger "sees" the original.
4826
4827     Server-header taggers are executed before all other header actions that
4828     modify server headers. Their tags can be used to control all of the other
4829     server-header actions, the content filters and the crunch actions (redirect
4830     and block).
4831
4832     Obviously crunching based on tags created by server-header taggers doesn't
4833     prevent the request from showing up in the server's log file.
4834
4835 Example usage (section):
4836
4837     # Tag every request with the content type declared by the server
4838     {+server-header-tagger{content-type}}
4839     /
4840
4841
4842
4843 -------------------------------------------------------------------------------
4844
4845 8.5.36. session-cookies-only
4846
4847 Typical use:
4848
4849     Allow only temporary "session" cookies (for the current browser session
4850     only).
4851
4852 Effect:
4853
4854     Deletes the "expires" field from "Set-Cookie:" server headers. Most
4855     browsers will not store such cookies permanently and forget them in between
4856     sessions.
4857
4858 Type:
4859
4860     Boolean.
4861
4862 Parameter:
4863
4864     N/A
4865
4866 Notes:
4867
4868     This is less strict than crunch-incoming-cookies / crunch-outgoing-cookies
4869     and allows you to browse websites that insist or rely on setting cookies,
4870     without compromising your privacy too badly.
4871
4872     Most browsers will not permanently store cookies that have been processed
4873     by session-cookies-only and will forget about them between sessions. This
4874     makes profiling cookies useless, but won't break sites which require
4875     cookies so that you can log in for transactions. This is generally turned
4876     on for all sites, and is the recommended setting.
4877
4878     It makes no sense at all to use session-cookies-only together with
4879     crunch-incoming-cookies or crunch-outgoing-cookies. If you do, cookies will
4880     be plainly killed.
4881
4882     Note that it is up to the browser how it handles such cookies without an
4883     "expires" field. If you use an exotic browser, you might want to try it out
4884     to be sure.
4885
4886     This setting also has no effect on cookies that may have been stored
4887     previously by the browser before starting Privoxy. These would have to be
4888     removed manually.
4889
4890     Privoxy also uses the content-cookies filter to block some types of
4891     cookies. Content cookies are not effected by session-cookies-only.
4892
4893 Example usage:
4894
4895     +session-cookies-only
4896
4897
4898 -------------------------------------------------------------------------------
4899
4900 8.5.37. set-image-blocker
4901
4902 Typical use:
4903
4904     Choose the replacement for blocked images
4905
4906 Effect:
4907
4908     This action alone doesn't do anything noticeable. If both block and
4909     handle-as-image also apply, i.e. if the request is to be blocked as an
4910     image, then the parameter of this action decides what will be sent as a
4911     replacement.
4912
4913 Type:
4914
4915     Parameterized.
4916
4917 Parameter:
4918
4919       + "pattern" to send a built-in checkerboard pattern image. The image is
4920         visually decent, scales very well, and makes it obvious where banners
4921         were busted.
4922
4923       + "blank" to send a built-in transparent image. This makes banners
4924         disappear completely, but makes it hard to detect where Privoxy has
4925         blocked images on a given page and complicates troubleshooting if
4926         Privoxy has blocked innocent images, like navigation icons.
4927
4928       + "target-url" to send a redirect to target-url. You can redirect to any
4929         image anywhere, even in your local filesystem via "file:///" URL. (But
4930         note that not all browsers support redirecting to a local file system).
4931
4932         A good application of redirects is to use special Privoxy-built-in
4933         URLs, which send the built-in images, as target-url. This has the same
4934         visual effect as specifying "blank" or "pattern" in the first place,
4935         but enables your browser to cache the replacement image, instead of
4936         requesting it over and over again.
4937
4938 Notes:
4939
4940     The URLs for the built-in images are "http://config.privoxy.org/
4941     send-banner?type=type", where type is either "blank" or "pattern".
4942
4943     There is a third (advanced) type, called "auto". It is NOT to be used in
4944     set-image-blocker, but meant for use from filters. Auto will select the
4945     type of image that would have applied to the referring page, had it been an
4946     image.
4947
4948 Example usage:
4949
4950     Built-in pattern:
4951
4952     +set-image-blocker{pattern}
4953
4954
4955     Redirect to the BSD daemon:
4956
4957     +set-image-blocker{http://www.freebsd.org/gifs/dae_up3.gif}
4958
4959
4960     Redirect to the built-in pattern for better caching:
4961
4962     +set-image-blocker{http://config.privoxy.org/send-banner?type=pattern}
4963
4964
4965 -------------------------------------------------------------------------------
4966
4967 8.5.38. treat-forbidden-connects-like-blocks
4968
4969 Typical use:
4970
4971     Block forbidden connects with an easy to find error message.
4972
4973 Effect:
4974
4975     If this action is enabled, Privoxy no longer makes a difference between
4976     forbidden connects and ordinary blocks.
4977
4978 Type:
4979
4980     Boolean
4981
4982 Parameter:
4983
4984     N/A
4985
4986 Notes:
4987
4988     By default Privoxy answers forbidden "Connect" requests with a short error
4989     message inside the headers. If the browser doesn't display headers (most
4990     don't), you just see an empty page.
4991
4992     With this action enabled, Privoxy displays the message that is used for
4993     ordinary blocks instead. If you decide to make an exception for the page in
4994     question, you can do so by following the "See why" link.
4995
4996     For "Connect" requests the clients tell Privoxy which host they are
4997     interested in, but not which document they plan to get later. As a result,
4998     the "Go there anyway" wouldn't work and is therefore suppressed.
4999
5000 Example usage:
5001
5002     +treat-forbidden-connects-like-blocks
5003
5004
5005 -------------------------------------------------------------------------------
5006
5007 8.5.39. Summary
5008
5009 Note that many of these actions have the potential to cause a page to
5010 misbehave, possibly even not to display at all. There are many ways a site
5011 designer may choose to design his site, and what HTTP header content, and other
5012 criteria, he may depend on. There is no way to have hard and fast rules for all
5013 sites. See the Appendix for a brief example on troubleshooting actions.
5014
5015 -------------------------------------------------------------------------------
5016
5017 8.6. Aliases
5018
5019 Custom "actions", known to Privoxy as "aliases", can be defined by combining
5020 other actions. These can in turn be invoked just like the built-in actions.
5021 Currently, an alias name can contain any character except space, tab, "=", "{"
5022 and "}", but we strongly recommend that you only use "a" to "z", "0" to "9",
5023 "+", and "-". Alias names are not case sensitive, and are not required to start
5024 with a "+" or "-" sign, since they are merely textually expanded.
5025
5026 Aliases can be used throughout the actions file, but they must be defined in a
5027 special section at the top of the file! And there can only be one such section
5028 per actions file. Each actions file may have its own alias section, and the
5029 aliases defined in it are only visible within that file.
5030
5031 There are two main reasons to use aliases: One is to save typing for frequently
5032 used combinations of actions, the other one is a gain in flexibility: If you
5033 decide once how you want to handle shops by defining an alias called "shop",
5034 you can later change your policy on shops in one place, and your changes will
5035 take effect everywhere in the actions file where the "shop" alias is used.
5036 Calling aliases by their purpose also makes your actions files more readable.
5037
5038 Currently, there is one big drawback to using aliases, though: Privoxy's
5039 built-in web-based action file editor honors aliases when reading the actions
5040 files, but it expands them before writing. So the effects of your aliases are
5041 of course preserved, but the aliases themselves are lost when you edit sections
5042 that use aliases with it.
5043
5044 Now let's define some aliases...
5045
5046  # Useful custom aliases we can use later.
5047  #
5048  # Note the (required!) section header line and that this section
5049  # must be at the top of the actions file!
5050  #
5051  {{alias}}
5052
5053  # These aliases just save typing later:
5054  # (Note that some already use other aliases!)
5055  #
5056  +crunch-all-cookies = +crunch-incoming-cookies +crunch-outgoing-cookies
5057  -crunch-all-cookies = -crunch-incoming-cookies -crunch-outgoing-cookies
5058  +block-as-image      = +block +handle-as-image
5059  allow-all-cookies   = -crunch-all-cookies -session-cookies-only -filter{content-cookies}
5060
5061  # These aliases define combinations of actions
5062  # that are useful for certain types of sites:
5063  #
5064  fragile     = -block -filter -crunch-all-cookies -fast-redirects -hide-referrer -kill-popups -prevent-compression
5065
5066  shop        = -crunch-all-cookies -filter{all-popups} -kill-popups
5067
5068  # Short names for other aliases, for really lazy people ;-)
5069  #
5070  c0 = +crunch-all-cookies
5071  c1 = -crunch-all-cookies
5072
5073
5074 ...and put them to use. These sections would appear in the lower part of an
5075 actions file and define exceptions to the default actions (as specified further
5076 up for the "/" pattern):
5077
5078  # These sites are either very complex or very keen on
5079  # user data and require minimal interference to work:
5080  #
5081  {fragile}
5082  .office.microsoft.com
5083  .windowsupdate.microsoft.com
5084  # Gmail is really mail.google.com, not gmail.com
5085  mail.google.com
5086
5087  # Shopping sites:
5088  # Allow cookies (for setting and retrieving your customer data)
5089  #
5090  {shop}
5091  .quietpc.com
5092  .worldpay.com   # for quietpc.com
5093  mybank.example.com
5094
5095  # These shops require pop-ups:
5096  #
5097  {-kill-popups -filter{all-popups} -filter{unsolicited-popups}}
5098   .dabs.com
5099   .overclockers.co.uk
5100
5101
5102 Aliases like "shop" and "fragile" are typically used for "problem" sites that
5103 require more than one action to be disabled in order to function properly.
5104
5105 -------------------------------------------------------------------------------
5106
5107 8.7. Actions Files Tutorial
5108
5109 The above chapters have shown which actions files there are and how they are
5110 organized, how actions are specified and applied to URLs, how patterns work,
5111 and how to define and use aliases. Now, let's look at an example default.action
5112 and user.action file and see how all these pieces come together:
5113
5114 -------------------------------------------------------------------------------
5115
5116 8.7.1. default.action
5117
5118 Every config file should start with a short comment stating its purpose:
5119
5120 # Sample default.action file <ijbswa-developers@lists.sourceforge.net>
5121
5122
5123 Then, since this is the default.action file, the first section is a special
5124 section for internal use that you needn't change or worry about:
5125
5126 ##########################################################################
5127 # Settings -- Don't change! For internal Privoxy use ONLY.
5128 ##########################################################################
5129
5130 {{settings}}
5131 for-privoxy-version=3.0
5132
5133
5134 After that comes the (optional) alias section. We'll use the example section
5135 from the above chapter on aliases, that also explains why and how aliases are
5136 used:
5137
5138 ##########################################################################
5139 # Aliases
5140 ##########################################################################
5141 {{alias}}
5142
5143  # These aliases just save typing later:
5144  # (Note that some already use other aliases!)
5145  #
5146  +crunch-all-cookies = +crunch-incoming-cookies +crunch-outgoing-cookies
5147  -crunch-all-cookies = -crunch-incoming-cookies -crunch-outgoing-cookies
5148  +block-as-image      = +block +handle-as-image
5149  mercy-for-cookies   = -crunch-all-cookies -session-cookies-only -filter{content-cookies}
5150
5151  # These aliases define combinations of actions
5152  # that are useful for certain types of sites:
5153  #
5154  fragile     = -block -filter -crunch-all-cookies -fast-redirects -hide-referrer -kill-popups
5155  shop        = -crunch-all-cookies -filter{all-popups} -kill-popups
5156
5157
5158 Now come the regular sections, i.e. sets of actions, accompanied by URL
5159 patterns to which they apply. Remember all actions are disabled when matching
5160 starts, so we have to explicitly enable the ones we want.
5161
5162 The first regular section is probably the most important. It has only one
5163 pattern, "/", but this pattern matches all URLs. Therefore, the set of actions
5164 used in this "default" section will be applied to all requests as a start. It
5165 can be partly or wholly overridden by later matches further down this file, or
5166 in user.action, but it will still be largely responsible for your overall
5167 browsing experience.
5168
5169 Again, at the start of matching, all actions are disabled, so there is no need
5170 to disable any actions here. (Remember: a "+" preceding the action name enables
5171 the action, a "-" disables!). Also note how this long line has been made more
5172 readable by splitting it into multiple lines with line continuation.
5173
5174 ##########################################################################
5175 # "Defaults" section:
5176 ##########################################################################
5177  { \
5178  +deanimate-gifs \
5179  +filter{html-annoyances} \
5180  +filter{refresh-tags} \
5181  +filter{webbugs} \
5182  +filter{ie-exploits} \
5183  +hide-forwarded-for-headers \
5184  +hide-from-header{block} \
5185  +hide-referrer{forge} \
5186  +prevent-compression \
5187  +session-cookies-only \
5188  +set-image-blocker{pattern} \
5189  }
5190  / # forward slash will match *all* potential URL patterns.
5191
5192
5193 The default behavior is now set.
5194
5195 The first of our specialized sections is concerned with "fragile" sites, i.e.
5196 sites that require minimum interference, because they are either very complex
5197 or very keen on tracking you (and have mechanisms in place that make them
5198 unusable for people who avoid being tracked). We will simply use our
5199 pre-defined fragile alias instead of stating the list of actions explicitly:
5200
5201 ##########################################################################
5202 # Exceptions for sites that'll break under the default action set:
5203 ##########################################################################
5204
5205 # "Fragile" Use a minimum set of actions for these sites (see alias above):
5206 #
5207 { fragile }
5208 .office.microsoft.com           # surprise, surprise!
5209 .windowsupdate.microsoft.com
5210 mail.google.com
5211
5212
5213 Shopping sites are not as fragile, but they typically require cookies to log
5214 in, and pop-up windows for shopping carts or item details. Again, we'll use a
5215 pre-defined alias:
5216
5217 # Shopping sites:
5218 #
5219 { shop }
5220 .quietpc.com
5221 .worldpay.com   # for quietpc.com
5222 .jungle.com
5223 .scan.co.uk
5224
5225
5226 The fast-redirects action, which we enabled per default above, breaks some
5227 sites. So disable it for popular sites where we know it misbehaves:
5228
5229 { -fast-redirects }
5230 login.yahoo.com
5231 edit.*.yahoo.com
5232 .google.com
5233 .altavista.com/.*(like|url|link):http
5234 .altavista.com/trans.*urltext=http
5235 .nytimes.com
5236
5237
5238 It is important that Privoxy knows which URLs belong to images, so that if they
5239 are to be blocked, a substitute image can be sent, rather than an HTML page.
5240 Contacting the remote site to find out is not an option, since it would destroy
5241 the loading time advantage of banner blocking, and it would feed the
5242 advertisers (in terms of money and information). We can mark any URL as an
5243 image with the handle-as-image action, and marking all URLs that end in a known
5244 image file extension is a good start:
5245
5246 ##########################################################################
5247 # Images:
5248 ##########################################################################
5249
5250 # Define which file types will be treated as images, in case they get
5251 # blocked further down this file:
5252 #
5253 { +handle-as-image }
5254 /.*\.(gif|jpe?g|png|bmp|ico)$
5255
5256
5257 And then there are known banner sources. They often use scripts to generate the
5258 banners, so it won't be visible from the URL that the request is for an image.
5259 Hence we block them and mark them as images in one go, with the help of our
5260 +block-as-image alias defined above. (We could of course just as well use +
5261 block +handle-as-image here.) Remember that the type of the replacement image
5262 is chosen by the set-image-blocker action. Since all URLs have matched the
5263 default section with its +set-image-blocker{pattern} action before, it still
5264 applies and needn't be repeated:
5265
5266 # Known ad generators:
5267 #
5268 { +block-as-image }
5269 ar.atwola.com
5270 .ad.doubleclick.net
5271 .ad.*.doubleclick.net
5272 .a.yimg.com/(?:(?!/i/).)*$
5273 .a[0-9].yimg.com/(?:(?!/i/).)*$
5274 bs*.gsanet.com
5275 .qkimg.net
5276
5277
5278 One of the most important jobs of Privoxy is to block banners. Many of these
5279 can be "blocked" by the filter{banners-by-size} action, which we enabled above,
5280 and which deletes the references to banner images from the pages while they are
5281 loaded, so the browser doesn't request them anymore, and hence they don't need
5282 to be blocked here. But this naturally doesn't catch all banners, and some
5283 people choose not to use filters, so we need a comprehensive list of patterns
5284 for banner URLs here, and apply the block action to them.
5285
5286 First comes many generic patterns, which do most of the work, by matching
5287 typical domain and path name components of banners. Then comes a list of
5288 individual patterns for specific sites, which is omitted here to keep the
5289 example short:
5290
5291 ##########################################################################
5292 # Block these fine banners:
5293 ##########################################################################
5294 { +block }
5295
5296 # Generic patterns:
5297 #
5298 ad*.
5299 .*ads.
5300 banner?.
5301 count*.
5302 /.*count(er)?\.(pl|cgi|exe|dll|asp|php[34]?)
5303 /(?:.*/)?(publicite|werbung|rekla(ma|me|am)|annonse|maino(kset|nta|s)?)/
5304
5305 # Site-specific patterns (abbreviated):
5306 #
5307 .hitbox.com
5308
5309
5310 It's quite remarkable how many advertisers actually call their banner servers
5311 ads.company.com, or call the directory in which the banners are stored simply
5312 "banners". So the above generic patterns are surprisingly effective.
5313
5314 But being very generic, they necessarily also catch URLs that we don't want to
5315 block. The pattern .*ads. e.g. catches "nasty-ads.nasty-corp.com" as intended,
5316 but also "downloads.sourcefroge.net" or "adsl.some-provider.net." So here come
5317 some well-known exceptions to the +block section above.
5318
5319 Note that these are exceptions to exceptions from the default! Consider the URL
5320 "downloads.sourcefroge.net": Initially, all actions are deactivated, so it
5321 wouldn't get blocked. Then comes the defaults section, which matches the URL,
5322 but just deactivates the block action once again. Then it matches .*ads., an
5323 exception to the general non-blocking policy, and suddenly +block applies. And
5324 now, it'll match .*loads., where -block applies, so (unless it matches again
5325 further down) it ends up with no block action applying.
5326
5327 ##########################################################################
5328 # Save some innocent victims of the above generic block patterns:
5329 ##########################################################################
5330
5331 # By domain:
5332 #
5333 { -block }
5334 adv[io]*.  # (for advogato.org and advice.*)
5335 adsl.      # (has nothing to do with ads)
5336 adobe.     # (has nothing to do with ads either)
5337 ad[ud]*.   # (adult.* and add.*)
5338 .edu       # (universities don't host banners (yet!))
5339 .*loads.   # (downloads, uploads etc)
5340
5341 # By path:
5342 #
5343 /.*loads/
5344
5345 # Site-specific:
5346 #
5347 www.globalintersec.com/adv # (adv = advanced)
5348 www.ugu.com/sui/ugu/adv
5349
5350
5351 Filtering source code can have nasty side effects, so make an exception for our
5352 friends at sourceforge.net, and all paths with "cvs" in them. Note that -filter
5353 disables all filters in one fell swoop!
5354
5355 # Don't filter code!
5356 #
5357 { -filter }
5358 /(.*/)?cvs
5359 bugzilla.
5360 developer.
5361 wiki.
5362 .sourceforge.net
5363
5364
5365 The actual default.action is of course much more comprehensive, but we hope
5366 this example made clear how it works.
5367
5368 -------------------------------------------------------------------------------
5369
5370 8.7.2. user.action
5371
5372 So far we are painting with a broad brush by setting general policies, which
5373 would be a reasonable starting point for many people. Now, you might want to be
5374 more specific and have customized rules that are more suitable to your personal
5375 habits and preferences. These would be for narrowly defined situations like
5376 your ISP or your bank, and should be placed in user.action, which is parsed
5377 after all other actions files and hence has the last word, over-riding any
5378 previously defined actions. user.action is also a safe place for your personal
5379 settings, since default.action is actively maintained by the Privoxy developers
5380 and you'll probably want to install updated versions from time to time.
5381
5382 So let's look at a few examples of things that one might typically do in
5383 user.action:
5384
5385 # My user.action file. <fred@example.com>
5386
5387
5388 As aliases are local to the actions file that they are defined in, you can't
5389 use the ones from default.action, unless you repeat them here:
5390
5391 # Aliases are local to the file they are defined in.
5392 # (Re-)define aliases for this file:
5393 #
5394 {{alias}}
5395 #
5396 # These aliases just save typing later, and the alias names should
5397 # be self explanatory.
5398 #
5399 +crunch-all-cookies = +crunch-incoming-cookies +crunch-outgoing-cookies
5400 -crunch-all-cookies = -crunch-incoming-cookies -crunch-outgoing-cookies
5401  allow-all-cookies  = -crunch-all-cookies -session-cookies-only
5402  allow-popups       = -filter{all-popups} -kill-popups
5403 +block-as-image     = +block +handle-as-image
5404 -block-as-image     = -block
5405
5406 # These aliases define combinations of actions that are useful for
5407 # certain types of sites:
5408 #
5409 fragile     = -block -crunch-all-cookies -filter -fast-redirects -hide-referrer -kill-popups
5410 shop        = -crunch-all-cookies allow-popups
5411
5412 # Allow ads for selected useful free sites:
5413 #
5414 allow-ads   = -block -filter{banners-by-size} -filter{banners-by-link}
5415
5416 # Alias for specific file types that are text, but might have conflicting
5417 # MIME types. We want the browser to force these to be text documents.
5418 handle-as-text = -filter +-content-type-overwrite{text/plain} +-force-text-mode -hide-content-disposition
5419
5420
5421  
5422
5423 Say you have accounts on some sites that you visit regularly, and you don't
5424 want to have to log in manually each time. So you'd like to allow persistent
5425 cookies for these sites. The allow-all-cookies alias defined above does exactly
5426 that, i.e. it disables crunching of cookies in any direction, and the
5427 processing of cookies to make them only temporary.
5428
5429 { allow-all-cookies }
5430  sourceforge.net
5431  .yahoo.com
5432  .msdn.microsoft.com
5433  .redhat.com
5434
5435
5436 Your bank is allergic to some filter, but you don't know which, so you disable
5437 them all:
5438
5439 { -filter }
5440  .your-home-banking-site.com
5441
5442
5443 Some file types you may not want to filter for various reasons:
5444
5445 # Technical documentation is likely to contain strings that might
5446 # erroneously get altered by the JavaScript-oriented filters:
5447 #
5448 .tldp.org
5449 /(.*/)?selfhtml/
5450
5451 # And this stupid host sends streaming video with a wrong MIME type,
5452 # so that Privoxy thinks it is getting HTML and starts filtering:
5453 #
5454 stupid-server.example.com/
5455
5456
5457 Example of a simple block action. Say you've seen an ad on your favourite page
5458 on example.com that you want to get rid of. You have right-clicked the image,
5459 selected "copy image location" and pasted the URL below while removing the
5460 leading http://, into a { +block } section. Note that { +handle-as-image } need
5461 not be specified, since all URLs ending in .gif will be tagged as images by the
5462 general rules as set in default.action anyway:
5463
5464 { +block }
5465  www.example.com/nasty-ads/sponsor\.gif
5466  another.example.net/more/junk/here/
5467
5468
5469 The URLs of dynamically generated banners, especially from large banner farms,
5470 often don't use the well-known image file name extensions, which makes it
5471 impossible for Privoxy to guess the file type just by looking at the URL. You
5472 can use the +block-as-image alias defined above for these cases. Note that
5473 objects which match this rule but then turn out NOT to be an image are
5474 typically rendered as a "broken image" icon by the browser. Use cautiously.
5475
5476 { +block-as-image }
5477  .doubleclick.net
5478  .fastclick.net
5479  /Realmedia/ads/
5480  ar.atwola.com/
5481
5482
5483 Now you noticed that the default configuration breaks Forbes Magazine, but you
5484 were too lazy to find out which action is the culprit, and you were again too
5485 lazy to give feedback, so you just used the fragile alias on the site, and --
5486 whoa! -- it worked. The fragile aliases disables those actions that are most
5487 likely to break a site. Also, good for testing purposes to see if it is Privoxy
5488 that is causing the problem or not. We later find other regular sites that
5489 misbehave, and add those to our personalized list of troublemakers:
5490
5491 { fragile }
5492  .forbes.com
5493  webmail.example.com
5494  .mybank.com
5495
5496
5497 You like the "fun" text replacements in default.filter, but it is disabled in
5498 the distributed actions file. So you'd like to turn it on in your private,
5499 update-safe config, once and for all:
5500
5501 { +filter{fun} }
5502  / # For ALL sites!
5503
5504
5505 Note that the above is not really a good idea: There are exceptions to the
5506 filters in default.action for things that really shouldn't be filtered, like
5507 code on CVS->Web interfaces. Since user.action has the last word, these
5508 exceptions won't be valid for the "fun" filtering specified here.
5509
5510 You might also worry about how your favourite free websites are funded, and
5511 find that they rely on displaying banner advertisements to survive. So you
5512 might want to specifically allow banners for those sites that you feel provide
5513 value to you:
5514
5515 { allow-ads }
5516  .sourceforge.net
5517  .slashdot.org
5518  .osdn.net
5519
5520
5521 Note that allow-ads has been aliased to -block, -filter{banners-by-size}, and -
5522 filter{banners-by-link} above.
5523
5524 Invoke another alias here to force an over-ride of the MIME type application/
5525 x-sh which typically would open a download type dialog. In my case, I want to
5526 look at the shell script, and then I can save it should I choose to.
5527
5528 { handle-as-text }
5529  /.*\.sh$
5530
5531
5532 user.action is generally the best place to define exceptions and additions to
5533 the default policies of default.action. Some actions are safe to have their
5534 default policies set here though. So let's set a default policy to have a
5535 "blank" image as opposed to the checkerboard pattern for ALL sites. "/" of
5536 course matches all URL paths and patterns:
5537
5538 { +set-image-blocker{blank} }
5539 / # ALL sites
5540
5541
5542 -------------------------------------------------------------------------------
5543
5544 9. Filter Files
5545
5546 On-the-fly text substitutions need to be defined in a "filter file". Once
5547 defined, they can then be invoked as an "action".
5548
5549 Privoxy supports three different filter actions: filter to rewrite the content
5550 that is send to the client, client-header-filter to rewrite headers that are
5551 send by the client, and server-header-filter to rewrite headers that are send
5552 by the server.
5553
5554 Privoxy also supports two tagger actions: client-header-tagger and
5555 server-header-tagger. Taggers and filters use the same syntax in the filter
5556 files, the difference is that taggers don't modify the text they are filtering,
5557 but use a rewritten version of the filtered text as tag. The tags can then be
5558 used to change the applying actions through sections with tag-patterns.
5559
5560 Multiple filter files can be defined through the filterfile config directive.
5561 The filters as supplied by the developers are located in default.filter. It is
5562 recommended that any locally defined or modified filters go in a separately
5563 defined file such as user.filter.
5564
5565 Common tasks for content filters are to eliminate common annoyances in HTML and
5566 JavaScript, such as pop-up windows, exit consoles, crippled windows without
5567 navigation tools, the infamous <BLINK> tag etc, to suppress images with certain
5568 width and height attributes (standard banner sizes or web-bugs), or just to
5569 have fun.
5570
5571 Enabled content filters are applied to any content whose "Content Type" header
5572 is recognised as a sign of text-based content, with the exception of text/
5573 plain. Use the force-text-mode action to also filter other content.
5574
5575 Substitutions are made at the source level, so if you want to "roll your own"
5576 filters, you should first be familiar with HTML syntax, and, of course, regular
5577 expressions.
5578
5579 Just like the actions files, the filter file is organized in sections, which
5580 are called filters here. Each filter consists of a heading line, that starts
5581 with one of the keywords FILTER:, CLIENT-HEADER-FILTER: or
5582 SERVER-HEADER-FILTER: followed by the filter's name, and a short (one line)
5583 description of what it does. Below that line come the jobs, i.e. lines that
5584 define the actual text substitutions. By convention, the name of a filter
5585 should describe what the filter eliminates. The comment is used in the
5586 web-based user interface.
5587
5588 Once a filter called name has been defined in the filter file, it can be
5589 invoked by using an action of the form +filter{name} in any actions file.
5590
5591 Filter definitions start with a header line that contains the filter type, the
5592 filter name and the filter description. A content filter header line for a
5593 filter called "foo" could look like this:
5594
5595 FILTER: foo Replace all "foo" with "bar"
5596
5597
5598 Below that line, and up to the next header line, come the jobs that define what
5599 text replacements the filter executes. They are specified in a syntax that
5600 imitates Perl's s/// operator. If you are familiar with Perl, you will find
5601 this to be quite intuitive, and may want to look at the PCRS documentation for
5602 the subtle differences to Perl behaviour. Most notably, the non-standard option
5603 letter U is supported, which turns the default to ungreedy matching.
5604
5605 If you are new to "Regular Expressions", you might want to take a look at the
5606 Appendix on regular expressions, and see the Perl manual for the s///
5607 operator's syntax and Perl-style regular expressions in general. The below
5608 examples might also help to get you started.
5609
5610 -------------------------------------------------------------------------------
5611
5612 9.1. Filter File Tutorial
5613
5614 Now, let's complete our "foo" content filter. We have already defined the
5615 heading, but the jobs are still missing. Since all it does is to replace "foo"
5616 with "bar", there is only one (trivial) job needed:
5617
5618 s/foo/bar/
5619
5620
5621 But wait! Didn't the comment say that all occurrences of "foo" should be
5622 replaced? Our current job will only take care of the first "foo" on each page.
5623 For global substitution, we'll need to add the g option:
5624
5625 s/foo/bar/g
5626
5627
5628 Our complete filter now looks like this:
5629
5630 FILTER: foo Replace all "foo" with "bar"
5631 s/foo/bar/g
5632
5633
5634 Let's look at some real filters for more interesting examples. Here you see a
5635 filter that protects against some common annoyances that arise from JavaScript
5636 abuse. Let's look at its jobs one after the other:
5637
5638 FILTER: js-annoyances Get rid of particularly annoying JavaScript abuse
5639
5640 # Get rid of JavaScript referrer tracking. Test page: http://www.randomoddness.com/untitled.htm
5641 #
5642 s|(<script.*)document\.referrer(.*</script>)|$1"Not Your Business!"$2|Usg
5643
5644
5645 Following the header line and a comment, you see the job. Note that it uses |
5646 as the delimiter instead of /, because the pattern contains a forward slash,
5647 which would otherwise have to be escaped by a backslash (\).
5648
5649 Now, let's examine the pattern: it starts with the text <script.* enclosed in
5650 parentheses. Since the dot matches any character, and * means: "Match an
5651 arbitrary number of the element left of myself", this matches "<script",
5652 followed by any text, i.e. it matches the whole page, from the start of the
5653 first <script> tag.
5654
5655 That's more than we want, but the pattern continues: document\.referrer matches
5656 only the exact string "document.referrer". The dot needed to be escaped, i.e.
5657 preceded by a backslash, to take away its special meaning as a joker, and make
5658 it just a regular dot. So far, the meaning is: Match from the start of the
5659 first <script> tag in a the page, up to, and including, the text
5660 "document.referrer", if both are present in the page (and appear in that
5661 order).
5662
5663 But there's still more pattern to go. The next element, again enclosed in
5664 parentheses, is .*</script>. You already know what .* means, so the whole
5665 pattern translates to: Match from the start of the first <script> tag in a page
5666 to the end of the last <script> tag, provided that the text "document.referrer"
5667 appears somewhere in between.
5668
5669 This is still not the whole story, since we have ignored the options and the
5670 parentheses: The portions of the page matched by sub-patterns that are enclosed
5671 in parentheses, will be remembered and be available through the variables $1,
5672 $2, ... in the substitute. The U option switches to ungreedy matching, which
5673 means that the first .* in the pattern will only "eat up" all text in between "
5674 <script" and the first occurrence of "document.referrer", and that the second
5675 .* will only span the text up to the first "</script>" tag. Furthermore, the s
5676 option says that the match may span multiple lines in the page, and the g
5677 option again means that the substitution is global.
5678
5679 So, to summarize, the pattern means: Match all scripts that contain the text
5680 "document.referrer". Remember the parts of the script from (and including) the
5681 start tag up to (and excluding) the string "document.referrer" as $1, and the
5682 part following that string, up to and including the closing tag, as $2.
5683
5684 Now the pattern is deciphered, but wasn't this about substituting things? So
5685 lets look at the substitute: $1"Not Your Business!"$2 is easy to read: The text
5686 remembered as $1, followed by "Not Your Business!" (including the quotation
5687 marks!), followed by the text remembered as $2. This produces an exact copy of
5688 the original string, with the middle part (the "document.referrer") replaced by
5689 "Not Your Business!".
5690
5691 The whole job now reads: Replace "document.referrer" by "Not Your Business!"
5692 wherever it appears inside a <script> tag. Note that this job won't break
5693 JavaScript syntax, since both the original and the replacement are
5694 syntactically valid string objects. The script just won't have access to the
5695 referrer information anymore.
5696
5697 We'll show you two other jobs from the JavaScript taming department, but this
5698 time only point out the constructs of special interest:
5699
5700 # The status bar is for displaying link targets, not pointless blahblah
5701 #
5702 s/window\.status\s*=\s*(['"]).*?\1/dUmMy=1/ig
5703
5704
5705 \s stands for whitespace characters (space, tab, newline, carriage return, form
5706 feed), so that \s* means: "zero or more whitespace". The ? in .*? makes this
5707 matching of arbitrary text ungreedy. (Note that the U option is not set). The
5708 ['"] construct means: "a single or a double quote". Finally, \1 is a
5709 back-reference to the first parenthesis just like $1 above, with the difference
5710 that in the pattern, a backslash indicates a back-reference, whereas in the
5711 substitute, it's the dollar.
5712
5713 So what does this job do? It replaces assignments of single- or double-quoted
5714 strings to the "window.status" object with a dummy assignment (using a variable
5715 name that is hopefully odd enough not to conflict with real variables in
5716 scripts). Thus, it catches many cases where e.g. pointless descriptions are
5717 displayed in the status bar instead of the link target when you move your mouse
5718 over links.
5719
5720 # Kill OnUnload popups. Yummy. Test: http://www.zdnet.com/zdsubs/yahoo/tree/yfs.html
5721 #
5722 s/(<body [^>]*)onunload(.*>)/$1never$2/iU
5723
5724
5725 Including the OnUnload event binding in the HTML DOM was a CRIME. When I close
5726 a browser window, I want it to close and die. Basta. This job replaces the
5727 "onunload" attribute in "<body>" tags with the dummy word never. Note that the
5728 i option makes the pattern matching case-insensitive. Also note that ungreedy
5729 matching alone doesn't always guarantee a minimal match: In the first
5730 parenthesis, we had to use [^>]* instead of .* to prevent the match from
5731 exceeding the <body> tag if it doesn't contain "OnUnload", but the page's
5732 content does.
5733
5734 The last example is from the fun department:
5735
5736 FILTER: fun Fun text replacements
5737
5738 # Spice the daily news:
5739 #
5740 s/microsoft(?!\.com)/MicroSuck/ig
5741
5742
5743 Note the (?!\.com) part (a so-called negative lookahead) in the job's pattern,
5744 which means: Don't match, if the string ".com" appears directly following
5745 "microsoft" in the page. This prevents links to microsoft.com from being
5746 trashed, while still replacing the word everywhere else.
5747
5748 # Buzzword Bingo (example for extended regex syntax)
5749 #
5750 s* industry[ -]leading \
5751 |  cutting[ -]edge \
5752 |  customer[ -]focused \
5753 |  market[ -]driven \
5754 |  award[ -]winning # Comments are OK, too! \
5755 |  high[ -]performance \
5756 |  solutions[ -]based \
5757 |  unmatched \
5758 |  unparalleled \
5759 |  unrivalled \
5760 *<font color="red"><b>BINGO!</b></font> \
5761 *igx
5762
5763
5764 The x option in this job turns on extended syntax, and allows for e.g. the
5765 liberal use of (non-interpreted!) whitespace for nicer formatting.
5766
5767 You get the idea?
5768
5769 -------------------------------------------------------------------------------
5770
5771 9.2. The Pre-defined Filters
5772
5773 The distribution default.filter file contains a selection of pre-defined
5774 filters for your convenience:
5775
5776 js-annoyances
5777
5778     The purpose of this filter is to get rid of particularly annoying
5779     JavaScript abuse. To that end, it
5780
5781       + replaces JavaScript references to the browser's referrer information
5782         with the string "Not Your Business!". This compliments the
5783         hide-referrer action on the content level.
5784
5785       + removes the bindings to the DOM's unload event which we feel has no
5786         right to exist and is responsible for most "exit consoles", i.e. nasty
5787         windows that pop up when you close another one.
5788
5789       + removes code that causes new windows to be opened with undesired
5790         properties, such as being full-screen, non-resizeable, without
5791         location, status or menu bar etc.
5792
5793     Use with caution. This is an aggressive filter, and can break sites that
5794     rely heavily on JavaScript.
5795
5796 js-events
5797
5798     This is a very radical measure. It removes virtually all JavaScript event
5799     bindings, which means that scripts can not react to user actions such as
5800     mouse movements or clicks, window resizing etc, anymore. Use with caution!
5801
5802     We strongly discourage using this filter as a default since it breaks many
5803     legitimate scripts. It is meant for use only on extra-nasty sites (should
5804     you really need to go there).
5805
5806 html-annoyances
5807
5808     This filter will undo many common instances of HTML based abuse.
5809
5810     The BLINK and MARQUEE tags are neutralized (yeah baby!), and browser
5811     windows will be created as resizeable (as of course they should be!), and
5812     will have location, scroll and menu bars -- even if specified otherwise.
5813
5814 content-cookies
5815
5816     Most cookies are set in the HTTP dialog, where they can be intercepted by
5817     the crunch-incoming-cookies and crunch-outgoing-cookies actions. But web
5818     sites increasingly make use of HTML meta tags and JavaScript to sneak
5819     cookies to the browser on the content level.
5820
5821     This filter disables most HTML and JavaScript code that reads or sets
5822     cookies. It cannot detect all clever uses of these types of code, so it
5823     should not be relied on as an absolute fix. Use it wherever you would also
5824     use the cookie crunch actions.
5825
5826 refresh tags
5827
5828     Disable any refresh tags if the interval is greater than nine seconds (so
5829     that redirections done via refresh tags are not destroyed). This is useful
5830     for dial-on-demand setups, or for those who find this HTML feature
5831     annoying.
5832
5833 unsolicited-popups
5834
5835     This filter attempts to prevent only "unsolicited" pop-up windows from
5836     opening, yet still allow pop-up windows that the user has explicitly chosen
5837     to open. It was added in version 3.0.1, as an improvement over earlier such
5838     filters.
5839
5840     Technical note: The filter works by redefining the window.open JavaScript
5841     function to a dummy function, PrivoxyWindowOpen(), during the loading and
5842     rendering phase of each HTML page access, and restoring the function
5843     afterward.
5844
5845     This is recommended only for browsers that cannot perform this function
5846     reliably themselves. And be aware that some sites require such windows in
5847     order to function normally. Use with caution.
5848
5849 all-popups
5850
5851     Attempt to prevent all pop-up windows from opening. Note this should be
5852     used with even more discretion than the above, since it is more likely to
5853     break some sites that require pop-ups for normal usage. Use with caution.
5854
5855 img-reorder
5856
5857     This is a helper filter that has no value if used alone. It makes the
5858     banners-by-size and banners-by-link (see below) filters more effective and
5859     should be enabled together with them.
5860
5861 banners-by-size
5862
5863     This filter removes image tags purely based on what size they are.
5864     Fortunately for us, many ads and banner images tend to conform to certain
5865     standardized sizes, which makes this filter quite effective for ad
5866     stripping purposes.
5867
5868     Occasionally this filter will cause false positives on images that are not
5869     ads, but just happen to be of one of the standard banner sizes.
5870
5871     Recommended only for those who require extreme ad blocking. The default
5872     block rules should catch 95+% of all ads without this filter enabled.
5873
5874 banners-by-link
5875
5876     This is an experimental filter that attempts to kill any banners if their
5877     URLs seem to point to known or suspected click trackers. It is currently
5878     not of much value and is not recommended for use by default.
5879
5880 webbugs
5881
5882     Webbugs are small, invisible images (technically 1X1 GIF images), that are
5883     used to track users across websites, and collect information on them. As an
5884     HTML page is loaded by the browser, an embedded image tag causes the
5885     browser to contact a third-party site, disclosing the tracking information
5886     through the requested URL and/or cookies for that third-party domain,
5887     without the user ever becoming aware of the interaction with the
5888     third-party site. HTML-ized spam also uses a similar technique to verify
5889     email addresses.
5890
5891     This filter removes the HTML code that loads such "webbugs".
5892
5893 tiny-textforms
5894
5895     A rather special-purpose filter that can be used to enlarge textareas
5896     (those multi-line text boxes in web forms) and turn off hard word wrap in
5897     them. It was written for the sourceforge.net tracker system where such
5898     boxes are a nuisance, but it can be handy on other sites, too.
5899
5900     It is not recommended to use this filter as a default.
5901
5902 jumping-windows
5903
5904     Many consider windows that move, or resize themselves to be abusive. This
5905     filter neutralizes the related JavaScript code. Note that some sites might
5906     not display or behave as intended when using this filter. Use with caution.
5907
5908 frameset-borders
5909
5910     Some web designers seem to assume that everyone in the world will view
5911     their web sites using the same browser brand and version, screen resolution
5912     etc, because only that assumption could explain why they'd use static frame
5913     sizes, yet prevent their frames from being resized by the user, should they
5914     be too small to show their whole content.
5915
5916     This filter removes the related HTML code. It should only be applied to
5917     sites which need it.
5918
5919 demoronizer
5920
5921     Many Microsoft products that generate HTML use non-standard extensions
5922     (read: violations) of the ISO 8859-1 aka Latin-1 character set. This can
5923     cause those HTML documents to display with errors on standard-compliant
5924     platforms.
5925
5926     This filter translates the MS-only characters into Latin-1 equivalents. It
5927     is not necessary when using MS products, and will cause corruption of all
5928     documents that use 8-bit character sets other than Latin-1. It's mostly
5929     worthwhile for Europeans on non-MS platforms, if weird garbage characters
5930     sometimes appear on some pages, or user agents that don't correct for this
5931     on the fly.
5932
5933 shockwave-flash
5934
5935     A filter for shockwave haters. As the name suggests, this filter strips
5936     code out of web pages that is used to embed shockwave flash objects.
5937
5938 quicktime-kioskmode
5939
5940     Change HTML code that embeds Quicktime objects so that kioskmode, which
5941     prevents saving, is disabled.
5942
5943 fun
5944
5945     Text replacements for subversive browsing fun. Make fun of your favorite
5946     Monopolist or play buzzword bingo.
5947
5948 crude-parental
5949
5950     A demonstration-only filter that shows how Privoxy can be used to delete
5951     web content on a keyword basis.
5952
5953 ie-exploits
5954
5955     An experimental collection of text replacements to disable malicious HTML
5956     and JavaScript code that exploits known security holes in Internet
5957     Explorer.
5958
5959     Presently, it only protects against Nimda and a cross-site scripting bug,
5960     and would need active maintenance to provide more substantial protection.
5961
5962 site-specifics
5963
5964     Some web sites have very specific problems, the cure for which doesn't
5965     apply anywhere else, or could even cause damage on other sites.
5966
5967     This is a collection of such site-specific cures which should only be
5968     applied to the sites they were intended for, which is what the supplied
5969     default.action file does. Users shouldn't need to change anything regarding
5970     this filter.
5971
5972 google
5973
5974     A CSS based block for Google text ads. Also removes a width limitation and
5975     the toolbar advertisement.
5976
5977 yahoo
5978
5979     Another CSS based block, this time for Yahoo text ads. And removes a width
5980     limitation as well.
5981
5982 msn
5983
5984     Another CSS based block, this time for MSN text ads. And removes tracking
5985     URLs, as well as a width limitation.
5986
5987 blogspot
5988
5989     Cleans up some Blogspot blogs. Read the fine print before using this one!
5990
5991     This filter also intentionally removes some navigation stuff and sets the
5992     page width to 100%. As a result, some rounded "corners" would appear to
5993     early or not at all and as fixing this would require a browser that
5994     understands background-size (CSS3), they are removed instead.
5995
5996 xml-to-html
5997
5998     Server-header filter to change the Content-Type from xml to html.
5999
6000 html-to-xml
6001
6002     Server-header filter to change the Content-Type from html to xml.
6003
6004 no-ping
6005
6006     Removes the non-standard ping attribute from anchor and area HTML tags.
6007
6008 hide-tor-exit-notation
6009
6010     Client-header filter to remove the Tor exit node notation found in Host and
6011     Referer headers.
6012
6013     If Privoxy and Tor are chained and Privoxy is configured to use socks4a,
6014     one can use "http://www.example.org.foobar.exit/" to access the host
6015     "www.example.org" through the Tor exit node "foobar".
6016
6017     As the HTTP client isn't aware of this notation, it treats the whole string
6018     "www.example.org.foobar.exit" as host and uses it for the "Host" and
6019     "Referer" headers. From the server's point of view the resulting headers
6020     are invalid and can cause problems.
6021
6022     An invalid "Referer" header can trigger "hot-linking" protections, an
6023     invalid "Host" header will make it impossible for the server to find the
6024     right vhost (several domains hosted on the same IP address).
6025
6026     This client-header filter removes the "foo.exit" part in those headers to
6027     prevent the mentioned problems. Note that it only modifies the HTTP
6028     headers, it doesn't make it impossible for the server to detect your Tor
6029     exit node based on the IP address the request is coming from.
6030
6031 -------------------------------------------------------------------------------
6032
6033 10. Privoxy's Template Files
6034
6035 All Privoxy built-in pages, i.e. error pages such as the "404 - No Such Domain"
6036 error page, the "BLOCKED" page and all pages of its web-based user interface,
6037 are generated from templates. (Privoxy must be running for the above links to
6038 work as intended.)
6039
6040 These templates are stored in a subdirectory of the configuration directory
6041 called templates. On Unixish platforms, this is typically /etc/privoxy/
6042 templates/.
6043
6044 The templates are basically normal HTML files, but with place-holders (called
6045 symbols or exports), which Privoxy fills at run time. It is possible to edit
6046 the templates with a normal text editor, should you want to customize them.
6047 (Not recommended for the casual user). Should you create your own custom
6048 templates, you should use the config setting templdir to specify an alternate
6049 location, so your templates do not get overwritten during upgrades.
6050
6051 Note that just like in configuration files, lines starting with # are ignored
6052 when the templates are filled in.
6053
6054 The place-holders are of the form @name@, and you will find a list of available
6055 symbols, which vary from template to template, in the comments at the start of
6056 each file. Note that these comments are not always accurate, and that it's
6057 probably best to look at the existing HTML code to find out which symbols are
6058 supported and what they are filled in with.
6059
6060 A special application of this substitution mechanism is to make whole blocks of
6061 HTML code disappear when a specific symbol is set. We use this for many
6062 purposes, one of them being to include the beta warning in all our user
6063 interface (CGI) pages when Privoxy is in an alpha or beta development stage:
6064
6065 <!-- @if-unstable-start -->
6066
6067   ... beta warning HTML code goes here ...
6068
6069 <!-- if-unstable-end@ -->
6070
6071
6072 If the "unstable" symbol is set, everything in between and including
6073 @if-unstable-start and if-unstable-end@ will disappear, leaving nothing but an
6074 empty comment:
6075
6076 <!--  -->
6077
6078
6079 There's also an if-then-else construct and an #include mechanism, but you'll
6080 sure find out if you are inclined to edit the templates ;-)
6081
6082 All templates refer to a style located at http://config.privoxy.org/
6083 send-stylesheet. This is, of course, locally served by Privoxy and the source
6084 for it can be found and edited in the cgi-style.css template.
6085
6086 -------------------------------------------------------------------------------
6087
6088 11. Contacting the Developers, Bug Reporting and Feature Requests
6089
6090 We value your feedback. In fact, we rely on it to improve Privoxy and its
6091 configuration. However, please note the following hints, so we can provide you
6092 with the best support:
6093
6094 -------------------------------------------------------------------------------
6095
6096 11.1. Get Support
6097
6098 For casual users, our support forum at SourceForge is probably best suited:
6099 http://sourceforge.net/tracker/?group_id=11118&atid=211118
6100
6101 All users are of course welcome to discuss their issues on the users mailing
6102 list, where the developers also hang around.
6103
6104 Note that the Privoxy mailing lists are moderated. Posts from unsubscribed
6105 addresses have to be accepted manually by a moderator. This may cause a delay
6106 of several days and if you use a subject that doesn't clearly mention Privoxy
6107 or one of its features, your message may be accidentally discarded as spam.
6108
6109 If you aren't subscribed, you should therefore spend a few seconds to come up
6110 with a proper subject. Additionally you should make it clear that you want to
6111 get CC'd. Otherwise some responses will be directed to the mailing list only,
6112 and you won't see them.
6113
6114 -------------------------------------------------------------------------------
6115
6116 11.2. Reporting Problems
6117
6118 "Problems" for our purposes, come in two forms:
6119
6120   * Configuration issues, such as ads that slip through, or sites that don't
6121     function properly due to one Privoxy "action" or another being turned "on".
6122
6123   * "Bugs" in the programming code that makes up Privoxy, such as that might
6124     cause a crash.
6125
6126 -------------------------------------------------------------------------------
6127
6128 11.2.1. Reporting Ads or Other Configuration Problems
6129
6130 Please send feedback on ads that slipped through, innocent images that were
6131 blocked, sites that don't work properly, and other configuration related
6132 problem of default.action file, to http://sourceforge.net/tracker/?group_id=
6133 11118&atid=460288, the Actions File Tracker.
6134
6135 New, improved default.action files may occasionally be made available based on
6136 your feedback. These will be announced on the ijbswa-announce list and
6137 available from our the files section of our project page.
6138
6139 -------------------------------------------------------------------------------
6140
6141 11.2.2. Reporting Bugs
6142
6143 Please report all bugs through our bug tracker: http://sourceforge.net/tracker
6144 /?group_id=11118&atid=111118.
6145
6146 Before doing so, please make sure that the bug has not already been submitted
6147 and observe the additional hints at the top of the submit form. If already
6148 submitted, please feel free to add any info to the original report that might
6149 help to solve the issue.
6150
6151 Please try to verify that it is a Privoxy bug, and not a browser or site bug or
6152 documented behaviour that just happens to be different than what you expected.
6153 If unsure, try toggling off Privoxy, and see if the problem persists.
6154
6155 If you are using your own custom configuration, please try the stock configs to
6156 see if the problem is configuration related. If you're having problems with a
6157 feature that is disabled by default, please ask around on the mailing list if
6158 others can reproduce the problem.
6159
6160 If you aren't using the latest Privoxy version, the bug may have been found and
6161 fixed in the meantime. We would appreciate if you could take the time to
6162 upgrade to the latest version (or even the latest CVS snapshot) and verify that
6163 your bug still exists.
6164
6165 Please be sure to provide the following information:
6166
6167   * The exact Privoxy version you are using (if you got the source from CVS,
6168     please also provide the source code revisions as shown in http://
6169     config.privoxy.org/show-version).
6170
6171   * The operating system and versions you run Privoxy on, (e.g. Windows XP
6172     SP2), if you are using a Unix flavor, sending the output of "uname -a"
6173     should do, in case of GNU/Linux, please also name the distribution.
6174
6175   * The name, platform, and version of the browser you were using (e.g.
6176     Internet Explorer v5.5 for Mac).
6177
6178   * The URL where the problem occurred, or some way for us to duplicate the
6179     problem (e.g. http://somesite.example.com/?somethingelse=123).
6180
6181   * Whether your version of Privoxy is one supplied by the Privoxy developers
6182     via SourceForge, or if you got your copy somewhere else.
6183
6184   * Whether you are using Privoxy in tandem with another proxy such as Tor. If
6185     so, please temporary disable the other proxy to see if the symptoms change.
6186
6187   * Whether you are using a personal firewall product. If so, does Privoxy work
6188     without it?
6189
6190   * Any other pertinent information to help identify the problem such as config
6191     or log file excerpts (yes, you should have log file entries for each action
6192     taken).
6193
6194 You don't have to tell us your actual name when filing a problem report, but
6195 please use a nickname so we can differentiate between your messages and the
6196 ones entered by other "anonymous" users that may respond to your request if
6197 they have the same problem or already found a solution.
6198
6199 Please also check the status of your request a few days after submitting it, as
6200 we may request additional information. If you use a SF id, you should
6201 automatically get a mail when someone responds to your request.
6202
6203 The appendix of the Privoxy User Manual also has helpful information on
6204 understanding actions, and action debugging.
6205
6206 -------------------------------------------------------------------------------
6207
6208 11.3. Request New Features
6209
6210 You are welcome to submit ideas on new features or other proposals for
6211 improvement through our feature request tracker at http://sourceforge.net/
6212 tracker/?atid=361118&group_id=11118.
6213
6214 -------------------------------------------------------------------------------
6215
6216 11.4. Other
6217
6218 For any other issues, feel free to use the mailing lists. Technically
6219 interested users and people who wish to contribute to the project are also
6220 welcome on the developers list! You can find an overview of all Privoxy-related
6221 mailing lists, including list archives, at: http://sourceforge.net/mail/?
6222 group_id=11118.
6223
6224 -------------------------------------------------------------------------------
6225
6226 12. Privoxy Copyright, License and History
6227
6228 Copyright   2001-2008 by Privoxy Developers <
6229 ijbswa-developers@lists.sourceforge.net>
6230
6231 Some source code is based on code Copyright   1997 by Anonymous Coders and
6232 Junkbusters, Inc. and licensed under the GNU General Public License.
6233
6234 -------------------------------------------------------------------------------
6235
6236 12.1. License
6237
6238 Privoxy is free software; you can redistribute it and/or modify it under the
6239 terms of the GNU General Public License, version 2, as published by the Free
6240 Software Foundation.
6241
6242 This program is distributed in the hope that it will be useful, but WITHOUT ANY
6243 WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A
6244 PARTICULAR PURPOSE. See the GNU General Public License for more details, which
6245 is available from the Free Software Foundation, Inc, 51 Franklin Street, Fifth
6246 Floor, Boston, MA 02110-1301, USA
6247
6248 You should have received a copy of the GNU General Public License along with
6249 this program; if not, write to the
6250
6251  Free Software
6252  Foundation, Inc. 51 Franklin Street, Fifth Floor
6253  Boston, MA 02110-1301
6254  USA 
6255
6256 -------------------------------------------------------------------------------
6257
6258 12.2. History
6259
6260 A long time ago, there was the Internet Junkbuster, by Anonymous Coders and
6261 Junkbusters Corporation. This saved many users a lot of pain in the early days
6262 of web advertising and user tracking.
6263
6264 But the web, its protocols and standards, and with it, the techniques for
6265 forcing ads on users, give up autonomy over their browsing, and for tracking
6266 them, keeps evolving. Unfortunately, the Internet Junkbuster did not. Version
6267 2.0.2, published in 1998, was (and is) the last official release available from
6268 Junkbusters Corporation. Fortunately, it had been released under the GNU GPL,
6269 which allowed further development by others.
6270
6271 So Stefan Waldherr started maintaining an improved version of the software, to
6272 which eventually a number of people contributed patches. It could already
6273 replace banners with a transparent image, and had a first version of pop-up
6274 killing, but it was still very closely based on the original, with all its
6275 limitations, such as the lack of HTTP/1.1 support, flexible per-site
6276 configuration, or content modification. The last release from this effort was
6277 version 2.0.2-10, published in 2000.
6278
6279 Then, some developers picked up the thread, and started turning the software
6280 inside out, upside down, and then reassembled it, adding many new features
6281 along the way.
6282
6283 The result of this is Privoxy, whose first stable version, 3.0, was released
6284 August, 2002.
6285
6286 -------------------------------------------------------------------------------
6287
6288 12.3. Authors
6289
6290 Current Privoxy Team:
6291
6292  Fabian Keil, lead developer
6293  David Schmidt, developer
6294  
6295  Hal Burgiss
6296  Gerry Murphy
6297  Roland Rosenfeld
6298  J rg Strohmayer
6299
6300 Former Privoxy Team Members:
6301
6302  Johny Agotnes 
6303  Rodrigo Barbosa
6304  Moritz Barsnick
6305  Ian Cummings
6306  Brian Dessent
6307  Jon Foster
6308  Karsten Hopp
6309  Alexander Lazic
6310  Daniel Leite
6311  G bor Lipt k
6312  Adam Lock
6313  Guy Laroche
6314  Mark Martinec 
6315  Justin McMurtry
6316  Andreas Oesterhelt
6317  Haroon Rafique
6318  Georg Sauthoff
6319  Thomas Steudten
6320  Rodney Stromlund
6321  Sviatoslav Sviridov
6322  Sarantis Paskalis
6323  Stefan Waldherr
6324
6325 Thanks to the many people who have tested Privoxy, reported bugs, provided
6326 patches, made suggestions or contributed in some way. These include (in
6327 alphabetical order):
6328
6329  Ken Arromdee
6330  Devin Bayer
6331  Gergely Bor
6332  Reiner Buehl
6333  Andrew J. Caines
6334  Clifford Caoile
6335  Fr d ric Crozat
6336  Michael T. Davis
6337  Mattes Dolak 
6338  Peter E.
6339  Florian Effenberger
6340  Markus Elfring
6341  Dean Gaudet
6342  Stephen Gildea
6343  Daniel Griscom
6344  Felix Gr bert
6345  Aaron Hamid
6346  Darel Henman
6347  Magnus Holmgren
6348  Ralf Horstmann
6349  Stefan Huehner 
6350  Peter Hyman
6351  Derek Jennings
6352  Petr Kadlec
6353  David Laight
6354  Bert van Leeuwen
6355  Don Libes  
6356  Paul Lieverse
6357  Toby Lyward
6358  Wil Mahan
6359  Jindrich Makovicka 
6360  David Mediavilla 
6361  Raphael Moll
6362  Amuro Namie
6363  Adam Piggott
6364  Dan Price
6365  Lee R.
6366  Roberto Ragusa
6367  F lix Rauch
6368  Maynard Riley
6369  Chung-chieh Shan
6370  Spinor S.
6371  Bart Schelstraete
6372  Oliver Stoeneberg
6373  Peter Thoenen
6374  Martin Thomas
6375  Song Weijia
6376  J rg Weinmann 
6377  Darren Wiebe
6378  Bobby G. Vinyard
6379  Anduin Withers
6380  Oliver Yeoh
6381  Jamie Zawinski
6382
6383 Privoxy is based in part on code originally developed by Junkbusters Corp. and
6384 Anonymous Coders.
6385
6386 Privoxy heavily relies on Philip Hazel's PCRE.
6387
6388 The code to filter compressed content makes use of zlib which is written by
6389 Jean-loup Gailly and Mark Adler.
6390
6391 On systems that lack snprintf(), Privoxy is using a version written by Mark
6392 Martinec. On systems that lack strptime(), Privoxy is using the one from the
6393 GNU C Library written by Ulrich Drepper.
6394
6395 -------------------------------------------------------------------------------
6396
6397 13. See Also
6398
6399 Other references and sites of interest to Privoxy users:
6400
6401 http://www.privoxy.org/, the Privoxy Home page.
6402
6403 http://www.privoxy.org/faq/, the Privoxy FAQ.
6404
6405 http://sourceforge.net/projects/ijbswa/, the Project Page for Privoxy on
6406 SourceForge.
6407
6408 http://config.privoxy.org/, the web-based user interface. Privoxy must be
6409 running for this to work. Shortcut: http://p.p/
6410
6411 http://sourceforge.net/tracker/?group_id=11118&atid=460288, to submit "misses"
6412 and other configuration related suggestions to the developers.
6413
6414 http://www.junkbusters.com/ht/en/cookies.html, an explanation how cookies are
6415 used to track web users.
6416
6417 http://www.junkbusters.com/ijb.html, the original Internet Junkbuster.
6418
6419 http://privacy.net/, a useful site to check what information about you is
6420 leaked while you browse the web.
6421
6422 http://www.squid-cache.org/, a popular caching proxy, which is often used
6423 together with Privoxy.
6424
6425 http://www.pps.jussieu.fr/~jch/software/polipo/, Polipo is a caching proxy with
6426 advanced features like pipelining, multiplexing and caching of partial
6427 instances. In many setups it can be used as Squid replacement.
6428
6429 http://tor.eff.org/, Tor can help anonymize web browsing, web publishing,
6430 instant messaging, IRC, SSH, and other applications.
6431
6432 http://www.privoxy.org/developer-manual/, the Privoxy developer manual.
6433
6434 -------------------------------------------------------------------------------
6435
6436 14. Appendix
6437
6438 14.1. Regular Expressions
6439
6440 Privoxy uses Perl-style "regular expressions" in its actions files and filter
6441 file, through the PCRE and PCRS libraries.
6442
6443 If you are reading this, you probably don't understand what "regular
6444 expressions" are, or what they can do. So this will be a very brief
6445 introduction only. A full explanation would require a book ;-)
6446
6447 Regular expressions provide a language to describe patterns that can be run
6448 against strings of characters (letter, numbers, etc), to see if they match the
6449 string or not. The patterns are themselves (sometimes complex) strings of
6450 literal characters, combined with wild-cards, and other special characters,
6451 called meta-characters. The "meta-characters" have special meanings and are
6452 used to build complex patterns to be matched against. Perl Compatible Regular
6453 Expressions are an especially convenient "dialect" of the regular expression
6454 language.
6455
6456 To make a simple analogy, we do something similar when we use wild-card
6457 characters when listing files with the dir command in DOS. *.* matches all
6458 filenames. The "special" character here is the asterisk which matches any and
6459 all characters. We can be more specific and use ? to match just individual
6460 characters. So "dir file?.text" would match "file1.txt", "file2.txt", etc. We
6461 are pattern matching, using a similar technique to "regular expressions"!
6462
6463 Regular expressions do essentially the same thing, but are much, much more
6464 powerful. There are many more "special characters" and ways of building complex
6465 patterns however. Let's look at a few of the common ones, and then some
6466 examples:
6467
6468 . - Matches any single character, e.g. "a", "A", "4", ":", or "@".
6469
6470 ? - The preceding character or expression is matched ZERO or ONE times. Either/
6471 or.
6472
6473 + - The preceding character or expression is matched ONE or MORE times.
6474
6475 * - The preceding character or expression is matched ZERO or MORE times.
6476
6477 \ - The "escape" character denotes that the following character should be taken
6478 literally. This is used where one of the special characters (e.g. ".") needs to
6479 be taken literally and not as a special meta-character. Example: "example
6480 \.com", makes sure the period is recognized only as a period (and not expanded
6481 to its meta-character meaning of any single character).
6482
6483 [ ] - Characters enclosed in brackets will be matched if any of the enclosed
6484 characters are encountered. For instance, "[0-9]" matches any numeric digit
6485 (zero through nine). As an example, we can combine this with "+" to match any
6486 digit one of more times: "[0-9]+".
6487
6488 ( ) - parentheses are used to group a sub-expression, or multiple
6489 sub-expressions.
6490
6491 | - The "bar" character works like an "or" conditional statement. A match is
6492 successful if the sub-expression on either side of "|" matches. As an example:
6493 "/(this|that) example/" uses grouping and the bar character and would match
6494 either "this example" or "that example", and nothing else.
6495
6496 These are just some of the ones you are likely to use when matching URLs with
6497 Privoxy, and is a long way from a definitive list. This is enough to get us
6498 started with a few simple examples which may be more illuminating:
6499
6500 /.*/banners/.* - A simple example that uses the common combination of "." and
6501 "*" to denote any character, zero or more times. In other words, any string at
6502 all. So we start with a literal forward slash, then our regular expression
6503 pattern (".*") another literal forward slash, the string "banners", another
6504 forward slash, and lastly another ".*". We are building a directory path here.
6505 This will match any file with the path that has a directory named "banners" in
6506 it. The ".*" matches any characters, and this could conceivably be more forward
6507 slashes, so it might expand into a much longer looking path. For example, this
6508 could match: "/eye/hate/spammers/banners/annoy_me_please.gif", or just "/
6509 banners/annoying.html", or almost an infinite number of other possible
6510 combinations, just so it has "banners" in the path somewhere.
6511
6512 And now something a little more complex:
6513
6514 /.*/adv((er)?ts?|ertis(ing|ements?))?/ - We have several literal forward
6515 slashes again ("/"), so we are building another expression that is a file path
6516 statement. We have another ".*", so we are matching against any conceivable
6517 sub-path, just so it matches our expression. The only true literal that must
6518 match our pattern is adv, together with the forward slashes. What comes after
6519 the "adv" string is the interesting part.
6520
6521 Remember the "?" means the preceding expression (either a literal character or
6522 anything grouped with "(...)" in this case) can exist or not, since this means
6523 either zero or one match. So "((er)?ts?|ertis(ing|ements?))" is optional, as
6524 are the individual sub-expressions: "(er)", "(ing|ements?)", and the "s". The "
6525 |" means "or". We have two of those. For instance, "(ing|ements?)", can expand
6526 to match either "ing" OR "ements?". What is being done here, is an attempt at
6527 matching as many variations of "advertisement", and similar, as possible. So
6528 this would expand to match just "adv", or "advert", or "adverts", or
6529 "advertising", or "advertisement", or "advertisements". You get the idea. But
6530 it would not match "advertizements" (with a "z"). We could fix that by changing
6531 our regular expression to: "/.*/adv((er)?ts?|erti(s|z)(ing|ements?))?/", which
6532 would then match either spelling.
6533
6534 /.*/advert[0-9]+\.(gif|jpe?g) - Again another path statement with forward
6535 slashes. Anything in the square brackets "[ ]" can be matched. This is using
6536 "0-9" as a shorthand expression to mean any digit one through nine. It is the
6537 same as saying "0123456789". So any digit matches. The "+" means one or more of
6538 the preceding expression must be included. The preceding expression here is
6539 what is in the square brackets -- in this case, any digit one through nine.
6540 Then, at the end, we have a grouping: "(gif|jpe?g)". This includes a "|", so
6541 this needs to match the expression on either side of that bar character also. A
6542 simple "gif" on one side, and the other side will in turn match either "jpeg"
6543 or "jpg", since the "?" means the letter "e" is optional and can be matched
6544 once or not at all. So we are building an expression here to match image GIF or
6545 JPEG type image file. It must include the literal string "advert", then one or
6546 more digits, and a "." (which is now a literal, and not a special character,
6547 since it is escaped with "\"), and lastly either "gif", or "jpeg", or "jpg".
6548 Some possible matches would include: "//advert1.jpg", "/nasty/ads/
6549 advert1234.gif", "/banners/from/hell/advert99.jpg". It would not match
6550 "advert1.gif" (no leading slash), or "/adverts232.jpg" (the expression does not
6551 include an "s"), or "/advert1.jsp" ("jsp" is not in the expression anywhere).
6552
6553 We are barely scratching the surface of regular expressions here so that you
6554 can understand the default Privoxy configuration files, and maybe use this
6555 knowledge to customize your own installation. There is much, much more that can
6556 be done with regular expressions. Now that you know enough to get started, you
6557 can learn more on your own :/
6558
6559 More reading on Perl Compatible Regular expressions: http://perldoc.perl.org/
6560 perlre.html
6561
6562 For information on regular expression based substitutions and their
6563 applications in filters, please see the filter file tutorial in this manual.
6564
6565 -------------------------------------------------------------------------------
6566
6567 14.2. Privoxy's Internal Pages
6568
6569 Since Privoxy proxies each requested web page, it is easy for Privoxy to trap
6570 certain special URLs. In this way, we can talk directly to Privoxy, and see how
6571 it is configured, see how our rules are being applied, change these rules and
6572 other configuration options, and even turn Privoxy's filtering off, all with a
6573 web browser. 
6574
6575 The URLs listed below are the special ones that allow direct access to Privoxy.
6576 Of course, Privoxy must be running to access these. If not, you will get a
6577 friendly error message. Internet access is not necessary either.
6578
6579   * Privoxy main page:
6580
6581         http://config.privoxy.org/
6582
6583     There is a shortcut: http://p.p/ (But it doesn't provide a fall-back to a
6584     real page, in case the request is not sent through Privoxy)
6585
6586   * Show information about the current configuration, including viewing and
6587     editing of actions files:
6588
6589         http://config.privoxy.org/show-status
6590
6591   * Show the source code version numbers:
6592
6593         http://config.privoxy.org/show-version
6594
6595   * Show the browser's request headers:
6596
6597         http://config.privoxy.org/show-request
6598
6599   * Show which actions apply to a URL and why:
6600
6601         http://config.privoxy.org/show-url-info
6602
6603   * Toggle Privoxy on or off. This feature can be turned off/on in the main
6604     config file. When toggled "off", "Privoxy" continues to run, but only as a
6605     pass-through proxy, with no actions taking place:
6606
6607         http://config.privoxy.org/toggle
6608
6609     Short cuts. Turn off, then on:
6610
6611         http://config.privoxy.org/toggle?set=disable
6612
6613         http://config.privoxy.org/toggle?set=enable
6614
6615 These may be bookmarked for quick reference. See next. 
6616
6617 -------------------------------------------------------------------------------
6618
6619 14.2.1. Bookmarklets
6620
6621 Below are some "bookmarklets" to allow you to easily access a "mini" version of
6622 some of Privoxy's special pages. They are designed for MS Internet Explorer,
6623 but should work equally well in Netscape, Mozilla, and other browsers which
6624 support JavaScript. They are designed to run directly from your bookmarks - not
6625 by clicking the links below (although that should work for testing).
6626
6627 To save them, right-click the link and choose "Add to Favorites" (IE) or "Add
6628 Bookmark" (Netscape). You will get a warning that the bookmark "may not be
6629 safe" - just click OK. Then you can run the Bookmarklet directly from your
6630 favorites/bookmarks. For even faster access, you can put them on the "Links"
6631 bar (IE) or the "Personal Toolbar" (Netscape), and run them with a single
6632 click.
6633
6634   * Privoxy - Enable
6635
6636   * Privoxy - Disable
6637
6638   * Privoxy - Toggle Privoxy (Toggles between enabled and disabled)
6639
6640   * Privoxy- View Status
6641
6642   * Privoxy - Why?
6643
6644 Credit: The site which gave us the general idea for these bookmarklets is
6645 www.bookmarklets.com. They have more information about bookmarklets.
6646
6647 -------------------------------------------------------------------------------
6648
6649 14.3. Chain of Events
6650
6651 Let's take a quick look at how some of Privoxy's core features are triggered,
6652 and the ensuing sequence of events when a web page is requested by your
6653 browser:
6654
6655   * First, your web browser requests a web page. The browser knows to send the
6656     request to Privoxy, which will in turn, relay the request to the remote web
6657     server after passing the following tests:
6658
6659   * Privoxy traps any request for its own internal CGI pages (e.g http://p.p/)
6660     and sends the CGI page back to the browser.
6661
6662   * Next, Privoxy checks to see if the URL matches any "+block" patterns. If
6663     so, the URL is then blocked, and the remote web server will not be
6664     contacted. "+handle-as-image" and "+handle-as-empty-document" are then
6665     checked, and if there is no match, an HTML "BLOCKED" page is sent back to
6666     the browser. Otherwise, if it does match, an image is returned for the
6667     former, and an empty text document for the latter. The type of image would
6668     depend on the setting of "+set-image-blocker" (blank, checkerboard pattern,
6669     or an HTTP redirect to an image elsewhere).
6670
6671   * Untrusted URLs are blocked. If URLs are being added to the trust file, then
6672     that is done.
6673
6674   * If the URL pattern matches the "+fast-redirects" action, it is then
6675     processed. Unwanted parts of the requested URL are stripped.
6676
6677   * Now the rest of the client browser's request headers are processed. If any
6678     of these match any of the relevant actions (e.g. "+hide-user-agent", etc.),
6679     headers are suppressed or forged as determined by these actions and their
6680     parameters.
6681
6682   * Now the web server starts sending its response back (i.e. typically a web
6683     page).
6684
6685   * First, the server headers are read and processed to determine, among other
6686     things, the MIME type (document type) and encoding. The headers are then
6687     filtered as determined by the "+crunch-incoming-cookies",
6688     "+session-cookies-only", and "+downgrade-http-version" actions.
6689
6690   * If the "+kill-popups" action applies, and it is an HTML or JavaScript
6691     document, the popup-code in the response is filtered on-the-fly as it is
6692     received.
6693
6694   * If any "+filter" action or "+deanimate-gifs" action applies (and the
6695     document type fits the action), the rest of the page is read into memory
6696     (up to a configurable limit). Then the filter rules (from default.filter
6697     and any other filter files) are processed against the buffered content.
6698     Filters are applied in the order they are specified in one of the filter
6699     files. Animated GIFs, if present, are reduced to either the first or last
6700     frame, depending on the action setting.The entire page, which is now
6701     filtered, is then sent by Privoxy back to your browser.
6702
6703     If neither a "+filter" action or "+deanimate-gifs" matches, then Privoxy
6704     passes the raw data through to the client browser as it becomes available.
6705
6706   * As the browser receives the now (possibly filtered) page content, it reads
6707     and then requests any URLs that may be embedded within the page source,
6708     e.g. ad images, stylesheets, JavaScript, other HTML documents (e.g.
6709     frames), sounds, etc. For each of these objects, the browser issues a
6710     separate request (this is easily viewable in Privoxy's logs). And each such
6711     request is in turn processed just as above. Note that a complex web page
6712     will have many, many such embedded URLs. If these secondary requests are to
6713     a different server, then quite possibly a very differing set of actions is
6714     triggered.
6715
6716 NOTE: This is somewhat of a simplistic overview of what happens with each URL
6717 request. For the sake of brevity and simplicity, we have focused on Privoxy's
6718 core features only.
6719
6720 -------------------------------------------------------------------------------
6721
6722 14.4. Troubleshooting: Anatomy of an Action
6723
6724 The way Privoxy applies actions and filters to any given URL can be complex,
6725 and not always so easy to understand what is happening. And sometimes we need
6726 to be able to see just what Privoxy is doing. Especially, if something Privoxy
6727 is doing is causing us a problem inadvertently. It can be a little daunting to
6728 look at the actions and filters files themselves, since they tend to be filled
6729 with regular expressions whose consequences are not always so obvious.
6730
6731 One quick test to see if Privoxy is causing a problem or not, is to disable it
6732 temporarily. This should be the first troubleshooting step. See the
6733 Bookmarklets section on a quick and easy way to do this (be sure to flush
6734 caches afterward!). Looking at the logs is a good idea too. (Note that both the
6735 toggle feature and logging are enabled via config file settings, and may need
6736 to be turned "on".)
6737
6738 Another easy troubleshooting step to try is if you have done any customization
6739 of your installation, revert back to the installed defaults and see if that
6740 helps. There are times the developers get complaints about one thing or
6741 another, and the problem is more related to a customized configuration issue.
6742
6743 Privoxy also provides the http://config.privoxy.org/show-url-info page that can
6744 show us very specifically how actions are being applied to any given URL. This
6745 is a big help for troubleshooting.
6746
6747 First, enter one URL (or partial URL) at the prompt, and then Privoxy will tell
6748 us how the current configuration will handle it. This will not help with
6749 filtering effects (i.e. the "+filter" action) from one of the filter files
6750 since this is handled very differently and not so easy to trap! It also will
6751 not tell you about any other URLs that may be embedded within the URL you are
6752 testing. For instance, images such as ads are expressed as URLs within the raw
6753 page source of HTML pages. So you will only get info for the actual URL that is
6754 pasted into the prompt area -- not any sub-URLs. If you want to know about
6755 embedded URLs like ads, you will have to dig those out of the HTML source. Use
6756 your browser's "View Page Source" option for this. Or right click on the ad,
6757 and grab the URL.
6758
6759 Let's try an example, google.com, and look at it one section at a time in a
6760 sample configuration (your real configuration may vary):
6761
6762  Matches for http://www.google.com:
6763
6764  In file: default.action [ View ] [ Edit ]
6765
6766  {+deanimate-gifs {last}
6767  +fast-redirects {check-decoded-url}
6768  +filter {refresh-tags}
6769  +filter {img-reorder}
6770  +filter {banners-by-size}
6771  +filter {webbugs}
6772  +filter {jumping-windows}
6773  +filter {ie-exploits}
6774  +hide-forwarded-for-headers
6775  +hide-from-header {block}
6776  +hide-referrer {forge}
6777  +session-cookies-only
6778  +set-image-blocker {pattern}
6779 /
6780
6781  { -session-cookies-only }
6782  .google.com
6783
6784  { -fast-redirects }
6785  .google.com
6786
6787 In file: user.action [ View ] [ Edit ]
6788 (no matches in this file)
6789
6790
6791 This is telling us how we have defined our "actions", and which ones match for
6792 our test case, "google.com". Displayed is all the actions that are available to
6793 us. Remember, the + sign denotes "on". - denotes "off". So some are "on" here,
6794 but many are "off". Each example we try may provide a slightly different end
6795 result, depending on our configuration directives.
6796
6797 The first listing is for our default.action file. The large, multi-line
6798 listing, is how the actions are set to match for all URLs, i.e. our default
6799 settings. If you look at your "actions" file, this would be the section just
6800 below the "aliases" section near the top. This will apply to all URLs as
6801 signified by the single forward slash at the end of the listing -- " / ".
6802
6803 But we have defined additional actions that would be exceptions to these
6804 general rules, and then we list specific URLs (or patterns) that these
6805 exceptions would apply to. Last match wins. Just below this then are two
6806 explicit matches for ".google.com". The first is negating our previous cookie
6807 setting, which was for "+session-cookies-only" (i.e. not persistent). So we
6808 will allow persistent cookies for google, at least that is how it is in this
6809 example. The second turns off any "+fast-redirects" action, allowing this to
6810 take place unmolested. Note that there is a leading dot here -- ".google.com".
6811 This will match any hosts and sub-domains, in the google.com domain also, such
6812 as "www.google.com" or "mail.google.com". But it would not match
6813 "www.google.de"! So, apparently, we have these two actions defined as
6814 exceptions to the general rules at the top somewhere in the lower part of our
6815 default.action file, and "google.com" is referenced somewhere in these latter
6816 sections.
6817
6818 Then, for our user.action file, we again have no hits. So there is nothing
6819 google-specific that we might have added to our own, local configuration. If
6820 there was, those actions would over-rule any actions from previously processed
6821 files, such as default.action. user.action typically has the last word. This is
6822 the best place to put hard and fast exceptions,
6823
6824 And finally we pull it all together in the bottom section and summarize how
6825 Privoxy is applying all its "actions" to "google.com": 
6826
6827  Final results:
6828
6829  -add-header
6830  -block
6831  -client-header-filter{hide-tor-exit-notation}
6832  -content-type-overwrite
6833  -crunch-client-header
6834  -crunch-if-none-match
6835  -crunch-incoming-cookies
6836  -crunch-outgoing-cookies
6837  -crunch-server-header
6838  +deanimate-gifs {last}
6839  -downgrade-http-version
6840  -fast-redirects
6841  -filter {js-events}
6842  -filter {content-cookies}
6843  -filter {all-popups}
6844  -filter {banners-by-link}
6845  -filter {tiny-textforms}
6846  -filter {frameset-borders}
6847  -filter {demoronizer}
6848  -filter {shockwave-flash}
6849  -filter {quicktime-kioskmode}
6850  -filter {fun}
6851  -filter {crude-parental}
6852  -filter {site-specifics}
6853  -filter {js-annoyances}
6854  -filter {html-annoyances}
6855  +filter {refresh-tags}
6856  -filter {unsolicited-popups}
6857  +filter {img-reorder}
6858  +filter {banners-by-size}
6859  +filter {webbugs}
6860  +filter {jumping-windows}
6861  +filter {ie-exploits}
6862  -filter {google}
6863  -filter {yahoo}
6864  -filter {msn}
6865  -filter {blogspot}
6866  -filter {no-ping}
6867  -force-text-mode
6868  -handle-as-empty-document
6869  -handle-as-image
6870  -hide-accept-language
6871  -hide-content-disposition
6872  +hide-forwarded-for-headers
6873  +hide-from-header {block}
6874  -hide-if-modified-since
6875  +hide-referrer {forge}
6876  -hide-user-agent
6877  -inspect-jpegs
6878  -kill-popups
6879  -limit-connect
6880  -overwrite-last-modified
6881  -prevent-compression
6882  -redirect
6883  -send-vanilla-wafer
6884  -send-wafer
6885  -server-header-filter{xml-to-html}
6886  -server-header-filter{html-to-xml}
6887  -session-cookies-only
6888  +set-image-blocker {pattern}
6889  -treat-forbidden-connects-like-blocks
6890
6891
6892 Notice the only difference here to the previous listing, is to "fast-redirects"
6893 and "session-cookies-only", which are activated specifically for this site in
6894 our configuration, and thus show in the "Final Results".
6895
6896 Now another example, "ad.doubleclick.net":
6897
6898  { +block }
6899   ad*.
6900
6901  { +block }
6902   .ad.
6903
6904  { +block +handle-as-image }
6905   .[a-vx-z]*.doubleclick.net
6906
6907
6908 We'll just show the interesting part here - the explicit matches. It is matched
6909 three different times. Two "+block" sections, and a "+block +handle-as-image",
6910 which is the expanded form of one of our aliases that had been defined as:
6911 "+block-as-image". ("Aliases" are defined in the first section of the actions
6912 file and typically used to combine more than one action.)
6913
6914 Any one of these would have done the trick and blocked this as an unwanted
6915 image. This is unnecessarily redundant since the last case effectively would
6916 also cover the first. No point in taking chances with these guys though ;-)
6917 Note that if you want an ad or obnoxious URL to be invisible, it should be
6918 defined as "ad.doubleclick.net" is done here -- as both a "+block" and an
6919 "+handle-as-image". The custom alias "+block-as-image" just simplifies the
6920 process and make it more readable.
6921
6922 One last example. Let's try "http://www.example.net/adsl/HOWTO/". This one is
6923 giving us problems. We are getting a blank page. Hmmm ...
6924
6925  Matches for http://www.example.net/adsl/HOWTO/:
6926
6927  In file: default.action [ View ] [ Edit ]
6928
6929  {-add-header
6930   -block
6931   -client-header-filter{hide-tor-exit-notation}
6932   -content-type-overwrite
6933   -crunch-client-header
6934   -crunch-if-none-match
6935   -crunch-incoming-cookies
6936   -crunch-outgoing-cookies
6937   -crunch-server-header
6938   +deanimate-gifs
6939   -downgrade-http-version
6940   +fast-redirects {check-decoded-url}
6941   -filter {js-events}
6942   -filter {content-cookies}
6943   -filter {all-popups}
6944   -filter {banners-by-link}
6945   -filter {tiny-textforms}
6946   -filter {frameset-borders}
6947   -filter {demoronizer}
6948   -filter {shockwave-flash}
6949   -filter {quicktime-kioskmode}
6950   -filter {fun}
6951   -filter {crude-parental}
6952   -filter {site-specifics}
6953   -filter {js-annoyances}
6954   -filter {html-annoyances}
6955   +filter {refresh-tags}
6956   -filter {unsolicited-popups}
6957   +filter {img-reorder}
6958   +filter {banners-by-size}
6959   +filter {webbugs}
6960   +filter {jumping-windows}
6961   +filter {ie-exploits}
6962   -filter {google}
6963   -filter {yahoo}
6964   -filter {msn}
6965   -filter {blogspot}
6966   -filter {no-ping}
6967   -force-text-mode
6968   -handle-as-empty-document
6969   -handle-as-image
6970   -hide-accept-language
6971   -hide-content-disposition
6972   +hide-forwarded-for-headers
6973   +hide-from-header{block}
6974   +hide-referer{forge}
6975   -hide-user-agent
6976   -inspect-jpegs
6977   -kill-popups
6978   -overwrite-last-modified
6979   +prevent-compression
6980   -redirect
6981   -send-vanilla-wafer
6982   -send-wafer
6983   -server-header-filter{xml-to-html}
6984   -server-header-filter{html-to-xml}
6985   +session-cookies-only
6986   +set-image-blocker{blank}
6987   -treat-forbidden-connects-like-blocks }
6988    /
6989
6990  { +block +handle-as-image }
6991   /ads
6992
6993
6994 Ooops, the "/adsl/" is matching "/ads" in our configuration! But we did not
6995 want this at all! Now we see why we get the blank page. It is actually
6996 triggering two different actions here, and the effects are aggregated so that
6997 the URL is blocked, and Privoxy is told to treat the block as if it were an
6998 image. But this is, of course, all wrong. We could now add a new action below
6999 this (or better in our own user.action file) that explicitly un blocks ( "
7000 {-block}") paths with "adsl" in them (remember, last match in the configuration
7001 wins). There are various ways to handle such exceptions. Example:
7002
7003  { -block }
7004   /adsl
7005
7006
7007 Now the page displays ;-) Remember to flush your browser's caches when making
7008 these kinds of changes to your configuration to insure that you get a freshly
7009 delivered page! Or, try using Shift+Reload.
7010
7011 But now what about a situation where we get no explicit matches like we did
7012 with:
7013
7014  { +block +handle-as-image }
7015  /ads
7016
7017
7018 That actually was very helpful and pointed us quickly to where the problem was.
7019 If you don't get this kind of match, then it means one of the default rules in
7020 the first section of default.action is causing the problem. This would require
7021 some guesswork, and maybe a little trial and error to isolate the offending
7022 rule. One likely cause would be one of the "+filter" actions. These tend to be
7023 harder to troubleshoot. Try adding the URL for the site to one of aliases that
7024 turn off "+filter":
7025
7026  { shop }
7027  .quietpc.com
7028  .worldpay.com   # for quietpc.com
7029  .jungle.com
7030  .scan.co.uk
7031  .forbes.com
7032
7033
7034 "{ shop }" is an "alias" that expands to "{ -filter -session-cookies-only }".
7035 Or you could do your own exception to negate filtering: 
7036
7037  { -filter }
7038  # Disable ALL filter actions for sites in this section
7039  .forbes.com
7040  developer.ibm.com
7041  localhost
7042
7043
7044 This would turn off all filtering for these sites. This is best put in
7045 user.action, for local site exceptions. Note that when a simple domain pattern
7046 is used by itself (without the subsequent path portion), all sub-pages within
7047 that domain are included automatically in the scope of the action.
7048
7049 Images that are inexplicably being blocked, may well be hitting the "+filter
7050 {banners-by-size}" rule, which assumes that images of certain sizes are ad
7051 banners (works well most of the time since these tend to be standardized).
7052
7053 "{ fragile }" is an alias that disables most actions that are the most likely
7054 to cause trouble. This can be used as a last resort for problem sites.
7055
7056  { fragile }
7057  # Handle with care: easy to break
7058  mail.google.
7059  mybank.example.com
7060
7061
7062 Remember to flush caches! Note that the mail.google reference lacks the TLD
7063 portion (e.g. ".com"). This will effectively match any TLD with google in it,
7064 such as mail.google.de., just as an example.
7065
7066 If this still does not work, you will have to go through the remaining actions
7067 one by one to find which one(s) is causing the problem.
7068