More references to the new filters. Include html this time around.
[privoxy.git] / doc / webserver / user-manual / appendix.html
index d9aceac..53b99fe 100644 (file)
@@ -7,14 +7,16 @@ NAME="GENERATOR"
 CONTENT="Modular DocBook HTML Stylesheet Version 1.76b+
 "><LINK
 REL="HOME"
-TITLE="Privoxy 3.0.4 User Manual"
+TITLE="Privoxy 3.0.6 User Manual"
 HREF="index.html"><LINK
 REL="PREVIOUS"
 TITLE="See Also"
 HREF="seealso.html"><LINK
 REL="STYLESHEET"
 TYPE="text/css"
-HREF="../p_doc.css"></HEAD
+HREF="../p_doc.css">
+<LINK REL="STYLESHEET" TYPE="text/css" HREF="p_doc.css">
+</head
 ><BODY
 CLASS="SECT1"
 BGCOLOR="#EEEEEE"
@@ -34,7 +36,7 @@ CELLSPACING="0"
 ><TH
 COLSPAN="3"
 ALIGN="center"
->Privoxy 3.0.4 User Manual</TH
+>Privoxy 3.0.6 User Manual</TH
 ></TR
 ><TR
 ><TD
@@ -324,7 +326,7 @@ BORDER="0"
 CLASS="emphasis"
 ><I
 CLASS="EMPHASIS"
->[]</I
+>[ ]</I
 ></SPAN
 > - Characters enclosed in brackets will be matched if
   any of the enclosed characters are encountered. For instance, <SPAN
@@ -358,7 +360,7 @@ BORDER="0"
 CLASS="emphasis"
 ><I
 CLASS="EMPHASIS"
->()</I
+>( )</I
 ></SPAN
 > - parentheses are used to group a sub-expression,
   or multiple sub-expressions.
@@ -478,7 +480,7 @@ CLASS="QUOTE"
 > in the path
  somewhere.</P
 ><P
-> A now something a little more complex:</P
+> And now something a little more complex:</P
 ><P
 > <SPAN
 CLASS="emphasis"
@@ -617,7 +619,7 @@ CLASS="LITERAL"
  another path statement with forward slashes. Anything in the square brackets 
  <SPAN
 CLASS="QUOTE"
->"[]"</SPAN
+>"[ ]"</SPAN
 > can be matched. This is using <SPAN
 CLASS="QUOTE"
 >"0-9"</SPAN
@@ -726,9 +728,9 @@ CLASS="APPLICATION"
 ><P
 > More reading on Perl Compatible Regular expressions: 
  <A
-HREF="http://www.perldoc.com/perl5.6/pod/perlre.html"
+HREF="http://perldoc.perl.org/perlre.html"
 TARGET="_top"
->http://www.perldoc.com/perl5.6/pod/perlre.html</A
+>http://perldoc.perl.org/perlre.html</A
 ></P
 ><P
 > For information on regular expression based substitutions and their applications
@@ -743,12 +745,9 @@ CLASS="SECT2"
 ><H2
 CLASS="SECT2"
 ><A
-NAME="AEN4670"
+NAME="AEN4992"
 ></A
->14.2. <SPAN
-CLASS="APPLICATION"
->Privoxy</SPAN
->'s Internal Pages</H2
+>14.2. Privoxy's Internal Pages</H2
 ><P
 > Since <SPAN
 CLASS="APPLICATION"
@@ -792,7 +791,7 @@ CLASS="APPLICATION"
    Privoxy main page: 
   </P
 ><A
-NAME="AEN4685"
+NAME="AEN5006"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -825,7 +824,7 @@ CLASS="APPLICATION"
     editing of actions files:
   </P
 ><A
-NAME="AEN4693"
+NAME="AEN5014"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -845,7 +844,7 @@ TARGET="_top"
     Show the source code version numbers:
   </P
 ><A
-NAME="AEN4698"
+NAME="AEN5019"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -865,7 +864,7 @@ TARGET="_top"
    Show the browser's request headers:
   </P
 ><A
-NAME="AEN4703"
+NAME="AEN5024"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -885,7 +884,7 @@ TARGET="_top"
    Show which actions apply to a URL and why:
   </P
 ><A
-NAME="AEN4708"
+NAME="AEN5029"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -909,7 +908,7 @@ CLASS="QUOTE"
    to run, but only as a pass-through proxy, with no actions taking place:
   </P
 ><A
-NAME="AEN4714"
+NAME="AEN5035"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -926,7 +925,7 @@ TARGET="_top"
 >   Short cuts. Turn off, then on: 
   </P
 ><A
-NAME="AEN4718"
+NAME="AEN5039"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -940,7 +939,7 @@ TARGET="_top"
    </P
 ></BLOCKQUOTE
 ><A
-NAME="AEN4721"
+NAME="AEN5042"
 ></A
 ><BLOCKQUOTE
 CLASS="BLOCKQUOTE"
@@ -1100,7 +1099,11 @@ CLASS="APPLICATION"
 CLASS="APPLICATION"
 >Privoxy</SPAN
 > traps any request for its own internal CGI 
-   pages (e.g http://p.p/) and sends the CGI page back to the browser.
+   pages (e.g <A
+HREF="http://p.p/"
+TARGET="_top"
+>http://p.p/</A
+>) and sends the CGI page back to the browser.
   </P
 ></LI
 ><LI
@@ -1277,7 +1280,7 @@ CLASS="APPLICATION"
 ></LI
 ><LI
 ><P
->   As the browser receives the now (probably filtered) page content, it 
+>   As the browser receives the now (possibly filtered) page content, it 
    reads and then requests any URLs that may be embedded within the page
    source, e.g. ad images, stylesheets, JavaScript, other HTML documents (e.g.
    frames), sounds, etc. For each of these objects, the browser issues a new
@@ -1295,7 +1298,7 @@ CLASS="SECT2"
 ><A
 NAME="ACTIONSANAT"
 ></A
->14.4. Anatomy of an Action</H2
+>14.4. Troubleshooting: Anatomy of an Action</H2
 ><P
 > The way <SPAN
 CLASS="APPLICATION"
@@ -1344,6 +1347,12 @@ HREF="appendix.html#BOOKMARKLETS"
  and easy way to do this (be sure to flush caches afterward!). Looking at the 
  logs is a good idea too.</P
 ><P
+> Another easy troubleshooting step to try is if you have done any
+ customization of your installation, revert back to the installed
+ defaults and see if that helps. There are times the developers get complaints
+ about one thing or another, and the problem is more related to a customized
+ configuration issue.</P
+><P
 > <SPAN
 CLASS="APPLICATION"
 >Privoxy</SPAN
@@ -1434,15 +1443,21 @@ CLASS="GUIBUTTON"
  -filter {fun}
  -filter {crude-parental}
  -filter {site-specifics}
+filter {js-annoyances}
+filter {html-annoyances}
-filter {js-annoyances}
-filter {html-annoyances}
  +filter {refresh-tags}
+filter {unsolicited-popups}
-filter {unsolicited-popups}
  +filter {img-reorder}
  +filter {banners-by-size}
  +filter {webbugs}
  +filter {jumping-windows}
  +filter {ie-exploits}
+ -filter {google}
+ -filter {yahoo}
+ -filter {msn}
+ -filter {blogspot}
+ -filter {xml-to-html}
+ -filter {html-to-xml}
  -filter-client-headers
  -filter-server-headers
  -force-text-mode
@@ -1524,44 +1539,33 @@ CLASS="QUOTE"
  end result, depending on our configuration directives.</P
 ><P
 > The first listing
- is any matches for the <TT
-CLASS="FILENAME"
->standard.action</TT
-> file. No hits at
- all here on <SPAN
-CLASS="QUOTE"
->"standard"</SPAN
->. Then next is <SPAN
-CLASS="QUOTE"
->"default"</SPAN
->, or
- our <TT
+  is for our <TT
 CLASS="FILENAME"
 >default.action</TT
-> file. The large, multi-line listing,
- is how the actions are set to match for all URLs, i.e. our default settings.
- If you look at your <SPAN
+> file. The large, multi-line
+  listing, is how the actions are set to match for all URLs, i.e. our default
 settings. If you look at your <SPAN
 CLASS="QUOTE"
 >"actions"</SPAN
-> file, this would be the section
- just below the <SPAN
+> file, this would be the
 section just below the <SPAN
 CLASS="QUOTE"
 >"aliases"</SPAN
-> section near the top. This will apply to
- all URLs as signified by the single forward slash at the end of the listing
- -- <SPAN
+> section near the top. This
+  will apply to all URLs as signified by the single forward slash at the end
 of the listing -- <SPAN
 CLASS="QUOTE"
->"/"</SPAN
+>" / "</SPAN
 >.</P
 ><P
-> But we can define additional actions that would be exceptions to these general
- rules, and then list specific URLs (or patterns) that these exceptions would
- apply to. Last match wins. Just below this then are two explicit matches for
- <SPAN
+> But we have defined additional actions that would be exceptions to these general
+ rules, and then we list specific URLs (or patterns) that these exceptions
+ would apply to. Last match wins. Just below this then are two explicit
matches for <SPAN
 CLASS="QUOTE"
 >".google.com"</SPAN
->. The first is negating our previous cookie setting, 
- which was for <A
+>. The first is negating our previous
cookie setting, which was for <A
 HREF="actions-file.html#SESSION-COOKIES-ONLY"
 ><SPAN
 CLASS="QUOTE"
@@ -1576,8 +1580,7 @@ CLASS="emphasis"
 CLASS="EMPHASIS"
 >off</I
 ></SPAN
-> any 
- <A
+> any <A
 HREF="actions-file.html#FAST-REDIRECTS"
 ><SPAN
 CLASS="QUOTE"
@@ -1593,23 +1596,39 @@ CLASS="QUOTE"
  <SPAN
 CLASS="QUOTE"
 >"www.google.com"</SPAN
->. So, apparently, we have these two actions
- defined somewhere in the lower part of our <TT
+> or <SPAN
+CLASS="QUOTE"
+>"mail.google.com"</SPAN
+>. But it would not 
+ match <SPAN
+CLASS="QUOTE"
+>"www.google.de"</SPAN
+>! So, apparently, we have these two actions
+ defined as exceptions to the general rules at the top somewhere in the lower
+ part of our <TT
 CLASS="FILENAME"
 >default.action</TT
->
file, and <SPAN
+> file, and
+ <SPAN
 CLASS="QUOTE"
 >"google.com"</SPAN
-> is referenced somewhere in these latter
- sections.</P
+> is referenced somewhere in these latter sections.</P
 ><P
 > Then, for our <TT
 CLASS="FILENAME"
 >user.action</TT
 > file, we again have no hits.
  So there is nothing google-specific that we might have added to our own, local
- configuration.</P
+ configuration. If there was, those actions would over-rule any actions from 
+ previously processed files, such as <TT
+CLASS="FILENAME"
+>default.action</TT
+>.
+ <TT
+CLASS="FILENAME"
+>user.action</TT
+> typically has the last word. This is the
+ best place to put hard and fast exceptions,</P
 ><P
 > And finally we pull it all together in the bottom section and summarize how
  <SPAN
@@ -1644,16 +1663,34 @@ CLASS="SCREEN"
  -crunch-server-header
  +deanimate-gifs {last}
  -downgrade-http-version
- -fast-redirects
- +filter {js-annoyances}
- +filter {html-annoyances}
+ +fast-redirects {check-decoded-url}
+ -filter {js-events}
+ -filter {content-cookies}
+ -filter {all-popups}
+ -filter {banners-by-link}
+ -filter {tiny-textforms}
+ -filter {frameset-borders}
+ -filter {demoronizer}
+ -filter {shockwave-flash}
+ -filter {quicktime-kioskmode}
+ -filter {fun}
+ -filter {crude-parental}
+ -filter {site-specifics}
+ -filter {js-annoyances}
+ -filter {html-annoyances}
  +filter {refresh-tags}
+filter {unsolicited-popups}
-filter {unsolicited-popups}
  +filter {img-reorder}
  +filter {banners-by-size}
  +filter {webbugs}
  +filter {jumping-windows}
  +filter {ie-exploits}
+ -filter {google}
+ -filter {yahoo}
+ -filter {msn}
+ -filter {blogspot}
+ -filter {xml-to-html}
+ -filter {html-to-xml}
  -filter-client-headers
  -filter-server-headers
  -force-text-mode
@@ -1690,7 +1727,7 @@ CLASS="QUOTE"
 CLASS="QUOTE"
 >"session-cookies-only"</SPAN
 >,
- which are actived specifically for this site in our configuration, 
+ which are activated specifically for this site in our configuration, 
  and thus show in the <SPAN
 CLASS="QUOTE"
 >"Final Results"</SPAN
@@ -1709,28 +1746,32 @@ WIDTH="100%"
 ><TD
 ><PRE
 CLASS="SCREEN"
->&#13; { +block +handle-as-image }
-  .ad.doubleclick.net
-
- { +block +handle-as-image }
+>&#13; { +block }
   ad*.
 
+ { +block }
+  .ad.
+
  { +block +handle-as-image }
-  .doubleclick.net</PRE
+  .[a-vx-z]*.doubleclick.net</PRE
 ></TD
 ></TR
 ></TABLE
 ></P
 ><P
-> We'll just show the interesting part here, the explicit matches. It is 
- matched three different times. Each as an <SPAN
+> We'll just show the interesting part here - the explicit matches. It is 
+ matched three different times. Two <SPAN
+CLASS="QUOTE"
+>"+block"</SPAN
+> sections, 
+ and a <SPAN
 CLASS="QUOTE"
 >"+block +handle-as-image"</SPAN
 >,
  which is the expanded form of one of our aliases that had been defined as: 
  <SPAN
 CLASS="QUOTE"
->"+imageblock"</SPAN
+>"+block-as-image"</SPAN
 >. (<A
 HREF="actions-file.html#ALIASES"
 ><SPAN
@@ -1772,13 +1813,16 @@ CLASS="QUOTE"
 >.
  The custom alias <SPAN
 CLASS="QUOTE"
->"+imageblock"</SPAN
-> just simplifies the process and make 
- it more readable.</P
+>"<TT
+CLASS="LITERAL"
+>+block-as-image</TT
+>"</SPAN
+> just
+ simplifies the process and make it more readable.</P
 ><P
 > One last example. Let's try <SPAN
 CLASS="QUOTE"
->"http://www.rhapsodyk.net/adsl/HOWTO/"</SPAN
+>"http://www.example.net/adsl/HOWTO/"</SPAN
 >.
  This one is giving us problems. We are getting a blank page. Hmmm ...</P
 ><P
@@ -1790,7 +1834,7 @@ WIDTH="100%"
 ><TD
 ><PRE
 CLASS="SCREEN"
->&#13; Matches for http://www.rhapsodyk.net/adsl/HOWTO/:
+>&#13; Matches for http://www.example.net/adsl/HOWTO/:
 
  In file: default.action <SPAN
 CLASS="GUIBUTTON"
@@ -1810,15 +1854,34 @@ CLASS="GUIBUTTON"
   -crunch-server-header
   +deanimate-gifs 
   -downgrade-http-version 
-  +fast-redirects{check-decoded-url}
-  +filter{html-annoyances} 
-  +filter{js-annoyances} 
-  +filter{kill-popups} 
-  +filter{webbugs} 
-  +filter{nimda} 
-  +filter{banners-by-size} 
-  +filter{hal} 
-  +filter{fun} 
+  +fast-redirects {check-decoded-url}
+  -filter {js-events}
+  -filter {content-cookies}
+  -filter {all-popups}
+  -filter {banners-by-link}
+  -filter {tiny-textforms}
+  -filter {frameset-borders}
+  -filter {demoronizer}
+  -filter {shockwave-flash}
+  -filter {quicktime-kioskmode}
+  -filter {fun}
+  -filter {crude-parental}
+  -filter {site-specifics}
+  -filter {js-annoyances}
+  -filter {html-annoyances}
+  +filter {refresh-tags}
+  -filter {unsolicited-popups}
+  +filter {img-reorder}
+  +filter {banners-by-size}
+  +filter {webbugs}
+  +filter {jumping-windows}
+  +filter {ie-exploits}
+  -filter {google}
+  -filter {yahoo}
+  -filter {msn}
+  -filter {blogspot}
+  -filter {xml-to-html}
+  -filter {html-to-xml}
   -filter-client-headers
   -filter-server-headers
   -force-text-mode
@@ -1831,7 +1894,7 @@ CLASS="GUIBUTTON"
   +hide-referer{forge} 
   -hide-user-agent 
   -inspect-jpegs
-  +kill-popups 
+  -kill-popups 
   -overwrite-last-modified
   +prevent-compression 
   -redirect
@@ -1857,22 +1920,36 @@ CLASS="QUOTE"
 >"/ads"</SPAN
 > in our 
  configuration! But we did not want this at all! Now we see why we get the
- blank page. We could now add a new action below this that explicitly 
- <SPAN
+ blank page. It is actually triggering two different actions here, and 
+ the effects are aggregated so that the URL is blocked, and <SPAN
+CLASS="APPLICATION"
+>Privoxy</SPAN
+> is told 
+ to treat the block as if it were an image. But this is, of course, all wrong.
+  We could now add a new action below this (or better in our own
+  <TT
+CLASS="FILENAME"
+>user.action</TT
+> file) that explicitly
+  <SPAN
 CLASS="emphasis"
 ><I
 CLASS="EMPHASIS"
 >un</I
 ></SPAN
-> blocks (<SPAN
+> blocks (
+  <A
+HREF="actions-file.html#BLOCK"
+><SPAN
 CLASS="QUOTE"
 >"{-block}"</SPAN
+></A
 >) paths with
- <SPAN
 <SPAN
 CLASS="QUOTE"
 >"adsl"</SPAN
-> in them (remember, last match in the configuration wins).
- There are various ways to handle such exceptions. Example:</P
+> in them (remember, last match in the configuration
 wins). There are various ways to handle such exceptions. Example:</P
 ><P
 > <TABLE
 BORDER="0"
@@ -1889,8 +1966,10 @@ CLASS="SCREEN"
 ></TABLE
 ></P
 ><P
-> Now the page displays ;-) Be sure to flush your browser's caches when 
- making such changes. Or, try using <TT
+> Now the page displays ;-) 
+ Remember to flush your browser's caches when making these kinds of changes to
+ your configuration to insure that you get a freshly delivered page! Or, try
+ using <TT
 CLASS="LITERAL"
 >Shift+Reload</TT
 >.</P
@@ -1913,18 +1992,29 @@ CLASS="SCREEN"
 ></TABLE
 ></P
 ><P
-> That actually was very telling and pointed us quickly to where the problem
+> That actually was very helpful and pointed us quickly to where the problem
  was. If you don't get this kind of match, then it means one of the default 
- rules in the first section is causing the problem. This would require some 
- guesswork, and maybe a little trial and error to isolate the offending rule.
- One likely cause would be one of the <SPAN
+ rules in the first section of <TT
+CLASS="FILENAME"
+>default.action</TT
+> is causing
+ the problem. This would require some guesswork, and maybe a little trial and
+ error to isolate the offending rule. One likely cause would be one of the
+ <A
+HREF="actions-file.html#FILTER"
+><SPAN
 CLASS="QUOTE"
->"{+filter}"</SPAN
-> actions. These 
- tend to be harder to troubleshoot. Try adding the URL for the site to one of
- aliases that turn off <SPAN
+>"+filter"</SPAN
+></A
+> actions.
+ These tend to be harder to troubleshoot.
+ Try adding the URL for the site to one of aliases that turn off
+ <A
+HREF="actions-file.html#FILTER"
+><SPAN
 CLASS="QUOTE"
 >"+filter"</SPAN
+></A
 >:</P
 ><P
 > <TABLE
@@ -1935,7 +2025,7 @@ WIDTH="100%"
 ><TD
 ><PRE
 CLASS="SCREEN"
->&#13; {shop}
+>&#13; { shop }
  .quietpc.com
  .worldpay.com   # for quietpc.com
  .jungle.com
@@ -1948,14 +2038,20 @@ CLASS="SCREEN"
 ><P
 > <SPAN
 CLASS="QUOTE"
->"{shop}"</SPAN
+>"<TT
+CLASS="LITERAL"
+>{ shop }</TT
+>"</SPAN
 > is an <SPAN
 CLASS="QUOTE"
 >"alias"</SPAN
 > that expands to 
  <SPAN
 CLASS="QUOTE"
->"{ -filter -session-cookies-only }"</SPAN
+>"<TT
+CLASS="LITERAL"
+>{ -filter -session-cookies-only }</TT
+>"</SPAN
 >.
  Or you could do your own exception to negate filtering:&#13;</P
 ><P
@@ -1967,35 +2063,97 @@ WIDTH="100%"
 ><TD
 ><PRE
 CLASS="SCREEN"
->&#13; {-filter}
- .forbes.com</PRE
+>&#13; { -filter }
+ # Disable ALL filter actions for sites in this section
+ .forbes.com
+ developer.ibm.com
+ localhost</PRE
 ></TD
 ></TR
 ></TABLE
 ></P
 ><P
-> This would turn off all filtering for that site. This would probably be most
appropriately put in <TT
+> This would turn off all filtering for these sites. This is best
+ put in <TT
 CLASS="FILENAME"
 >user.action</TT
 >, for local site
- exceptions.</P
+ exceptions. Note that when a simple domain pattern is used by itself (without
+ the subsequent path portion), all sub-pages within that domain are included 
+ automatcially in the scope of the action.</P
 ><P
 > Images that are inexplicably being blocked, may well be hitting the 
- <SPAN
+<A
+HREF="actions-file.html#FILTER-BANNERS-BY-SIZE"
+><SPAN
 CLASS="QUOTE"
 >"+filter{banners-by-size}"</SPAN
-> rule, which assumes 
- that images of certain sizes are ad banners (works well most of the time 
- since these tend to be standardized).</P
+></A
+>
+ rule, which assumes 
+ that images of certain sizes are ad banners (works well 
+ <SPAN
+CLASS="emphasis"
+><I
+CLASS="EMPHASIS"
+>most of the time</I
+></SPAN
+>  since these tend to be standardized).</P
+><P
+> <SPAN
+CLASS="QUOTE"
+>"<TT
+CLASS="LITERAL"
+>{ fragile }</TT
+>"</SPAN
+> is an alias that disables most
+ actions that are the most likely to cause trouble. This can be used as a
+ last resort for problem sites. </P
+><P
+> <TABLE
+BORDER="0"
+BGCOLOR="#E0E0E0"
+WIDTH="100%"
+><TR
+><TD
+><PRE
+CLASS="SCREEN"
+>&#13; { fragile }
+ # Handle with care: easy to break
+ mail.google.
+ mybank.example.com</PRE
+></TD
+></TR
+></TABLE
+></P
 ><P
 > <SPAN
+CLASS="emphasis"
+><I
+CLASS="EMPHASIS"
+>Remember to flush caches!</I
+></SPAN
+> Note that the 
+ <TT
+CLASS="LITERAL"
+>mail.google</TT
+> reference lacks the TLD portion (e.g. 
+ <SPAN
 CLASS="QUOTE"
->"{fragile}"</SPAN
-> is an alias that disables most actions. This can be 
- used as a last resort for problem sites. Remember to flush caches! If this 
- still does not work, you will have to go through the remaining actions one by
- one to find which one(s) is causing the problem.</P
+>".com"</SPAN
+>. This will effectively match any TLD with 
+ <TT
+CLASS="LITERAL"
+>google</TT
+> in it, such as <TT
+CLASS="LITERAL"
+>mail.google.de</TT
+>, 
+ just as an example.</P
+><P
+> 
+ If this still does not work, you will have to go through the remaining
+ actions one by one to find which one(s) is causing the problem.</P
 ></DIV
 ></DIV
 ><DIV