Rebuild for 3.0.17 stable
[privoxy.git] / doc / webserver / user-manual / whatsnew.html
index dd7d25f..eeb32d2 100644 (file)
@@ -1,13 +1,13 @@
+<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN""http://www.w3.org/TR/html4/loose.dtd">
 <HTML
 ><HEAD
 ><TITLE
 >What's New in this Release</TITLE
 ><META
 NAME="GENERATOR"
-CONTENT="Modular DocBook HTML Stylesheet Version 1.76b+
-"><LINK
+CONTENT="Modular DocBook HTML Stylesheet Version 1.79"><LINK
 REL="HOME"
-TITLE="Privoxy 3.0.7 User Manual"
+TITLE="Privoxy 3.0.17 User Manual"
 HREF="index.html"><LINK
 REL="PREVIOUS"
 TITLE="Installation"
@@ -17,7 +17,10 @@ TITLE="Quickstart to Using Privoxy"
 HREF="quickstart.html"><LINK
 REL="STYLESHEET"
 TYPE="text/css"
-HREF="../p_doc.css">
+HREF="../p_doc.css"><META
+HTTP-EQUIV="Content-Type"
+CONTENT="text/html;
+charset=ISO-8859-1">
 <LINK REL="STYLESHEET" TYPE="text/css" HREF="p_doc.css">
 </head
 ><BODY
@@ -39,7 +42,7 @@ CELLSPACING="0"
 ><TH
 COLSPAN="3"
 ALIGN="center"
->Privoxy 3.0.7 User Manual</TH
+>Privoxy 3.0.17 User Manual</TH
 ></TR
 ><TR
 ><TD
@@ -76,240 +79,629 @@ CLASS="SECT1"
 CLASS="SECT1"
 ><A
 NAME="WHATSNEW"
-></A
->3. What's New in this Release</H1
+>3. What's New in this Release</A
+></H1
 ><P
-> There are many improvements and new features since <SPAN
+> <SPAN
 CLASS="APPLICATION"
->Privoxy 3.0.6</SPAN
->, the last stable release:</P
+>Privoxy 3.0.16</SPAN
+> is a stable release.
+ The changes since 3.0.15 beta are:</P
 ><P
 > <P
 ></P
 ><UL
 ><LI
 ><P
->    Header filtering can be done with dedicated header filters now. As a result
-    the actions <SPAN
-CLASS="QUOTE"
->"filter-client-headers"</SPAN
-> and <SPAN
-CLASS="QUOTE"
->"filter-server-headers"</SPAN
->
-    that were introduced with <SPAN
-CLASS="APPLICATION"
->Privoxy 3.0.5</SPAN
-> to apply
-    the content filters to the headers as, well have been removed again.
+>    Fixed last-chunk-detection for responses where the content was small
+    enough to be read with the body, causing Privoxy to wait for the
+    end of the content until the server closed the connection.
+    Reported by "Karsten" in #3028326.
    </P
 ></LI
-></UL
+><LI
+><P
+>    Responses with status code 204 weren't properly detected as body-less
+    like RFC2616 mandates. Like the previous bug, this caused Privoxy
+    to wait for the end of the content until the server closed the connection.
+    Fixes #3022042 and #3025553, reported by a user with no visible name.
+    Most likely also fixes a bunch of other AJAX-related problem reports
+    that got closed in the past due to insufficient information and lack
+    of feedback.
+   </P
+></LI
+><LI
+><P
+>    Fixed an ACL bug that made it impossible to build a blacklist.
+    Usually the ACL directives are used in a whitelist, which worked
+    as expected, but blacklisting is still useful for public proxies
+    where one only needs to deny known abusers access.
+   </P
+></LI
+><LI
+><P
+>    Added LOG_LEVEL_RECEIVED to log the not-yet-parsed data read from the
+    network. This should make debugging various parsing issues a lot easier.
+   </P
+></LI
+><LI
+><P
+>    The IPv6 code is enabled by default on Windows versions that support it.
+    Patch submitted by oCameLo in #2942729.
+   </P
+></LI
+><LI
+><P
+>    In mingw32 versions, the user.filter file is reachable through the
+    GUI, just like default.filter is. Feature request 3040263.
+   </P
+></LI
+><LI
+><P
+>    Added the configure option --enable-large-file-support to set a few
+    defines that are required by platforms like GNU/Linux to support files
+    larger then 2GB. Mainly interesting for users without proper logfile
+    management.
+   </P
+></LI
+><LI
+><P
+>    Logging with "debug 16" no longer stops at the first nul byte which is
+    pretty useless. Non-printable characters are replaced with their hex value
+    so the result can't span multiple lines making parsing them harder then
+    necessary.
+   </P
+></LI
+><LI
+><P
+>    Privoxy logs when reading an action, filter or trust file.
+   </P
+></LI
+><LI
+><P
+>    Fixed incorrect regression test markup which caused a test in
+    3.0.16 to fail while Privoxy itself was working correctly.
+    While Privoxy accepts hide-referer, too, the action name is actually
+    hide-referrer which is also the name used one the final results page,
+    where the test expected the alias.
+   </P
+></LI
+><LI
+><P
+>    CGI interface improvements:
+    <P
 ></P
-><DIV
-CLASS="SECT2"
-><H2
-CLASS="SECT2"
-><A
-NAME="UPGRADERSNOTE"
-></A
->3.1. Note to Upgraders</H2
+><UL
+><LI
 ><P
-> A quick list of things to be aware of before upgrading from earlier 
- versions of <SPAN
-CLASS="APPLICATION"
->Privoxy</SPAN
->:</P
+>      In finish_http_response(), continue to add the 'Connection: close'
+      header if the client connection will not be kept alive.
+      Anonymously pointed out in #2987454.
+     </P
+></LI
+><LI
 ><P
-> <P
+>      Apostrophes in block messages no longer cause parse errors
+      when the blocked page is viewed with JavaScript enabled.
+      Reported by dg1727 in #3062296.
+     </P
+></LI
+><LI
+><P
+>      Fix a bunch of anchors that used underscores instead of dashes.
+     </P
+></LI
+><LI
+><P
+>      Allow to keep the client connection alive after crunching the previous request.
+      Already opened server connections can be kept alive, too.
+     </P
+></LI
+><LI
+><P
+>      In cgi_show_url_info(), don't forget to prefix URLs that only contain http:// or https:// in the path.
+      Fixes #2975765 reported by Adam Piggott.
+     </P
+></LI
+><LI
+><P
+>      Show the 404 CGI page if cgi_send_user_manual() is called while
+      local user manual delivery is disabled.
+     </P
+></LI
+></UL
+>
+   </P
+></LI
+><LI
+><P
+>    Action file improvements:
+    <P
 ></P
 ><UL
 ><LI
 ><P
->  
-    Some installers may remove earlier versions completely, including 
-    configuration files. Save any important configuration files!
-  </P
+>      Enable user.filter by default. Suggested by David White in #3001830.
+     </P
 ></LI
 ><LI
 ><P
->  
-   On the other hand, other installers may not overwrite any existing configuration 
-   files, thinking you will want to do that. You may want to manually check 
-   your saved files against the newer versions to see if the improvements have
-   merit, or whether there are new options that you may want to consider.
-   There are a number of new features, but most won't be available unless 
-   these features are incorporated into your configuration somehow.
-  </P
+>      Block .sitestat.com/. Reported by johnd16 in #3002725.
+     </P
 ></LI
 ><LI
 ><P
->     See the full documentation on 
-     <TT
-CLASS="LITERAL"
-><A
-HREF="actions-file.html#FAST-REDIRECTS"
->fast-redirects</A
-></TT
+>      Block .atemda.com/. Reported by johnd16 in #3002723.
+     </P
+></LI
+><LI
+><P
+>      Block js.adlink.net/. Reported by johnd16 in #3002720.
+     </P
+></LI
+><LI
+><P
+>      Block .analytics.yahoo.com/. Reported by johnd16 in #3002713.
+     </P
+></LI
+><LI
+><P
+>      Block sb.scorecardresearch.com, too. Reported by dg1727 in #2992652.
+     </P
+></LI
+><LI
+><P
+>      Fix problems noticed on Yahoo mail and news pages.
+     </P
+></LI
+><LI
+><P
+>      Remove the too broad yahoo section, only keeping the
+      fast-redirects exception as discussed on ijbswa-devel@.
+     </P
+></LI
+><LI
+><P
+>      Don't block adesklets.sourceforge.net. Reported in #2974204.
+     </P
+></LI
+><LI
+><P
+>      Block chartbeat ping tracking. Reported in #2975895.
+     </P
+></LI
+><LI
+><P
+>      Tag CSS and image requests with cautious and medium settings, too.
+     </P
+></LI
+><LI
+><P
+>      Don't handle view.atdmt.com as image. It's used for click-throughs
+      so users should be able to "go there anyway".
+      Reported by Adam Piggott in #2975927.
+     </P
+></LI
+><LI
+><P
+>      Also let the refresh-tags filter remove invalid refresh tags where
+      the 'url=' part is missing. Anonymously reported in #2986382.
+      While at it, update the description to mention the fact that only
+      refresh tags with refresh times above 9 seconds are covered.
+     </P
+></LI
+><LI
+><P
+>      javascript needs to be blocked with +handle-as-empty-document to
+      work around Firefox bug 492459.  So move .js blockers from
+      +block{Might be a web-bug.} -handle-as-empty-document
+      to
+      +block{Might be a web-bug.} +handle-as-empty-document
+     </P
+></LI
+><LI
+><P
+>      ijbswa-Feature Requests-3006719 - Block 160x578 Banners.
+     </P
+></LI
+><LI
+><P
+>      Block another omniture tracking domain
+     </P
+></LI
+><LI
+><P
+>      Added a range-requests tagger.
+     </P
+></LI
+><LI
+><P
+>      Added two sections to get Flickr's Ajax interface working with
+      default pre-settings. If you change the configuration to block
+      cookies by default, you'll need additional exceptions.
+      Reported by Mathias Homann in #3101419 and by Patrick on ijbswa-users@
+     </P
+></LI
+></UL
 >
-     which has changed syntax, and will require adjustments to local configs, 
-     such as <TT
-CLASS="FILENAME"
->user.action</TT
->. You must reference the new 
-     syntax: 
    </P
+></LI
+><LI
 ><P
-> <TABLE
-BORDER="0"
-BGCOLOR="#E0E0E0"
-WIDTH="90%"
-><TR
-><TD
-><PRE
-CLASS="SCREEN"
->  { +fast-redirects{check-decoded-url} }
-   .example.com
-   mybank.com
-   .google.</PRE
-></TD
-></TR
-></TABLE
+>    Documentation improvements:
+    <P
 ></P
+><UL
+><LI
+><P
+>      Explicitly mention how to match all URLs.
+     </P
 ></LI
 ><LI
 ><P
->     The <TT
-CLASS="FILENAME"
->jarfile</TT
->, 
-     <A
-HREF="http://en.wikipedia.org/wiki/Browser_cookie"
-TARGET="_top"
->cookie</A
-> logger, is off by default now.
-    </P
+>      Consistently recommend socks5 in the Tor FAQ entry and mention
+      its advantage compared to socks4a. Reported by David in #2960129.
+     </P
 ></LI
 ><LI
 ><P
->  
-   What constitutes a <SPAN
-CLASS="QUOTE"
->"default"</SPAN
-> configuration has changed, 
-   and you may want to review which actions are <SPAN
-CLASS="QUOTE"
->"on"</SPAN
-> by 
-   default. This is primarily a matter of emphasis, but some features 
-   you may have been used to, may now be <SPAN
-CLASS="QUOTE"
->"off"</SPAN
-> by default.
-   There are also a number of new actions and filters you may want to
-   consider, most of which are not fully incorporated into the default
-   settings as yet (see above).
-  </P
+>      Slightly improve the explanation of why filtering may appear
+      slower than it is.
+     </P
 ></LI
 ><LI
 ><P
->    The default actions setting is now <TT
-CLASS="LITERAL"
->Cautious</TT
->. Previous
-    releases had a default setting of <TT
-CLASS="LITERAL"
->Medium</TT
->. Experienced
-    users may want to adjust this, as it is fairly conservative by <SPAN
-CLASS="APPLICATION"
->Privoxy</SPAN
+>      Grammar fixes for the ACL section.
+     </P
+></LI
+></UL
 >
-    standards and past practices. See <A
-HREF="http://config.privoxy.org/edit-actions-list?f=default"
-TARGET="_top"
->    http://config.privoxy.org/edit-actions-list?f=default</A
->. New users
-    should try the default settings for a while before turning up the volume.
    </P
 ></LI
 ><LI
 ><P
->    The default setting has filtering turned <SPAN
-CLASS="emphasis"
-><I
-CLASS="EMPHASIS"
->off</I
-></SPAN
->, which
-    subsequently means that compression is <SPAN
-CLASS="emphasis"
-><I
-CLASS="EMPHASIS"
->on</I
-></SPAN
->. Remember
-    that filtering does not work on compressed pages, so if you use, or want to
-    use, filtering, you will need to force compression off. Example:
+>    Privoxy-Log-Parser improvements:
+    <P
+></P
+><UL
+><LI
+><P
+>      Also gather statistics for blocked and redirected requests.
+     </P
+></LI
+><LI
+><P
+>      Provide the percentage of keep-alive offers the client accepted.
+     </P
+></LI
+><LI
+><P
+>      Add a --url-statistics-threshold option.
+     </P
+></LI
+><LI
+><P
+>      Also gather statistics for ressources, methods, and HTTP versions
+      used by the client.
+     </P
+></LI
+><LI
+><P
+>      Add a --host-statistics-threshold option to also gather
+      statistics about how many request where made per host.
+     </P
+></LI
+><LI
+><P
+>      Fix a bug in handle_loglevel_header() where a 'scan: ' got lost.
+     </P
+></LI
+><LI
+><P
+>      Add a --shorten-thread-ids option to replace the thread id with
+      a decimal number.
+     </P
+></LI
+><LI
+><P
+>      Accept and ignore: Looks like we got the last chunk together
+      with the server headers. We better stop reading.
+     </P
+></LI
+><LI
+><P
+>      Accept and ignore: Continue hack in da house.
+     </P
+></LI
+><LI
+><P
+>      Accept and higlight: Rejecting connection from 10.0.0.2.
+      Maximum number of connections reached.
+     </P
+></LI
+><LI
+><P
+>      Accept and highlight: Loading actions file: /usr/local/etc/privoxy/default.action
+     </P
+></LI
+><LI
+><P
+>      Accept and highlight: Loading filter file: /usr/local/etc/privoxy/default.filter
+     </P
+></LI
+><LI
+><P
+>      Accept and highlight: Killed all-caps Host header line: HOST: bestproxydb.com
+     </P
+></LI
+><LI
+><P
+>      Accept and highlight: Reducing expected bytes to 0. Marking
+      the server socket tainted after throwing 4 bytes away.
+     </P
+></LI
+><LI
+><P
+>      Accept: Merged multiple header lines to: 'X-FORWARDED-PROTO: http X-HOST: 127.0.0.1'
+     </P
+></LI
+></UL
+>
    </P
+></LI
+><LI
 ><P
-> <TABLE
-BORDER="0"
-BGCOLOR="#E0E0E0"
-WIDTH="90%"
-><TR
-><TD
-><PRE
-CLASS="SCREEN"
->  { +<A
-HREF="actions-file.html#FILTER"
->filter</A
->{google}  +<A
-HREF="actions-file.html#PREVENT-COMPRESSION"
->prevent-compression</A
-> }
-   .google.</PRE
-></TD
-></TR
-></TABLE
+>    Code cleanups:
+    <P
+></P
+><UL
+><LI
+><P
+>      Remove the next member from the client_state struct. Only the main
+      thread needs access to all client states so give it its own struct.
+     </P
+></LI
+><LI
+><P
+>      Garbage-collect request_contains_null_bytes().
+     </P
+></LI
+><LI
+><P
+>      Ditch redundant code in unload_configfile().
+     </P
+></LI
+><LI
+><P
+>      Ditch LogGetURLUnderCursor() which doesn't seem to be used anywhere.
+     </P
+></LI
+><LI
+><P
+>      In write_socket(), remove the write-only variable write_len in
+      an ifdef __OS2__ block. Spotted by cppcheck.
+     </P
+></LI
+><LI
+><P
+>      In connect_to(), don't declare the variable 'flags' on OS/2 where
+      it isn't used. Spotted by cppcheck.
+     </P
+></LI
+><LI
+><P
+>      Limit the scope of various variables. Spotted by cppcheck.
+     </P
+></LI
+><LI
+><P
+>      In add_to_iob(), turn an interestingly looking for loop into a
+      boring while loop.
+     </P
+></LI
+><LI
+><P
+>      Code cleanup in preparation for external filters.
+     </P
+></LI
+><LI
+><P
+>      In listen_loop(), mention the socket on which we accepted the
+      connection, not just the source IP address.
+     </P
+></LI
+><LI
+><P
+>      In write_socket(), also log the socket we're writing to.
+     </P
+></LI
+><LI
+><P
+>      In log_error(), assert that escaped characters get logged
+      completely or not at all.
+     </P
+></LI
+><LI
+><P
+>      In log_error(), assert that ival and sval have reasonable values.
+      There's no reason not to abort() if they don't.
+     </P
+></LI
+><LI
+><P
+>      Remove an incorrect cgi_error_unknown() call in a
+      cannnot-happen-situation in send_crunch_response().
+     </P
+></LI
+><LI
+><P
+>      Clean up white-space in http_response definition and
+      move the crunch_reason to the beginning.
+     </P
+></LI
+><LI
+><P
+>      Turn http_response.reason into an enum and rename it
+      to http_response.crunch_reason.
+     </P
+></LI
+><LI
+><P
+>      Silence a 'gcc (Debian 4.3.2-1.1) 4.3.2' warning on i686 GNU/Linux.
+     </P
+></LI
+></UL
 >
    </P
+></LI
+><LI
 ><P
->    Or if you use a number of filters, or filter many sites, you may just want
-    to turn off compression for all sites in
-    <TT
-CLASS="FILENAME"
->default.action</TT
-> (or
-    <TT
-CLASS="FILENAME"
->user.action</TT
->). 
+>    GNUmakefile improvements:
+    <P
+></P
+><UL
+><LI
+><P
+>      Use $(SSH) instead of ssh, so one only needs to specify a username once.
+     </P
+></LI
+><LI
+><P
+>      Removed references to the action feedback thingy that hasn't been
+      working for years.
+     </P
+></LI
+><LI
+><P
+>      Consistently use shell.sourceforge.net instead of shell.sf.net so
+      one doesn't need to check server fingerprints twice.
+     </P
+></LI
+><LI
+><P
+>      Removed GNUisms in the webserver and webactions targets so they
+      work with standard tar.
+     </P
+></LI
+></UL
+>
    </P
 ></LI
+></UL
+></P
+><DIV
+CLASS="SECT2"
+><H2
+CLASS="SECT2"
+><A
+NAME="UPGRADERSNOTE"
+>3.1. Note to Upgraders</A
+></H2
+><P
+> A quick list of things to be aware of before upgrading from earlier 
+ versions of <SPAN
+CLASS="APPLICATION"
+>Privoxy</SPAN
+>:</P
+><P
+> <P
+></P
+><UL
+><LI
+><P
+>   The recommended way to upgrade <SPAN
+CLASS="APPLICATION"
+>Privoxy</SPAN
+> is to backup your old 
+   configuration files, install the new ones, verify that <SPAN
+CLASS="APPLICATION"
+>Privoxy</SPAN
+>
+   is working correctly and finally merge back your changes using
+   <SPAN
+CLASS="APPLICATION"
+>diff</SPAN
+> and maybe <SPAN
+CLASS="APPLICATION"
+>patch</SPAN
+>.
+  </P
+><P
+>   There are a number of new features in each <SPAN
+CLASS="APPLICATION"
+>Privoxy</SPAN
+> release and
+   most of them have to be explicitly enabled in the configuration
+   files. Old configuration files obviously don't do that and due
+   to syntax changes using old configuration files with a new
+   <SPAN
+CLASS="APPLICATION"
+>Privoxy</SPAN
+> isn't always possible anyway.
+  </P
+></LI
+><LI
+><P
+>  
+    Note that some installers remove earlier versions completely,
+    including configuration files, therefore you should really save
+    any important configuration files!
+  </P
+></LI
 ><LI
 ><P
->   Also, <A
-HREF="actions-file.html#SESSION-COOKIES-ONLY"
->session-cookies-only</A
-> is 
-   off by default now. If you've liked this feature in the past, you may want 
-   to turn it back on in <TT
+>  
+   On the other hand, other installers don't overwrite existing configuration 
+   files, thinking you will want to do that yourself.
+  </P
+></LI
+><LI
+><P
+>  
+   <TT
+CLASS="FILENAME"
+>standard.action</TT
+> has been merged into
+   the <TT
 CLASS="FILENAME"
->user.action</TT
-> now.
+>default.action</TT
+> file.
   </P
 ></LI
 ><LI
 ><P
->   
-   Some installers may not automatically start
-   <SPAN
+>   In the default configuration only fatal errors are logged now.
+   You can change that in the <A
+HREF="config.html#DEBUG"
+>debug section</A
+>
+   of the configuration file. You may also want to enable more verbose
+   logging until you verified that the new <SPAN
 CLASS="APPLICATION"
 >Privoxy</SPAN
-> after installation.
+> version is working
+   as expected.
   </P
 ></LI
+><LI
+><P
+>     Three other config file settings are now off by default: 
+     <A
+HREF="config.html#ENABLE-REMOTE-TOGGLE"
+>enable-remote-toggle</A
+>,
+     <A
+HREF="config.html#ENABLE-REMOTE-HTTP-TOGGLE"
+>enable-remote-http-toggle</A
+>,
+     and  <A
+HREF="config.html#ENABLE-EDIT-ACTIONS"
+>enable-edit-actions</A
+>. 
+     If you use or want these, you will need to explicitly enable them, and
+     be aware of the security issues involved. 
+    </P
+></LI
 ></UL
 ></P
 ></DIV
@@ -374,4 +766,4 @@ VALIGN="top"
 ></DIV
 ></BODY
 ></HTML
->
\ No newline at end of file
+>