Rebuilt with updated 'What's new?' section.
[privoxy.git] / doc / webserver / user-manual / whatsnew.html
index d07ea3f..2da4ebe 100644 (file)
@@ -7,7 +7,7 @@
 NAME="GENERATOR"
 CONTENT="Modular DocBook HTML Stylesheet Version 1.79"><LINK
 REL="HOME"
-TITLE="Privoxy 3.0.8 User Manual"
+TITLE="Privoxy 3.0.16 User Manual"
 HREF="index.html"><LINK
 REL="PREVIOUS"
 TITLE="Installation"
@@ -42,7 +42,7 @@ CELLSPACING="0"
 ><TH
 COLSPAN="3"
 ALIGN="center"
->Privoxy 3.0.8 User Manual</TH
+>Privoxy 3.0.16 User Manual</TH
 ></TR
 ><TR
 ><TD
@@ -82,211 +82,431 @@ NAME="WHATSNEW"
 >3. What's New in this Release</A
 ></H1
 ><P
-> There are many improvements and new features since <SPAN
+> <SPAN
 CLASS="APPLICATION"
->Privoxy 3.0.6</SPAN
->, the last stable release:</P
+>Privoxy 3.0.16</SPAN
+> is a stable release.
+ The changes since 3.0.15 beta are:</P
 ><P
 > <P
 ></P
 ><UL
 ><LI
 ><P
->    Two new actions <A
-HREF="actions-file.html#SERVER-HEADER-TAGGER"
->server-header-tagger</A
->
-          and <A
-HREF="actions-file.html#CLIENT-HEADER-TAGGER"
->client-header-tagger</A
->
-          that can be used to create arbitrary <SPAN
-CLASS="QUOTE"
->"tags"</SPAN
->
-          based on client and server headers.
-          These <SPAN
-CLASS="QUOTE"
->"tags"</SPAN
-> can then subsequently be used
-          to control the other actions used for the current request,
-          greatly increasing <SPAN
-CLASS="APPLICATION"
->Privoxy</SPAN
->'s flexibility and selectivity. See <A
-HREF="actions-file.html#TAG-PATTERN"
->tag patterns</A
-> for more information on tags.
+>    Added the config file option handle-as-empty-doc-returns-ok to
+    work around Firefox bug #492459, which causes Firefox to hang
+    if JavaScripts are blocked in certain situations. The option is
+    enabled in the default config file.
    </P
 ></LI
 ><LI
 ><P
->    Header filtering is done with dedicated header filters now. As a result
-    the actions <SPAN
-CLASS="QUOTE"
->"filter-client-headers"</SPAN
-> and <SPAN
-CLASS="QUOTE"
->"filter-server-headers"</SPAN
->
-    that were introduced with <SPAN
-CLASS="APPLICATION"
->Privoxy 3.0.5</SPAN
-> to apply
-    content filters to the headers have been removed.
-    See the new actions <A
-HREF="actions-file.html#SERVER-HEADER-FILTER"
->server-header-filter</A
->
-          and <A
-HREF="actions-file.html#CLIENT-HEADER-FILTER"
->client-header-filter</A
-> for details.
+>    Added the config option default-server-timeout to control the
+    assumed default server timeout. Since Privoxy no longer returns
+    an error message for connection resets on reused client connections,
+    assuming larger server timeout values appears to actually work
+    pretty well as long as connections aren't shared.
    </P
 ></LI
 ><LI
 ><P
->     There are four new options for the main <TT
-CLASS="FILENAME"
->config</TT
-> file:
+>    Added optional support for FreeBSD's accf_http(9). Use the
+    configure option --enable-accept-filter to enable it.
+   </P
+></LI
+><LI
+><P
+>    Added fancier Privoxy icons for win32. Contributed by Jeff H.
+   </P
+></LI
+><LI
+><P
+>    In daemon mode, fd 0, 1 and 2 are bound to /dev/null.
+   </P
+></LI
+><LI
+><P
+>    Resolve localhost using whatever address family the operating
+    system feels like. Previous betas would try to use IPv4 as this
+    is what most users expect, but this didn't work reliable on
+    GNU/Linux systems.
+   </P
+></LI
+><LI
+><P
+>    In the action lists on CGI pages, actions and their parameters are
+    no longer separated with a space. The action file parser doesn't
+    actually allow this and will throw an invalid syntax error if actions
+    and parameters in the action files are separated. Not adding the
+    spaces means copy and pasting CGI output into the action files works.
+   </P
+></LI
+><LI
+><P
+>    The default keep-alive timeout has been reduced to 5 seconds to work
+    around hangs in clients that treat the proxy like any other host and
+    stop allowing any new connections if the "maximum number of
+    connections per host" is reached.
+   </P
+></LI
+><LI
+><P
+>    Several webbug URLs that look like they are leading to images are now
+    blocked as image instead of empty documents. Doing the latter causes
+    WebKit-based clients to show a "missing image" icon which may mess up
+    the layout.
+   </P
+></LI
+><LI
+><P
+>    Accepts quoted expiration dates even though RFC 2109 10.1.2
+    doesn't seem to allow them. Reported anonymously.
+   </P
+></LI
+><LI
+><P
+>    Don't try to forget connections if connection sharing is disabled.
+    This wasn't a real problem but caused an unnecessary log message.
+   </P
+></LI
+><LI
+><P
+>    The still undocumented --enable-extended-host-patterns configure
+    option has a better description.
+   </P
+></LI
+><LI
+><P
+>    Fixed an error message that would claim a write to the server
+    failed when actually writing to the client failed.
+   </P
+></LI
+><LI
+><P
+>    Log the crunch reason before trying to write to the client.
+    The log is easier to read that way.
+   </P
+></LI
+><LI
+><P
+>    Several log messages about client connections also mention
+    the socket number.
+   </P
+></LI
+><LI
+><P
+>    handle-as-empty-document no longer depends on the image blocking
+    code being enabled.
+   </P
+></LI
+><LI
+><P
+>    Privoxy-Log-Parser is roughly 40% faster in highlighting mode.
+   </P
+></LI
+><LI
+><P
+>    uagen, a Firefox User-Agent generator for Privoxy and Mozilla
+    browsers has been imported and is available in the tarballs
+    tools directory.
+   </P
+></LI
+><LI
+><P
+>    The scripts in the tools directory treat unknown parameters
+    as fatal errors.
    </P
+></LI
+></UL
+></P
+><P
+> If you missed the previous two beta versions, you may also be
+ interested in the additional changes since 3.0.12, the
+ last stable release:</P
 ><P
+> <P
 ></P
 ><UL
 ><LI
 ><P
->          <A
-HREF="config.html#ALLOW-CGI-REQUEST-CRUNCHING"
->allow-cgi-request-crunching</A
->
-          which allows requests for Privoxy's internal CGI pages to be
-          blocked, redirected or (un)trusted like ordinary requests.
-        </P
+>    Added IPv6 support. Thanks to Petr Pisar who not only provided
+    the initial patch but also helped a lot with the integration.
+   </P
 ></LI
 ><LI
 ><P
->          <A
-HREF="config.html#SPLIT-LARGE-FORMS"
->split-large-forms</A
->
-          that will work around a browser bug that caused IE6 and IE7 to
-          ignore the Submit button on the Privoxy's edit-actions-for-url CGI
-          page.
-          </P
+>    Added client-side keep-alive support.
+   </P
 ></LI
 ><LI
 ><P
->          <A
-HREF="config.html#ACCEPT-INTERCEPTED-REQUESTS"
->accept-intercepted-requests</A
->
-          which allows to combine Privoxy with any packet filter to create an
-          intercepting proxy for HTTP/1.1 requests (and for HTTP/1.0 requests
-          with Host header set). This means clients can be forced to use
-          <SPAN
-CLASS="APPLICATION"
->Privoxy</SPAN
-> even if their proxy settings are configured differently.
-         </P
+>    The connection sharing code is only used if the connection-sharing
+    option is enabled.
+   </P
 ></LI
 ><LI
 ><P
->          <A
-HREF="config.html#TEMPLDIR"
->templdir</A
->
-          to designate an alternate location for <SPAN
-CLASS="APPLICATION"
->Privoxy</SPAN
->'s 
-          locally customized CGI templates so that
-          these are not overwritten during upgrades.         
-        </P
+>    The latency is taken into account when evaluating whether or not to
+    reuse a connection. This should significantly reduce the number of
+    connections problems several users reported.
+   </P
 ></LI
-></UL
+><LI
+><P
+>    The max-client-connections option has been added to restrict
+    the number of client connections below a value enforced by
+    the operating system.
+   </P
 ></LI
 ><LI
 ><P
->   A new command line option <TT
-CLASS="LITERAL"
->--pre-chroot-nslookup hostname</TT
-> to
-   initialize the resolver library before chroot'ing. On some systems this
-   reduces the number of files that must be copied into the chroot tree.
-   (Patch provided by Stephen Gildea)
+>    If the server doesn't specify how long the connection stays alive,
+    Privoxy errs on the safe side of caution and assumes it's only a second.
    </P
 ></LI
 ><LI
 ><P
->     The <A
-HREF="actions-file.html#FORWARD-OVERRIDE"
->forward-override</A
-> action 
-     allows changing of the forwarding settings through the actions files.
-     Combined with tags, this allows to choose the forwarder based on
-     client headers like the <TT
-CLASS="LITERAL"
->User-Agent</TT
->, or the request origin.
-  </P
+>    Setting keep-alive-timeout to 0 disables keep-alive support. Previously
+    Privoxy would claim to allow persistence but not reuse the connection.
+   </P
 ></LI
 ><LI
 ><P
->     The  <A
-HREF="actions-file.html#REDIRECT"
->redirect</A
-> action can now use regular
-          expression substitutions against the original URL.
+>    Pipelined requests are less likely to be mistaken for the request
+    body of the previous request. Note that Privoxy still has no real
+    pipeline support and will either serialize pipelined requests or
+    drop them in which case the client has to resent them.
    </P
 ></LI
 ><LI
 ><P
->     <SPAN
-CLASS="APPLICATION"
->zlib</SPAN
-> support is now available as a compile
-     time option to filter compressed content. Patch provided by Wil Mahan.
+>    Fixed a crash on some Windows versions when header randomization
+    is enabled and the date couldn't be parsed.
    </P
 ></LI
 ><LI
 ><P
->     Improve various filters, and add new ones.
+>    Privoxy's keep-alive timeout for the current connection is reduced
+    to the one specified in the client's Keep-Alive header.
    </P
 ></LI
 ><LI
 ><P
->    Include support for RFC 3253 so that <TT
-CLASS="FILENAME"
->Subversion</TT
-> works
-    with <SPAN
-CLASS="APPLICATION"
->Privoxy</SPAN
->. Patch provided by Petr Kadlec.
+>    For HTTP/1.1 requests, Privoxy implies keep-alive support by not
+    setting any Connection header instead of using 'Connection: keep-alive'.
+   </P
+></LI
+><LI
+><P
+>    If the socket isn't reusable, Privoxy doesn't temporarily waste
+    a socket slot to remember the connection.
+   </P
+></LI
+><LI
+><P
+>    If keep-alive support is disabled but compiled in, the client's
+    Keep-Alive header is removed.
+   </P
+></LI
+><LI
+><P
+>    Fixed a bug on mingw32 where downloading large files failed if
+    keep-alive support was enabled.
    </P
 ></LI
 ><LI
 ><P
->     Logging can be completely turned off by not specifying a logfile directive.
+>    Fixed a bug that (at least theoretically) could cause log
+    timestamps to be occasionally off by about a second.
    </P
 ></LI
 ><LI
 ><P
->     A number of improvements to Privoxy's internal CGI pages, including the
-     use of favicons for error and control pages.
+>    The configure script respects the $PATH variable when searching
+    for groups and id.
    </P
 ></LI
 ><LI
 ><P
->     Many bugfixes, memory leaks addressed, code improvements, and logging 
-     improvements.
+>    Compressed content with extra fields couldn't be decompressed
+    and would get passed to the client unfiltered. This problem
+    has only be detected through statical analysis with clang as
+    nobody seems to be using extra fields anyway.
+   </P
+></LI
+><LI
+><P
+>    If the server resets the Connection after sending only the headers
+    Privoxy forwards what it got to the client. Previously Privoxy
+    would deliver an error message instead.
+   </P
+></LI
+><LI
+><P
+>    Error messages in case of connection timeouts use the right
+    HTTP status code.
+   </P
+></LI
+><LI
+><P
+>    If spawning a child to handle a request fails, the client
+    gets an error message and Privoxy continues to listen for
+    new requests right away.
+   </P
+></LI
+><LI
+><P
+>    The error messages in case of server-connection timeouts or
+    prematurely closed server connections are now template-based.
+   </P
+></LI
+><LI
+><P
+>    If zlib support isn't compiled in, Privoxy no longer tries to
+    filter compressed content unless explicitly asked to do so.
+   </P
+></LI
+><LI
+><P
+>    In case of connections that are denied based on ACL directives,
+    the memory used for the client IP is no longer leaked.
+   </P
+></LI
+><LI
+><P
+>    Fixed another small memory leak if the client request times out
+    while waiting for client headers other than the request line.
+   </P
+></LI
+><LI
+><P
+>    The client socket is kept open until the server socket has
+    been marked as unused. This should increase the chances that
+    the still-open connection will be reused for the client's next
+    request to the same destination. Note that this only matters
+    if connection-sharing is enabled.
+   </P
+></LI
+><LI
+><P
+>    A TODO list has been added to the source tarballs to give potential
+    volunteers a better idea of what the current goals are. Donations
+    are still welcome too: http://www.privoxy.org/faq/general.html#DONATE
+   </P
+></LI
+><LI
+><P
+>    In case of missing server data, no error message is send to the
+    client if the request arrived on a reused connection. The client
+    is then supposed to silently retry the request without bothering
+    the user. This should significantly reduce the frequency of the
+    "No server or forwarder data received" error message many users
+    reported.
+   </P
+></LI
+><LI
+><P
+>    More reliable detection of prematurely closed client sockets
+    with keep-alive enabled.
+   </P
+></LI
+><LI
+><P
+>    FEATURE_CONNECTION_KEEP_ALIVE is decoupled from
+    FEATURE_CONNECTION_SHARING and now available on
+    all platforms.
+   </P
+></LI
+><LI
+><P
+>    Improved handling of POST requests on reused connections.
+    Should fix problems with stalled connections after submitting
+    form data with some browser configurations.
+   </P
+></LI
+><LI
+><P
+>    Fixed various latency calculation issues.
+   </P
+></LI
+><LI
+><P
+>    Allows the client to pass NTLM authentication requests to a
+    forwarding proxy. This was already assumed and hinted to work
+    in 3.0.13 beta but actually didn't. Now it's confirmed to work
+    with IE, Firefox and Chrome.
+    Thanks to Francois Botha and Wan-Teh Chang
+   </P
+></LI
+><LI
+><P
+>    Fixed a calculation problem if receiving the server headers
+    takes more than two reads, that could cause Privoxy to terminate
+    the connection prematurely. Reported by Oliver.
+   </P
+></LI
+><LI
+><P
+>    Compiles again on platforms such as OpenBSD and systems
+    using earlier glibc version that don't support AI_ADDRCONFIG.
+    Anonymously submitted in #2872591.
+   </P
+></LI
+><LI
+><P
+>    A bunch of MS VC project files and Suse and Redhat RPM spec
+    files have been removed as they were no longer maintained for
+    quite some time.
+   </P
+></LI
+><LI
+><P
+>    Overly long action lines are properly rejected with a proper
+    error message. Previously they would be either rejected as
+    invalid or cause a core dump through abort().
+   </P
+></LI
+><LI
+><P
+>    Already timed-out connections are no longer temporarily remembered.
+    They weren't reused anyway, but wasted a socket slot.
+   </P
+></LI
+><LI
+><P
+>    len refers to the number of bytes actually read which might
+    differ from the ones received. Adjust log messages accordingly.
+   </P
+></LI
+><LI
+><P
+>    The optional JavaScript on the CGI page uses encodeURIComponent()
+    instead of escape() which doesn't encode all characters that matter.
+    Anonymously reported in #2832722.
+   </P
+></LI
+><LI
+><P
+>    Fix gcc45 warnings in decompress_iob().
+   </P
+></LI
+><LI
+><P
+>    Various log message improvements.
+   </P
+></LI
+><LI
+><P
+>    Privoxy-Regression-Test supports redirect tests.
+   </P
+></LI
+><LI
+><P
+>    Privoxy-Log-Parser can gather some connection statistics.
    </P
 ></LI
 ></UL
 ></P
-><P
-> For a more detailed list of changes please have a look at the ChangeLog.</P
 ><DIV
 CLASS="SECT2"
 ><H2
@@ -359,8 +579,11 @@ CLASS="APPLICATION"
    <TT
 CLASS="FILENAME"
 >standard.action</TT
-> now only includes the enabled actions.
-   Not all actions as before.
+> has been merged into
+   the <TT
+CLASS="FILENAME"
+>default.action</TT
+> file.
   </P
 ></LI
 ><LI
@@ -397,27 +620,6 @@ HREF="config.html#ENABLE-EDIT-ACTIONS"
      be aware of the security issues involved. 
     </P
 ></LI
-><LI
-><P
->    The <SPAN
-CLASS="QUOTE"
->"filter-client-headers"</SPAN
-> and
-    <SPAN
-CLASS="QUOTE"
->"filter-server-headers"</SPAN
-> actions that were introduced with
-    <SPAN
-CLASS="APPLICATION"
->Privoxy 3.0.5</SPAN
-> to apply content filters to
-    the headers  have been removed and replaced with new actions.
-    See the <A
-HREF="whatsnew.html"
->What's New section</A
-> above.
-   </P
-></LI
 ></UL
 ></P
 ></DIV
@@ -482,4 +684,4 @@ VALIGN="top"
 ></DIV
 ></BODY
 ></HTML
->
\ No newline at end of file
+>