Rebuilt with updated 'What's new?' section.
[privoxy.git] / doc / webserver / user-manual / whatsnew.html
index b894a66..2da4ebe 100644 (file)
@@ -7,7 +7,7 @@
 NAME="GENERATOR"
 CONTENT="Modular DocBook HTML Stylesheet Version 1.79"><LINK
 REL="HOME"
-TITLE="Privoxy 3.0.9 User Manual"
+TITLE="Privoxy 3.0.16 User Manual"
 HREF="index.html"><LINK
 REL="PREVIOUS"
 TITLE="Installation"
@@ -42,7 +42,7 @@ CELLSPACING="0"
 ><TH
 COLSPAN="3"
 ALIGN="center"
->Privoxy 3.0.9 User Manual</TH
+>Privoxy 3.0.16 User Manual</TH
 ></TR
 ><TR
 ><TD
@@ -82,182 +82,431 @@ NAME="WHATSNEW"
 >3. What's New in this Release</A
 ></H1
 ><P
-> There are many improvements and new features since <SPAN
+> <SPAN
 CLASS="APPLICATION"
->Privoxy 3.0.8</SPAN
->, the last stable release:</P
+>Privoxy 3.0.16</SPAN
+> is a stable release.
+ The changes since 3.0.15 beta are:</P
 ><P
 > <P
 ></P
 ><UL
 ><LI
 ><P
->    Added SOCKS5 support (with address resolution done by
-    the SOCKS5 server). Patch provided by Eric M. Hopper.
+>    Added the config file option handle-as-empty-doc-returns-ok to
+    work around Firefox bug #492459, which causes Firefox to hang
+    if JavaScripts are blocked in certain situations. The option is
+    enabled in the default config file.
    </P
 ></LI
 ><LI
 ><P
->    The "blocked" CGI pages include a block reason that was
-    provided as argument to the last-applying block action.
+>    Added the config option default-server-timeout to control the
+    assumed default server timeout. Since Privoxy no longer returns
+    an error message for connection resets on reused client connections,
+    assuming larger server timeout values appears to actually work
+    pretty well as long as connections aren't shared.
    </P
 ></LI
 ><LI
 ><P
->    If enable-edit-actions is disabled (the default since 3.0.7 beta)
-    the show-status page hides the edit buttons and explains why.
-    Previously the user would get the "this feature has been disabled"
-    message after using the edit button.
+>    Added optional support for FreeBSD's accf_http(9). Use the
+    configure option --enable-accept-filter to enable it.
    </P
 ></LI
 ><LI
 ><P
->    Forbidden CONNECT requests are treated like blocks by default.
-    The now-pointless treat-forbidden-connects-like-blocks action
-    has been removed.
+>    Added fancier Privoxy icons for win32. Contributed by Jeff H.
    </P
 ></LI
 ><LI
 ><P
->    Not enabling limit-connect now allows CONNECT requests to all ports.
-    In previous versions it would only allow CONNECT requests to port 443.
-    Use +limit-connect{443} if you think you need the old default behaviour.
+>    In daemon mode, fd 0, 1 and 2 are bound to /dev/null.
    </P
 ></LI
 ><LI
 ><P
->    The CGI editor gets turned off after three edit requests with invalid
-    file modification timestamps. This makes life harder for attackers
-    who can leverage browser bugs to send fake Referers and intend to
-    brute-force edit URLs.
+>    Resolve localhost using whatever address family the operating
+    system feels like. Previous betas would try to use IPv4 as this
+    is what most users expect, but this didn't work reliable on
+    GNU/Linux systems.
    </P
 ></LI
 ><LI
 ><P
->    Action settings for multiple patterns in the same section are
-    shared in memory. As a result these sections take up less space
-    (and are loaded slightly faster). Problem reported by Franz Schwartau.
+>    In the action lists on CGI pages, actions and their parameters are
+    no longer separated with a space. The action file parser doesn't
+    actually allow this and will throw an invalid syntax error if actions
+    and parameters in the action files are separated. Not adding the
+    spaces means copy and pasting CGI output into the action files works.
    </P
 ></LI
 ><LI
 ><P
->    Linear white space in HTTP headers will be normalized to single
-    spaces before parsing the header's content, headers split across
-    multiple lines get merged first.
+>    The default keep-alive timeout has been reduced to 5 seconds to work
+    around hangs in clients that treat the proxy like any other host and
+    stop allowing any new connections if the "maximum number of
+    connections per host" is reached.
    </P
 ></LI
 ><LI
 ><P
->    Host information is gathered outside the main thread so it's less
-    likely to delay other incoming connections if the host is misconfigured.
+>    Several webbug URLs that look like they are leading to images are now
+    blocked as image instead of empty documents. Doing the latter causes
+    WebKit-based clients to show a "missing image" icon which may mess up
+    the layout.
    </P
 ></LI
 ><LI
 ><P
->    New config option "hostname" to use a hostname other than
-    the one returned by the operating system. Useful to speed-up responses
-    for CGI requests on misconfigured systems. Requested by Max Khon.
+>    Accepts quoted expiration dates even though RFC 2109 10.1.2
+    doesn't seem to allow them. Reported anonymously.
    </P
 ></LI
 ><LI
 ><P
->    The CGI editor supports the "disable all filters of this type"
-    directives "-client-header-filter", "-server-header-filter",
-    "-client-header-tagger" and "-server-header-tagger".
+>    Don't try to forget connections if connection sharing is disabled.
+    This wasn't a real problem but caused an unnecessary log message.
    </P
 ></LI
 ><LI
 ><P
->    Fixed false-positives with the link-by-url filter and URLs that
-    contain the pattern "/jump/".
+>    The still undocumented --enable-extended-host-patterns configure
+    option has a better description.
    </P
 ></LI
 ><LI
 ><P
->    The less-download-windows filter no longer messes
-    "Content-Type: application/x-shockwave-flash" headers up.
+>    Fixed an error message that would claim a write to the server
+    failed when actually writing to the client failed.
    </P
 ></LI
 ><LI
 ><P
->    In the show-url-info page's "Final results" section active and
-    inactive actions are listed separately. Patch provided by Lee.
+>    Log the crunch reason before trying to write to the client.
+    The log is easier to read that way.
    </P
 ></LI
 ><LI
 ><P
->    The GNUmakefile supports the DESTDIR variable. Patch for
-    the install target submitted by Radoslaw Zielinski.
+>    Several log messages about client connections also mention
+    the socket number.
    </P
 ></LI
 ><LI
 ><P
->    Embedding the content of configuration files in the show-status
-    page is significantly faster now. For a largish action file (1 MB)
-    a speedup of about 2450 times has been measured. This is mostly
-    interesting if you are using large action files or regularly use
-    Privoxy-Regression-Test while running Privoxy through Valgrind,
-    for stock configuration files it doesn't really matter.
+>    handle-as-empty-document no longer depends on the image blocking
+    code being enabled.
    </P
 ></LI
 ><LI
 ><P
->    If zlib support is unavailable and there are content
-    filters active but the prevent-compression action is disabled,
-    the show-url-info page includes a warning that compression
-    might prevent filtering.
+>    Privoxy-Log-Parser is roughly 40% faster in highlighting mode.
    </P
 ></LI
 ><LI
 ><P
->    The show-url-info page provides an OpenSearch Description that
-    allows to access the page through browser search plugins.
+>    uagen, a Firefox User-Agent generator for Privoxy and Mozilla
+    browsers has been imported and is available in the tarballs
+    tools directory.
    </P
 ></LI
 ><LI
 ><P
->    The obsolete kill-popups action has been removed as the
-    PCRS-based popup filters can do the same and are slightly
-    less unreliable.
+>    The scripts in the tools directory treat unknown parameters
+    as fatal errors.
+   </P
+></LI
+></UL
+></P
+><P
+> If you missed the previous two beta versions, you may also be
+ interested in the additional changes since 3.0.12, the
+ last stable release:</P
+><P
+> <P
+></P
+><UL
+><LI
+><P
+>    Added IPv6 support. Thanks to Petr Pisar who not only provided
+    the initial patch but also helped a lot with the integration.
+   </P
+></LI
+><LI
+><P
+>    Added client-side keep-alive support.
+   </P
+></LI
+><LI
+><P
+>    The connection sharing code is only used if the connection-sharing
+    option is enabled.
+   </P
+></LI
+><LI
+><P
+>    The latency is taken into account when evaluating whether or not to
+    reuse a connection. This should significantly reduce the number of
+    connections problems several users reported.
+   </P
+></LI
+><LI
+><P
+>    The max-client-connections option has been added to restrict
+    the number of client connections below a value enforced by
+    the operating system.
+   </P
+></LI
+><LI
+><P
+>    If the server doesn't specify how long the connection stays alive,
+    Privoxy errs on the safe side of caution and assumes it's only a second.
+   </P
+></LI
+><LI
+><P
+>    Setting keep-alive-timeout to 0 disables keep-alive support. Previously
+    Privoxy would claim to allow persistence but not reuse the connection.
+   </P
+></LI
+><LI
+><P
+>    Pipelined requests are less likely to be mistaken for the request
+    body of the previous request. Note that Privoxy still has no real
+    pipeline support and will either serialize pipelined requests or
+    drop them in which case the client has to resent them.
+   </P
+></LI
+><LI
+><P
+>    Fixed a crash on some Windows versions when header randomization
+    is enabled and the date couldn't be parsed.
+   </P
+></LI
+><LI
+><P
+>    Privoxy's keep-alive timeout for the current connection is reduced
+    to the one specified in the client's Keep-Alive header.
    </P
 ></LI
 ><LI
 ><P
->    The inspect-jpegs action has been removed.
+>    For HTTP/1.1 requests, Privoxy implies keep-alive support by not
+    setting any Connection header instead of using 'Connection: keep-alive'.
    </P
 ></LI
 ><LI
 ><P
->    The send-wafer and send-vanilla-wafer actions have been removed.
-    They weren't particular useful and their behaviour could be emulated
-    with add-header anyway.
+>    If the socket isn't reusable, Privoxy doesn't temporarily waste
+    a socket slot to remember the connection.
    </P
 ></LI
 ><LI
 ><P
->    Privoxy-Regression-Test has been significantly improved.
+>    If keep-alive support is disabled but compiled in, the client's
+    Keep-Alive header is removed.
    </P
 ></LI
 ><LI
 ><P
->    Most sections in the default.action file contain tests for
-    Privoxy-Regression-Test to verify that they are working as intended.
+>    Fixed a bug on mingw32 where downloading large files failed if
+    keep-alive support was enabled.
    </P
 ></LI
 ><LI
 ><P
->    Parts of Privoxy have been refactored to increase maintainability.
+>    Fixed a bug that (at least theoretically) could cause log
+    timestamps to be occasionally off by about a second.
    </P
 ></LI
 ><LI
 ><P
->    Building with zlib (if available) is done by default.
+>    The configure script respects the $PATH variable when searching
+    for groups and id.
+   </P
+></LI
+><LI
+><P
+>    Compressed content with extra fields couldn't be decompressed
+    and would get passed to the client unfiltered. This problem
+    has only be detected through statical analysis with clang as
+    nobody seems to be using extra fields anyway.
+   </P
+></LI
+><LI
+><P
+>    If the server resets the Connection after sending only the headers
+    Privoxy forwards what it got to the client. Previously Privoxy
+    would deliver an error message instead.
+   </P
+></LI
+><LI
+><P
+>    Error messages in case of connection timeouts use the right
+    HTTP status code.
+   </P
+></LI
+><LI
+><P
+>    If spawning a child to handle a request fails, the client
+    gets an error message and Privoxy continues to listen for
+    new requests right away.
+   </P
+></LI
+><LI
+><P
+>    The error messages in case of server-connection timeouts or
+    prematurely closed server connections are now template-based.
+   </P
+></LI
+><LI
+><P
+>    If zlib support isn't compiled in, Privoxy no longer tries to
+    filter compressed content unless explicitly asked to do so.
+   </P
+></LI
+><LI
+><P
+>    In case of connections that are denied based on ACL directives,
+    the memory used for the client IP is no longer leaked.
+   </P
+></LI
+><LI
+><P
+>    Fixed another small memory leak if the client request times out
+    while waiting for client headers other than the request line.
+   </P
+></LI
+><LI
+><P
+>    The client socket is kept open until the server socket has
+    been marked as unused. This should increase the chances that
+    the still-open connection will be reused for the client's next
+    request to the same destination. Note that this only matters
+    if connection-sharing is enabled.
+   </P
+></LI
+><LI
+><P
+>    A TODO list has been added to the source tarballs to give potential
+    volunteers a better idea of what the current goals are. Donations
+    are still welcome too: http://www.privoxy.org/faq/general.html#DONATE
+   </P
+></LI
+><LI
+><P
+>    In case of missing server data, no error message is send to the
+    client if the request arrived on a reused connection. The client
+    is then supposed to silently retry the request without bothering
+    the user. This should significantly reduce the frequency of the
+    "No server or forwarder data received" error message many users
+    reported.
+   </P
+></LI
+><LI
+><P
+>    More reliable detection of prematurely closed client sockets
+    with keep-alive enabled.
+   </P
+></LI
+><LI
+><P
+>    FEATURE_CONNECTION_KEEP_ALIVE is decoupled from
+    FEATURE_CONNECTION_SHARING and now available on
+    all platforms.
+   </P
+></LI
+><LI
+><P
+>    Improved handling of POST requests on reused connections.
+    Should fix problems with stalled connections after submitting
+    form data with some browser configurations.
+   </P
+></LI
+><LI
+><P
+>    Fixed various latency calculation issues.
+   </P
+></LI
+><LI
+><P
+>    Allows the client to pass NTLM authentication requests to a
+    forwarding proxy. This was already assumed and hinted to work
+    in 3.0.13 beta but actually didn't. Now it's confirmed to work
+    with IE, Firefox and Chrome.
+    Thanks to Francois Botha and Wan-Teh Chang
+   </P
+></LI
+><LI
+><P
+>    Fixed a calculation problem if receiving the server headers
+    takes more than two reads, that could cause Privoxy to terminate
+    the connection prematurely. Reported by Oliver.
+   </P
+></LI
+><LI
+><P
+>    Compiles again on platforms such as OpenBSD and systems
+    using earlier glibc version that don't support AI_ADDRCONFIG.
+    Anonymously submitted in #2872591.
+   </P
+></LI
+><LI
+><P
+>    A bunch of MS VC project files and Suse and Redhat RPM spec
+    files have been removed as they were no longer maintained for
+    quite some time.
+   </P
+></LI
+><LI
+><P
+>    Overly long action lines are properly rejected with a proper
+    error message. Previously they would be either rejected as
+    invalid or cause a core dump through abort().
+   </P
+></LI
+><LI
+><P
+>    Already timed-out connections are no longer temporarily remembered.
+    They weren't reused anyway, but wasted a socket slot.
+   </P
+></LI
+><LI
+><P
+>    len refers to the number of bytes actually read which might
+    differ from the ones received. Adjust log messages accordingly.
+   </P
+></LI
+><LI
+><P
+>    The optional JavaScript on the CGI page uses encodeURIComponent()
+    instead of escape() which doesn't encode all characters that matter.
+    Anonymously reported in #2832722.
+   </P
+></LI
+><LI
+><P
+>    Fix gcc45 warnings in decompress_iob().
+   </P
+></LI
+><LI
+><P
+>    Various log message improvements.
+   </P
+></LI
+><LI
+><P
+>    Privoxy-Regression-Test supports redirect tests.
+   </P
+></LI
+><LI
+><P
+>    Privoxy-Log-Parser can gather some connection statistics.
    </P
 ></LI
 ></UL
 ></P
-><P
-> For a more detailed list of changes please have a look at the ChangeLog.</P
 ><DIV
 CLASS="SECT2"
 ><H2
@@ -330,8 +579,11 @@ CLASS="APPLICATION"
    <TT
 CLASS="FILENAME"
 >standard.action</TT
-> now only includes the enabled actions.
-   Not all actions as before.
+> has been merged into
+   the <TT
+CLASS="FILENAME"
+>default.action</TT
+> file.
   </P
 ></LI
 ><LI
@@ -368,27 +620,6 @@ HREF="config.html#ENABLE-EDIT-ACTIONS"
      be aware of the security issues involved. 
     </P
 ></LI
-><LI
-><P
->    The <SPAN
-CLASS="QUOTE"
->"filter-client-headers"</SPAN
-> and
-    <SPAN
-CLASS="QUOTE"
->"filter-server-headers"</SPAN
-> actions that were introduced with
-    <SPAN
-CLASS="APPLICATION"
->Privoxy 3.0.5</SPAN
-> to apply content filters to
-    the headers  have been removed and replaced with new actions.
-    See the <A
-HREF="whatsnew.html"
->What's New section</A
-> above.
-   </P
-></LI
 ></UL
 ></P
 ></DIV
@@ -453,4 +684,4 @@ VALIGN="top"
 ></DIV
 ></BODY
 ></HTML
->
\ No newline at end of file
+>