Update for 3.0.17 release
[privoxy.git] / doc / webserver / announce.txt
index 1210ca7..14cedb2 100644 (file)
-                 Announcing Privoxy v.3.0.11
+              Announcing Privoxy v.3.0.17 stable
 -----------------------------------------------------------------
 
 -----------------------------------------------------------------
 
-3.0.11 is a stable release which includes many enhancements but no major 
-new features. The most prominent new feature is support for "keep-alive"
-connection. There are many small improvements.
+This is mainly a bug-fix release for the previously released Privoxy 3.0.16.
 
 
-See http://www.privoxy.org/3.0.11/user-manual/whatsnew.html for details.
+It contains fixes for two bugs that could cause connections to hang under
+certain circumstances when keep-alive support was enabled, until they timed
+out or where closed by the server.
+
+See http://www.privoxy.org/3.0.17/user-manual/whatsnew.html for details.
 
 --------------------------------------------------------------------
 ChangeLog for Privoxy
 --------------------------------------------------------------------
 
 --------------------------------------------------------------------
 ChangeLog for Privoxy
 --------------------------------------------------------------------
-
-*** Version 3.0.11 ***
-       
-- On most platforms, outgoing connections can be kept alive and
-  reused if the server supports it. Whether or not this improves
-  things depends on the connection.
-- When dropping privileges, membership in supplementary groups
-  is given up as well. Not doing that can lead to Privoxy running
-  with more rights than necessary and violates the principle of
-  least privilege. Users of the --user option are advised to update.
-  Thanks to Matthias Drochner for reporting the problem,
-  providing the initial patch and testing the final version.
-- Passing invalid users or groups with the --user option
-  didn't lead to program exit. Regression introduced in 3.0.7.
-- The match all section has been moved from default.action
-  to a new file called match-all.action. As a result the
-  default.action no longer needs to be touched by the user
-  and can be safely overwritten by updates.
-- The standard.action file has been removed. Its content
-  is now part of the default.action file.
-- In some situations the logged content length was slightly too low.
-- Crunched requests are logged with their own log level.
-  If you used "debug 1" in the past, you'll probably want
-  to additionally enable "debug 1024", otherwise only passed
-  requests will be logged. If you only care about crunched
-  requests, simply replace "debug 1" with "debug 1024".
-- The crunch reason has been moved to the beginning of the
-  crunch message. For HTTP URLs, the protocol is logged as well.
-- Log messages are shortened by printing the thread id on its
-  own (as opposed to putting it inside the string "Privoxy()").
-- The config option socket-timeout has been added to control
-  the time Privoxy waits for data to arrive on a socket.
-- Support for remote toggling is controlled by the configure
-  option --disable-toggle only. In previous versions it also
-  depended on the action editor and thus configuring with the
-  --disable-editor option would disable remote toggling support
-  as well.
-- Requests with invalid HTTP versions are rejected.
-- The template symbol @date@ can be used to include a date(1)-like
-  time string. Initial patch submitted by Endre Szabo.
-- Responses from shoutcast servers are accepted again.
-  Problem reported and fix suggested by Stefan.
-- The hide-forwarded-for-headers action has been replaced with
-  the change-x-forwarded-for{} action which can also be used to
-  add X-Forwarded-For headers. The latter functionality already
-  existed in Privoxy versions prior to 3.0.7 but has been removed
-  as it was often used unintentionally (by not using the
-  hide-forwarded-for-headers action).
-- A "clear log" view option was added to the mingw32 version
-  to clear out all of the lines in the Privoxy log window.
-  Based on a patch submitted by T Ford.
-- The mingw32 version uses "critical sections" now, which prevents
-  log message corruption under load. As a side effect, the
-  "no thread-safe PRNG" warning could be removed as well.
-- The mingw32 version's task bar icon is crossed out and
-  the color changed to gray if Privoxy is toggled off.
+*** Version 3.0.17 Stable ***
+
+- Fixed last-chunk-detection for responses where the content was small
+  enough to be read with the body, causing Privoxy to wait for the
+  end of the content until the server closed the connection.
+  Reported by "Karsten" in #3028326.
+- Responses with status code 204 weren't properly detected as body-less
+  like RFC2616 mandates. Like the previous bug, this caused Privoxy
+  to wait for the end of the content until the server closed the connection.
+  Fixes #3022042 and #3025553, reported by a user with no visible name.
+  Most likely also fixes a bunch of other AJAX-related problem reports
+  that got closed in the past due to insufficient information and lack
+  of feedback.
+- Fixed an ACL bug that made it impossible to build a blacklist.
+  Usually the ACL directives are used in a whitelist, which worked
+  as expected, but blacklisting is still useful for public proxies
+  where one only needs to deny known abusers access.
+- Added LOG_LEVEL_RECEIVED to log the not-yet-parsed data read from the
+  network. This should make debugging various parsing issues a lot easier.
+- The IPv6 code is enabled by default on Windows versions that support it.
+  Patch submitted by oCameLo in #2942729.
+- In mingw32 versions, the user.filter file is reachable through the
+  GUI, just like default.filter is. Feature request 3040263.
+- Added the configure option --enable-large-file-support to set a few
+  defines that are required by platforms like GNU/Linux to support files
+  larger then 2GB. Mainly interesting for users without proper logfile
+  management.
+- Logging with "debug 16" no longer stops at the first nul byte which is
+  pretty useless. Non-printable characters are replaced with their hex value
+  so the result can't span multiple lines making parsing them harder then
+  necessary.
+- Privoxy logs when reading an action, filter or trust file.
+- Fixed incorrect regression test markup which caused a test in
+  3.0.16 to fail while Privoxy itself was working correctly.
+  While Privoxy accepts hide-referer, too, the action name is actually
+  hide-referrer which is also the name used one the final results page,
+  where the test expected the alias.
+
+- CGI interface improvements:
+  - In finish_http_response(), continue to add the 'Connection: close'
+    header if the client connection will not be kept alive.
+    Anonymously pointed out in #2987454.
+  - Apostrophes in block messages no longer cause parse errors
+    when the blocked page is viewed with JavaScript enabled.
+    Reported by dg1727 in #3062296.
+  - Fix a bunch of anchors that used underscores instead of dashes.
+  - Allow to keep the client connection alive after crunching the previous request.
+    Already opened server connections can be kept alive, too.
+  - In cgi_show_url_info(), don't forget to prefix URLs that only contain
+    http:// or https:// in the path. Fixes #2975765 reported by Adam Piggott.
+  - Show the 404 CGI page if cgi_send_user_manual() is called while
+    local user manual delivery is disabled.
+
+- Action file improvements:
+  - Enable user.filter by default. Suggested by David White in #3001830.
+  - Block .sitestat.com/. Reported by johnd16 in #3002725.
+  - Block .atemda.com/. Reported by johnd16 in #3002723.
+  - Block js.adlink.net/. Reported by johnd16 in #3002720.
+  - Block .analytics.yahoo.com/. Reported by johnd16 in #3002713.
+  - Block sb.scorecardresearch.com, too. Reported by dg1727 in #2992652.
+  - Fix problems noticed on Yahoo mail and news pages.
+  - Remove the too broad yahoo section, only keeping the
+    fast-redirects exception as discussed on ijbswa-devel@.
+  - Don't block adesklets.sourceforge.net. Reported in #2974204.
+  - Block chartbeat ping tracking. Reported in #2975895.
+  - Tag CSS and image requests with cautious and medium settings, too.
+  - Don't handle view.atdmt.com as image. It's used for click-throughs
+    so users should be able to "go there anyway".
+    Reported by Adam Piggott in #2975927.
+  - Also let the refresh-tags filter remove invalid refresh tags where
+    the 'url=' part is missing. Anonymously reported in #2986382.
+    While at it, update the description to mention the fact that only
+    refresh tags with refresh times above 9 seconds are covered.
+  - javascript needs to be blocked with +handle-as-empty-document to
+    work around Firefox bug 492459.  So move .js blockers from
+    +block{Might be a web-bug.} -handle-as-empty-document
+    to
+    +block{Might be a web-bug.} +handle-as-empty-document
+  - ijbswa-Feature Requests-3006719 - Block 160x578 Banners.
+  - Block another omniture tracking domain
+  - Added a range-requests tagger.
+  - Added two sections to get Flickr's Ajax interface working with
+    default pre-settings. If you change the configuration to block
+    cookies by default, you'll need additional exceptions.
+    Reported by Mathias Homann in #3101419 and by Patrick on ijbswa-users@
+
+- Documentation improvements:
+  - Explicitly mention how to match all URLs.
+  - Consistently recommend socks5 in the Tor FAQ entry and mention
+    its advantage compared to socks4a. Reported by David in #2960129.
+  - Slightly improve the explanation of why filtering may appear
+    slower than it is.
+  - Grammar fixes for the ACL section.
+
+- Privoxy-Log-Parser improvements:
+  - Also gather statistics for blocked and redirected requests.
+  - Provide the percentage of keep-alive offers the client accepted.
+  - Add a --url-statistics-threshold option.
+  - Also gather statistics for ressources, methods, and HTTP versions
+    used by the client.
+  - Add a --host-statistics-threshold option to also gather
+    statistics about how many request where made per host.
+  - Fix a bug in handle_loglevel_header() where a 'scan: ' got lost.
+  - Add a --shorten-thread-ids option to replace the thread id with
+    a decimal number.
+  - Accept and ignore: Looks like we got the last chunk together
+    with the server headers. We better stop reading.
+  - Accept and ignore: Continue hack in da house.
+  - Accept and higlight: Rejecting connection from 10.0.0.2.
+    Maximum number of connections reached.
+  - Accept and highlight: Loading actions file: /usr/local/etc/privoxy/default.action
+  - Accept and highlight: Loading filter file: /usr/local/etc/privoxy/default.filter
+  - Accept and highlight: Killed all-caps Host header line: HOST: bestproxydb.com
+  - Accept and highlight: Reducing expected bytes to 0. Marking
+    the server socket tainted after throwing 4 bytes away.
+  - Accept: Merged multiple header lines to: 'X-FORWARDED-PROTO: http X-HOST: 127.0.0.1'
+
+- Code cleanups:
+  - Remove the next member from the client_state struct. Only the main
+    thread needs access to all client states so give it its own struct.
+  - Garbage-collect request_contains_null_bytes().
+  - Ditch redundant code in unload_configfile().
+  - Ditch LogGetURLUnderCursor() which doesn't seem to be used anywhere.
+  - In write_socket(), remove the write-only variable write_len in
+    an ifdef __OS2__ block. Spotted by cppcheck.
+  - In connect_to(), don't declare the variable 'flags' on OS/2 where
+    it isn't used. Spotted by cppcheck.
+  - Limit the scope of various variables. Spotted by cppcheck.
+  - In add_to_iob(), turn an interestingly looking for loop into a
+    boring while loop.
+  - Code cleanup in preparation for external filters.
+  - In listen_loop(), mention the socket on which we accepted the
+    connection, not just the source IP address.
+  - In write_socket(), also log the socket we're writing to.
+  - In log_error(), assert that escaped characters get logged
+    completely or not at all.
+  - In log_error(), assert that ival and sval have reasonable values.
+    There's no reason not to abort() if they don't.
+  - Remove an incorrect cgi_error_unknown() call in a
+    cannnot-happen-situation in send_crunch_response().
+  - Clean up white-space in http_response definition and
+    move the crunch_reason to the beginning.
+  - Turn http_response.reason into an enum and rename it
+    to http_response.crunch_reason.
+  - Silence a 'gcc (Debian 4.3.2-1.1) 4.3.2' warning on i686 GNU/Linux.
+
+- GNUmakefile improvements:
+  - Use $(SSH) instead of ssh, so one only needs to specify a username once.
+  - Removed references to the action feedback thingy that hasn't been
+    working for years.
+  - Consistently use shell.sourceforge.net instead of shell.sf.net so
+    one doesn't need to check server fingerprints twice.
+  - Removed GNUisms in the webserver and webactions targets so they
+    work with standard tar.
 
 -----------------------------------------------------------------
 About Privoxy:
 -----------------------------------------------------------------
 
 
 -----------------------------------------------------------------
 About Privoxy:
 -----------------------------------------------------------------
 
-Privoxy is a web proxy with advanced filtering capabilities for
-protecting privacy, modifying web page data, managing cookies,
-controlling access, and removing ads, banners, pop-ups and other
-obnoxious Internet junk. Privoxy has a very flexible
-configuration and can be customized to suit individual needs
-and tastes. Privoxy has application for both stand-alone systems
-and multi-user networks.
+Privoxy is a non-caching web proxy with advanced filtering capabilities for
+enhancing privacy, modifying web page data and HTTP headers, controlling
+access, and removing ads and other obnoxious Internet junk. Privoxy has a
+flexible configuration and can be customized to suit individual needs and
+tastes. It has application for both stand-alone systems and multi-user
+networks.
+
+Privoxy is Free Software and licensed under the GNU GPLv2.
+
+Privoxy is an associated project of Software in the Public Interest (SPI).
+
+Helping hands and donations are welcome:
 
 
-Privoxy is based on Internet Junkbuster (tm).
+  * http://www.privoxy.org/faq/general.html#PARTICIPATE
+
+  * http://www.privoxy.org/faq/general.html#DONATE
 
 At present, Privoxy is known to run on Windows(95, 98, ME, 2000,
 XP, Vista), Linux (Ubuntu, RedHat, SuSE, Debian, Fedora, Gentoo and
 others), Mac OSX, OS/2, AmigaOS, FreeBSD, NetBSD, OpenBSD, Solaris, and
 various other flavors of Unix.
 
 
 At present, Privoxy is known to run on Windows(95, 98, ME, 2000,
 XP, Vista), Linux (Ubuntu, RedHat, SuSE, Debian, Fedora, Gentoo and
 others), Mac OSX, OS/2, AmigaOS, FreeBSD, NetBSD, OpenBSD, Solaris, and
 various other flavors of Unix.
 
-In addition to the core features of ad blocking and cookie management, Privoxy provides many supplemental features, that give the end-user more control, more privacy and more freedom:
+In addition to the core features of ad blocking and cookie management,
+Privoxy provides many supplemental features, that give the end-user
+more control, more privacy and more freedom:
+
 
 
+    *  Supports "Connection: keep-alive". Outgoing connections can be kept
+       alive independently from the client. Currently not available on all
+       platforms.
 
 
-    *  Can keep outgoing connections alive and reuse them later on.
+    *  Supports IPv6, provided the operating system does so too,
+       and the configure script detects it.
 
     *  Supports tagging which allows to change the behaviour based on client
        and server headers.
 
     *  Can be run as an "intercepting" proxy, which obviates the need to
 
     *  Supports tagging which allows to change the behaviour based on client
        and server headers.
 
     *  Can be run as an "intercepting" proxy, which obviates the need to
-      configure browsers individually.
+       configure browsers individually.
 
     *  Sophisticated actions and filters for manipulating both server and
        client headers.
 
     *  Sophisticated actions and filters for manipulating both server and
        client headers.
@@ -107,33 +221,25 @@ In addition to the core features of ad blocking and cookie management, Privoxy p
        tracing of rule and filter effects. Remote toggling.
 
     *  Web page filtering (text replacements, removes banners based on size,
        tracing of rule and filter effects. Remote toggling.
 
     *  Web page filtering (text replacements, removes banners based on size,
-       invisible "web-bugs", JavaScript and HTML annoyances, pop-up windows,
-       etc.)
+       invisible <quote>web-bugs</quote> and HTML annoyances, etc.)
 
     *  Modularized configuration that allows for standard settings and user
        settings to reside in separate files, so that installing updated actions
        files won't overwrite individual user settings.
 
     *  Support for Perl Compatible Regular Expressions in the configuration
 
     *  Modularized configuration that allows for standard settings and user
        settings to reside in separate files, so that installing updated actions
        files won't overwrite individual user settings.
 
     *  Support for Perl Compatible Regular Expressions in the configuration
-      files, and a more sophisticated and flexible configuration syntax.
-
-    *  Improved cookie management features (e.g. session based cookies).
+       files, and a more sophisticated and flexible configuration syntax.
 
     *  GIF de-animation.
 
     *  Bypass many click-tracking scripts (avoids script redirection).
 
 
     *  GIF de-animation.
 
     *  Bypass many click-tracking scripts (avoids script redirection).
 
-    *  Multi-threaded (POSIX and native threads).
-
     *  User-customizable HTML templates for most proxy-generated pages (e.g.
     *  User-customizable HTML templates for most proxy-generated pages (e.g.
-      "blocked" page).
+       "blocked" page).
 
     *  Auto-detection and re-reading of config file changes.
 
     *  Auto-detection and re-reading of config file changes.
-
-    *  Improved signal handling, and a true daemon mode (Unix).
     
     
-    *  Every feature now controllable on a per-site or per-location basis,
-      configuration more powerful and versatile over-all.
+    *  Most features are controllable on a per-site or per-location basis.
     
 
 Download location: 
     
 
 Download location: