Update announcement for Privoxy 4.0.0
authorFabian Keil <fk@fabiankeil.de>
Tue, 7 Jan 2025 16:04:49 +0000 (17:04 +0100)
committerFabian Keil <fk@fabiankeil.de>
Tue, 7 Jan 2025 16:53:47 +0000 (17:53 +0100)
doc/webserver/announce.txt

index 446acf2..cf53851 100644 (file)
-               Announcing Privoxy 3.0.34 stable
+               Announcing Privoxy 4.0.0 stable
 --------------------------------------------------------------------
 
-Privoxy 3.0.34 fixes a few minor bugs and comes with a couple of
-general improvements and new features.
+Privoxy 4.0.0 fixes a few minor bugs and comes with a couple of
+general improvements and new features. HTTPS inspection is no
+longer considered experimental.
 
-Please note that Google started to bounce messages from the Privoxy
-mailing lists a couple of months ago. As a result gmail users have
-been unsubscribed by Mailman. If you are affected by this, please
-resubscribe with a different mail address. The Privoxy project has
-limited resources and limited time to investigate an issue that
-only affects gmail addresses.
+Two new features have been funded by donations. If you can,
+please consider making a donation to support future improvements.
 
 --------------------------------------------------------------------
-ChangeLog for Privoxy 3.0.34
+ChangeLog for Privoxy 4.0.0
 --------------------------------------------------------------------
 - Bug fixes:
-  - Improve the handling of chunk-encoded responses by buffering the data
-    even if filters are disabled and properly keeping track of where the
-    various chunks are supposed to start and end. Previously Privoxy would
-    merely check the last bytes received to see if they looked like the
-    last-chunk. This failed to work if the last-chunk wasn't received in one
-    read and could also result in actual data being misdetected
-    as last-chunk.
-    Should fix: SF support request #1739.
-    Reported by: withoutname.
-  - remove_chunked_transfer_coding(): Refuse to de-chunk invalid data
-    Previously the data could get corrupted even further.
-    Now we simply pass the unmodified data to the client.
-  - gif_deanimate(): Tolerate multiple image extensions in a row.
-    This allows to deanimate all the gifs on:
-    https://commons.wikimedia.org/wiki/Category:Animated_smilies
-    Fixes SF bug #795 reported by Celejar.
-  - OpenSSL generate_host_certificate(): Use X509_get_subject_name()
-    instead of X509_get_issuer_name() to get the issuer for generated
-    website certificates so there are no warnings in the browser when using
-    an intermediate CA certificate instead of a self-signed root certificate.
-    Problem reported and patch submitted by Chakib Benziane.
-  - can_filter_request_body(): Fix a log message that contained a spurious u.
-  - handle_established_connection(): Check for pending TLS data from the client
-    before checking if data is available on the connection.
-    The TLS library may have already consumed all the data from the client
-    response in which case poll() and select() will not detect that data is
-    available to be read.
-    Sponsored by: Robert Klemme.
-  - ssl_send_certificate_error(): Don't crash if there's no certificate
-    information available. This is only relevant when Privoxy is built with
-    wolfSSL 5.0.0 or later (code not yet published). Earlier wolfSSL versions
-    or the other TLS backends don't seem to trigger the crash.
-  - socks5_connect(): Add support for target hosts specified as IPv4 address
-    Previously the IP address was sent as domain.
+  - Add missing client-body-tagger data to the action_type_info[] struct
+    so lookups based on the action index work correctly again.
+    Prevents assertion failures or segfaults when trying to edit
+    an action file with the CGI editor.
+    The type of failure depended on whether or not assertions
+    were enabled and on whether or not Privoxy had been compiled
+    with FEATURE_EXTERNAL_FILTERS.
+    Regression introduced in Privoxy 3.0.34.
+    Patch submitted by Aaron Li in #940.
+  - Bump MAX_FILTER_TYPES which should have been done in d128e6aa4
+    when introducing the client-body-tagger{} action.
+    Prevents an assertion in cgi_edit_actions_for_url() from triggering
+    after e32d03e0 when using the CGI editor with assertions enabled.
+  - is_untrusted_url(): Search the encrypted headers for the Referer
+    when the client is using https and https inspection is enabled.
+    Fixes the trust mechanism for https requests.
+    Reported by Laurent Caumont in #1767.
+  - GNUMakefile.in: Let the install target work if no group is specified.
+  - GNUMakefile.in: Set GROUP_T when installing configuration files as root
+    and there is no privoxy user available so the install target doesn't
+    fail. Patch by Fabrice Fontaine.
+  - GNUmakefile.in: Don't exit if configuration files are installed as root
+    as this can be considered acceptable when cross-compiling
+    Privoxy inside an autobuilder with only a root user.
+    Patch by Fabrice Fontaine.
+  - configure.in: Fix argument types in gmtime_r() and localtime_r() probes.
+    Otherwise these probes always fail with stricter compilers
+    even if there is C library support for these functions.
+    Patch submitted by Florian Weimer in SF#149.
+  - Fix socks4 and socks4a support under glibc's source fortification.
+    With glibc's source fortification, gcc offers the compilation warning
+    resulting in a runtime abort() when using a socks4 or socks4a upstream proxy.
+    Despite the warning, the strlcpy() call in question is fine: gcc
+    misidentifies the size of the destination buffer, estimating to hold
+    only a single char while in fact the buffer stretches beyond the end of
+    the struct socks_op.
+    The issue was originally reported in the NixOS issue tracker at
+        https://github.com/NixOS/nixpkgs/issues/265654
+    prompted by an upgrade of glibc from 2.37-39 to 2.38-0.
+    Patch submitted by Ingo Blechschmid, joint work with
+    @esclear and @richi235.
 
 - General improvements:
-  - Add a client-body-tagger action which creates tags based on
-    the content of the request body.
-    Sponsored by: Robert Klemme.
-  - When client-body filters are enabled, buffer the whole request
-    before opening a connection to the server.
-    Makes it less likely that the server connection times out
-    and we don't open a connection if the buffering fails anyway.
-    Sponsored by: Robert Klemme.
-  - Add periods to a couple of log messages.
-  - accept_connection(): Add missing space to a log message.
-  - Initialize ca-related defaults with strdup_or_die() so errors
-    aren't silently ignored.
-  - make_path: Use malloc_or_die() in cases where allocation errors
-    were already fatal anyway.
-  - handle_established_connection(): Improve an error message slightly.
-  - receive_client_request(): Reject https URLs without CONNECT request.
-  - Include all requests in the statistics if mutexes are available.
-    Previously in case of reused connections only the last request got
-    counted. The statistics still aren't perfect but it's an improvement.
-  - Add read_socks_reply() and start using it in socks5_connect()
-    to apply the socket timeout more consistently.
-  - socks5_connect(): Deal with domain names in the socks reply
-  - Add a filter for bundeswehr.de that hides the cookie and
-    privacy info banner.
+  - Allow to use wolfSSL for https inspection.
+    wolfSSL supports TLS 1.3 and can be significantly faster than
+    mbedTLS. Mainly tested on ElectroBSD amd64 where it can compete
+    with OpenSSL and LibreSSL:
+    https://www.fabiankeil.de/gehacktes/privoxy-tls-benchmarks/
+    To enable the support, install wolfSSL and run ./configure
+    with the --with-wolfssl option.
+    Sponsored by Privoxy project funds collected at SPI.
+  - Add an test framework that leverages the curl test suite.
+    Sponsored by Privoxy project funds collected at SPI.
+  - Add pcre2 support. Closes bug #935.
+    Initial patch submitted by Gagan Sidhu.
+  - Use SHA256 as hash algorithm for the certificate and key file names
+    instead of MD5. The known MD5 vulnerabilities shouldn't matter for
+    Privoxy's use case but it doesn't hurt to use a hash algorithm that
+    isn't deprecated.
+    Sponsored by: Robert Klemme
+  - Add support for mbedTLS 3.x. This removes a sanity check
+    (whether issuer key and issuer certificate match) that seems
+    overly cautious and fails to compile with mbedTLS 3.x as the
+    struct members are private. We don't have an equivalent check
+    in the OpenSSL or wolfSSL code either.
+  - Factor out newer_privoxy_version_required() and improve the logic
+    Previously 3.0.11 was considered newer than 4.0.0.
+  - init_error_log(): Include the reason for failures to open the log file.
+  - create_client_ssl_connection(): Don't keep the certificate lock
+    longer than necessary.
+  - Add periods to a bunch of log messages.
+  - normalize_lws(): Only log the 'Reducing whitespace ...' message
+    once per header
+  - log_error() Win32: Only call LogShowActivity() for debug level
+    LOG_LEVEL_REQUEST. As of b94bbe62a950, which was part of Privoxy 3.0.29,
+    LOG_LEVEL_REQUEST is used for all requests including crunched ones.
+    Previously LogShowActivity() was called twice for crunched
+    requests, (presumably) resulting in an aborted animation.
+  - Remove ./ prefix from tarball-dist files.
+  - create_client_ssl_connection(): Make it more obvious from an
+    error message that a function failed.
+  - Use stringify() instead of section_target() and remove section_target().
+    Like the XXX comment suggested this could be done my moving the hash
+    into the templates which seems preferable anyway.
+  - Prevent some compiler warnings.
+  - parse_numeric_value(): Expect a base-ten number.
+  - windows/MYconfigure: Have gcc diagnostics in color.
 
 - Action file improvements:
-  - Disable filter{banners-by-size} for .freiheitsfoo.de/.
-  - Disable filter{banners-by-size} for freebsdfoundation.org/.
-  - Disable fast-redirects for consent.youtube.com/.
-  - Block requests to ups.xplosion.de/.
-  - Block requests for elsa.memoinsights.com/t.
-  - Fix a typo in a test.
-  - Disable fast-redirects for launchpad.net/.
-  - Unblock .eff.org/.
-  - Stop unblocking .org/.*(image|banner) which appears to be too generous
-    It let requests like:
-    https://stats.noblogs.org/piwik.php?action_name=anti%20gentrifizierungs%20fest&idsite=10175&rec=1&r=220192&h=17&m=7&s=44&url=https%3A%2F%2Fmuellemcalling.noblogs.org%2F&urlref=https%3A%2F%2Fmuellemcalling.noblogs.org%2Finfostande%2F&_id=&_idn=1&_refts=0&send_image=0&cookie=1&res=1366x768&pv_id=eqr7jX&pf_net=7&pf_srv=3&pf_tfr=2281&pf_dm1=156
-    pass.
-    The example URL http://www.gnu.org/graphics/gnu-head-banner.png is
-    already unblocked due to .gnu.org being unblocked.
-  - Unblock adfd.org/.
-  - Disable filter{banners-by-link} for .eff.org/.
-  - Block requests to odb.outbrain.com/.
-  - Disable fast-redirects for .gandi.net/.
-  - Disable fast-redirects{} for .onion/.*/status/.
-  - Disable fast-redirects{} for twitter.com/.*/status/.
-  - Unblock pinkstinks.de/.
-  - Disable fast-redirects for .hagalil.com/.
+  - Block requests for .amazon-adsystem.com/
+  - Block requests to track.venatusmedia.com/
+  - Block requests to i.clean.gg/
+  - Block requests to s.cpx.to/
+  - Block requests to secure-eu.nmrodam.com/
+  - Block requests to o2.mouseflow.com/
+  - Disable fast-redirects for services.akteneinsichtsportal.de/
+  - Disable fast-redirects for /wp-content/plugins/pdf-viewer-for-elementor
+  - Disable fast-redirects for syndication.twitter.com/
+  - Disable fast-redirects for archive.softwareheritage.org/
+  - Disable fast-redirects to duckduckgogg42xjoc72x3sjasowoarfbgcmvfimaftt6twagswzczad.onion/
+  - Disable fast-redirects for .creator-spring.com/_next/image
+  - Disable fast redirects for accounts.bahn.de/
+  - Unblock .datenschmutz.de/
+  - Unblock requests for 'adventur*.'
+  - Unblock adl.windows.com/
+    as it is apparently required to update from Windows 10 to 11.
+    Reported by Sam Varshavchik.
 
 - Privoxy-Log-Parser:
-  - Bump version to 0.9.5.
-  - Highlight more log messages.
-  - Highlight the Crunch reason only once. Previously the "crunch reason"
-    could also be highlighted when the URL contained a matching string.
-    The real crunch reason only occurs once per line, so there's no need
-    to continue looking for it after it has been found once.
-    While at it, add a comment with an example log line.
+  - Highlight 'Couldn't deliver the error message for [...]'.
+  - Highlight 'Failed to accept() incoming connection: Software caused connection abort'.
+  - Highlight 'Keeping chunk offset at 0 despite flushing 31 bytes.'.
+  - Highlight 'Not shutting down client connection on socket 8. The socket is no longer alive.'.
+  - Bump version to 0.9.6.
+
+- Privoxy-Regression-Test.pl:
+  - Let the --min-level option increase the --max-level
+    if the latter is smaller than the former.
+  - Add --curl option to use a non-default curl binary.
+  - Bump version to 0.7.5.
 
 - uagen:
-  - Bump version to 1.2.4.
-  - Update BROWSER_VERSION and BROWSER_REVISION to 102.0
-    to match the User-Agent of the current Firefox ESR.
-  - Explicitly document that changing the 'Gecko token' is suspicious.
-  - Consistently use a lower-case 'c' as copyright symbol.
-  - Bump copyright.
-  - Add 'aarch64' as Linux architecture.
-  - Add OpenBSD architecture 'arm64'.
-  - Stop using sparc64 as FreeBSD architecture.
-    It hasn't been supported for a while now.
-
-- Build system:
-  - Makefile: Add a 'dok' target that depends on the 'error' target
-    to show the "You are not using GNU make or did nor run configure"
-    message.
-  - configure: Fix --with-msan option.
-    Also (probably) reported by Andrew Savchenko.
-
-- macOS build system:
-  - Enable HTTPS inspection when building the macOS binary
-    (using OpenSSL as TLS library).
+  - Bump BROWSER_VERSION and BROWSER_REVISION to match Firefox ESR 128.
+  - Bump version to 1.2.6.
 
 - Documentation:
-  - Add OpenSSL to the list of libraries that may be licensed under the
-    Apache 2.0 license in which case the linked Privoxy binary has to be
-    distributed under the GPLv3 or later.
-  - config: Fix the documented ca-directory default value.
-    Reported by avoidr.
-  - Rebuild developer-manual and tidy with 'HTML Tidy for FreeBSD version 5.8.0'.
-  - Update developer manual with new macOS packaging instructions.
-  - Note that the FreeBSD installation instructions work for
-    ElectroBSD as well.
-  - Note that FreeBSD/ElectroBSD users can try to install Privoxy
-    as binary package using 'pkg'.
+  - Add HOWTOs for https inspection and client-tags to user-manual.
+  - Suggest to use the force-text-mode action when filtering binary content
+    with external filters.
+  - Declare https-inspection non-experimental.
+  - FAQ: Mention that Privoxy Moral Licenses are available as well.
+  - Fix LibreSSL URL.
+  - Update perlre perldoc URL.
+  - config: Add SOCKS 5 to the list of supported protocols.
+  - In the Windows build section, note that one only needs tidy
+    to build the docs. If you're not building the docbook stuff you
+    don't need tidy.
+  - trust: Use the words 'allowlists' and 'blocklists'
+    instead of "whitelists" and "blacklists" which some
+    people consider to be less inclusive.
 
 -----------------------------------------------------------------
 About Privoxy: