Relocate CERT_INFO_PREFIX to ssl.c
[privoxy.git] / doc / source / changelog.sgml
index ebd270b..6ca1058 100644 (file)
@@ -1,11 +1,9 @@
 <!--
- File        :  $Source: /cvsroot/ijbswa/current/doc/source/changelog.sgml,v $
+ File        :  doc/source/changelog.sgml
 
  Purpose     :  Entity included in other project documents.
 
- $Id: changelog.sgml,v 2.10 2014/11/18 14:22:17 fabiankeil Exp $
-
- Copyright (C) 2013 Privoxy Developers http://www.privoxy.org/
+ Copyright (C) 2013-2018 Privoxy Developers https://www.privoxy.org/
  See LICENSE.
 
  ======================================================================
   user-manual
 -->
 
-<para>
-  <application>Privoxy 3.0.23</application> stable is a bug-fix release,
-  some of the fixed bugs are security issues (CVE requests pending):
-</para>
 
 <!--
  The SGML ChangeLog can be generated with: utils/changelog2doc.pl ChangeLog
 -->
-<para>
 
 <para>
+  <application>Privoxy 3.0.29</application> fixes a couple of memory
+  leaks and introduces https inspection which allows to filter encrypted
+  requests and responses.
+</para>
+ <para>
+  Changes in <application>Privoxy 3.0.29</application> stable:
+ </para>
  <itemizedlist>
   <listitem>
    <para>
-    Bug fixes:
+    Security/Reliability:
     <itemizedlist>
     <listitem>
      <para>
-      Fixed a DoS issue in case of client requests with incorrect
-      chunk-encoded body. When compiled with assertions enabled
-      (the default) they could previously cause Privoxy to abort().
-      Reported by Matthew Daley.
+      Fixed memory leaks when a response is buffered and the buffer
+      limit is reached or Privoxy is running out of memory.
+      Commits bbd53f1010b and 4490d451f9b. OVE-20201118-0001.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fixed a memory leak in the show-status CGI handler when
+      no action files are configured. Commit c62254a686.
+      OVE-20201118-0002.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fixed a memory leak in the show-status CGI handler when
+      no filter files are configured. Commit 1b1370f7a8a.
+      OVE-20201118-0003.
+      Sponsored by: Robert Klemme
      </para>
     </listitem>
     <listitem>
      <para>
-      Fixed multiple segmentation faults and memory leaks in the
-      pcrs code. This fix also increases the chances that an invalid
-      pcrs command is rejected as such. Previously some invalid commands
-      would be loaded without error. Note that Privoxy's pcrs sources
-      (action and filter files) are considered trustworthy input and
-      should not be writable by untrusted third-parties.
+      Fixes a memory leak when client tags are active.
+      Commit 245e1cf32. OVE-20201118-0004.
+      Sponsored by: Robert Klemme
      </para>
     </listitem>
     <listitem>
      <para>
-      Fixed an 'invalid read' bug which could at least theoretically
-      cause Privoxy to crash. So far, no crashes have been observed.
+      Fixed a memory leak if multiple filters are executed
+      and the last one is skipped due to a pcre error.
+      Commit 5cfb7bc8fe. OVE-20201118-0005.
      </para>
     </listitem>
     <listitem>
      <para>
-      Compiles with --disable-force again. Reported by Kay Raven.
+      Prevent an unlikely dereference of a NULL-pointer that
+      could result in a crash if accept-intercepted-requests
+      was enabled, Privoxy failed to get the request destination
+      from the Host header and a memory allocation failed.
+      Commit 7530132349. CID 267165. OVE-20201118-0006.
      </para>
     </listitem>
     <listitem>
      <para>
-      Client requests with body that can't be delivered no longer
-      cause pipelined requests behind them to be rejected as invalid.
-      Reported by Basil Hussain.
+      Fixed memory leaks in the client-tags CGI handler when
+      client tags are configured and memory allocations fail.
+      Commit cf5640eb2a. CID 267168. OVE-20201118-0007.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fixed memory leaks in the show-status CGI handler when memory
+      allocations fail. Commit 064eac5fd0 and commit fdee85c0bf3.
+      CID 305233. OVE-20201118-0008.
      </para>
      </listitem>
     </itemizedlist>
     <itemizedlist>
     <listitem>
      <para>
-      If a pcrs command is rejected as invalid, Privoxy now logs
-      the cause of the problem as text. Previously the pcrs error
-      code was logged.
+      Added experimental https inspection support which allows to filter
+      https traffic. To enable it, install MbedTLS and configure with
+      --with-mbedtls, or install OpenSSL or LibreSSL and configure
+      with --with-openssl.
+      Afterwards configure the directives in section 7 of the
+      config file and enable the +https-inspection action.
+      Initial MbedTLS-based code contributed by Vaclav Svec,
+      initial OpenSSL support contributed by Maxim Antonov.
+      With help from Nedzad Hrnjica and Ho+ Ho+ Ho+.
+      Integration and improvements sponsored by Robert Klemme.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      pcrs: Request JIT compilation if it's supported and
+      the filter isn't dynamic. This can speed up filtering.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Added support for Brotli decompression.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Added FEATURE_EXTENDED_STATISTICS to gather statistics for
+      block reasons and filter executions. To enable it, configure
+      with --enable-extended-statistics and visit
+      http://config.privoxy.org/show-status.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Use the IP_FREEBIND socket option, if defined. This allows
+      Privoxy to bind to not-yet assigned IP addresses which is
+      useful in failover environments.
+      Patch by Sam Varshavchik.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Allow to use extended host patterns and vanilla host patterns
+      at the same time by prefixing extended host patterns with
+      "PCRE-HOST-PATTERN:". To enable this, configure with
+      --enable-pcre-host-patterns.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Added "Cross-origin resource sharing" (CORS) support.
+      This allows to access Privoxy's CGI interface via JavaScript from
+      another domain (white-listed with the new cors-allowed-origin directive).
+      Based on a patch by Nedzad Hrnjica.
+      Sponsored by: Robert Klemme.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add SOCKS5 username/password support.
+      Based on a patch by Sam, improved by Ivan Romanov.
+      Closes Patch#141 and solves TODO#105.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Bump the maximum number of action and filter files
+      to 100 each.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fixed handling of filters with "split-large-forms 1"
+      when using the CGI editor.
+      Reported by withoutname in #921.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Better detect a mismatch of connection details when
+      figuring out whether or not a connection can be reused.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Don't send a "Connection failure" message instead of the
+      "DNS failure" message.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Let LOG_LEVEL_REQUEST log all requests. Previously unencrypted
+      requests were only logged with LOG_LEVEL_REQUEST when they weren't
+      crunched (in which case they were logged with LOG_LEVEL_CRUNCH).
+      This was documented behaviour, but logging all requests seems more useful.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fixed locking around localtime() and gmtime().
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Removed OS/2 support. We haven't provided OS/2 packages in years,
+      it complicated the code and it depended on a fallback snprintf()
+      implementation which is GPLv2 only.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Remove the fallback snprintf() implementation
+      Now that OS/2 support is gone we no longer need it.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fixed a bunch of format specifiers log messages.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Added a missing apostrophe in the 'More Privoxy' menu.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Explicitly prevent use of FEATURE_CONNECTION_SHARING
+      without FEATURE_CONNECTION_KEEP_ALIVE. It makes no sense
+      and does not compile anyway.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fix build without FEATURE_CONNECTION_KEEP_ALIVE.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Downgrade the 'Graceful termination requested' message
+      to LOG_LEVEL_INFO as it isn't an error.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      decompress_iob(): Downgrade the no-content message to LOG_LEVEL_RE_FILTER
+      While at it, fix a typo in a comment.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Fixed a couple of cppcheck warnings.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Rename LOG_LEVEL_GPC to LOG_LEVEL_REQUEST.
+      Only the shadow knows what "GPC" is supposed to stand for.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Remove SourceForge references in copyright headers.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Upgrade a bunch of links to the homepage to https://.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add 'no-brotli-accepted' filter which prevents the
+      use of Brotli compression.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Changed license for pcrs to GPLv2+ after getting the
+      permission from Andreas. This allows to redistribute
+      Privoxy under the GPLv3 which is required when linking
+      to future mbedTLS versions which are expected to be
+      licensed under the Apache 2.0 license only.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Updated a bunch of tests that have to expect status code 403
+      now after r1.168/070e904afa5.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Lowercase the host name in the request line.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Only set SOURCE_DATE_EPOCH if it's not already set so
+      distributions can overwrite it through the environment.
+     </para>
+     </listitem>
+    </itemizedlist>
+   </para>
+  </listitem>
+  <listitem>
+   <para>
+    Documentation changes:
+    <itemizedlist>
+    <listitem>
+     <para>
+      Explain that Privoxy has to be distributed under the
+      GPLv3 (or later) when linked with an MbedTLS version
+      that is licensed under the Apache 2.0 license.
      </para>
     </listitem>
     <listitem>
      <para>
-      The tests are less likely to cause false positives.
+      Import the GNU GPLv3 and include it the user manual.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Clarify FEATURE_FORCE_LOAD's description. It allows to bypass
+      blocking not filtering and only does it if blocks aren't enforced.
+      Reported by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      FAQ: Remove Zwiebelfreunde e.V. from the list of fiduciary sponsors
+      As of 2021 they no longer handle donations for foreign organisations
+      due to lack of resources.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      FAQ: Remove an obsolete comment with a link to the long-gone PDF manual.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      FAQ: Add a link to the TODO list.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      FAQ: Change the sponsor amounts to USD slightly rounding the
+      converted amounts up to get simple numbers.
+      Receiving USD is apparently easier for SPI and SPI is
+      preferred by sponsors as they can send invoices.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Advertise the client-tags CGI page in the user manual.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Stop advertising the show-version CGI page which no longer exists.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add yet another reason why +prevent-compression may cause problems.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Don't claim that contributors need ssh. It's only needed for committers.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Replace obsolete CVS instructions with Git instructions.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Remove an obsolete comment
+     </para>
+     </listitem>
+    </itemizedlist>
+   </para>
+  </listitem>
+  <listitem>
+   <para>
+    Config file changes:
+    <itemizedlist>
+    <listitem>
+     <para>
+      Change the suggested default-server-timeout to 5 to match the
+      suggested keep-alive-timeout. Otherwise using the defaults would
+      result in Privoxy reducing the default-server-timeout and logging
+      an error message.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Update the 'debug 1' description.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add a missing 'client-specific-tag' directive.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Comment out trusted-cgi-referer pointing to example.org.
      </para>
      </listitem>
     </itemizedlist>
     <itemizedlist>
     <listitem>
      <para>
-      '.sify.com/' is no longer blocked. Apparently it is not actually
-      a pure tracking site (anymore?). Reported by Andrew on ijbswa-users@.
+      Block requests to /(.*/)?piwik\.php
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Block requests to .connectaserver.de/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Block requests to pixel.inforsea.com/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Block requests to t.vi-serve.com/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Block requests to .ioam.de/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Block requests to t.9gag.com/img.gif
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Block requests to .pixel.parsely.com/ as image
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Block requests to pixel.wp.com/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Disable fast-redirects for .librarything.com/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Disable fast-redirects for issue.freebsdfoundation.org/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Disable fast-redirects for .twitter.com/.*origin=http
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Unblock belco24.de/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add fast-redirects exception for .wikipedia.org/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add fast-redirects exception for oss-fuzz.com/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Disable fast-redirects for .consensu.org/delivery/pixel\.php
+      and block the requests as image instead
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Unblock .adbinstaller.com/
+      Reported by lvm in #942.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Unblock .adbshell.com
+      Reported by lvm in #942.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Unblock .tagesschau.de/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Disable fast-redirects for collector.githubapp.com/
+      and block requests to it as image instead
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Unblock 'ada*.'
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add fast-redirects{} exception for sourcepoint.vice.com/
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Unblock adaway.org/
+      Reported by DRS David Soft in AF#945.
      </para>
     </listitem>
     <listitem>
      <para>
-      Unblock banners on .amnesty.de/ which aren't ads.
+      Change two block reasons that previously were the same.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Added a +delay-response{} test.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Updated the location of the development version
+      of default.action.master.
+     </para>
+     </listitem>
+    </itemizedlist>
+   </para>
+  </listitem>
+  <listitem>
+   <para>
+    Privoxy-Log-Parser:
+    <itemizedlist>
+    <listitem>
+     <para>
+      Added a --keep-date option to keep the date in highlighted messages.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Highlight new log messages.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Make gather_loglevel_clf_stats() more tolerant. While at it,
+      count all CLF messages as requests, even if the request is invalid.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Only show HTTP version distribution if at least one version has been detected.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Only show crunch statistics if crunches were detected.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Warn if the request counts differ.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Generate statistics if the log only contains LOG_LEVEL_CLF messages
+      so it can be used with vanilla webserver logs.
+      Previously Privoxy-specific "Request:" messages were required.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Align the client-HTTP-version distribution like other distributions
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Bump version to 0.9.1
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Include status code distribution in the stats.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Let the statistics include the size of the content Privoxy
+      transferred excluding HTTP headers.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Get with the program and expect all requests to be logged with LOG_LEVEL_REQUEST.
+      It's no longer necessary to count both LOG_LEVEL_REQUEST and
+      LOG_LEVEL_CRUNCH messages to get the total number of requests.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Leverage the LOG_LEVEL_CLF message to gather statistics that where
+      previously taken from LOG_LEVEL_HEADER lines. This results in less
+      confusing results if https inspection is enabled in which case there
+      are two LOG_LEVEL_HEADER lines with request lines.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Properly highlight the filter results message. Previously a brace got lost.
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Prefer the number of CLF lines to get the total number of requests
+      as it works with older Privoxy versions as well.
      </para>
      </listitem>
     </itemizedlist>
   </listitem>
   <listitem>
    <para>
-    Documentation improvements:
+    Privoxy-Regression-Test:
     <itemizedlist>
     <listitem>
      <para>
-      The 'Would you like to donate?' section now also contains
-      a "Paypal" address.
+      Turn curl's globbing mode off so we can allow more characters in URLs.
      </para>
     </listitem>
     <listitem>
      <para>
-      The list of supported operating systems has been updated.
+      Allow '[' and ']' in URLs.
      </para>
     </listitem>
     <listitem>
      <para>
-      The existence of the SF support and feature trackers has been
-      deemphasized because they have been broken for months.
-      Most of the time the mailing lists still work.
+      Include the action file when complaining about missing Sticky Actions.
      </para>
     </listitem>
     <listitem>
      <para>
-      The claim that default.action updates are sometimes released
-      on their own has been removed. It hasn't happened in years.
+      Fix a sentence in the documentation.
      </para>
     </listitem>
     <listitem>
      <para>
-      Explicitly mention that Tor's port may deviate from the default
-      when using a bundle. Requested by Andrew on ijbswa-users@.
+      Bump version to 0.7.1
+     </para>
+     </listitem>
+    </itemizedlist>
+   </para>
+  </listitem>
+  <listitem>
+   <para>
+    url-pattern-translator:
+    <itemizedlist>
+    <listitem>
+     <para>
+      Detect a couple of pattern prefixes case-insensitively.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Skip CLIENT-TAG patterns.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Skip patterns that have already been converted.
+      It should now be safe to "convert" a file multiple times.
+      Sponsored by: Robert Klemme
+     </para>
+    </listitem>
+    <listitem>
+     <para>
+      Add the new 'PCRE-HOST-PATTERN:' prefix.
+      Sponsored by: Robert Klemme
      </para>
      </listitem>
     </itemizedlist>
    </para>
   </listitem>
  </itemizedlist>
-</para>
+