generate correct html - no 
 chars

a blank line right after a <para>, <literallayout>, <screen>
or just before the closing tag causes docbook 3.1 to generate
a '&#13;'

eg: this sgml
 following patterns</quote>, and <literal>-block</literal> means <quote>don't
 block URLs that match the following patterns, even if <literal>+block</literal>
 previously applied.</quote>

</para>

<para>
 Again, actions are invoked by placing them on a line, enclosed in curly braces and

leads to this html:
>, and <TT
CLASS="LITERAL"
>-block</TT
> means <SPAN
CLASS="QUOTE"
>"don't
 block URLs that match the following patterns, even if <TT
CLASS="LITERAL"
>+block</TT
>
 previously applied."</SPAN
>&#13;</P
><P
> Again, actions are invoked by placing them on a line, enclosed in curly braces and

having "&#13;" right after the "</SPAN>" is just wrong.

make dok: don't run tidy on the docbook generated html

at least as of tidy 5.6.0, tidy -indent -wrap
breaks <pre> formatting if the line is wrapped

<pre>a long line
</pre>

when indented and wrapped ends up like this
      <pre>
      a long line
</pre>

The pre-formatted text shouldn't have leading spaces added.  It should look like
      <pre>
a long line
</pre>

use the wayback machine for the docbook site that no longer exists

 url="http://opensource.bureau-cornavin.com/crash-course/index.html"
$ nslookup opensource.bureau-cornavin.com.
** server can't find opensource.bureau-cornavin.com: Non-existent domain

rebuild docs

adjust <literallayout> lines to not exceed the line wrap length

Ideally we shouldn't be creating pre-formatted text that exceeds
the line wrap length.
manually editing files after generating them with 'make dok' is
for the birds..

add faq for what to do if editing the config file is access denied

workaround for tidy -indent -wrap breaking <pre> formatting

tidy -indent -wrap 78  messes up the formatting of a long
line following a <pre> tag by splitting the line into <pre>
and the text and indenting both.  eg
<pre>a really long line</pre>
is turned into
          <pre>
          a really long line</pre>
and we end up with lots of leading spaces.

change the line wrap to column 120 and hope that's enough
to keep this bug from happening

Update mail address of Roland Rosenfeld and fix indentation.

language nit

Stopping to watch is like parking at a scenic overlook to admire the scenery.
We're ignoring the scenery and continuing to drive.

Remove Id tag

Remove Id tag

Bump copyright

Remove id tag

fix typo in FAQ.

Expect a 404 for /show-version which no longer exists

Remove cgi_show_version()

It's no longer useful now that we are using git.

Eventually the git hash should be added to the
version number shown on each page.

Remove show_rcs() and the CVS ids it relied upon

fix comment
it's the nagle algorithm being disabled, so call it by it's name

Change write_pid_file()'s prototype to take the path as argument

Consistently use the U(ngreedy) flag in the 'img-reorder' filter

Add brief HTTP/2 FAQ

#121: Fix typo

Add a web-sponsors target to only update the sponsoring page

Add betrugstest.com as Privoxy sponsor

Regenerate docs

FAQ: Change two more SPI links to https

Fix server-response fuzzing

... which I broke when I added the receive-buffer-size directive.

When fuzzing, a zero-size buffer was used which resulted in all
fuzzing inputs that were supposed to be treated as server-response
being rejected.

Setting a receive_buffer_size in process_fuzzed_input() prevents
this. The other fuzzing modes weren't affected by the regression.

Bump copyright

pcrs_compile_replacement(): Remove an assertion that could be triggered with invalid input

Without the assertion the invalid input is properly rejected:
Error: Failed to compile pcrs replacement. Error: (pcrs:) Backreference out of range

This reverts one half of r1.50 which apparently wasn't
properly tested.

Remove an obsolete comment

Compile socks fuzzing code depending on FUZZ instead of FUZZ_SOCKS

We no longer allow to use a fuzzing build for non-fuzzing work
so unconditionally including the socks fuzzing code doesn't add
any additional inconvenience.

Add the pointer to the receive buffer to the csp

It allows to free it outside of handle_established_connection()
and will allow to use it in other functions in the future.

Streamline handle_established_connection()'s parameter list

csp references fwd already so there's no need to pass
it as separate parameter as well.

load_config(): Rearrange code to prevent a useless store

Warn when still using select()

Warn when compiling without calloc()

add 'make dok-tidy' to the list of things to do for a 'make dok'

bump copyright

get rid of another compiler warning on Windows for %llu

i686-w64-mingw32-gcc -c -pipe -O2 -DWINVER=0x501   -mwindows -Wall -Ipcre  parsers.c -o parsers.o
parsers.c: In function 'create_content_length_header':
parsers.c:4671:36: warning: unknown conversion type character 'l' in format [-Wformat=]
    snprintf(header, buffer_length, "Content-Length: %llu", content_length);
                                    ^
parsers.c:4671:36: warning: too many arguments for format [-Wformat-extra-args]

fix format specifier in log_error for unsigned long long variables

listen_loop(): Reuse a single thread attribute object

The object doesn't change and creating a new one for
every thread is a waste of (cpu) time.

Sponsored by: Robert Klemme

Remove an obsolete NULL check

Free csp resources in the thread that belongs to the csp

... instead of the main thread which has enough on
its plate already.

Sponsored by: Robert Klemme

Factor free_csp_resources() out of sweep()

Sponsored by: Robert Klemme

Fix a comment that described the effect of debug 1024 incorrectly

The comment is correct in the source file already but the config
file generation requires manual labour and the "[m]anual config fixes"
I applied in r1.100 (2009) added the comment at the wrong place.

Rebuild config file with enable-accept-filter documentation

Sponsored by: Robert Klemme

Rebuild user-manual with enable-accept-filter documentation

Sponsored by: Robert Klemme

Document the enable-accept-filter directive

Sponsored by: Robert Klemme

Rebuild config file with listen-backlog documentation

Sponsored by: Robert Klemme

Rebuild the user manual with listen-backlog documentation

Sponsored by: Robert Klemme

Document the listen-backlog directive

Sponsored by: Robert Klemme

Improve 'socket timeout reached' message

Log the timeout that was triggered and downgrade the
log level to LOG_LEVEL_CONNECT to reduce the log noise
with common debug settings.

The timeout isn't necessary the result of an error and
usually merely indicates that Privoxy's socket timeout
is lower than the relevant timeouts used by client and
server.

Sponsored by: Robert Klemme

Add a listen-backlog directive

Which specifies the backlog value passed to listen().

Sponsored by: Robert Klemme

Enable accept filter only once

Previously Privoxy would (attempt to) enable it before
each accept call which isn't necessary.

Sponsored by: Robert Klemme

Add an enable-accept-filter directive

Which allows to toggle accept filter support at
run time when compiled with FEATURE_ACCEPT_FILTER
support.

It makes testing more convenient and now that it's
optional we can emit an error message if enabling
the accept filter fails.

Sponsored by: Robert Klemme

Explicitly taint the server socket in case of CONNECT requests

This doesn't fix any known problems, but makes
some log messages less confusing.

Add fast-redirects exception for '.youtube.com/.*origin=http'

Update reference to the 'show-version' page

Update comments that still mentioned 'show-proxy-args' instead of 'show-status'

Remove list of supposedly declared functions from a comment

The list was out of date and people who care about the
information can simply scroll down a bit.

Unblock .golang.org/

Skip a regex if we don't need the captured result

At least in theory this is more efficient but the gains
don't seem impressive enough to be clearly measurable with
real world log files.

At least it looks faster now ...

get_content_length(): Replace an assertion with a compile-time check

Remove a mysterious comment with a GNU FDL link

... as it isn't useful and could confuse license scanners.

In May 2002 it was briefly claimed that "this document" was covered
by the GNU FDL. The commit message (r1.5) doesn't explain the motivation
or whether all copyright holders were actually asked and agreed to the
declared license change.

It's thus hard to tell whether or not the license change was legit,
but luckily two days later the "doc license" was "put" "back to GPL"
anyway (r1.6).

At the same time the offending comment with a link to the FDL
(not the GPL) was added for no obvious reason.

Now it's gone again.

Let write_pid_file() terminate if the pid file can't be opened

Logging the issue at info level is unlikely to help.

Rebuild HTML docs

Sponsored by: Robert Klemme

Rebuild AUTHORS

Regenerate config file with 'receive-buffer-size' and 'trusted-cgi-referer' sections

Sponsored by: Robert Klemme

Add a small fuzzing section to the developer documentation

Add Johan Sintorn as contributor

He reporting a performance issue in 2015 (SF#894, jbsockets.c,v 1.133).

Fix indentation in handle_established_connection()

rfc2553_connect_to(): Properly detect and log when poll() reached the time out

Previously this was logged as:
Could not connect to [...]: No error: 0.
which isn't very helpful.

The select() code path doesn't look like it would handle timeouts
properly either but apparently nobody noticed this yet ...

Sponsored by: Robert Klemme

Fix indentation

Let sockaddr_storage_to_ip() return void

The previous failure conditions weren't (supposed to be)
reachable and weren't consistently checked anyway.

Let sockaddr_storage_to_ip() assert that the address family is AF_INET or AF_INET6

Privoxy currently doesn't support any other address families
so there's no need to pretent to handle them.

Let sockaddr_storage_to_ip() assert that addr isn't NULL

Calling the function with a NULL pointer is unreasonable,
we currently don't do it (intentionally) and shouldn't start
to do it (intentionally) in the future.

Relocate the DEFAULT_KEEP_ALIVE_TIMEOUT definition to loadcfg.c

It's no longer referenced anywhere else.

Remove code that has been pointless since 2009

This should have been done with gateway.c r1.52 which
rendered the global keep_alive_timeout obsolete.

Fix comments that still called Privoxy Junkbuster

socket_is_still_alive(): Remove superfluous empty line

hard-code windres output format to pe-i386

  ideally windres output would be based on the
    ./configure --host=XXX
  type.  Maybe someday I'll figure it out but for now,
  when using cygwin to build privoxy, use
    ./configure --host=i686-w64-mingw32
  and it'll work using either the 32 or 64 bit version of cygwin.

Unbreak the 'Windows with GUI' build after r1.129

Reported by Lee.

Remove #157 which is done

Remove #149 which is done

remove_tag_for_client(): Remove a harmless 'dead store'

... and make the code easier to understand.

cgi_show_client_tags(): Fix a harmless 'dead store' warning

Make sure binaries with fuzzing support are used for fuzzing-related things

... and exit otherwise.

In case of fuzzing builds various data structures are static
which is unsafe when using threads.

pcrs_compile_replacement(): Fix a clang warning when building with FUZZ support

The warning was:
"Address of stack memory associated with local variable 'length' is
still referred to by the static variable 'length_stack' upon returning
to the caller. This will be a dangling reference"

For the fuzzing use case it didn't matter but it still shouldn't be done.

While at it, remove a couple of variables that were only used
to make debugging more convenient.

log_error(): Reduce the mutex-protected area

... by not using a heap-allocated buffer that is
shared between all threads.

This increases performance and reduces the latency
with verbose debug settings and multiple concurrent
connections.

Sponsored by: Robert Klemme

log_error(): Declare log_buffer_size constant

Let zalloc() use calloc() if it's available

In some situations using calloc() can be faster than
malloc() + memset() and it should never be slower.

In the real world the impact of this change is not
expected to be noticeable.

Sponsored by: Robert Klemme

Document the receive-buffer-size directive

Sponsored by: Robert Klemme

Add a receive-buffer-size directive

... which can be used to set the size of the previously statically
allocated buffer in handle_established_connection().

Increasing the buffer size increases Privoxy's memory usage but
can lower the number of context switches and thereby reduce the
cpu usage and potentially increase the throughput.

This is mostly relevant for fast network connections and
large downloads that don't require filtering.

Currently BUFFER_SIZE is kept as default and lower limit
but the default should be increased after some more testing.

A dtrace command like:
sudo dtrace -n 'syscall::read:return /execname == "privoxy"/ { @[execname] = llquantize(arg0, 10, 0, 5, 20); @m = max(arg0)}'
can be used to properly tune the receive-buffer-size.

If the buffer is too large it will increase Privoxy's memory
footprint without any benefit. As the memory is (currently)
cleared before using it, a buffer that is too large can
actually reduce the throughput.

Things could be improved further by upwards scaling the buffer
dynamically based on how much of the previous allocation
was actually used.

Additionally the buffer should be referenced through csp and
also be used for other receive-related functions.

Measured throughput when using four connections to
constantly request a 10 MB file:

~320 MB/s with the default
~400 MB/s with "receive-buffer-size    8192"
~490 MB/s with "receive-buffer-size   16384"
~610 MB/s with "receive-buffer-size   32768"
~700 MB/s with "receive-buffer-size   65536"
~755 MB/s with "receive-buffer-size  131072"
~795 MB/s with "receive-buffer-size  262144"
~804 MB/s with "receive-buffer-size  524288"
~798 MB/s with "receive-buffer-size 1048576"
~780 MB/s with "receive-buffer-size 2097152"

Sponsored by: Robert Klemme

Bump copyright

Make it more obvious that the --with-fdsetsize configure switch is pointless if poll() is available

Never use select() when poll() is available

On most platforms select() is limitted by FD_SETSIZE while
poll() is not. This was a scaling issue for multi-user setups.

Using poll() has no downside other than the usual risk
that code modifications may introduce new bugs that have
yet to be found and fixed.

At least in theory this commit could also reduce the latency
when there are lots of connections and select() would use
"bit fields in arrays of integers" to store file descriptors.

Another side effect is that Privoxy no longer has to stop
monitoring the client sockets when pipelined requests are
waiting but can't be read yet.

This code keeps the select()-based code behind ifdefs for
now but hopefully it can be removed soonish to make the
code more readable.

Sponsored by: Robert Klemme

Reduce chat()'s stack usage

... by removing a buffer that was left from a previous
refactoring.

Sponsored by: Robert Klemme

Register missing dependencies for fuzz.c and client-tags.c

Previously project.h modificiations would not result in
rebuilds of fuzz.o and client-tags.o. This could cause
SIGBUS crashes in case of structure changes etc.

Properly disable fuzz support when it hasn't been requested

Previously fuzz.o was compiled and linked in anyway
while the code was unreachable.

Add missing space