a4e430ef8d3c70ba1b02ecebcc8c262523fdbd50
[privoxy.git] / jcc.c
1 const char jcc_rcs[] = "$Id: jcc.c,v 1.147 2007/08/25 14:42:40 fabiankeil Exp $";
2 /*********************************************************************
3  *
4  * File        :  $Source: /cvsroot/ijbswa/current/jcc.c,v $
5  *
6  * Purpose     :  Main file.  Contains main() method, main loop, and
7  *                the main connection-handling function.
8  *
9  * Copyright   :  Written by and Copyright (C) 2001-2007 the SourceForge
10  *                Privoxy team. http://www.privoxy.org/
11  *
12  *                Based on the Internet Junkbuster originally written
13  *                by and Copyright (C) 1997 Anonymous Coders and
14  *                Junkbusters Corporation.  http://www.junkbusters.com
15  *
16  *                This program is free software; you can redistribute it
17  *                and/or modify it under the terms of the GNU General
18  *                Public License as published by the Free Software
19  *                Foundation; either version 2 of the License, or (at
20  *                your option) any later version.
21  *
22  *                This program is distributed in the hope that it will
23  *                be useful, but WITHOUT ANY WARRANTY; without even the
24  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
25  *                PARTICULAR PURPOSE.  See the GNU General Public
26  *                License for more details.
27  *
28  *                The GNU General Public License should be included with
29  *                this file.  If not, you can view it at
30  *                http://www.gnu.org/copyleft/gpl.html
31  *                or write to the Free Software Foundation, Inc., 59
32  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
33  *
34  * Revisions   :
35  *    $Log: jcc.c,v $
36  *    Revision 1.147  2007/08/25 14:42:40  fabiankeil
37  *    Don't crash if a broken header filter wiped out the request line.
38  *
39  *    Revision 1.146  2007/08/20 17:09:32  fabiankeil
40  *    Fix byte_count calculation in case of flushes
41  *    and don't parse the server headers a second time.
42  *
43  *    Revision 1.145  2007/08/19 13:13:31  fabiankeil
44  *    - If there's a connection problem after we already forwarded
45  *      parts of the original content, just hang up. Fixes BR#1776724.
46  *    - Fix warnings about unused code on mingw32.
47  *    - In case of flushes, calculate the byte count
48  *      less incorrectly (I think).
49  *
50  *    Revision 1.144  2007/08/11 14:43:22  fabiankeil
51  *    Add some more prototypes for static functions.
52  *
53  *    Revision 1.143  2007/08/05 13:58:19  fabiankeil
54  *    Comment out request_contains_null_bytes() until it's used again.
55  *
56  *    Revision 1.142  2007/08/05 13:50:26  fabiankeil
57  *    #1763173 from Stefan Huehner: s@const static@static const@
58  *    and declare some more functions static.
59  *
60  *    Revision 1.141  2007/08/04 09:56:23  fabiankeil
61  *    - Log rejected CONNECT requests with LOG_LEVEL_INFO
62  *      and explain why they were rejected in the first place.
63  *    - Fix the LOG_LEVEL_CLF message for crunches of unallowed
64  *      CONNECT requests. The request line was missing.
65  *    - Add two more XXX reminders as we don't have enough already.
66  *
67  *    Revision 1.140  2007/07/21 11:51:36  fabiankeil
68  *    As Hal noticed, checking dispatch_cgi() as the last cruncher
69  *    looks like a bug if CGI requests are blocked unintentionally,
70  *    so don't do it unless the user enabled the new config option
71  *    "allow-cgi-request-crunching".
72  *
73  *    Revision 1.139  2007/07/14 07:46:41  fabiankeil
74  *    - Allow to rewrite the request destination behind the client's back.
75  *    - Turn the weird-looking unconditional for loop that
76  *      reads the client request into a conditional while loop.
77  *      Move the stuff that only runs once out of the loop.
78  *    - Move parts of chat(), server_content_type() and the
79  *      necessary stuff to fix BR#1750917 into get_filter_function().
80  *
81  *    Revision 1.138  2007/06/03 18:45:18  fabiankeil
82  *    Temporary workaround for BR#1730105.
83  *
84  *    Revision 1.137  2007/06/01 18:16:36  fabiankeil
85  *    Use the same mutex for gethostbyname() and gethostbyaddr() to prevent
86  *    deadlocks and crashes on OpenBSD and possibly other OS with neither
87  *    gethostbyname_r() nor gethostaddr_r(). Closes BR#1729174.
88  *    Thanks to Ralf Horstmann for report and solution.
89  *
90  *    Revision 1.136  2007/06/01 16:41:11  fabiankeil
91  *    Add forward-override{} to change the forwarding settings through
92  *    action sections. This is mainly interesting to forward different
93  *    clients differently (for example based on User-Agent or request
94  *    origin).
95  *
96  *    Revision 1.135  2007/05/24 17:03:50  fabiankeil
97  *    - Let usage() mention the --chroot parameter.
98  *    - Use read_socket() consistently and always leave
99  *      the last buffer byte alone, even in cases where
100  *      null termination (currently) doesn't matter.
101  *
102  *    Revision 1.134  2007/05/16 14:59:46  fabiankeil
103  *    - Fix config file loading on Unix if no config file is specified.
104  *      Since r1.97 Privoxy would always interpret the last argument as
105  *      config file, even if it's a valid command line option.
106  *    - Abort in case of unrecognized command line options. Closes #1719696.
107  *    - Remove a bunch of unnecessary strcpy() calls (yay for c&p without thinking).
108  *    - Replace the remaining strcpy() and strcat() calls with strlcpy() and strcat().
109  *
110  *    Revision 1.133  2007/05/04 11:23:19  fabiankeil
111  *    - Don't rerun crunchers that only depend on the request URL.
112  *    - Don't count redirects and CGI requests as "blocked requests".
113  *
114  *    Revision 1.132  2007/04/25 15:15:17  fabiankeil
115  *    Support crunching based on tags created by server-header taggers.
116  *
117  *    Revision 1.131  2007/04/22 13:24:50  fabiankeil
118  *    Make HTTP snippets static (again). Add a Content-Type for those
119  *    with content so the browser doesn't guess it based on the URL.
120  *
121  *    Revision 1.130  2007/04/19 13:47:34  fabiankeil
122  *    Move crunching and request line rebuilding out of chat().
123  *
124  *    Revision 1.129  2007/04/15 16:39:20  fabiankeil
125  *    Introduce tags as alternative way to specify which
126  *    actions apply to a request. At the moment tags can be
127  *    created based on client and server headers.
128  *
129  *    Revision 1.128  2007/03/25 16:55:54  fabiankeil
130  *    Don't CLF-log CONNECT requests twice.
131  *
132  *    Revision 1.127  2007/03/20 13:53:17  fabiankeil
133  *    Log the source address for ACL-related connection drops.
134  *
135  *    Revision 1.126  2007/03/17 15:20:05  fabiankeil
136  *    New config option: enforce-blocks.
137  *
138  *    Revision 1.125  2007/03/09 14:12:00  fabiankeil
139  *    - Move null byte check into separate function.
140  *    - Don't confuse the client with error pages
141  *      if a CONNECT request was already confirmed.
142  *
143  *    Revision 1.124  2007/02/23 14:59:54  fabiankeil
144  *    Speed up NULL byte escaping and only log the complete
145  *    NULL byte requests with header debugging enabled.
146  *
147  *    Revision 1.123  2007/02/21 18:42:10  fabiankeil
148  *    Answer requests that contain NULL bytes with
149  *    a custom response instead of waiting for more
150  *    data until the client eventually hangs up.
151  *
152  *    Revision 1.122  2007/02/07 11:12:02  fabiankeil
153  *    - Move delivery and logging of crunched responses
154  *      from chat() into send_crunch_response().
155  *    - Display the reason for generating http_responses.
156  *    - Log the content length for LOG_LEVEL_CLF correctly
157  *      (still incorrect for some fixed responses).
158  *    - Reword an incorrect comment about
159  *      treat-forbidden-connects-like-blocks violating
160  *      the specs.
161  *    - Add some log messages.
162  *
163  *    Revision 1.121  2007/01/27 10:52:56  fabiankeil
164  *    Move mutex initialization into separate
165  *    function and exit in case of errors.
166  *
167  *    Revision 1.120  2007/01/26 14:18:42  fabiankeil
168  *    - Start to reduce chat()'s line count and move
169  *      parts of it into separate functions.
170  *    - Add "HTTP/1.1 100 Continue" hack for BR 756734.
171  *
172  *    Revision 1.119  2007/01/25 14:02:30  fabiankeil
173  *    - Add Proxy-Agent header to HTTP snippets that are
174  *      supposed to reach HTTP clients only.
175  *    - Made a few CONNECT log messages more descriptive.
176  *    - Catch completely empty server responses (as seen
177  *      with Tor's fake ".noconnect" top level domain).
178  *    - Use shiny new "forwarding-failed" template for socks errors.
179  *
180  *    Revision 1.118  2007/01/07 07:43:43  joergs
181  *    AmigaOS4 support added.
182  *
183  *    Revision 1.117  2006/12/31 17:56:37  fabiankeil
184  *    Added config option accept-intercepted-requests
185  *    and disabled it by default.
186  *
187  *    Revision 1.116  2006/12/29 19:08:22  fabiankeil
188  *    Reverted parts of my last commit
189  *    to keep error handling working.
190  *
191  *    Revision 1.115  2006/12/29 17:38:57  fabiankeil
192  *    Fixed gcc43 conversion warnings.
193  *
194  *    Revision 1.114  2006/12/27 18:52:02  fabiankeil
195  *    Fix -pedantic ISO C warning about converting
196  *    from function pointer to object pointer.
197  *
198  *    Revision 1.113  2006/12/26 17:38:50  fabiankeil
199  *    Silence compiler warning I introduced with my last commit.
200  *
201  *    Revision 1.112  2006/12/26 17:31:41  fabiankeil
202  *    Mutex protect rand() if POSIX threading
203  *    is used, warn the user if that's not possible
204  *    and stop using it on _WIN32 where it could
205  *    cause crashes.
206  *
207  *    Revision 1.111  2006/12/23 16:15:06  fabiankeil
208  *    Don't prevent core dumps by catching SIGABRT.
209  *    It's rude and makes debugging unreasonable painful.
210  *
211  *    Revision 1.110  2006/12/13 14:52:53  etresoft
212  *    Fix build failure on MacOS X. Global symbols can be either static or extern, but not both.
213  *
214  *    Revision 1.109  2006/12/06 19:41:40  fabiankeil
215  *    Privoxy is now able to run as intercepting
216  *    proxy in combination with any packet filter
217  *    that does the port redirection. The destination
218  *    is extracted from the "Host:" header which
219  *    should be available for nearly all requests.
220  *
221  *    Moved HTTP snipplets into jcc.c.
222  *    Added error message for gopher proxy requests.
223  *
224  *    Revision 1.108  2006/11/28 15:38:51  fabiankeil
225  *    Only unlink the pidfile if it's actually used.
226  *
227  *    Change order of interception checks to make
228  *    it possible to block or redirect requests for
229  *    the cgi pages.
230  *
231  *    Revision 1.107  2006/11/13 19:05:51  fabiankeil
232  *    Make pthread mutex locking more generic. Instead of
233  *    checking for OSX and OpenBSD, check for FEATURE_PTHREAD
234  *    and use mutex locking unless there is an _r function
235  *    available. Better safe than sorry.
236  *
237  *    Fixes "./configure --disable-pthread" and should result
238  *    in less threading-related problems on pthread-using platforms,
239  *    but it still doesn't fix BR#1122404.
240  *
241  *    Revision 1.106  2006/11/06 19:58:23  fabiankeil
242  *    Move pthread.h inclusion from jcc.c to jcc.h.
243  *    Fixes build on x86-freebsd1 (FreeBSD 5.4-RELEASE).
244  *
245  *    Revision 1.105  2006/11/06 14:26:02  fabiankeil
246  *    Don't exit after receiving the second SIGHUP on Solaris.
247  *
248  *    Fixes BR 1052235, but the same problem may exist on other
249  *    systems. Once 3.0.6 is out we should use sigset()
250  *    where available and see if it breaks anything.
251  *
252  *    Revision 1.104  2006/09/23 13:26:38  roro
253  *    Replace TABs by spaces in source code.
254  *
255  *    Revision 1.103  2006/09/21 12:54:43  fabiankeil
256  *    Fix +redirect{}. Didn't work with -fast-redirects.
257  *
258  *    Revision 1.102  2006/09/06 13:03:04  fabiankeil
259  *    Respond with 400 and a short text message
260  *    if the client tries to use Privoxy as FTP proxy.
261  *
262  *    Revision 1.101  2006/09/06 09:23:37  fabiankeil
263  *    Make number of retries in case of forwarded-connect problems
264  *    a config file option (forwarded-connect-retries) and use 0 as
265  *    default.
266  *
267  *    Revision 1.100  2006/09/03 19:42:59  fabiankeil
268  *    Set random(3) seed.
269  *
270  *    Revision 1.99  2006/09/02 15:36:42  fabiankeil
271  *    Follow the OpenBSD port's lead and protect the resolve
272  *    functions on OpenBSD as well.
273  *
274  *    Revision 1.98  2006/08/24 11:01:34  fabiankeil
275  *    --user fix. Only use the user as group if no group is specified.
276  *    Solves BR 1492612. Thanks to Spinor S. and David Laight.
277  *
278  *    Revision 1.97  2006/08/18 15:23:17  david__schmidt
279  *    Windows service (re-)integration
280  *
281  *    The new args are:
282  *
283  *    --install[:service_name]
284  *    --uninstall[:service_name]
285  *    --service
286  *
287  *    They work as follows:
288  *    --install will create a service for you and then terminate.
289  *    By default the service name will be "privoxy" (without the quotes).
290  *    However you can run multiple services if you wish, just by adding
291  *    a colon and then a name (no spaces).
292  *
293  *    --uninstall follows the exact same rules a --install.
294  *
295  *    --service is used when the program is executed by the service
296  *    control manager, and in normal circumstances would never be
297  *    used as a command line argument.
298  *
299  *    Revision 1.96  2006/08/15 20:12:36  david__schmidt
300  *    Windows service integration
301  *
302  *    Revision 1.95  2006/08/03 02:46:41  david__schmidt
303  *    Incorporate Fabian Keil's patch work:
304 http://www.fabiankeil.de/sourcecode/privoxy/
305  *
306  *    Revision 1.94  2006/07/18 14:48:46  david__schmidt
307  *    Reorganizing the repository: swapping out what was HEAD (the old 3.1 branch)
308  *    with what was really the latest development (the v_3_0_branch branch)
309  *
310  *    Revision 1.92.2.16  2005/04/03 20:10:50  david__schmidt
311  *    Thanks to Jindrich Makovicka for a race condition fix for the log
312  *    file.  The race condition remains for non-pthread implementations.
313  *    Reference patch #1175720.
314  *
315  *    Revision 1.92.2.15  2004/10/03 12:53:32  david__schmidt
316  *    Add the ability to check jpeg images for invalid
317  *    lengths of comment blocks.  Defensive strategy
318  *    against the exploit:
319  *       Microsoft Security Bulletin MS04-028
320  *       Buffer Overrun in JPEG Processing (GDI+) Could
321  *       Allow Code Execution (833987)
322  *    Enabled with +inspect-jpegs in actions files.
323  *
324  *    Revision 1.92.2.14  2003/12/12 12:52:53  oes
325  *    - Fixed usage info for non-unix platforms
326  *    - Fixed small cmdline parsing bug
327  *
328  *    Revision 1.92.2.13  2003/11/27 19:20:27  oes
329  *    Diagnostics: Now preserve the returncode of pthread_create
330  *    in errno. Closes BR #775721. Thanks to Geoffrey Hausheer.
331  *
332  *    Revision 1.92.2.12  2003/07/11 11:34:19  oes
333  *    No longer ignore SIGCHLD. Fixes bug #769381
334  *
335  *    Revision 1.92.2.11  2003/05/14 12:32:02  oes
336  *    Close jarfile on graceful exit, remove stray line
337  *
338  *    Revision 1.92.2.10  2003/05/08 15:13:46  oes
339  *    Cosmetics: Killed a warning, a typo and an allocation left at exit
340  *
341  *    Revision 1.92.2.9  2003/04/03 15:08:42  oes
342  *    No longer rely on non-POSIX.1 extensions of getcwd().
343  *    Fixes bug #711001
344  *
345  *    Revision 1.92.2.8  2003/03/31 13:12:32  oes
346  *    Replaced setenv() by posix-compliant putenv()
347  *    Thanks to Neil McCalden (nmcc AT users.sf.net).
348  *
349  *    Revision 1.92.2.7  2003/03/17 16:48:59  oes
350  *    Added chroot ability, thanks to patch by Sviatoslav Sviridov
351  *
352  *    Revision 1.92.2.6  2003/03/11 11:55:00  oes
353  *    Clean-up and extension of improvements for forked mode:
354  *     - Child's return code now consists of flags RC_FLAG_*
355  *     - Reporting toggle to parent now properly #ifdef'ed
356  *     - Children now report blocking to parent. This enables
357  *       statistics in forked mode
358  *
359  *    Revision 1.92.2.5  2003/03/10 23:45:32  oes
360  *    Fixed bug #700381: Non-Threaded version now capable of being toggled.
361  *    Children now report having been toggled through _exit(17), parents
362  *    watch for that code and toggle themselves if found.
363  *
364  *    Revision 1.92.2.4  2003/03/07 03:41:04  david__schmidt
365  *    Wrapping all *_r functions (the non-_r versions of them) with 
366  *    mutex semaphores for OSX.  Hopefully this will take care of all 
367  *    of those pesky crash reports.
368  *
369  *    Revision 1.92.2.3  2003/02/28 12:53:06  oes
370  *    Fixed two mostly harmless mem leaks
371  *
372  *    Revision 1.92.2.2  2002/11/20 14:37:47  oes
373  *    Fix: Head of global clients list now initialized to NULL
374  *
375  *    Revision 1.92.2.1  2002/09/25 14:52:24  oes
376  *    Added basic support for OPTIONS and TRACE HTTP methods:
377  *     - New interceptor direct_response() added in chat().
378  *     - sed() moved to earlier in the process, so that the
379  *       Host: header is evaluated before actions and forwarding
380  *       are decided on.
381  *
382  *    Revision 1.92  2002/05/08 16:00:46  oes
383  *    Chat's buffer handling:
384  *     - Fixed bug with unchecked out-of-mem conditions
385  *       while reading client request & server headers
386  *     - No longer predict if the buffer limit will be exceeded
387  *       in the next read -- check add_to_iob's new
388  *       return code. If buffer couldn't be extended
389  *       (policy or out-of-mem) while
390  *       - reading from client: abort
391  *       - reading server headers: send error page
392  *       - buffering server body for filter: flush,
393  *         and if that fails: send error page
394  *
395  *    Revision 1.91  2002/04/08 20:35:58  swa
396  *    fixed JB spelling
397  *
398  *    Revision 1.90  2002/04/02 14:57:28  oes
399  *    Made sending wafers independent of FEATURE_COOKIE_JAR
400  *
401  *    Revision 1.89  2002/03/31 17:18:59  jongfoster
402  *    Win32 only: Enabling STRICT to fix a VC++ compile warning.
403  *
404  *    Revision 1.88  2002/03/27 14:32:43  david__schmidt
405  *    More compiler warning message maintenance
406  *
407  *    Revision 1.87  2002/03/26 22:29:54  swa
408  *    we have a new homepage!
409  *
410  *    Revision 1.86  2002/03/25 17:04:55  david__schmidt
411  *    Workaround for closing the jarfile before load_config() comes around again
412  *
413  *    Revision 1.85  2002/03/24 15:23:33  jongfoster
414  *    Name changes
415  *
416  *    Revision 1.84  2002/03/24 13:25:43  swa
417  *    name change related issues
418  *
419  *    Revision 1.83  2002/03/16 23:54:06  jongfoster
420  *    Adding graceful termination feature, to help look for memory leaks.
421  *    If you enable this (which, by design, has to be done by hand
422  *    editing config.h) and then go to http://i.j.b/die, then the program
423  *    will exit cleanly after the *next* request.  It should free all the
424  *    memory that was used.
425  *
426  *    Revision 1.82  2002/03/13 00:27:05  jongfoster
427  *    Killing warnings
428  *
429  *    Revision 1.81  2002/03/12 01:42:50  oes
430  *    Introduced modular filters
431  *
432  *    Revision 1.80  2002/03/11 22:07:05  david__schmidt
433  *    OS/2 port maintenance:
434  *    - Fixed EMX build - it had decayed a little
435  *    - Fixed inexplicable crash during FD_ZERO - must be due to a bad macro.
436  *      substituted a memset for now.
437  *
438  *    Revision 1.79  2002/03/09 20:03:52  jongfoster
439  *    - Making various functions return int rather than size_t.
440  *      (Undoing a recent change).  Since size_t is unsigned on
441  *      Windows, functions like read_socket that return -1 on
442  *      error cannot return a size_t.
443  *
444  *      THIS WAS A MAJOR BUG - it caused frequent, unpredictable
445  *      crashes, and also frequently caused JB to jump to 100%
446  *      CPU and stay there.  (Because it thought it had just
447  *      read ((unsigned)-1) == 4Gb of data...)
448  *
449  *    - The signature of write_socket has changed, it now simply
450  *      returns success=0/failure=nonzero.
451  *
452  *    - Trying to get rid of a few warnings --with-debug on
453  *      Windows, I've introduced a new type "jb_socket".  This is
454  *      used for the socket file descriptors.  On Windows, this
455  *      is SOCKET (a typedef for unsigned).  Everywhere else, it's
456  *      an int.  The error value can't be -1 any more, so it's
457  *      now JB_INVALID_SOCKET (which is -1 on UNIX, and in
458  *      Windows it maps to the #define INVALID_SOCKET.)
459  *
460  *    - The signature of bind_port has changed.
461  *
462  *    Revision 1.78  2002/03/08 21:35:04  oes
463  *    Added optional group supplement to --user option. Will now use default group of user if no group given
464  *
465  *    Revision 1.77  2002/03/07 03:52:06  oes
466  *     - Fixed compiler warnings etc
467  *     - Improved handling of failed DNS lookups
468  *
469  *    Revision 1.76  2002/03/06 22:54:35  jongfoster
470  *    Automated function-comment nitpicking.
471  *
472  *    Revision 1.75  2002/03/06 10:02:19  oes
473  *    Fixed stupid bug when --user was not given
474  *
475  *    Revision 1.74  2002/03/06 00:49:31  jongfoster
476  *    Fixing warning on Windows
477  *    Making #ifdefs that refer to the same variable consistently
478  *    use #ifdef unix rather than mixing #ifdef unix & #ifndef OS2
479  *
480  *    Revision 1.73  2002/03/05 23:57:30  hal9
481  *    Stray character 's' on line 1618 was breaking build.
482  *
483  *    Revision 1.72  2002/03/05 21:33:45  david__schmidt
484  *    - Re-enable OS/2 building after new parms were added
485  *    - Fix false out of memory report when resolving CGI templates when no IP
486  *      address is available of failed attempt (a la no such domain)
487  *
488  *    Revision 1.71  2002/03/05 18:13:56  oes
489  *    Added --user option
490  *
491  *    Revision 1.70  2002/03/05 04:52:42  oes
492  *    Deleted non-errlog debugging code
493  *
494  *    Revision 1.69  2002/03/04 23:50:00  jongfoster
495  *    Splitting off bind_port() call into bind_port_helper(), with
496  *    improved logging.
497  *
498  *    Revision 1.68  2002/03/04 20:17:32  oes
499  *    Fixed usage info
500  *
501  *    Revision 1.67  2002/03/04 18:18:57  oes
502  *    - Removed _DEBUG mode
503  *    - Cleand up cmdline parsing
504  *    - Introduced --no-daemon, --pidfile options
505  *    - Cleaned up signal handling:
506  *      - Terminate cleanly on INT, TERM and ABRT
507  *      - Schedule logfile for re-opening on HUP
508  *      - Ignore CHLD and PIPE
509  *      - Leave the rest with their default handlers
510  *      - Uniform handler registration
511  *    - Added usage() function
512  *    - Played styleguide police
513  *
514  *    Revision 1.66  2002/03/03 15:06:55  oes
515  *    Re-enabled automatic config reloading
516  *
517  *    Revision 1.65  2002/03/03 14:49:11  oes
518  *    Fixed CLF logging: Now uses client's original HTTP request
519  *
520  *    Revision 1.64  2002/03/03 09:18:03  joergs
521  *    Made jumbjuster work on AmigaOS again.
522  *
523  *    Revision 1.63  2002/03/02 04:14:50  david__schmidt
524  *    Clean up a little CRLF unpleasantness that suddenly appeared
525  *
526  *    Revision 1.62  2002/02/20 23:17:23  jongfoster
527  *    Detecting some out-of memory conditions and exiting with a log message.
528  *
529  *    Revision 1.61  2002/01/17 21:01:52  jongfoster
530  *    Moving all our URL and URL pattern parsing code to urlmatch.c.
531  *
532  *    Revision 1.60  2001/12/30 14:07:32  steudten
533  *    - Add signal handling (unix)
534  *    - Add SIGHUP handler (unix)
535  *    - Add creation of pidfile (unix)
536  *    - Add action 'top' in rc file (RH)
537  *    - Add entry 'SIGNALS' to manpage
538  *    - Add exit message to logfile (unix)
539  *
540  *    Revision 1.59  2001/12/13 14:07:18  oes
541  *    Fixed Bug: 503 error page now sent OK
542  *
543  *    Revision 1.58  2001/11/30 23:37:24  jongfoster
544  *    Renaming the Win32 config file to config.txt - this is almost the
545  *    same as the corresponding UNIX name "config"
546  *
547  *    Revision 1.57  2001/11/16 00:47:43  jongfoster
548  *    Changing the tty-disconnection code to use setsid().
549  *
550  *    Revision 1.56  2001/11/13 20:20:54  jongfoster
551  *    Tabs->spaces, fixing a bug with missing {} around an if()
552  *
553  *    Revision 1.55  2001/11/13 20:14:53  jongfoster
554  *    Patch for FreeBSD setpgrp() as suggested by Alexander Lazic
555  *
556  *    Revision 1.54  2001/11/07 00:03:14  steudten
557  *    Give reliable return value if an error
558  *    occurs not just 0 with new daemon mode.
559  *
560  *    Revision 1.53  2001/11/05 21:41:43  steudten
561  *    Add changes to be a real daemon just for unix os.
562  *    (change cwd to /, detach from controlling tty, set
563  *    process group and session leader to the own process.
564  *    Add DBG() Macro.
565  *    Add some fatal-error log message for failed malloc().
566  *    Add '-d' if compiled with 'configure --with-debug' to
567  *    enable debug output.
568  *
569  *    Revision 1.52  2001/10/26 20:11:20  jongfoster
570  *    Fixing type mismatch
571  *
572  *    Revision 1.51  2001/10/26 17:38:28  oes
573  *    Cosmetics
574  *
575  *    Revision 1.50  2001/10/25 03:40:48  david__schmidt
576  *    Change in porting tactics: OS/2's EMX porting layer doesn't allow multiple
577  *    threads to call select() simultaneously.  So, it's time to do a real, live,
578  *    native OS/2 port.  See defines for __EMX__ (the porting layer) vs. __OS2__
579  *    (native). Both versions will work, but using __OS2__ offers multi-threading.
580  *
581  *    Revision 1.49  2001/10/23 21:41:35  jongfoster
582  *    Added call to initialize the (statically-allocated of course)
583  *    "out of memory" CGI response.
584  *
585  *    Revision 1.48  2001/10/10 19:56:46  jongfoster
586  *    Moving some code that wasn't cookie-related out of an #ifdef
587  *    FEATURE_COOKIE_JAR
588  *
589  *    Revision 1.47  2001/10/10 16:44:36  oes
590  *    Added CONNECT destination port limitation check
591  *
592  *    Revision 1.46  2001/10/08 15:17:41  oes
593  *    Re-enabled SSL forwarding
594  *
595  *    Revision 1.45  2001/10/07 15:42:11  oes
596  *    Replaced 6 boolean members of csp with one bitmap (csp->flags)
597  *
598  *    Moved downgrading of the HTTP version from parse_http_request to
599  *      chat(), since we can't decide if it is necessary before we have
600  *      determined the actions for the URL. The HTTP command is now
601  *      *always* re-built so the repairs need no longer be special-cased.
602  *
603  *    filter_popups now gets a csp pointer so it can raise the new
604  *      CSP_FLAG_MODIFIED flag.
605  *
606  *    Bugfix
607  *
608  *    Added configurable size limit for the IOB. If the IOB grows so
609  *      large that the next read would exceed the limit, the header
610  *      is generated, and the header & unfiltered buffer are flushed
611  *      to the client. Chat then continues in non-buffering,
612  *      non-filtering body mode.
613  *
614  *    Revision 1.44  2001/10/02 18:13:57  oes
615  *    Ooops
616  *
617  *    Revision 1.43  2001/10/02 15:32:13  oes
618  *    Moved generation of hdr
619  *
620  *    Revision 1.42  2001/09/21 23:02:02  david__schmidt
621  *    Cleaning up 2 compiler warnings on OS/2.
622  *
623  *    Revision 1.41  2001/09/16 17:05:14  jongfoster
624  *    Removing unused #include showarg.h
625  *
626  *    Revision 1.40  2001/09/16 15:41:45  jongfoster
627  *    Fixing signed/unsigned comparison warning.
628  *
629  *    Revision 1.39  2001/09/16 13:21:27  jongfoster
630  *    Changes to use new list functions.
631  *
632  *    Revision 1.38  2001/09/16 13:01:46  jongfoster
633  *    Removing redundant function call that zeroed zalloc()'d memory.
634  *
635  *    Revision 1.37  2001/09/10 11:12:24  oes
636  *    Deleted unused variable
637  *
638  *    Revision 1.36  2001/09/10 10:56:15  oes
639  *    Silenced compiler warnings
640  *
641  *    Revision 1.35  2001/07/31 14:44:22  oes
642  *    Deleted unused size parameter from filter_popups()
643  *
644  *    Revision 1.34  2001/07/30 22:08:36  jongfoster
645  *    Tidying up #defines:
646  *    - All feature #defines are now of the form FEATURE_xxx
647  *    - Permanently turned off WIN_GUI_EDIT
648  *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
649  *
650  *    Revision 1.33  2001/07/29 19:32:00  jongfoster
651  *    Renaming _main() [mingw32 only] to real_main(), for ANSI compliance.
652  *
653  *    Revision 1.32  2001/07/29 18:47:05  jongfoster
654  *    Adding missing #include "loadcfg.h"
655  *
656  *    Revision 1.31  2001/07/29 12:17:48  oes
657  *    Applied pthread fix by Paul Lieverse
658  *
659  *    Revision 1.30  2001/07/25 22:57:13  jongfoster
660  *    __BEOS__ no longer overrides FEATURE_PTHREAD.
661  *    This is because FEATURE_PTHREAD will soon be widely used, so I
662  *    want to keep it simple.
663  *
664  *    Revision 1.29  2001/07/24 12:47:06  oes
665  *    Applied BeOS support update by Eugenia
666  *
667  *    Revision 1.28  2001/07/23 13:26:12  oes
668  *    Fixed bug in popup-killing for the first read that caused binary garbage to be sent between headers and body
669  *
670  *    Revision 1.27  2001/07/19 19:09:47  haroon
671  *    - Added code to take care of the situation where while processing the first
672  *      server response (which includes the server header), after finding the end
673  *      of the headers we were not looking past the end of the headers for
674  *      content modification. I enabled it for filter_popups.
675  *      Someone else should look to see if other similar operations should be
676  *      done to the discarded portion of the buffer.
677  *
678  *      Note 2001/07/20: No, the other content modification mechanisms will process
679  *                       the whole iob later anyway. --oes
680  *
681  *    Revision 1.26  2001/07/18 12:31:36  oes
682  *    cosmetics
683  *
684  *    Revision 1.25  2001/07/15 19:43:49  jongfoster
685  *    Supports POSIX threads.
686  *    Also removed some unused #includes.
687  *
688  *    Revision 1.24  2001/07/13 14:00:40  oes
689  *     - Generic content modification scheme:
690  *       Each feature has its own applicability flag that is set
691  *       from csp->action->flags.
692  *       Replaced the "filtering" int flag , by a function pointer
693  *       "content_filter" to the function that will do the content
694  *       modification. If it is != NULL, the document will be buffered
695  *       and processed through *content_filter, which must set
696  *       csp->content_length and return a modified copy of the body
697  *       or return NULL (on failiure).
698  *     - Changed csp->is_text to the more generic bitmap csp->content_type
699  *       which can currently take the valued CT_TEXT or CT_GIF
700  *     - Reformatting etc
701  *     - Removed all #ifdef PCRS
702  *
703  *    Revision 1.23  2001/07/02 02:28:25  iwanttokeepanon
704  *    Added "#ifdef ACL_FILES" conditional compilation to line 1291 to exclude
705  *    the `block_acl' call.  This prevents a compilation error when the user
706  *    does not wish to use the "ACL" feature.
707  *
708  *    Revision 1.22  2001/06/29 21:45:41  oes
709  *    Indentation, CRLF->LF, Tab-> Space
710  *
711  *    Revision 1.21  2001/06/29 13:29:36  oes
712  *    - Cleaned up, improved comments
713  *    - Unified all possible interceptors (CGI,
714  *      block, trust, fast_redirect) in one
715  *      place, with one (CGI) answer generation
716  *      mechansim. Much clearer now.
717  *    - Removed the GIF image generation, which
718  *      is now done in filters.c:block_url()
719  *    - Made error conditions like domain lookup
720  *      failiure or (various) problems while talking
721  *      to the server use cgi.c:error_response()
722  *      instead of generating HTML/HTTP in chat() (yuck!)
723  *    - Removed logentry from cancelled commit
724  *
725  *    Revision 1.20  2001/06/09 10:55:28  jongfoster
726  *    Changing BUFSIZ ==> BUFFER_SIZE
727  *
728  *    Revision 1.19  2001/06/07 23:12:52  jongfoster
729  *    Replacing function pointer in struct gateway with a directly
730  *    called function forwarded_connect().
731  *    Replacing struct gateway with struct forward_spec
732  *
733  *    Revision 1.18  2001/06/03 19:12:16  oes
734  *    introduced new cgi handling
735  *
736  *    Revision 1.17  2001/06/01 20:07:23  jongfoster
737  *    Now uses action +image-blocker{} rather than config->tinygif
738  *
739  *    Revision 1.16  2001/06/01 18:49:17  jongfoster
740  *    Replaced "list_share" with "list" - the tiny memory gain was not
741  *    worth the extra complexity.
742  *
743  *    Revision 1.15  2001/05/31 21:24:47  jongfoster
744  *    Changed "permission" to "action" throughout.
745  *    Removed DEFAULT_USER_AGENT - it must now be specified manually.
746  *    Moved vanilla wafer check into chat(), since we must now
747  *    decide whether or not to add it based on the URL.
748  *
749  *    Revision 1.14  2001/05/29 20:14:01  joergs
750  *    AmigaOS bugfix: PCRS needs a lot of stack, stacksize for child threads
751  *    increased.
752  *
753  *    Revision 1.13  2001/05/29 09:50:24  jongfoster
754  *    Unified blocklist/imagelist/permissionslist.
755  *    File format is still under discussion, but the internal changes
756  *    are (mostly) done.
757  *
758  *    Also modified interceptor behaviour:
759  *    - We now intercept all URLs beginning with one of the following
760  *      prefixes (and *only* these prefixes):
761  *        * http://i.j.b/
762  *        * http://ijbswa.sf.net/config/
763  *        * http://ijbswa.sourceforge.net/config/
764  *    - New interceptors "home page" - go to http://i.j.b/ to see it.
765  *    - Internal changes so that intercepted and fast redirect pages
766  *      are not replaced with an image.
767  *    - Interceptors now have the option to send a binary page direct
768  *      to the client. (i.e. ijb-send-banner uses this)
769  *    - Implemented show-url-info interceptor.  (Which is why I needed
770  *      the above interceptors changes - a typical URL is
771  *      "http://i.j.b/show-url-info?url=www.somesite.com/banner.gif".
772  *      The previous mechanism would not have intercepted that, and
773  *      if it had been intercepted then it then it would have replaced
774  *      it with an image.)
775  *
776  *    Revision 1.12  2001/05/27 22:17:04  oes
777  *
778  *    - re_process_buffer no longer writes the modified buffer
779  *      to the client, which was very ugly. It now returns the
780  *      buffer, which it is then written by chat.
781  *
782  *    - content_length now adjusts the Content-Length: header
783  *      for modified documents rather than crunch()ing it.
784  *      (Length info in csp->content_length, which is 0 for
785  *      unmodified documents)
786  *
787  *    - For this to work, sed() is called twice when filtering.
788  *
789  *    Revision 1.11  2001/05/26 17:27:53  jongfoster
790  *    Added support for CLF and fixed LOG_LEVEL_LOG.
791  *    Also did CRLF->LF fix of my previous patch.
792  *
793  *    Revision 1.10  2001/05/26 15:26:15  jongfoster
794  *    ACL feature now provides more security by immediately dropping
795  *    connections from untrusted hosts.
796  *
797  *    Revision 1.9  2001/05/26 00:28:36  jongfoster
798  *    Automatic reloading of config file.
799  *    Removed obsolete SIGHUP support (Unix) and Reload menu option (Win32).
800  *    Most of the global variables have been moved to a new
801  *    struct configuration_spec, accessed through csp->config->globalname
802  *    Most of the globals remaining are used by the Win32 GUI.
803  *
804  *    Revision 1.8  2001/05/25 22:43:18  jongfoster
805  *    Fixing minor memory leak and buffer overflow.
806  *
807  *    Revision 1.7  2001/05/25 22:34:30  jongfoster
808  *    Hard tabs->Spaces
809  *
810  *    Revision 1.6  2001/05/23 00:13:58  joergs
811  *    AmigaOS support fixed.
812  *
813  *    Revision 1.5  2001/05/22 18:46:04  oes
814  *
815  *    - Enabled filtering banners by size rather than URL
816  *      by adding patterns that replace all standard banner
817  *      sizes with the "Junkbuster" gif to the re_filterfile
818  *
819  *    - Enabled filtering WebBugs by providing a pattern
820  *      which kills all 1x1 images
821  *
822  *    - Added support for PCRE_UNGREEDY behaviour to pcrs,
823  *      which is selected by the (nonstandard and therefore
824  *      capital) letter 'U' in the option string.
825  *      It causes the quantifiers to be ungreedy by default.
826  *      Appending a ? turns back to greedy (!).
827  *
828  *    - Added a new interceptor ijb-send-banner, which
829  *      sends back the "Junkbuster" gif. Without imagelist or
830  *      MSIE detection support, or if tinygif = 1, or the
831  *      URL isn't recognized as an imageurl, a lame HTML
832  *      explanation is sent instead.
833  *
834  *    - Added new feature, which permits blocking remote
835  *      script redirects and firing back a local redirect
836  *      to the browser.
837  *      The feature is conditionally compiled, i.e. it
838  *      can be disabled with --disable-fast-redirects,
839  *      plus it must be activated by a "fast-redirects"
840  *      line in the config file, has its own log level
841  *      and of course wants to be displayed by show-proxy-args
842  *      Note: Boy, all the #ifdefs in 1001 locations and
843  *      all the fumbling with configure.in and acconfig.h
844  *      were *way* more work than the feature itself :-(
845  *
846  *    - Because a generic redirect template was needed for
847  *      this, tinygif = 3 now uses the same.
848  *
849  *    - Moved GIFs, and other static HTTP response templates
850  *      to project.h
851  *
852  *    - Some minor fixes
853  *
854  *    - Removed some >400 CRs again (Jon, you really worked
855  *      a lot! ;-)
856  *
857  *    Revision 1.4  2001/05/21 19:34:01  jongfoster
858  *    Made failure to bind() a fatal error.
859  *
860  *    Revision 1.3  2001/05/20 01:21:20  jongfoster
861  *    Version 2.9.4 checkin.
862  *    - Merged popupfile and cookiefile, and added control over PCRS
863  *      filtering, in new "permissionsfile".
864  *    - Implemented LOG_LEVEL_FATAL, so that if there is a configuration
865  *      file error you now get a message box (in the Win32 GUI) rather
866  *      than the program exiting with no explanation.
867  *    - Made killpopup use the PCRS MIME-type checking and HTTP-header
868  *      skipping.
869  *    - Removed tabs from "config"
870  *    - Moved duplicated url parsing code in "loaders.c" to a new funcition.
871  *    - Bumped up version number.
872  *
873  *    Revision 1.2  2001/05/17 22:34:44  oes
874  *     - Added hint on GIF char array generation to jcc.c
875  *     - Cleaned CRLF's from the sources and related files
876  *     - Repaired logging for REF and FRC
877  *
878  *    Revision 1.1.1.1  2001/05/15 13:58:56  oes
879  *    Initial import of version 2.9.3 source tree
880  *
881  *
882  *********************************************************************/
883 \f
884
885 #include "config.h"
886
887 #include <stdio.h>
888 #include <sys/types.h>
889 #include <stdlib.h>
890 #include <string.h>
891 #include <signal.h>
892 #include <fcntl.h>
893 #include <errno.h>
894 #include <assert.h>
895
896 #ifdef _WIN32
897 # ifndef FEATURE_PTHREAD
898 #  ifndef STRICT
899 #   define STRICT
900 #  endif
901 #  include <windows.h>
902 #  include <process.h>
903 # endif /* ndef FEATURE_PTHREAD */
904
905 # include "win32.h"
906 # ifndef _WIN_CONSOLE
907 #  include "w32log.h"
908 # endif /* ndef _WIN_CONSOLE */
909 # include "w32svrapi.h"
910
911 #else /* ifndef _WIN32 */
912
913 # if !defined (__OS2__)
914 # include <unistd.h>
915 # include <sys/wait.h>
916 # endif /* ndef __OS2__ */
917 # include <sys/time.h>
918 # include <sys/stat.h>
919 # include <sys/ioctl.h>
920
921 #ifdef sun
922 #include <sys/termios.h>
923 #endif /* sun */
924
925 #ifdef unix
926 #include <pwd.h>
927 #include <grp.h>
928 #endif
929
930 # include <signal.h>
931
932 # ifdef __BEOS__
933 #  include <socket.h>  /* BeOS has select() for sockets only. */
934 #  include <OS.h>      /* declarations for threads and stuff. */
935 # endif
936
937 # if defined(__EMX__) || defined(__OS2__)
938 #  include <sys/select.h>  /* OS/2/EMX needs a little help with select */
939 # endif
940 # ifdef __OS2__
941 #define INCL_DOS
942 # include <os2.h>
943 #define bzero(B,N) memset(B,0x00,n)
944 # endif
945
946 # ifndef FD_ZERO
947 #  include <select.h>
948 # endif
949
950 #endif
951
952 #include "project.h"
953 #include "list.h"
954 #include "jcc.h"
955 #include "filters.h"
956 #include "loaders.h"
957 #include "parsers.h"
958 #include "killpopup.h"
959 #include "miscutil.h"
960 #include "errlog.h"
961 #include "jbsockets.h"
962 #include "gateway.h"
963 #include "actions.h"
964 #include "cgi.h"
965 #include "loadcfg.h"
966 #include "urlmatch.h"
967
968 const char jcc_h_rcs[] = JCC_H_VERSION;
969 const char project_h_rcs[] = PROJECT_H_VERSION;
970
971 int no_daemon = 0;
972 struct client_state  clients[1];
973 struct file_list     files[1];
974
975 #ifdef FEATURE_STATISTICS
976 int urls_read     = 0;     /* total nr of urls read inc rejected */
977 int urls_rejected = 0;     /* total nr of urls rejected */
978 #endif /* def FEATURE_STATISTICS */
979
980 #ifdef FEATURE_GRACEFUL_TERMINATION
981 int g_terminate = 0;
982 #endif
983
984 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
985 static void sig_handler(int the_signal);
986 #endif
987 static int client_protocol_is_unsupported(const struct client_state *csp, char *req);
988 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers);
989 static jb_err get_server_headers(struct client_state *csp);
990 static const char *crunch_reason(const struct http_response *rsp);
991 static void send_crunch_response(struct client_state *csp, struct http_response *rsp);
992 /*
993  * static int request_contains_null_bytes(const struct client_state *csp, char *buf, int len);
994  */
995 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line);
996 static jb_err change_request_destination(struct client_state *csp);
997 static void chat(struct client_state *csp);
998 static void serve(struct client_state *csp);
999 #if defined(unix)
1000 static void usage(const char *myname);
1001 #endif
1002 static void initialize_mutexes(void);
1003 static jb_socket bind_port_helper(struct configuration_spec *config);
1004 static void listen_loop(void);
1005
1006 #ifdef AMIGA
1007 void serve(struct client_state *csp);
1008 #else /* ifndef AMIGA */
1009 static void serve(struct client_state *csp);
1010 #endif /* def AMIGA */
1011
1012 #ifdef __BEOS__
1013 static int32 server_thread(void *data);
1014 #endif /* def __BEOS__ */
1015
1016 #ifdef _WIN32
1017 #define sleep(N)  Sleep(((N) * 1000))
1018 #endif
1019
1020 #ifdef __OS2__
1021 #define sleep(N)  DosSleep(((N) * 100))
1022 #endif
1023
1024 #ifdef FEATURE_PTHREAD
1025 pthread_mutex_t log_mutex;
1026 pthread_mutex_t log_init_mutex;
1027
1028 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
1029 pthread_mutex_t resolver_mutex;
1030 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
1031
1032 #ifndef HAVE_GMTIME_R
1033 pthread_mutex_t gmtime_mutex;
1034 #endif /* ndef HAVE_GMTIME_R */
1035
1036 #ifndef HAVE_LOCALTIME_R
1037 pthread_mutex_t localtime_mutex;
1038 #endif /* ndef HAVE_GMTIME_R */
1039
1040 #ifndef HAVE_RANDOM
1041 pthread_mutex_t rand_mutex;
1042 #endif /* ndef HAVE_RANDOM */
1043
1044 #endif /* FEATURE_PTHREAD */
1045
1046 #if defined(unix) || defined(__EMX__)
1047 const char *basedir = NULL;
1048 const char *pidfile = NULL;
1049 int received_hup_signal = 0;
1050 #endif /* defined unix */
1051
1052 /* The vanilla wafer. */
1053 static const char VANILLA_WAFER[] =
1054    "NOTICE=TO_WHOM_IT_MAY_CONCERN_"
1055    "Do_not_send_me_any_copyrighted_information_other_than_the_"
1056    "document_that_I_am_requesting_or_any_of_its_necessary_components._"
1057    "In_particular_do_not_send_me_any_cookies_that_"
1058    "are_subject_to_a_claim_of_copyright_by_anybody._"
1059    "Take_notice_that_I_refuse_to_be_bound_by_any_license_condition_"
1060    "(copyright_or_otherwise)_applying_to_any_cookie._";
1061
1062 /* HTTP snipplets. */
1063 static const char CSUCCEED[] =
1064    "HTTP/1.0 200 Connection established\n"
1065    "Proxy-Agent: Privoxy/" VERSION "\r\n\r\n";
1066
1067 static const char CHEADER[] =
1068    "HTTP/1.0 400 Invalid header received from browser\r\n"
1069    "Proxy-Agent: Privoxy " VERSION "\r\n"
1070    "Content-Type: text/plain\r\n"
1071    "Connection: close\r\n\r\n"
1072    "Invalid header received from browser.\r\n";
1073
1074 static const char CFORBIDDEN[] =
1075    "HTTP/1.0 403 Connection not allowable\r\n"
1076    "Proxy-Agent: Privoxy " VERSION "\r\n"
1077    "X-Hint: If you read this message interactively, then you know why this happens ,-)\r\n"
1078    "Connection: close\r\n\r\n";
1079
1080 static const char FTP_RESPONSE[] =
1081    "HTTP/1.0 400 Invalid request received from browser\r\n"
1082    "Content-Type: text/plain\r\n"
1083    "Connection: close\r\n\r\n"
1084    "Invalid request. Privoxy doesn't support FTP.\r\n";
1085
1086 static const char GOPHER_RESPONSE[] =
1087    "HTTP/1.0 400 Invalid request received from browser\r\n"
1088    "Content-Type: text/plain\r\n"
1089    "Connection: close\r\n\r\n"
1090    "Invalid request. Privoxy doesn't support gopher.\r\n";
1091
1092 /* XXX: should be a template */
1093 static const char MISSING_DESTINATION_RESPONSE[] =
1094    "HTTP/1.0 400 Bad request received from browser\r\n"
1095    "Proxy-Agent: Privoxy " VERSION "\r\n"
1096    "Content-Type: text/plain\r\n"
1097    "Connection: close\r\n\r\n"
1098    "Bad request. Privoxy was unable to extract the destination.\r\n";
1099
1100 /* XXX: should be a template */
1101 static const char NO_SERVER_DATA_RESPONSE[] =
1102    "HTTP/1.0 502 Server or forwarder response empty\r\n"
1103    "Proxy-Agent: Privoxy " VERSION "\r\n"
1104    "Content-Type: text/plain\r\n"
1105    "Connection: close\r\n\r\n"
1106    "Empty server or forwarder response.\r\n"
1107    "The connection was closed without sending any data.\r\n";
1108
1109 /* XXX: should be a template */
1110 static const char NULL_BYTE_RESPONSE[] =
1111    "HTTP/1.0 400 Bad request received from browser\r\n"
1112    "Proxy-Agent: Privoxy " VERSION "\r\n"
1113    "Content-Type: text/plain\r\n"
1114    "Connection: close\r\n\r\n"
1115    "Bad request. Null byte(s) before end of request.\r\n";
1116
1117 /* XXX: should be a template */
1118 static const char MESSED_UP_REQUEST_RESPONSE[] =
1119    "HTTP/1.0 400 Malformed request after rewriting\r\n"
1120    "Proxy-Agent: Privoxy " VERSION "\r\n"
1121    "Content-Type: text/plain\r\n"
1122    "Connection: close\r\n\r\n"
1123    "Bad request. Messed up with header filters.\r\n";
1124
1125 /* A function to crunch a response */
1126 typedef struct http_response *(*crunch_func_ptr)(struct client_state *);
1127
1128 typedef char *(*filter_function_ptr)();
1129
1130 /* Crunch function flags */
1131 #define CF_NO_FLAGS        0
1132 /* Cruncher applies to forced requests as well */
1133 #define CF_IGNORE_FORCE    1
1134 /* Crunched requests are counted for the block statistics */
1135 #define CF_COUNT_AS_REJECT 2
1136
1137 /* A crunch function and its flags */
1138 struct cruncher
1139 {
1140    const crunch_func_ptr cruncher;
1141    const int flags;
1142 };
1143
1144 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[]);
1145 static filter_function_ptr get_filter_function(struct client_state *csp);
1146
1147 /* Complete list of cruncher functions */
1148 static const struct cruncher crunchers_all[] = {
1149    { direct_response, CF_COUNT_AS_REJECT|CF_IGNORE_FORCE},
1150    { block_url,       CF_COUNT_AS_REJECT },
1151 #ifdef FEATURE_TRUST
1152    { trust_url,       CF_COUNT_AS_REJECT },
1153 #endif /* def FEATURE_TRUST */
1154    { redirect_url,    CF_NO_FLAGS  },
1155    { dispatch_cgi,    CF_IGNORE_FORCE},
1156    { NULL,            0 }
1157 };
1158
1159 /* Light version, used after tags are applied */
1160 static const struct cruncher crunchers_light[] = {
1161    { block_url,       CF_COUNT_AS_REJECT },
1162    { redirect_url,    CF_NO_FLAGS },
1163    { NULL,            0 }
1164 };
1165
1166
1167 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
1168 /*********************************************************************
1169  *
1170  * Function    :  sig_handler 
1171  *
1172  * Description :  Signal handler for different signals.
1173  *                Exit gracefully on TERM and INT
1174  *                or set a flag that will cause the errlog
1175  *                to be reopened by the main thread on HUP.
1176  *
1177  * Parameters  :
1178  *          1  :  the_signal = the signal cause this function to call
1179  *
1180  * Returns     :  - 
1181  *
1182  *********************************************************************/
1183 static void sig_handler(int the_signal)
1184 {
1185    switch(the_signal)
1186    {
1187       case SIGTERM:
1188       case SIGINT:
1189          log_error(LOG_LEVEL_INFO, "exiting by signal %d .. bye", the_signal);
1190 #if defined(unix)
1191          if(pidfile)
1192          {
1193             unlink(pidfile);
1194          }
1195 #endif /* unix */
1196          exit(the_signal);
1197          break;
1198
1199       case SIGHUP:
1200          received_hup_signal = 1;
1201          break;         
1202
1203       default:
1204          /* 
1205           * We shouldn't be here, unless we catch signals
1206           * in main() that we can't handle here!
1207           */
1208          log_error(LOG_LEVEL_FATAL, "sig_handler: exiting on unexpected signal %d", the_signal);
1209    }
1210    return;
1211
1212 }
1213 #endif
1214
1215
1216 /*********************************************************************
1217  *
1218  * Function    :  client_protocol_is_unsupported
1219  *
1220  * Description :  Checks if the client used a known unsupported
1221  *                protocol and deals with it by sending an error
1222  *                response.
1223  *
1224  * Parameters  :
1225  *          1  :  csp = Current client state (buffers, headers, etc...)
1226  *          2  :  req = the first request line send by the client
1227  *
1228  * Returns     :  TRUE if an error response has been generated, or
1229  *                FALSE if the request doesn't look invalid.
1230  *
1231  *********************************************************************/
1232 static int client_protocol_is_unsupported(const struct client_state *csp, char *req)
1233 {
1234    char buf[BUFFER_SIZE];
1235
1236    /*
1237     * If it's a FTP or gopher request, we don't support it.
1238     *
1239     * These checks are better than nothing, but they might
1240     * not work in all configurations and some clients might
1241     * have problems digesting the answer.
1242     *
1243     * They should, however, never cause more problems than
1244     * Privoxy's old behaviour (returning the misleading HTML
1245     * error message:
1246     *
1247     * "Could not resolve http://(ftp|gopher)://example.org").
1248     */
1249    if (!strncmpic(req, "GET ftp://", 10) || !strncmpic(req, "GET gopher://", 13))
1250    {
1251       if (!strncmpic(req, "GET ftp://", 10))
1252       {
1253          strlcpy(buf, FTP_RESPONSE, sizeof(buf));
1254          log_error(LOG_LEVEL_ERROR, "%s tried to use Privoxy as FTP proxy: %s",
1255             csp->ip_addr_str, req);
1256       }
1257       else
1258       {
1259          strlcpy(buf, GOPHER_RESPONSE, sizeof(buf));
1260          log_error(LOG_LEVEL_ERROR, "%s tried to use Privoxy as gopher proxy: %s",
1261             csp->ip_addr_str, req);
1262       }
1263       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0", csp->ip_addr_str, req);
1264       freez(req);
1265       write_socket(csp->cfd, buf, strlen(buf));
1266
1267       return TRUE;
1268    }
1269
1270    return FALSE;
1271 }
1272
1273
1274 /*********************************************************************
1275  *
1276  * Function    :  get_request_destination_elsewhere
1277  *
1278  * Description :  If the client's request was redirected into
1279  *                Privoxy without the client's knowledge,
1280  *                the request line lacks the destination host.
1281  *
1282  *                This function tries to get it elsewhere,
1283  *                provided accept-intercepted-requests is enabled.
1284  *
1285  *                "Elsewhere" currently only means "Host: header",
1286  *                but in the future we may ask the redirecting
1287  *                packet filter to look the destination up.
1288  *
1289  *                If the destination stays unknown, an error
1290  *                response is send to the client and headers
1291  *                are freed so that chat() can return directly.
1292  *
1293  * Parameters  :
1294  *          1  :  csp = Current client state (buffers, headers, etc...)
1295  *          2  :  headers = a header list
1296  *
1297  * Returns     :  JB_ERR_OK if the destination is now known, or
1298  *                JB_ERR_PARSE if it isn't.
1299  *
1300  *********************************************************************/
1301 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers)
1302 {
1303    char *req;
1304
1305    if (!(csp->config->feature_flags & RUNTIME_FEATURE_ACCEPT_INTERCEPTED_REQUESTS))
1306    {
1307       log_error(LOG_LEVEL_ERROR, "%s's request: \'%s\' is invalid."
1308          " Privoxy isn't configured to accept intercepted requests.",
1309          csp->ip_addr_str, csp->http->cmd);
1310       /* XXX: Use correct size */
1311       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
1312          csp->ip_addr_str, csp->http->cmd);
1313
1314       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
1315       destroy_list(headers);
1316
1317       return JB_ERR_PARSE;
1318    }
1319    else if (JB_ERR_OK == get_destination_from_headers(headers, csp->http))
1320    {
1321       /* Split the domain we just got for pattern matching */
1322       init_domain_components(csp->http);
1323
1324       return JB_ERR_OK;
1325    }
1326    else
1327    {
1328       /* We can't work without destination. Go spread the news.*/
1329
1330       req = list_to_text(headers);
1331       chomp(req);
1332       /* XXX: Use correct size */
1333       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
1334          csp->ip_addr_str, csp->http->cmd);
1335       log_error(LOG_LEVEL_ERROR,
1336          "Privoxy was unable to get the destination for %s's request:\n%s\n%s",
1337          csp->ip_addr_str, csp->http->cmd, req);
1338       freez(req);
1339
1340       write_socket(csp->cfd, MISSING_DESTINATION_RESPONSE, strlen(MISSING_DESTINATION_RESPONSE));
1341       destroy_list(headers);
1342
1343       return JB_ERR_PARSE;
1344    }
1345    /*
1346     * TODO: If available, use PF's ioctl DIOCNATLOOK as last resort
1347     * to get the destination IP address, use it as host directly
1348     * or do a reverse DNS lookup first.
1349     */
1350 }
1351
1352
1353 /*********************************************************************
1354  *
1355  * Function    :  get_server_headers
1356  *
1357  * Description :  Parses server headers in iob and fills them
1358  *                into csp->headers so that they can later be
1359  *                handled by sed().
1360  *
1361  * Parameters  :
1362  *          1  :  csp = Current client state (buffers, headers, etc...)
1363  *
1364  * Returns     :  JB_ERR_OK if everything went fine, or
1365  *                JB_ERR_PARSE if the headers were incomplete.
1366  *
1367  *********************************************************************/
1368 static jb_err get_server_headers(struct client_state *csp)
1369 {
1370    int continue_hack_in_da_house = 0;
1371    char * header;
1372
1373    while (((header = get_header(csp)) != NULL) || continue_hack_in_da_house)
1374    {
1375       if (header == NULL)
1376       {
1377          /*
1378           * continue hack in da house. Ignore the ending of
1379           * this head and continue enlisting header lines.
1380           * The reason is described below.
1381           */
1382          enlist(csp->headers, "");
1383          continue_hack_in_da_house = 0;
1384          continue;
1385       }
1386       else if (0 == strncmpic(header, "HTTP/1.1 100", 12))
1387       {
1388          /*
1389           * It's a bodyless continue response, don't
1390           * stop header parsing after reaching it's end.
1391           *
1392           * As a result Privoxy will concatenate the
1393           * next response's head and parse and deliver
1394           * the headers as if they belonged to one request.
1395           *
1396           * The client will separate them because of the
1397           * empty line between them.
1398           *
1399           * XXX: What we're doing here is clearly against
1400           * the intended purpose of the continue header,
1401           * and under some conditions (HTTP/1.0 client request)
1402           * it's a standard violation.
1403           *
1404           * Anyway, "sort of against the spec" is preferable
1405           * to "always getting confused by Continue responses"
1406           * (Privoxy's behaviour before this hack was added)
1407           */
1408          log_error(LOG_LEVEL_HEADER, "Continue hack in da house.");
1409          continue_hack_in_da_house = 1;
1410       }
1411       else if (*header == '\0') 
1412       {
1413          /*
1414           * If the header is empty, but the Continue hack
1415           * isn't active, we can assume that we reached the
1416           * end of the buffer before we hit the end of the
1417           * head.
1418           *
1419           * Inform the caller an let it decide how to handle it.
1420           */
1421          return JB_ERR_PARSE;
1422       }
1423
1424       /* Enlist header */
1425       if (JB_ERR_MEMORY == enlist(csp->headers, header))
1426       {
1427          /*
1428           * XXX: Should we quit the request and return a
1429           * out of memory error page instead?
1430           */
1431          log_error(LOG_LEVEL_ERROR,
1432             "Out of memory while enlisting server headers. %s lost.",
1433             header);
1434       }
1435       freez(header);
1436    }
1437
1438    return JB_ERR_OK;
1439 }
1440
1441
1442 /*********************************************************************
1443  *
1444  * Function    :  crunch_reason
1445  *
1446  * Description :  Translates the crunch reason code into a string.
1447  *
1448  * Parameters  :
1449  *          1  :  rsp = a http_response
1450  *
1451  * Returns     :  A string with the crunch reason or an error description.
1452  *
1453  *********************************************************************/
1454 static const char *crunch_reason(const struct http_response *rsp)
1455 {
1456    char * reason = NULL;
1457
1458    assert(rsp != NULL);
1459    if (rsp == NULL)
1460    {
1461       return "Internal error while searching for crunch reason";
1462    }
1463
1464    switch (rsp->reason)
1465    {
1466       case RSP_REASON_UNSUPPORTED:
1467          reason = "Unsupported HTTP feature";
1468          break;
1469       case RSP_REASON_BLOCKED:
1470          reason = "Blocked";
1471          break;
1472       case RSP_REASON_UNTRUSTED:
1473          reason = "Untrusted";
1474          break;
1475       case RSP_REASON_REDIRECTED:
1476          reason = "Redirected";
1477          break;
1478       case RSP_REASON_CGI_CALL:
1479          reason = "CGI Call";
1480          break;
1481       case RSP_REASON_NO_SUCH_DOMAIN:
1482          reason = "DNS failure";
1483          break;
1484       case RSP_REASON_FORWARDING_FAILED:
1485          reason = "Forwarding failed";
1486          break;
1487       case RSP_REASON_CONNECT_FAILED:
1488          reason = "Connection failure";
1489          break;
1490       case RSP_REASON_OUT_OF_MEMORY:
1491          reason = "Out of memory (may mask other reasons)";
1492          break;
1493       default:
1494          reason = "No reason recorded";
1495          break;
1496    }
1497
1498    return reason;
1499 }
1500
1501
1502 /*********************************************************************
1503  *
1504  * Function    :  send_crunch_response
1505  *
1506  * Description :  Delivers already prepared response for
1507  *                intercepted requests, logs the interception
1508  *                and frees the response.
1509  *
1510  * Parameters  :
1511  *          1  :  csp = Current client state (buffers, headers, etc...)
1512  *          1  :  rsp = Fully prepared response. Will be freed on exit.
1513  *
1514  * Returns     :  Nothing.
1515  *
1516  *********************************************************************/
1517 static void send_crunch_response(struct client_state *csp, struct http_response *rsp)
1518 {
1519       const struct http_request *http = csp->http;
1520       char status_code[4];
1521
1522       assert(rsp != NULL);
1523       assert(rsp->head != NULL);
1524
1525       if (rsp == NULL)
1526       {
1527          /*
1528           * Not supposed to happen. If it does
1529           * anyway, treat it as an unknown error.
1530           */
1531          cgi_error_unknown(csp, rsp, RSP_REASON_INTERNAL_ERROR);
1532          /* return code doesn't matter */
1533       }
1534
1535       if (rsp == NULL)
1536       {
1537          /* If rsp is still NULL, we have serious internal problems. */
1538          log_error(LOG_LEVEL_FATAL,
1539             "NULL response in send_crunch_response and cgi_error_unknown failed as well.");
1540       }
1541
1542       /*
1543        * Extract the status code from the actual head
1544        * that was send to the client. It is the only
1545        * way to get it right for all requests, including
1546        * the fixed ones for out-of-memory problems.
1547        *
1548        * A head starts like this: 'HTTP/1.1 200...'
1549        *                           0123456789|11
1550        *                                     10
1551        */
1552       status_code[0] = rsp->head[9];
1553       status_code[1] = rsp->head[10];
1554       status_code[2] = rsp->head[11];
1555       status_code[3] = '\0';
1556
1557       /* Write the answer to the client */
1558       if (write_socket(csp->cfd, rsp->head, rsp->head_length)
1559        || write_socket(csp->cfd, rsp->body, rsp->content_length))
1560       {
1561          /* There is nothing we can do about it. */
1562          log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", csp->http->host);
1563       }
1564
1565       /* Log that the request was crunched and why. */
1566       log_error(LOG_LEVEL_GPC, "%s%s crunch! (%s)",
1567          http->hostport, http->path, crunch_reason(rsp));
1568       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" %s %d",
1569          csp->ip_addr_str, http->ocmd, status_code, rsp->content_length);
1570
1571       /* Clean up and return */
1572       if (cgi_error_memory() != rsp)
1573       {
1574          free_http_response(rsp);
1575       } 
1576       return;
1577 }
1578
1579
1580 #if 0
1581 /*********************************************************************
1582  *
1583  * Function    :  request_contains_null_bytes
1584  *
1585  * Description :  Checks for NULL bytes in the request and sends
1586  *                an error message to the client if any were found.
1587  *
1588  *                XXX: currently not used, see comment in chat().
1589  *
1590  * Parameters  :
1591  *          1  :  csp = Current client state (buffers, headers, etc...)
1592  *          2  :  buf = Data from the client's request to check.
1593  *          3  :  len = The data length.
1594  *
1595  * Returns     :  TRUE if the request contained one or more NULL bytes, or
1596  *                FALSE otherwise.
1597  *
1598  *********************************************************************/
1599 static int request_contains_null_bytes(const struct client_state *csp, char *buf, int len)
1600 {
1601    size_t c_len; /* Request lenght when treated as C string */
1602
1603    c_len = strlen(buf);
1604
1605    if (c_len < len)
1606    {
1607       /*
1608        * Null byte(s) found. Log the request,
1609        * return an error response and hang up.
1610        */
1611       size_t tmp_len = c_len;
1612
1613       do
1614       {
1615         /*
1616          * Replace NULL byte(s) with '°' characters
1617          * so the request can be logged as string.
1618          * XXX: Is there a better replacement character?
1619          */
1620          buf[tmp_len]='°';
1621          tmp_len += strlen(buf+tmp_len);
1622       } while (tmp_len < len);
1623
1624       log_error(LOG_LEVEL_ERROR, "%s\'s request contains at least one NULL byte "
1625          "(length=%d, strlen=%d).", csp->ip_addr_str, len, c_len);
1626       log_error(LOG_LEVEL_HEADER, 
1627          "Offending request data with NULL bytes turned into \'°\' characters: %s", buf);
1628
1629       write_socket(csp->cfd, NULL_BYTE_RESPONSE, strlen(NULL_BYTE_RESPONSE));
1630
1631       /* XXX: Log correct size */
1632       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"Invalid request\" 400 0", csp->ip_addr_str);
1633
1634       return TRUE;
1635    }
1636
1637    return FALSE;
1638 }
1639 #endif
1640
1641
1642 /*********************************************************************
1643  *
1644  * Function    :  crunch_response_triggered
1645  *
1646  * Description :  Checks if the request has to be crunched,
1647  *                and delivers the crunch response if necessary.
1648  *
1649  * Parameters  :
1650  *          1  :  csp = Current client state (buffers, headers, etc...)
1651  *          2  :  crunchers = list of cruncher functions to run
1652  *
1653  * Returns     :  TRUE if the request was answered with a crunch response
1654  *                FALSE otherwise.
1655  *
1656  *********************************************************************/
1657 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[])
1658 {
1659    struct http_response *rsp = NULL;
1660    const struct cruncher *c;
1661
1662    /*
1663     * If CGI request crunching is disabled,
1664     * check the CGI dispatcher out of order to
1665     * prevent unintentional blocks or redirects. 
1666     */
1667    if (!(csp->config->feature_flags & RUNTIME_FEATURE_CGI_CRUNCHING)
1668        && (NULL != (rsp = dispatch_cgi(csp))))
1669    {
1670       /* Deliver, log and free the interception response. */
1671       send_crunch_response(csp, rsp);
1672       return TRUE;
1673    }
1674
1675    for (c = crunchers; c->cruncher != NULL; c++)
1676    {
1677       /*
1678        * Check the cruncher if either Privoxy is toggled
1679        * on and the request isn't forced, or if the cruncher
1680        * applies to forced requests as well.
1681        */
1682       if (((csp->flags & CSP_FLAG_TOGGLED_ON) &&
1683           !(csp->flags & CSP_FLAG_FORCED)) ||
1684           (c->flags & CF_IGNORE_FORCE))
1685       {
1686          rsp = c->cruncher(csp);
1687          if (NULL != rsp)
1688          {
1689             /* Deliver, log and free the interception response. */
1690             send_crunch_response(csp, rsp);
1691 #ifdef FEATURE_STATISTICS
1692             if (c->flags & CF_COUNT_AS_REJECT)
1693             {
1694                csp->flags |= CSP_FLAG_REJECTED;
1695             }
1696 #endif /* def FEATURE_STATISTICS */
1697
1698             return TRUE;
1699          }
1700       }
1701    }
1702
1703    return FALSE;
1704 }
1705
1706
1707 /*********************************************************************
1708  *
1709  * Function    :  build_request_line
1710  *
1711  * Description :  Builds the HTTP request line.
1712  *
1713  *                If a HTTP forwarder is used it expects the whole URL,
1714  *                web servers only get the path.
1715  *
1716  * Parameters  :
1717  *          1  :  csp = Current client state (buffers, headers, etc...)
1718  *          2  :  fwd = The forwarding spec used for the request
1719  *                XXX: Should use http->fwd instead.
1720  *          3  :  request_line = The old request line which will be replaced.
1721  *
1722  * Returns     :  Nothing. Terminates in case of memory problems.
1723  *
1724  *********************************************************************/
1725 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line)
1726 {
1727    struct http_request *http = csp->http;
1728
1729    assert(http->ssl == 0);
1730
1731    /*
1732     * Downgrade http version from 1.1 to 1.0
1733     * if +downgrade action applies.
1734     */
1735    if ( (csp->action->flags & ACTION_DOWNGRADE)
1736      && (!strcmpic(http->ver, "HTTP/1.1")))
1737    {
1738       freez(http->ver);
1739       http->ver = strdup("HTTP/1.0");
1740
1741       if (http->ver == NULL)
1742       {
1743          log_error(LOG_LEVEL_FATAL, "Out of memory downgrading HTTP version");
1744       }
1745    }
1746
1747    /*
1748     * Rebuild the request line.
1749     */
1750    freez(*request_line);
1751    *request_line = strdup(http->gpc);
1752    string_append(request_line, " ");
1753
1754    if (fwd->forward_host)
1755    {
1756       string_append(request_line, http->url);
1757    }
1758    else
1759    {
1760       string_append(request_line, http->path);
1761    }
1762    string_append(request_line, " ");
1763    string_append(request_line, http->ver);
1764
1765    if (*request_line == NULL)
1766    {
1767       log_error(LOG_LEVEL_FATAL, "Out of memory writing HTTP command");
1768    }
1769    log_error(LOG_LEVEL_HEADER, "New HTTP Request-Line: %s", *request_line);
1770 }
1771
1772
1773 /*********************************************************************
1774  *
1775  * Function    :  change_request_destination
1776  *
1777  * Description :  Parse a (rewritten) request line and regenerate
1778  *                the http request data.
1779  *
1780  * Parameters  :
1781  *          1  :  csp = Current client state (buffers, headers, etc...)
1782  *
1783  * Returns     :  Forwards the parse_http_request() return code.
1784  *                Terminates in case of memory problems.
1785  *
1786  *********************************************************************/
1787 static jb_err change_request_destination(struct client_state *csp)
1788 {
1789    struct http_request *http = csp->http;
1790    jb_err err;
1791
1792    log_error(LOG_LEVEL_INFO, "Rewrite detected: %s", csp->headers->first->str);
1793    free_http_request(http);
1794    err = parse_http_request(csp->headers->first->str, http, csp);
1795    if (JB_ERR_OK != err)
1796    {
1797       log_error(LOG_LEVEL_ERROR, "Couldn't parse rewritten request: %s.",
1798          jb_err_to_string(err));
1799    }
1800    http->ocmd = strdup(http->cmd); /* XXX: ocmd is a misleading name */
1801    if (http->ocmd == NULL)
1802    {
1803       log_error(LOG_LEVEL_FATAL, "Out of memory copying rewritten HTTP request line");
1804    }
1805
1806    return err;
1807 }
1808
1809
1810 /*********************************************************************
1811  *
1812  * Function    :  get_filter_function
1813  *
1814  * Description :  Decides which content filter function has
1815  *                to be applied (if any).
1816  *
1817  *                XXX: Doesn't handle filter_popups()
1818  *                because of the different prototype. Probably
1819  *                we should ditch filter_popups() anyway, it's
1820  *                even less reliable than popup blocking based
1821  *                on pcrs filters.
1822  *
1823  * Parameters  :
1824  *          1  :  csp = Current client state (buffers, headers, etc...)
1825  *
1826  * Returns     :  The content filter function to run, or
1827  *                NULL if no content filter is active
1828  *
1829  *********************************************************************/
1830 static filter_function_ptr get_filter_function(struct client_state *csp)
1831 {
1832    filter_function_ptr filter_function = NULL;
1833
1834    /*
1835     * Are we enabling text mode by force?
1836     */
1837    if (csp->action->flags & ACTION_FORCE_TEXT_MODE)
1838    {
1839       /*
1840        * Do we really have to?
1841        */
1842       if (csp->content_type & CT_TEXT)
1843       {
1844          log_error(LOG_LEVEL_HEADER, "Text mode is already enabled.");   
1845       }
1846       else
1847       {
1848          csp->content_type |= CT_TEXT;
1849          log_error(LOG_LEVEL_HEADER, "Text mode enabled by force. Take cover!");   
1850       }
1851    }
1852
1853    if (!(csp->content_type & CT_DECLARED))
1854    {
1855       /*
1856        * The server didn't bother to declare a MIME-Type.
1857        * Assume it's text that can be filtered.
1858        *
1859        * This also regulary happens with 304 responses,
1860        * therefore logging anything here would cause
1861        * too much noise.
1862        */
1863       csp->content_type |= CT_TEXT;
1864    }
1865
1866
1867    /*
1868     * Choose the applying filter function based on
1869     * the content type and action settings.
1870     */
1871    if ((csp->content_type & CT_TEXT) &&
1872        (csp->rlist != NULL) &&
1873        (!list_is_empty(csp->action->multi[ACTION_MULTI_FILTER])))
1874    {
1875       filter_function = pcrs_filter_response;
1876    }
1877    else if ((csp->content_type & CT_GIF)  &&
1878             (csp->action->flags & ACTION_DEANIMATE))
1879    {
1880       filter_function = gif_deanimate_response;
1881    }
1882    else if ((csp->content_type & CT_JPEG)  &&
1883             (csp->action->flags & ACTION_JPEG_INSPECT))
1884    {
1885       filter_function = jpeg_inspect_response;
1886    }
1887
1888    return filter_function;
1889 }
1890
1891 /*********************************************************************
1892  *
1893  * Function    :  chat
1894  *
1895  * Description :  Once a connection to the client has been accepted,
1896  *                this function is called (via serve()) to handle the
1897  *                main business of the communication.  When this
1898  *                function returns, the caller must close the client
1899  *                socket handle.
1900  *
1901  *                FIXME: chat is nearly thousand lines long.
1902  *                Ridiculous.
1903  *
1904  * Parameters  :
1905  *          1  :  csp = Current client state (buffers, headers, etc...)
1906  *
1907  * Returns     :  Nothing.
1908  *
1909  *********************************************************************/
1910 static void chat(struct client_state *csp)
1911 {
1912    char buf[BUFFER_SIZE];
1913    char *hdr;
1914    char *p;
1915    char *req;
1916    fd_set rfds;
1917    int n;
1918    jb_socket maxfd;
1919    int server_body;
1920    int ms_iis5_hack = 0;
1921    size_t byte_count = 0;
1922    int forwarded_connect_retries = 0;
1923    int max_forwarded_connect_retries = csp->config->forwarded_connect_retries;
1924    const struct forward_spec * fwd;
1925    struct http_request *http;
1926    int len; /* for buffer sizes (and negative error codes) */
1927    jb_err err;
1928 #ifdef FEATURE_KILL_POPUPS
1929    int block_popups_now = 0; /* bool, 1==currently blocking popups */
1930 #endif /* def FEATURE_KILL_POPUPS */
1931
1932    /* Function that does the content filtering for the current request */
1933    filter_function_ptr content_filter = NULL;
1934
1935    /* Skeleton for HTTP response, if we should intercept the request */
1936    struct http_response *rsp;
1937
1938    /* Temporary copy of the client's headers before they get enlisted in csp->headers */
1939    struct list header_list;
1940    struct list *headers = &header_list;
1941
1942    http = csp->http;
1943
1944    memset(buf, 0, sizeof(buf));
1945
1946    /*
1947     * Read the client's request.  Note that since we're not using select() we
1948     * could get blocked here if a client connected, then didn't say anything!
1949     */
1950
1951    do
1952    {
1953       len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
1954
1955       if (len <= 0) break;      /* error! */
1956
1957       /*
1958        * If there is no memory left for buffering the
1959        * request, there is nothing we can do but hang up
1960        */
1961       if (add_to_iob(csp, buf, len))
1962       {
1963          return;
1964       }
1965
1966       req = get_header(csp);
1967
1968    } while ((NULL != req) && ('\0' == *req));
1969
1970    if (NULL != req)
1971    {
1972       /* Request received. Validate and parse it. */
1973
1974 #if 0
1975       /*
1976        * XXX: Temporary disabled to prevent problems
1977        * with POST requests whose bodies are allowed to
1978        * contain NULL bytes. BR#1730105.
1979        *
1980        * The main purpose of this check is to properly
1981        * log stuff like BitTorrent traffic and other junk
1982        * that hits public proxies. It's not required for
1983        * Privoxy to functions as those requests are discarded
1984        * later on anyway.
1985        *
1986        * It probably should be rewritten to only check
1987        * the head of the request. Another option would
1988        * be to let all POST requests pass, although that
1989        * may not be good enough.
1990        */
1991       if (request_contains_null_bytes(csp, buf, len))
1992       {
1993          /* NULL bytes found and dealt with, just hang up. */
1994          return;
1995       }
1996 #endif
1997
1998       /* Does the request line look invalid? */
1999       if (client_protocol_is_unsupported(csp, req))
2000       {
2001          /* 
2002           * Yes. The request has already been
2003           * answered with a error response, the buffers
2004           * were freed and we're done with chatting.
2005           */
2006          return;
2007       }
2008
2009 #ifdef FEATURE_FORCE_LOAD
2010       /*
2011        * If this request contains the FORCE_PREFIX and blocks
2012        * aren't enforced, get rid of it and set the force flag.
2013        */
2014       if (strstr(req, FORCE_PREFIX))
2015       {
2016          if (csp->config->feature_flags & RUNTIME_FEATURE_ENFORCE_BLOCKS)
2017          {
2018             log_error(LOG_LEVEL_FORCE,
2019                "Ignored force prefix in request: \"%s\".", req);
2020          }
2021          else
2022          {
2023             strclean(req, FORCE_PREFIX);
2024             log_error(LOG_LEVEL_FORCE, "Enforcing request: \"%s\".", req);
2025             csp->flags |= CSP_FLAG_FORCED;
2026          }
2027       }
2028
2029 #endif /* def FEATURE_FORCE_LOAD */
2030       err = parse_http_request(req, http, csp);
2031       if (JB_ERR_OK != err)
2032       {
2033          log_error(LOG_LEVEL_ERROR, "Couldn't parse request: %s.", jb_err_to_string(err));
2034       }
2035
2036       freez(req);
2037    }
2038
2039    if (http->cmd == NULL)
2040    {
2041       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
2042       /* XXX: Use correct size */
2043       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"Invalid request\" 400 0", csp->ip_addr_str);
2044       log_error(LOG_LEVEL_ERROR, "Invalid header received from %s.", csp->ip_addr_str);
2045
2046       free_http_request(http);
2047       return;
2048    }
2049
2050    /* grab the rest of the client's headers */
2051    init_list(headers);
2052    for (;;)
2053    {
2054       if ( ( ( p = get_header(csp) ) != NULL) && ( *p == '\0' ) )
2055       {
2056          len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
2057          if (len <= 0)
2058          {
2059             log_error(LOG_LEVEL_ERROR, "read from client failed: %E");
2060             return;
2061          }
2062          
2063          /*
2064           * If there is no memory left for buffering the
2065           * request, there is nothing we can do but hang up
2066           */
2067          if (add_to_iob(csp, buf, len))
2068          {
2069             return;
2070          }
2071          continue;
2072       }
2073
2074       if (p == NULL) break;
2075
2076       enlist(headers, p);
2077       freez(p);
2078
2079    }
2080
2081    if (http->host == NULL)
2082    {
2083       /*
2084        * If we still don't know the request destination,
2085        * the request is invalid or the client uses
2086        * Privoxy without its knowledge.
2087        */
2088       if (JB_ERR_OK != get_request_destination_elsewhere(csp, headers))
2089       {
2090          /*
2091           * Our attempts to get the request destination
2092           * elsewhere failed or Privoxy is configured
2093           * to only accept proxy requests.
2094           *
2095           * An error response has already been send
2096           * and we're done here.
2097           */
2098           return;
2099       }
2100    }
2101
2102    /*
2103     * Determine the actions for this URL
2104     */
2105 #ifdef FEATURE_TOGGLE
2106    if (!(csp->flags & CSP_FLAG_TOGGLED_ON))
2107    {
2108       /* Most compatible set of actions (i.e. none) */
2109       init_current_action(csp->action);
2110    }
2111    else
2112 #endif /* ndef FEATURE_TOGGLE */
2113    {
2114       url_actions(http, csp);
2115    }
2116
2117    /* 
2118     * Save a copy of the original request for logging
2119     */
2120    http->ocmd = strdup(http->cmd);
2121
2122    if (http->ocmd == NULL)
2123    {
2124       log_error(LOG_LEVEL_FATAL, "Out of memory copying HTTP request line");
2125    }
2126
2127    enlist(csp->headers, http->cmd);
2128
2129    /* Append the previously read headers */
2130    list_append_list_unique(csp->headers, headers);
2131    destroy_list(headers);
2132
2133    /*
2134     * If the user has not supplied any wafers, and the user has not
2135     * told us to suppress the vanilla wafer, then send the vanilla wafer.
2136     */
2137    if (list_is_empty(csp->action->multi[ACTION_MULTI_WAFER])
2138        && ((csp->action->flags & ACTION_VANILLA_WAFER) != 0))
2139    {
2140       enlist(csp->action->multi[ACTION_MULTI_WAFER], VANILLA_WAFER);
2141    }
2142
2143    err = sed(client_patterns, add_client_headers, csp);
2144    if (JB_ERR_OK != err)
2145    {
2146       assert(err == JB_ERR_PARSE);
2147       log_error(LOG_LEVEL_FATAL, "Failed to parse client headers");
2148    }
2149    csp->flags |= CSP_FLAG_CLIENT_HEADER_PARSING_DONE;
2150
2151    /* Check request line for rewrites. */
2152    if ((NULL == csp->headers->first->str)
2153       || (strcmp(http->cmd, csp->headers->first->str) &&
2154          (JB_ERR_OK != change_request_destination(csp))))
2155    {
2156       /*
2157        * A header filter broke the request line - bail out.
2158        */
2159       write_socket(csp->cfd, MESSED_UP_REQUEST_RESPONSE, strlen(MESSED_UP_REQUEST_RESPONSE));
2160       /* XXX: Use correct size */
2161       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"Invalid request generated\" 500 0", csp->ip_addr_str);
2162       log_error(LOG_LEVEL_ERROR, "Invalid request line after applying header filters.");
2163
2164       free_http_request(http);
2165       return;
2166    }
2167
2168    /* decide how to route the HTTP request */
2169    if (NULL == (fwd = forward_url(http, csp)))
2170    {
2171       log_error(LOG_LEVEL_FATAL, "gateway spec is NULL!?!?  This can't happen!");
2172       /* Never get here - LOG_LEVEL_FATAL causes program exit */
2173    }
2174
2175    /* build the http request to send to the server
2176     * we have to do one of the following:
2177     *
2178     * create = use the original HTTP request to create a new
2179     *          HTTP request that has either the path component
2180     *          without the http://domainspec (w/path) or the
2181     *          full orininal URL (w/url)
2182     *          Note that the path and/or the HTTP version may
2183     *          have been altered by now.
2184     *
2185     * connect = Open a socket to the host:port of the server
2186     *           and short-circuit server and client socket.
2187     *
2188     * pass =  Pass the request unchanged if forwarding a CONNECT
2189     *         request to a parent proxy. Note that we'll be sending
2190     *         the CFAIL message ourselves if connecting to the parent
2191     *         fails, but we won't send a CSUCCEED message if it works,
2192     *         since that would result in a double message (ours and the
2193     *         parent's). After sending the request to the parent, we simply
2194     *         tunnel.
2195     *
2196     * here's the matrix:
2197     *                        SSL
2198     *                    0        1
2199     *                +--------+--------+
2200     *                |        |        |
2201     *             0  | create | connect|
2202     *                | w/path |        |
2203     *  Forwarding    +--------+--------+
2204     *                |        |        |
2205     *             1  | create | pass   |
2206     *                | w/url  |        |
2207     *                +--------+--------+
2208     *
2209     */
2210
2211    /*
2212     * Check if a CONNECT request is allowable:
2213     * In the absence of a +limit-connect action, allow only port 443.
2214     * If there is an action, allow whatever matches the specificaton.
2215     */
2216    if(http->ssl)
2217    {
2218       if(  ( !(csp->action->flags & ACTION_LIMIT_CONNECT) && csp->http->port != 443)
2219            || (csp->action->flags & ACTION_LIMIT_CONNECT
2220               && !match_portlist(csp->action->string[ACTION_STRING_LIMIT_CONNECT], csp->http->port)) )
2221       {
2222          if (csp->action->flags & ACTION_TREAT_FORBIDDEN_CONNECTS_LIKE_BLOCKS)
2223          {
2224             /*
2225              * The response may confuse some clients,
2226              * but makes unblocking easier.
2227              *
2228              * XXX: It seems to work with all major browsers,
2229              * so we should consider returning a body by default someday ... 
2230              */
2231             log_error(LOG_LEVEL_INFO, "Request from %s marked for blocking. "
2232                "limit-connect{%s} doesn't allow CONNECT requests to port %d.",
2233                csp->ip_addr_str, csp->action->string[ACTION_STRING_LIMIT_CONNECT],
2234                csp->http->port);
2235             csp->action->flags |= ACTION_BLOCK;
2236             http->ssl = 0;
2237          }
2238          else
2239          {
2240             write_socket(csp->cfd, CFORBIDDEN, strlen(CFORBIDDEN));
2241             log_error(LOG_LEVEL_INFO, "Request from %s denied. "
2242                "limit-connect{%s} doesn't allow CONNECT requests to port %d.",
2243                csp->ip_addr_str, csp->action->string[ACTION_STRING_LIMIT_CONNECT],
2244                csp->http->port);
2245             assert(NULL != csp->http->ocmd);
2246             log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 403 0", csp->ip_addr_str, csp->http->ocmd);
2247
2248             list_remove_all(csp->headers);
2249             /*
2250              * XXX: For consistency we might want to log a crunch message here.
2251              */
2252             return;
2253          }
2254       }
2255    }
2256
2257    if (http->ssl == 0)
2258    {
2259       freez(csp->headers->first->str);
2260       build_request_line(csp, fwd, &csp->headers->first->str);
2261    }
2262
2263    hdr = list_to_text(csp->headers);
2264    if (hdr == NULL)
2265    {
2266       /* FIXME Should handle error properly */
2267       log_error(LOG_LEVEL_FATAL, "Out of memory parsing client header");
2268    }
2269
2270    /*
2271     * We have a request. Check if one of the crunchers wants it.
2272     */
2273    if (crunch_response_triggered(csp, crunchers_all))
2274    {
2275       /*
2276        * Yes. The client got the crunch response
2277        * and we are done here after cleaning up.
2278        */
2279       freez(hdr);
2280       list_remove_all(csp->headers);
2281
2282       return;
2283    }
2284
2285    /*
2286     * The headers can't be removed earlier because
2287     * they were still needed for the referrer check
2288     * in case of CGI crunches.
2289     *
2290     * XXX: Would it be worth to move the referrer check
2291     * into client_referrer() and set a flag if it's trusted?
2292     */
2293    list_remove_all(csp->headers);
2294
2295    log_error(LOG_LEVEL_GPC, "%s%s", http->hostport, http->path);
2296
2297    if (fwd->forward_host)
2298    {
2299       log_error(LOG_LEVEL_CONNECT, "via %s:%d to: %s",
2300                fwd->forward_host, fwd->forward_port, http->hostport);
2301    }
2302    else
2303    {
2304       log_error(LOG_LEVEL_CONNECT, "to %s", http->hostport);
2305    }
2306
2307    /* here we connect to the server, gateway, or the forwarder */
2308
2309    while ( (csp->sfd = forwarded_connect(fwd, http, csp))
2310          && (errno == EINVAL) && (forwarded_connect_retries++ < max_forwarded_connect_retries))
2311    {
2312       log_error(LOG_LEVEL_ERROR, "failed request #%u to connect to %s. Trying again.",
2313                 forwarded_connect_retries, http->hostport);
2314    }
2315
2316    if (csp->sfd == JB_INVALID_SOCKET)
2317    {
2318       if (fwd->type != SOCKS_NONE)
2319       {
2320          /* Socks error. */
2321          rsp = error_response(csp, "forwarding-failed", errno);
2322       }
2323       else if (errno == EINVAL)
2324       {
2325          rsp = error_response(csp, "no-such-domain", errno);
2326       }
2327       else
2328       {
2329          rsp = error_response(csp, "connect-failed", errno);
2330          log_error(LOG_LEVEL_CONNECT, "connect to: %s failed: %E",
2331                 http->hostport);
2332       }
2333
2334
2335       /* Write the answer to the client */
2336       if (rsp != NULL)
2337       {
2338          send_crunch_response(csp, rsp);
2339       }
2340
2341       freez(hdr);
2342       return;
2343    }
2344
2345    if (fwd->forward_host || (http->ssl == 0))
2346    {
2347       /* write the client's (modified) header to the server
2348        * (along with anything else that may be in the buffer)
2349        */
2350
2351       if (write_socket(csp->sfd, hdr, strlen(hdr))
2352        || (flush_socket(csp->sfd, csp) <  0))
2353       {
2354          log_error(LOG_LEVEL_CONNECT, "write header to: %s failed: %E",
2355                     http->hostport);
2356
2357          rsp = error_response(csp, "connect-failed", errno);
2358
2359          if(rsp)
2360          {
2361             send_crunch_response(csp, rsp);
2362          }
2363
2364          freez(hdr);
2365          return;
2366       }
2367    }
2368    else
2369    {
2370       /*
2371        * We're running an SSL tunnel and we're not forwarding,
2372        * so just send the "connect succeeded" message to the
2373        * client, flush the rest, and get out of the way.
2374        */
2375       if (write_socket(csp->cfd, CSUCCEED, strlen(CSUCCEED)))
2376       {
2377          freez(hdr);
2378          return;
2379       }
2380       IOB_RESET(csp);
2381    }
2382
2383    log_error(LOG_LEVEL_CONNECT, "to %s successful", http->hostport);
2384
2385    /* we're finished with the client's header */
2386    freez(hdr);
2387
2388    maxfd = ( csp->cfd > csp->sfd ) ? csp->cfd : csp->sfd;
2389
2390    /* pass data between the client and server
2391     * until one or the other shuts down the connection.
2392     */
2393
2394    server_body = 0;
2395
2396    for (;;)
2397    {
2398 #ifdef __OS2__
2399       /*
2400        * FD_ZERO here seems to point to an errant macro which crashes.
2401        * So do this by hand for now...
2402        */
2403       memset(&rfds,0x00,sizeof(fd_set));
2404 #else
2405       FD_ZERO(&rfds);
2406 #endif
2407       FD_SET(csp->cfd, &rfds);
2408       FD_SET(csp->sfd, &rfds);
2409
2410       n = select((int)maxfd+1, &rfds, NULL, NULL, NULL);
2411
2412       if (n < 0)
2413       {
2414          log_error(LOG_LEVEL_ERROR, "select() failed!: %E");
2415          return;
2416       }
2417
2418       /* this is the body of the browser's request
2419        * just read it and write it.
2420        */
2421
2422       if (FD_ISSET(csp->cfd, &rfds))
2423       {
2424          len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
2425
2426          if (len <= 0)
2427          {
2428             break; /* "game over, man" */
2429          }
2430
2431          if (write_socket(csp->sfd, buf, (size_t)len))
2432          {
2433             log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
2434             return;
2435          }
2436          continue;
2437       }
2438
2439       /*
2440        * The server wants to talk.  It could be the header or the body.
2441        * If `hdr' is null, then it's the header otherwise it's the body.
2442        * FIXME: Does `hdr' really mean `host'? No.
2443        */
2444
2445
2446       if (FD_ISSET(csp->sfd, &rfds))
2447       {
2448          fflush( 0 );
2449          len = read_socket(csp->sfd, buf, sizeof(buf) - 1);
2450
2451          if (len < 0)
2452          {
2453             log_error(LOG_LEVEL_ERROR, "read from: %s failed: %E", http->host);
2454
2455             if (http->ssl && (fwd->forward_host == NULL))
2456             {
2457                /*
2458                 * Just hang up. We already confirmed the client's CONNECT
2459                 * request with status code 200 and unencrypted content is
2460                 * no longer welcome.
2461                 */
2462                log_error(LOG_LEVEL_ERROR,
2463                   "CONNECT already confirmed. Unable to tell the client about the problem.");
2464                return;
2465             }
2466             else if (byte_count)
2467             {
2468                /*
2469                 * Just hang up. We already transmitted the original headers
2470                 * and parts of the original content and therefore missed the
2471                 * chance to send an error message (without risking data corruption).
2472                 *
2473                 * XXX: we could retry with a fancy range request here.
2474                 */
2475                log_error(LOG_LEVEL_ERROR, "Already forwarded the original headers. "
2476                   "Unable to tell the client about the problem.");
2477                return;
2478             }
2479
2480             rsp = error_response(csp, "connect-failed", errno);
2481
2482             if (rsp)
2483             {
2484                send_crunch_response(csp, rsp);
2485             }
2486
2487             return;
2488          }
2489
2490          /* Add a trailing zero.  This lets filter_popups
2491           * use string operations.
2492           */
2493          buf[len] = '\0';
2494
2495 #ifdef FEATURE_KILL_POPUPS
2496          /* Filter the popups on this read. */
2497          if (block_popups_now)
2498          {
2499             filter_popups(buf, csp);
2500          }
2501 #endif /* def FEATURE_KILL_POPUPS */
2502
2503          /* Normally, this would indicate that we've read
2504           * as much as the server has sent us and we can
2505           * close the client connection.  However, Microsoft
2506           * in its wisdom has released IIS/5 with a bug that
2507           * prevents it from sending the trailing \r\n in
2508           * a 302 redirect header (and possibly other headers).
2509           * To work around this if we've haven't parsed
2510           * a full header we'll append a trailing \r\n
2511           * and see if this now generates a valid one.
2512           *
2513           * This hack shouldn't have any impacts.  If we've
2514           * already transmitted the header or if this is a
2515           * SSL connection, then we won't bother with this
2516           * hack.  So we only work on partially received
2517           * headers.  If we append a \r\n and this still
2518           * doesn't generate a valid header, then we won't
2519           * transmit anything to the client.
2520           */
2521          if (len == 0)
2522          {
2523
2524             if (server_body || http->ssl)
2525             {
2526                /*
2527                 * If we have been buffering up the document,
2528                 * now is the time to apply content modification
2529                 * and send the result to the client.
2530                 */
2531                if (content_filter)
2532                {
2533                   /*
2534                    * If the content filter fails, use the original
2535                    * buffer and length.
2536                    * (see p != NULL ? p : csp->iob->cur below)
2537                    */
2538                   if (NULL == (p = (*content_filter)(csp)))
2539                   {
2540                      csp->content_length = (size_t)(csp->iob->eod - csp->iob->cur);
2541                   }
2542
2543                   if (JB_ERR_OK != sed(server_patterns_light, NULL, csp))
2544                   {
2545                      log_error(LOG_LEVEL_FATAL, "Failed to parse server headers.");
2546                   }
2547
2548                   hdr = list_to_text(csp->headers);
2549                   if (hdr == NULL)
2550                   {
2551                      /* FIXME Should handle error properly */
2552                      log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2553                   }
2554
2555                   /*
2556                    * Shouldn't happen because this was the second sed run
2557                    * and tags are only created for the first one.
2558                    */
2559                   assert(!crunch_response_triggered(csp, crunchers_all));
2560
2561                   if (write_socket(csp->cfd, hdr, strlen(hdr))
2562                    || write_socket(csp->cfd, p != NULL ? p : csp->iob->cur, csp->content_length))
2563                   {
2564                      log_error(LOG_LEVEL_ERROR, "write modified content to client failed: %E");
2565                      freez(hdr);
2566                      freez(p);
2567                      return;
2568                   }
2569
2570                   freez(hdr);
2571                   freez(p);
2572                }
2573
2574                break; /* "game over, man" */
2575             }
2576
2577             /*
2578              * This is NOT the body, so
2579              * Let's pretend the server just sent us a blank line.
2580              */
2581             snprintf(buf, sizeof(buf), "\r\n");
2582             len = (int)strlen(buf);
2583
2584             /*
2585              * Now, let the normal header parsing algorithm below do its
2586              * job.  If it fails, we'll exit instead of continuing.
2587              */
2588
2589             ms_iis5_hack = 1;
2590          }
2591
2592          /*
2593           * If this is an SSL connection or we're in the body
2594           * of the server document, just write it to the client,
2595           * unless we need to buffer the body for later content-filtering
2596           */
2597
2598          if (server_body || http->ssl)
2599          {
2600             if (content_filter)
2601             {
2602                /*
2603                 * If there is no memory left for buffering the content, or the buffer limit
2604                 * has been reached, switch to non-filtering mode, i.e. make & write the
2605                 * header, flush the iob and buf, and get out of the way.
2606                 */
2607                if (add_to_iob(csp, buf, len))
2608                {
2609                   size_t hdrlen;
2610                   int flushed;
2611
2612                   log_error(LOG_LEVEL_ERROR, "Flushing header and buffers. Stepping back from filtering.");
2613
2614                   hdr = list_to_text(csp->headers);
2615                   if (hdr == NULL)
2616                   {
2617                      /* 
2618                       * Memory is too tight to even generate the header.
2619                       * Send our static "Out-of-memory" page.
2620                       */
2621                      log_error(LOG_LEVEL_ERROR, "Out of memory while trying to flush.");
2622                      rsp = cgi_error_memory();
2623                      send_crunch_response(csp, rsp);
2624
2625                      return;
2626                   }
2627                   hdrlen = strlen(hdr);
2628
2629                   if (write_socket(csp->cfd, hdr, hdrlen)
2630                    || ((flushed = flush_socket(csp->cfd, csp)) < 0)
2631                    || (write_socket(csp->cfd, buf, (size_t)len)))
2632                   {
2633                      log_error(LOG_LEVEL_CONNECT, "Flush header and buffers to client failed: %E");
2634
2635                      freez(hdr);
2636                      return;
2637                   }
2638
2639                   /*
2640                    * Reset the byte_count to the amount of bytes
2641                    * we just flushed. len will be added a few lines below,
2642                    * hdrlen doesn't matter for LOG_LEVEL_CLF.
2643                    */
2644                   byte_count = (size_t)flushed;
2645                   freez(hdr);
2646                   content_filter = NULL;
2647                   server_body = 1;
2648                }
2649             }
2650             else
2651             {
2652                if (write_socket(csp->cfd, buf, (size_t)len))
2653                {
2654                   log_error(LOG_LEVEL_ERROR, "write to client failed: %E");
2655                   return;
2656                }
2657             }
2658             byte_count += (size_t)len;
2659             continue;
2660          }
2661          else
2662          {
2663             /* we're still looking for the end of the
2664              * server's header ... (does that make header
2665              * parsing an "out of body experience" ?
2666              */
2667
2668             /* 
2669              * buffer up the data we just read.  If that fails, 
2670              * there's little we can do but send our static
2671              * out-of-memory page.
2672              */
2673             if (add_to_iob(csp, buf, len))
2674             {
2675                log_error(LOG_LEVEL_ERROR, "Out of memory while looking for end of server headers.");
2676                rsp = cgi_error_memory();
2677                send_crunch_response(csp, rsp);               
2678
2679                return;
2680             }
2681
2682             /* Convert iob into something sed() can digest */
2683             if (JB_ERR_PARSE == get_server_headers(csp))
2684             {
2685                if (ms_iis5_hack)
2686                {
2687                   /* Well, we tried our MS IIS/5
2688                    * hack and it didn't work.
2689                    * The header is incomplete
2690                    * and there isn't anything
2691                    * we can do about it.
2692                    */
2693                   break;
2694                }
2695                else
2696                {
2697                   /* Since we have to wait for
2698                    * more from the server before
2699                    * we can parse the headers
2700                    * we just continue here.
2701                    */
2702                   continue;
2703                }
2704             }
2705
2706             /* Did we actually get anything? */
2707             if (NULL == csp->headers->first)
2708             {
2709                log_error(LOG_LEVEL_ERROR, "Empty server or forwarder response.");
2710                log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2711                write_socket(csp->cfd, NO_SERVER_DATA_RESPONSE, strlen(NO_SERVER_DATA_RESPONSE));
2712                free_http_request(http);
2713                return;
2714             }
2715
2716             /* we have now received the entire header.
2717              * filter it and send the result to the client
2718              */
2719             if (JB_ERR_OK != sed(server_patterns, add_server_headers, csp))
2720             {
2721                log_error(LOG_LEVEL_FATAL, "Failed to parse server headers.");
2722             }
2723             hdr = list_to_text(csp->headers);
2724             if (hdr == NULL)
2725             {
2726                /* FIXME Should handle error properly */
2727                log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2728             }
2729
2730             if (crunch_response_triggered(csp, crunchers_light))
2731             {
2732                /*
2733                 * One of the tags created by a server-header
2734                 * tagger triggered a crunch. We already
2735                 * delivered the crunch response to the client
2736                 * and are done here after cleaning up.
2737                 */
2738                 freez(hdr);
2739                 return;
2740             }
2741             /* Buffer and pcrs filter this if appropriate. */
2742
2743             if (!http->ssl) /* We talk plaintext */
2744             {
2745
2746 #ifdef FEATURE_KILL_POPUPS
2747                /* Start blocking popups if appropriate. */
2748                if ((csp->content_type & CT_TEXT) &&               /* It's a text / * MIME-Type */
2749                    (csp->action->flags & ACTION_NO_POPUPS) != 0)  /* Policy allows */
2750                {
2751                   block_popups_now = 1;
2752                   /*
2753                    * Filter the part of the body that came in the same read
2754                    * as the last headers:
2755                    */
2756                   filter_popups(csp->iob->cur, csp);
2757                }
2758 #endif /* def FEATURE_KILL_POPUPS */
2759                content_filter = get_filter_function(csp);
2760             }
2761             /*
2762              * Only write if we're not buffering for content modification
2763              */
2764             if (!content_filter)
2765             {
2766                /* write the server's (modified) header to
2767                 * the client (along with anything else that
2768                 * may be in the buffer)
2769                 */
2770
2771                if (write_socket(csp->cfd, hdr, strlen(hdr))
2772                 || ((len = flush_socket(csp->cfd, csp)) < 0))
2773                {
2774                   log_error(LOG_LEVEL_CONNECT, "write header to client failed: %E");
2775
2776                   /* the write failed, so don't bother
2777                    * mentioning it to the client...
2778                    * it probably can't hear us anyway.
2779                    */
2780                   freez(hdr);
2781                   return;
2782                }
2783
2784                byte_count += (size_t)len;
2785             }
2786
2787             /* we're finished with the server's header */
2788
2789             freez(hdr);
2790             server_body = 1;
2791
2792             /* If this was a MS IIS/5 hack then it means
2793              * the server has already closed the
2794              * connection.  Nothing more to read.  Time
2795              * to bail.
2796              */
2797             if (ms_iis5_hack)
2798             {
2799                break;
2800             }
2801          }
2802          continue;
2803       }
2804
2805       return; /* huh? we should never get here */
2806    }
2807
2808    if (csp->content_length == 0)
2809    {
2810       /*
2811        * If Privoxy didn't recalculate the
2812        * Content-Lenght, byte_count is still
2813        * correct.
2814        */
2815       csp->content_length = byte_count;
2816    }
2817
2818    log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 %d",
2819       csp->ip_addr_str, http->ocmd, csp->content_length);
2820 }
2821
2822
2823 /*********************************************************************
2824  *
2825  * Function    :  serve
2826  *
2827  * Description :  This is little more than chat.  We only "serve" to
2828  *                to close any socket that chat may have opened.
2829  *
2830  * Parameters  :
2831  *          1  :  csp = Current client state (buffers, headers, etc...)
2832  *
2833  * Returns     :  N/A
2834  *
2835  *********************************************************************/
2836 #ifdef AMIGA
2837 void serve(struct client_state *csp)
2838 #else /* ifndef AMIGA */
2839 static void serve(struct client_state *csp)
2840 #endif /* def AMIGA */
2841 {
2842    chat(csp);
2843    close_socket(csp->cfd);
2844
2845    if (csp->sfd != JB_INVALID_SOCKET)
2846    {
2847       close_socket(csp->sfd);
2848    }
2849
2850    csp->flags &= ~CSP_FLAG_ACTIVE;
2851
2852 }
2853
2854
2855 #ifdef __BEOS__
2856 /*********************************************************************
2857  *
2858  * Function    :  server_thread
2859  *
2860  * Description :  We only exist to call `serve' in a threaded environment.
2861  *
2862  * Parameters  :
2863  *          1  :  data = Current client state (buffers, headers, etc...)
2864  *
2865  * Returns     :  Always 0.
2866  *
2867  *********************************************************************/
2868 static int32 server_thread(void *data)
2869 {
2870    serve((struct client_state *) data);
2871    return 0;
2872
2873 }
2874 #endif
2875
2876
2877 #if defined(unix)
2878 /*********************************************************************
2879  *
2880  * Function    :  usage
2881  *
2882  * Description :  Print usage info & exit.
2883  *
2884  * Parameters  :  Pointer to argv[0] for identifying ourselves
2885  *
2886  * Returns     :  No. ,-)
2887  *
2888  *********************************************************************/
2889 static void usage(const char *myname)
2890 {
2891    printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n"
2892           "Usage: %s "
2893 #if defined(unix)
2894           "[--chroot] "
2895 #endif /* defined(unix) */
2896           "[--help] "
2897 #if defined(unix)
2898           "[--no-daemon] [--pidfile pidfile] [--pre-chroot-nslookup hostname] [--user user[.group]] "
2899 #endif /* defined(unix) */
2900           "[--version] [configfile]\n"
2901           "Aborting\n", myname);
2902
2903    exit(2);
2904
2905 }
2906 #endif /* defined(unix) */
2907
2908
2909 /*********************************************************************
2910  *
2911  * Function    :  initialize_mutexes
2912  *
2913  * Description :  Prepares mutexes if mutex support is available.
2914  *
2915  * Parameters  :  None
2916  *
2917  * Returns     :  Void, exits in case of errors.
2918  *
2919  *********************************************************************/
2920 static void initialize_mutexes(void)
2921 {
2922    int err = 0;
2923
2924 #ifdef FEATURE_PTHREAD
2925    /*
2926     * Prepare global mutex semaphores
2927     */
2928    err = pthread_mutex_init(&log_mutex, 0);
2929
2930    if (!err) err = pthread_mutex_init(&log_init_mutex, 0);
2931
2932    /*
2933     * XXX: The assumptions below are a bit naive
2934     * and can cause locks that aren't necessary.
2935     *
2936     * For example older FreeBSD versions (< 6.x?)
2937     * have no gethostbyname_r, but gethostbyname is
2938     * thread safe.
2939     */
2940 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
2941    if (!err) err = pthread_mutex_init(&resolver_mutex, 0);
2942 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
2943    /*
2944     * XXX: should we use a single mutex for
2945     * localtime() and gmtime() as well?
2946     */
2947 #ifndef HAVE_GMTIME_R
2948    if (!err) err = pthread_mutex_init(&gmtime_mutex, 0);
2949 #endif /* ndef HAVE_GMTIME_R */
2950
2951 #ifndef HAVE_LOCALTIME_R
2952    if (!err) err = pthread_mutex_init(&localtime_mutex, 0);
2953 #endif /* ndef HAVE_GMTIME_R */
2954
2955 #ifndef HAVE_RANDOM
2956    if (!err) err = pthread_mutex_init(&rand_mutex, 0);
2957 #endif /* ndef HAVE_RANDOM */
2958 #endif /* FEATURE_PTHREAD */
2959
2960    /*
2961     * TODO: mutex support for mingw32 would be swell.
2962     */
2963
2964    if (err)
2965    {
2966       printf("Fatal error. Mutex initialization failed: %s.\n",
2967          strerror(err));
2968       exit(1);
2969    }
2970
2971    return;
2972 }
2973
2974
2975 /*********************************************************************
2976  *
2977  * Function    :  main
2978  *
2979  * Description :  Load the config file and start the listen loop.
2980  *                This function is a lot more *sane* with the `load_config'
2981  *                and `listen_loop' functions; although it stills does
2982  *                a *little* too much for my taste.
2983  *
2984  * Parameters  :
2985  *          1  :  argc = Number of parameters (including $0).
2986  *          2  :  argv = Array of (char *)'s to the parameters.
2987  *
2988  * Returns     :  1 if : can't open config file, unrecognized directive,
2989  *                stats requested in multi-thread mode, can't open the
2990  *                log file, can't open the jar file, listen port is invalid,
2991  *                any load fails, and can't bind port.
2992  *
2993  *                Else main never returns, the process must be signaled
2994  *                to terminate execution.  Or, on Windows, use the
2995  *                "File", "Exit" menu option.
2996  *
2997  *********************************************************************/
2998 #ifdef __MINGW32__
2999 int real_main(int argc, const char *argv[])
3000 #else
3001 int main(int argc, const char *argv[])
3002 #endif
3003 {
3004    int argc_pos = 0;
3005    unsigned int random_seed;
3006 #ifdef unix
3007    struct passwd *pw = NULL;
3008    struct group *grp = NULL;
3009    char *p;
3010    int do_chroot = 0;
3011    char *pre_chroot_nslookup_to_load_resolver = NULL;
3012 #endif
3013
3014    Argc = argc;
3015    Argv = argv;
3016
3017    configfile =
3018 #if !defined(_WIN32)
3019    "config"
3020 #else
3021    "config.txt"
3022 #endif
3023       ;
3024
3025    /*
3026     * Parse the command line arguments
3027     *
3028     * XXX: simply printing usage information in case of
3029     * invalid arguments isn't particular user friendly.
3030     */
3031    while (++argc_pos < argc)
3032    {
3033 #ifdef _WIN32
3034       /* Check to see if the service must be installed or uninstalled */
3035       if (strncmp(argv[argc_pos], "--install", 9) == 0)
3036       {
3037          const char *pName = argv[argc_pos] + 9;
3038          if (*pName == ':')
3039             pName++;
3040          exit( (install_service(pName)) ? 0 : 1 );
3041       }
3042       else if (strncmp(argv[argc_pos], "--uninstall", + 11) == 0)
3043       {
3044          const char *pName = argv[argc_pos] + 11;
3045          if (*pName == ':')
3046             pName++;
3047          exit((uninstall_service(pName)) ? 0 : 1);
3048       }
3049       else if (strcmp(argv[argc_pos], "--service" ) == 0)
3050       {
3051          bRunAsService = TRUE;
3052          w32_set_service_cwd();
3053          atexit(w32_service_exit_notify);
3054       }
3055       else
3056 #endif /* defined(_WIN32) */
3057
3058
3059 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
3060
3061       if (strcmp(argv[argc_pos], "--help") == 0)
3062       {
3063          usage(argv[0]);
3064       }
3065
3066       else if(strcmp(argv[argc_pos], "--version") == 0)
3067       {
3068          printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n");
3069          exit(0);
3070       }
3071
3072 #if defined(unix)
3073
3074       else if (strcmp(argv[argc_pos], "--no-daemon" ) == 0)
3075       {
3076          no_daemon = 1;
3077       }
3078
3079       else if (strcmp(argv[argc_pos], "--pidfile" ) == 0)
3080       {
3081          if (++argc_pos == argc) usage(argv[0]);
3082          pidfile = strdup(argv[argc_pos]);
3083       }
3084
3085       else if (strcmp(argv[argc_pos], "--user" ) == 0)
3086       {
3087          if (++argc_pos == argc) usage(argv[argc_pos]);
3088
3089          if ((NULL != (p = strchr(argv[argc_pos], '.'))) && *(p + 1) != '0')
3090          {
3091             *p++ = '\0';
3092             if (NULL == (grp = getgrnam(p)))
3093             {
3094                log_error(LOG_LEVEL_FATAL, "Group %s not found.", p);
3095             }
3096          }
3097
3098          if (NULL == (pw = getpwnam(argv[argc_pos])))
3099          {
3100             log_error(LOG_LEVEL_FATAL, "User %s not found.", argv[argc_pos]);
3101          }
3102
3103          if (p != NULL) *--p = '\0';
3104       }
3105
3106       else if (strcmp(argv[argc_pos], "--pre-chroot-nslookup" ) == 0)
3107       {
3108          if (++argc_pos == argc) usage(argv[0]);
3109          pre_chroot_nslookup_to_load_resolver = strdup(argv[argc_pos]);
3110       }
3111
3112       else if (strcmp(argv[argc_pos], "--chroot" ) == 0)
3113       {
3114          do_chroot = 1;
3115       }
3116 #endif /* defined(unix) */
3117
3118       else if (argc_pos + 1 != argc)
3119       {
3120          /*
3121           * This is neither the last command line
3122           * option, nor was it recognized before,
3123           * therefore it must be invalid.
3124           */
3125          usage(argv[0]);
3126       }
3127       else
3128
3129 #endif /* defined(_WIN32) && !defined(_WIN_CONSOLE) */
3130       {
3131          configfile = argv[argc_pos];
3132       }
3133
3134    } /* -END- while (more arguments) */
3135
3136 #if defined(unix)
3137    if ( *configfile != '/' )
3138    {
3139       char cwd[BUFFER_SIZE];
3140       char *abs_file;
3141       size_t abs_file_size; 
3142
3143       /* make config-filename absolute here */
3144       if (NULL == getcwd(cwd, sizeof(cwd)))
3145       {
3146          perror("failed to get current working directory");
3147          exit( 1 );
3148       }
3149
3150       /* XXX: why + 5? */
3151       abs_file_size = strlen(cwd) + strlen(configfile) + 5;
3152       basedir = strdup(cwd);
3153
3154       if (NULL == basedir ||
3155           NULL == (abs_file = malloc(abs_file_size)))
3156       {
3157          perror("malloc failed");
3158          exit( 1 );
3159       }
3160       strlcpy(abs_file, basedir, abs_file_size);
3161       strlcat(abs_file, "/", abs_file_size );
3162       strlcat(abs_file, configfile, abs_file_size);
3163       configfile = abs_file;
3164    }
3165 #endif /* defined unix */
3166
3167
3168    files->next = NULL;
3169    clients->next = NULL;
3170
3171 #ifdef AMIGA
3172    InitAmiga();
3173 #elif defined(_WIN32)
3174    InitWin32();
3175 #endif
3176
3177    /* Prepare mutexes if supported and necessary. */
3178    initialize_mutexes();
3179
3180    random_seed = (unsigned int)time(NULL);
3181 #ifdef HAVE_RANDOM
3182    srandom(random_seed);
3183 #else
3184    srand(random_seed);
3185 #endif /* ifdef HAVE_RANDOM */
3186
3187    /*
3188     * Unix signal handling
3189     *
3190     * Catch the abort, interrupt and terminate signals for a graceful exit
3191     * Catch the hangup signal so the errlog can be reopened.
3192     * Ignore the broken pipe signals (FIXME: Why?)
3193     */
3194 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
3195 {
3196    int idx;
3197    const int catched_signals[] = { SIGTERM, SIGINT, SIGHUP, 0 };
3198    const int ignored_signals[] = { SIGPIPE, 0 };
3199
3200    for (idx = 0; catched_signals[idx] != 0; idx++)
3201    {
3202 #ifdef sun /* FIXME: Is it safe to check for HAVE_SIGSET instead? */ 
3203       if (sigset(catched_signals[idx], sig_handler) == SIG_ERR)
3204 #else
3205       if (signal(catched_signals[idx], sig_handler) == SIG_ERR)
3206 #endif /* ifdef sun */
3207       {
3208          log_error(LOG_LEVEL_FATAL, "Can't set signal-handler for signal %d: %E", catched_signals[idx]);
3209       }
3210    }
3211
3212    for (idx = 0; ignored_signals[idx] != 0; idx++)
3213    {
3214       if (signal(ignored_signals[idx], SIG_IGN) == SIG_ERR)
3215       {
3216          log_error(LOG_LEVEL_FATAL, "Can't set ignore-handler for signal %d: %E", ignored_signals[idx]);
3217       }
3218    }
3219
3220 }
3221 #else /* ifdef _WIN32 */
3222 # ifdef _WIN_CONSOLE
3223    /*
3224     * We *are* in a windows console app.
3225     * Print a verbose messages about FAQ's and such
3226     */
3227    printf("%s", win32_blurb);
3228 # endif /* def _WIN_CONSOLE */
3229 #endif /* def _WIN32 */
3230
3231
3232    /* Initialize the CGI subsystem */
3233    cgi_init_error_messages();
3234
3235    /*
3236     * If runnig on unix and without the --nodaemon
3237     * option, become a daemon. I.e. fork, detach
3238     * from tty and get process group leadership
3239     */
3240 #if defined(unix)
3241 {
3242    pid_t pid = 0;
3243 #if 0
3244    int   fd;
3245 #endif
3246
3247    if (!no_daemon)
3248    {
3249       pid  = fork();
3250
3251       if ( pid < 0 ) /* error */
3252       {
3253          perror("fork");
3254          exit( 3 );
3255       }
3256       else if ( pid != 0 ) /* parent */
3257       {
3258          int status;
3259          pid_t wpid;
3260          /*
3261           * must check for errors
3262           * child died due to missing files aso
3263           */
3264          sleep( 1 );
3265          wpid = waitpid( pid, &status, WNOHANG );
3266          if ( wpid != 0 )
3267          {
3268             exit( 1 );
3269          }
3270          exit( 0 );
3271       }
3272       /* child */
3273 #if 1
3274       /* Should be more portable, but not as well tested */
3275       setsid();
3276 #else /* !1 */
3277 #ifdef __FreeBSD__
3278       setpgrp(0,0);
3279 #else /* ndef __FreeBSD__ */
3280       setpgrp();
3281 #endif /* ndef __FreeBSD__ */
3282       fd = open("/dev/tty", O_RDONLY);
3283       if ( fd )
3284       {
3285          /* no error check here */
3286          ioctl( fd, TIOCNOTTY,0 );
3287          close ( fd );
3288       }
3289 #endif /* 1 */
3290       /* FIXME: should close stderr (fd 2) here too, but the test
3291        * for existence
3292        * and load config file is done in listen_loop() and puts
3293        * some messages on stderr there.
3294        */
3295
3296       close( 0 );
3297       close( 1 );
3298       chdir("/");
3299
3300    } /* -END- if (!no_daemon) */
3301
3302    /*
3303     * As soon as we have written the PID file, we can switch
3304     * to the user and group ID indicated by the --user option
3305     */
3306    write_pid_file();
3307
3308    if (NULL != pw)
3309    {
3310       if (setgid((NULL != grp) ? grp->gr_gid : pw->pw_gid))
3311       {
3312          log_error(LOG_LEVEL_FATAL, "Cannot setgid(): Insufficient permissions.");
3313       }
3314       if (do_chroot)
3315       {
3316          if (!pw->pw_dir)
3317          {
3318             log_error(LOG_LEVEL_FATAL, "Home directory for %s undefined", pw->pw_name);
3319          }
3320          /* Read the time zone file from /etc before doing chroot. */
3321          tzset();
3322          if (NULL != pre_chroot_nslookup_to_load_resolver
3323              && '\0' != pre_chroot_nslookup_to_load_resolver[0])
3324          {
3325             /* Initialize resolver library. */
3326             (void) resolve_hostname_to_ip(pre_chroot_nslookup_to_load_resolver);
3327          }
3328          if (chroot(pw->pw_dir) < 0)
3329          {
3330             log_error(LOG_LEVEL_FATAL, "Cannot chroot to %s", pw->pw_dir);
3331          }
3332          if (chdir ("/"))
3333          {
3334             log_error(LOG_LEVEL_FATAL, "Cannot chdir /");
3335          }
3336       }
3337       if (setuid(pw->pw_uid))
3338       {
3339          log_error(LOG_LEVEL_FATAL, "Cannot setuid(): Insufficient permissions.");
3340       }
3341       if (do_chroot)
3342       {
3343          char putenv_dummy[64];
3344
3345          strlcpy(putenv_dummy, "HOME=/", sizeof(putenv_dummy));
3346          if (putenv(putenv_dummy) != 0)
3347          {
3348             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): HOME");
3349          }                
3350
3351          snprintf(putenv_dummy, sizeof(putenv_dummy), "USER=%s", pw->pw_name);
3352          if (putenv(putenv_dummy) != 0)
3353          {
3354             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): USER");
3355          }
3356       }
3357    }
3358    else if (do_chroot)
3359    {
3360       log_error(LOG_LEVEL_FATAL, "Cannot chroot without --user argument.");
3361    }
3362 }
3363 #endif /* defined unix */
3364
3365 #ifdef _WIN32
3366    /* This will be FALSE unless the command line specified --service
3367     */
3368    if (bRunAsService)
3369    {
3370       /* Yup, so now we must attempt to establish a connection 
3371        * with the service dispatcher. This will only work if this
3372        * process was launched by the service control manager to
3373        * actually run as a service. If this isn't the case, i've
3374        * known it take around 30 seconds or so for the call to return.
3375        */
3376
3377       /* The StartServiceCtrlDispatcher won't return until the service is stopping */
3378       if (w32_start_service_ctrl_dispatcher(w32ServiceDispatchTable))
3379       {
3380          /* Service has run, and at this point is now being stopped, so just return */
3381          return 0;
3382       }
3383
3384 #ifdef _WIN_CONSOLE
3385       printf("Warning: Failed to connect to Service Control Dispatcher\nwhen starting as a service!\n");
3386 #endif
3387       /* An error occurred. Usually it's because --service was wrongly specified
3388        * and we were unable to connect to the Service Control Dispatcher because
3389        * it wasn't expecting us and is therefore not listening.
3390        *
3391        * For now, just continue below to call the listen_loop function.
3392        */
3393    }
3394 #endif /* def _WIN32 */
3395
3396    listen_loop();
3397
3398    /* NOTREACHED */
3399    return(-1);
3400
3401 }
3402
3403
3404 /*********************************************************************
3405  *
3406  * Function    :  bind_port_helper
3407  *
3408  * Description :  Bind the listen port.  Handles logging, and aborts
3409  *                on failure.
3410  *
3411  * Parameters  :
3412  *          1  :  config = Privoxy configuration.  Specifies port
3413  *                         to bind to.
3414  *
3415  * Returns     :  Port that was opened.
3416  *
3417  *********************************************************************/
3418 static jb_socket bind_port_helper(struct configuration_spec * config)
3419 {
3420    int result;
3421    jb_socket bfd;
3422
3423    if ( (config->haddr != NULL)
3424      && (config->haddr[0] == '1')
3425      && (config->haddr[1] == '2')
3426      && (config->haddr[2] == '7')
3427      && (config->haddr[3] == '.') )
3428    {
3429       log_error(LOG_LEVEL_INFO, "Listening on port %d for local connections only",
3430                 config->hport);
3431    }
3432    else if (config->haddr == NULL)
3433    {
3434       log_error(LOG_LEVEL_INFO, "Listening on port %d on all IP addresses",
3435                 config->hport);
3436    }
3437    else
3438    {
3439       log_error(LOG_LEVEL_INFO, "Listening on port %d on IP address %s",
3440                 config->hport, config->haddr);
3441    }
3442
3443    result = bind_port(config->haddr, config->hport, &bfd);
3444
3445    if (result < 0)
3446    {
3447       switch(result)
3448       {
3449          case -3 :
3450             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: "
3451                "There may be another Privoxy or some other "
3452                "proxy running on port %d",
3453                (NULL != config->haddr) ? config->haddr : "INADDR_ANY",
3454                       config->hport, config->hport);
3455
3456          case -2 :
3457             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: " 
3458                "The hostname is not resolvable",
3459                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3460
3461          default :
3462             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: because %E",
3463                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3464       }
3465
3466       /* shouldn't get here */
3467       return JB_INVALID_SOCKET;
3468    }
3469
3470    config->need_bind = 0;
3471
3472    return bfd;
3473 }
3474
3475
3476 #ifdef _WIN32
3477 /* Without this simple workaround we get this compiler warning from _beginthread
3478  *     warning C4028: formal parameter 1 different from declaration
3479  */
3480 void w32_service_listen_loop(void *p)
3481 {
3482    listen_loop();
3483 }
3484 #endif /* def _WIN32 */
3485
3486
3487 /*********************************************************************
3488  *
3489  * Function    :  listen_loop
3490  *
3491  * Description :  bind the listen port and enter a "FOREVER" listening loop.
3492  *
3493  * Parameters  :  N/A
3494  *
3495  * Returns     :  Never.
3496  *
3497  *********************************************************************/
3498 static void listen_loop(void)
3499 {
3500    struct client_state *csp = NULL;
3501    jb_socket bfd;
3502    struct configuration_spec * config;
3503
3504    config = load_config();
3505
3506    bfd = bind_port_helper(config);
3507
3508 #ifdef FEATURE_GRACEFUL_TERMINATION
3509    while (!g_terminate)
3510 #else
3511    for (;;)
3512 #endif
3513    {
3514 #if !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) && !defined(__OS2__)
3515       while (waitpid(-1, NULL, WNOHANG) > 0)
3516       {
3517          /* zombie children */
3518       }
3519 #endif /* !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) */
3520
3521       /*
3522        * Free data that was used by died threads
3523        */
3524       sweep();
3525
3526 #if defined(unix)
3527       /*
3528        * Re-open the errlog after HUP signal
3529        */
3530       if (received_hup_signal)
3531       {
3532          init_error_log(Argv[0], config->logfile, config->debug);
3533          received_hup_signal = 0;
3534       }
3535 #endif
3536
3537 #ifdef __OS2__
3538 #ifdef FEATURE_COOKIE_JAR
3539       /*
3540        * Need a workaround here: we have to fclose() the jarfile, or we die because it's
3541        * already open.  I think unload_configfile() is not being run, which should do
3542        * this work.  Until that can get resolved, we'll use this workaround.
3543        */
3544        if (csp)
3545          if(csp->config)
3546            if (csp->config->jar)
3547            {
3548              fclose(csp->config->jar);
3549              csp->config->jar = NULL;
3550            }
3551 #endif /* FEATURE_COOKIE_JAR */
3552 #endif /* __OS2__ */
3553
3554       if ( NULL == (csp = (struct client_state *) zalloc(sizeof(*csp))) )
3555       {
3556          log_error(LOG_LEVEL_FATAL, "malloc(%d) for csp failed: %E", sizeof(*csp));
3557          continue;
3558       }
3559
3560       csp->flags |= CSP_FLAG_ACTIVE;
3561       csp->sfd    = JB_INVALID_SOCKET;
3562
3563       csp->config = config = load_config();
3564
3565       if ( config->need_bind )
3566       {
3567          /*
3568           * Since we were listening to the "old port", we will not see
3569           * a "listen" param change until the next IJB request.  So, at
3570           * least 1 more request must be made for us to find the new
3571           * setting.  I am simply closing the old socket and binding the
3572           * new one.
3573           *
3574           * Which-ever is correct, we will serve 1 more page via the
3575           * old settings.  This should probably be a "show-proxy-args"
3576           * request.  This should not be a so common of an operation
3577           * that this will hurt people's feelings.
3578           */
3579
3580          close_socket(bfd);
3581
3582          bfd = bind_port_helper(config);
3583       }
3584
3585       log_error(LOG_LEVEL_CONNECT, "Listening for new connections ... ");
3586
3587       if (!accept_connection(csp, bfd))
3588       {
3589          log_error(LOG_LEVEL_CONNECT, "accept failed: %E");
3590
3591 #ifdef AMIGA
3592          if(!childs)
3593          {
3594             exit(1);
3595          }
3596 #endif
3597          freez(csp);
3598          continue;
3599       }
3600       else
3601       {
3602          log_error(LOG_LEVEL_CONNECT, "accepted connection from %s", csp->ip_addr_str);
3603       }
3604
3605 #ifdef FEATURE_TOGGLE
3606       if (global_toggle_state)
3607       {
3608          csp->flags |= CSP_FLAG_TOGGLED_ON;
3609       }
3610 #endif /* def FEATURE_TOGGLE */
3611
3612       if (run_loader(csp))
3613       {
3614          log_error(LOG_LEVEL_FATAL, "a loader failed - must exit");
3615          /* Never get here - LOG_LEVEL_FATAL causes program exit */
3616       }
3617
3618 #ifdef FEATURE_ACL
3619       if (block_acl(NULL,csp))
3620       {
3621          log_error(LOG_LEVEL_CONNECT, "Connection from %s dropped due to ACL", csp->ip_addr_str);
3622          close_socket(csp->cfd);
3623          freez(csp);
3624          continue;
3625       }
3626 #endif /* def FEATURE_ACL */
3627
3628       /* add it to the list of clients */
3629       csp->next = clients->next;
3630       clients->next = csp;
3631
3632       if (config->multi_threaded)
3633       {
3634          int child_id;
3635
3636 /* this is a switch () statment in the C preprocessor - ugh */
3637 #undef SELECTED_ONE_OPTION
3638
3639 /* Use Pthreads in preference to native code */
3640 #if defined(FEATURE_PTHREAD) && !defined(SELECTED_ONE_OPTION)
3641 #define SELECTED_ONE_OPTION
3642          {
3643             pthread_t the_thread;
3644             pthread_attr_t attrs;
3645
3646             pthread_attr_init(&attrs);
3647             pthread_attr_setdetachstate(&attrs, PTHREAD_CREATE_DETACHED);
3648             errno = pthread_create(&the_thread, &attrs,
3649                (void * (*)(void *))serve, csp);
3650             child_id = errno ? -1 : 0;
3651             pthread_attr_destroy(&attrs);
3652          }
3653 #endif
3654
3655 #if defined(_WIN32) && !defined(_CYGWIN) && !defined(SELECTED_ONE_OPTION)
3656 #define SELECTED_ONE_OPTION
3657          child_id = _beginthread(
3658             (void (*)(void *))serve,
3659             64 * 1024,
3660             csp);
3661 #endif
3662
3663 #if defined(__OS2__) && !defined(SELECTED_ONE_OPTION)
3664 #define SELECTED_ONE_OPTION
3665          child_id = _beginthread(
3666             (void(* _Optlink)(void*))serve,
3667             NULL,
3668             64 * 1024,
3669             csp);
3670 #endif
3671
3672 #if defined(__BEOS__) && !defined(SELECTED_ONE_OPTION)
3673 #define SELECTED_ONE_OPTION
3674          {
3675             thread_id tid = spawn_thread
3676                (server_thread, "server", B_NORMAL_PRIORITY, csp);
3677
3678             if ((tid >= 0) && (resume_thread(tid) == B_OK))
3679             {
3680                child_id = (int) tid;
3681             }
3682             else
3683             {
3684                child_id = -1;
3685             }
3686          }
3687 #endif
3688
3689 #if defined(AMIGA) && !defined(SELECTED_ONE_OPTION)
3690 #define SELECTED_ONE_OPTION
3691          csp->cfd = ReleaseSocket(csp->cfd, -1);
3692          
3693 #ifdef __amigaos4__
3694          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3695                                            NP_Output, Output(),
3696                                            NP_CloseOutput, FALSE,
3697                                            NP_Name, (ULONG)"privoxy child",
3698                                            NP_Child, TRUE,
3699                                            TAG_DONE);
3700 #else
3701          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3702                                            NP_Output, Output(),
3703                                            NP_CloseOutput, FALSE,
3704                                            NP_Name, (ULONG)"privoxy child",
3705                                            NP_StackSize, 200*1024,
3706                                            TAG_DONE);
3707 #endif
3708          if(0 != child_id)
3709          {
3710             childs++;
3711             ((struct Task *)child_id)->tc_UserData = csp;
3712             Signal((struct Task *)child_id, SIGF_SINGLE);
3713             Wait(SIGF_SINGLE);
3714          }
3715 #endif
3716
3717 #if !defined(SELECTED_ONE_OPTION)
3718          child_id = fork();
3719
3720          /* This block is only needed when using fork().
3721           * When using threads, the server thread was
3722           * created and run by the call to _beginthread().
3723           */
3724          if (child_id == 0)   /* child */
3725          {
3726             int rc = 0;
3727 #ifdef FEATURE_TOGGLE
3728             int inherited_toggle_state = global_toggle_state;
3729 #endif /* def FEATURE_TOGGLE */
3730
3731             serve(csp);
3732
3733             /* 
3734              * If we've been toggled or we've blocked the request, tell Mom
3735              */
3736
3737 #ifdef FEATURE_TOGGLE
3738             if (inherited_toggle_state != global_toggle_state)
3739             {
3740                rc |= RC_FLAG_TOGGLED;
3741             }
3742 #endif /* def FEATURE_TOGGLE */
3743
3744 #ifdef FEATURE_STATISTICS  
3745             if (csp->flags & CSP_FLAG_REJECTED)
3746             {
3747                rc |= RC_FLAG_BLOCKED;
3748             }
3749 #endif /* ndef FEATURE_STATISTICS */
3750
3751             _exit(rc);
3752          }
3753          else if (child_id > 0) /* parent */
3754          {
3755             /* in a fork()'d environment, the parent's
3756              * copy of the client socket and the CSP
3757              * are not used.
3758              */
3759             int child_status;
3760 #if !defined(_WIN32) && !defined(__CYGWIN__)
3761
3762             wait( &child_status );
3763
3764             /* 
3765              * Evaluate child's return code: If the child has
3766              *  - been toggled, toggle ourselves
3767              *  - blocked its request, bump up the stats counter
3768              */
3769
3770 #ifdef FEATURE_TOGGLE
3771             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_TOGGLED))
3772             {
3773                global_toggle_state = !global_toggle_state;
3774             }
3775 #endif /* def FEATURE_TOGGLE */
3776
3777 #ifdef FEATURE_STATISTICS
3778             urls_read++;
3779             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_BLOCKED))
3780             {
3781                urls_rejected++;
3782             }
3783 #endif /* def FEATURE_STATISTICS */ 
3784
3785 #endif /* !defined(_WIN32) && defined(__CYGWIN__) */
3786             close_socket(csp->cfd);
3787             csp->flags &= ~CSP_FLAG_ACTIVE;
3788          }
3789 #endif
3790
3791 #undef SELECTED_ONE_OPTION
3792 /* end of cpp switch () */
3793
3794          if (child_id < 0) /* failed */
3795          {
3796             char buf[BUFFER_SIZE];
3797
3798             log_error(LOG_LEVEL_ERROR, "can't fork: %E");
3799
3800             snprintf(buf , sizeof(buf), "Privoxy: can't fork: errno = %d", errno);
3801
3802             write_socket(csp->cfd, buf, strlen(buf));
3803             close_socket(csp->cfd);
3804             csp->flags &= ~CSP_FLAG_ACTIVE;
3805             sleep(5);
3806             continue;
3807          }
3808       }
3809       else
3810       {
3811          serve(csp);
3812       }
3813    }
3814
3815    /* NOTREACHED unless FEATURE_GRACEFUL_TERMINATION is defined */
3816
3817    /* Clean up.  Aim: free all memory (no leaks) */
3818 #ifdef FEATURE_GRACEFUL_TERMINATION
3819
3820    log_error(LOG_LEVEL_ERROR, "Graceful termination requested");
3821
3822    unload_current_config_file();
3823    unload_current_actions_file();
3824    unload_current_re_filterfile();
3825 #ifdef FEATURE_TRUST
3826    unload_current_trust_file();
3827 #endif
3828
3829    if (config->multi_threaded)
3830    {
3831       int i = 60;
3832       do
3833       {
3834          sleep(1);
3835          sweep();
3836       } while ((clients->next != NULL) && (--i > 0));
3837
3838       if (i <= 0)
3839       {
3840          log_error(LOG_LEVEL_ERROR, "Graceful termination failed - still some live clients after 1 minute wait.");
3841       }
3842    }
3843    sweep();
3844    sweep();
3845
3846 #if defined(unix)
3847    freez(basedir);
3848 #endif
3849    freez(configfile);
3850
3851 #ifdef FEATURE_COOKIE_JAR
3852    if (NULL != config->jar)
3853    {
3854       fclose(config->jar);
3855    }
3856 #endif
3857
3858 #if defined(_WIN32) && !defined(_WIN_CONSOLE)
3859    /* Cleanup - remove taskbar icon etc. */
3860    TermLogWindow();
3861 #endif
3862
3863    exit(0);
3864 #endif /* FEATURE_GRACEFUL_TERMINATION */
3865
3866 }
3867
3868
3869 /*
3870   Local Variables:
3871   tab-width: 3
3872   end:
3873 */