91b2397b57211b58a155ab4fa3edc782f29677d2
[privoxy.git] / jcc.c
1 const char jcc_rcs[] = "$Id: jcc.c,v 1.356 2011/07/17 13:30:24 fabiankeil Exp $";
2 /*********************************************************************
3  *
4  * File        :  $Source: /cvsroot/ijbswa/current/jcc.c,v $
5  *
6  * Purpose     :  Main file.  Contains main() method, main loop, and
7  *                the main connection-handling function.
8  *
9  * Copyright   :  Written by and Copyright (C) 2001-2010 the
10  *                Privoxy team. http://www.privoxy.org/
11  *
12  *                Based on the Internet Junkbuster originally written
13  *                by and Copyright (C) 1997 Anonymous Coders and
14  *                Junkbusters Corporation.  http://www.junkbusters.com
15  *
16  *                This program is free software; you can redistribute it
17  *                and/or modify it under the terms of the GNU General
18  *                Public License as published by the Free Software
19  *                Foundation; either version 2 of the License, or (at
20  *                your option) any later version.
21  *
22  *                This program is distributed in the hope that it will
23  *                be useful, but WITHOUT ANY WARRANTY; without even the
24  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
25  *                PARTICULAR PURPOSE.  See the GNU General Public
26  *                License for more details.
27  *
28  *                The GNU General Public License should be included with
29  *                this file.  If not, you can view it at
30  *                http://www.gnu.org/copyleft/gpl.html
31  *                or write to the Free Software Foundation, Inc., 59
32  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
33  *
34  *********************************************************************/
35
36
37 #include "config.h"
38
39 #include <stdio.h>
40 #include <sys/types.h>
41 #include <stdlib.h>
42 #include <string.h>
43 #include <signal.h>
44 #include <fcntl.h>
45 #include <errno.h>
46 #include <assert.h>
47
48 #ifdef _WIN32
49 # ifndef FEATURE_PTHREAD
50 #  ifndef STRICT
51 #   define STRICT
52 #  endif
53 #  include <windows.h>
54 #  include <process.h>
55 # endif /* ndef FEATURE_PTHREAD */
56
57 # include "win32.h"
58 # ifndef _WIN_CONSOLE
59 #  include "w32log.h"
60 # endif /* ndef _WIN_CONSOLE */
61 # include "w32svrapi.h"
62
63 #else /* ifndef _WIN32 */
64
65 # if !defined (__OS2__)
66 # include <unistd.h>
67 # include <sys/wait.h>
68 # endif /* ndef __OS2__ */
69 # include <sys/time.h>
70 # include <sys/stat.h>
71 # include <sys/ioctl.h>
72
73 #ifdef sun
74 #include <sys/termios.h>
75 #endif /* sun */
76
77 #ifdef unix
78 #include <pwd.h>
79 #include <grp.h>
80 #endif
81
82 # include <signal.h>
83
84 # ifdef __BEOS__
85 #  include <socket.h>  /* BeOS has select() for sockets only. */
86 #  include <OS.h>      /* declarations for threads and stuff. */
87 # endif
88
89 # if defined(__EMX__) || defined(__OS2__)
90 #  include <sys/select.h>  /* OS/2/EMX needs a little help with select */
91 # endif
92 # ifdef __OS2__
93 #define INCL_DOS
94 # include <os2.h>
95 #define bzero(B,N) memset(B,0x00,n)
96 # endif
97
98 # ifndef FD_ZERO
99 #  include <select.h>
100 # endif
101
102 #endif
103
104 #include "project.h"
105 #include "list.h"
106 #include "jcc.h"
107 #include "filters.h"
108 #include "loaders.h"
109 #include "parsers.h"
110 #include "miscutil.h"
111 #include "errlog.h"
112 #include "jbsockets.h"
113 #include "gateway.h"
114 #include "actions.h"
115 #include "cgi.h"
116 #include "loadcfg.h"
117 #include "urlmatch.h"
118
119 const char jcc_h_rcs[] = JCC_H_VERSION;
120 const char project_h_rcs[] = PROJECT_H_VERSION;
121
122 int daemon_mode = 1;
123 struct client_states clients[1];
124 struct file_list     files[1];
125
126 #ifdef FEATURE_STATISTICS
127 int urls_read     = 0;     /* total nr of urls read inc rejected */
128 int urls_rejected = 0;     /* total nr of urls rejected */
129 #endif /* def FEATURE_STATISTICS */
130
131 #ifdef FEATURE_GRACEFUL_TERMINATION
132 int g_terminate = 0;
133 #endif
134
135 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
136 static void sig_handler(int the_signal);
137 #endif
138 static int client_protocol_is_unsupported(const struct client_state *csp, char *req);
139 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers);
140 static jb_err get_server_headers(struct client_state *csp);
141 static const char *crunch_reason(const struct http_response *rsp);
142 static void send_crunch_response(const struct client_state *csp, struct http_response *rsp);
143 static char *get_request_line(struct client_state *csp);
144 static jb_err receive_client_request(struct client_state *csp);
145 static jb_err parse_client_request(struct client_state *csp);
146 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line);
147 static jb_err change_request_destination(struct client_state *csp);
148 static void chat(struct client_state *csp);
149 static void serve(struct client_state *csp);
150 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
151 static void usage(const char *myname);
152 #endif
153 static void initialize_mutexes(void);
154 static jb_socket bind_port_helper(struct configuration_spec *config);
155 static void listen_loop(void);
156
157 #ifdef AMIGA
158 void serve(struct client_state *csp);
159 #else /* ifndef AMIGA */
160 static void serve(struct client_state *csp);
161 #endif /* def AMIGA */
162
163 #ifdef __BEOS__
164 static int32 server_thread(void *data);
165 #endif /* def __BEOS__ */
166
167 #ifdef _WIN32
168 #define sleep(N)  Sleep(((N) * 1000))
169 #endif
170
171 #ifdef __OS2__
172 #define sleep(N)  DosSleep(((N) * 100))
173 #endif
174
175 #ifdef MUTEX_LOCKS_AVAILABLE
176 /*
177  * XXX: Does the locking stuff really belong in this file?
178  */
179 privoxy_mutex_t log_mutex;
180 privoxy_mutex_t log_init_mutex;
181 privoxy_mutex_t connection_reuse_mutex;
182
183 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
184 privoxy_mutex_t resolver_mutex;
185 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
186
187 #ifndef HAVE_GMTIME_R
188 privoxy_mutex_t gmtime_mutex;
189 #endif /* ndef HAVE_GMTIME_R */
190
191 #ifndef HAVE_LOCALTIME_R
192 privoxy_mutex_t localtime_mutex;
193 #endif /* ndef HAVE_GMTIME_R */
194
195 #ifndef HAVE_RANDOM
196 privoxy_mutex_t rand_mutex;
197 #endif /* ndef HAVE_RANDOM */
198
199 #endif /* def MUTEX_LOCKS_AVAILABLE */
200
201 #if defined(unix)
202 const char *basedir = NULL;
203 const char *pidfile = NULL;
204 static int received_hup_signal = 0;
205 #endif /* defined unix */
206
207 /* HTTP snipplets. */
208 static const char CSUCCEED[] =
209    "HTTP/1.0 200 Connection established\r\n"
210    "Proxy-Agent: Privoxy/" VERSION "\r\n\r\n";
211
212 static const char CHEADER[] =
213    "HTTP/1.0 400 Invalid header received from client\r\n"
214    "Proxy-Agent: Privoxy " VERSION "\r\n"
215    "Content-Type: text/plain\r\n"
216    "Connection: close\r\n\r\n"
217    "Invalid header received from client.\r\n";
218
219 static const char FTP_RESPONSE[] =
220    "HTTP/1.0 400 Invalid request received from client\r\n"
221    "Content-Type: text/plain\r\n"
222    "Connection: close\r\n\r\n"
223    "Invalid request. Privoxy doesn't support FTP.\r\n";
224
225 static const char GOPHER_RESPONSE[] =
226    "HTTP/1.0 400 Invalid request received from client\r\n"
227    "Content-Type: text/plain\r\n"
228    "Connection: close\r\n\r\n"
229    "Invalid request. Privoxy doesn't support gopher.\r\n";
230
231 /* XXX: should be a template */
232 static const char MISSING_DESTINATION_RESPONSE[] =
233    "HTTP/1.0 400 Bad request received from client\r\n"
234    "Proxy-Agent: Privoxy " VERSION "\r\n"
235    "Content-Type: text/plain\r\n"
236    "Connection: close\r\n\r\n"
237    "Bad request. Privoxy was unable to extract the destination.\r\n";
238
239 /* XXX: should be a template */
240 static const char INVALID_SERVER_HEADERS_RESPONSE[] =
241    "HTTP/1.0 502 Server or forwarder response invalid\r\n"
242    "Proxy-Agent: Privoxy " VERSION "\r\n"
243    "Content-Type: text/plain\r\n"
244    "Connection: close\r\n\r\n"
245    "Bad response. The server or forwarder response doesn't look like HTTP.\r\n";
246
247 /* XXX: should be a template */
248 static const char MESSED_UP_REQUEST_RESPONSE[] =
249    "HTTP/1.0 400 Malformed request after rewriting\r\n"
250    "Proxy-Agent: Privoxy " VERSION "\r\n"
251    "Content-Type: text/plain\r\n"
252    "Connection: close\r\n\r\n"
253    "Bad request. Messed up with header filters.\r\n";
254
255 static const char TOO_MANY_CONNECTIONS_RESPONSE[] =
256    "HTTP/1.0 503 Too many open connections\r\n"
257    "Proxy-Agent: Privoxy " VERSION "\r\n"
258    "Content-Type: text/plain\r\n"
259    "Connection: close\r\n\r\n"
260    "Maximum number of open connections reached.\r\n";
261
262 static const char CLIENT_CONNECTION_TIMEOUT_RESPONSE[] =
263    "HTTP/1.0 504 Connection timeout\r\n"
264    "Proxy-Agent: Privoxy " VERSION "\r\n"
265    "Content-Type: text/plain\r\n"
266    "Connection: close\r\n\r\n"
267    "The connection timed out because the client request didn't arrive in time.\r\n";
268
269 /* A function to crunch a response */
270 typedef struct http_response *(*crunch_func_ptr)(struct client_state *);
271
272 /* Crunch function flags */
273 #define CF_NO_FLAGS        0
274 /* Cruncher applies to forced requests as well */
275 #define CF_IGNORE_FORCE    1
276 /* Crunched requests are counted for the block statistics */
277 #define CF_COUNT_AS_REJECT 2
278
279 /* A crunch function and its flags */
280 struct cruncher
281 {
282    const crunch_func_ptr cruncher;
283    const int flags;
284 };
285
286 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[]);
287
288 /* Complete list of cruncher functions */
289 static const struct cruncher crunchers_all[] = {
290    { direct_response, CF_COUNT_AS_REJECT|CF_IGNORE_FORCE},
291    { block_url,       CF_COUNT_AS_REJECT },
292 #ifdef FEATURE_TRUST
293    { trust_url,       CF_COUNT_AS_REJECT },
294 #endif /* def FEATURE_TRUST */
295    { redirect_url,    CF_NO_FLAGS  },
296    { dispatch_cgi,    CF_IGNORE_FORCE},
297    { NULL,            0 }
298 };
299
300 /* Light version, used after tags are applied */
301 static const struct cruncher crunchers_light[] = {
302    { block_url,       CF_COUNT_AS_REJECT },
303    { redirect_url,    CF_NO_FLAGS },
304    { NULL,            0 }
305 };
306
307
308 /*
309  * XXX: Don't we really mean
310  *
311  * #if defined(unix)
312  *
313  * here?
314  */
315 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
316 /*********************************************************************
317  *
318  * Function    :  sig_handler 
319  *
320  * Description :  Signal handler for different signals.
321  *                Exit gracefully on TERM and INT
322  *                or set a flag that will cause the errlog
323  *                to be reopened by the main thread on HUP.
324  *
325  * Parameters  :
326  *          1  :  the_signal = the signal cause this function to call
327  *
328  * Returns     :  - 
329  *
330  *********************************************************************/
331 static void sig_handler(int the_signal)
332 {
333    switch(the_signal)
334    {
335       case SIGTERM:
336       case SIGINT:
337          log_error(LOG_LEVEL_INFO, "exiting by signal %d .. bye", the_signal);
338 #if defined(unix)
339          if(pidfile)
340          {
341             unlink(pidfile);
342          }
343 #endif /* unix */
344          exit(the_signal);
345          break;
346
347       case SIGHUP:
348 #if defined(unix)
349          received_hup_signal = 1;
350 #endif
351          break;         
352
353       default:
354          /* 
355           * We shouldn't be here, unless we catch signals
356           * in main() that we can't handle here!
357           */
358          log_error(LOG_LEVEL_FATAL, "sig_handler: exiting on unexpected signal %d", the_signal);
359    }
360    return;
361
362 }
363 #endif
364
365
366 /*********************************************************************
367  *
368  * Function    :  client_protocol_is_unsupported
369  *
370  * Description :  Checks if the client used a known unsupported
371  *                protocol and deals with it by sending an error
372  *                response.
373  *
374  * Parameters  :
375  *          1  :  csp = Current client state (buffers, headers, etc...)
376  *          2  :  req = the first request line send by the client
377  *
378  * Returns     :  TRUE if an error response has been generated, or
379  *                FALSE if the request doesn't look invalid.
380  *
381  *********************************************************************/
382 static int client_protocol_is_unsupported(const struct client_state *csp, char *req)
383 {
384    /*
385     * If it's a FTP or gopher request, we don't support it.
386     *
387     * These checks are better than nothing, but they might
388     * not work in all configurations and some clients might
389     * have problems digesting the answer.
390     *
391     * They should, however, never cause more problems than
392     * Privoxy's old behaviour (returning the misleading HTML
393     * error message:
394     *
395     * "Could not resolve http://(ftp|gopher)://example.org").
396     */
397    if (!strncmpic(req, "GET ftp://", 10) || !strncmpic(req, "GET gopher://", 13))
398    {
399       const char *response = NULL;
400       const char *protocol = NULL;
401
402       if (!strncmpic(req, "GET ftp://", 10))
403       {
404          response = FTP_RESPONSE;
405          protocol = "FTP";
406       }
407       else
408       {
409          response = GOPHER_RESPONSE;
410          protocol = "GOPHER";
411       }
412       log_error(LOG_LEVEL_ERROR,
413          "%s tried to use Privoxy as %s proxy: %s",
414          csp->ip_addr_str, protocol, req);
415       log_error(LOG_LEVEL_CLF,
416          "%s - - [%T] \"%s\" 400 0", csp->ip_addr_str, req);
417       freez(req);
418       write_socket(csp->cfd, response, strlen(response));
419
420       return TRUE;
421    }
422
423    return FALSE;
424 }
425
426
427 /*********************************************************************
428  *
429  * Function    :  get_request_destination_elsewhere
430  *
431  * Description :  If the client's request was redirected into
432  *                Privoxy without the client's knowledge,
433  *                the request line lacks the destination host.
434  *
435  *                This function tries to get it elsewhere,
436  *                provided accept-intercepted-requests is enabled.
437  *
438  *                "Elsewhere" currently only means "Host: header",
439  *                but in the future we may ask the redirecting
440  *                packet filter to look the destination up.
441  *
442  *                If the destination stays unknown, an error
443  *                response is send to the client and headers
444  *                are freed so that chat() can return directly.
445  *
446  * Parameters  :
447  *          1  :  csp = Current client state (buffers, headers, etc...)
448  *          2  :  headers = a header list
449  *
450  * Returns     :  JB_ERR_OK if the destination is now known, or
451  *                JB_ERR_PARSE if it isn't.
452  *
453  *********************************************************************/
454 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers)
455 {
456    char *req;
457
458    if (!(csp->config->feature_flags & RUNTIME_FEATURE_ACCEPT_INTERCEPTED_REQUESTS))
459    {
460       log_error(LOG_LEVEL_ERROR, "%s's request: \'%s\' is invalid."
461          " Privoxy isn't configured to accept intercepted requests.",
462          csp->ip_addr_str, csp->http->cmd);
463       /* XXX: Use correct size */
464       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
465          csp->ip_addr_str, csp->http->cmd);
466
467       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
468       destroy_list(headers);
469
470       return JB_ERR_PARSE;
471    }
472    else if (JB_ERR_OK == get_destination_from_headers(headers, csp->http))
473    {
474 #ifndef FEATURE_EXTENDED_HOST_PATTERNS
475       /* Split the domain we just got for pattern matching */
476       init_domain_components(csp->http);
477 #endif
478
479       return JB_ERR_OK;
480    }
481    else
482    {
483       /* We can't work without destination. Go spread the news.*/
484
485       req = list_to_text(headers);
486       chomp(req);
487       /* XXX: Use correct size */
488       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
489          csp->ip_addr_str, csp->http->cmd);
490       log_error(LOG_LEVEL_ERROR,
491          "Privoxy was unable to get the destination for %s's request:\n%s\n%s",
492          csp->ip_addr_str, csp->http->cmd, req);
493       freez(req);
494
495       write_socket(csp->cfd, MISSING_DESTINATION_RESPONSE, strlen(MISSING_DESTINATION_RESPONSE));
496       destroy_list(headers);
497
498       return JB_ERR_PARSE;
499    }
500    /*
501     * TODO: If available, use PF's ioctl DIOCNATLOOK as last resort
502     * to get the destination IP address, use it as host directly
503     * or do a reverse DNS lookup first.
504     */
505 }
506
507
508 /*********************************************************************
509  *
510  * Function    :  get_server_headers
511  *
512  * Description :  Parses server headers in iob and fills them
513  *                into csp->headers so that they can later be
514  *                handled by sed().
515  *
516  * Parameters  :
517  *          1  :  csp = Current client state (buffers, headers, etc...)
518  *
519  * Returns     :  JB_ERR_OK if everything went fine, or
520  *                JB_ERR_PARSE if the headers were incomplete.
521  *
522  *********************************************************************/
523 static jb_err get_server_headers(struct client_state *csp)
524 {
525    int continue_hack_in_da_house = 0;
526    char * header;
527
528    while (((header = get_header(csp->iob)) != NULL) || continue_hack_in_da_house)
529    {
530       if (header == NULL)
531       {
532          /*
533           * continue hack in da house. Ignore the ending of
534           * this head and continue enlisting header lines.
535           * The reason is described below.
536           */
537          enlist(csp->headers, "");
538          continue_hack_in_da_house = 0;
539          continue;
540       }
541       else if (0 == strncmpic(header, "HTTP/1.1 100", 12))
542       {
543          /*
544           * It's a bodyless continue response, don't
545           * stop header parsing after reaching its end.
546           *
547           * As a result Privoxy will concatenate the
548           * next response's head and parse and deliver
549           * the headers as if they belonged to one request.
550           *
551           * The client will separate them because of the
552           * empty line between them.
553           *
554           * XXX: What we're doing here is clearly against
555           * the intended purpose of the continue header,
556           * and under some conditions (HTTP/1.0 client request)
557           * it's a standard violation.
558           *
559           * Anyway, "sort of against the spec" is preferable
560           * to "always getting confused by Continue responses"
561           * (Privoxy's behaviour before this hack was added)
562           */
563          log_error(LOG_LEVEL_HEADER, "Continue hack in da house.");
564          continue_hack_in_da_house = 1;
565       }
566       else if (*header == '\0') 
567       {
568          /*
569           * If the header is empty, but the Continue hack
570           * isn't active, we can assume that we reached the
571           * end of the buffer before we hit the end of the
572           * head.
573           *
574           * Inform the caller an let it decide how to handle it.
575           */
576          return JB_ERR_PARSE;
577       }
578
579       if (JB_ERR_MEMORY == enlist(csp->headers, header))
580       {
581          /*
582           * XXX: Should we quit the request and return a
583           * out of memory error page instead?
584           */
585          log_error(LOG_LEVEL_ERROR,
586             "Out of memory while enlisting server headers. %s lost.",
587             header);
588       }
589       freez(header);
590    }
591
592    return JB_ERR_OK;
593 }
594
595
596 /*********************************************************************
597  *
598  * Function    :  crunch_reason
599  *
600  * Description :  Translates the crunch reason code into a string.
601  *
602  * Parameters  :
603  *          1  :  rsp = a http_response
604  *
605  * Returns     :  A string with the crunch reason or an error description.
606  *
607  *********************************************************************/
608 static const char *crunch_reason(const struct http_response *rsp)
609 {
610    char * reason = NULL;
611
612    assert(rsp != NULL);
613    if (rsp == NULL)
614    {
615       return "Internal error while searching for crunch reason";
616    }
617
618    switch (rsp->crunch_reason)
619    {
620       case UNSUPPORTED:
621          reason = "Unsupported HTTP feature";
622          break;
623       case BLOCKED:
624          reason = "Blocked";
625          break;
626       case UNTRUSTED:
627          reason = "Untrusted";
628          break;
629       case REDIRECTED:
630          reason = "Redirected";
631          break;
632       case CGI_CALL:
633          reason = "CGI Call";
634          break;
635       case NO_SUCH_DOMAIN:
636          reason = "DNS failure";
637          break;
638       case FORWARDING_FAILED:
639          reason = "Forwarding failed";
640          break;
641       case CONNECT_FAILED:
642          reason = "Connection failure";
643          break;
644       case OUT_OF_MEMORY:
645          reason = "Out of memory (may mask other reasons)";
646          break;
647       case CONNECTION_TIMEOUT:
648          reason = "Connection timeout";
649          break;
650       case NO_SERVER_DATA:
651          reason = "No server data received";
652          break;
653       default:
654          reason = "No reason recorded";
655          break;
656    }
657
658    return reason;
659 }
660
661
662 /*********************************************************************
663  *
664  * Function    :  send_crunch_response
665  *
666  * Description :  Delivers already prepared response for
667  *                intercepted requests, logs the interception
668  *                and frees the response.
669  *
670  * Parameters  :
671  *          1  :  csp = Current client state (buffers, headers, etc...)
672  *          1  :  rsp = Fully prepared response. Will be freed on exit.
673  *
674  * Returns     :  Nothing.
675  *
676  *********************************************************************/
677 static void send_crunch_response(const struct client_state *csp, struct http_response *rsp)
678 {
679       const struct http_request *http = csp->http;
680       char status_code[4];
681
682       assert(rsp != NULL);
683       assert(rsp->head != NULL);
684
685       if (rsp == NULL)
686       {
687          log_error(LOG_LEVEL_FATAL, "NULL response in send_crunch_response.");
688       }
689
690       /*
691        * Extract the status code from the actual head
692        * that will be send to the client. It is the only
693        * way to get it right for all requests, including
694        * the fixed ones for out-of-memory problems.
695        *
696        * A head starts like this: 'HTTP/1.1 200...'
697        *                           0123456789|11
698        *                                     10
699        */
700       status_code[0] = rsp->head[9];
701       status_code[1] = rsp->head[10];
702       status_code[2] = rsp->head[11];
703       status_code[3] = '\0';
704
705       /* Log that the request was crunched and why. */
706       log_error(LOG_LEVEL_CRUNCH, "%s: %s", crunch_reason(rsp), http->url);
707       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" %s %u",
708          csp->ip_addr_str, http->ocmd, status_code, rsp->content_length);
709
710       /* Write the answer to the client */
711       if (write_socket(csp->cfd, rsp->head, rsp->head_length)
712        || write_socket(csp->cfd, rsp->body, rsp->content_length))
713       {
714          /* There is nothing we can do about it. */
715          log_error(LOG_LEVEL_ERROR,
716             "Couldn't deliver the error message through client socket %d: %E",
717             csp->cfd);
718       }
719
720       /* Clean up and return */
721       if (cgi_error_memory() != rsp)
722       {
723          free_http_response(rsp);
724       } 
725       return;
726 }
727
728
729 /*********************************************************************
730  *
731  * Function    :  crunch_response_triggered
732  *
733  * Description :  Checks if the request has to be crunched,
734  *                and delivers the crunch response if necessary.
735  *
736  * Parameters  :
737  *          1  :  csp = Current client state (buffers, headers, etc...)
738  *          2  :  crunchers = list of cruncher functions to run
739  *
740  * Returns     :  TRUE if the request was answered with a crunch response
741  *                FALSE otherwise.
742  *
743  *********************************************************************/
744 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[])
745 {
746    struct http_response *rsp = NULL;
747    const struct cruncher *c;
748
749    /*
750     * If CGI request crunching is disabled,
751     * check the CGI dispatcher out of order to
752     * prevent unintentional blocks or redirects. 
753     */
754    if (!(csp->config->feature_flags & RUNTIME_FEATURE_CGI_CRUNCHING)
755        && (NULL != (rsp = dispatch_cgi(csp))))
756    {
757       /* Deliver, log and free the interception response. */
758       send_crunch_response(csp, rsp);
759       csp->flags |= CSP_FLAG_CRUNCHED;
760       return TRUE;
761    }
762
763    for (c = crunchers; c->cruncher != NULL; c++)
764    {
765       /*
766        * Check the cruncher if either Privoxy is toggled
767        * on and the request isn't forced, or if the cruncher
768        * applies to forced requests as well.
769        */
770       if (((csp->flags & CSP_FLAG_TOGGLED_ON) &&
771           !(csp->flags & CSP_FLAG_FORCED)) ||
772           (c->flags & CF_IGNORE_FORCE))
773       {
774          rsp = c->cruncher(csp);
775          if (NULL != rsp)
776          {
777             /* Deliver, log and free the interception response. */
778             send_crunch_response(csp, rsp);
779             csp->flags |= CSP_FLAG_CRUNCHED;
780 #ifdef FEATURE_STATISTICS
781             if (c->flags & CF_COUNT_AS_REJECT)
782             {
783                csp->flags |= CSP_FLAG_REJECTED;
784             }
785 #endif /* def FEATURE_STATISTICS */
786
787             return TRUE;
788          }
789       }
790    }
791
792    return FALSE;
793 }
794
795
796 /*********************************************************************
797  *
798  * Function    :  build_request_line
799  *
800  * Description :  Builds the HTTP request line.
801  *
802  *                If a HTTP forwarder is used it expects the whole URL,
803  *                web servers only get the path.
804  *
805  * Parameters  :
806  *          1  :  csp = Current client state (buffers, headers, etc...)
807  *          2  :  fwd = The forwarding spec used for the request
808  *                XXX: Should use http->fwd instead.
809  *          3  :  request_line = The old request line which will be replaced.
810  *
811  * Returns     :  Nothing. Terminates in case of memory problems.
812  *
813  *********************************************************************/
814 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line)
815 {
816    struct http_request *http = csp->http;
817
818    assert(http->ssl == 0);
819
820    /*
821     * Downgrade http version from 1.1 to 1.0
822     * if +downgrade action applies.
823     */
824    if ( (csp->action->flags & ACTION_DOWNGRADE)
825      && (!strcmpic(http->ver, "HTTP/1.1")))
826    {
827       freez(http->ver);
828       http->ver = strdup("HTTP/1.0");
829
830       if (http->ver == NULL)
831       {
832          log_error(LOG_LEVEL_FATAL, "Out of memory downgrading HTTP version");
833       }
834    }
835
836    /*
837     * Rebuild the request line.
838     */
839    freez(*request_line);
840    *request_line = strdup(http->gpc);
841    string_append(request_line, " ");
842
843    if (fwd->forward_host)
844    {
845       string_append(request_line, http->url);
846    }
847    else
848    {
849       string_append(request_line, http->path);
850    }
851    string_append(request_line, " ");
852    string_append(request_line, http->ver);
853
854    if (*request_line == NULL)
855    {
856       log_error(LOG_LEVEL_FATAL, "Out of memory writing HTTP command");
857    }
858    log_error(LOG_LEVEL_HEADER, "New HTTP Request-Line: %s", *request_line);
859 }
860
861
862 /*********************************************************************
863  *
864  * Function    :  change_request_destination
865  *
866  * Description :  Parse a (rewritten) request line and regenerate
867  *                the http request data.
868  *
869  * Parameters  :
870  *          1  :  csp = Current client state (buffers, headers, etc...)
871  *
872  * Returns     :  Forwards the parse_http_request() return code.
873  *                Terminates in case of memory problems.
874  *
875  *********************************************************************/
876 static jb_err change_request_destination(struct client_state *csp)
877 {
878    struct http_request *http = csp->http;
879    jb_err err;
880
881    log_error(LOG_LEVEL_INFO, "Rewrite detected: %s", csp->headers->first->str);
882    free_http_request(http);
883    err = parse_http_request(csp->headers->first->str, http);
884    if (JB_ERR_OK != err)
885    {
886       log_error(LOG_LEVEL_ERROR, "Couldn't parse rewritten request: %s.",
887          jb_err_to_string(err));
888    }
889    else
890    {
891       /* XXX: ocmd is a misleading name */
892       http->ocmd = strdup(http->cmd);
893       if (http->ocmd == NULL)
894       {
895          log_error(LOG_LEVEL_FATAL,
896             "Out of memory copying rewritten HTTP request line");
897       }
898    }
899
900    return err;
901 }
902
903
904 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
905 /*********************************************************************
906  *
907  * Function    :  server_response_is_complete
908  *
909  * Description :  Determines whether we should stop reading
910  *                from the server socket.
911  *
912  * Parameters  :
913  *          1  :  csp = Current client state (buffers, headers, etc...)
914  *          2  :  content_length = Length of content received so far.
915  *
916  * Returns     :  TRUE if the response is complete,
917  *                FALSE otherwise.
918  *
919  *********************************************************************/
920 static int server_response_is_complete(struct client_state *csp,
921    unsigned long long content_length)
922 {
923    int content_length_known = !!(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET);
924
925    if (!strcmpic(csp->http->gpc, "HEAD"))
926    {
927       /*
928        * "HEAD" implies no body, we are thus expecting
929        * no content. XXX: incomplete "list" of methods?
930        */
931       csp->expected_content_length = 0;
932       content_length_known = TRUE;
933    }
934
935    if (csp->http->status == 204 || csp->http->status == 304)
936    {
937       /*
938        * Expect no body. XXX: incomplete "list" of status codes?
939        */
940       csp->expected_content_length = 0;
941       content_length_known = TRUE;
942    }
943
944    return (content_length_known && ((0 == csp->expected_content_length)
945             || (csp->expected_content_length <= content_length)));
946 }
947
948
949 #ifdef FEATURE_CONNECTION_SHARING
950 /*********************************************************************
951  *
952  * Function    :  wait_for_alive_connections
953  *
954  * Description :  Waits for alive connections to timeout.
955  *
956  * Parameters  :  N/A
957  *
958  * Returns     :  N/A
959  *
960  *********************************************************************/
961 static void wait_for_alive_connections(void)
962 {
963    int connections_alive = close_unusable_connections();
964
965    while (0 < connections_alive)
966    {
967       log_error(LOG_LEVEL_CONNECT,
968          "Waiting for %d connections to timeout.",
969          connections_alive);
970       sleep(60);
971       connections_alive = close_unusable_connections();
972    }
973
974    log_error(LOG_LEVEL_CONNECT, "No connections to wait for left.");
975
976 }
977 #endif /* def FEATURE_CONNECTION_SHARING */
978
979
980 /*********************************************************************
981  *
982  * Function    :  save_connection_destination
983  *
984  * Description :  Remembers a connection for reuse later on.
985  *
986  * Parameters  :
987  *          1  :  sfd  = Open socket to remember.
988  *          2  :  http = The destination for the connection.
989  *          3  :  fwd  = The forwarder settings used.
990  *          3  :  server_connection  = storage.
991  *
992  * Returns     : void
993  *
994  *********************************************************************/
995 void save_connection_destination(jb_socket sfd,
996                                  const struct http_request *http,
997                                  const struct forward_spec *fwd,
998                                  struct reusable_connection *server_connection)
999 {
1000    assert(sfd != JB_INVALID_SOCKET);
1001    assert(NULL != http->host);
1002
1003    server_connection->sfd = sfd;
1004    server_connection->host = strdup(http->host);
1005    if (NULL == server_connection->host)
1006    {
1007       log_error(LOG_LEVEL_FATAL, "Out of memory saving socket.");
1008    }
1009    server_connection->port = http->port;
1010
1011    assert(NULL != fwd);
1012    assert(server_connection->gateway_host == NULL);
1013    assert(server_connection->gateway_port == 0);
1014    assert(server_connection->forwarder_type == 0);
1015    assert(server_connection->forward_host == NULL);
1016    assert(server_connection->forward_port == 0);
1017
1018    server_connection->forwarder_type = fwd->type;
1019    if (NULL != fwd->gateway_host)
1020    {
1021       server_connection->gateway_host = strdup(fwd->gateway_host);
1022       if (NULL == server_connection->gateway_host)
1023       {
1024          log_error(LOG_LEVEL_FATAL, "Out of memory saving gateway_host.");
1025       }
1026    }
1027    else
1028    {
1029       server_connection->gateway_host = NULL;
1030    }
1031    server_connection->gateway_port = fwd->gateway_port;
1032
1033    if (NULL != fwd->forward_host)
1034    {
1035       server_connection->forward_host = strdup(fwd->forward_host);
1036       if (NULL == server_connection->forward_host)
1037       {
1038          log_error(LOG_LEVEL_FATAL, "Out of memory saving forward_host.");
1039       }
1040    }
1041    else
1042    {
1043       server_connection->forward_host = NULL;
1044    }
1045    server_connection->forward_port = fwd->forward_port;
1046 }
1047
1048
1049 /*********************************************************************
1050  *
1051  * Function    : verify_request_length
1052  *
1053  * Description : Checks if we already got the whole client requests
1054  *               and sets CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ if
1055  *               we do.
1056  *
1057  *               Data that doesn't belong to the current request is
1058  *               thrown away to let the client retry on a clean socket.
1059  *
1060  *               XXX: This is a hack until we can deal with multiple
1061  *                    pipelined requests at the same time.
1062  *
1063  *
1064  * Parameters  :
1065  *          1  :  csp = Current client state (buffers, headers, etc...)
1066  *
1067  * Returns     :  void
1068  *
1069  *********************************************************************/
1070 static void verify_request_length(struct client_state *csp)
1071 {
1072    unsigned long long buffered_request_bytes =
1073       (unsigned long long)(csp->iob->eod - csp->iob->cur);
1074
1075    if ((csp->expected_client_content_length != 0)
1076       && (buffered_request_bytes != 0))
1077    {
1078       if (csp->expected_client_content_length >= buffered_request_bytes)
1079       {
1080          csp->expected_client_content_length -= buffered_request_bytes;
1081          log_error(LOG_LEVEL_CONNECT, "Reduced expected bytes to %llu "
1082             "to account for the %llu ones we already got.",
1083             csp->expected_client_content_length, buffered_request_bytes);
1084       }
1085       else
1086       {
1087          assert(csp->iob->eod > csp->iob->cur + csp->expected_client_content_length);
1088          csp->iob->eod = csp->iob->cur + csp->expected_client_content_length;
1089          log_error(LOG_LEVEL_CONNECT, "Reducing expected bytes to 0. "
1090             "Marking the server socket tainted after throwing %llu bytes away.",
1091             buffered_request_bytes - csp->expected_client_content_length);
1092          csp->expected_client_content_length = 0;
1093          csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1094       }
1095
1096       if (csp->expected_client_content_length == 0)
1097       {
1098          csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1099       }
1100    }
1101
1102    if (!(csp->flags & CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ)
1103     && ((csp->iob->cur[0] != '\0') || (csp->expected_client_content_length != 0)))
1104    {
1105       csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1106       if (strcmpic(csp->http->gpc, "GET")
1107          && strcmpic(csp->http->gpc, "HEAD")
1108          && strcmpic(csp->http->gpc, "TRACE")
1109          && strcmpic(csp->http->gpc, "OPTIONS")
1110          && strcmpic(csp->http->gpc, "DELETE"))
1111       {
1112          /* XXX: this is an incomplete hack */
1113          csp->flags &= ~CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1114          log_error(LOG_LEVEL_CONNECT,
1115             "There might be a request body. The connection will not be kept alive.");
1116       }
1117       else
1118       {
1119          /* XXX: and so is this */
1120          csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1121          log_error(LOG_LEVEL_CONNECT,
1122             "Possible pipeline attempt detected. The connection will not "
1123             "be kept alive and we will only serve the first request.");
1124          /* Nuke the pipelined requests from orbit, just to be sure. */
1125          csp->iob->buf[0] = '\0';
1126          csp->iob->eod = csp->iob->cur = csp->iob->buf;
1127       }
1128    }
1129    else
1130    {
1131       csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1132       log_error(LOG_LEVEL_CONNECT, "Complete client request received.");
1133    }
1134 }
1135 #endif /* FEATURE_CONNECTION_KEEP_ALIVE */
1136
1137
1138 /*********************************************************************
1139  *
1140  * Function    :  mark_server_socket_tainted
1141  *
1142  * Description :  Makes sure we don't reuse a server socket
1143  *                (if we didn't read everything the server sent
1144  *                us reusing the socket would lead to garbage).
1145  *
1146  * Parameters  :
1147  *          1  :  csp = Current client state (buffers, headers, etc...)
1148  *
1149  * Returns     :  void.
1150  *
1151  *********************************************************************/
1152 static void mark_server_socket_tainted(struct client_state *csp)
1153 {
1154    /*
1155     * For consistency we always mark the server socket
1156     * tainted, however, to reduce the log noise we only
1157     * emit a log message if the server socket could have
1158     * actually been reused.
1159     */
1160    if ((csp->flags & CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE)
1161       && !(csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED))
1162    {
1163       log_error(LOG_LEVEL_CONNECT,
1164          "Marking the server socket %d tainted.",
1165          csp->server_connection.sfd);
1166    }
1167    csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1168 }
1169
1170 /*********************************************************************
1171  *
1172  * Function    :  get_request_line
1173  *
1174  * Description : Read the client request line.
1175  *
1176  * Parameters  :
1177  *          1  :  csp = Current client state (buffers, headers, etc...)
1178  *
1179  * Returns     :  Pointer to request line or NULL in case of errors.
1180  *
1181  *********************************************************************/
1182 static char *get_request_line(struct client_state *csp)
1183 {
1184    char buf[BUFFER_SIZE];
1185    char *request_line = NULL;
1186    int len;
1187
1188    memset(buf, 0, sizeof(buf));
1189
1190    do
1191    {
1192       if (!data_is_available(csp->cfd, csp->config->socket_timeout))
1193       {
1194          log_error(LOG_LEVEL_CONNECT,
1195             "Stopped waiting for the request line. Timeout: %d.",
1196             csp->config->socket_timeout);
1197          write_socket(csp->cfd, CLIENT_CONNECTION_TIMEOUT_RESPONSE,
1198             strlen(CLIENT_CONNECTION_TIMEOUT_RESPONSE));
1199          return NULL;
1200       }
1201
1202       len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
1203
1204       if (len <= 0) return NULL;
1205
1206       /*
1207        * If there is no memory left for buffering the
1208        * request, there is nothing we can do but hang up
1209        */
1210       if (add_to_iob(csp, buf, len))
1211       {
1212          return NULL;
1213       }
1214
1215       request_line = get_header(csp->iob);
1216
1217    } while ((NULL != request_line) && ('\0' == *request_line));
1218
1219    return request_line;
1220
1221 }
1222
1223
1224 /*********************************************************************
1225  *
1226  * Function    :  receive_client_request
1227  *
1228  * Description : Read the client's request (more precisely the
1229  *               client headers) and answer it if necessary.
1230  *
1231  *               Note that since we're not using select() we could get
1232  *               blocked here if a client connected, then didn't say
1233  *               anything!
1234  *
1235  * Parameters  :
1236  *          1  :  csp = Current client state (buffers, headers, etc...)
1237  *
1238  * Returns     :  JB_ERR_OK, JB_ERR_PARSE or JB_ERR_MEMORY
1239  *
1240  *********************************************************************/
1241 static jb_err receive_client_request(struct client_state *csp)
1242 {
1243    char buf[BUFFER_SIZE];
1244    char *p;
1245    char *req = NULL;
1246    struct http_request *http;
1247    int len;
1248    jb_err err;
1249
1250    /* Temporary copy of the client's headers before they get enlisted in csp->headers */
1251    struct list header_list;
1252    struct list *headers = &header_list;
1253
1254    http = csp->http;
1255
1256    memset(buf, 0, sizeof(buf));
1257
1258    req = get_request_line(csp);
1259    if (req == NULL)
1260    {
1261       mark_server_socket_tainted(csp);
1262       return JB_ERR_PARSE;
1263    }
1264    assert(*req != '\0');
1265
1266    if (client_protocol_is_unsupported(csp, req))
1267    {
1268       return JB_ERR_PARSE;
1269    }
1270
1271 #ifdef FEATURE_FORCE_LOAD
1272    /*
1273     * If this request contains the FORCE_PREFIX and blocks
1274     * aren't enforced, get rid of it and set the force flag.
1275     */
1276    if (strstr(req, FORCE_PREFIX))
1277    {
1278       if (csp->config->feature_flags & RUNTIME_FEATURE_ENFORCE_BLOCKS)
1279       {
1280          log_error(LOG_LEVEL_FORCE,
1281             "Ignored force prefix in request: \"%s\".", req);
1282       }
1283       else
1284       {
1285          strclean(req, FORCE_PREFIX);
1286          log_error(LOG_LEVEL_FORCE, "Enforcing request: \"%s\".", req);
1287          csp->flags |= CSP_FLAG_FORCED;
1288       }
1289    }
1290 #endif /* def FEATURE_FORCE_LOAD */
1291
1292    err = parse_http_request(req, http);
1293    freez(req);
1294    if (JB_ERR_OK != err)
1295    {
1296       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
1297       /* XXX: Use correct size */
1298       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"Invalid request\" 400 0", csp->ip_addr_str);
1299       log_error(LOG_LEVEL_ERROR,
1300          "Couldn't parse request line received from %s: %s",
1301          csp->ip_addr_str, jb_err_to_string(err));
1302
1303       free_http_request(http);
1304       return JB_ERR_PARSE;
1305    }
1306
1307    /* grab the rest of the client's headers */
1308    init_list(headers);
1309    for (;;)
1310    {
1311       p = get_header(csp->iob);
1312
1313       if (p == NULL)
1314       {
1315          /* There are no additional headers to read. */
1316          break;
1317       }
1318
1319       if (*p == '\0')
1320       {
1321          /*
1322           * We didn't receive a complete header
1323           * line yet, get the rest of it.
1324           */
1325          if (!data_is_available(csp->cfd, csp->config->socket_timeout))
1326          {
1327             log_error(LOG_LEVEL_ERROR,
1328                "Stopped grabbing the client headers.");
1329             destroy_list(headers);
1330             return JB_ERR_PARSE;
1331          }
1332
1333          len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
1334          if (len <= 0)
1335          {
1336             log_error(LOG_LEVEL_ERROR, "read from client failed: %E");
1337             destroy_list(headers);
1338             return JB_ERR_PARSE;
1339          }
1340          
1341          if (add_to_iob(csp, buf, len))
1342          {
1343             /*
1344              * If there is no memory left for buffering the
1345              * request, there is nothing we can do but hang up
1346              */
1347             destroy_list(headers);
1348             return JB_ERR_MEMORY;
1349          }
1350       }
1351       else
1352       {
1353          /*
1354           * We were able to read a complete
1355           * header and can finally enlist it.
1356           */
1357          enlist(headers, p);
1358          freez(p);
1359       }
1360    }
1361
1362    if (http->host == NULL)
1363    {
1364       /*
1365        * If we still don't know the request destination,
1366        * the request is invalid or the client uses
1367        * Privoxy without its knowledge.
1368        */
1369       if (JB_ERR_OK != get_request_destination_elsewhere(csp, headers))
1370       {
1371          /*
1372           * Our attempts to get the request destination
1373           * elsewhere failed or Privoxy is configured
1374           * to only accept proxy requests.
1375           *
1376           * An error response has already been send
1377           * and we're done here.
1378           */
1379          return JB_ERR_PARSE;
1380       }
1381    }
1382
1383    /*
1384     * Determine the actions for this URL
1385     */
1386 #ifdef FEATURE_TOGGLE
1387    if (!(csp->flags & CSP_FLAG_TOGGLED_ON))
1388    {
1389       /* Most compatible set of actions (i.e. none) */
1390       init_current_action(csp->action);
1391    }
1392    else
1393 #endif /* ndef FEATURE_TOGGLE */
1394    {
1395       get_url_actions(csp, http);
1396    }
1397
1398    /* 
1399     * Save a copy of the original request for logging
1400     */
1401    http->ocmd = strdup(http->cmd);
1402    if (http->ocmd == NULL)
1403    {
1404       log_error(LOG_LEVEL_FATAL,
1405          "Out of memory copying HTTP request line");
1406    }
1407    enlist(csp->headers, http->cmd);
1408
1409    /* Append the previously read headers */
1410    list_append_list_unique(csp->headers, headers);
1411    destroy_list(headers);
1412
1413    return JB_ERR_OK;
1414
1415 }
1416
1417
1418 /*********************************************************************
1419  *
1420  * Function    : parse_client_request
1421  *
1422  * Description : Parses the client's request and decides what to do
1423  *               with it.
1424  *
1425  *               Note that since we're not using select() we could get
1426  *               blocked here if a client connected, then didn't say
1427  *               anything!
1428  *
1429  * Parameters  :
1430  *          1  :  csp = Current client state (buffers, headers, etc...)
1431  *
1432  * Returns     :  JB_ERR_OK or JB_ERR_PARSE
1433  *
1434  *********************************************************************/
1435 static jb_err parse_client_request(struct client_state *csp)
1436 {
1437    struct http_request *http = csp->http;
1438    jb_err err;
1439
1440 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1441    if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
1442     && (!strcmpic(csp->http->ver, "HTTP/1.1"))
1443     && (csp->http->ssl == 0))
1444    {
1445       /* Assume persistence until further notice */
1446       csp->flags |= CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
1447    }
1448 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1449
1450    err = sed(csp, FILTER_CLIENT_HEADERS);
1451    if (JB_ERR_OK != err)
1452    {
1453       /* XXX: Should be handled in sed(). */
1454       assert(err == JB_ERR_PARSE);
1455       log_error(LOG_LEVEL_FATAL, "Failed to parse client headers.");
1456    }
1457    csp->flags |= CSP_FLAG_CLIENT_HEADER_PARSING_DONE;
1458
1459    /* Check request line for rewrites. */
1460    if ((NULL == csp->headers->first->str)
1461       || (strcmp(http->cmd, csp->headers->first->str) &&
1462          (JB_ERR_OK != change_request_destination(csp))))
1463    {
1464       /*
1465        * A header filter broke the request line - bail out.
1466        */
1467       write_socket(csp->cfd, MESSED_UP_REQUEST_RESPONSE, strlen(MESSED_UP_REQUEST_RESPONSE));
1468       /* XXX: Use correct size */
1469       log_error(LOG_LEVEL_CLF,
1470          "%s - - [%T] \"Invalid request generated\" 500 0", csp->ip_addr_str);
1471       log_error(LOG_LEVEL_ERROR,
1472          "Invalid request line after applying header filters.");
1473       free_http_request(http);
1474
1475       return JB_ERR_PARSE;
1476    }
1477
1478 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1479    if (csp->http->ssl == 0)
1480    {
1481       verify_request_length(csp);
1482    }
1483 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1484
1485    return JB_ERR_OK;
1486
1487 }
1488
1489
1490 /*********************************************************************
1491  *
1492  * Function    :  chat
1493  *
1494  * Description :  Once a connection from the client has been accepted,
1495  *                this function is called (via serve()) to handle the
1496  *                main business of the communication.  This function
1497  *                returns after dealing with a single request. It can
1498  *                be called multiple times with the same client socket
1499  *                if the client is keeping the connection alive.
1500  *
1501  *                The decision whether or not a client connection will
1502  *                be kept alive is up to the caller which also must
1503  *                close the client socket when done.
1504  *
1505  *                FIXME: chat is nearly thousand lines long.
1506  *                Ridiculous.
1507  *
1508  * Parameters  :
1509  *          1  :  csp = Current client state (buffers, headers, etc...)
1510  *
1511  * Returns     :  Nothing.
1512  *
1513  *********************************************************************/
1514 static void chat(struct client_state *csp)
1515 {
1516    char buf[BUFFER_SIZE];
1517    char *hdr;
1518    char *p;
1519    fd_set rfds;
1520    int n;
1521    jb_socket maxfd;
1522    int server_body;
1523    int ms_iis5_hack = 0;
1524    unsigned long long byte_count = 0;
1525    const struct forward_spec *fwd;
1526    struct http_request *http;
1527    long len = 0; /* for buffer sizes (and negative error codes) */
1528    int buffer_and_filter_content = 0;
1529
1530    /* Skeleton for HTTP response, if we should intercept the request */
1531    struct http_response *rsp;
1532    struct timeval timeout;
1533 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1534    int watch_client_socket = 1;
1535 #endif
1536
1537    memset(buf, 0, sizeof(buf));
1538
1539    http = csp->http;
1540
1541    if (receive_client_request(csp) != JB_ERR_OK)
1542    {
1543       return;
1544    }
1545    if (parse_client_request(csp) != JB_ERR_OK)
1546    {
1547       return;
1548    }
1549
1550    /* decide how to route the HTTP request */
1551    fwd = forward_url(csp, http);
1552    if (NULL == fwd)
1553    {
1554       log_error(LOG_LEVEL_FATAL, "gateway spec is NULL!?!?  This can't happen!");
1555       /* Never get here - LOG_LEVEL_FATAL causes program exit */
1556       return;
1557    }
1558
1559    /*
1560     * build the http request to send to the server
1561     * we have to do one of the following:
1562     *
1563     * create = use the original HTTP request to create a new
1564     *          HTTP request that has either the path component
1565     *          without the http://domainspec (w/path) or the
1566     *          full orininal URL (w/url)
1567     *          Note that the path and/or the HTTP version may
1568     *          have been altered by now.
1569     *
1570     * connect = Open a socket to the host:port of the server
1571     *           and short-circuit server and client socket.
1572     *
1573     * pass =  Pass the request unchanged if forwarding a CONNECT
1574     *         request to a parent proxy. Note that we'll be sending
1575     *         the CFAIL message ourselves if connecting to the parent
1576     *         fails, but we won't send a CSUCCEED message if it works,
1577     *         since that would result in a double message (ours and the
1578     *         parent's). After sending the request to the parent, we simply
1579     *         tunnel.
1580     *
1581     * here's the matrix:
1582     *                        SSL
1583     *                    0        1
1584     *                +--------+--------+
1585     *                |        |        |
1586     *             0  | create | connect|
1587     *                | w/path |        |
1588     *  Forwarding    +--------+--------+
1589     *                |        |        |
1590     *             1  | create | pass   |
1591     *                | w/url  |        |
1592     *                +--------+--------+
1593     *
1594     */
1595
1596    if (http->ssl && connect_port_is_forbidden(csp))
1597    {
1598       const char *acceptable_connect_ports =
1599          csp->action->string[ACTION_STRING_LIMIT_CONNECT];
1600       assert(NULL != acceptable_connect_ports);
1601       log_error(LOG_LEVEL_INFO, "Request from %s marked for blocking. "
1602          "limit-connect{%s} doesn't allow CONNECT requests to %s",
1603          csp->ip_addr_str, acceptable_connect_ports, csp->http->hostport);
1604       csp->action->flags |= ACTION_BLOCK;
1605       http->ssl = 0;
1606    }
1607
1608    if (http->ssl == 0)
1609    {
1610       freez(csp->headers->first->str);
1611       build_request_line(csp, fwd, &csp->headers->first->str);
1612    }
1613
1614    /*
1615     * We have a request. Check if one of the crunchers wants it.
1616     */
1617    if (crunch_response_triggered(csp, crunchers_all))
1618    {
1619       /*
1620        * Yes. The client got the crunch response and we're done here.
1621        */
1622       return;
1623    }
1624
1625    log_error(LOG_LEVEL_GPC, "%s%s", http->hostport, http->path);
1626
1627    if (fwd->forward_host)
1628    {
1629       log_error(LOG_LEVEL_CONNECT, "via [%s]:%d to: %s",
1630          fwd->forward_host, fwd->forward_port, http->hostport);
1631    }
1632    else
1633    {
1634       log_error(LOG_LEVEL_CONNECT, "to %s", http->hostport);
1635    }
1636
1637    /* here we connect to the server, gateway, or the forwarder */
1638
1639 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1640    if ((csp->server_connection.sfd != JB_INVALID_SOCKET)
1641       && socket_is_still_alive(csp->server_connection.sfd)
1642       && connection_destination_matches(&csp->server_connection, http, fwd))
1643    {
1644       log_error(LOG_LEVEL_CONNECT,
1645          "Reusing server socket %u. Opened for %s.",
1646          csp->server_connection.sfd, csp->server_connection.host);
1647    }
1648    else
1649    {
1650       if (csp->server_connection.sfd != JB_INVALID_SOCKET)
1651       {
1652          log_error(LOG_LEVEL_CONNECT,
1653             "Closing server socket %u. Opened for %s.",
1654             csp->server_connection.sfd, csp->server_connection.host);
1655          close_socket(csp->server_connection.sfd);
1656          mark_connection_closed(&csp->server_connection);
1657       }
1658 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1659
1660       csp->server_connection.sfd = forwarded_connect(fwd, http, csp);
1661
1662       if (csp->server_connection.sfd == JB_INVALID_SOCKET)
1663       {
1664          if (fwd->type != SOCKS_NONE)
1665          {
1666             /* Socks error. */
1667             rsp = error_response(csp, "forwarding-failed");
1668          }
1669          else if (errno == EINVAL)
1670          {
1671             rsp = error_response(csp, "no-such-domain");
1672          }
1673          else
1674          {
1675             rsp = error_response(csp, "connect-failed");
1676          }
1677
1678          /* Write the answer to the client */
1679          if (rsp != NULL)
1680          {
1681             send_crunch_response(csp, rsp);
1682          }
1683
1684          return;
1685       }
1686 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1687       save_connection_destination(csp->server_connection.sfd,
1688          http, fwd, &csp->server_connection);
1689       csp->server_connection.keep_alive_timeout =
1690          (unsigned)csp->config->keep_alive_timeout;
1691    }
1692 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1693
1694    hdr = list_to_text(csp->headers);
1695    if (hdr == NULL)
1696    {
1697       /* FIXME Should handle error properly */
1698       log_error(LOG_LEVEL_FATAL, "Out of memory parsing client header");
1699    }
1700    list_remove_all(csp->headers);
1701
1702    if (fwd->forward_host || (http->ssl == 0))
1703    {
1704       /*
1705        * Write the client's (modified) header to the server
1706        * (along with anything else that may be in the buffer)
1707        */
1708       if (write_socket(csp->server_connection.sfd, hdr, strlen(hdr))
1709        || (flush_socket(csp->server_connection.sfd, csp->iob) <  0))
1710       {
1711          log_error(LOG_LEVEL_CONNECT,
1712             "write header to: %s failed: %E", http->hostport);
1713
1714          rsp = error_response(csp, "connect-failed");
1715          if (rsp)
1716          {
1717             send_crunch_response(csp, rsp);
1718          }
1719
1720          freez(hdr);
1721          return;
1722       }
1723    }
1724    else
1725    {
1726       /*
1727        * We're running an SSL tunnel and we're not forwarding,
1728        * so just send the "connect succeeded" message to the
1729        * client, flush the rest, and get out of the way.
1730        */
1731       if (write_socket(csp->cfd, CSUCCEED, strlen(CSUCCEED)))
1732       {
1733          freez(hdr);
1734          return;
1735       }
1736       IOB_RESET(csp);
1737    }
1738
1739    log_error(LOG_LEVEL_CONNECT, "to %s successful", http->hostport);
1740
1741    csp->server_connection.request_sent = time(NULL);
1742
1743    /* we're finished with the client's header */
1744    freez(hdr);
1745
1746    maxfd = (csp->cfd > csp->server_connection.sfd) ?
1747       csp->cfd : csp->server_connection.sfd;
1748
1749    /* pass data between the client and server
1750     * until one or the other shuts down the connection.
1751     */
1752
1753    server_body = 0;
1754
1755    for (;;)
1756    {
1757 #ifdef __OS2__
1758       /*
1759        * FD_ZERO here seems to point to an errant macro which crashes.
1760        * So do this by hand for now...
1761        */
1762       memset(&rfds,0x00,sizeof(fd_set));
1763 #else
1764       FD_ZERO(&rfds);
1765 #endif
1766 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1767       if (!watch_client_socket)
1768       {
1769          maxfd = csp->server_connection.sfd;
1770       }
1771       else
1772 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1773       {
1774          FD_SET(csp->cfd, &rfds);
1775       }
1776
1777       FD_SET(csp->server_connection.sfd, &rfds);
1778
1779 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1780       if ((csp->flags & CSP_FLAG_CHUNKED)
1781          && !(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
1782          && ((csp->iob->eod - csp->iob->cur) >= 5)
1783          && !memcmp(csp->iob->eod-5, "0\r\n\r\n", 5))
1784       {
1785          /*
1786           * XXX: This check should be obsolete now,
1787           *      but let's wait a while to be sure.
1788           */
1789          log_error(LOG_LEVEL_CONNECT,
1790             "Looks like we got the last chunk together with "
1791             "the server headers but didn't detect it earlier. "
1792             "We better stop reading.");
1793          byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
1794          csp->expected_content_length = byte_count;
1795          csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
1796       }
1797       if (server_body && server_response_is_complete(csp, byte_count))
1798       {
1799          if (csp->expected_content_length == byte_count)
1800          {
1801             log_error(LOG_LEVEL_CONNECT,
1802                "Done reading from server. Content length: %llu as expected. "
1803                "Bytes most recently read: %d.",
1804                byte_count, len);
1805          }
1806          else
1807          {
1808             log_error(LOG_LEVEL_CONNECT,
1809                "Done reading from server. Expected content length: %llu. "
1810                "Actual content length: %llu. Bytes most recently read: %d.",
1811                csp->expected_content_length, byte_count, len);
1812          }
1813          len = 0;
1814          /*
1815           * XXX: should not jump around,
1816           * chat() is complicated enough already.
1817           */
1818          goto reading_done;
1819       }
1820 #endif  /* FEATURE_CONNECTION_KEEP_ALIVE */
1821
1822       timeout.tv_sec = csp->config->socket_timeout;
1823       timeout.tv_usec = 0;
1824       n = select((int)maxfd+1, &rfds, NULL, NULL, &timeout);
1825
1826       if (n == 0)
1827       {
1828          log_error(LOG_LEVEL_ERROR,
1829             "Didn't receive data in time: %s", http->url);
1830          if ((byte_count == 0) && (http->ssl == 0))
1831          {
1832             send_crunch_response(csp, error_response(csp, "connection-timeout"));
1833          }
1834          mark_server_socket_tainted(csp);
1835          return;
1836       }
1837       else if (n < 0)
1838       {
1839          log_error(LOG_LEVEL_ERROR, "select() failed!: %E");
1840          mark_server_socket_tainted(csp);
1841          return;
1842       }
1843
1844       /*
1845        * This is the body of the browser's request,
1846        * just read and write it.
1847        *
1848        * XXX: Make sure the client doesn't use pipelining
1849        * behind Privoxy's back.
1850        */
1851       if (FD_ISSET(csp->cfd, &rfds))
1852       {
1853          int max_bytes_to_read = sizeof(buf) - 1;
1854
1855 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1856          if ((csp->flags & CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ))
1857          {
1858             if (data_is_available(csp->cfd, 0))
1859             {
1860                /*
1861                 * If the next request is already waiting, we have
1862                 * to stop select()ing the client socket. Otherwise
1863                 * we would always return right away and get nothing
1864                 * else done.
1865                 */
1866                watch_client_socket = 0;
1867                log_error(LOG_LEVEL_CONNECT,
1868                   "Stopping to watch the client socket. "
1869                   "There's already another request waiting.");
1870                continue;
1871             }
1872             /*
1873              * If the client socket is set, but there's no data
1874              * available on the socket, the client went fishing
1875              * and continuing talking to the server makes no sense.
1876              */
1877             log_error(LOG_LEVEL_CONNECT,
1878                "The client closed socket %d while "
1879                "the server socket %d is still open.",
1880                csp->cfd, csp->server_connection.sfd);
1881             mark_server_socket_tainted(csp);
1882             break;
1883          }
1884          if (csp->expected_client_content_length != 0)
1885          {
1886             if (csp->expected_client_content_length < (sizeof(buf) - 1))
1887             {
1888                max_bytes_to_read = (int)csp->expected_client_content_length;
1889             }
1890             log_error(LOG_LEVEL_CONNECT,
1891                "Waiting for up to %d bytes from the client.",
1892                max_bytes_to_read);
1893          }
1894          assert(max_bytes_to_read < sizeof(buf));
1895 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1896
1897          len = read_socket(csp->cfd, buf, max_bytes_to_read);
1898
1899          if (len <= 0)
1900          {
1901             /* XXX: not sure if this is necessary. */
1902             mark_server_socket_tainted(csp);
1903             break; /* "game over, man" */
1904          }
1905
1906 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1907          if (csp->expected_client_content_length != 0)
1908          {
1909             assert(len <= max_bytes_to_read);
1910             csp->expected_client_content_length -= (unsigned)len;
1911             log_error(LOG_LEVEL_CONNECT,
1912                "Expected client content length set to %llu "
1913                "after reading %d bytes.",
1914                csp->expected_client_content_length, len);
1915             if (csp->expected_client_content_length == 0)
1916             {
1917                log_error(LOG_LEVEL_CONNECT,
1918                   "Done reading from the client.");
1919                csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1920             }
1921          }
1922 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1923
1924          if (write_socket(csp->server_connection.sfd, buf, (size_t)len))
1925          {
1926             log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
1927             mark_server_socket_tainted(csp);
1928             return;
1929          }
1930          continue;
1931       }
1932
1933       /*
1934        * The server wants to talk. It could be the header or the body.
1935        * If `hdr' is null, then it's the header otherwise it's the body.
1936        * FIXME: Does `hdr' really mean `host'? No.
1937        */
1938       if (FD_ISSET(csp->server_connection.sfd, &rfds))
1939       {
1940 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1941          /*
1942           * If we are buffering content, we don't want to eat up to
1943           * buffer-limit bytes if the client no longer cares about them.
1944           * If we aren't buffering, however, a dead client socket will be
1945           * noticed pretty much right away anyway, so we can reduce the
1946           * overhead by skipping the check.
1947           */
1948          if (buffer_and_filter_content && !socket_is_still_alive(csp->cfd))
1949          {
1950 #ifdef _WIN32
1951             log_error(LOG_LEVEL_CONNECT,
1952                "The server still wants to talk, but the client may already have hung up on us.");
1953 #else
1954             log_error(LOG_LEVEL_CONNECT,
1955                "The server still wants to talk, but the client hung up on us.");
1956             mark_server_socket_tainted(csp);
1957             return;
1958 #endif /* def _WIN32 */
1959          }
1960 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1961
1962          fflush(NULL);
1963          len = read_socket(csp->server_connection.sfd, buf, sizeof(buf) - 1);
1964
1965          if (len < 0)
1966          {
1967             log_error(LOG_LEVEL_ERROR, "read from: %s failed: %E", http->host);
1968
1969             if (http->ssl && (fwd->forward_host == NULL))
1970             {
1971                /*
1972                 * Just hang up. We already confirmed the client's CONNECT
1973                 * request with status code 200 and unencrypted content is
1974                 * no longer welcome.
1975                 */
1976                log_error(LOG_LEVEL_ERROR,
1977                   "CONNECT already confirmed. Unable to tell the client about the problem.");
1978                return;
1979             }
1980             else if (byte_count)
1981             {
1982                /*
1983                 * Just hang up. We already transmitted the original headers
1984                 * and parts of the original content and therefore missed the
1985                 * chance to send an error message (without risking data corruption).
1986                 *
1987                 * XXX: we could retry with a fancy range request here.
1988                 */
1989                log_error(LOG_LEVEL_ERROR, "Already forwarded the original headers. "
1990                   "Unable to tell the client about the problem.");
1991                mark_server_socket_tainted(csp);
1992                return;
1993             }
1994             /*
1995              * XXX: Consider handling the cases above the same.
1996              */
1997             mark_server_socket_tainted(csp);
1998             len = 0;
1999          }
2000
2001 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2002          if (csp->flags & CSP_FLAG_CHUNKED)
2003          {
2004             if ((len >= 5) && !memcmp(buf+len-5, "0\r\n\r\n", 5))
2005             {
2006                /* XXX: this is a temporary hack */
2007                log_error(LOG_LEVEL_CONNECT,
2008                   "Looks like we reached the end of the last chunk. "
2009                   "We better stop reading.");
2010                csp->expected_content_length = byte_count + (unsigned long long)len;
2011                csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
2012             }
2013          }
2014          reading_done:
2015 #endif  /* FEATURE_CONNECTION_KEEP_ALIVE */
2016
2017          /*
2018           * Add a trailing zero to let be able to use string operations.
2019           * XXX: do we still need this with filter_popups gone?
2020           */
2021          buf[len] = '\0';
2022
2023          /*
2024           * Normally, this would indicate that we've read
2025           * as much as the server has sent us and we can
2026           * close the client connection.  However, Microsoft
2027           * in its wisdom has released IIS/5 with a bug that
2028           * prevents it from sending the trailing \r\n in
2029           * a 302 redirect header (and possibly other headers).
2030           * To work around this if we've haven't parsed
2031           * a full header we'll append a trailing \r\n
2032           * and see if this now generates a valid one.
2033           *
2034           * This hack shouldn't have any impacts.  If we've
2035           * already transmitted the header or if this is a
2036           * SSL connection, then we won't bother with this
2037           * hack.  So we only work on partially received
2038           * headers.  If we append a \r\n and this still
2039           * doesn't generate a valid header, then we won't
2040           * transmit anything to the client.
2041           */
2042          if (len == 0)
2043          {
2044
2045             if (server_body || http->ssl)
2046             {
2047                /*
2048                 * If we have been buffering up the document,
2049                 * now is the time to apply content modification
2050                 * and send the result to the client.
2051                 */
2052                if (buffer_and_filter_content)
2053                {
2054                   p = execute_content_filters(csp);
2055                   /*
2056                    * If content filtering fails, use the original
2057                    * buffer and length.
2058                    * (see p != NULL ? p : csp->iob->cur below)
2059                    */
2060                   if (NULL == p)
2061                   {
2062                      csp->content_length = (size_t)(csp->iob->eod - csp->iob->cur);
2063                   }
2064 #ifdef FEATURE_COMPRESSION
2065                   else if ((csp->flags & CSP_FLAG_CLIENT_SUPPORTS_DEFLATE)
2066                      && (csp->content_length > LOWER_LENGTH_LIMIT_FOR_COMPRESSION))
2067                   {
2068                      char *compressed_content = compress_buffer(p,
2069                         (size_t *)&csp->content_length, csp->config->compression_level);
2070                      if (compressed_content != NULL)
2071                      {
2072                         freez(p);
2073                         p = compressed_content;
2074                         csp->flags |= CSP_FLAG_BUFFERED_CONTENT_DEFLATED;
2075                      }
2076                   }
2077 #endif
2078
2079                   if (JB_ERR_OK != update_server_headers(csp))
2080                   {
2081                      log_error(LOG_LEVEL_FATAL,
2082                         "Failed to update server headers. after filtering.");
2083                   }
2084
2085                   hdr = list_to_text(csp->headers);
2086                   if (hdr == NULL)
2087                   {
2088                      /* FIXME Should handle error properly */
2089                      log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2090                   }
2091
2092                   if (write_socket(csp->cfd, hdr, strlen(hdr))
2093                    || write_socket(csp->cfd,
2094                          ((p != NULL) ? p : csp->iob->cur), (size_t)csp->content_length))
2095                   {
2096                      log_error(LOG_LEVEL_ERROR, "write modified content to client failed: %E");
2097                      freez(hdr);
2098                      freez(p);
2099                      mark_server_socket_tainted(csp);
2100                      return;
2101                   }
2102
2103                   freez(hdr);
2104                   freez(p);
2105                }
2106
2107                break; /* "game over, man" */
2108             }
2109
2110             /*
2111              * This is NOT the body, so
2112              * Let's pretend the server just sent us a blank line.
2113              */
2114             snprintf(buf, sizeof(buf), "\r\n");
2115             len = (int)strlen(buf);
2116
2117             /*
2118              * Now, let the normal header parsing algorithm below do its
2119              * job.  If it fails, we'll exit instead of continuing.
2120              */
2121
2122             ms_iis5_hack = 1;
2123          }
2124
2125          /*
2126           * If this is an SSL connection or we're in the body
2127           * of the server document, just write it to the client,
2128           * unless we need to buffer the body for later content-filtering
2129           */
2130          if (server_body || http->ssl)
2131          {
2132             if (buffer_and_filter_content)
2133             {
2134                /*
2135                 * If there is no memory left for buffering the content, or the buffer limit
2136                 * has been reached, switch to non-filtering mode, i.e. make & write the
2137                 * header, flush the iob and buf, and get out of the way.
2138                 */
2139                if (add_to_iob(csp, buf, len))
2140                {
2141                   size_t hdrlen;
2142                   long flushed;
2143
2144                   log_error(LOG_LEVEL_INFO,
2145                      "Flushing header and buffers. Stepping back from filtering.");
2146
2147                   hdr = list_to_text(csp->headers);
2148                   if (hdr == NULL)
2149                   {
2150                      /* 
2151                       * Memory is too tight to even generate the header.
2152                       * Send our static "Out-of-memory" page.
2153                       */
2154                      log_error(LOG_LEVEL_ERROR, "Out of memory while trying to flush.");
2155                      rsp = cgi_error_memory();
2156                      send_crunch_response(csp, rsp);
2157                      mark_server_socket_tainted(csp);
2158                      return;
2159                   }
2160                   hdrlen = strlen(hdr);
2161
2162                   if (write_socket(csp->cfd, hdr, hdrlen)
2163                    || ((flushed = flush_socket(csp->cfd, csp->iob)) < 0)
2164                    || (write_socket(csp->cfd, buf, (size_t)len)))
2165                   {
2166                      log_error(LOG_LEVEL_CONNECT,
2167                         "Flush header and buffers to client failed: %E");
2168                      freez(hdr);
2169                      mark_server_socket_tainted(csp);
2170                      return;
2171                   }
2172
2173                   /*
2174                    * Reset the byte_count to the amount of bytes
2175                    * we just flushed. len will be added a few lines below,
2176                    * hdrlen doesn't matter for LOG_LEVEL_CLF.
2177                    */
2178                   byte_count = (unsigned long long)flushed;
2179                   freez(hdr);
2180                   buffer_and_filter_content = 0;
2181                   server_body = 1;
2182                }
2183             }
2184             else
2185             {
2186                if (write_socket(csp->cfd, buf, (size_t)len))
2187                {
2188                   log_error(LOG_LEVEL_ERROR, "write to client failed: %E");
2189                   mark_server_socket_tainted(csp);
2190                   return;
2191                }
2192             }
2193             byte_count += (unsigned long long)len;
2194             continue;
2195          }
2196          else
2197          {
2198             /*
2199              * We're still looking for the end of the server's header.
2200              * Buffer up the data we just read.  If that fails, there's
2201              * little we can do but send our static out-of-memory page.
2202              */
2203             if (add_to_iob(csp, buf, len))
2204             {
2205                log_error(LOG_LEVEL_ERROR, "Out of memory while looking for end of server headers.");
2206                rsp = cgi_error_memory();
2207                send_crunch_response(csp, rsp);               
2208                mark_server_socket_tainted(csp);
2209                return;
2210             }
2211
2212             /* Convert iob into something sed() can digest */
2213             if (JB_ERR_PARSE == get_server_headers(csp))
2214             {
2215                if (ms_iis5_hack)
2216                {
2217                   /*
2218                    * Well, we tried our MS IIS/5 hack and it didn't work.
2219                    * The header is incomplete and there isn't anything
2220                    * we can do about it.
2221                    */
2222                   log_error(LOG_LEVEL_ERROR, "Invalid server headers. "
2223                      "Applying the MS IIS5 hack didn't help.");
2224                   log_error(LOG_LEVEL_CLF,
2225                      "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2226                   write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2227                      strlen(INVALID_SERVER_HEADERS_RESPONSE));
2228                   mark_server_socket_tainted(csp);
2229                   return;
2230                }
2231                else
2232                {
2233                   /*
2234                    * Since we have to wait for more from the server before
2235                    * we can parse the headers we just continue here.
2236                    */
2237                   log_error(LOG_LEVEL_CONNECT,
2238                      "Continuing buffering headers. Bytes most recently read: %d.",
2239                      len);
2240                   continue;
2241                }
2242             }
2243             else
2244             {
2245                /*
2246                 * Account for the content bytes we
2247                 * might have gotten with the headers.
2248                 */
2249                assert(csp->iob->eod >= csp->iob->cur);
2250                byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
2251             }
2252
2253             /* Did we actually get anything? */
2254             if (NULL == csp->headers->first)
2255             {
2256                if ((csp->flags & CSP_FLAG_REUSED_CLIENT_CONNECTION))
2257                {
2258                   log_error(LOG_LEVEL_ERROR,
2259                      "Empty server or forwarder response received on socket %d. "
2260                      "Closing client socket %d without sending data.",
2261                      csp->server_connection.sfd, csp->cfd);
2262                }
2263                else
2264                {
2265                   log_error(LOG_LEVEL_ERROR,
2266                      "Empty server or forwarder response received on socket %d.",
2267                      csp->server_connection.sfd);
2268                   send_crunch_response(csp, error_response(csp, "no-server-data"));
2269                }
2270                log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2271                free_http_request(http);
2272                mark_server_socket_tainted(csp);
2273                return;
2274             }
2275
2276             assert(csp->headers->first->str);
2277             assert(!http->ssl);
2278             if (strncmpic(csp->headers->first->str, "HTTP", 4) &&
2279                 strncmpic(csp->headers->first->str, "ICY", 3))
2280             {
2281                /*
2282                 * It doesn't look like a HTTP (or Shoutcast) response:
2283                 * tell the client and log the problem.
2284                 */
2285                if (strlen(csp->headers->first->str) > 30)
2286                {
2287                   csp->headers->first->str[30] = '\0';
2288                }
2289                log_error(LOG_LEVEL_ERROR,
2290                   "Invalid server or forwarder response. Starts with: %s",
2291                   csp->headers->first->str);
2292                log_error(LOG_LEVEL_CLF,
2293                   "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2294                write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2295                   strlen(INVALID_SERVER_HEADERS_RESPONSE));
2296                free_http_request(http);
2297                mark_server_socket_tainted(csp);
2298                return;
2299             }
2300
2301             /*
2302              * We have now received the entire server header,
2303              * filter it and send the result to the client
2304              */
2305             if (JB_ERR_OK != sed(csp, FILTER_SERVER_HEADERS))
2306             {
2307                log_error(LOG_LEVEL_FATAL, "Failed to parse server headers.");
2308             }
2309             hdr = list_to_text(csp->headers);
2310             if (hdr == NULL)
2311             {
2312                /* FIXME Should handle error properly */
2313                log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2314             }
2315
2316             if ((csp->flags & CSP_FLAG_CHUNKED)
2317                && !(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
2318                && ((csp->iob->eod - csp->iob->cur) >= 5)
2319                && !memcmp(csp->iob->eod-5, "0\r\n\r\n", 5))
2320             {
2321                log_error(LOG_LEVEL_CONNECT,
2322                   "Looks like we got the last chunk together with "
2323                   "the server headers. We better stop reading.");
2324                byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
2325                csp->expected_content_length = byte_count;
2326                csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
2327             }
2328
2329             csp->server_connection.response_received = time(NULL);
2330
2331             if (crunch_response_triggered(csp, crunchers_light))
2332             {
2333                /*
2334                 * One of the tags created by a server-header
2335                 * tagger triggered a crunch. We already
2336                 * delivered the crunch response to the client
2337                 * and are done here after cleaning up.
2338                 */
2339                 freez(hdr);
2340                 mark_server_socket_tainted(csp);
2341                 return;
2342             }
2343             /* Buffer and pcrs filter this if appropriate. */
2344
2345             if (!http->ssl) /* We talk plaintext */
2346             {
2347                buffer_and_filter_content = content_requires_filtering(csp);
2348             }
2349             /*
2350              * Only write if we're not buffering for content modification
2351              */
2352             if (!buffer_and_filter_content)
2353             {
2354                /*
2355                 * Write the server's (modified) header to
2356                 * the client (along with anything else that
2357                 * may be in the buffer)
2358                 */
2359
2360                if (write_socket(csp->cfd, hdr, strlen(hdr))
2361                 || ((len = flush_socket(csp->cfd, csp->iob)) < 0))
2362                {
2363                   log_error(LOG_LEVEL_CONNECT, "write header to client failed: %E");
2364
2365                   /*
2366                    * The write failed, so don't bother mentioning it
2367                    * to the client... it probably can't hear us anyway.
2368                    */
2369                   freez(hdr);
2370                   mark_server_socket_tainted(csp);
2371                   return;
2372                }
2373             }
2374
2375             /* we're finished with the server's header */
2376
2377             freez(hdr);
2378             server_body = 1;
2379
2380             /*
2381              * If this was a MS IIS/5 hack then it means the server
2382              * has already closed the connection. Nothing more to read.
2383              * Time to bail.
2384              */
2385             if (ms_iis5_hack)
2386             {
2387                log_error(LOG_LEVEL_ERROR,
2388                   "Closed server connection detected. "
2389                   "Applying the MS IIS5 hack didn't help.");
2390                log_error(LOG_LEVEL_CLF,
2391                   "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2392                write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2393                   strlen(INVALID_SERVER_HEADERS_RESPONSE));
2394                mark_server_socket_tainted(csp);
2395                return;
2396             }
2397          }
2398          continue;
2399       }
2400       mark_server_socket_tainted(csp);
2401       return; /* huh? we should never get here */
2402    }
2403
2404    if (csp->content_length == 0)
2405    {
2406       /*
2407        * If Privoxy didn't recalculate the Content-Length,
2408        * byte_count is still correct.
2409        */
2410       csp->content_length = byte_count;
2411    }
2412
2413 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2414    if ((csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
2415       && (csp->expected_content_length != byte_count))
2416    {
2417       log_error(LOG_LEVEL_CONNECT,
2418          "Received %llu bytes while expecting %llu.",
2419          byte_count, csp->expected_content_length);
2420       mark_server_socket_tainted(csp);
2421    }
2422 #endif
2423
2424    log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 %llu",
2425       csp->ip_addr_str, http->ocmd, csp->content_length);
2426
2427    csp->server_connection.timestamp = time(NULL);
2428 }
2429
2430
2431 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2432 /*********************************************************************
2433  *
2434  * Function    :  prepare_csp_for_next_request
2435  *
2436  * Description :  Put the csp in a mostly vergin state.
2437  *
2438  * Parameters  :
2439  *          1  :  csp = Current client state (buffers, headers, etc...)
2440  *
2441  * Returns     :  N/A
2442  *
2443  *********************************************************************/
2444 static void prepare_csp_for_next_request(struct client_state *csp)
2445 {
2446    csp->content_type = 0;
2447    csp->content_length = 0;
2448    csp->expected_content_length = 0;
2449    csp->expected_client_content_length = 0;
2450    list_remove_all(csp->headers);
2451    freez(csp->iob->buf);
2452    memset(csp->iob, 0, sizeof(csp->iob));
2453    freez(csp->error_message);
2454    free_http_request(csp->http);
2455    destroy_list(csp->headers);
2456    destroy_list(csp->tags);
2457    free_current_action(csp->action);
2458    if (NULL != csp->fwd)
2459    {
2460       unload_forward_spec(csp->fwd);
2461       csp->fwd = NULL;
2462    }
2463    /* XXX: Store per-connection flags someplace else. */
2464    csp->flags &= CSP_FLAG_TOGGLED_ON;
2465    csp->flags |= CSP_FLAG_ACTIVE;
2466    csp->flags |= CSP_FLAG_REUSED_CLIENT_CONNECTION;
2467 }
2468 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2469
2470
2471 /*********************************************************************
2472  *
2473  * Function    :  serve
2474  *
2475  * Description :  This is little more than chat.  We only "serve" to
2476  *                to close (or remember) any socket that chat may have
2477  *                opened.
2478  *
2479  * Parameters  :
2480  *          1  :  csp = Current client state (buffers, headers, etc...)
2481  *
2482  * Returns     :  N/A
2483  *
2484  *********************************************************************/
2485 #ifdef AMIGA
2486 void serve(struct client_state *csp)
2487 #else /* ifndef AMIGA */
2488 static void serve(struct client_state *csp)
2489 #endif /* def AMIGA */
2490 {
2491 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2492 #ifdef FEATURE_CONNECTION_SHARING
2493    static int monitor_thread_running = 0;
2494 #endif /* def FEATURE_CONNECTION_SHARING */
2495    int continue_chatting = 0;
2496
2497    do
2498    {
2499       unsigned int latency;
2500       int config_file_change_detected = 0; /* Only used for debugging */
2501
2502       chat(csp);
2503
2504       /*
2505        * If the request has been crunched,
2506        * the calculated latency is zero.
2507        */
2508       latency = (unsigned)(csp->server_connection.response_received -
2509          csp->server_connection.request_sent) / 2;
2510
2511       continue_chatting = (csp->config->feature_flags
2512          & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
2513          && (((csp->flags & CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE)
2514                && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED))
2515             || (csp->flags & CSP_FLAG_CRUNCHED))
2516          && (csp->cfd != JB_INVALID_SOCKET)
2517          && (csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE);
2518
2519       if (continue_chatting && !(csp->flags & CSP_FLAG_CRUNCHED))
2520       {
2521          continue_chatting = (csp->server_connection.sfd != JB_INVALID_SOCKET)
2522             && socket_is_still_alive(csp->server_connection.sfd);
2523          if (continue_chatting)
2524          {
2525             if (!(csp->flags & CSP_FLAG_SERVER_KEEP_ALIVE_TIMEOUT_SET))
2526             {
2527                csp->server_connection.keep_alive_timeout = csp->config->default_server_timeout;
2528                log_error(LOG_LEVEL_CONNECT,
2529                   "The server didn't specify how long the connection will stay open. "
2530                   "Assumed timeout is: %u.", csp->server_connection.keep_alive_timeout);
2531             }
2532             continue_chatting = (latency < csp->server_connection.keep_alive_timeout);
2533          }
2534       }
2535
2536       if (continue_chatting && any_loaded_file_changed(csp->config->config_file_list))
2537       {
2538          continue_chatting = 0;
2539          config_file_change_detected = 1;
2540       }
2541
2542       if (continue_chatting)
2543       {
2544          unsigned int client_timeout;
2545
2546          if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2547          {
2548             client_timeout = (unsigned)csp->server_connection.keep_alive_timeout - latency;
2549             log_error(LOG_LEVEL_CONNECT,
2550                "Waiting for the next client request on socket %d. "
2551                "Keeping the server socket %d to %s open.",
2552                csp->cfd, csp->server_connection.sfd, csp->server_connection.host);
2553          }
2554          else
2555          {
2556             client_timeout = 1; /* XXX: Use something else here? */
2557             log_error(LOG_LEVEL_CONNECT,
2558                "Waiting for the next client request on socket %d. "
2559                "No server socket to keep open.", csp->cfd);
2560          }
2561          if ((csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE)
2562             && data_is_available(csp->cfd, (int)client_timeout)
2563             && socket_is_still_alive(csp->cfd))
2564          {
2565             log_error(LOG_LEVEL_CONNECT,
2566                "Client request arrived in time on socket %d.", csp->cfd);
2567             prepare_csp_for_next_request(csp);
2568          }
2569          else
2570          {
2571             log_error(LOG_LEVEL_CONNECT,
2572                "No additional client request received in time on socket %d.",
2573                 csp->cfd);
2574 #ifdef FEATURE_CONNECTION_SHARING
2575             if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING)
2576                && (socket_is_still_alive(csp->server_connection.sfd)))
2577             {
2578                time_t time_open = time(NULL) - csp->server_connection.timestamp;
2579
2580                if (csp->server_connection.keep_alive_timeout < time_open - (time_t)latency)
2581                {
2582                   break;
2583                }
2584
2585                remember_connection(&csp->server_connection);
2586                csp->server_connection.sfd = JB_INVALID_SOCKET;
2587                close_socket(csp->cfd);
2588                csp->cfd = JB_INVALID_SOCKET;
2589                privoxy_mutex_lock(&connection_reuse_mutex);
2590                if (!monitor_thread_running)
2591                {
2592                   monitor_thread_running = 1;
2593                   privoxy_mutex_unlock(&connection_reuse_mutex);
2594                   wait_for_alive_connections();
2595                   privoxy_mutex_lock(&connection_reuse_mutex);
2596                   monitor_thread_running = 0;
2597                }
2598                privoxy_mutex_unlock(&connection_reuse_mutex);
2599             }
2600 #endif /* def FEATURE_CONNECTION_SHARING */
2601             break;
2602          }
2603       }
2604       else if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2605       {
2606          log_error(LOG_LEVEL_CONNECT,
2607             "The connection on server socket %d to %s isn't reusable. Closing. "
2608             "Server connection: keep-alive %u, tainted: %u, socket alive %u. "
2609             "Client connection: socket alive: %u. Server timeout: %u. "
2610             "Configuration file change detected: %u",
2611             csp->server_connection.sfd, csp->server_connection.host,
2612             0 != (csp->flags & CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE),
2613             0 != (csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED),
2614             socket_is_still_alive(csp->server_connection.sfd),
2615             socket_is_still_alive(csp->cfd),
2616             csp->server_connection.keep_alive_timeout,
2617             config_file_change_detected);
2618       }
2619    } while (continue_chatting);
2620
2621 #else
2622    chat(csp);
2623 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2624
2625    if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2626    {
2627 #ifdef FEATURE_CONNECTION_SHARING
2628       if (csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING)
2629       {
2630          forget_connection(csp->server_connection.sfd);
2631       }
2632 #endif /* def FEATURE_CONNECTION_SHARING */
2633       close_socket(csp->server_connection.sfd);
2634    }
2635
2636 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2637    mark_connection_closed(&csp->server_connection);
2638 #endif
2639
2640    if (csp->cfd != JB_INVALID_SOCKET)
2641    {
2642       close_socket(csp->cfd);
2643    }
2644
2645    csp->flags &= ~CSP_FLAG_ACTIVE;
2646
2647 }
2648
2649
2650 #ifdef __BEOS__
2651 /*********************************************************************
2652  *
2653  * Function    :  server_thread
2654  *
2655  * Description :  We only exist to call `serve' in a threaded environment.
2656  *
2657  * Parameters  :
2658  *          1  :  data = Current client state (buffers, headers, etc...)
2659  *
2660  * Returns     :  Always 0.
2661  *
2662  *********************************************************************/
2663 static int32 server_thread(void *data)
2664 {
2665    serve((struct client_state *) data);
2666    return 0;
2667
2668 }
2669 #endif
2670
2671
2672 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
2673 /*********************************************************************
2674  *
2675  * Function    :  usage
2676  *
2677  * Description :  Print usage info & exit.
2678  *
2679  * Parameters  :  Pointer to argv[0] for identifying ourselves
2680  *
2681  * Returns     :  No. ,-)
2682  *
2683  *********************************************************************/
2684 static void usage(const char *myname)
2685 {
2686    printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n"
2687           "Usage: %s "
2688 #if defined(unix)
2689           "[--chroot] "
2690 #endif /* defined(unix) */
2691           "[--help] "
2692 #if defined(unix)
2693           "[--no-daemon] [--pidfile pidfile] [--pre-chroot-nslookup hostname] [--user user[.group]] "
2694 #endif /* defined(unix) */
2695           "[--version] [configfile]\n"
2696           "Aborting\n", myname);
2697
2698    exit(2);
2699
2700 }
2701 #endif /* #if !defined(_WIN32) || defined(_WIN_CONSOLE) */
2702
2703
2704 #ifdef MUTEX_LOCKS_AVAILABLE
2705 /*********************************************************************
2706  *
2707  * Function    :  privoxy_mutex_lock
2708  *
2709  * Description :  Locks a mutex.
2710  *
2711  * Parameters  :
2712  *          1  :  mutex = The mutex to lock.
2713  *
2714  * Returns     :  Void. May exit in case of errors.
2715  *
2716  *********************************************************************/
2717 void privoxy_mutex_lock(privoxy_mutex_t *mutex)
2718 {
2719 #ifdef FEATURE_PTHREAD
2720    int err = pthread_mutex_lock(mutex);
2721    if (err)
2722    {
2723       if (mutex != &log_mutex)
2724       {
2725          log_error(LOG_LEVEL_FATAL,
2726             "Mutex locking failed: %s.\n", strerror(err));
2727       }
2728       exit(1);
2729    }
2730 #else
2731    EnterCriticalSection(mutex);
2732 #endif /* def FEATURE_PTHREAD */
2733 }
2734
2735
2736 /*********************************************************************
2737  *
2738  * Function    :  privoxy_mutex_unlock
2739  *
2740  * Description :  Unlocks a mutex.
2741  *
2742  * Parameters  :
2743  *          1  :  mutex = The mutex to unlock.
2744  *
2745  * Returns     :  Void. May exit in case of errors.
2746  *
2747  *********************************************************************/
2748 void privoxy_mutex_unlock(privoxy_mutex_t *mutex)
2749 {
2750 #ifdef FEATURE_PTHREAD
2751    int err = pthread_mutex_unlock(mutex);
2752    if (err)
2753    {
2754       if (mutex != &log_mutex)
2755       {
2756          log_error(LOG_LEVEL_FATAL,
2757             "Mutex unlocking failed: %s.\n", strerror(err));
2758       }
2759       exit(1);
2760    }
2761 #else
2762    LeaveCriticalSection(mutex);
2763 #endif /* def FEATURE_PTHREAD */
2764 }
2765
2766
2767 /*********************************************************************
2768  *
2769  * Function    :  privoxy_mutex_init
2770  *
2771  * Description :  Prepares a mutex.
2772  *
2773  * Parameters  :
2774  *          1  :  mutex = The mutex to initialize.
2775  *
2776  * Returns     :  Void. May exit in case of errors.
2777  *
2778  *********************************************************************/
2779 static void privoxy_mutex_init(privoxy_mutex_t *mutex)
2780 {
2781 #ifdef FEATURE_PTHREAD
2782    int err = pthread_mutex_init(mutex, 0);
2783    if (err)
2784    {
2785       printf("Fatal error. Mutex initialization failed: %s.\n",
2786          strerror(err));
2787       exit(1);
2788    }
2789 #else
2790    InitializeCriticalSection(mutex);
2791 #endif /* def FEATURE_PTHREAD */
2792 }
2793 #endif /* def MUTEX_LOCKS_AVAILABLE */
2794
2795 /*********************************************************************
2796  *
2797  * Function    :  initialize_mutexes
2798  *
2799  * Description :  Prepares mutexes if mutex support is available.
2800  *
2801  * Parameters  :  None
2802  *
2803  * Returns     :  Void, exits in case of errors.
2804  *
2805  *********************************************************************/
2806 static void initialize_mutexes(void)
2807 {
2808 #ifdef MUTEX_LOCKS_AVAILABLE
2809    /*
2810     * Prepare global mutex semaphores
2811     */
2812    privoxy_mutex_init(&log_mutex);
2813    privoxy_mutex_init(&log_init_mutex);
2814    privoxy_mutex_init(&connection_reuse_mutex);
2815
2816    /*
2817     * XXX: The assumptions below are a bit naive
2818     * and can cause locks that aren't necessary.
2819     *
2820     * For example older FreeBSD versions (< 6.x?)
2821     * have no gethostbyname_r, but gethostbyname is
2822     * thread safe.
2823     */
2824 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
2825    privoxy_mutex_init(&resolver_mutex);
2826 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
2827    /*
2828     * XXX: should we use a single mutex for
2829     * localtime() and gmtime() as well?
2830     */
2831 #ifndef HAVE_GMTIME_R
2832    privoxy_mutex_init(&gmtime_mutex);
2833 #endif /* ndef HAVE_GMTIME_R */
2834
2835 #ifndef HAVE_LOCALTIME_R
2836    privoxy_mutex_init(&localtime_mutex);
2837 #endif /* ndef HAVE_GMTIME_R */
2838
2839 #ifndef HAVE_RANDOM
2840    privoxy_mutex_init(&rand_mutex);
2841 #endif /* ndef HAVE_RANDOM */
2842 #endif /* def MUTEX_LOCKS_AVAILABLE */
2843 }
2844
2845
2846 /*********************************************************************
2847  *
2848  * Function    :  main
2849  *
2850  * Description :  Load the config file and start the listen loop.
2851  *                This function is a lot more *sane* with the `load_config'
2852  *                and `listen_loop' functions; although it stills does
2853  *                a *little* too much for my taste.
2854  *
2855  * Parameters  :
2856  *          1  :  argc = Number of parameters (including $0).
2857  *          2  :  argv = Array of (char *)'s to the parameters.
2858  *
2859  * Returns     :  1 if : can't open config file, unrecognized directive,
2860  *                stats requested in multi-thread mode, can't open the
2861  *                log file, can't open the jar file, listen port is invalid,
2862  *                any load fails, and can't bind port.
2863  *
2864  *                Else main never returns, the process must be signaled
2865  *                to terminate execution.  Or, on Windows, use the
2866  *                "File", "Exit" menu option.
2867  *
2868  *********************************************************************/
2869 #ifdef __MINGW32__
2870 int real_main(int argc, char **argv)
2871 #else
2872 int main(int argc, char **argv)
2873 #endif
2874 {
2875    int argc_pos = 0;
2876    unsigned int random_seed;
2877 #ifdef unix
2878    struct passwd *pw = NULL;
2879    struct group *grp = NULL;
2880    int do_chroot = 0;
2881    char *pre_chroot_nslookup_to_load_resolver = NULL;
2882 #endif
2883
2884    Argc = argc;
2885    Argv = argv;
2886
2887    configfile =
2888 #if !defined(_WIN32)
2889    "config"
2890 #else
2891    "config.txt"
2892 #endif
2893       ;
2894
2895    /* Prepare mutexes if supported and necessary. */
2896    initialize_mutexes();
2897
2898    /* Enable logging until further notice. */
2899    init_log_module();
2900
2901    /*
2902     * Parse the command line arguments
2903     *
2904     * XXX: simply printing usage information in case of
2905     * invalid arguments isn't particularly user friendly.
2906     */
2907    while (++argc_pos < argc)
2908    {
2909 #ifdef _WIN32
2910       /* Check to see if the service must be installed or uninstalled */
2911       if (strncmp(argv[argc_pos], "--install", 9) == 0)
2912       {
2913          const char *pName = argv[argc_pos] + 9;
2914          if (*pName == ':')
2915             pName++;
2916          exit( (install_service(pName)) ? 0 : 1 );
2917       }
2918       else if (strncmp(argv[argc_pos], "--uninstall", 11) == 0)
2919       {
2920          const char *pName = argv[argc_pos] + 11;
2921          if (*pName == ':')
2922             pName++;
2923          exit((uninstall_service(pName)) ? 0 : 1);
2924       }
2925       else if (strcmp(argv[argc_pos], "--service" ) == 0)
2926       {
2927          bRunAsService = TRUE;
2928          w32_set_service_cwd();
2929          atexit(w32_service_exit_notify);
2930       }
2931       else
2932 #endif /* defined(_WIN32) */
2933
2934
2935 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
2936
2937       if (strcmp(argv[argc_pos], "--help") == 0)
2938       {
2939          usage(argv[0]);
2940       }
2941
2942       else if(strcmp(argv[argc_pos], "--version") == 0)
2943       {
2944          printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n");
2945          exit(0);
2946       }
2947
2948 #if defined(unix)
2949
2950       else if (strcmp(argv[argc_pos], "--no-daemon" ) == 0)
2951       {
2952          set_debug_level(LOG_LEVEL_FATAL | LOG_LEVEL_ERROR | LOG_LEVEL_INFO);
2953          daemon_mode = 0;
2954       }
2955
2956       else if (strcmp(argv[argc_pos], "--pidfile" ) == 0)
2957       {
2958          if (++argc_pos == argc) usage(argv[0]);
2959          pidfile = strdup(argv[argc_pos]);
2960       }
2961
2962       else if (strcmp(argv[argc_pos], "--user" ) == 0)
2963       {
2964          char *user_arg;
2965          char *group_name;
2966
2967          if (++argc_pos == argc) usage(argv[argc_pos]);
2968
2969          user_arg = strdup(argv[argc_pos]);
2970          if (NULL == user_arg)
2971          {
2972             log_error(LOG_LEVEL_FATAL,
2973                "Out of memory splitting --user argument '%s'.", argv[argc_pos]);
2974          }
2975          group_name = strchr(user_arg, '.');
2976          if (NULL != group_name)
2977          {
2978             /* Nul-terminate the user name */
2979             *group_name = '\0';
2980
2981             /* Skip the former delimiter to actually reach the group name */
2982             group_name++;
2983
2984             grp = getgrnam(group_name);
2985             if (NULL == grp)
2986             {
2987                log_error(LOG_LEVEL_FATAL, "Group '%s' not found.", group_name);
2988             }
2989          }
2990          pw = getpwnam(user_arg);
2991          if (NULL == pw)
2992          {
2993             log_error(LOG_LEVEL_FATAL, "User '%s' not found.", user_arg);
2994          }
2995
2996          freez(user_arg);
2997       }
2998
2999       else if (strcmp(argv[argc_pos], "--pre-chroot-nslookup" ) == 0)
3000       {
3001          if (++argc_pos == argc) usage(argv[0]);
3002          pre_chroot_nslookup_to_load_resolver = strdup(argv[argc_pos]);
3003       }
3004
3005       else if (strcmp(argv[argc_pos], "--chroot" ) == 0)
3006       {
3007          do_chroot = 1;
3008       }
3009 #endif /* defined(unix) */
3010
3011       else if (argc_pos + 1 != argc)
3012       {
3013          /*
3014           * This is neither the last command line
3015           * option, nor was it recognized before,
3016           * therefore it must be invalid.
3017           */
3018          usage(argv[0]);
3019       }
3020       else
3021
3022 #endif /* defined(_WIN32) && !defined(_WIN_CONSOLE) */
3023       {
3024          configfile = argv[argc_pos];
3025       }
3026
3027    } /* -END- while (more arguments) */
3028
3029    show_version(Argv[0]);
3030
3031 #if defined(unix)
3032    if ( *configfile != '/' )
3033    {
3034       char cwd[BUFFER_SIZE];
3035       char *abs_file;
3036       size_t abs_file_size; 
3037
3038       /* make config-filename absolute here */
3039       if (NULL == getcwd(cwd, sizeof(cwd)))
3040       {
3041          perror("failed to get current working directory");
3042          exit( 1 );
3043       }
3044
3045       /* XXX: why + 5? */
3046       abs_file_size = strlen(cwd) + strlen(configfile) + 5;
3047       basedir = strdup(cwd);
3048
3049       if (NULL == basedir ||
3050           NULL == (abs_file = malloc(abs_file_size)))
3051       {
3052          perror("malloc failed");
3053          exit( 1 );
3054       }
3055       strlcpy(abs_file, basedir, abs_file_size);
3056       strlcat(abs_file, "/", abs_file_size );
3057       strlcat(abs_file, configfile, abs_file_size);
3058       configfile = abs_file;
3059    }
3060 #endif /* defined unix */
3061
3062
3063    files->next = NULL;
3064    clients->next = NULL;
3065
3066    /* XXX: factor out initialising after the next stable release. */
3067 #ifdef AMIGA
3068    InitAmiga();
3069 #elif defined(_WIN32)
3070    InitWin32();
3071 #endif
3072
3073    random_seed = (unsigned int)time(NULL);
3074 #ifdef HAVE_RANDOM
3075    srandom(random_seed);
3076 #else
3077    srand(random_seed);
3078 #endif /* ifdef HAVE_RANDOM */
3079
3080    /*
3081     * Unix signal handling
3082     *
3083     * Catch the abort, interrupt and terminate signals for a graceful exit
3084     * Catch the hangup signal so the errlog can be reopened.
3085     * Ignore the broken pipe signals (FIXME: Why?)
3086     */
3087 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
3088 {
3089    int idx;
3090    const int catched_signals[] = { SIGTERM, SIGINT, SIGHUP, 0 };
3091    const int ignored_signals[] = { SIGPIPE, 0 };
3092
3093    for (idx = 0; catched_signals[idx] != 0; idx++)
3094    {
3095 #ifdef sun /* FIXME: Is it safe to check for HAVE_SIGSET instead? */ 
3096       if (sigset(catched_signals[idx], sig_handler) == SIG_ERR)
3097 #else
3098       if (signal(catched_signals[idx], sig_handler) == SIG_ERR)
3099 #endif /* ifdef sun */
3100       {
3101          log_error(LOG_LEVEL_FATAL, "Can't set signal-handler for signal %d: %E", catched_signals[idx]);
3102       }
3103    }
3104
3105    for (idx = 0; ignored_signals[idx] != 0; idx++)
3106    {
3107       if (signal(ignored_signals[idx], SIG_IGN) == SIG_ERR)
3108       {
3109          log_error(LOG_LEVEL_FATAL, "Can't set ignore-handler for signal %d: %E", ignored_signals[idx]);
3110       }
3111    }
3112
3113 }
3114 #else /* ifdef _WIN32 */
3115 # ifdef _WIN_CONSOLE
3116    /*
3117     * We *are* in a windows console app.
3118     * Print a verbose messages about FAQ's and such
3119     */
3120    printf("%s", win32_blurb);
3121 # endif /* def _WIN_CONSOLE */
3122 #endif /* def _WIN32 */
3123
3124
3125    /* Initialize the CGI subsystem */
3126    cgi_init_error_messages();
3127
3128    /*
3129     * If runnig on unix and without the --nodaemon
3130     * option, become a daemon. I.e. fork, detach
3131     * from tty and get process group leadership
3132     */
3133 #if defined(unix)
3134 {
3135    if (daemon_mode)
3136    {
3137       int fd;
3138       pid_t pid = fork();
3139
3140       if ( pid < 0 ) /* error */
3141       {
3142          perror("fork");
3143          exit( 3 );
3144       }
3145       else if ( pid != 0 ) /* parent */
3146       {
3147          int status;
3148          pid_t wpid;
3149          /*
3150           * must check for errors
3151           * child died due to missing files aso
3152           */
3153          sleep( 1 );
3154          wpid = waitpid( pid, &status, WNOHANG );
3155          if ( wpid != 0 )
3156          {
3157             exit( 1 );
3158          }
3159          exit( 0 );
3160       }
3161       /* child */
3162
3163       setsid();
3164
3165       /*
3166        * stderr (fd 2) will be closed later on,
3167        * when the config file has been parsed.
3168        */
3169       close(0);
3170       close(1);
3171
3172       /*
3173        * Reserve fd 0 and 1 to prevent abort() and friends
3174        * from sending stuff to the clients or servers.
3175        */
3176       fd = open("/dev/null", O_RDONLY);
3177       if (fd == -1)
3178       {
3179          log_error(LOG_LEVEL_FATAL, "Failed to open /dev/null: %E");
3180       }
3181       else if (fd != 0)
3182       {
3183          if (dup2(fd, 0) == -1)
3184          {
3185             log_error(LOG_LEVEL_FATAL, "Failed to reserve fd 0: %E");
3186          }
3187          close(fd);
3188       }
3189       fd = open("/dev/null", O_WRONLY);
3190       if (fd == -1)
3191       {
3192          log_error(LOG_LEVEL_FATAL, "Failed to open /dev/null: %E");
3193       }
3194       else if (fd != 1)
3195       {
3196          if (dup2(fd, 1) == -1)
3197          {
3198             log_error(LOG_LEVEL_FATAL, "Failed to reserve fd 1: %E");
3199          }
3200          close(fd);
3201       }
3202
3203       chdir("/");
3204
3205    } /* -END- if (daemon_mode) */
3206
3207    /*
3208     * As soon as we have written the PID file, we can switch
3209     * to the user and group ID indicated by the --user option
3210     */
3211    write_pid_file();
3212
3213    if (NULL != pw)
3214    {
3215       if (setgid((NULL != grp) ? grp->gr_gid : pw->pw_gid))
3216       {
3217          log_error(LOG_LEVEL_FATAL, "Cannot setgid(): Insufficient permissions.");
3218       }
3219       if (NULL != grp)
3220       {
3221          if (setgroups(1, &grp->gr_gid))
3222          {
3223             log_error(LOG_LEVEL_FATAL, "setgroups() failed: %E");
3224          }
3225       }
3226       else if (initgroups(pw->pw_name, pw->pw_gid))
3227       {
3228          log_error(LOG_LEVEL_FATAL, "initgroups() failed: %E");
3229       }
3230       if (do_chroot)
3231       {
3232          if (!pw->pw_dir)
3233          {
3234             log_error(LOG_LEVEL_FATAL, "Home directory for %s undefined", pw->pw_name);
3235          }
3236          /* Read the time zone file from /etc before doing chroot. */
3237          tzset();
3238          if (NULL != pre_chroot_nslookup_to_load_resolver
3239              && '\0' != pre_chroot_nslookup_to_load_resolver[0])
3240          {
3241             /* Initialize resolver library. */
3242             (void) resolve_hostname_to_ip(pre_chroot_nslookup_to_load_resolver);
3243          }
3244          if (chroot(pw->pw_dir) < 0)
3245          {
3246             log_error(LOG_LEVEL_FATAL, "Cannot chroot to %s", pw->pw_dir);
3247          }
3248          if (chdir ("/"))
3249          {
3250             log_error(LOG_LEVEL_FATAL, "Cannot chdir /");
3251          }
3252       }
3253       if (setuid(pw->pw_uid))
3254       {
3255          log_error(LOG_LEVEL_FATAL, "Cannot setuid(): Insufficient permissions.");
3256       }
3257       if (do_chroot)
3258       {
3259          char putenv_dummy[64];
3260
3261          strlcpy(putenv_dummy, "HOME=/", sizeof(putenv_dummy));
3262          if (putenv(putenv_dummy) != 0)
3263          {
3264             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): HOME");
3265          }                
3266
3267          snprintf(putenv_dummy, sizeof(putenv_dummy), "USER=%s", pw->pw_name);
3268          if (putenv(putenv_dummy) != 0)
3269          {
3270             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): USER");
3271          }
3272       }
3273    }
3274    else if (do_chroot)
3275    {
3276       log_error(LOG_LEVEL_FATAL, "Cannot chroot without --user argument.");
3277    }
3278 }
3279 #endif /* defined unix */
3280
3281 #ifdef _WIN32
3282    /* This will be FALSE unless the command line specified --service
3283     */
3284    if (bRunAsService)
3285    {
3286       /* Yup, so now we must attempt to establish a connection 
3287        * with the service dispatcher. This will only work if this
3288        * process was launched by the service control manager to
3289        * actually run as a service. If this isn't the case, i've
3290        * known it take around 30 seconds or so for the call to return.
3291        */
3292
3293       /* The StartServiceCtrlDispatcher won't return until the service is stopping */
3294       if (w32_start_service_ctrl_dispatcher(w32ServiceDispatchTable))
3295       {
3296          /* Service has run, and at this point is now being stopped, so just return */
3297          return 0;
3298       }
3299
3300 #ifdef _WIN_CONSOLE
3301       printf("Warning: Failed to connect to Service Control Dispatcher\nwhen starting as a service!\n");
3302 #endif
3303       /* An error occurred. Usually it's because --service was wrongly specified
3304        * and we were unable to connect to the Service Control Dispatcher because
3305        * it wasn't expecting us and is therefore not listening.
3306        *
3307        * For now, just continue below to call the listen_loop function.
3308        */
3309    }
3310 #endif /* def _WIN32 */
3311
3312    listen_loop();
3313
3314    /* NOTREACHED */
3315    return(-1);
3316
3317 }
3318
3319
3320 /*********************************************************************
3321  *
3322  * Function    :  bind_port_helper
3323  *
3324  * Description :  Bind the listen port.  Handles logging, and aborts
3325  *                on failure.
3326  *
3327  * Parameters  :
3328  *          1  :  config = Privoxy configuration.  Specifies port
3329  *                         to bind to.
3330  *
3331  * Returns     :  Port that was opened.
3332  *
3333  *********************************************************************/
3334 static jb_socket bind_port_helper(struct configuration_spec * config)
3335 {
3336    int result;
3337    jb_socket bfd;
3338
3339    if (config->haddr == NULL)
3340    {
3341       log_error(LOG_LEVEL_INFO, "Listening on port %d on all IP addresses",
3342                 config->hport);
3343    }
3344    else
3345    {
3346       log_error(LOG_LEVEL_INFO, "Listening on port %d on IP address %s",
3347                 config->hport, config->haddr);
3348    }
3349
3350    result = bind_port(config->haddr, config->hport, &bfd);
3351
3352    if (result < 0)
3353    {
3354       switch(result)
3355       {
3356          case -3 :
3357             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: "
3358                "There may be another Privoxy or some other "
3359                "proxy running on port %d",
3360                (NULL != config->haddr) ? config->haddr : "INADDR_ANY",
3361                       config->hport, config->hport);
3362
3363          case -2 :
3364             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: " 
3365                "The hostname is not resolvable",
3366                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3367
3368          default :
3369             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: %E",
3370                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3371       }
3372
3373       /* shouldn't get here */
3374       return JB_INVALID_SOCKET;
3375    }
3376
3377    config->need_bind = 0;
3378
3379    return bfd;
3380 }
3381
3382
3383 #ifdef _WIN32
3384 /* Without this simple workaround we get this compiler warning from _beginthread
3385  *     warning C4028: formal parameter 1 different from declaration
3386  */
3387 void w32_service_listen_loop(void *p)
3388 {
3389    listen_loop();
3390 }
3391 #endif /* def _WIN32 */
3392
3393
3394 /*********************************************************************
3395  *
3396  * Function    :  listen_loop
3397  *
3398  * Description :  bind the listen port and enter a "FOREVER" listening loop.
3399  *
3400  * Parameters  :  N/A
3401  *
3402  * Returns     :  Never.
3403  *
3404  *********************************************************************/
3405 static void listen_loop(void)
3406 {
3407    struct client_states *csp_list = NULL;
3408    struct client_state *csp = NULL;
3409    jb_socket bfd;
3410    struct configuration_spec *config;
3411    unsigned int active_threads = 0;
3412
3413    config = load_config();
3414
3415 #ifdef FEATURE_CONNECTION_SHARING
3416    /*
3417     * XXX: Should be relocated once it no
3418     * longer needs to emit log messages.
3419     */
3420    initialize_reusable_connections();
3421 #endif /* def FEATURE_CONNECTION_SHARING */
3422
3423    bfd = bind_port_helper(config);
3424
3425 #ifdef FEATURE_GRACEFUL_TERMINATION
3426    while (!g_terminate)
3427 #else
3428    for (;;)
3429 #endif
3430    {
3431 #if !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) && !defined(__OS2__)
3432       while (waitpid(-1, NULL, WNOHANG) > 0)
3433       {
3434          /* zombie children */
3435       }
3436 #endif /* !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) */
3437
3438       /*
3439        * Free data that was used by died threads
3440        */
3441       active_threads = sweep();
3442
3443 #if defined(unix)
3444       /*
3445        * Re-open the errlog after HUP signal
3446        */
3447       if (received_hup_signal)
3448       {
3449          if (NULL != config->logfile)
3450          {
3451             init_error_log(Argv[0], config->logfile);
3452          }
3453          received_hup_signal = 0;
3454       }
3455 #endif
3456
3457       csp_list = (struct client_states *)zalloc(sizeof(*csp_list));
3458       if (NULL == csp_list)
3459       {
3460          log_error(LOG_LEVEL_FATAL,
3461             "malloc(%d) for csp_list failed: %E", sizeof(*csp_list));
3462          continue;
3463       }
3464       csp = &csp_list->csp;
3465
3466       log_error(LOG_LEVEL_CONNECT, "Listening for new connections ... ");
3467
3468       if (!accept_connection(csp, bfd))
3469       {
3470          log_error(LOG_LEVEL_CONNECT, "accept failed: %E");
3471
3472 #ifdef AMIGA
3473          if(!childs)
3474          {
3475             exit(1);
3476          }
3477 #endif
3478          freez(csp_list);
3479          continue;
3480       }
3481       else
3482       {
3483          log_error(LOG_LEVEL_CONNECT,
3484             "accepted connection from %s on socket %d",
3485             csp->ip_addr_str, csp->cfd);
3486       }
3487
3488       csp->flags |= CSP_FLAG_ACTIVE;
3489       csp->server_connection.sfd = JB_INVALID_SOCKET;
3490
3491       csp->config = config = load_config();
3492
3493       if (config->need_bind)
3494       {
3495          /*
3496           * Since we were listening to the "old port", we will not see
3497           * a "listen" param change until the next request.  So, at
3498           * least 1 more request must be made for us to find the new
3499           * setting.  I am simply closing the old socket and binding the
3500           * new one.
3501           *
3502           * Which-ever is correct, we will serve 1 more page via the
3503           * old settings.  This should probably be a "show-proxy-args"
3504           * request.  This should not be a so common of an operation
3505           * that this will hurt people's feelings.
3506           */
3507
3508          close_socket(bfd);
3509
3510          bfd = bind_port_helper(config);
3511       }
3512
3513 #ifdef FEATURE_TOGGLE
3514       if (global_toggle_state)
3515 #endif /* def FEATURE_TOGGLE */
3516       {
3517          csp->flags |= CSP_FLAG_TOGGLED_ON;
3518       }
3519
3520       if (run_loader(csp))
3521       {
3522          log_error(LOG_LEVEL_FATAL, "a loader failed - must exit");
3523          /* Never get here - LOG_LEVEL_FATAL causes program exit */
3524       }
3525
3526 #ifdef FEATURE_ACL
3527       if (block_acl(NULL,csp))
3528       {
3529          log_error(LOG_LEVEL_CONNECT,
3530             "Connection from %s on socket %d dropped due to ACL", csp->ip_addr_str, csp->cfd);
3531          close_socket(csp->cfd);
3532          freez(csp->ip_addr_str);
3533          freez(csp_list);
3534          continue;
3535       }
3536 #endif /* def FEATURE_ACL */
3537
3538       if ((0 != config->max_client_connections)
3539          && (active_threads >= config->max_client_connections))
3540       {
3541          log_error(LOG_LEVEL_CONNECT,
3542             "Rejecting connection from %s. Maximum number of connections reached.",
3543             csp->ip_addr_str);
3544          write_socket(csp->cfd, TOO_MANY_CONNECTIONS_RESPONSE,
3545             strlen(TOO_MANY_CONNECTIONS_RESPONSE));
3546          close_socket(csp->cfd);
3547          freez(csp->ip_addr_str);
3548          freez(csp_list);
3549          continue;
3550       }
3551
3552       /* add it to the list of clients */
3553       csp_list->next = clients->next;
3554       clients->next = csp_list;
3555
3556       if (config->multi_threaded)
3557       {
3558          int child_id;
3559
3560 /* this is a switch () statement in the C preprocessor - ugh */
3561 #undef SELECTED_ONE_OPTION
3562
3563 /* Use Pthreads in preference to native code */
3564 #if defined(FEATURE_PTHREAD) && !defined(SELECTED_ONE_OPTION)
3565 #define SELECTED_ONE_OPTION
3566          {
3567             pthread_t the_thread;
3568             pthread_attr_t attrs;
3569
3570             pthread_attr_init(&attrs);
3571             pthread_attr_setdetachstate(&attrs, PTHREAD_CREATE_DETACHED);
3572             errno = pthread_create(&the_thread, &attrs,
3573                (void * (*)(void *))serve, csp);
3574             child_id = errno ? -1 : 0;
3575             pthread_attr_destroy(&attrs);
3576          }
3577 #endif
3578
3579 #if defined(_WIN32) && !defined(_CYGWIN) && !defined(SELECTED_ONE_OPTION)
3580 #define SELECTED_ONE_OPTION
3581          child_id = _beginthread(
3582             (void (*)(void *))serve,
3583             64 * 1024,
3584             csp);
3585 #endif
3586
3587 #if defined(__OS2__) && !defined(SELECTED_ONE_OPTION)
3588 #define SELECTED_ONE_OPTION
3589          child_id = _beginthread(
3590             (void(* _Optlink)(void*))serve,
3591             NULL,
3592             64 * 1024,
3593             csp);
3594 #endif
3595
3596 #if defined(__BEOS__) && !defined(SELECTED_ONE_OPTION)
3597 #define SELECTED_ONE_OPTION
3598          {
3599             thread_id tid = spawn_thread
3600                (server_thread, "server", B_NORMAL_PRIORITY, csp);
3601
3602             if ((tid >= 0) && (resume_thread(tid) == B_OK))
3603             {
3604                child_id = (int) tid;
3605             }
3606             else
3607             {
3608                child_id = -1;
3609             }
3610          }
3611 #endif
3612
3613 #if defined(AMIGA) && !defined(SELECTED_ONE_OPTION)
3614 #define SELECTED_ONE_OPTION
3615          csp->cfd = ReleaseSocket(csp->cfd, -1);
3616          
3617 #ifdef __amigaos4__
3618          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3619                                            NP_Output, Output(),
3620                                            NP_CloseOutput, FALSE,
3621                                            NP_Name, (ULONG)"privoxy child",
3622                                            NP_Child, TRUE,
3623                                            TAG_DONE);
3624 #else
3625          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3626                                            NP_Output, Output(),
3627                                            NP_CloseOutput, FALSE,
3628                                            NP_Name, (ULONG)"privoxy child",
3629                                            NP_StackSize, 200*1024,
3630                                            TAG_DONE);
3631 #endif
3632          if(0 != child_id)
3633          {
3634             childs++;
3635             ((struct Task *)child_id)->tc_UserData = csp;
3636             Signal((struct Task *)child_id, SIGF_SINGLE);
3637             Wait(SIGF_SINGLE);
3638          }
3639 #endif
3640
3641 #if !defined(SELECTED_ONE_OPTION)
3642          child_id = fork();
3643
3644          /* This block is only needed when using fork().
3645           * When using threads, the server thread was
3646           * created and run by the call to _beginthread().
3647           */
3648          if (child_id == 0)   /* child */
3649          {
3650             int rc = 0;
3651 #ifdef FEATURE_TOGGLE
3652             int inherited_toggle_state = global_toggle_state;
3653 #endif /* def FEATURE_TOGGLE */
3654
3655             serve(csp);
3656
3657             /* 
3658              * If we've been toggled or we've blocked the request, tell Mom
3659              */
3660
3661 #ifdef FEATURE_TOGGLE
3662             if (inherited_toggle_state != global_toggle_state)
3663             {
3664                rc |= RC_FLAG_TOGGLED;
3665             }
3666 #endif /* def FEATURE_TOGGLE */
3667
3668 #ifdef FEATURE_STATISTICS  
3669             if (csp->flags & CSP_FLAG_REJECTED)
3670             {
3671                rc |= RC_FLAG_BLOCKED;
3672             }
3673 #endif /* ndef FEATURE_STATISTICS */
3674
3675             _exit(rc);
3676          }
3677          else if (child_id > 0) /* parent */
3678          {
3679             /* in a fork()'d environment, the parent's
3680              * copy of the client socket and the CSP
3681              * are not used.
3682              */
3683             int child_status;
3684 #if !defined(_WIN32) && !defined(__CYGWIN__)
3685
3686             wait( &child_status );
3687
3688             /* 
3689              * Evaluate child's return code: If the child has
3690              *  - been toggled, toggle ourselves
3691              *  - blocked its request, bump up the stats counter
3692              */
3693
3694 #ifdef FEATURE_TOGGLE
3695             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_TOGGLED))
3696             {
3697                global_toggle_state = !global_toggle_state;
3698             }
3699 #endif /* def FEATURE_TOGGLE */
3700
3701 #ifdef FEATURE_STATISTICS
3702             urls_read++;
3703             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_BLOCKED))
3704             {
3705                urls_rejected++;
3706             }
3707 #endif /* def FEATURE_STATISTICS */ 
3708
3709 #endif /* !defined(_WIN32) && defined(__CYGWIN__) */
3710             close_socket(csp->cfd);
3711             csp->flags &= ~CSP_FLAG_ACTIVE;
3712          }
3713 #endif
3714
3715 #undef SELECTED_ONE_OPTION
3716 /* end of cpp switch () */
3717
3718          if (child_id < 0)
3719          {
3720             /*
3721              * Spawning the child failed, assume it's because
3722              * there are too many children running already.
3723              * XXX: If you assume ...
3724              */
3725             log_error(LOG_LEVEL_ERROR,
3726                "Unable to take any additional connections: %E");
3727             write_socket(csp->cfd, TOO_MANY_CONNECTIONS_RESPONSE,
3728                strlen(TOO_MANY_CONNECTIONS_RESPONSE));
3729             close_socket(csp->cfd);
3730             csp->flags &= ~CSP_FLAG_ACTIVE;
3731          }
3732       }
3733       else
3734       {
3735          serve(csp);
3736       }
3737    }
3738
3739    /* NOTREACHED unless FEATURE_GRACEFUL_TERMINATION is defined */
3740
3741    /* Clean up.  Aim: free all memory (no leaks) */
3742 #ifdef FEATURE_GRACEFUL_TERMINATION
3743
3744    log_error(LOG_LEVEL_ERROR, "Graceful termination requested");
3745
3746    unload_current_config_file();
3747    unload_current_actions_file();
3748    unload_current_re_filterfile();
3749 #ifdef FEATURE_TRUST
3750    unload_current_trust_file();
3751 #endif
3752
3753    if (config->multi_threaded)
3754    {
3755       int i = 60;
3756       do
3757       {
3758          sleep(1);
3759          sweep();
3760       } while ((clients->next != NULL) && (--i > 0));
3761
3762       if (i <= 0)
3763       {
3764          log_error(LOG_LEVEL_ERROR, "Graceful termination failed - still some live clients after 1 minute wait.");
3765       }
3766    }
3767    sweep();
3768    sweep();
3769
3770 #if defined(unix)
3771    freez(basedir);
3772 #endif
3773
3774 #if defined(_WIN32) && !defined(_WIN_CONSOLE)
3775    /* Cleanup - remove taskbar icon etc. */
3776    TermLogWindow();
3777 #endif
3778
3779    exit(0);
3780 #endif /* FEATURE_GRACEFUL_TERMINATION */
3781
3782 }
3783
3784
3785 /*
3786   Local Variables:
3787   tab-width: 3
3788   end:
3789 */