jcc.c

   1 const char jcc_rcs[] = "$Id: jcc.c,v 1.326 2010/07/29 14:32:08 fabiankeil Exp $";
   2 /*********************************************************************
   3  *
   4  * File        :  $Source: /cvsroot/ijbswa/current/jcc.c,v $
   5  *
   6  * Purpose     :  Main file.  Contains main() method, main loop, and
   7  *                the main connection-handling function.
   8  *
   9  * Copyright   :  Written by and Copyright (C) 2001-2010 the
  10  *                Privoxy team. http://www.privoxy.org/
  11  *
  12  *                Based on the Internet Junkbuster originally written
  13  *                by and Copyright (C) 1997 Anonymous Coders and
  14  *                Junkbusters Corporation.  http://www.junkbusters.com
  15  *
  16  *                This program is free software; you can redistribute it
  17  *                and/or modify it under the terms of the GNU General
  18  *                Public License as published by the Free Software
  19  *                Foundation; either version 2 of the License, or (at
  20  *                your option) any later version.
  21  *
  22  *                This program is distributed in the hope that it will
  23  *                be useful, but WITHOUT ANY WARRANTY; without even the
  24  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
  25  *                PARTICULAR PURPOSE.  See the GNU General Public
  26  *                License for more details.
  27  *
  28  *                The GNU General Public License should be included with
  29  *                this file.  If not, you can view it at
  30  *                http://www.gnu.org/copyleft/gpl.html
  31  *                or write to the Free Software Foundation, Inc., 59
  32  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  33  *
  34  *********************************************************************/
  35
  36
  37 #include "config.h"
  38
  39 #include <stdio.h>
  40 #include <sys/types.h>
  41 #include <stdlib.h>
  42 #include <string.h>
  43 #include <signal.h>
  44 #include <fcntl.h>
  45 #include <errno.h>
  46 #include <assert.h>
  47
  48 #ifdef _WIN32
  49 # ifndef FEATURE_PTHREAD
  50 #  ifndef STRICT
  51 #   define STRICT
  52 #  endif
  53 #  include <windows.h>
  54 #  include <process.h>
  55 # endif /* ndef FEATURE_PTHREAD */
  56
  57 # include "win32.h"
  58 # ifndef _WIN_CONSOLE
  59 #  include "w32log.h"
  60 # endif /* ndef _WIN_CONSOLE */
  61 # include "w32svrapi.h"
  62
  63 #else /* ifndef _WIN32 */
  64
  65 # if !defined (__OS2__)
  66 # include <unistd.h>
  67 # include <sys/wait.h>
  68 # endif /* ndef __OS2__ */
  69 # include <sys/time.h>
  70 # include <sys/stat.h>
  71 # include <sys/ioctl.h>
  72
  73 #ifdef sun
  74 #include <sys/termios.h>
  75 #endif /* sun */
  76
  77 #ifdef unix
  78 #include <pwd.h>
  79 #include <grp.h>
  80 #endif
  81
  82 # include <signal.h>
  83
  84 # ifdef __BEOS__
  85 #  include <socket.h>  /* BeOS has select() for sockets only. */
  86 #  include <OS.h>      /* declarations for threads and stuff. */
  87 # endif
  88
  89 # if defined(__EMX__) || defined(__OS2__)
  90 #  include <sys/select.h>  /* OS/2/EMX needs a little help with select */
  91 # endif
  92 # ifdef __OS2__
  93 #define INCL_DOS
  94 # include <os2.h>
  95 #define bzero(B,N) memset(B,0x00,n)
  96 # endif
  97
  98 # ifndef FD_ZERO
  99 #  include <select.h>
 100 # endif
 101
 102 #endif
 103
 104 #include "project.h"
 105 #include "list.h"
 106 #include "jcc.h"
 107 #include "filters.h"
 108 #include "loaders.h"
 109 #include "parsers.h"
 110 #include "miscutil.h"
 111 #include "errlog.h"
 112 #include "jbsockets.h"
 113 #include "gateway.h"
 114 #include "actions.h"
 115 #include "cgi.h"
 116 #include "loadcfg.h"
 117 #include "urlmatch.h"
 118
 119 const char jcc_h_rcs[] = JCC_H_VERSION;
 120 const char project_h_rcs[] = PROJECT_H_VERSION;
 121
 122 int daemon_mode = 1;
 123 struct client_states clients[1];
 124 struct file_list     files[1];
 125
 126 #ifdef FEATURE_STATISTICS
 127 int urls_read     = 0;     /* total nr of urls read inc rejected */
 128 int urls_rejected = 0;     /* total nr of urls rejected */
 129 #endif /* def FEATURE_STATISTICS */
 130
 131 #ifdef FEATURE_GRACEFUL_TERMINATION
 132 int g_terminate = 0;
 133 #endif
 134
 135 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
 136 static void sig_handler(int the_signal);
 137 #endif
 138 static int client_protocol_is_unsupported(const struct client_state *csp, char *req);
 139 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers);
 140 static jb_err get_server_headers(struct client_state *csp);
 141 static const char *crunch_reason(const struct http_response *rsp);
 142 static void send_crunch_response(const struct client_state *csp, struct http_response *rsp);
 143 static char *get_request_line(struct client_state *csp);
 144 static jb_err receive_client_request(struct client_state *csp);
 145 static jb_err parse_client_request(struct client_state *csp);
 146 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line);
 147 static jb_err change_request_destination(struct client_state *csp);
 148 static void chat(struct client_state *csp);
 149 static void serve(struct client_state *csp);
 150 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
 151 static void usage(const char *myname);
 152 #endif
 153 static void initialize_mutexes(void);
 154 static jb_socket bind_port_helper(struct configuration_spec *config);
 155 static void listen_loop(void);
 156
 157 #ifdef AMIGA
 158 void serve(struct client_state *csp);
 159 #else /* ifndef AMIGA */
 160 static void serve(struct client_state *csp);
 161 #endif /* def AMIGA */
 162
 163 #ifdef __BEOS__
 164 static int32 server_thread(void *data);
 165 #endif /* def __BEOS__ */
 166
 167 #ifdef _WIN32
 168 #define sleep(N)  Sleep(((N) * 1000))
 169 #endif
 170
 171 #ifdef __OS2__
 172 #define sleep(N)  DosSleep(((N) * 100))
 173 #endif
 174
 175 #ifdef MUTEX_LOCKS_AVAILABLE
 176 /*
 177  * XXX: Does the locking stuff really belong in this file?
 178  */
 179 privoxy_mutex_t log_mutex;
 180 privoxy_mutex_t log_init_mutex;
 181 privoxy_mutex_t connection_reuse_mutex;
 182
 183 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
 184 privoxy_mutex_t resolver_mutex;
 185 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
 186
 187 #ifndef HAVE_GMTIME_R
 188 privoxy_mutex_t gmtime_mutex;
 189 #endif /* ndef HAVE_GMTIME_R */
 190
 191 #ifndef HAVE_LOCALTIME_R
 192 privoxy_mutex_t localtime_mutex;
 193 #endif /* ndef HAVE_GMTIME_R */
 194
 195 #ifndef HAVE_RANDOM
 196 privoxy_mutex_t rand_mutex;
 197 #endif /* ndef HAVE_RANDOM */
 198
 199 #endif /* def MUTEX_LOCKS_AVAILABLE */
 200
 201 #if defined(unix)
 202 const char *basedir = NULL;
 203 const char *pidfile = NULL;
 204 static int received_hup_signal = 0;
 205 #endif /* defined unix */
 206
 207 /* HTTP snipplets. */
 208 static const char CSUCCEED[] =
 209    "HTTP/1.0 200 Connection established\r\n"
 210    "Proxy-Agent: Privoxy/" VERSION "\r\n\r\n";
 211
 212 static const char CHEADER[] =
 213    "HTTP/1.0 400 Invalid header received from client\r\n"
 214    "Proxy-Agent: Privoxy " VERSION "\r\n"
 215    "Content-Type: text/plain\r\n"
 216    "Connection: close\r\n\r\n"
 217    "Invalid header received from client.\r\n";
 218
 219 static const char FTP_RESPONSE[] =
 220    "HTTP/1.0 400 Invalid request received from client\r\n"
 221    "Content-Type: text/plain\r\n"
 222    "Connection: close\r\n\r\n"
 223    "Invalid request. Privoxy doesn't support FTP.\r\n";
 224
 225 static const char GOPHER_RESPONSE[] =
 226    "HTTP/1.0 400 Invalid request received from client\r\n"
 227    "Content-Type: text/plain\r\n"
 228    "Connection: close\r\n\r\n"
 229    "Invalid request. Privoxy doesn't support gopher.\r\n";
 230
 231 /* XXX: should be a template */
 232 static const char MISSING_DESTINATION_RESPONSE[] =
 233    "HTTP/1.0 400 Bad request received from client\r\n"
 234    "Proxy-Agent: Privoxy " VERSION "\r\n"
 235    "Content-Type: text/plain\r\n"
 236    "Connection: close\r\n\r\n"
 237    "Bad request. Privoxy was unable to extract the destination.\r\n";
 238
 239 /* XXX: should be a template */
 240 static const char INVALID_SERVER_HEADERS_RESPONSE[] =
 241    "HTTP/1.0 502 Server or forwarder response invalid\r\n"
 242    "Proxy-Agent: Privoxy " VERSION "\r\n"
 243    "Content-Type: text/plain\r\n"
 244    "Connection: close\r\n\r\n"
 245    "Bad response. The server or forwarder response doesn't look like HTTP.\r\n";
 246
 247 /* XXX: should be a template */
 248 static const char MESSED_UP_REQUEST_RESPONSE[] =
 249    "HTTP/1.0 400 Malformed request after rewriting\r\n"
 250    "Proxy-Agent: Privoxy " VERSION "\r\n"
 251    "Content-Type: text/plain\r\n"
 252    "Connection: close\r\n\r\n"
 253    "Bad request. Messed up with header filters.\r\n";
 254
 255 static const char TOO_MANY_CONNECTIONS_RESPONSE[] =
 256    "HTTP/1.0 503 Too many open connections\r\n"
 257    "Proxy-Agent: Privoxy " VERSION "\r\n"
 258    "Content-Type: text/plain\r\n"
 259    "Connection: close\r\n\r\n"
 260    "Maximum number of open connections reached.\r\n";
 261
 262 static const char CLIENT_CONNECTION_TIMEOUT_RESPONSE[] =
 263    "HTTP/1.0 504 Connection timeout\r\n"
 264    "Proxy-Agent: Privoxy " VERSION "\r\n"
 265    "Content-Type: text/plain\r\n"
 266    "Connection: close\r\n\r\n"
 267    "The connection timed out because the client request didn't arrive in time.\r\n";
 268
 269 /* A function to crunch a response */
 270 typedef struct http_response *(*crunch_func_ptr)(struct client_state *);
 271
 272 /* Crunch function flags */
 273 #define CF_NO_FLAGS        0
 274 /* Cruncher applies to forced requests as well */
 275 #define CF_IGNORE_FORCE    1
 276 /* Crunched requests are counted for the block statistics */
 277 #define CF_COUNT_AS_REJECT 2
 278
 279 /* A crunch function and its flags */
 280 struct cruncher
 281 {
 282    const crunch_func_ptr cruncher;
 283    const int flags;
 284 };
 285
 286 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[]);
 287
 288 /* Complete list of cruncher functions */
 289 static const struct cruncher crunchers_all[] = {
 290    { direct_response, CF_COUNT_AS_REJECT|CF_IGNORE_FORCE},
 291    { block_url,       CF_COUNT_AS_REJECT },
 292 #ifdef FEATURE_TRUST
 293    { trust_url,       CF_COUNT_AS_REJECT },
 294 #endif /* def FEATURE_TRUST */
 295    { redirect_url,    CF_NO_FLAGS  },
 296    { dispatch_cgi,    CF_IGNORE_FORCE},
 297    { NULL,            0 }
 298 };
 299
 300 /* Light version, used after tags are applied */
 301 static const struct cruncher crunchers_light[] = {
 302    { block_url,       CF_COUNT_AS_REJECT },
 303    { redirect_url,    CF_NO_FLAGS },
 304    { NULL,            0 }
 305 };
 306
 307
 308 /*
 309  * XXX: Don't we really mean
 310  *
 311  * #if defined(unix)
 312  *
 313  * here?
 314  */
 315 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
 316 /*********************************************************************
 317  *
 318  * Function    :  sig_handler
 319  *
 320  * Description :  Signal handler for different signals.
 321  *                Exit gracefully on TERM and INT
 322  *                or set a flag that will cause the errlog
 323  *                to be reopened by the main thread on HUP.
 324  *
 325  * Parameters  :
 326  *          1  :  the_signal = the signal cause this function to call
 327  *
 328  * Returns     :  -
 329  *
 330  *********************************************************************/
 331 static void sig_handler(int the_signal)
 332 {
 333    switch(the_signal)
 334    {
 335       case SIGTERM:
 336       case SIGINT:
 337          log_error(LOG_LEVEL_INFO, "exiting by signal %d .. bye", the_signal);
 338 #if defined(unix)
 339          if(pidfile)
 340          {
 341             unlink(pidfile);
 342          }
 343 #endif /* unix */
 344          exit(the_signal);
 345          break;
 346
 347       case SIGHUP:
 348 #if defined(unix)
 349          received_hup_signal = 1;
 350 #endif
 351          break;
 352
 353       default:
 354          /*
 355           * We shouldn't be here, unless we catch signals
 356           * in main() that we can't handle here!
 357           */
 358          log_error(LOG_LEVEL_FATAL, "sig_handler: exiting on unexpected signal %d", the_signal);
 359    }
 360    return;
 361
 362 }
 363 #endif
 364
 365
 366 /*********************************************************************
 367  *
 368  * Function    :  client_protocol_is_unsupported
 369  *
 370  * Description :  Checks if the client used a known unsupported
 371  *                protocol and deals with it by sending an error
 372  *                response.
 373  *
 374  * Parameters  :
 375  *          1  :  csp = Current client state (buffers, headers, etc...)
 376  *          2  :  req = the first request line send by the client
 377  *
 378  * Returns     :  TRUE if an error response has been generated, or
 379  *                FALSE if the request doesn't look invalid.
 380  *
 381  *********************************************************************/
 382 static int client_protocol_is_unsupported(const struct client_state *csp, char *req)
 383 {
 384    /*
 385     * If it's a FTP or gopher request, we don't support it.
 386     *
 387     * These checks are better than nothing, but they might
 388     * not work in all configurations and some clients might
 389     * have problems digesting the answer.
 390     *
 391     * They should, however, never cause more problems than
 392     * Privoxy's old behaviour (returning the misleading HTML
 393     * error message:
 394     *
 395     * "Could not resolve http://(ftp|gopher)://example.org").
 396     */
 397    if (!strncmpic(req, "GET ftp://", 10) || !strncmpic(req, "GET gopher://", 13))
 398    {
 399       const char *response = NULL;
 400       const char *protocol = NULL;
 401
 402       if (!strncmpic(req, "GET ftp://", 10))
 403       {
 404          response = FTP_RESPONSE;
 405          protocol = "FTP";
 406       }
 407       else
 408       {
 409          response = GOPHER_RESPONSE;
 410          protocol = "GOPHER";
 411       }
 412       log_error(LOG_LEVEL_ERROR,
 413          "%s tried to use Privoxy as %s proxy: %s",
 414          csp->ip_addr_str, protocol, req);
 415       log_error(LOG_LEVEL_CLF,
 416          "%s - - [%T] \"%s\" 400 0", csp->ip_addr_str, req);
 417       freez(req);
 418       write_socket(csp->cfd, response, strlen(response));
 419
 420       return TRUE;
 421    }
 422
 423    return FALSE;
 424 }
 425
 426
 427 /*********************************************************************
 428  *
 429  * Function    :  get_request_destination_elsewhere
 430  *
 431  * Description :  If the client's request was redirected into
 432  *                Privoxy without the client's knowledge,
 433  *                the request line lacks the destination host.
 434  *
 435  *                This function tries to get it elsewhere,
 436  *                provided accept-intercepted-requests is enabled.
 437  *
 438  *                "Elsewhere" currently only means "Host: header",
 439  *                but in the future we may ask the redirecting
 440  *                packet filter to look the destination up.
 441  *
 442  *                If the destination stays unknown, an error
 443  *                response is send to the client and headers
 444  *                are freed so that chat() can return directly.
 445  *
 446  * Parameters  :
 447  *          1  :  csp = Current client state (buffers, headers, etc...)
 448  *          2  :  headers = a header list
 449  *
 450  * Returns     :  JB_ERR_OK if the destination is now known, or
 451  *                JB_ERR_PARSE if it isn't.
 452  *
 453  *********************************************************************/
 454 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers)
 455 {
 456    char *req;
 457
 458    if (!(csp->config->feature_flags & RUNTIME_FEATURE_ACCEPT_INTERCEPTED_REQUESTS))
 459    {
 460       log_error(LOG_LEVEL_ERROR, "%s's request: \'%s\' is invalid."
 461          " Privoxy isn't configured to accept intercepted requests.",
 462          csp->ip_addr_str, csp->http->cmd);
 463       /* XXX: Use correct size */
 464       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
 465          csp->ip_addr_str, csp->http->cmd);
 466
 467       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
 468       destroy_list(headers);
 469
 470       return JB_ERR_PARSE;
 471    }
 472    else if (JB_ERR_OK == get_destination_from_headers(headers, csp->http))
 473    {
 474 #ifndef FEATURE_EXTENDED_HOST_PATTERNS
 475       /* Split the domain we just got for pattern matching */
 476       init_domain_components(csp->http);
 477 #endif
 478
 479       return JB_ERR_OK;
 480    }
 481    else
 482    {
 483       /* We can't work without destination. Go spread the news.*/
 484
 485       req = list_to_text(headers);
 486       chomp(req);
 487       /* XXX: Use correct size */
 488       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
 489          csp->ip_addr_str, csp->http->cmd);
 490       log_error(LOG_LEVEL_ERROR,
 491          "Privoxy was unable to get the destination for %s's request:\n%s\n%s",
 492          csp->ip_addr_str, csp->http->cmd, req);
 493       freez(req);
 494
 495       write_socket(csp->cfd, MISSING_DESTINATION_RESPONSE, strlen(MISSING_DESTINATION_RESPONSE));
 496       destroy_list(headers);
 497
 498       return JB_ERR_PARSE;
 499    }
 500    /*
 501     * TODO: If available, use PF's ioctl DIOCNATLOOK as last resort
 502     * to get the destination IP address, use it as host directly
 503     * or do a reverse DNS lookup first.
 504     */
 505 }
 506
 507
 508 /*********************************************************************
 509  *
 510  * Function    :  get_server_headers
 511  *
 512  * Description :  Parses server headers in iob and fills them
 513  *                into csp->headers so that they can later be
 514  *                handled by sed().
 515  *
 516  * Parameters  :
 517  *          1  :  csp = Current client state (buffers, headers, etc...)
 518  *
 519  * Returns     :  JB_ERR_OK if everything went fine, or
 520  *                JB_ERR_PARSE if the headers were incomplete.
 521  *
 522  *********************************************************************/
 523 static jb_err get_server_headers(struct client_state *csp)
 524 {
 525    int continue_hack_in_da_house = 0;
 526    char * header;
 527
 528    while (((header = get_header(csp->iob)) != NULL) || continue_hack_in_da_house)
 529    {
 530       if (header == NULL)
 531       {
 532          /*
 533           * continue hack in da house. Ignore the ending of
 534           * this head and continue enlisting header lines.
 535           * The reason is described below.
 536           */
 537          enlist(csp->headers, "");
 538          continue_hack_in_da_house = 0;
 539          continue;
 540       }
 541       else if (0 == strncmpic(header, "HTTP/1.1 100", 12))
 542       {
 543          /*
 544           * It's a bodyless continue response, don't
 545           * stop header parsing after reaching its end.
 546           *
 547           * As a result Privoxy will concatenate the
 548           * next response's head and parse and deliver
 549           * the headers as if they belonged to one request.
 550           *
 551           * The client will separate them because of the
 552           * empty line between them.
 553           *
 554           * XXX: What we're doing here is clearly against
 555           * the intended purpose of the continue header,
 556           * and under some conditions (HTTP/1.0 client request)
 557           * it's a standard violation.
 558           *
 559           * Anyway, "sort of against the spec" is preferable
 560           * to "always getting confused by Continue responses"
 561           * (Privoxy's behaviour before this hack was added)
 562           */
 563          log_error(LOG_LEVEL_HEADER, "Continue hack in da house.");
 564          continue_hack_in_da_house = 1;
 565       }
 566       else if (*header == '\0')
 567       {
 568          /*
 569           * If the header is empty, but the Continue hack
 570           * isn't active, we can assume that we reached the
 571           * end of the buffer before we hit the end of the
 572           * head.
 573           *
 574           * Inform the caller an let it decide how to handle it.
 575           */
 576          return JB_ERR_PARSE;
 577       }
 578
 579       if (JB_ERR_MEMORY == enlist(csp->headers, header))
 580       {
 581          /*
 582           * XXX: Should we quit the request and return a
 583           * out of memory error page instead?
 584           */
 585          log_error(LOG_LEVEL_ERROR,
 586             "Out of memory while enlisting server headers. %s lost.",
 587             header);
 588       }
 589       freez(header);
 590    }
 591
 592    return JB_ERR_OK;
 593 }
 594
 595
 596 /*********************************************************************
 597  *
 598  * Function    :  crunch_reason
 599  *
 600  * Description :  Translates the crunch reason code into a string.
 601  *
 602  * Parameters  :
 603  *          1  :  rsp = a http_response
 604  *
 605  * Returns     :  A string with the crunch reason or an error description.
 606  *
 607  *********************************************************************/
 608 static const char *crunch_reason(const struct http_response *rsp)
 609 {
 610    char * reason = NULL;
 611
 612    assert(rsp != NULL);
 613    if (rsp == NULL)
 614    {
 615       return "Internal error while searching for crunch reason";
 616    }
 617
 618    switch (rsp->crunch_reason)
 619    {
 620       case UNSUPPORTED:
 621          reason = "Unsupported HTTP feature";
 622          break;
 623       case BLOCKED:
 624          reason = "Blocked";
 625          break;
 626       case UNTRUSTED:
 627          reason = "Untrusted";
 628          break;
 629       case REDIRECTED:
 630          reason = "Redirected";
 631          break;
 632       case CGI_CALL:
 633          reason = "CGI Call";
 634          break;
 635       case NO_SUCH_DOMAIN:
 636          reason = "DNS failure";
 637          break;
 638       case FORWARDING_FAILED:
 639          reason = "Forwarding failed";
 640          break;
 641       case CONNECT_FAILED:
 642          reason = "Connection failure";
 643          break;
 644       case OUT_OF_MEMORY:
 645          reason = "Out of memory (may mask other reasons)";
 646          break;
 647       case CONNECTION_TIMEOUT:
 648          reason = "Connection timeout";
 649          break;
 650       case NO_SERVER_DATA:
 651          reason = "No server data received";
 652          break;
 653       default:
 654          reason = "No reason recorded";
 655          break;
 656    }
 657
 658    return reason;
 659 }
 660
 661
 662 /*********************************************************************
 663  *
 664  * Function    :  send_crunch_response
 665  *
 666  * Description :  Delivers already prepared response for
 667  *                intercepted requests, logs the interception
 668  *                and frees the response.
 669  *
 670  * Parameters  :
 671  *          1  :  csp = Current client state (buffers, headers, etc...)
 672  *          1  :  rsp = Fully prepared response. Will be freed on exit.
 673  *
 674  * Returns     :  Nothing.
 675  *
 676  *********************************************************************/
 677 static void send_crunch_response(const struct client_state *csp, struct http_response *rsp)
 678 {
 679       const struct http_request *http = csp->http;
 680       char status_code[4];
 681
 682       assert(rsp != NULL);
 683       assert(rsp->head != NULL);
 684
 685       if (rsp == NULL)
 686       {
 687          log_error(LOG_LEVEL_FATAL, "NULL response in send_crunch_response.");
 688       }
 689
 690       /*
 691        * Extract the status code from the actual head
 692        * that will be send to the client. It is the only
 693        * way to get it right for all requests, including
 694        * the fixed ones for out-of-memory problems.
 695        *
 696        * A head starts like this: 'HTTP/1.1 200...'
 697        *                           0123456789|11
 698        *                                     10
 699        */
 700       status_code[0] = rsp->head[9];
 701       status_code[1] = rsp->head[10];
 702       status_code[2] = rsp->head[11];
 703       status_code[3] = '\0';
 704
 705       /* Log that the request was crunched and why. */
 706       log_error(LOG_LEVEL_CRUNCH, "%s: %s", crunch_reason(rsp), http->url);
 707       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" %s %u",
 708          csp->ip_addr_str, http->ocmd, status_code, rsp->content_length);
 709
 710       /* Write the answer to the client */
 711       if (write_socket(csp->cfd, rsp->head, rsp->head_length)
 712        || write_socket(csp->cfd, rsp->body, rsp->content_length))
 713       {
 714          /* There is nothing we can do about it. */
 715          log_error(LOG_LEVEL_ERROR,
 716             "Couldn't deliver the error message through client socket %d: %E",
 717             csp->cfd);
 718       }
 719
 720       /* Clean up and return */
 721       if (cgi_error_memory() != rsp)
 722       {
 723          free_http_response(rsp);
 724       }
 725       return;
 726 }
 727
 728
 729 /*********************************************************************
 730  *
 731  * Function    :  crunch_response_triggered
 732  *
 733  * Description :  Checks if the request has to be crunched,
 734  *                and delivers the crunch response if necessary.
 735  *
 736  * Parameters  :
 737  *          1  :  csp = Current client state (buffers, headers, etc...)
 738  *          2  :  crunchers = list of cruncher functions to run
 739  *
 740  * Returns     :  TRUE if the request was answered with a crunch response
 741  *                FALSE otherwise.
 742  *
 743  *********************************************************************/
 744 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[])
 745 {
 746    struct http_response *rsp = NULL;
 747    const struct cruncher *c;
 748
 749    /*
 750     * If CGI request crunching is disabled,
 751     * check the CGI dispatcher out of order to
 752     * prevent unintentional blocks or redirects.
 753     */
 754    if (!(csp->config->feature_flags & RUNTIME_FEATURE_CGI_CRUNCHING)
 755        && (NULL != (rsp = dispatch_cgi(csp))))
 756    {
 757       /* Deliver, log and free the interception response. */
 758       send_crunch_response(csp, rsp);
 759       csp->flags |= CSP_FLAG_CRUNCHED;
 760       return TRUE;
 761    }
 762
 763    for (c = crunchers; c->cruncher != NULL; c++)
 764    {
 765       /*
 766        * Check the cruncher if either Privoxy is toggled
 767        * on and the request isn't forced, or if the cruncher
 768        * applies to forced requests as well.
 769        */
 770       if (((csp->flags & CSP_FLAG_TOGGLED_ON) &&
 771           !(csp->flags & CSP_FLAG_FORCED)) ||
 772           (c->flags & CF_IGNORE_FORCE))
 773       {
 774          rsp = c->cruncher(csp);
 775          if (NULL != rsp)
 776          {
 777             /* Deliver, log and free the interception response. */
 778             send_crunch_response(csp, rsp);
 779             csp->flags |= CSP_FLAG_CRUNCHED;
 780 #ifdef FEATURE_STATISTICS
 781             if (c->flags & CF_COUNT_AS_REJECT)
 782             {
 783                csp->flags |= CSP_FLAG_REJECTED;
 784             }
 785 #endif /* def FEATURE_STATISTICS */
 786
 787             return TRUE;
 788          }
 789       }
 790    }
 791
 792    return FALSE;
 793 }
 794
 795
 796 /*********************************************************************
 797  *
 798  * Function    :  build_request_line
 799  *
 800  * Description :  Builds the HTTP request line.
 801  *
 802  *                If a HTTP forwarder is used it expects the whole URL,
 803  *                web servers only get the path.
 804  *
 805  * Parameters  :
 806  *          1  :  csp = Current client state (buffers, headers, etc...)
 807  *          2  :  fwd = The forwarding spec used for the request
 808  *                XXX: Should use http->fwd instead.
 809  *          3  :  request_line = The old request line which will be replaced.
 810  *
 811  * Returns     :  Nothing. Terminates in case of memory problems.
 812  *
 813  *********************************************************************/
 814 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line)
 815 {
 816    struct http_request *http = csp->http;
 817
 818    assert(http->ssl == 0);
 819
 820    /*
 821     * Downgrade http version from 1.1 to 1.0
 822     * if +downgrade action applies.
 823     */
 824    if ( (csp->action->flags & ACTION_DOWNGRADE)
 825      && (!strcmpic(http->ver, "HTTP/1.1")))
 826    {
 827       freez(http->ver);
 828       http->ver = strdup("HTTP/1.0");
 829
 830       if (http->ver == NULL)
 831       {
 832          log_error(LOG_LEVEL_FATAL, "Out of memory downgrading HTTP version");
 833       }
 834    }
 835
 836    /*
 837     * Rebuild the request line.
 838     */
 839    freez(*request_line);
 840    *request_line = strdup(http->gpc);
 841    string_append(request_line, " ");
 842
 843    if (fwd->forward_host)
 844    {
 845       string_append(request_line, http->url);
 846    }
 847    else
 848    {
 849       string_append(request_line, http->path);
 850    }
 851    string_append(request_line, " ");
 852    string_append(request_line, http->ver);
 853
 854    if (*request_line == NULL)
 855    {
 856       log_error(LOG_LEVEL_FATAL, "Out of memory writing HTTP command");
 857    }
 858    log_error(LOG_LEVEL_HEADER, "New HTTP Request-Line: %s", *request_line);
 859 }
 860
 861
 862 /*********************************************************************
 863  *
 864  * Function    :  change_request_destination
 865  *
 866  * Description :  Parse a (rewritten) request line and regenerate
 867  *                the http request data.
 868  *
 869  * Parameters  :
 870  *          1  :  csp = Current client state (buffers, headers, etc...)
 871  *
 872  * Returns     :  Forwards the parse_http_request() return code.
 873  *                Terminates in case of memory problems.
 874  *
 875  *********************************************************************/
 876 static jb_err change_request_destination(struct client_state *csp)
 877 {
 878    struct http_request *http = csp->http;
 879    jb_err err;
 880
 881    log_error(LOG_LEVEL_INFO, "Rewrite detected: %s", csp->headers->first->str);
 882    free_http_request(http);
 883    err = parse_http_request(csp->headers->first->str, http);
 884    if (JB_ERR_OK != err)
 885    {
 886       log_error(LOG_LEVEL_ERROR, "Couldn't parse rewritten request: %s.",
 887          jb_err_to_string(err));
 888    }
 889    else
 890    {
 891       /* XXX: ocmd is a misleading name */
 892       http->ocmd = strdup(http->cmd);
 893       if (http->ocmd == NULL)
 894       {
 895          log_error(LOG_LEVEL_FATAL,
 896             "Out of memory copying rewritten HTTP request line");
 897       }
 898    }
 899
 900    return err;
 901 }
 902
 903
 904 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
 905 /*********************************************************************
 906  *
 907  * Function    :  server_response_is_complete
 908  *
 909  * Description :  Determines whether we should stop reading
 910  *                from the server socket.
 911  *
 912  * Parameters  :
 913  *          1  :  csp = Current client state (buffers, headers, etc...)
 914  *          2  :  content_length = Length of content received so far.
 915  *
 916  * Returns     :  TRUE if the response is complete,
 917  *                FALSE otherwise.
 918  *
 919  *********************************************************************/
 920 static int server_response_is_complete(struct client_state *csp,
 921    unsigned long long content_length)
 922 {
 923    int content_length_known = !!(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET);
 924
 925    if (!strcmpic(csp->http->gpc, "HEAD"))
 926    {
 927       /*
 928        * "HEAD" implies no body, we are thus expecting
 929        * no content. XXX: incomplete "list" of methods?
 930        */
 931       csp->expected_content_length = 0;
 932       content_length_known = TRUE;
 933    }
 934
 935    if (csp->http->status == 204 || csp->http->status == 304)
 936    {
 937       /*
 938        * Expect no body. XXX: incomplete "list" of status codes?
 939        */
 940       csp->expected_content_length = 0;
 941       content_length_known = TRUE;
 942    }
 943
 944    return (content_length_known && ((0 == csp->expected_content_length)
 945             || (csp->expected_content_length <= content_length)));
 946 }
 947
 948
 949 #ifdef FEATURE_CONNECTION_SHARING
 950 /*********************************************************************
 951  *
 952  * Function    :  wait_for_alive_connections
 953  *
 954  * Description :  Waits for alive connections to timeout.
 955  *
 956  * Parameters  :  N/A
 957  *
 958  * Returns     :  N/A
 959  *
 960  *********************************************************************/
 961 static void wait_for_alive_connections(void)
 962 {
 963    int connections_alive = close_unusable_connections();
 964
 965    while (0 < connections_alive)
 966    {
 967       log_error(LOG_LEVEL_CONNECT,
 968          "Waiting for %d connections to timeout.",
 969          connections_alive);
 970       sleep(60);
 971       connections_alive = close_unusable_connections();
 972    }
 973
 974    log_error(LOG_LEVEL_CONNECT, "No connections to wait for left.");
 975
 976 }
 977 #endif /* def FEATURE_CONNECTION_SHARING */
 978
 979
 980 /*********************************************************************
 981  *
 982  * Function    :  save_connection_destination
 983  *
 984  * Description :  Remembers a connection for reuse later on.
 985  *
 986  * Parameters  :
 987  *          1  :  sfd  = Open socket to remember.
 988  *          2  :  http = The destination for the connection.
 989  *          3  :  fwd  = The forwarder settings used.
 990  *          3  :  server_connection  = storage.
 991  *
 992  * Returns     : void
 993  *
 994  *********************************************************************/
 995 void save_connection_destination(jb_socket sfd,
 996                                  const struct http_request *http,
 997                                  const struct forward_spec *fwd,
 998                                  struct reusable_connection *server_connection)
 999 {
1000    assert(sfd != JB_INVALID_SOCKET);
1001    assert(NULL != http->host);
1002
1003    server_connection->sfd = sfd;
1004    server_connection->host = strdup(http->host);
1005    if (NULL == server_connection->host)
1006    {
1007       log_error(LOG_LEVEL_FATAL, "Out of memory saving socket.");
1008    }
1009    server_connection->port = http->port;
1010
1011    assert(NULL != fwd);
1012    assert(server_connection->gateway_host == NULL);
1013    assert(server_connection->gateway_port == 0);
1014    assert(server_connection->forwarder_type == 0);
1015    assert(server_connection->forward_host == NULL);
1016    assert(server_connection->forward_port == 0);
1017
1018    server_connection->forwarder_type = fwd->type;
1019    if (NULL != fwd->gateway_host)
1020    {
1021       server_connection->gateway_host = strdup(fwd->gateway_host);
1022       if (NULL == server_connection->gateway_host)
1023       {
1024          log_error(LOG_LEVEL_FATAL, "Out of memory saving gateway_host.");
1025       }
1026    }
1027    else
1028    {
1029       server_connection->gateway_host = NULL;
1030    }
1031    server_connection->gateway_port = fwd->gateway_port;
1032
1033    if (NULL != fwd->forward_host)
1034    {
1035       server_connection->forward_host = strdup(fwd->forward_host);
1036       if (NULL == server_connection->forward_host)
1037       {
1038          log_error(LOG_LEVEL_FATAL, "Out of memory saving forward_host.");
1039       }
1040    }
1041    else
1042    {
1043       server_connection->forward_host = NULL;
1044    }
1045    server_connection->forward_port = fwd->forward_port;
1046 }
1047
1048
1049 /*********************************************************************
1050  *
1051  * Function    : verify_request_length
1052  *
1053  * Description : Checks if we already got the whole client requests
1054  *               and sets CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ if
1055  *               we do.
1056  *
1057  *               Data that doesn't belong to the current request is
1058  *               thrown away to let the client retry on a clean socket.
1059  *
1060  *               XXX: This is a hack until we can deal with multiple
1061  *                    pipelined requests at the same time.
1062  *
1063  *
1064  * Parameters  :
1065  *          1  :  csp = Current client state (buffers, headers, etc...)
1066  *
1067  * Returns     :  void
1068  *
1069  *********************************************************************/
1070 static void verify_request_length(struct client_state *csp)
1071 {
1072    unsigned long long buffered_request_bytes =
1073       (unsigned long long)(csp->iob->eod - csp->iob->cur);
1074
1075    if ((csp->expected_client_content_length != 0)
1076       && (buffered_request_bytes != 0))
1077    {
1078       if (csp->expected_client_content_length >= buffered_request_bytes)
1079       {
1080          csp->expected_client_content_length -= buffered_request_bytes;
1081          log_error(LOG_LEVEL_CONNECT, "Reduced expected bytes to %llu "
1082             "to account for the %llu ones we already got.",
1083             csp->expected_client_content_length, buffered_request_bytes);
1084       }
1085       else
1086       {
1087          assert(csp->iob->eod > csp->iob->cur + csp->expected_client_content_length);
1088          csp->iob->eod = csp->iob->cur + csp->expected_client_content_length;
1089          log_error(LOG_LEVEL_CONNECT, "Reducing expected bytes to 0. "
1090             "Marking the server socket tainted after throwing %llu bytes away.",
1091             buffered_request_bytes - csp->expected_client_content_length);
1092          csp->expected_client_content_length = 0;
1093          csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1094       }
1095
1096       if (csp->expected_client_content_length == 0)
1097       {
1098          csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1099       }
1100    }
1101
1102    if (!(csp->flags & CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ)
1103     && ((csp->iob->cur[0] != '\0') || (csp->expected_client_content_length != 0)))
1104    {
1105       csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1106       if (strcmpic(csp->http->gpc, "GET")
1107          && strcmpic(csp->http->gpc, "HEAD")
1108          && strcmpic(csp->http->gpc, "TRACE")
1109          && strcmpic(csp->http->gpc, "OPTIONS")
1110          && strcmpic(csp->http->gpc, "DELETE"))
1111       {
1112          /* XXX: this is an incomplete hack */
1113          csp->flags &= ~CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1114          log_error(LOG_LEVEL_CONNECT,
1115             "There might be a request body. The connection will not be kept alive.");
1116       }
1117       else
1118       {
1119          /* XXX: and so is this */
1120          csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1121          log_error(LOG_LEVEL_CONNECT,
1122             "Possible pipeline attempt detected. The connection will not "
1123             "be kept alive and we will only serve the first request.");
1124          /* Nuke the pipelined requests from orbit, just to be sure. */
1125          csp->iob->buf[0] = '\0';
1126          csp->iob->eod = csp->iob->cur = csp->iob->buf;
1127       }
1128    }
1129    else
1130    {
1131       csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1132       log_error(LOG_LEVEL_CONNECT, "Complete client request received.");
1133    }
1134 }
1135 #endif /* FEATURE_CONNECTION_KEEP_ALIVE */
1136
1137
1138 /*********************************************************************
1139  *
1140  * Function    :  mark_server_socket_tainted
1141  *
1142  * Description :  Makes sure we don't reuse a server socket
1143  *                (if we didn't read everything the server sent
1144  *                us reusing the socket would lead to garbage).
1145  *
1146  * Parameters  :
1147  *          1  :  csp = Current client state (buffers, headers, etc...)
1148  *
1149  * Returns     :  void.
1150  *
1151  *********************************************************************/
1152 static void mark_server_socket_tainted(struct client_state *csp)
1153 {
1154    if ((csp->flags & CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE)
1155       && !(csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED))
1156    {
1157       log_error(LOG_LEVEL_CONNECT,
1158          "Marking the server socket %d tainted.",
1159          csp->server_connection.sfd);
1160       csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1161    }
1162 }
1163
1164 /*********************************************************************
1165  *
1166  * Function    :  get_request_line
1167  *
1168  * Description : Read the client request line.
1169  *
1170  * Parameters  :
1171  *          1  :  csp = Current client state (buffers, headers, etc...)
1172  *
1173  * Returns     :  Pointer to request line or NULL in case of errors.
1174  *
1175  *********************************************************************/
1176 static char *get_request_line(struct client_state *csp)
1177 {
1178    char buf[BUFFER_SIZE];
1179    char *request_line = NULL;
1180    int len;
1181
1182    memset(buf, 0, sizeof(buf));
1183
1184    do
1185    {
1186       if (!data_is_available(csp->cfd, csp->config->socket_timeout))
1187       {
1188          log_error(LOG_LEVEL_CONNECT,
1189             "Stopped waiting for the request line. Timeout: %d.",
1190             csp->config->socket_timeout);
1191          write_socket(csp->cfd, CLIENT_CONNECTION_TIMEOUT_RESPONSE,
1192             strlen(CLIENT_CONNECTION_TIMEOUT_RESPONSE));
1193          return NULL;
1194       }
1195
1196       len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
1197
1198       if (len <= 0) return NULL;
1199
1200       /*
1201        * If there is no memory left for buffering the
1202        * request, there is nothing we can do but hang up
1203        */
1204       if (add_to_iob(csp, buf, len))
1205       {
1206          return NULL;
1207       }
1208
1209       request_line = get_header(csp->iob);
1210
1211    } while ((NULL != request_line) && ('\0' == *request_line));
1212
1213    return request_line;
1214
1215 }
1216
1217
1218 /*********************************************************************
1219  *
1220  * Function    :  receive_client_request
1221  *
1222  * Description : Read the client's request (more precisely the
1223  *               client headers) and answer it if necessary.
1224  *
1225  *               Note that since we're not using select() we could get
1226  *               blocked here if a client connected, then didn't say
1227  *               anything!
1228  *
1229  * Parameters  :
1230  *          1  :  csp = Current client state (buffers, headers, etc...)
1231  *
1232  * Returns     :  JB_ERR_OK, JB_ERR_PARSE or JB_ERR_MEMORY
1233  *
1234  *********************************************************************/
1235 static jb_err receive_client_request(struct client_state *csp)
1236 {
1237    char buf[BUFFER_SIZE];
1238    char *p;
1239    char *req = NULL;
1240    struct http_request *http;
1241    int len;
1242    jb_err err;
1243
1244    /* Temporary copy of the client's headers before they get enlisted in csp->headers */
1245    struct list header_list;
1246    struct list *headers = &header_list;
1247
1248    http = csp->http;
1249
1250    memset(buf, 0, sizeof(buf));
1251
1252    req = get_request_line(csp);
1253    if (req == NULL)
1254    {
1255       mark_server_socket_tainted(csp);
1256       return JB_ERR_PARSE;
1257    }
1258    assert(*req != '\0');
1259
1260    if (client_protocol_is_unsupported(csp, req))
1261    {
1262       return JB_ERR_PARSE;
1263    }
1264
1265 #ifdef FEATURE_FORCE_LOAD
1266    /*
1267     * If this request contains the FORCE_PREFIX and blocks
1268     * aren't enforced, get rid of it and set the force flag.
1269     */
1270    if (strstr(req, FORCE_PREFIX))
1271    {
1272       if (csp->config->feature_flags & RUNTIME_FEATURE_ENFORCE_BLOCKS)
1273       {
1274          log_error(LOG_LEVEL_FORCE,
1275             "Ignored force prefix in request: \"%s\".", req);
1276       }
1277       else
1278       {
1279          strclean(req, FORCE_PREFIX);
1280          log_error(LOG_LEVEL_FORCE, "Enforcing request: \"%s\".", req);
1281          csp->flags |= CSP_FLAG_FORCED;
1282       }
1283    }
1284 #endif /* def FEATURE_FORCE_LOAD */
1285
1286    err = parse_http_request(req, http);
1287    freez(req);
1288    if (JB_ERR_OK != err)
1289    {
1290       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
1291       /* XXX: Use correct size */
1292       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"Invalid request\" 400 0", csp->ip_addr_str);
1293       log_error(LOG_LEVEL_ERROR,
1294          "Couldn't parse request line received from %s: %s",
1295          csp->ip_addr_str, jb_err_to_string(err));
1296
1297       free_http_request(http);
1298       return JB_ERR_PARSE;
1299    }
1300
1301    /* grab the rest of the client's headers */
1302    init_list(headers);
1303    for (;;)
1304    {
1305       p = get_header(csp->iob);
1306
1307       if (p == NULL)
1308       {
1309          /* There are no additional headers to read. */
1310          break;
1311       }
1312
1313       if (*p == '\0')
1314       {
1315          /*
1316           * We didn't receive a complete header
1317           * line yet, get the rest of it.
1318           */
1319          if (!data_is_available(csp->cfd, csp->config->socket_timeout))
1320          {
1321             log_error(LOG_LEVEL_ERROR,
1322                "Stopped grabbing the client headers.");
1323             destroy_list(headers);
1324             return JB_ERR_PARSE;
1325          }
1326
1327          len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
1328          if (len <= 0)
1329          {
1330             log_error(LOG_LEVEL_ERROR, "read from client failed: %E");
1331             destroy_list(headers);
1332             return JB_ERR_PARSE;
1333          }
1334
1335          if (add_to_iob(csp, buf, len))
1336          {
1337             /*
1338              * If there is no memory left for buffering the
1339              * request, there is nothing we can do but hang up
1340              */
1341             destroy_list(headers);
1342             return JB_ERR_MEMORY;
1343          }
1344       }
1345       else
1346       {
1347          /*
1348           * We were able to read a complete
1349           * header and can finaly enlist it.
1350           */
1351          enlist(headers, p);
1352          freez(p);
1353       }
1354    }
1355
1356    if (http->host == NULL)
1357    {
1358       /*
1359        * If we still don't know the request destination,
1360        * the request is invalid or the client uses
1361        * Privoxy without its knowledge.
1362        */
1363       if (JB_ERR_OK != get_request_destination_elsewhere(csp, headers))
1364       {
1365          /*
1366           * Our attempts to get the request destination
1367           * elsewhere failed or Privoxy is configured
1368           * to only accept proxy requests.
1369           *
1370           * An error response has already been send
1371           * and we're done here.
1372           */
1373          return JB_ERR_PARSE;
1374       }
1375    }
1376
1377    /*
1378     * Determine the actions for this URL
1379     */
1380 #ifdef FEATURE_TOGGLE
1381    if (!(csp->flags & CSP_FLAG_TOGGLED_ON))
1382    {
1383       /* Most compatible set of actions (i.e. none) */
1384       init_current_action(csp->action);
1385    }
1386    else
1387 #endif /* ndef FEATURE_TOGGLE */
1388    {
1389       get_url_actions(csp, http);
1390    }
1391
1392    /*
1393     * Save a copy of the original request for logging
1394     */
1395    http->ocmd = strdup(http->cmd);
1396    if (http->ocmd == NULL)
1397    {
1398       log_error(LOG_LEVEL_FATAL,
1399          "Out of memory copying HTTP request line");
1400    }
1401    enlist(csp->headers, http->cmd);
1402
1403    /* Append the previously read headers */
1404    list_append_list_unique(csp->headers, headers);
1405    destroy_list(headers);
1406
1407    return JB_ERR_OK;
1408
1409 }
1410
1411
1412 /*********************************************************************
1413  *
1414  * Function    : parse_client_request
1415  *
1416  * Description : Parses the client's request and decides what to do
1417  *               with it.
1418  *
1419  *               Note that since we're not using select() we could get
1420  *               blocked here if a client connected, then didn't say
1421  *               anything!
1422  *
1423  * Parameters  :
1424  *          1  :  csp = Current client state (buffers, headers, etc...)
1425  *
1426  * Returns     :  JB_ERR_OK or JB_ERR_PARSE
1427  *
1428  *********************************************************************/
1429 static jb_err parse_client_request(struct client_state *csp)
1430 {
1431    struct http_request *http = csp->http;
1432    jb_err err;
1433
1434 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1435    if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
1436     && (!strcmpic(csp->http->ver, "HTTP/1.1"))
1437     && (csp->http->ssl == 0))
1438    {
1439       /* Assume persistence until further notice */
1440       csp->flags |= CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
1441    }
1442 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1443
1444    err = sed(csp, FILTER_CLIENT_HEADERS);
1445    if (JB_ERR_OK != err)
1446    {
1447       /* XXX: Should be handled in sed(). */
1448       assert(err == JB_ERR_PARSE);
1449       log_error(LOG_LEVEL_FATAL, "Failed to parse client headers.");
1450    }
1451    csp->flags |= CSP_FLAG_CLIENT_HEADER_PARSING_DONE;
1452
1453    /* Check request line for rewrites. */
1454    if ((NULL == csp->headers->first->str)
1455       || (strcmp(http->cmd, csp->headers->first->str) &&
1456          (JB_ERR_OK != change_request_destination(csp))))
1457    {
1458       /*
1459        * A header filter broke the request line - bail out.
1460        */
1461       write_socket(csp->cfd, MESSED_UP_REQUEST_RESPONSE, strlen(MESSED_UP_REQUEST_RESPONSE));
1462       /* XXX: Use correct size */
1463       log_error(LOG_LEVEL_CLF,
1464          "%s - - [%T] \"Invalid request generated\" 500 0", csp->ip_addr_str);
1465       log_error(LOG_LEVEL_ERROR,
1466          "Invalid request line after applying header filters.");
1467       free_http_request(http);
1468
1469       return JB_ERR_PARSE;
1470    }
1471
1472 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1473    if (csp->http->ssl == 0)
1474    {
1475       verify_request_length(csp);
1476    }
1477 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1478
1479    return JB_ERR_OK;
1480
1481 }
1482
1483
1484 /*********************************************************************
1485  *
1486  * Function    :  chat
1487  *
1488  * Description :  Once a connection from the client has been accepted,
1489  *                this function is called (via serve()) to handle the
1490  *                main business of the communication.  This function
1491  *                returns after dealing with a single request. It can
1492  *                be called multiple times witht the same client socket
1493  *                if the client is keeping the connection alive.
1494  *
1495  *                The decision whether or not a client connection will
1496  *                be kept alive is up to the caller which also must
1497  *                close the client socket when done.
1498  *
1499  *                FIXME: chat is nearly thousand lines long.
1500  *                Ridiculous.
1501  *
1502  * Parameters  :
1503  *          1  :  csp = Current client state (buffers, headers, etc...)
1504  *
1505  * Returns     :  Nothing.
1506  *
1507  *********************************************************************/
1508 static void chat(struct client_state *csp)
1509 {
1510    char buf[BUFFER_SIZE];
1511    char *hdr;
1512    char *p;
1513    fd_set rfds;
1514    int n;
1515    jb_socket maxfd;
1516    int server_body;
1517    int ms_iis5_hack = 0;
1518    unsigned long long byte_count = 0;
1519    int forwarded_connect_retries = 0;
1520    int max_forwarded_connect_retries = csp->config->forwarded_connect_retries;
1521    const struct forward_spec *fwd;
1522    struct http_request *http;
1523    long len = 0; /* for buffer sizes (and negative error codes) */
1524
1525    /* Function that does the content filtering for the current request */
1526    filter_function_ptr content_filter = NULL;
1527
1528    /* Skeleton for HTTP response, if we should intercept the request */
1529    struct http_response *rsp;
1530    struct timeval timeout;
1531 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1532    int watch_client_socket = 1;
1533 #endif
1534
1535    memset(buf, 0, sizeof(buf));
1536
1537    http = csp->http;
1538
1539    if (receive_client_request(csp) != JB_ERR_OK)
1540    {
1541       return;
1542    }
1543    if (parse_client_request(csp) != JB_ERR_OK)
1544    {
1545       return;
1546    }
1547
1548    /* decide how to route the HTTP request */
1549    fwd = forward_url(csp, http);
1550    if (NULL == fwd)
1551    {
1552       log_error(LOG_LEVEL_FATAL, "gateway spec is NULL!?!?  This can't happen!");
1553       /* Never get here - LOG_LEVEL_FATAL causes program exit */
1554       return;
1555    }
1556
1557    /*
1558     * build the http request to send to the server
1559     * we have to do one of the following:
1560     *
1561     * create = use the original HTTP request to create a new
1562     *          HTTP request that has either the path component
1563     *          without the http://domainspec (w/path) or the
1564     *          full orininal URL (w/url)
1565     *          Note that the path and/or the HTTP version may
1566     *          have been altered by now.
1567     *
1568     * connect = Open a socket to the host:port of the server
1569     *           and short-circuit server and client socket.
1570     *
1571     * pass =  Pass the request unchanged if forwarding a CONNECT
1572     *         request to a parent proxy. Note that we'll be sending
1573     *         the CFAIL message ourselves if connecting to the parent
1574     *         fails, but we won't send a CSUCCEED message if it works,
1575     *         since that would result in a double message (ours and the
1576     *         parent's). After sending the request to the parent, we simply
1577     *         tunnel.
1578     *
1579     * here's the matrix:
1580     *                        SSL
1581     *                    0        1
1582     *                +--------+--------+
1583     *                |        |        |
1584     *             0  | create | connect|
1585     *                | w/path |        |
1586     *  Forwarding    +--------+--------+
1587     *                |        |        |
1588     *             1  | create | pass   |
1589     *                | w/url  |        |
1590     *                +--------+--------+
1591     *
1592     */
1593
1594    if (http->ssl && connect_port_is_forbidden(csp))
1595    {
1596       const char *acceptable_connect_ports =
1597          csp->action->string[ACTION_STRING_LIMIT_CONNECT];
1598       assert(NULL != acceptable_connect_ports);
1599       log_error(LOG_LEVEL_INFO, "Request from %s marked for blocking. "
1600          "limit-connect{%s} doesn't allow CONNECT requests to port %d.",
1601          csp->ip_addr_str, acceptable_connect_ports, csp->http->port);
1602       csp->action->flags |= ACTION_BLOCK;
1603       http->ssl = 0;
1604    }
1605
1606    if (http->ssl == 0)
1607    {
1608       freez(csp->headers->first->str);
1609       build_request_line(csp, fwd, &csp->headers->first->str);
1610    }
1611
1612    /*
1613     * We have a request. Check if one of the crunchers wants it.
1614     */
1615    if (crunch_response_triggered(csp, crunchers_all))
1616    {
1617       /*
1618        * Yes. The client got the crunch response and we're done here.
1619        */
1620       return;
1621    }
1622
1623    log_error(LOG_LEVEL_GPC, "%s%s", http->hostport, http->path);
1624
1625    if (fwd->forward_host)
1626    {
1627       log_error(LOG_LEVEL_CONNECT, "via [%s]:%d to: %s",
1628          fwd->forward_host, fwd->forward_port, http->hostport);
1629    }
1630    else
1631    {
1632       log_error(LOG_LEVEL_CONNECT, "to %s", http->hostport);
1633    }
1634
1635    /* here we connect to the server, gateway, or the forwarder */
1636
1637 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1638    if ((csp->server_connection.sfd != JB_INVALID_SOCKET)
1639       && socket_is_still_alive(csp->server_connection.sfd)
1640       && connection_destination_matches(&csp->server_connection, http, fwd))
1641    {
1642       log_error(LOG_LEVEL_CONNECT,
1643          "Reusing server socket %u. Opened for %s.",
1644          csp->server_connection.sfd, csp->server_connection.host);
1645    }
1646    else
1647    {
1648       if (csp->server_connection.sfd != JB_INVALID_SOCKET)
1649       {
1650          log_error(LOG_LEVEL_CONNECT,
1651             "Closing server socket %u. Opened for %s.",
1652             csp->server_connection.sfd, csp->server_connection.host);
1653          close_socket(csp->server_connection.sfd);
1654          mark_connection_closed(&csp->server_connection);
1655       }
1656 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1657
1658       while ((csp->server_connection.sfd = forwarded_connect(fwd, http, csp))
1659          && (errno == EINVAL)
1660          && (forwarded_connect_retries++ < max_forwarded_connect_retries))
1661       {
1662          log_error(LOG_LEVEL_ERROR,
1663             "failed request #%u to connect to %s. Trying again.",
1664             forwarded_connect_retries, http->hostport);
1665       }
1666
1667       if (csp->server_connection.sfd == JB_INVALID_SOCKET)
1668       {
1669          if (fwd->type != SOCKS_NONE)
1670          {
1671             /* Socks error. */
1672             rsp = error_response(csp, "forwarding-failed");
1673          }
1674          else if (errno == EINVAL)
1675          {
1676             rsp = error_response(csp, "no-such-domain");
1677          }
1678          else
1679          {
1680             rsp = error_response(csp, "connect-failed");
1681             log_error(LOG_LEVEL_CONNECT, "connect to: %s failed: %E",
1682                http->hostport);
1683          }
1684
1685          /* Write the answer to the client */
1686          if (rsp != NULL)
1687          {
1688             send_crunch_response(csp, rsp);
1689          }
1690
1691          return;
1692       }
1693 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1694       save_connection_destination(csp->server_connection.sfd,
1695          http, fwd, &csp->server_connection);
1696       csp->server_connection.keep_alive_timeout =
1697          (unsigned)csp->config->keep_alive_timeout;
1698    }
1699 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1700
1701    hdr = list_to_text(csp->headers);
1702    if (hdr == NULL)
1703    {
1704       /* FIXME Should handle error properly */
1705       log_error(LOG_LEVEL_FATAL, "Out of memory parsing client header");
1706    }
1707    list_remove_all(csp->headers);
1708
1709    if (fwd->forward_host || (http->ssl == 0))
1710    {
1711       /*
1712        * Write the client's (modified) header to the server
1713        * (along with anything else that may be in the buffer)
1714        */
1715       if (write_socket(csp->server_connection.sfd, hdr, strlen(hdr))
1716        || (flush_socket(csp->server_connection.sfd, csp->iob) <  0))
1717       {
1718          log_error(LOG_LEVEL_CONNECT,
1719             "write header to: %s failed: %E", http->hostport);
1720
1721          rsp = error_response(csp, "connect-failed");
1722          if (rsp)
1723          {
1724             send_crunch_response(csp, rsp);
1725          }
1726
1727          freez(hdr);
1728          return;
1729       }
1730    }
1731    else
1732    {
1733       /*
1734        * We're running an SSL tunnel and we're not forwarding,
1735        * so just send the "connect succeeded" message to the
1736        * client, flush the rest, and get out of the way.
1737        */
1738       if (write_socket(csp->cfd, CSUCCEED, strlen(CSUCCEED)))
1739       {
1740          freez(hdr);
1741          return;
1742       }
1743       IOB_RESET(csp);
1744    }
1745
1746    log_error(LOG_LEVEL_CONNECT, "to %s successful", http->hostport);
1747
1748    csp->server_connection.request_sent = time(NULL);
1749
1750    /* we're finished with the client's header */
1751    freez(hdr);
1752
1753    maxfd = (csp->cfd > csp->server_connection.sfd) ?
1754       csp->cfd : csp->server_connection.sfd;
1755
1756    /* pass data between the client and server
1757     * until one or the other shuts down the connection.
1758     */
1759
1760    server_body = 0;
1761
1762    for (;;)
1763    {
1764 #ifdef __OS2__
1765       /*
1766        * FD_ZERO here seems to point to an errant macro which crashes.
1767        * So do this by hand for now...
1768        */
1769       memset(&rfds,0x00,sizeof(fd_set));
1770 #else
1771       FD_ZERO(&rfds);
1772 #endif
1773 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1774       if (!watch_client_socket)
1775       {
1776          maxfd = csp->server_connection.sfd;
1777       }
1778       else
1779 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1780       {
1781          FD_SET(csp->cfd, &rfds);
1782       }
1783
1784       FD_SET(csp->server_connection.sfd, &rfds);
1785
1786 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1787       if ((csp->flags & CSP_FLAG_CHUNKED)
1788          && !(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
1789          && ((csp->iob->eod - csp->iob->cur) >= 5)
1790          && !memcmp(csp->iob->eod-5, "0\r\n\r\n", 5))
1791       {
1792          /*
1793           * XXX: This check should be obsolete now,
1794           *      but let's wait a while to be sure.
1795           */
1796          log_error(LOG_LEVEL_CONNECT,
1797             "Looks like we got the last chunk together with "
1798             "the server headers but didn't detect it earlier. "
1799             "We better stop reading.");
1800          byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
1801          csp->expected_content_length = byte_count;
1802          csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
1803       }
1804       if (server_body && server_response_is_complete(csp, byte_count))
1805       {
1806          if (csp->expected_content_length == byte_count)
1807          {
1808             log_error(LOG_LEVEL_CONNECT,
1809                "Done reading from server. Content length: %llu as expected. "
1810                "Bytes most recently read: %d.",
1811                byte_count, len);
1812          }
1813          else
1814          {
1815             log_error(LOG_LEVEL_CONNECT,
1816                "Done reading from server. Expected content length: %llu. "
1817                "Actual content length: %llu. Bytes most recently read: %d.",
1818                csp->expected_content_length, byte_count, len);
1819          }
1820          len = 0;
1821          /*
1822           * XXX: should not jump around,
1823           * chat() is complicated enough already.
1824           */
1825          goto reading_done;
1826       }
1827 #endif  /* FEATURE_CONNECTION_KEEP_ALIVE */
1828
1829       timeout.tv_sec = csp->config->socket_timeout;
1830       timeout.tv_usec = 0;
1831       n = select((int)maxfd+1, &rfds, NULL, NULL, &timeout);
1832
1833       if (n == 0)
1834       {
1835          log_error(LOG_LEVEL_ERROR,
1836             "Didn't receive data in time: %s", http->url);
1837          if ((byte_count == 0) && (http->ssl == 0))
1838          {
1839             send_crunch_response(csp, error_response(csp, "connection-timeout"));
1840          }
1841          mark_server_socket_tainted(csp);
1842          return;
1843       }
1844       else if (n < 0)
1845       {
1846          log_error(LOG_LEVEL_ERROR, "select() failed!: %E");
1847          mark_server_socket_tainted(csp);
1848          return;
1849       }
1850
1851       /*
1852        * This is the body of the browser's request,
1853        * just read and write it.
1854        *
1855        * XXX: Make sure the client doesn't use pipelining
1856        * behind Privoxy's back.
1857        */
1858       if (FD_ISSET(csp->cfd, &rfds))
1859       {
1860          int max_bytes_to_read = sizeof(buf) - 1;
1861
1862 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1863          if ((csp->flags & CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ))
1864          {
1865             if (data_is_available(csp->cfd, 0))
1866             {
1867                /*
1868                 * If the next request is already waiting, we have
1869                 * to stop select()ing the client socket. Otherwise
1870                 * we would always return right away and get nothing
1871                 * else done.
1872                 */
1873                watch_client_socket = 0;
1874                log_error(LOG_LEVEL_CONNECT,
1875                   "Stopping to watch the client socket. "
1876                   "There's already another request waiting.");
1877                continue;
1878             }
1879             /*
1880              * If the client socket is set, but there's no data
1881              * available on the socket, the client went fishing
1882              * and continuing talking to the server makes no sense.
1883              */
1884             log_error(LOG_LEVEL_CONNECT,
1885                "The client closed socket %d while "
1886                "the server socket %d is still open.",
1887                csp->cfd, csp->server_connection.sfd);
1888             mark_server_socket_tainted(csp);
1889             break;
1890          }
1891          if (csp->expected_client_content_length != 0)
1892          {
1893             if (csp->expected_client_content_length < (sizeof(buf) - 1))
1894             {
1895                max_bytes_to_read = (int)csp->expected_client_content_length;
1896             }
1897             log_error(LOG_LEVEL_CONNECT,
1898                "Waiting for up to %d bytes from the client.",
1899                max_bytes_to_read);
1900          }
1901          assert(max_bytes_to_read < sizeof(buf));
1902 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1903
1904          len = read_socket(csp->cfd, buf, max_bytes_to_read);
1905
1906          if (len <= 0)
1907          {
1908             /* XXX: not sure if this is necessary. */
1909             mark_server_socket_tainted(csp);
1910             break; /* "game over, man" */
1911          }
1912
1913 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1914          if (csp->expected_client_content_length != 0)
1915          {
1916             assert(len <= max_bytes_to_read);
1917             csp->expected_client_content_length -= (unsigned)len;
1918             log_error(LOG_LEVEL_CONNECT,
1919                "Expected client content length set to %llu "
1920                "after reading %d bytes.",
1921                csp->expected_client_content_length, len);
1922             if (csp->expected_client_content_length == 0)
1923             {
1924                log_error(LOG_LEVEL_CONNECT,
1925                   "Done reading from the client.");
1926                csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1927             }
1928          }
1929 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1930
1931          if (write_socket(csp->server_connection.sfd, buf, (size_t)len))
1932          {
1933             log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
1934             mark_server_socket_tainted(csp);
1935             return;
1936          }
1937          continue;
1938       }
1939
1940       /*
1941        * The server wants to talk. It could be the header or the body.
1942        * If `hdr' is null, then it's the header otherwise it's the body.
1943        * FIXME: Does `hdr' really mean `host'? No.
1944        */
1945       if (FD_ISSET(csp->server_connection.sfd, &rfds))
1946       {
1947 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1948          if (!socket_is_still_alive(csp->cfd))
1949          {
1950 #ifdef _WIN32
1951             log_error(LOG_LEVEL_CONNECT,
1952                "The server still wants to talk, but the client may already have hung up on us.");
1953 #else
1954             log_error(LOG_LEVEL_CONNECT,
1955                "The server still wants to talk, but the client hung up on us.");
1956             mark_server_socket_tainted(csp);
1957             return;
1958 #endif /* def _WIN32 */
1959          }
1960 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1961
1962          fflush(NULL);
1963          len = read_socket(csp->server_connection.sfd, buf, sizeof(buf) - 1);
1964
1965          if (len < 0)
1966          {
1967             log_error(LOG_LEVEL_ERROR, "read from: %s failed: %E", http->host);
1968
1969             if (http->ssl && (fwd->forward_host == NULL))
1970             {
1971                /*
1972                 * Just hang up. We already confirmed the client's CONNECT
1973                 * request with status code 200 and unencrypted content is
1974                 * no longer welcome.
1975                 */
1976                log_error(LOG_LEVEL_ERROR,
1977                   "CONNECT already confirmed. Unable to tell the client about the problem.");
1978                return;
1979             }
1980             else if (byte_count)
1981             {
1982                /*
1983                 * Just hang up. We already transmitted the original headers
1984                 * and parts of the original content and therefore missed the
1985                 * chance to send an error message (without risking data corruption).
1986                 *
1987                 * XXX: we could retry with a fancy range request here.
1988                 */
1989                log_error(LOG_LEVEL_ERROR, "Already forwarded the original headers. "
1990                   "Unable to tell the client about the problem.");
1991                mark_server_socket_tainted(csp);
1992                return;
1993             }
1994             /*
1995              * XXX: Consider handling the cases above the same.
1996              */
1997             mark_server_socket_tainted(csp);
1998             len = 0;
1999          }
2000
2001 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2002          if (csp->flags & CSP_FLAG_CHUNKED)
2003          {
2004             if ((len >= 5) && !memcmp(buf+len-5, "0\r\n\r\n", 5))
2005             {
2006                /* XXX: this is a temporary hack */
2007                log_error(LOG_LEVEL_CONNECT,
2008                   "Looks like we reached the end of the last chunk. "
2009                   "We better stop reading.");
2010                csp->expected_content_length = byte_count + (unsigned long long)len;
2011                csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
2012             }
2013          }
2014          reading_done:
2015 #endif  /* FEATURE_CONNECTION_KEEP_ALIVE */
2016
2017          /*
2018           * Add a trailing zero to let be able to use string operations.
2019           * XXX: do we still need this with filter_popups gone?
2020           */
2021          buf[len] = '\0';
2022
2023          /*
2024           * Normally, this would indicate that we've read
2025           * as much as the server has sent us and we can
2026           * close the client connection.  However, Microsoft
2027           * in its wisdom has released IIS/5 with a bug that
2028           * prevents it from sending the trailing \r\n in
2029           * a 302 redirect header (and possibly other headers).
2030           * To work around this if we've haven't parsed
2031           * a full header we'll append a trailing \r\n
2032           * and see if this now generates a valid one.
2033           *
2034           * This hack shouldn't have any impacts.  If we've
2035           * already transmitted the header or if this is a
2036           * SSL connection, then we won't bother with this
2037           * hack.  So we only work on partially received
2038           * headers.  If we append a \r\n and this still
2039           * doesn't generate a valid header, then we won't
2040           * transmit anything to the client.
2041           */
2042          if (len == 0)
2043          {
2044
2045             if (server_body || http->ssl)
2046             {
2047                /*
2048                 * If we have been buffering up the document,
2049                 * now is the time to apply content modification
2050                 * and send the result to the client.
2051                 */
2052                if (content_filter)
2053                {
2054                   p = execute_content_filter(csp, content_filter);
2055                   /*
2056                    * If the content filter fails, use the original
2057                    * buffer and length.
2058                    * (see p != NULL ? p : csp->iob->cur below)
2059                    */
2060                   if (NULL == p)
2061                   {
2062                      csp->content_length = (size_t)(csp->iob->eod - csp->iob->cur);
2063                   }
2064
2065                   if (JB_ERR_OK != update_server_headers(csp))
2066                   {
2067                      log_error(LOG_LEVEL_FATAL,
2068                         "Failed to update server headers. after filtering.");
2069                   }
2070
2071                   hdr = list_to_text(csp->headers);
2072                   if (hdr == NULL)
2073                   {
2074                      /* FIXME Should handle error properly */
2075                      log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2076                   }
2077
2078                   if (write_socket(csp->cfd, hdr, strlen(hdr))
2079                    || write_socket(csp->cfd,
2080                          ((p != NULL) ? p : csp->iob->cur), (size_t)csp->content_length))
2081                   {
2082                      log_error(LOG_LEVEL_ERROR, "write modified content to client failed: %E");
2083                      freez(hdr);
2084                      freez(p);
2085                      mark_server_socket_tainted(csp);
2086                      return;
2087                   }
2088
2089                   freez(hdr);
2090                   freez(p);
2091                }
2092
2093                break; /* "game over, man" */
2094             }
2095
2096             /*
2097              * This is NOT the body, so
2098              * Let's pretend the server just sent us a blank line.
2099              */
2100             snprintf(buf, sizeof(buf), "\r\n");
2101             len = (int)strlen(buf);
2102
2103             /*
2104              * Now, let the normal header parsing algorithm below do its
2105              * job.  If it fails, we'll exit instead of continuing.
2106              */
2107
2108             ms_iis5_hack = 1;
2109          }
2110
2111          /*
2112           * If this is an SSL connection or we're in the body
2113           * of the server document, just write it to the client,
2114           * unless we need to buffer the body for later content-filtering
2115           */
2116          if (server_body || http->ssl)
2117          {
2118             if (content_filter)
2119             {
2120                /*
2121                 * If there is no memory left for buffering the content, or the buffer limit
2122                 * has been reached, switch to non-filtering mode, i.e. make & write the
2123                 * header, flush the iob and buf, and get out of the way.
2124                 */
2125                if (add_to_iob(csp, buf, len))
2126                {
2127                   size_t hdrlen;
2128                   long flushed;
2129
2130                   log_error(LOG_LEVEL_INFO,
2131                      "Flushing header and buffers. Stepping back from filtering.");
2132
2133                   hdr = list_to_text(csp->headers);
2134                   if (hdr == NULL)
2135                   {
2136                      /*
2137                       * Memory is too tight to even generate the header.
2138                       * Send our static "Out-of-memory" page.
2139                       */
2140                      log_error(LOG_LEVEL_ERROR, "Out of memory while trying to flush.");
2141                      rsp = cgi_error_memory();
2142                      send_crunch_response(csp, rsp);
2143                      mark_server_socket_tainted(csp);
2144                      return;
2145                   }
2146                   hdrlen = strlen(hdr);
2147
2148                   if (write_socket(csp->cfd, hdr, hdrlen)
2149                    || ((flushed = flush_socket(csp->cfd, csp->iob)) < 0)
2150                    || (write_socket(csp->cfd, buf, (size_t)len)))
2151                   {
2152                      log_error(LOG_LEVEL_CONNECT,
2153                         "Flush header and buffers to client failed: %E");
2154                      freez(hdr);
2155                      mark_server_socket_tainted(csp);
2156                      return;
2157                   }
2158
2159                   /*
2160                    * Reset the byte_count to the amount of bytes
2161                    * we just flushed. len will be added a few lines below,
2162                    * hdrlen doesn't matter for LOG_LEVEL_CLF.
2163                    */
2164                   byte_count = (unsigned long long)flushed;
2165                   freez(hdr);
2166                   content_filter = NULL;
2167                   server_body = 1;
2168                }
2169             }
2170             else
2171             {
2172                if (write_socket(csp->cfd, buf, (size_t)len))
2173                {
2174                   log_error(LOG_LEVEL_ERROR, "write to client failed: %E");
2175                   mark_server_socket_tainted(csp);
2176                   return;
2177                }
2178             }
2179             byte_count += (unsigned long long)len;
2180             continue;
2181          }
2182          else
2183          {
2184             /*
2185              * We're still looking for the end of the server's header.
2186              * Buffer up the data we just read.  If that fails, there's
2187              * little we can do but send our static out-of-memory page.
2188              */
2189             if (add_to_iob(csp, buf, len))
2190             {
2191                log_error(LOG_LEVEL_ERROR, "Out of memory while looking for end of server headers.");
2192                rsp = cgi_error_memory();
2193                send_crunch_response(csp, rsp);
2194                mark_server_socket_tainted(csp);
2195                return;
2196             }
2197
2198             /* Convert iob into something sed() can digest */
2199             if (JB_ERR_PARSE == get_server_headers(csp))
2200             {
2201                if (ms_iis5_hack)
2202                {
2203                   /*
2204                    * Well, we tried our MS IIS/5 hack and it didn't work.
2205                    * The header is incomplete and there isn't anything
2206                    * we can do about it.
2207                    */
2208                   log_error(LOG_LEVEL_ERROR, "Invalid server headers. "
2209                      "Applying the MS IIS5 hack didn't help.");
2210                   log_error(LOG_LEVEL_CLF,
2211                      "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2212                   write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2213                      strlen(INVALID_SERVER_HEADERS_RESPONSE));
2214                   mark_server_socket_tainted(csp);
2215                   return;
2216                }
2217                else
2218                {
2219                   /*
2220                    * Since we have to wait for more from the server before
2221                    * we can parse the headers we just continue here.
2222                    */
2223                   log_error(LOG_LEVEL_CONNECT,
2224                      "Continuing buffering headers. Bytes most recently read: %d.",
2225                      len);
2226                   continue;
2227                }
2228             }
2229             else
2230             {
2231                /*
2232                 * Account for the content bytes we
2233                 * might have gotten with the headers.
2234                 */
2235                assert(csp->iob->eod >= csp->iob->cur);
2236                byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
2237             }
2238
2239             /* Did we actually get anything? */
2240             if (NULL == csp->headers->first)
2241             {
2242                if ((csp->flags & CSP_FLAG_REUSED_CLIENT_CONNECTION))
2243                {
2244                   log_error(LOG_LEVEL_ERROR,
2245                      "Empty server or forwarder response received on socket %d. "
2246                      "Closing client socket %d without sending data.",
2247                      csp->server_connection.sfd, csp->cfd);
2248                }
2249                else
2250                {
2251                   log_error(LOG_LEVEL_ERROR,
2252                      "Empty server or forwarder response received on socket %d.",
2253                      csp->server_connection.sfd);
2254                   send_crunch_response(csp, error_response(csp, "no-server-data"));
2255                }
2256                log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2257                free_http_request(http);
2258                mark_server_socket_tainted(csp);
2259                return;
2260             }
2261
2262             assert(csp->headers->first->str);
2263             assert(!http->ssl);
2264             if (strncmpic(csp->headers->first->str, "HTTP", 4) &&
2265                 strncmpic(csp->headers->first->str, "ICY", 3))
2266             {
2267                /*
2268                 * It doesn't look like a HTTP (or Shoutcast) response:
2269                 * tell the client and log the problem.
2270                 */
2271                if (strlen(csp->headers->first->str) > 30)
2272                {
2273                   csp->headers->first->str[30] = '\0';
2274                }
2275                log_error(LOG_LEVEL_ERROR,
2276                   "Invalid server or forwarder response. Starts with: %s",
2277                   csp->headers->first->str);
2278                log_error(LOG_LEVEL_CLF,
2279                   "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2280                write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2281                   strlen(INVALID_SERVER_HEADERS_RESPONSE));
2282                free_http_request(http);
2283                mark_server_socket_tainted(csp);
2284                return;
2285             }
2286
2287             /*
2288              * We have now received the entire server header,
2289              * filter it and send the result to the client
2290              */
2291             if (JB_ERR_OK != sed(csp, FILTER_SERVER_HEADERS))
2292             {
2293                log_error(LOG_LEVEL_FATAL, "Failed to parse server headers.");
2294             }
2295             hdr = list_to_text(csp->headers);
2296             if (hdr == NULL)
2297             {
2298                /* FIXME Should handle error properly */
2299                log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2300             }
2301
2302             if ((csp->flags & CSP_FLAG_CHUNKED)
2303                && !(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
2304                && ((csp->iob->eod - csp->iob->cur) >= 5)
2305                && !memcmp(csp->iob->eod-5, "0\r\n\r\n", 5))
2306             {
2307                log_error(LOG_LEVEL_CONNECT,
2308                   "Looks like we got the last chunk together with "
2309                   "the server headers. We better stop reading.");
2310                byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
2311                csp->expected_content_length = byte_count;
2312                csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
2313             }
2314
2315             csp->server_connection.response_received = time(NULL);
2316
2317             if (crunch_response_triggered(csp, crunchers_light))
2318             {
2319                /*
2320                 * One of the tags created by a server-header
2321                 * tagger triggered a crunch. We already
2322                 * delivered the crunch response to the client
2323                 * and are done here after cleaning up.
2324                 */
2325                 freez(hdr);
2326                 mark_server_socket_tainted(csp);
2327                 return;
2328             }
2329             /* Buffer and pcrs filter this if appropriate. */
2330
2331             if (!http->ssl) /* We talk plaintext */
2332             {
2333                content_filter = get_filter_function(csp);
2334             }
2335             /*
2336              * Only write if we're not buffering for content modification
2337              */
2338             if (!content_filter)
2339             {
2340                /*
2341                 * Write the server's (modified) header to
2342                 * the client (along with anything else that
2343                 * may be in the buffer)
2344                 */
2345
2346                if (write_socket(csp->cfd, hdr, strlen(hdr))
2347                 || ((len = flush_socket(csp->cfd, csp->iob)) < 0))
2348                {
2349                   log_error(LOG_LEVEL_CONNECT, "write header to client failed: %E");
2350
2351                   /*
2352                    * The write failed, so don't bother mentioning it
2353                    * to the client... it probably can't hear us anyway.
2354                    */
2355                   freez(hdr);
2356                   mark_server_socket_tainted(csp);
2357                   return;
2358                }
2359             }
2360
2361             /* we're finished with the server's header */
2362
2363             freez(hdr);
2364             server_body = 1;
2365
2366             /*
2367              * If this was a MS IIS/5 hack then it means the server
2368              * has already closed the connection. Nothing more to read.
2369              * Time to bail.
2370              */
2371             if (ms_iis5_hack)
2372             {
2373                log_error(LOG_LEVEL_ERROR,
2374                   "Closed server connection detected. "
2375                   "Applying the MS IIS5 hack didn't help.");
2376                log_error(LOG_LEVEL_CLF,
2377                   "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2378                write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2379                   strlen(INVALID_SERVER_HEADERS_RESPONSE));
2380                mark_server_socket_tainted(csp);
2381                return;
2382             }
2383          }
2384          continue;
2385       }
2386       mark_server_socket_tainted(csp);
2387       return; /* huh? we should never get here */
2388    }
2389
2390    if (csp->content_length == 0)
2391    {
2392       /*
2393        * If Privoxy didn't recalculate the Content-Lenght,
2394        * byte_count is still correct.
2395        */
2396       csp->content_length = byte_count;
2397    }
2398
2399 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2400    if ((csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
2401       && (csp->expected_content_length != byte_count))
2402    {
2403       log_error(LOG_LEVEL_CONNECT,
2404          "Received %llu bytes while expecting %llu.",
2405          byte_count, csp->expected_content_length);
2406       mark_server_socket_tainted(csp);
2407    }
2408 #endif
2409
2410    log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 %llu",
2411       csp->ip_addr_str, http->ocmd, csp->content_length);
2412
2413    csp->server_connection.timestamp = time(NULL);
2414 }
2415
2416
2417 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2418 /*********************************************************************
2419  *
2420  * Function    :  prepare_csp_for_next_request
2421  *
2422  * Description :  Put the csp in a mostly vergin state.
2423  *
2424  * Parameters  :
2425  *          1  :  csp = Current client state (buffers, headers, etc...)
2426  *
2427  * Returns     :  N/A
2428  *
2429  *********************************************************************/
2430 static void prepare_csp_for_next_request(struct client_state *csp)
2431 {
2432    csp->content_type = 0;
2433    csp->content_length = 0;
2434    csp->expected_content_length = 0;
2435    csp->expected_client_content_length = 0;
2436    list_remove_all(csp->headers);
2437    freez(csp->iob->buf);
2438    memset(csp->iob, 0, sizeof(csp->iob));
2439    freez(csp->error_message);
2440    free_http_request(csp->http);
2441    destroy_list(csp->headers);
2442    destroy_list(csp->tags);
2443    free_current_action(csp->action);
2444    if (NULL != csp->fwd)
2445    {
2446       unload_forward_spec(csp->fwd);
2447       csp->fwd = NULL;
2448    }
2449    /* XXX: Store per-connection flags someplace else. */
2450    csp->flags &= CSP_FLAG_TOGGLED_ON;
2451    csp->flags |= CSP_FLAG_ACTIVE;
2452    csp->flags |= CSP_FLAG_REUSED_CLIENT_CONNECTION;
2453 }
2454 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2455
2456
2457 /*********************************************************************
2458  *
2459  * Function    :  serve
2460  *
2461  * Description :  This is little more than chat.  We only "serve" to
2462  *                to close (or remember) any socket that chat may have
2463  *                opened.
2464  *
2465  * Parameters  :
2466  *          1  :  csp = Current client state (buffers, headers, etc...)
2467  *
2468  * Returns     :  N/A
2469  *
2470  *********************************************************************/
2471 #ifdef AMIGA
2472 void serve(struct client_state *csp)
2473 #else /* ifndef AMIGA */
2474 static void serve(struct client_state *csp)
2475 #endif /* def AMIGA */
2476 {
2477 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2478 #ifdef FEATURE_CONNECTION_SHARING
2479    static int monitor_thread_running = 0;
2480 #endif /* def FEATURE_CONNECTION_SHARING */
2481    int continue_chatting = 0;
2482
2483    do
2484    {
2485       unsigned int latency;
2486
2487       chat(csp);
2488
2489       /*
2490        * If the request has been crunched,
2491        * the calculated latency is zero.
2492        */
2493       latency = (unsigned)(csp->server_connection.response_received -
2494          csp->server_connection.request_sent) / 2;
2495
2496       continue_chatting = (csp->config->feature_flags
2497          & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
2498          && (((csp->flags & CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE)
2499                && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED))
2500             || (csp->flags & CSP_FLAG_CRUNCHED))
2501          && (csp->cfd != JB_INVALID_SOCKET);
2502
2503       if (continue_chatting && !(csp->flags & CSP_FLAG_CRUNCHED))
2504       {
2505          continue_chatting = (csp->server_connection.sfd != JB_INVALID_SOCKET)
2506             && socket_is_still_alive(csp->server_connection.sfd);
2507          if (continue_chatting)
2508          {
2509             if (!(csp->flags & CSP_FLAG_SERVER_KEEP_ALIVE_TIMEOUT_SET))
2510             {
2511                csp->server_connection.keep_alive_timeout = csp->config->default_server_timeout;
2512                log_error(LOG_LEVEL_CONNECT,
2513                   "The server didn't specify how long the connection will stay open. "
2514                   "Assumed timeout is: %u.", csp->server_connection.keep_alive_timeout);
2515             }
2516             continue_chatting = (latency < csp->server_connection.keep_alive_timeout);
2517          }
2518       }
2519
2520       if (continue_chatting)
2521       {
2522          unsigned int client_timeout;
2523
2524          if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2525          {
2526             client_timeout = (unsigned)csp->server_connection.keep_alive_timeout - latency;
2527             log_error(LOG_LEVEL_CONNECT,
2528                "Waiting for the next client request on socket %d. "
2529                "Keeping the server socket %d to %s open.",
2530                csp->cfd, csp->server_connection.sfd, csp->server_connection.host);
2531          }
2532          else
2533          {
2534             client_timeout = 1; /* XXX: Use something else here? */
2535             log_error(LOG_LEVEL_CONNECT,
2536                "Waiting for the next client request on socket %d. "
2537                "No server socket to keep open.", csp->cfd);
2538          }
2539          if ((csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE)
2540             && data_is_available(csp->cfd, (int)client_timeout)
2541             && socket_is_still_alive(csp->cfd))
2542          {
2543             log_error(LOG_LEVEL_CONNECT, "Client request arrived in "
2544                "time or the client closed the connection on socket %d.",
2545                 csp->cfd);
2546             prepare_csp_for_next_request(csp);
2547          }
2548          else
2549          {
2550             log_error(LOG_LEVEL_CONNECT,
2551                "No additional client request received in time on socket %d.",
2552                 csp->cfd);
2553 #ifdef FEATURE_CONNECTION_SHARING
2554             if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING)
2555                && (socket_is_still_alive(csp->server_connection.sfd)))
2556             {
2557                time_t time_open = time(NULL) - csp->server_connection.timestamp;
2558
2559                if (csp->server_connection.keep_alive_timeout < time_open + latency)
2560                {
2561                   break;
2562                }
2563
2564                remember_connection(&csp->server_connection);
2565                csp->server_connection.sfd = JB_INVALID_SOCKET;
2566                close_socket(csp->cfd);
2567                csp->cfd = JB_INVALID_SOCKET;
2568                privoxy_mutex_lock(&connection_reuse_mutex);
2569                if (!monitor_thread_running)
2570                {
2571                   monitor_thread_running = 1;
2572                   privoxy_mutex_unlock(&connection_reuse_mutex);
2573                   wait_for_alive_connections();
2574                   privoxy_mutex_lock(&connection_reuse_mutex);
2575                   monitor_thread_running = 0;
2576                }
2577                privoxy_mutex_unlock(&connection_reuse_mutex);
2578             }
2579 #endif /* def FEATURE_CONNECTION_SHARING */
2580             break;
2581          }
2582       }
2583       else if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2584       {
2585          log_error(LOG_LEVEL_CONNECT,
2586             "The connection on server socket %d to %s isn't reusable. "
2587             "Closing.", csp->server_connection.sfd, csp->server_connection.host);
2588       }
2589    } while (continue_chatting);
2590
2591 #else
2592    chat(csp);
2593 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2594
2595    if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2596    {
2597 #ifdef FEATURE_CONNECTION_SHARING
2598       if (csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING)
2599       {
2600          forget_connection(csp->server_connection.sfd);
2601       }
2602 #endif /* def FEATURE_CONNECTION_SHARING */
2603       close_socket(csp->server_connection.sfd);
2604    }
2605
2606 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2607    mark_connection_closed(&csp->server_connection);
2608 #endif
2609
2610    if (csp->cfd != JB_INVALID_SOCKET)
2611    {
2612       close_socket(csp->cfd);
2613    }
2614
2615    csp->flags &= ~CSP_FLAG_ACTIVE;
2616
2617 }
2618
2619
2620 #ifdef __BEOS__
2621 /*********************************************************************
2622  *
2623  * Function    :  server_thread
2624  *
2625  * Description :  We only exist to call `serve' in a threaded environment.
2626  *
2627  * Parameters  :
2628  *          1  :  data = Current client state (buffers, headers, etc...)
2629  *
2630  * Returns     :  Always 0.
2631  *
2632  *********************************************************************/
2633 static int32 server_thread(void *data)
2634 {
2635    serve((struct client_state *) data);
2636    return 0;
2637
2638 }
2639 #endif
2640
2641
2642 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
2643 /*********************************************************************
2644  *
2645  * Function    :  usage
2646  *
2647  * Description :  Print usage info & exit.
2648  *
2649  * Parameters  :  Pointer to argv[0] for identifying ourselves
2650  *
2651  * Returns     :  No. ,-)
2652  *
2653  *********************************************************************/
2654 static void usage(const char *myname)
2655 {
2656    printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n"
2657           "Usage: %s "
2658 #if defined(unix)
2659           "[--chroot] "
2660 #endif /* defined(unix) */
2661           "[--help] "
2662 #if defined(unix)
2663           "[--no-daemon] [--pidfile pidfile] [--pre-chroot-nslookup hostname] [--user user[.group]] "
2664 #endif /* defined(unix) */
2665           "[--version] [configfile]\n"
2666           "Aborting\n", myname);
2667
2668    exit(2);
2669
2670 }
2671 #endif /* #if !defined(_WIN32) || defined(_WIN_CONSOLE) */
2672
2673
2674 #ifdef MUTEX_LOCKS_AVAILABLE
2675 /*********************************************************************
2676  *
2677  * Function    :  privoxy_mutex_lock
2678  *
2679  * Description :  Locks a mutex.
2680  *
2681  * Parameters  :
2682  *          1  :  mutex = The mutex to lock.
2683  *
2684  * Returns     :  Void. May exit in case of errors.
2685  *
2686  *********************************************************************/
2687 void privoxy_mutex_lock(privoxy_mutex_t *mutex)
2688 {
2689 #ifdef FEATURE_PTHREAD
2690    int err = pthread_mutex_lock(mutex);
2691    if (err)
2692    {
2693       if (mutex != &log_mutex)
2694       {
2695          log_error(LOG_LEVEL_FATAL,
2696             "Mutex locking failed: %s.\n", strerror(err));
2697       }
2698       exit(1);
2699    }
2700 #else
2701    EnterCriticalSection(mutex);
2702 #endif /* def FEATURE_PTHREAD */
2703 }
2704
2705
2706 /*********************************************************************
2707  *
2708  * Function    :  privoxy_mutex_unlock
2709  *
2710  * Description :  Unlocks a mutex.
2711  *
2712  * Parameters  :
2713  *          1  :  mutex = The mutex to unlock.
2714  *
2715  * Returns     :  Void. May exit in case of errors.
2716  *
2717  *********************************************************************/
2718 void privoxy_mutex_unlock(privoxy_mutex_t *mutex)
2719 {
2720 #ifdef FEATURE_PTHREAD
2721    int err = pthread_mutex_unlock(mutex);
2722    if (err)
2723    {
2724       if (mutex != &log_mutex)
2725       {
2726          log_error(LOG_LEVEL_FATAL,
2727             "Mutex unlocking failed: %s.\n", strerror(err));
2728       }
2729       exit(1);
2730    }
2731 #else
2732    LeaveCriticalSection(mutex);
2733 #endif /* def FEATURE_PTHREAD */
2734 }
2735
2736
2737 /*********************************************************************
2738  *
2739  * Function    :  privoxy_mutex_init
2740  *
2741  * Description :  Prepares a mutex.
2742  *
2743  * Parameters  :
2744  *          1  :  mutex = The mutex to initialize.
2745  *
2746  * Returns     :  Void. May exit in case of errors.
2747  *
2748  *********************************************************************/
2749 static void privoxy_mutex_init(privoxy_mutex_t *mutex)
2750 {
2751 #ifdef FEATURE_PTHREAD
2752    int err = pthread_mutex_init(mutex, 0);
2753    if (err)
2754    {
2755       printf("Fatal error. Mutex initialization failed: %s.\n",
2756          strerror(err));
2757       exit(1);
2758    }
2759 #else
2760    InitializeCriticalSection(mutex);
2761 #endif /* def FEATURE_PTHREAD */
2762 }
2763 #endif /* def MUTEX_LOCKS_AVAILABLE */
2764
2765 /*********************************************************************
2766  *
2767  * Function    :  initialize_mutexes
2768  *
2769  * Description :  Prepares mutexes if mutex support is available.
2770  *
2771  * Parameters  :  None
2772  *
2773  * Returns     :  Void, exits in case of errors.
2774  *
2775  *********************************************************************/
2776 static void initialize_mutexes(void)
2777 {
2778 #ifdef MUTEX_LOCKS_AVAILABLE
2779    /*
2780     * Prepare global mutex semaphores
2781     */
2782    privoxy_mutex_init(&log_mutex);
2783    privoxy_mutex_init(&log_init_mutex);
2784    privoxy_mutex_init(&connection_reuse_mutex);
2785
2786    /*
2787     * XXX: The assumptions below are a bit naive
2788     * and can cause locks that aren't necessary.
2789     *
2790     * For example older FreeBSD versions (< 6.x?)
2791     * have no gethostbyname_r, but gethostbyname is
2792     * thread safe.
2793     */
2794 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
2795    privoxy_mutex_init(&resolver_mutex);
2796 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
2797    /*
2798     * XXX: should we use a single mutex for
2799     * localtime() and gmtime() as well?
2800     */
2801 #ifndef HAVE_GMTIME_R
2802    privoxy_mutex_init(&gmtime_mutex);
2803 #endif /* ndef HAVE_GMTIME_R */
2804
2805 #ifndef HAVE_LOCALTIME_R
2806    privoxy_mutex_init(&localtime_mutex);
2807 #endif /* ndef HAVE_GMTIME_R */
2808
2809 #ifndef HAVE_RANDOM
2810    privoxy_mutex_init(&rand_mutex);
2811 #endif /* ndef HAVE_RANDOM */
2812 #endif /* def MUTEX_LOCKS_AVAILABLE */
2813 }
2814
2815
2816 /*********************************************************************
2817  *
2818  * Function    :  main
2819  *
2820  * Description :  Load the config file and start the listen loop.
2821  *                This function is a lot more *sane* with the `load_config'
2822  *                and `listen_loop' functions; although it stills does
2823  *                a *little* too much for my taste.
2824  *
2825  * Parameters  :
2826  *          1  :  argc = Number of parameters (including $0).
2827  *          2  :  argv = Array of (char *)'s to the parameters.
2828  *
2829  * Returns     :  1 if : can't open config file, unrecognized directive,
2830  *                stats requested in multi-thread mode, can't open the
2831  *                log file, can't open the jar file, listen port is invalid,
2832  *                any load fails, and can't bind port.
2833  *
2834  *                Else main never returns, the process must be signaled
2835  *                to terminate execution.  Or, on Windows, use the
2836  *                "File", "Exit" menu option.
2837  *
2838  *********************************************************************/
2839 #ifdef __MINGW32__
2840 int real_main(int argc, char **argv)
2841 #else
2842 int main(int argc, char **argv)
2843 #endif
2844 {
2845    int argc_pos = 0;
2846    unsigned int random_seed;
2847 #ifdef unix
2848    struct passwd *pw = NULL;
2849    struct group *grp = NULL;
2850    char *p;
2851    int do_chroot = 0;
2852    char *pre_chroot_nslookup_to_load_resolver = NULL;
2853 #endif
2854
2855    Argc = argc;
2856    Argv = argv;
2857
2858    configfile =
2859 #if !defined(_WIN32)
2860    "config"
2861 #else
2862    "config.txt"
2863 #endif
2864       ;
2865
2866    /* Prepare mutexes if supported and necessary. */
2867    initialize_mutexes();
2868
2869    /* Enable logging until further notice. */
2870    init_log_module();
2871
2872    /*
2873     * Parse the command line arguments
2874     *
2875     * XXX: simply printing usage information in case of
2876     * invalid arguments isn't particularly user friendly.
2877     */
2878    while (++argc_pos < argc)
2879    {
2880 #ifdef _WIN32
2881       /* Check to see if the service must be installed or uninstalled */
2882       if (strncmp(argv[argc_pos], "--install", 9) == 0)
2883       {
2884          const char *pName = argv[argc_pos] + 9;
2885          if (*pName == ':')
2886             pName++;
2887          exit( (install_service(pName)) ? 0 : 1 );
2888       }
2889       else if (strncmp(argv[argc_pos], "--uninstall", + 11) == 0)
2890       {
2891          const char *pName = argv[argc_pos] + 11;
2892          if (*pName == ':')
2893             pName++;
2894          exit((uninstall_service(pName)) ? 0 : 1);
2895       }
2896       else if (strcmp(argv[argc_pos], "--service" ) == 0)
2897       {
2898          bRunAsService = TRUE;
2899          w32_set_service_cwd();
2900          atexit(w32_service_exit_notify);
2901       }
2902       else
2903 #endif /* defined(_WIN32) */
2904
2905
2906 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
2907
2908       if (strcmp(argv[argc_pos], "--help") == 0)
2909       {
2910          usage(argv[0]);
2911       }
2912
2913       else if(strcmp(argv[argc_pos], "--version") == 0)
2914       {
2915          printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n");
2916          exit(0);
2917       }
2918
2919 #if defined(unix)
2920
2921       else if (strcmp(argv[argc_pos], "--no-daemon" ) == 0)
2922       {
2923          set_debug_level(LOG_LEVEL_FATAL | LOG_LEVEL_ERROR | LOG_LEVEL_INFO);
2924          daemon_mode = 0;
2925       }
2926
2927       else if (strcmp(argv[argc_pos], "--pidfile" ) == 0)
2928       {
2929          if (++argc_pos == argc) usage(argv[0]);
2930          pidfile = strdup(argv[argc_pos]);
2931       }
2932
2933       else if (strcmp(argv[argc_pos], "--user" ) == 0)
2934       {
2935          if (++argc_pos == argc) usage(argv[argc_pos]);
2936
2937          if ((NULL != (p = strchr(argv[argc_pos], '.'))) && *(p + 1) != '0')
2938          {
2939             *p++ = '\0';
2940             if (NULL == (grp = getgrnam(p)))
2941             {
2942                log_error(LOG_LEVEL_FATAL, "Group %s not found.", p);
2943             }
2944          }
2945
2946          if (NULL == (pw = getpwnam(argv[argc_pos])))
2947          {
2948             log_error(LOG_LEVEL_FATAL, "User %s not found.", argv[argc_pos]);
2949          }
2950
2951          if (p != NULL) *--p = '\0';
2952       }
2953
2954       else if (strcmp(argv[argc_pos], "--pre-chroot-nslookup" ) == 0)
2955       {
2956          if (++argc_pos == argc) usage(argv[0]);
2957          pre_chroot_nslookup_to_load_resolver = strdup(argv[argc_pos]);
2958       }
2959
2960       else if (strcmp(argv[argc_pos], "--chroot" ) == 0)
2961       {
2962          do_chroot = 1;
2963       }
2964 #endif /* defined(unix) */
2965
2966       else if (argc_pos + 1 != argc)
2967       {
2968          /*
2969           * This is neither the last command line
2970           * option, nor was it recognized before,
2971           * therefore it must be invalid.
2972           */
2973          usage(argv[0]);
2974       }
2975       else
2976
2977 #endif /* defined(_WIN32) && !defined(_WIN_CONSOLE) */
2978       {
2979          configfile = argv[argc_pos];
2980       }
2981
2982    } /* -END- while (more arguments) */
2983
2984    show_version(Argv[0]);
2985
2986 #if defined(unix)
2987    if ( *configfile != '/' )
2988    {
2989       char cwd[BUFFER_SIZE];
2990       char *abs_file;
2991       size_t abs_file_size;
2992
2993       /* make config-filename absolute here */
2994       if (NULL == getcwd(cwd, sizeof(cwd)))
2995       {
2996          perror("failed to get current working directory");
2997          exit( 1 );
2998       }
2999
3000       /* XXX: why + 5? */
3001       abs_file_size = strlen(cwd) + strlen(configfile) + 5;
3002       basedir = strdup(cwd);
3003
3004       if (NULL == basedir ||
3005           NULL == (abs_file = malloc(abs_file_size)))
3006       {
3007          perror("malloc failed");
3008          exit( 1 );
3009       }
3010       strlcpy(abs_file, basedir, abs_file_size);
3011       strlcat(abs_file, "/", abs_file_size );
3012       strlcat(abs_file, configfile, abs_file_size);
3013       configfile = abs_file;
3014    }
3015 #endif /* defined unix */
3016
3017
3018    files->next = NULL;
3019    clients->next = NULL;
3020
3021    /* XXX: factor out initialising after the next stable release. */
3022 #ifdef AMIGA
3023    InitAmiga();
3024 #elif defined(_WIN32)
3025    InitWin32();
3026 #endif
3027
3028    random_seed = (unsigned int)time(NULL);
3029 #ifdef HAVE_RANDOM
3030    srandom(random_seed);
3031 #else
3032    srand(random_seed);
3033 #endif /* ifdef HAVE_RANDOM */
3034
3035    /*
3036     * Unix signal handling
3037     *
3038     * Catch the abort, interrupt and terminate signals for a graceful exit
3039     * Catch the hangup signal so the errlog can be reopened.
3040     * Ignore the broken pipe signals (FIXME: Why?)
3041     */
3042 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
3043 {
3044    int idx;
3045    const int catched_signals[] = { SIGTERM, SIGINT, SIGHUP, 0 };
3046    const int ignored_signals[] = { SIGPIPE, 0 };
3047
3048    for (idx = 0; catched_signals[idx] != 0; idx++)
3049    {
3050 #ifdef sun /* FIXME: Is it safe to check for HAVE_SIGSET instead? */
3051       if (sigset(catched_signals[idx], sig_handler) == SIG_ERR)
3052 #else
3053       if (signal(catched_signals[idx], sig_handler) == SIG_ERR)
3054 #endif /* ifdef sun */
3055       {
3056          log_error(LOG_LEVEL_FATAL, "Can't set signal-handler for signal %d: %E", catched_signals[idx]);
3057       }
3058    }
3059
3060    for (idx = 0; ignored_signals[idx] != 0; idx++)
3061    {
3062       if (signal(ignored_signals[idx], SIG_IGN) == SIG_ERR)
3063       {
3064          log_error(LOG_LEVEL_FATAL, "Can't set ignore-handler for signal %d: %E", ignored_signals[idx]);
3065       }
3066    }
3067
3068 }
3069 #else /* ifdef _WIN32 */
3070 # ifdef _WIN_CONSOLE
3071    /*
3072     * We *are* in a windows console app.
3073     * Print a verbose messages about FAQ's and such
3074     */
3075    printf("%s", win32_blurb);
3076 # endif /* def _WIN_CONSOLE */
3077 #endif /* def _WIN32 */
3078
3079
3080    /* Initialize the CGI subsystem */
3081    cgi_init_error_messages();
3082
3083    /*
3084     * If runnig on unix and without the --nodaemon
3085     * option, become a daemon. I.e. fork, detach
3086     * from tty and get process group leadership
3087     */
3088 #if defined(unix)
3089 {
3090    if (daemon_mode)
3091    {
3092       int fd;
3093       pid_t pid = fork();
3094
3095       if ( pid < 0 ) /* error */
3096       {
3097          perror("fork");
3098          exit( 3 );
3099       }
3100       else if ( pid != 0 ) /* parent */
3101       {
3102          int status;
3103          pid_t wpid;
3104          /*
3105           * must check for errors
3106           * child died due to missing files aso
3107           */
3108          sleep( 1 );
3109          wpid = waitpid( pid, &status, WNOHANG );
3110          if ( wpid != 0 )
3111          {
3112             exit( 1 );
3113          }
3114          exit( 0 );
3115       }
3116       /* child */
3117
3118       setsid();
3119
3120       /*
3121        * stderr (fd 2) will be closed later on,
3122        * when the config file has been parsed.
3123        */
3124       close(0);
3125       close(1);
3126
3127       /*
3128        * Reserve fd 0 and 1 to prevent abort() and friends
3129        * from sending stuff to the clients or servers.
3130        */
3131       fd = open("/dev/null", O_RDONLY);
3132       if (fd == -1)
3133       {
3134          log_error(LOG_LEVEL_FATAL, "Failed to open /dev/null: %E");
3135       }
3136       else if (fd != 0)
3137       {
3138          if (dup2(fd, 0) == -1)
3139          {
3140             log_error(LOG_LEVEL_FATAL, "Failed to reserve fd 0: %E");
3141          }
3142          close(fd);
3143       }
3144       fd = open("/dev/null", O_WRONLY);
3145       if (fd == -1)
3146       {
3147          log_error(LOG_LEVEL_FATAL, "Failed to open /dev/null: %E");
3148       }
3149       else if (fd != 1)
3150       {
3151          if (dup2(fd, 1) == -1)
3152          {
3153             log_error(LOG_LEVEL_FATAL, "Failed to reserve fd 1: %E");
3154          }
3155          close(fd);
3156       }
3157
3158       chdir("/");
3159
3160    } /* -END- if (daemon_mode) */
3161
3162    /*
3163     * As soon as we have written the PID file, we can switch
3164     * to the user and group ID indicated by the --user option
3165     */
3166    write_pid_file();
3167
3168    if (NULL != pw)
3169    {
3170       if (setgid((NULL != grp) ? grp->gr_gid : pw->pw_gid))
3171       {
3172          log_error(LOG_LEVEL_FATAL, "Cannot setgid(): Insufficient permissions.");
3173       }
3174       if (NULL != grp)
3175       {
3176          if (setgroups(1, &grp->gr_gid))
3177          {
3178             log_error(LOG_LEVEL_FATAL, "setgroups() failed: %E");
3179          }
3180       }
3181       else if (initgroups(pw->pw_name, pw->pw_gid))
3182       {
3183          log_error(LOG_LEVEL_FATAL, "initgroups() failed: %E");
3184       }
3185       if (do_chroot)
3186       {
3187          if (!pw->pw_dir)
3188          {
3189             log_error(LOG_LEVEL_FATAL, "Home directory for %s undefined", pw->pw_name);
3190          }
3191          /* Read the time zone file from /etc before doing chroot. */
3192          tzset();
3193          if (NULL != pre_chroot_nslookup_to_load_resolver
3194              && '\0' != pre_chroot_nslookup_to_load_resolver[0])
3195          {
3196             /* Initialize resolver library. */
3197             (void) resolve_hostname_to_ip(pre_chroot_nslookup_to_load_resolver);
3198          }
3199          if (chroot(pw->pw_dir) < 0)
3200          {
3201             log_error(LOG_LEVEL_FATAL, "Cannot chroot to %s", pw->pw_dir);
3202          }
3203          if (chdir ("/"))
3204          {
3205             log_error(LOG_LEVEL_FATAL, "Cannot chdir /");
3206          }
3207       }
3208       if (setuid(pw->pw_uid))
3209       {
3210          log_error(LOG_LEVEL_FATAL, "Cannot setuid(): Insufficient permissions.");
3211       }
3212       if (do_chroot)
3213       {
3214          char putenv_dummy[64];
3215
3216          strlcpy(putenv_dummy, "HOME=/", sizeof(putenv_dummy));
3217          if (putenv(putenv_dummy) != 0)
3218          {
3219             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): HOME");
3220          }
3221
3222          snprintf(putenv_dummy, sizeof(putenv_dummy), "USER=%s", pw->pw_name);
3223          if (putenv(putenv_dummy) != 0)
3224          {
3225             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): USER");
3226          }
3227       }
3228    }
3229    else if (do_chroot)
3230    {
3231       log_error(LOG_LEVEL_FATAL, "Cannot chroot without --user argument.");
3232    }
3233 }
3234 #endif /* defined unix */
3235
3236 #ifdef _WIN32
3237    /* This will be FALSE unless the command line specified --service
3238     */
3239    if (bRunAsService)
3240    {
3241       /* Yup, so now we must attempt to establish a connection
3242        * with the service dispatcher. This will only work if this
3243        * process was launched by the service control manager to
3244        * actually run as a service. If this isn't the case, i've
3245        * known it take around 30 seconds or so for the call to return.
3246        */
3247
3248       /* The StartServiceCtrlDispatcher won't return until the service is stopping */
3249       if (w32_start_service_ctrl_dispatcher(w32ServiceDispatchTable))
3250       {
3251          /* Service has run, and at this point is now being stopped, so just return */
3252          return 0;
3253       }
3254
3255 #ifdef _WIN_CONSOLE
3256       printf("Warning: Failed to connect to Service Control Dispatcher\nwhen starting as a service!\n");
3257 #endif
3258       /* An error occurred. Usually it's because --service was wrongly specified
3259        * and we were unable to connect to the Service Control Dispatcher because
3260        * it wasn't expecting us and is therefore not listening.
3261        *
3262        * For now, just continue below to call the listen_loop function.
3263        */
3264    }
3265 #endif /* def _WIN32 */
3266
3267    listen_loop();
3268
3269    /* NOTREACHED */
3270    return(-1);
3271
3272 }
3273
3274
3275 /*********************************************************************
3276  *
3277  * Function    :  bind_port_helper
3278  *
3279  * Description :  Bind the listen port.  Handles logging, and aborts
3280  *                on failure.
3281  *
3282  * Parameters  :
3283  *          1  :  config = Privoxy configuration.  Specifies port
3284  *                         to bind to.
3285  *
3286  * Returns     :  Port that was opened.
3287  *
3288  *********************************************************************/
3289 static jb_socket bind_port_helper(struct configuration_spec * config)
3290 {
3291    int result;
3292    jb_socket bfd;
3293
3294    if (config->haddr == NULL)
3295    {
3296       log_error(LOG_LEVEL_INFO, "Listening on port %d on all IP addresses",
3297                 config->hport);
3298    }
3299    else
3300    {
3301       log_error(LOG_LEVEL_INFO, "Listening on port %d on IP address %s",
3302                 config->hport, config->haddr);
3303    }
3304
3305    result = bind_port(config->haddr, config->hport, &bfd);
3306
3307    if (result < 0)
3308    {
3309       switch(result)
3310       {
3311          case -3 :
3312             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: "
3313                "There may be another Privoxy or some other "
3314                "proxy running on port %d",
3315                (NULL != config->haddr) ? config->haddr : "INADDR_ANY",
3316                       config->hport, config->hport);
3317
3318          case -2 :
3319             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: "
3320                "The hostname is not resolvable",
3321                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3322
3323          default :
3324             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: %E",
3325                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3326       }
3327
3328       /* shouldn't get here */
3329       return JB_INVALID_SOCKET;
3330    }
3331
3332    config->need_bind = 0;
3333
3334    return bfd;
3335 }
3336
3337
3338 #ifdef _WIN32
3339 /* Without this simple workaround we get this compiler warning from _beginthread
3340  *     warning C4028: formal parameter 1 different from declaration
3341  */
3342 void w32_service_listen_loop(void *p)
3343 {
3344    listen_loop();
3345 }
3346 #endif /* def _WIN32 */
3347
3348
3349 /*********************************************************************
3350  *
3351  * Function    :  listen_loop
3352  *
3353  * Description :  bind the listen port and enter a "FOREVER" listening loop.
3354  *
3355  * Parameters  :  N/A
3356  *
3357  * Returns     :  Never.
3358  *
3359  *********************************************************************/
3360 static void listen_loop(void)
3361 {
3362    struct client_states *csp_list = NULL;
3363    struct client_state *csp = NULL;
3364    jb_socket bfd;
3365    struct configuration_spec *config;
3366    unsigned int active_threads = 0;
3367
3368    config = load_config();
3369
3370 #ifdef FEATURE_CONNECTION_SHARING
3371    /*
3372     * XXX: Should be relocated once it no
3373     * longer needs to emit log messages.
3374     */
3375    initialize_reusable_connections();
3376 #endif /* def FEATURE_CONNECTION_SHARING */
3377
3378    bfd = bind_port_helper(config);
3379
3380 #ifdef FEATURE_GRACEFUL_TERMINATION
3381    while (!g_terminate)
3382 #else
3383    for (;;)
3384 #endif
3385    {
3386 #if !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) && !defined(__OS2__)
3387       while (waitpid(-1, NULL, WNOHANG) > 0)
3388       {
3389          /* zombie children */
3390       }
3391 #endif /* !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) */
3392
3393       /*
3394        * Free data that was used by died threads
3395        */
3396       active_threads = sweep();
3397
3398 #if defined(unix)
3399       /*
3400        * Re-open the errlog after HUP signal
3401        */
3402       if (received_hup_signal)
3403       {
3404          if (NULL != config->logfile)
3405          {
3406             init_error_log(Argv[0], config->logfile);
3407          }
3408          received_hup_signal = 0;
3409       }
3410 #endif
3411
3412       csp_list = (struct client_states *)zalloc(sizeof(*csp_list));
3413       if (NULL == csp_list)
3414       {
3415          log_error(LOG_LEVEL_FATAL,
3416             "malloc(%d) for csp_list failed: %E", sizeof(*csp_list));
3417          continue;
3418       }
3419       csp = &csp_list->csp;
3420
3421       csp->flags |= CSP_FLAG_ACTIVE;
3422       csp->server_connection.sfd = JB_INVALID_SOCKET;
3423
3424       csp->config = config = load_config();
3425
3426       if ( config->need_bind )
3427       {
3428          /*
3429           * Since we were listening to the "old port", we will not see
3430           * a "listen" param change until the next request.  So, at
3431           * least 1 more request must be made for us to find the new
3432           * setting.  I am simply closing the old socket and binding the
3433           * new one.
3434           *
3435           * Which-ever is correct, we will serve 1 more page via the
3436           * old settings.  This should probably be a "show-proxy-args"
3437           * request.  This should not be a so common of an operation
3438           * that this will hurt people's feelings.
3439           */
3440
3441          close_socket(bfd);
3442
3443          bfd = bind_port_helper(config);
3444       }
3445
3446       log_error(LOG_LEVEL_CONNECT, "Listening for new connections ... ");
3447
3448       if (!accept_connection(csp, bfd))
3449       {
3450          log_error(LOG_LEVEL_CONNECT, "accept failed: %E");
3451
3452 #ifdef AMIGA
3453          if(!childs)
3454          {
3455             exit(1);
3456          }
3457 #endif
3458          freez(csp_list);
3459          continue;
3460       }
3461       else
3462       {
3463          log_error(LOG_LEVEL_CONNECT,
3464             "accepted connection from %s on socket %d",
3465             csp->ip_addr_str, csp->cfd);
3466       }
3467
3468 #ifdef FEATURE_TOGGLE
3469       if (global_toggle_state)
3470 #endif /* def FEATURE_TOGGLE */
3471       {
3472          csp->flags |= CSP_FLAG_TOGGLED_ON;
3473       }
3474
3475       if (run_loader(csp))
3476       {
3477          log_error(LOG_LEVEL_FATAL, "a loader failed - must exit");
3478          /* Never get here - LOG_LEVEL_FATAL causes program exit */
3479       }
3480
3481 #ifdef FEATURE_ACL
3482       if (block_acl(NULL,csp))
3483       {
3484          log_error(LOG_LEVEL_CONNECT, "Connection from %s dropped due to ACL", csp->ip_addr_str);
3485          close_socket(csp->cfd);
3486          freez(csp->ip_addr_str);
3487          freez(csp_list);
3488          continue;
3489       }
3490 #endif /* def FEATURE_ACL */
3491
3492       if ((0 != config->max_client_connections)
3493          && (active_threads >= config->max_client_connections))
3494       {
3495          log_error(LOG_LEVEL_CONNECT,
3496             "Rejecting connection from %s. Maximum number of connections reached.",
3497             csp->ip_addr_str);
3498          write_socket(csp->cfd, TOO_MANY_CONNECTIONS_RESPONSE,
3499             strlen(TOO_MANY_CONNECTIONS_RESPONSE));
3500          close_socket(csp->cfd);
3501          freez(csp->ip_addr_str);
3502          freez(csp_list);
3503          continue;
3504       }
3505
3506       /* add it to the list of clients */
3507       csp_list->next = clients->next;
3508       clients->next = csp_list;
3509
3510       if (config->multi_threaded)
3511       {
3512          int child_id;
3513
3514 /* this is a switch () statment in the C preprocessor - ugh */
3515 #undef SELECTED_ONE_OPTION
3516
3517 /* Use Pthreads in preference to native code */
3518 #if defined(FEATURE_PTHREAD) && !defined(SELECTED_ONE_OPTION)
3519 #define SELECTED_ONE_OPTION
3520          {
3521             pthread_t the_thread;
3522             pthread_attr_t attrs;
3523
3524             pthread_attr_init(&attrs);
3525             pthread_attr_setdetachstate(&attrs, PTHREAD_CREATE_DETACHED);
3526             errno = pthread_create(&the_thread, &attrs,
3527                (void * (*)(void *))serve, csp);
3528             child_id = errno ? -1 : 0;
3529             pthread_attr_destroy(&attrs);
3530          }
3531 #endif
3532
3533 #if defined(_WIN32) && !defined(_CYGWIN) && !defined(SELECTED_ONE_OPTION)
3534 #define SELECTED_ONE_OPTION
3535          child_id = _beginthread(
3536             (void (*)(void *))serve,
3537             64 * 1024,
3538             csp);
3539 #endif
3540
3541 #if defined(__OS2__) && !defined(SELECTED_ONE_OPTION)
3542 #define SELECTED_ONE_OPTION
3543          child_id = _beginthread(
3544             (void(* _Optlink)(void*))serve,
3545             NULL,
3546             64 * 1024,
3547             csp);
3548 #endif
3549
3550 #if defined(__BEOS__) && !defined(SELECTED_ONE_OPTION)
3551 #define SELECTED_ONE_OPTION
3552          {
3553             thread_id tid = spawn_thread
3554                (server_thread, "server", B_NORMAL_PRIORITY, csp);
3555
3556             if ((tid >= 0) && (resume_thread(tid) == B_OK))
3557             {
3558                child_id = (int) tid;
3559             }
3560             else
3561             {
3562                child_id = -1;
3563             }
3564          }
3565 #endif
3566
3567 #if defined(AMIGA) && !defined(SELECTED_ONE_OPTION)
3568 #define SELECTED_ONE_OPTION
3569          csp->cfd = ReleaseSocket(csp->cfd, -1);
3570
3571 #ifdef __amigaos4__
3572          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3573                                            NP_Output, Output(),
3574                                            NP_CloseOutput, FALSE,
3575                                            NP_Name, (ULONG)"privoxy child",
3576                                            NP_Child, TRUE,
3577                                            TAG_DONE);
3578 #else
3579          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3580                                            NP_Output, Output(),
3581                                            NP_CloseOutput, FALSE,
3582                                            NP_Name, (ULONG)"privoxy child",
3583                                            NP_StackSize, 200*1024,
3584                                            TAG_DONE);
3585 #endif
3586          if(0 != child_id)
3587          {
3588             childs++;
3589             ((struct Task *)child_id)->tc_UserData = csp;
3590             Signal((struct Task *)child_id, SIGF_SINGLE);
3591             Wait(SIGF_SINGLE);
3592          }
3593 #endif
3594
3595 #if !defined(SELECTED_ONE_OPTION)
3596          child_id = fork();
3597
3598          /* This block is only needed when using fork().
3599           * When using threads, the server thread was
3600           * created and run by the call to _beginthread().
3601           */
3602          if (child_id == 0)   /* child */
3603          {
3604             int rc = 0;
3605 #ifdef FEATURE_TOGGLE
3606             int inherited_toggle_state = global_toggle_state;
3607 #endif /* def FEATURE_TOGGLE */
3608
3609             serve(csp);
3610
3611             /*
3612              * If we've been toggled or we've blocked the request, tell Mom
3613              */
3614
3615 #ifdef FEATURE_TOGGLE
3616             if (inherited_toggle_state != global_toggle_state)
3617             {
3618                rc |= RC_FLAG_TOGGLED;
3619             }
3620 #endif /* def FEATURE_TOGGLE */
3621
3622 #ifdef FEATURE_STATISTICS
3623             if (csp->flags & CSP_FLAG_REJECTED)
3624             {
3625                rc |= RC_FLAG_BLOCKED;
3626             }
3627 #endif /* ndef FEATURE_STATISTICS */
3628
3629             _exit(rc);
3630          }
3631          else if (child_id > 0) /* parent */
3632          {
3633             /* in a fork()'d environment, the parent's
3634              * copy of the client socket and the CSP
3635              * are not used.
3636              */
3637             int child_status;
3638 #if !defined(_WIN32) && !defined(__CYGWIN__)
3639
3640             wait( &child_status );
3641
3642             /*
3643              * Evaluate child's return code: If the child has
3644              *  - been toggled, toggle ourselves
3645              *  - blocked its request, bump up the stats counter
3646              */
3647
3648 #ifdef FEATURE_TOGGLE
3649             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_TOGGLED))
3650             {
3651                global_toggle_state = !global_toggle_state;
3652             }
3653 #endif /* def FEATURE_TOGGLE */
3654
3655 #ifdef FEATURE_STATISTICS
3656             urls_read++;
3657             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_BLOCKED))
3658             {
3659                urls_rejected++;
3660             }
3661 #endif /* def FEATURE_STATISTICS */
3662
3663 #endif /* !defined(_WIN32) && defined(__CYGWIN__) */
3664             close_socket(csp->cfd);
3665             csp->flags &= ~CSP_FLAG_ACTIVE;
3666          }
3667 #endif
3668
3669 #undef SELECTED_ONE_OPTION
3670 /* end of cpp switch () */
3671
3672          if (child_id < 0)
3673          {
3674             /*
3675              * Spawning the child failed, assume it's because
3676              * there are too many children running already.
3677              * XXX: If you assume ...
3678              */
3679             log_error(LOG_LEVEL_ERROR,
3680                "Unable to take any additional connections: %E");
3681             write_socket(csp->cfd, TOO_MANY_CONNECTIONS_RESPONSE,
3682                strlen(TOO_MANY_CONNECTIONS_RESPONSE));
3683             close_socket(csp->cfd);
3684             csp->flags &= ~CSP_FLAG_ACTIVE;
3685          }
3686       }
3687       else
3688       {
3689          serve(csp);
3690       }
3691    }
3692
3693    /* NOTREACHED unless FEATURE_GRACEFUL_TERMINATION is defined */
3694
3695    /* Clean up.  Aim: free all memory (no leaks) */
3696 #ifdef FEATURE_GRACEFUL_TERMINATION
3697
3698    log_error(LOG_LEVEL_ERROR, "Graceful termination requested");
3699
3700    unload_current_config_file();
3701    unload_current_actions_file();
3702    unload_current_re_filterfile();
3703 #ifdef FEATURE_TRUST
3704    unload_current_trust_file();
3705 #endif
3706
3707    if (config->multi_threaded)
3708    {
3709       int i = 60;
3710       do
3711       {
3712          sleep(1);
3713          sweep();
3714       } while ((clients->next != NULL) && (--i > 0));
3715
3716       if (i <= 0)
3717       {
3718          log_error(LOG_LEVEL_ERROR, "Graceful termination failed - still some live clients after 1 minute wait.");
3719       }
3720    }
3721    sweep();
3722    sweep();
3723
3724 #if defined(unix)
3725    freez(basedir);
3726 #endif
3727    freez(configfile);
3728
3729 #if defined(_WIN32) && !defined(_WIN_CONSOLE)
3730    /* Cleanup - remove taskbar icon etc. */
3731    TermLogWindow();
3732 #endif
3733
3734    exit(0);
3735 #endif /* FEATURE_GRACEFUL_TERMINATION */
3736
3737 }
3738
3739
3740 /*
3741   Local Variables:
3742   tab-width: 3
3743   end:
3744 */