jcc.c

   1 const char jcc_rcs[] = "$Id: jcc.c,v 1.298 2009/10/04 15:34:17 fabiankeil Exp $";
   2 /*********************************************************************
   3  *
   4  * File        :  $Source: /cvsroot/ijbswa/current/jcc.c,v $
   5  *
   6  * Purpose     :  Main file.  Contains main() method, main loop, and
   7  *                the main connection-handling function.
   8  *
   9  * Copyright   :  Written by and Copyright (C) 2001-2009 the SourceForge
  10  *                Privoxy team. http://www.privoxy.org/
  11  *
  12  *                Based on the Internet Junkbuster originally written
  13  *                by and Copyright (C) 1997 Anonymous Coders and
  14  *                Junkbusters Corporation.  http://www.junkbusters.com
  15  *
  16  *                This program is free software; you can redistribute it
  17  *                and/or modify it under the terms of the GNU General
  18  *                Public License as published by the Free Software
  19  *                Foundation; either version 2 of the License, or (at
  20  *                your option) any later version.
  21  *
  22  *                This program is distributed in the hope that it will
  23  *                be useful, but WITHOUT ANY WARRANTY; without even the
  24  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
  25  *                PARTICULAR PURPOSE.  See the GNU General Public
  26  *                License for more details.
  27  *
  28  *                The GNU General Public License should be included with
  29  *                this file.  If not, you can view it at
  30  *                http://www.gnu.org/copyleft/gpl.html
  31  *                or write to the Free Software Foundation, Inc., 59
  32  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  33  *
  34  *********************************************************************/
  35
  36
  37 #include "config.h"
  38
  39 #include <stdio.h>
  40 #include <sys/types.h>
  41 #include <stdlib.h>
  42 #include <string.h>
  43 #include <signal.h>
  44 #include <fcntl.h>
  45 #include <errno.h>
  46 #include <assert.h>
  47
  48 #ifdef _WIN32
  49 # ifndef FEATURE_PTHREAD
  50 #  ifndef STRICT
  51 #   define STRICT
  52 #  endif
  53 #  include <windows.h>
  54 #  include <process.h>
  55 # endif /* ndef FEATURE_PTHREAD */
  56
  57 # include "win32.h"
  58 # ifndef _WIN_CONSOLE
  59 #  include "w32log.h"
  60 # endif /* ndef _WIN_CONSOLE */
  61 # include "w32svrapi.h"
  62
  63 #else /* ifndef _WIN32 */
  64
  65 # if !defined (__OS2__)
  66 # include <unistd.h>
  67 # include <sys/wait.h>
  68 # endif /* ndef __OS2__ */
  69 # include <sys/time.h>
  70 # include <sys/stat.h>
  71 # include <sys/ioctl.h>
  72
  73 #ifdef sun
  74 #include <sys/termios.h>
  75 #endif /* sun */
  76
  77 #ifdef unix
  78 #include <pwd.h>
  79 #include <grp.h>
  80 #endif
  81
  82 # include <signal.h>
  83
  84 # ifdef __BEOS__
  85 #  include <socket.h>  /* BeOS has select() for sockets only. */
  86 #  include <OS.h>      /* declarations for threads and stuff. */
  87 # endif
  88
  89 # if defined(__EMX__) || defined(__OS2__)
  90 #  include <sys/select.h>  /* OS/2/EMX needs a little help with select */
  91 # endif
  92 # ifdef __OS2__
  93 #define INCL_DOS
  94 # include <os2.h>
  95 #define bzero(B,N) memset(B,0x00,n)
  96 # endif
  97
  98 # ifndef FD_ZERO
  99 #  include <select.h>
 100 # endif
 101
 102 #endif
 103
 104 #include "project.h"
 105 #include "list.h"
 106 #include "jcc.h"
 107 #include "filters.h"
 108 #include "loaders.h"
 109 #include "parsers.h"
 110 #include "miscutil.h"
 111 #include "errlog.h"
 112 #include "jbsockets.h"
 113 #include "gateway.h"
 114 #include "actions.h"
 115 #include "cgi.h"
 116 #include "loadcfg.h"
 117 #include "urlmatch.h"
 118
 119 const char jcc_h_rcs[] = JCC_H_VERSION;
 120 const char project_h_rcs[] = PROJECT_H_VERSION;
 121
 122 int no_daemon = 0;
 123 struct client_state  clients[1];
 124 struct file_list     files[1];
 125
 126 #ifdef FEATURE_STATISTICS
 127 int urls_read     = 0;     /* total nr of urls read inc rejected */
 128 int urls_rejected = 0;     /* total nr of urls rejected */
 129 #endif /* def FEATURE_STATISTICS */
 130
 131 #ifdef FEATURE_GRACEFUL_TERMINATION
 132 int g_terminate = 0;
 133 #endif
 134
 135 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
 136 static void sig_handler(int the_signal);
 137 #endif
 138 static int client_protocol_is_unsupported(const struct client_state *csp, char *req);
 139 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers);
 140 static jb_err get_server_headers(struct client_state *csp);
 141 static const char *crunch_reason(const struct http_response *rsp);
 142 static void send_crunch_response(const struct client_state *csp, struct http_response *rsp);
 143 static char *get_request_line(struct client_state *csp);
 144 static jb_err receive_client_request(struct client_state *csp);
 145 static jb_err parse_client_request(struct client_state *csp);
 146 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line);
 147 static jb_err change_request_destination(struct client_state *csp);
 148 static void chat(struct client_state *csp);
 149 static void serve(struct client_state *csp);
 150 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
 151 static void usage(const char *myname);
 152 #endif
 153 static void initialize_mutexes(void);
 154 static jb_socket bind_port_helper(struct configuration_spec *config);
 155 static void listen_loop(void);
 156
 157 #ifdef AMIGA
 158 void serve(struct client_state *csp);
 159 #else /* ifndef AMIGA */
 160 static void serve(struct client_state *csp);
 161 #endif /* def AMIGA */
 162
 163 #ifdef __BEOS__
 164 static int32 server_thread(void *data);
 165 #endif /* def __BEOS__ */
 166
 167 #ifdef _WIN32
 168 #define sleep(N)  Sleep(((N) * 1000))
 169 #endif
 170
 171 #ifdef __OS2__
 172 #define sleep(N)  DosSleep(((N) * 100))
 173 #endif
 174
 175 #ifdef MUTEX_LOCKS_AVAILABLE
 176 /*
 177  * XXX: Does the locking stuff really belong in this file?
 178  */
 179 privoxy_mutex_t log_mutex;
 180 privoxy_mutex_t log_init_mutex;
 181 privoxy_mutex_t connection_reuse_mutex;
 182
 183 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
 184 privoxy_mutex_t resolver_mutex;
 185 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
 186
 187 #ifndef HAVE_GMTIME_R
 188 privoxy_mutex_t gmtime_mutex;
 189 #endif /* ndef HAVE_GMTIME_R */
 190
 191 #ifndef HAVE_LOCALTIME_R
 192 privoxy_mutex_t localtime_mutex;
 193 #endif /* ndef HAVE_GMTIME_R */
 194
 195 #ifndef HAVE_RANDOM
 196 privoxy_mutex_t rand_mutex;
 197 #endif /* ndef HAVE_RANDOM */
 198
 199 #endif /* def MUTEX_LOCKS_AVAILABLE */
 200
 201 #if defined(unix)
 202 const char *basedir = NULL;
 203 const char *pidfile = NULL;
 204 static int received_hup_signal = 0;
 205 #endif /* defined unix */
 206
 207 /* HTTP snipplets. */
 208 static const char CSUCCEED[] =
 209    "HTTP/1.0 200 Connection established\r\n"
 210    "Proxy-Agent: Privoxy/" VERSION "\r\n\r\n";
 211
 212 static const char CHEADER[] =
 213    "HTTP/1.0 400 Invalid header received from client\r\n"
 214    "Proxy-Agent: Privoxy " VERSION "\r\n"
 215    "Content-Type: text/plain\r\n"
 216    "Connection: close\r\n\r\n"
 217    "Invalid header received from client.\r\n";
 218
 219 static const char FTP_RESPONSE[] =
 220    "HTTP/1.0 400 Invalid request received from client\r\n"
 221    "Content-Type: text/plain\r\n"
 222    "Connection: close\r\n\r\n"
 223    "Invalid request. Privoxy doesn't support FTP.\r\n";
 224
 225 static const char GOPHER_RESPONSE[] =
 226    "HTTP/1.0 400 Invalid request received from client\r\n"
 227    "Content-Type: text/plain\r\n"
 228    "Connection: close\r\n\r\n"
 229    "Invalid request. Privoxy doesn't support gopher.\r\n";
 230
 231 /* XXX: should be a template */
 232 static const char MISSING_DESTINATION_RESPONSE[] =
 233    "HTTP/1.0 400 Bad request received from client\r\n"
 234    "Proxy-Agent: Privoxy " VERSION "\r\n"
 235    "Content-Type: text/plain\r\n"
 236    "Connection: close\r\n\r\n"
 237    "Bad request. Privoxy was unable to extract the destination.\r\n";
 238
 239 /* XXX: should be a template */
 240 static const char INVALID_SERVER_HEADERS_RESPONSE[] =
 241    "HTTP/1.0 502 Server or forwarder response invalid\r\n"
 242    "Proxy-Agent: Privoxy " VERSION "\r\n"
 243    "Content-Type: text/plain\r\n"
 244    "Connection: close\r\n\r\n"
 245    "Bad response. The server or forwarder response doesn't look like HTTP.\r\n";
 246
 247 #if 0
 248 /* XXX: should be a template */
 249 static const char NULL_BYTE_RESPONSE[] =
 250    "HTTP/1.0 400 Bad request received from client\r\n"
 251    "Proxy-Agent: Privoxy " VERSION "\r\n"
 252    "Content-Type: text/plain\r\n"
 253    "Connection: close\r\n\r\n"
 254    "Bad request. Null byte(s) before end of request.\r\n";
 255 #endif
 256
 257 /* XXX: should be a template */
 258 static const char MESSED_UP_REQUEST_RESPONSE[] =
 259    "HTTP/1.0 400 Malformed request after rewriting\r\n"
 260    "Proxy-Agent: Privoxy " VERSION "\r\n"
 261    "Content-Type: text/plain\r\n"
 262    "Connection: close\r\n\r\n"
 263    "Bad request. Messed up with header filters.\r\n";
 264
 265 static const char TOO_MANY_CONNECTIONS_RESPONSE[] =
 266    "HTTP/1.0 503 Too many open connections\r\n"
 267    "Proxy-Agent: Privoxy " VERSION "\r\n"
 268    "Content-Type: text/plain\r\n"
 269    "Connection: close\r\n\r\n"
 270    "Maximum number of open connections reached.\r\n";
 271
 272 static const char CLIENT_CONNECTION_TIMEOUT_RESPONSE[] =
 273    "HTTP/1.0 504 Connection timeout\r\n"
 274    "Proxy-Agent: Privoxy " VERSION "\r\n"
 275    "Content-Type: text/plain\r\n"
 276    "Connection: close\r\n\r\n"
 277    "The connection timed out because the client request didn't arrive in time.\r\n";
 278
 279 /* A function to crunch a response */
 280 typedef struct http_response *(*crunch_func_ptr)(struct client_state *);
 281
 282 /* Crunch function flags */
 283 #define CF_NO_FLAGS        0
 284 /* Cruncher applies to forced requests as well */
 285 #define CF_IGNORE_FORCE    1
 286 /* Crunched requests are counted for the block statistics */
 287 #define CF_COUNT_AS_REJECT 2
 288
 289 /* A crunch function and its flags */
 290 struct cruncher
 291 {
 292    const crunch_func_ptr cruncher;
 293    const int flags;
 294 };
 295
 296 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[]);
 297
 298 /* Complete list of cruncher functions */
 299 static const struct cruncher crunchers_all[] = {
 300    { direct_response, CF_COUNT_AS_REJECT|CF_IGNORE_FORCE},
 301    { block_url,       CF_COUNT_AS_REJECT },
 302 #ifdef FEATURE_TRUST
 303    { trust_url,       CF_COUNT_AS_REJECT },
 304 #endif /* def FEATURE_TRUST */
 305    { redirect_url,    CF_NO_FLAGS  },
 306    { dispatch_cgi,    CF_IGNORE_FORCE},
 307    { NULL,            0 }
 308 };
 309
 310 /* Light version, used after tags are applied */
 311 static const struct cruncher crunchers_light[] = {
 312    { block_url,       CF_COUNT_AS_REJECT },
 313    { redirect_url,    CF_NO_FLAGS },
 314    { NULL,            0 }
 315 };
 316
 317
 318 /*
 319  * XXX: Don't we really mean
 320  *
 321  * #if defined(unix)
 322  *
 323  * here?
 324  */
 325 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
 326 /*********************************************************************
 327  *
 328  * Function    :  sig_handler
 329  *
 330  * Description :  Signal handler for different signals.
 331  *                Exit gracefully on TERM and INT
 332  *                or set a flag that will cause the errlog
 333  *                to be reopened by the main thread on HUP.
 334  *
 335  * Parameters  :
 336  *          1  :  the_signal = the signal cause this function to call
 337  *
 338  * Returns     :  -
 339  *
 340  *********************************************************************/
 341 static void sig_handler(int the_signal)
 342 {
 343    switch(the_signal)
 344    {
 345       case SIGTERM:
 346       case SIGINT:
 347          log_error(LOG_LEVEL_INFO, "exiting by signal %d .. bye", the_signal);
 348 #if defined(unix)
 349          if(pidfile)
 350          {
 351             unlink(pidfile);
 352          }
 353 #endif /* unix */
 354          exit(the_signal);
 355          break;
 356
 357       case SIGHUP:
 358 #if defined(unix)
 359          received_hup_signal = 1;
 360 #endif
 361          break;
 362
 363       default:
 364          /*
 365           * We shouldn't be here, unless we catch signals
 366           * in main() that we can't handle here!
 367           */
 368          log_error(LOG_LEVEL_FATAL, "sig_handler: exiting on unexpected signal %d", the_signal);
 369    }
 370    return;
 371
 372 }
 373 #endif
 374
 375
 376 /*********************************************************************
 377  *
 378  * Function    :  client_protocol_is_unsupported
 379  *
 380  * Description :  Checks if the client used a known unsupported
 381  *                protocol and deals with it by sending an error
 382  *                response.
 383  *
 384  * Parameters  :
 385  *          1  :  csp = Current client state (buffers, headers, etc...)
 386  *          2  :  req = the first request line send by the client
 387  *
 388  * Returns     :  TRUE if an error response has been generated, or
 389  *                FALSE if the request doesn't look invalid.
 390  *
 391  *********************************************************************/
 392 static int client_protocol_is_unsupported(const struct client_state *csp, char *req)
 393 {
 394    /*
 395     * If it's a FTP or gopher request, we don't support it.
 396     *
 397     * These checks are better than nothing, but they might
 398     * not work in all configurations and some clients might
 399     * have problems digesting the answer.
 400     *
 401     * They should, however, never cause more problems than
 402     * Privoxy's old behaviour (returning the misleading HTML
 403     * error message:
 404     *
 405     * "Could not resolve http://(ftp|gopher)://example.org").
 406     */
 407    if (!strncmpic(req, "GET ftp://", 10) || !strncmpic(req, "GET gopher://", 13))
 408    {
 409       const char *response = NULL;
 410       const char *protocol = NULL;
 411
 412       if (!strncmpic(req, "GET ftp://", 10))
 413       {
 414          response = FTP_RESPONSE;
 415          protocol = "FTP";
 416       }
 417       else
 418       {
 419          response = GOPHER_RESPONSE;
 420          protocol = "GOPHER";
 421       }
 422       log_error(LOG_LEVEL_ERROR,
 423          "%s tried to use Privoxy as %s proxy: %s",
 424          csp->ip_addr_str, protocol, req);
 425       log_error(LOG_LEVEL_CLF,
 426          "%s - - [%T] \"%s\" 400 0", csp->ip_addr_str, req);
 427       freez(req);
 428       write_socket(csp->cfd, response, strlen(response));
 429
 430       return TRUE;
 431    }
 432
 433    return FALSE;
 434 }
 435
 436
 437 /*********************************************************************
 438  *
 439  * Function    :  get_request_destination_elsewhere
 440  *
 441  * Description :  If the client's request was redirected into
 442  *                Privoxy without the client's knowledge,
 443  *                the request line lacks the destination host.
 444  *
 445  *                This function tries to get it elsewhere,
 446  *                provided accept-intercepted-requests is enabled.
 447  *
 448  *                "Elsewhere" currently only means "Host: header",
 449  *                but in the future we may ask the redirecting
 450  *                packet filter to look the destination up.
 451  *
 452  *                If the destination stays unknown, an error
 453  *                response is send to the client and headers
 454  *                are freed so that chat() can return directly.
 455  *
 456  * Parameters  :
 457  *          1  :  csp = Current client state (buffers, headers, etc...)
 458  *          2  :  headers = a header list
 459  *
 460  * Returns     :  JB_ERR_OK if the destination is now known, or
 461  *                JB_ERR_PARSE if it isn't.
 462  *
 463  *********************************************************************/
 464 static jb_err get_request_destination_elsewhere(struct client_state *csp, struct list *headers)
 465 {
 466    char *req;
 467
 468    if (!(csp->config->feature_flags & RUNTIME_FEATURE_ACCEPT_INTERCEPTED_REQUESTS))
 469    {
 470       log_error(LOG_LEVEL_ERROR, "%s's request: \'%s\' is invalid."
 471          " Privoxy isn't configured to accept intercepted requests.",
 472          csp->ip_addr_str, csp->http->cmd);
 473       /* XXX: Use correct size */
 474       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
 475          csp->ip_addr_str, csp->http->cmd);
 476
 477       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
 478       destroy_list(headers);
 479
 480       return JB_ERR_PARSE;
 481    }
 482    else if (JB_ERR_OK == get_destination_from_headers(headers, csp->http))
 483    {
 484 #ifndef FEATURE_EXTENDED_HOST_PATTERNS
 485       /* Split the domain we just got for pattern matching */
 486       init_domain_components(csp->http);
 487 #endif
 488
 489       return JB_ERR_OK;
 490    }
 491    else
 492    {
 493       /* We can't work without destination. Go spread the news.*/
 494
 495       req = list_to_text(headers);
 496       chomp(req);
 497       /* XXX: Use correct size */
 498       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 400 0",
 499          csp->ip_addr_str, csp->http->cmd);
 500       log_error(LOG_LEVEL_ERROR,
 501          "Privoxy was unable to get the destination for %s's request:\n%s\n%s",
 502          csp->ip_addr_str, csp->http->cmd, req);
 503       freez(req);
 504
 505       write_socket(csp->cfd, MISSING_DESTINATION_RESPONSE, strlen(MISSING_DESTINATION_RESPONSE));
 506       destroy_list(headers);
 507
 508       return JB_ERR_PARSE;
 509    }
 510    /*
 511     * TODO: If available, use PF's ioctl DIOCNATLOOK as last resort
 512     * to get the destination IP address, use it as host directly
 513     * or do a reverse DNS lookup first.
 514     */
 515 }
 516
 517
 518 /*********************************************************************
 519  *
 520  * Function    :  get_server_headers
 521  *
 522  * Description :  Parses server headers in iob and fills them
 523  *                into csp->headers so that they can later be
 524  *                handled by sed().
 525  *
 526  * Parameters  :
 527  *          1  :  csp = Current client state (buffers, headers, etc...)
 528  *
 529  * Returns     :  JB_ERR_OK if everything went fine, or
 530  *                JB_ERR_PARSE if the headers were incomplete.
 531  *
 532  *********************************************************************/
 533 static jb_err get_server_headers(struct client_state *csp)
 534 {
 535    int continue_hack_in_da_house = 0;
 536    char * header;
 537
 538    while (((header = get_header(csp->iob)) != NULL) || continue_hack_in_da_house)
 539    {
 540       if (header == NULL)
 541       {
 542          /*
 543           * continue hack in da house. Ignore the ending of
 544           * this head and continue enlisting header lines.
 545           * The reason is described below.
 546           */
 547          enlist(csp->headers, "");
 548          continue_hack_in_da_house = 0;
 549          continue;
 550       }
 551       else if (0 == strncmpic(header, "HTTP/1.1 100", 12))
 552       {
 553          /*
 554           * It's a bodyless continue response, don't
 555           * stop header parsing after reaching its end.
 556           *
 557           * As a result Privoxy will concatenate the
 558           * next response's head and parse and deliver
 559           * the headers as if they belonged to one request.
 560           *
 561           * The client will separate them because of the
 562           * empty line between them.
 563           *
 564           * XXX: What we're doing here is clearly against
 565           * the intended purpose of the continue header,
 566           * and under some conditions (HTTP/1.0 client request)
 567           * it's a standard violation.
 568           *
 569           * Anyway, "sort of against the spec" is preferable
 570           * to "always getting confused by Continue responses"
 571           * (Privoxy's behaviour before this hack was added)
 572           */
 573          log_error(LOG_LEVEL_HEADER, "Continue hack in da house.");
 574          continue_hack_in_da_house = 1;
 575       }
 576       else if (*header == '\0')
 577       {
 578          /*
 579           * If the header is empty, but the Continue hack
 580           * isn't active, we can assume that we reached the
 581           * end of the buffer before we hit the end of the
 582           * head.
 583           *
 584           * Inform the caller an let it decide how to handle it.
 585           */
 586          return JB_ERR_PARSE;
 587       }
 588
 589       if (JB_ERR_MEMORY == enlist(csp->headers, header))
 590       {
 591          /*
 592           * XXX: Should we quit the request and return a
 593           * out of memory error page instead?
 594           */
 595          log_error(LOG_LEVEL_ERROR,
 596             "Out of memory while enlisting server headers. %s lost.",
 597             header);
 598       }
 599       freez(header);
 600    }
 601
 602    return JB_ERR_OK;
 603 }
 604
 605
 606 /*********************************************************************
 607  *
 608  * Function    :  crunch_reason
 609  *
 610  * Description :  Translates the crunch reason code into a string.
 611  *
 612  * Parameters  :
 613  *          1  :  rsp = a http_response
 614  *
 615  * Returns     :  A string with the crunch reason or an error description.
 616  *
 617  *********************************************************************/
 618 static const char *crunch_reason(const struct http_response *rsp)
 619 {
 620    char * reason = NULL;
 621
 622    assert(rsp != NULL);
 623    if (rsp == NULL)
 624    {
 625       return "Internal error while searching for crunch reason";
 626    }
 627
 628    switch (rsp->reason)
 629    {
 630       case RSP_REASON_UNSUPPORTED:
 631          reason = "Unsupported HTTP feature";
 632          break;
 633       case RSP_REASON_BLOCKED:
 634          reason = "Blocked";
 635          break;
 636       case RSP_REASON_UNTRUSTED:
 637          reason = "Untrusted";
 638          break;
 639       case RSP_REASON_REDIRECTED:
 640          reason = "Redirected";
 641          break;
 642       case RSP_REASON_CGI_CALL:
 643          reason = "CGI Call";
 644          break;
 645       case RSP_REASON_NO_SUCH_DOMAIN:
 646          reason = "DNS failure";
 647          break;
 648       case RSP_REASON_FORWARDING_FAILED:
 649          reason = "Forwarding failed";
 650          break;
 651       case RSP_REASON_CONNECT_FAILED:
 652          reason = "Connection failure";
 653          break;
 654       case RSP_REASON_OUT_OF_MEMORY:
 655          reason = "Out of memory (may mask other reasons)";
 656          break;
 657       case RSP_REASON_CONNECTION_TIMEOUT:
 658          reason = "Connection timeout";
 659          break;
 660       case RSP_REASON_NO_SERVER_DATA:
 661          reason = "No server data received";
 662          break;
 663       default:
 664          reason = "No reason recorded";
 665          break;
 666    }
 667
 668    return reason;
 669 }
 670
 671
 672 /*********************************************************************
 673  *
 674  * Function    :  send_crunch_response
 675  *
 676  * Description :  Delivers already prepared response for
 677  *                intercepted requests, logs the interception
 678  *                and frees the response.
 679  *
 680  * Parameters  :
 681  *          1  :  csp = Current client state (buffers, headers, etc...)
 682  *          1  :  rsp = Fully prepared response. Will be freed on exit.
 683  *
 684  * Returns     :  Nothing.
 685  *
 686  *********************************************************************/
 687 static void send_crunch_response(const struct client_state *csp, struct http_response *rsp)
 688 {
 689       const struct http_request *http = csp->http;
 690       char status_code[4];
 691
 692       assert(rsp != NULL);
 693       assert(rsp->head != NULL);
 694
 695       if (rsp == NULL)
 696       {
 697          /*
 698           * Not supposed to happen. If it does
 699           * anyway, treat it as an unknown error.
 700           */
 701          cgi_error_unknown(csp, rsp, RSP_REASON_INTERNAL_ERROR);
 702          /* return code doesn't matter */
 703       }
 704
 705       if (rsp == NULL)
 706       {
 707          /* If rsp is still NULL, we have serious internal problems. */
 708          log_error(LOG_LEVEL_FATAL,
 709             "NULL response in send_crunch_response and cgi_error_unknown failed as well.");
 710       }
 711
 712       /*
 713        * Extract the status code from the actual head
 714        * that was send to the client. It is the only
 715        * way to get it right for all requests, including
 716        * the fixed ones for out-of-memory problems.
 717        *
 718        * A head starts like this: 'HTTP/1.1 200...'
 719        *                           0123456789|11
 720        *                                     10
 721        */
 722       status_code[0] = rsp->head[9];
 723       status_code[1] = rsp->head[10];
 724       status_code[2] = rsp->head[11];
 725       status_code[3] = '\0';
 726
 727       /* Write the answer to the client */
 728       if (write_socket(csp->cfd, rsp->head, rsp->head_length)
 729        || write_socket(csp->cfd, rsp->body, rsp->content_length))
 730       {
 731          /* There is nothing we can do about it. */
 732          log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", csp->http->host);
 733       }
 734
 735       /* Log that the request was crunched and why. */
 736       log_error(LOG_LEVEL_CRUNCH, "%s: %s", crunch_reason(rsp), http->url);
 737       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" %s %u",
 738          csp->ip_addr_str, http->ocmd, status_code, rsp->content_length);
 739
 740       /* Clean up and return */
 741       if (cgi_error_memory() != rsp)
 742       {
 743          free_http_response(rsp);
 744       }
 745       return;
 746 }
 747
 748
 749 #if 0
 750 /*********************************************************************
 751  *
 752  * Function    :  request_contains_null_bytes
 753  *
 754  * Description :  Checks for NULL bytes in the request and sends
 755  *                an error message to the client if any were found.
 756  *
 757  *                XXX: currently not used, see comment in chat().
 758  *
 759  * Parameters  :
 760  *          1  :  csp = Current client state (buffers, headers, etc...)
 761  *          2  :  buf = Data from the client's request to check.
 762  *          3  :  len = The data length.
 763  *
 764  * Returns     :  TRUE if the request contained one or more NULL bytes, or
 765  *                FALSE otherwise.
 766  *
 767  *********************************************************************/
 768 static int request_contains_null_bytes(const struct client_state *csp, char *buf, int len)
 769 {
 770    size_t c_len; /* Request lenght when treated as C string */
 771
 772    c_len = strlen(buf);
 773
 774    if (c_len < len)
 775    {
 776       /*
 777        * Null byte(s) found. Log the request,
 778        * return an error response and hang up.
 779        */
 780       size_t tmp_len = c_len;
 781
 782       do
 783       {
 784         /*
 785          * Replace NULL byte(s) with '°' characters
 786          * so the request can be logged as string.
 787          * XXX: Is there a better replacement character?
 788          */
 789          buf[tmp_len]='°';
 790          tmp_len += strlen(buf+tmp_len);
 791       } while (tmp_len < len);
 792
 793       log_error(LOG_LEVEL_ERROR, "%s\'s request contains at least one NULL byte "
 794          "(length=%d, strlen=%u).", csp->ip_addr_str, len, c_len);
 795       log_error(LOG_LEVEL_HEADER,
 796          "Offending request data with NULL bytes turned into \'°\' characters: %s", buf);
 797
 798       write_socket(csp->cfd, NULL_BYTE_RESPONSE, strlen(NULL_BYTE_RESPONSE));
 799
 800       /* XXX: Log correct size */
 801       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"Invalid request\" 400 0", csp->ip_addr_str);
 802
 803       return TRUE;
 804    }
 805
 806    return FALSE;
 807 }
 808 #endif
 809
 810
 811 /*********************************************************************
 812  *
 813  * Function    :  crunch_response_triggered
 814  *
 815  * Description :  Checks if the request has to be crunched,
 816  *                and delivers the crunch response if necessary.
 817  *
 818  * Parameters  :
 819  *          1  :  csp = Current client state (buffers, headers, etc...)
 820  *          2  :  crunchers = list of cruncher functions to run
 821  *
 822  * Returns     :  TRUE if the request was answered with a crunch response
 823  *                FALSE otherwise.
 824  *
 825  *********************************************************************/
 826 static int crunch_response_triggered(struct client_state *csp, const struct cruncher crunchers[])
 827 {
 828    struct http_response *rsp = NULL;
 829    const struct cruncher *c;
 830
 831    /*
 832     * If CGI request crunching is disabled,
 833     * check the CGI dispatcher out of order to
 834     * prevent unintentional blocks or redirects.
 835     */
 836    if (!(csp->config->feature_flags & RUNTIME_FEATURE_CGI_CRUNCHING)
 837        && (NULL != (rsp = dispatch_cgi(csp))))
 838    {
 839       /* Deliver, log and free the interception response. */
 840       send_crunch_response(csp, rsp);
 841       return TRUE;
 842    }
 843
 844    for (c = crunchers; c->cruncher != NULL; c++)
 845    {
 846       /*
 847        * Check the cruncher if either Privoxy is toggled
 848        * on and the request isn't forced, or if the cruncher
 849        * applies to forced requests as well.
 850        */
 851       if (((csp->flags & CSP_FLAG_TOGGLED_ON) &&
 852           !(csp->flags & CSP_FLAG_FORCED)) ||
 853           (c->flags & CF_IGNORE_FORCE))
 854       {
 855          rsp = c->cruncher(csp);
 856          if (NULL != rsp)
 857          {
 858             /* Deliver, log and free the interception response. */
 859             send_crunch_response(csp, rsp);
 860 #ifdef FEATURE_STATISTICS
 861             if (c->flags & CF_COUNT_AS_REJECT)
 862             {
 863                csp->flags |= CSP_FLAG_REJECTED;
 864             }
 865 #endif /* def FEATURE_STATISTICS */
 866
 867             return TRUE;
 868          }
 869       }
 870    }
 871
 872    return FALSE;
 873 }
 874
 875
 876 /*********************************************************************
 877  *
 878  * Function    :  build_request_line
 879  *
 880  * Description :  Builds the HTTP request line.
 881  *
 882  *                If a HTTP forwarder is used it expects the whole URL,
 883  *                web servers only get the path.
 884  *
 885  * Parameters  :
 886  *          1  :  csp = Current client state (buffers, headers, etc...)
 887  *          2  :  fwd = The forwarding spec used for the request
 888  *                XXX: Should use http->fwd instead.
 889  *          3  :  request_line = The old request line which will be replaced.
 890  *
 891  * Returns     :  Nothing. Terminates in case of memory problems.
 892  *
 893  *********************************************************************/
 894 static void build_request_line(struct client_state *csp, const struct forward_spec *fwd, char **request_line)
 895 {
 896    struct http_request *http = csp->http;
 897
 898    assert(http->ssl == 0);
 899
 900    /*
 901     * Downgrade http version from 1.1 to 1.0
 902     * if +downgrade action applies.
 903     */
 904    if ( (csp->action->flags & ACTION_DOWNGRADE)
 905      && (!strcmpic(http->ver, "HTTP/1.1")))
 906    {
 907       freez(http->ver);
 908       http->ver = strdup("HTTP/1.0");
 909
 910       if (http->ver == NULL)
 911       {
 912          log_error(LOG_LEVEL_FATAL, "Out of memory downgrading HTTP version");
 913       }
 914    }
 915
 916    /*
 917     * Rebuild the request line.
 918     */
 919    freez(*request_line);
 920    *request_line = strdup(http->gpc);
 921    string_append(request_line, " ");
 922
 923    if (fwd->forward_host)
 924    {
 925       string_append(request_line, http->url);
 926    }
 927    else
 928    {
 929       string_append(request_line, http->path);
 930    }
 931    string_append(request_line, " ");
 932    string_append(request_line, http->ver);
 933
 934    if (*request_line == NULL)
 935    {
 936       log_error(LOG_LEVEL_FATAL, "Out of memory writing HTTP command");
 937    }
 938    log_error(LOG_LEVEL_HEADER, "New HTTP Request-Line: %s", *request_line);
 939 }
 940
 941
 942 /*********************************************************************
 943  *
 944  * Function    :  change_request_destination
 945  *
 946  * Description :  Parse a (rewritten) request line and regenerate
 947  *                the http request data.
 948  *
 949  * Parameters  :
 950  *          1  :  csp = Current client state (buffers, headers, etc...)
 951  *
 952  * Returns     :  Forwards the parse_http_request() return code.
 953  *                Terminates in case of memory problems.
 954  *
 955  *********************************************************************/
 956 static jb_err change_request_destination(struct client_state *csp)
 957 {
 958    struct http_request *http = csp->http;
 959    jb_err err;
 960
 961    log_error(LOG_LEVEL_INFO, "Rewrite detected: %s", csp->headers->first->str);
 962    free_http_request(http);
 963    err = parse_http_request(csp->headers->first->str, http);
 964    if (JB_ERR_OK != err)
 965    {
 966       log_error(LOG_LEVEL_ERROR, "Couldn't parse rewritten request: %s.",
 967          jb_err_to_string(err));
 968    }
 969    else
 970    {
 971       /* XXX: ocmd is a misleading name */
 972       http->ocmd = strdup(http->cmd);
 973       if (http->ocmd == NULL)
 974       {
 975          log_error(LOG_LEVEL_FATAL,
 976             "Out of memory copying rewritten HTTP request line");
 977       }
 978    }
 979
 980    return err;
 981 }
 982
 983
 984 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
 985 /*********************************************************************
 986  *
 987  * Function    :  server_response_is_complete
 988  *
 989  * Description :  Determines whether we should stop reading
 990  *                from the server socket.
 991  *
 992  * Parameters  :
 993  *          1  :  csp = Current client state (buffers, headers, etc...)
 994  *          2  :  content_length = Length of content received so far.
 995  *
 996  * Returns     :  TRUE if the response is complete,
 997  *                FALSE otherwise.
 998  *
 999  *********************************************************************/
1000 static int server_response_is_complete(struct client_state *csp,
1001    unsigned long long content_length)
1002 {
1003    int content_length_known = !!(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET);
1004
1005    if (!strcmpic(csp->http->gpc, "HEAD"))
1006    {
1007       /*
1008        * "HEAD" implies no body, we are thus expecting
1009        * no content. XXX: incomplete "list" of methods?
1010        */
1011       csp->expected_content_length = 0;
1012       content_length_known = TRUE;
1013    }
1014
1015    if (csp->http->status == 304)
1016    {
1017       /*
1018        * Expect no body. XXX: incomplete "list" of status codes?
1019        */
1020       csp->expected_content_length = 0;
1021       content_length_known = TRUE;
1022    }
1023
1024    return (content_length_known && ((0 == csp->expected_content_length)
1025             || (csp->expected_content_length <= content_length)));
1026 }
1027
1028
1029 #ifdef FEATURE_CONNECTION_SHARING
1030 /*********************************************************************
1031  *
1032  * Function    :  wait_for_alive_connections
1033  *
1034  * Description :  Waits for alive connections to timeout.
1035  *
1036  * Parameters  :  N/A
1037  *
1038  * Returns     :  N/A
1039  *
1040  *********************************************************************/
1041 static void wait_for_alive_connections(void)
1042 {
1043    int connections_alive = close_unusable_connections();
1044
1045    while (0 < connections_alive)
1046    {
1047       log_error(LOG_LEVEL_CONNECT,
1048          "Waiting for %d connections to timeout.",
1049          connections_alive);
1050       sleep(60);
1051       connections_alive = close_unusable_connections();
1052    }
1053
1054    log_error(LOG_LEVEL_CONNECT, "No connections to wait for left.");
1055
1056 }
1057 #endif /* def FEATURE_CONNECTION_SHARING */
1058
1059
1060 /*********************************************************************
1061  *
1062  * Function    :  save_connection_destination
1063  *
1064  * Description :  Remembers a connection for reuse later on.
1065  *
1066  * Parameters  :
1067  *          1  :  sfd  = Open socket to remember.
1068  *          2  :  http = The destination for the connection.
1069  *          3  :  fwd  = The forwarder settings used.
1070  *          3  :  server_connection  = storage.
1071  *
1072  * Returns     : void
1073  *
1074  *********************************************************************/
1075 void save_connection_destination(jb_socket sfd,
1076                                  const struct http_request *http,
1077                                  const struct forward_spec *fwd,
1078                                  struct reusable_connection *server_connection)
1079 {
1080    assert(sfd != JB_INVALID_SOCKET);
1081    assert(NULL != http->host);
1082
1083    server_connection->sfd = sfd;
1084    server_connection->host = strdup(http->host);
1085    if (NULL == server_connection->host)
1086    {
1087       log_error(LOG_LEVEL_FATAL, "Out of memory saving socket.");
1088    }
1089    server_connection->port = http->port;
1090
1091    assert(NULL != fwd);
1092    assert(server_connection->gateway_host == NULL);
1093    assert(server_connection->gateway_port == 0);
1094    assert(server_connection->forwarder_type == 0);
1095    assert(server_connection->forward_host == NULL);
1096    assert(server_connection->forward_port == 0);
1097
1098    server_connection->forwarder_type = fwd->type;
1099    if (NULL != fwd->gateway_host)
1100    {
1101       server_connection->gateway_host = strdup(fwd->gateway_host);
1102       if (NULL == server_connection->gateway_host)
1103       {
1104          log_error(LOG_LEVEL_FATAL, "Out of memory saving gateway_host.");
1105       }
1106    }
1107    else
1108    {
1109       server_connection->gateway_host = NULL;
1110    }
1111    server_connection->gateway_port = fwd->gateway_port;
1112
1113    if (NULL != fwd->forward_host)
1114    {
1115       server_connection->forward_host = strdup(fwd->forward_host);
1116       if (NULL == server_connection->forward_host)
1117       {
1118          log_error(LOG_LEVEL_FATAL, "Out of memory saving forward_host.");
1119       }
1120    }
1121    else
1122    {
1123       server_connection->forward_host = NULL;
1124    }
1125    server_connection->forward_port = fwd->forward_port;
1126 }
1127
1128
1129 /*********************************************************************
1130  *
1131  * Function    : verify_request_length
1132  *
1133  * Description : Checks if we already got the whole client requests
1134  *               and sets CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ if
1135  *               we do.
1136  *
1137  *               Data that doesn't belong to the current request is
1138  *               thrown away to let the client retry on a clean socket.
1139  *
1140  *               XXX: This is a hack until we can deal with multiple
1141  *                    pipelined requests at the same time.
1142  *
1143  *
1144  * Parameters  :
1145  *          1  :  csp = Current client state (buffers, headers, etc...)
1146  *
1147  * Returns     :  void
1148  *
1149  *********************************************************************/
1150 static void verify_request_length(struct client_state *csp)
1151 {
1152    unsigned long long buffered_request_bytes =
1153       (unsigned long long)(csp->iob->eod - csp->iob->cur);
1154
1155    if ((csp->expected_client_content_length != 0)
1156       && (buffered_request_bytes != 0))
1157    {
1158       if (csp->expected_client_content_length >= buffered_request_bytes)
1159       {
1160          csp->expected_client_content_length -= buffered_request_bytes;
1161          log_error(LOG_LEVEL_CONNECT, "Reduced expected bytes to %llu "
1162             "to account for the %llu ones we already got.",
1163             csp->expected_client_content_length, buffered_request_bytes);
1164       }
1165       else
1166       {
1167          assert(csp->iob->eod > csp->iob->cur + csp->expected_client_content_length);
1168          csp->iob->eod = csp->iob->cur + csp->expected_client_content_length;
1169          log_error(LOG_LEVEL_CONNECT, "Reducing expected bytes to 0. "
1170             "Marking the server socket tainted after throwing %llu bytes away.",
1171             buffered_request_bytes - csp->expected_client_content_length);
1172          csp->expected_client_content_length = 0;
1173          csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1174       }
1175
1176       if (csp->expected_client_content_length == 0)
1177       {
1178          csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1179       }
1180    }
1181
1182    if (!(csp->flags & CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ)
1183     && ((csp->iob->cur[0] != '\0') || (csp->expected_client_content_length != 0)))
1184    {
1185       csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1186       if (strcmpic(csp->http->gpc, "GET")
1187          && strcmpic(csp->http->gpc, "HEAD")
1188          && strcmpic(csp->http->gpc, "TRACE")
1189          && strcmpic(csp->http->gpc, "OPTIONS")
1190          && strcmpic(csp->http->gpc, "DELETE"))
1191       {
1192          /* XXX: this is an incomplete hack */
1193          csp->flags &= ~CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1194          log_error(LOG_LEVEL_CONNECT,
1195             "There might be a request body. The connection will not be kept alive.");
1196       }
1197       else
1198       {
1199          /* XXX: and so is this */
1200          csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1201          log_error(LOG_LEVEL_CONNECT,
1202             "Possible pipeline attempt detected. The connection will not "
1203             "be kept alive and we will only serve the first request.");
1204          /* Nuke the pipelined requests from orbit, just to be sure. */
1205          csp->iob->buf[0] = '\0';
1206          csp->iob->eod = csp->iob->cur = csp->iob->buf;
1207       }
1208    }
1209    else
1210    {
1211       csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1212       log_error(LOG_LEVEL_CONNECT, "Complete client request received.");
1213    }
1214 }
1215 #endif /* FEATURE_CONNECTION_KEEP_ALIVE */
1216
1217
1218 /*********************************************************************
1219  *
1220  * Function    :  mark_server_socket_tainted
1221  *
1222  * Description :  Makes sure we don't reuse a server socket
1223  *                (if we didn't read everything the server sent
1224  *                us reusing the socket would lead to garbage).
1225  *
1226  * Parameters  :
1227  *          1  :  csp = Current client state (buffers, headers, etc...)
1228  *
1229  * Returns     :  void.
1230  *
1231  *********************************************************************/
1232 static void mark_server_socket_tainted(struct client_state *csp)
1233 {
1234    if ((csp->flags & CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE)
1235       && !(csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED))
1236    {
1237       log_error(LOG_LEVEL_CONNECT,
1238          "Marking the server socket %d tainted.",
1239          csp->server_connection.sfd);
1240       csp->flags |= CSP_FLAG_SERVER_SOCKET_TAINTED;
1241    }
1242 }
1243
1244 /*********************************************************************
1245  *
1246  * Function    :  get_request_line
1247  *
1248  * Description : Read the client request line.
1249  *
1250  * Parameters  :
1251  *          1  :  csp = Current client state (buffers, headers, etc...)
1252  *
1253  * Returns     :  Pointer to request line or NULL in case of errors.
1254  *
1255  *********************************************************************/
1256 static char *get_request_line(struct client_state *csp)
1257 {
1258    char buf[BUFFER_SIZE];
1259    char *request_line = NULL;
1260    int len;
1261
1262    memset(buf, 0, sizeof(buf));
1263
1264    do
1265    {
1266       if (!data_is_available(csp->cfd, csp->config->socket_timeout))
1267       {
1268          log_error(LOG_LEVEL_ERROR,
1269             "Stopped waiting for the request line.");
1270          write_socket(csp->cfd, CLIENT_CONNECTION_TIMEOUT_RESPONSE,
1271             strlen(CLIENT_CONNECTION_TIMEOUT_RESPONSE));
1272          return NULL;
1273       }
1274
1275       len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
1276
1277       if (len <= 0) return NULL;
1278
1279       /*
1280        * If there is no memory left for buffering the
1281        * request, there is nothing we can do but hang up
1282        */
1283       if (add_to_iob(csp, buf, len))
1284       {
1285          return NULL;
1286       }
1287
1288       request_line = get_header(csp->iob);
1289
1290    } while ((NULL != request_line) && ('\0' == *request_line));
1291
1292    return request_line;
1293
1294 }
1295
1296
1297 /*********************************************************************
1298  *
1299  * Function    :  receive_client_request
1300  *
1301  * Description : Read the client's request (more precisely the
1302  *               client headers) and answer it if necessary.
1303  *
1304  *               Note that since we're not using select() we could get
1305  *               blocked here if a client connected, then didn't say
1306  *               anything!
1307  *
1308  * Parameters  :
1309  *          1  :  csp = Current client state (buffers, headers, etc...)
1310  *
1311  * Returns     :  JB_ERR_OK, JB_ERR_PARSE or JB_ERR_MEMORY
1312  *
1313  *********************************************************************/
1314 static jb_err receive_client_request(struct client_state *csp)
1315 {
1316    char buf[BUFFER_SIZE];
1317    char *p;
1318    char *req = NULL;
1319    struct http_request *http;
1320    int len;
1321    jb_err err;
1322
1323    /* Temporary copy of the client's headers before they get enlisted in csp->headers */
1324    struct list header_list;
1325    struct list *headers = &header_list;
1326
1327    http = csp->http;
1328
1329    memset(buf, 0, sizeof(buf));
1330
1331    req = get_request_line(csp);
1332    if (req == NULL)
1333    {
1334       mark_server_socket_tainted(csp);
1335       return JB_ERR_PARSE;
1336    }
1337    assert(*req != '\0');
1338
1339    if (client_protocol_is_unsupported(csp, req))
1340    {
1341       return JB_ERR_PARSE;
1342    }
1343
1344 #ifdef FEATURE_FORCE_LOAD
1345    /*
1346     * If this request contains the FORCE_PREFIX and blocks
1347     * aren't enforced, get rid of it and set the force flag.
1348     */
1349    if (strstr(req, FORCE_PREFIX))
1350    {
1351       if (csp->config->feature_flags & RUNTIME_FEATURE_ENFORCE_BLOCKS)
1352       {
1353          log_error(LOG_LEVEL_FORCE,
1354             "Ignored force prefix in request: \"%s\".", req);
1355       }
1356       else
1357       {
1358          strclean(req, FORCE_PREFIX);
1359          log_error(LOG_LEVEL_FORCE, "Enforcing request: \"%s\".", req);
1360          csp->flags |= CSP_FLAG_FORCED;
1361       }
1362    }
1363 #endif /* def FEATURE_FORCE_LOAD */
1364
1365    err = parse_http_request(req, http);
1366    freez(req);
1367    if (JB_ERR_OK != err)
1368    {
1369       write_socket(csp->cfd, CHEADER, strlen(CHEADER));
1370       /* XXX: Use correct size */
1371       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"Invalid request\" 400 0", csp->ip_addr_str);
1372       log_error(LOG_LEVEL_ERROR,
1373          "Couldn't parse request line received from %s: %s",
1374          csp->ip_addr_str, jb_err_to_string(err));
1375
1376       free_http_request(http);
1377       return JB_ERR_PARSE;
1378    }
1379
1380    /* grab the rest of the client's headers */
1381    init_list(headers);
1382    for (;;)
1383    {
1384       p = get_header(csp->iob);
1385
1386       if (p == NULL)
1387       {
1388          /* There are no additional headers to read. */
1389          break;
1390       }
1391
1392       if (*p == '\0')
1393       {
1394          /*
1395           * We didn't receive a complete header
1396           * line yet, get the rest of it.
1397           */
1398          if (!data_is_available(csp->cfd, csp->config->socket_timeout))
1399          {
1400             log_error(LOG_LEVEL_ERROR,
1401                "Stopped grabbing the client headers.");
1402             destroy_list(headers);
1403             return JB_ERR_PARSE;
1404          }
1405
1406          len = read_socket(csp->cfd, buf, sizeof(buf) - 1);
1407          if (len <= 0)
1408          {
1409             log_error(LOG_LEVEL_ERROR, "read from client failed: %E");
1410             destroy_list(headers);
1411             return JB_ERR_PARSE;
1412          }
1413
1414          if (add_to_iob(csp, buf, len))
1415          {
1416             /*
1417              * If there is no memory left for buffering the
1418              * request, there is nothing we can do but hang up
1419              */
1420             destroy_list(headers);
1421             return JB_ERR_MEMORY;
1422          }
1423       }
1424       else
1425       {
1426          /*
1427           * We were able to read a complete
1428           * header and can finaly enlist it.
1429           */
1430          enlist(headers, p);
1431          freez(p);
1432       }
1433    }
1434
1435    if (http->host == NULL)
1436    {
1437       /*
1438        * If we still don't know the request destination,
1439        * the request is invalid or the client uses
1440        * Privoxy without its knowledge.
1441        */
1442       if (JB_ERR_OK != get_request_destination_elsewhere(csp, headers))
1443       {
1444          /*
1445           * Our attempts to get the request destination
1446           * elsewhere failed or Privoxy is configured
1447           * to only accept proxy requests.
1448           *
1449           * An error response has already been send
1450           * and we're done here.
1451           */
1452          return JB_ERR_PARSE;
1453       }
1454    }
1455
1456    /*
1457     * Determine the actions for this URL
1458     */
1459 #ifdef FEATURE_TOGGLE
1460    if (!(csp->flags & CSP_FLAG_TOGGLED_ON))
1461    {
1462       /* Most compatible set of actions (i.e. none) */
1463       init_current_action(csp->action);
1464    }
1465    else
1466 #endif /* ndef FEATURE_TOGGLE */
1467    {
1468       get_url_actions(csp, http);
1469    }
1470
1471    /*
1472     * Save a copy of the original request for logging
1473     */
1474    http->ocmd = strdup(http->cmd);
1475    if (http->ocmd == NULL)
1476    {
1477       log_error(LOG_LEVEL_FATAL,
1478          "Out of memory copying HTTP request line");
1479    }
1480    enlist(csp->headers, http->cmd);
1481
1482    /* Append the previously read headers */
1483    list_append_list_unique(csp->headers, headers);
1484    destroy_list(headers);
1485
1486    return JB_ERR_OK;
1487
1488 }
1489
1490
1491 /*********************************************************************
1492  *
1493  * Function    : parse_client_request
1494  *
1495  * Description : Parses the client's request and decides what to do
1496  *               with it.
1497  *
1498  *               Note that since we're not using select() we could get
1499  *               blocked here if a client connected, then didn't say
1500  *               anything!
1501  *
1502  * Parameters  :
1503  *          1  :  csp = Current client state (buffers, headers, etc...)
1504  *
1505  * Returns     :  JB_ERR_OK or JB_ERR_PARSE
1506  *
1507  *********************************************************************/
1508 static jb_err parse_client_request(struct client_state *csp)
1509 {
1510    struct http_request *http = csp->http;
1511    jb_err err;
1512
1513 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1514    if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
1515     && (!strcmpic(csp->http->ver, "HTTP/1.1"))
1516     && (csp->http->ssl == 0))
1517    {
1518       /* Assume persistence until further notice */
1519       csp->flags |= CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
1520    }
1521 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1522
1523    err = sed(csp, FILTER_CLIENT_HEADERS);
1524    if (JB_ERR_OK != err)
1525    {
1526       /* XXX: Should be handled in sed(). */
1527       assert(err == JB_ERR_PARSE);
1528       log_error(LOG_LEVEL_FATAL, "Failed to parse client headers.");
1529    }
1530    csp->flags |= CSP_FLAG_CLIENT_HEADER_PARSING_DONE;
1531
1532    /* Check request line for rewrites. */
1533    if ((NULL == csp->headers->first->str)
1534       || (strcmp(http->cmd, csp->headers->first->str) &&
1535          (JB_ERR_OK != change_request_destination(csp))))
1536    {
1537       /*
1538        * A header filter broke the request line - bail out.
1539        */
1540       write_socket(csp->cfd, MESSED_UP_REQUEST_RESPONSE, strlen(MESSED_UP_REQUEST_RESPONSE));
1541       /* XXX: Use correct size */
1542       log_error(LOG_LEVEL_CLF,
1543          "%s - - [%T] \"Invalid request generated\" 500 0", csp->ip_addr_str);
1544       log_error(LOG_LEVEL_ERROR,
1545          "Invalid request line after applying header filters.");
1546       free_http_request(http);
1547
1548       return JB_ERR_PARSE;
1549    }
1550
1551 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1552    if (csp->http->ssl == 0)
1553    {
1554       verify_request_length(csp);
1555    }
1556 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1557
1558    return JB_ERR_OK;
1559
1560 }
1561
1562
1563 /*********************************************************************
1564  *
1565  * Function    :  chat
1566  *
1567  * Description :  Once a connection to the client has been accepted,
1568  *                this function is called (via serve()) to handle the
1569  *                main business of the communication.  When this
1570  *                function returns, the caller must close the client
1571  *                socket handle.
1572  *
1573  *                FIXME: chat is nearly thousand lines long.
1574  *                Ridiculous.
1575  *
1576  * Parameters  :
1577  *          1  :  csp = Current client state (buffers, headers, etc...)
1578  *
1579  * Returns     :  Nothing.
1580  *
1581  *********************************************************************/
1582 static void chat(struct client_state *csp)
1583 {
1584    char buf[BUFFER_SIZE];
1585    char *hdr;
1586    char *p;
1587    fd_set rfds;
1588    int n;
1589    jb_socket maxfd;
1590    int server_body;
1591    int ms_iis5_hack = 0;
1592    unsigned long long byte_count = 0;
1593    int forwarded_connect_retries = 0;
1594    int max_forwarded_connect_retries = csp->config->forwarded_connect_retries;
1595    const struct forward_spec *fwd;
1596    struct http_request *http;
1597    long len = 0; /* for buffer sizes (and negative error codes) */
1598
1599    /* Function that does the content filtering for the current request */
1600    filter_function_ptr content_filter = NULL;
1601
1602    /* Skeleton for HTTP response, if we should intercept the request */
1603    struct http_response *rsp;
1604    struct timeval timeout;
1605    int watch_client_socket = 1;
1606
1607    memset(buf, 0, sizeof(buf));
1608
1609    http = csp->http;
1610
1611    if (receive_client_request(csp) != JB_ERR_OK)
1612    {
1613       return;
1614    }
1615    if (parse_client_request(csp) != JB_ERR_OK)
1616    {
1617       return;
1618    }
1619
1620    /* decide how to route the HTTP request */
1621    fwd = forward_url(csp, http);
1622    if (NULL == fwd)
1623    {
1624       log_error(LOG_LEVEL_FATAL, "gateway spec is NULL!?!?  This can't happen!");
1625       /* Never get here - LOG_LEVEL_FATAL causes program exit */
1626       return;
1627    }
1628
1629    /*
1630     * build the http request to send to the server
1631     * we have to do one of the following:
1632     *
1633     * create = use the original HTTP request to create a new
1634     *          HTTP request that has either the path component
1635     *          without the http://domainspec (w/path) or the
1636     *          full orininal URL (w/url)
1637     *          Note that the path and/or the HTTP version may
1638     *          have been altered by now.
1639     *
1640     * connect = Open a socket to the host:port of the server
1641     *           and short-circuit server and client socket.
1642     *
1643     * pass =  Pass the request unchanged if forwarding a CONNECT
1644     *         request to a parent proxy. Note that we'll be sending
1645     *         the CFAIL message ourselves if connecting to the parent
1646     *         fails, but we won't send a CSUCCEED message if it works,
1647     *         since that would result in a double message (ours and the
1648     *         parent's). After sending the request to the parent, we simply
1649     *         tunnel.
1650     *
1651     * here's the matrix:
1652     *                        SSL
1653     *                    0        1
1654     *                +--------+--------+
1655     *                |        |        |
1656     *             0  | create | connect|
1657     *                | w/path |        |
1658     *  Forwarding    +--------+--------+
1659     *                |        |        |
1660     *             1  | create | pass   |
1661     *                | w/url  |        |
1662     *                +--------+--------+
1663     *
1664     */
1665
1666    if (http->ssl && connect_port_is_forbidden(csp))
1667    {
1668       const char *acceptable_connect_ports =
1669          csp->action->string[ACTION_STRING_LIMIT_CONNECT];
1670       assert(NULL != acceptable_connect_ports);
1671       log_error(LOG_LEVEL_INFO, "Request from %s marked for blocking. "
1672          "limit-connect{%s} doesn't allow CONNECT requests to port %d.",
1673          csp->ip_addr_str, acceptable_connect_ports, csp->http->port);
1674       csp->action->flags |= ACTION_BLOCK;
1675       http->ssl = 0;
1676    }
1677
1678    if (http->ssl == 0)
1679    {
1680       freez(csp->headers->first->str);
1681       build_request_line(csp, fwd, &csp->headers->first->str);
1682    }
1683
1684    /*
1685     * We have a request. Check if one of the crunchers wants it.
1686     */
1687    if (crunch_response_triggered(csp, crunchers_all))
1688    {
1689       /*
1690        * Yes. The client got the crunch response
1691        * and we are done here after cleaning up.
1692        */
1693       /* XXX: why list_remove_all()? */
1694       list_remove_all(csp->headers);
1695
1696       return;
1697    }
1698
1699    log_error(LOG_LEVEL_GPC, "%s%s", http->hostport, http->path);
1700
1701    if (fwd->forward_host)
1702    {
1703       log_error(LOG_LEVEL_CONNECT, "via [%s]:%d to: %s",
1704          fwd->forward_host, fwd->forward_port, http->hostport);
1705    }
1706    else
1707    {
1708       log_error(LOG_LEVEL_CONNECT, "to %s", http->hostport);
1709    }
1710
1711    /* here we connect to the server, gateway, or the forwarder */
1712
1713 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1714    if ((csp->server_connection.sfd != JB_INVALID_SOCKET)
1715       && socket_is_still_usable(csp->server_connection.sfd)
1716       && connection_destination_matches(&csp->server_connection, http, fwd))
1717    {
1718       log_error(LOG_LEVEL_CONNECT,
1719          "Reusing server socket %u. Opened for %s.",
1720          csp->server_connection.sfd, csp->server_connection.host);
1721    }
1722    else
1723    {
1724       if (csp->server_connection.sfd != JB_INVALID_SOCKET)
1725       {
1726          log_error(LOG_LEVEL_CONNECT,
1727             "Closing server socket %u. Opened for %s.",
1728             csp->server_connection.sfd, csp->server_connection.host);
1729          close_socket(csp->server_connection.sfd);
1730          mark_connection_closed(&csp->server_connection);
1731       }
1732 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1733
1734       while ((csp->server_connection.sfd = forwarded_connect(fwd, http, csp))
1735          && (errno == EINVAL)
1736          && (forwarded_connect_retries++ < max_forwarded_connect_retries))
1737       {
1738          log_error(LOG_LEVEL_ERROR,
1739             "failed request #%u to connect to %s. Trying again.",
1740             forwarded_connect_retries, http->hostport);
1741       }
1742
1743       if (csp->server_connection.sfd == JB_INVALID_SOCKET)
1744       {
1745          if (fwd->type != SOCKS_NONE)
1746          {
1747             /* Socks error. */
1748             rsp = error_response(csp, "forwarding-failed");
1749          }
1750          else if (errno == EINVAL)
1751          {
1752             rsp = error_response(csp, "no-such-domain");
1753          }
1754          else
1755          {
1756             rsp = error_response(csp, "connect-failed");
1757             log_error(LOG_LEVEL_CONNECT, "connect to: %s failed: %E",
1758                http->hostport);
1759          }
1760
1761          /* Write the answer to the client */
1762          if (rsp != NULL)
1763          {
1764             send_crunch_response(csp, rsp);
1765          }
1766
1767          return;
1768       }
1769 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1770       save_connection_destination(csp->server_connection.sfd,
1771          http, fwd, &csp->server_connection);
1772       csp->server_connection.keep_alive_timeout =
1773          (unsigned)csp->config->keep_alive_timeout;
1774    }
1775 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1776
1777    hdr = list_to_text(csp->headers);
1778    if (hdr == NULL)
1779    {
1780       /* FIXME Should handle error properly */
1781       log_error(LOG_LEVEL_FATAL, "Out of memory parsing client header");
1782    }
1783    list_remove_all(csp->headers);
1784
1785    if (fwd->forward_host || (http->ssl == 0))
1786    {
1787       /*
1788        * Write the client's (modified) header to the server
1789        * (along with anything else that may be in the buffer)
1790        */
1791       if (write_socket(csp->server_connection.sfd, hdr, strlen(hdr))
1792        || (flush_socket(csp->server_connection.sfd, csp->iob) <  0))
1793       {
1794          log_error(LOG_LEVEL_CONNECT,
1795             "write header to: %s failed: %E", http->hostport);
1796
1797          rsp = error_response(csp, "connect-failed");
1798          if (rsp)
1799          {
1800             send_crunch_response(csp, rsp);
1801          }
1802
1803          freez(hdr);
1804          return;
1805       }
1806    }
1807    else
1808    {
1809       /*
1810        * We're running an SSL tunnel and we're not forwarding,
1811        * so just send the "connect succeeded" message to the
1812        * client, flush the rest, and get out of the way.
1813        */
1814       if (write_socket(csp->cfd, CSUCCEED, strlen(CSUCCEED)))
1815       {
1816          freez(hdr);
1817          return;
1818       }
1819       IOB_RESET(csp);
1820    }
1821
1822    log_error(LOG_LEVEL_CONNECT, "to %s successful", http->hostport);
1823
1824    csp->server_connection.request_sent = time(NULL);
1825
1826    /* we're finished with the client's header */
1827    freez(hdr);
1828
1829    maxfd = (csp->cfd > csp->server_connection.sfd) ?
1830       csp->cfd : csp->server_connection.sfd;
1831
1832    /* pass data between the client and server
1833     * until one or the other shuts down the connection.
1834     */
1835
1836    server_body = 0;
1837
1838    for (;;)
1839    {
1840 #ifdef __OS2__
1841       /*
1842        * FD_ZERO here seems to point to an errant macro which crashes.
1843        * So do this by hand for now...
1844        */
1845       memset(&rfds,0x00,sizeof(fd_set));
1846 #else
1847       FD_ZERO(&rfds);
1848 #endif
1849 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1850       if (!watch_client_socket)
1851       {
1852          maxfd = csp->server_connection.sfd;
1853       }
1854       else
1855 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1856       {
1857          FD_SET(csp->cfd, &rfds);
1858       }
1859
1860       FD_SET(csp->server_connection.sfd, &rfds);
1861
1862 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1863       if ((csp->flags & CSP_FLAG_CHUNKED)
1864          && !(csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
1865          && ((csp->iob->eod - csp->iob->cur) >= 5)
1866          && !memcmp(csp->iob->eod-5, "0\r\n\r\n", 5))
1867       {
1868          log_error(LOG_LEVEL_CONNECT,
1869             "Looks like we read the last chunk together with "
1870             "the server headers. We better stop reading.");
1871          byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
1872          csp->expected_content_length = byte_count;
1873          csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
1874       }
1875       if (server_body && server_response_is_complete(csp, byte_count))
1876       {
1877          if (csp->expected_content_length == byte_count)
1878          {
1879             log_error(LOG_LEVEL_CONNECT,
1880                "Done reading from server. Content length: %llu as expected. "
1881                "Bytes most recently read: %d.",
1882                byte_count, len);
1883          }
1884          else
1885          {
1886             log_error(LOG_LEVEL_CONNECT,
1887                "Done reading from server. Expected content length: %llu. "
1888                "Actual content length: %llu. Bytes most recently read: %d.",
1889                csp->expected_content_length, byte_count, len);
1890          }
1891          len = 0;
1892          /*
1893           * XXX: should not jump around,
1894           * chat() is complicated enough already.
1895           */
1896          goto reading_done;
1897       }
1898 #endif  /* FEATURE_CONNECTION_KEEP_ALIVE */
1899
1900       timeout.tv_sec = csp->config->socket_timeout;
1901       timeout.tv_usec = 0;
1902       n = select((int)maxfd+1, &rfds, NULL, NULL, &timeout);
1903
1904       if (n == 0)
1905       {
1906          log_error(LOG_LEVEL_ERROR,
1907             "Didn't receive data in time: %s", http->url);
1908          if ((byte_count == 0) && (http->ssl == 0))
1909          {
1910             send_crunch_response(csp, error_response(csp, "connection-timeout"));
1911          }
1912          mark_server_socket_tainted(csp);
1913          return;
1914       }
1915       else if (n < 0)
1916       {
1917          log_error(LOG_LEVEL_ERROR, "select() failed!: %E");
1918          mark_server_socket_tainted(csp);
1919          return;
1920       }
1921
1922       /*
1923        * This is the body of the browser's request,
1924        * just read and write it.
1925        *
1926        * XXX: Make sure the client doesn't use pipelining
1927        * behind Privoxy's back.
1928        */
1929       if (FD_ISSET(csp->cfd, &rfds))
1930       {
1931          int max_bytes_to_read = sizeof(buf) - 1;
1932
1933 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1934          if ((csp->flags & CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ))
1935          {
1936             if (data_is_available(csp->cfd, 0))
1937             {
1938                /*
1939                 * If the next request is already waiting, we have
1940                 * to stop select()ing the client socket. Otherwise
1941                 * we would always return right away and get nothing
1942                 * else done.
1943                 */
1944                watch_client_socket = 0;
1945                log_error(LOG_LEVEL_CONNECT,
1946                   "Stopping to watch the client socket. "
1947                   "There's already another request waiting.");
1948                continue;
1949             }
1950             /*
1951              * If the client socket is set, but there's no data
1952              * available on the socket, the client went fishing
1953              * and continuing talking to the server makes no sense.
1954              */
1955             log_error(LOG_LEVEL_CONNECT,
1956                "The client closed socket %d while "
1957                "the server socket %d is still open.",
1958                csp->cfd, csp->server_connection.sfd);
1959             mark_server_socket_tainted(csp);
1960             break;
1961          }
1962          if (csp->expected_client_content_length != 0)
1963          {
1964             if (csp->expected_client_content_length < (sizeof(buf) - 1))
1965             {
1966                max_bytes_to_read = (int)csp->expected_client_content_length;
1967             }
1968             log_error(LOG_LEVEL_CONNECT,
1969                "Waiting for up to %d bytes from the client.",
1970                max_bytes_to_read);
1971          }
1972          assert(max_bytes_to_read < sizeof(buf));
1973 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1974
1975          len = read_socket(csp->cfd, buf, max_bytes_to_read);
1976
1977          if (len <= 0)
1978          {
1979             /* XXX: not sure if this is necessary. */
1980             mark_server_socket_tainted(csp);
1981             break; /* "game over, man" */
1982          }
1983
1984 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1985          if (csp->expected_client_content_length != 0)
1986          {
1987             assert(len <= max_bytes_to_read);
1988             csp->expected_client_content_length -= (unsigned)len;
1989             log_error(LOG_LEVEL_CONNECT,
1990                "Expected client content length set to %llu "
1991                "after reading %d bytes.",
1992                csp->expected_client_content_length, len);
1993             if (csp->expected_client_content_length == 0)
1994             {
1995                log_error(LOG_LEVEL_CONNECT,
1996                   "Done reading from the client.");
1997                csp->flags |= CSP_FLAG_CLIENT_REQUEST_COMPLETELY_READ;
1998             }
1999          }
2000 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2001
2002          if (write_socket(csp->server_connection.sfd, buf, (size_t)len))
2003          {
2004             log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
2005             mark_server_socket_tainted(csp);
2006             return;
2007          }
2008          continue;
2009       }
2010
2011       /*
2012        * The server wants to talk. It could be the header or the body.
2013        * If `hdr' is null, then it's the header otherwise it's the body.
2014        * FIXME: Does `hdr' really mean `host'? No.
2015        */
2016       if (FD_ISSET(csp->server_connection.sfd, &rfds))
2017       {
2018 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2019          if (!socket_is_still_usable(csp->cfd))
2020          {
2021 #ifdef _WIN32
2022             log_error(LOG_LEVEL_CONNECT,
2023                "The server still wants to talk, but the client may already have hung up on us.");
2024 #else
2025             log_error(LOG_LEVEL_CONNECT,
2026                "The server still wants to talk, but the client hung up on us.");
2027             mark_server_socket_tainted(csp);
2028             return;
2029 #endif /* def _WIN32 */
2030          }
2031 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2032
2033          fflush(NULL);
2034          len = read_socket(csp->server_connection.sfd, buf, sizeof(buf) - 1);
2035
2036          if (len < 0)
2037          {
2038             log_error(LOG_LEVEL_ERROR, "read from: %s failed: %E", http->host);
2039
2040             if (http->ssl && (fwd->forward_host == NULL))
2041             {
2042                /*
2043                 * Just hang up. We already confirmed the client's CONNECT
2044                 * request with status code 200 and unencrypted content is
2045                 * no longer welcome.
2046                 */
2047                log_error(LOG_LEVEL_ERROR,
2048                   "CONNECT already confirmed. Unable to tell the client about the problem.");
2049                return;
2050             }
2051             else if (byte_count)
2052             {
2053                /*
2054                 * Just hang up. We already transmitted the original headers
2055                 * and parts of the original content and therefore missed the
2056                 * chance to send an error message (without risking data corruption).
2057                 *
2058                 * XXX: we could retry with a fancy range request here.
2059                 */
2060                log_error(LOG_LEVEL_ERROR, "Already forwarded the original headers. "
2061                   "Unable to tell the client about the problem.");
2062                mark_server_socket_tainted(csp);
2063                return;
2064             }
2065             /*
2066              * XXX: Consider handling the cases above the same.
2067              */
2068             mark_server_socket_tainted(csp);
2069             len = 0;
2070          }
2071
2072 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2073          if (csp->flags & CSP_FLAG_CHUNKED)
2074          {
2075             if ((len >= 5) && !memcmp(buf+len-5, "0\r\n\r\n", 5))
2076             {
2077                /* XXX: this is a temporary hack */
2078                log_error(LOG_LEVEL_CONNECT,
2079                   "Looks like we reached the end of the last chunk. "
2080                   "We better stop reading.");
2081                csp->expected_content_length = byte_count + (unsigned long long)len;
2082                csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
2083             }
2084          }
2085          reading_done:
2086 #endif  /* FEATURE_CONNECTION_KEEP_ALIVE */
2087
2088          /*
2089           * Add a trailing zero to let be able to use string operations.
2090           * XXX: do we still need this with filter_popups gone?
2091           */
2092          buf[len] = '\0';
2093
2094          /*
2095           * Normally, this would indicate that we've read
2096           * as much as the server has sent us and we can
2097           * close the client connection.  However, Microsoft
2098           * in its wisdom has released IIS/5 with a bug that
2099           * prevents it from sending the trailing \r\n in
2100           * a 302 redirect header (and possibly other headers).
2101           * To work around this if we've haven't parsed
2102           * a full header we'll append a trailing \r\n
2103           * and see if this now generates a valid one.
2104           *
2105           * This hack shouldn't have any impacts.  If we've
2106           * already transmitted the header or if this is a
2107           * SSL connection, then we won't bother with this
2108           * hack.  So we only work on partially received
2109           * headers.  If we append a \r\n and this still
2110           * doesn't generate a valid header, then we won't
2111           * transmit anything to the client.
2112           */
2113          if (len == 0)
2114          {
2115
2116             if (server_body || http->ssl)
2117             {
2118                /*
2119                 * If we have been buffering up the document,
2120                 * now is the time to apply content modification
2121                 * and send the result to the client.
2122                 */
2123                if (content_filter)
2124                {
2125                   p = execute_content_filter(csp, content_filter);
2126                   /*
2127                    * If the content filter fails, use the original
2128                    * buffer and length.
2129                    * (see p != NULL ? p : csp->iob->cur below)
2130                    */
2131                   if (NULL == p)
2132                   {
2133                      csp->content_length = (size_t)(csp->iob->eod - csp->iob->cur);
2134                   }
2135
2136                   if (JB_ERR_OK != update_server_headers(csp))
2137                   {
2138                      log_error(LOG_LEVEL_FATAL,
2139                         "Failed to update server headers. after filtering.");
2140                   }
2141
2142                   hdr = list_to_text(csp->headers);
2143                   if (hdr == NULL)
2144                   {
2145                      /* FIXME Should handle error properly */
2146                      log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2147                   }
2148
2149                   if (write_socket(csp->cfd, hdr, strlen(hdr))
2150                    || write_socket(csp->cfd,
2151                          ((p != NULL) ? p : csp->iob->cur), (size_t)csp->content_length))
2152                   {
2153                      log_error(LOG_LEVEL_ERROR, "write modified content to client failed: %E");
2154                      freez(hdr);
2155                      freez(p);
2156                      mark_server_socket_tainted(csp);
2157                      return;
2158                   }
2159
2160                   freez(hdr);
2161                   freez(p);
2162                }
2163
2164                break; /* "game over, man" */
2165             }
2166
2167             /*
2168              * This is NOT the body, so
2169              * Let's pretend the server just sent us a blank line.
2170              */
2171             snprintf(buf, sizeof(buf), "\r\n");
2172             len = (int)strlen(buf);
2173
2174             /*
2175              * Now, let the normal header parsing algorithm below do its
2176              * job.  If it fails, we'll exit instead of continuing.
2177              */
2178
2179             ms_iis5_hack = 1;
2180          }
2181
2182          /*
2183           * If this is an SSL connection or we're in the body
2184           * of the server document, just write it to the client,
2185           * unless we need to buffer the body for later content-filtering
2186           */
2187          if (server_body || http->ssl)
2188          {
2189             if (content_filter)
2190             {
2191                /*
2192                 * If there is no memory left for buffering the content, or the buffer limit
2193                 * has been reached, switch to non-filtering mode, i.e. make & write the
2194                 * header, flush the iob and buf, and get out of the way.
2195                 */
2196                if (add_to_iob(csp, buf, len))
2197                {
2198                   size_t hdrlen;
2199                   long flushed;
2200
2201                   log_error(LOG_LEVEL_INFO,
2202                      "Flushing header and buffers. Stepping back from filtering.");
2203
2204                   hdr = list_to_text(csp->headers);
2205                   if (hdr == NULL)
2206                   {
2207                      /*
2208                       * Memory is too tight to even generate the header.
2209                       * Send our static "Out-of-memory" page.
2210                       */
2211                      log_error(LOG_LEVEL_ERROR, "Out of memory while trying to flush.");
2212                      rsp = cgi_error_memory();
2213                      send_crunch_response(csp, rsp);
2214                      mark_server_socket_tainted(csp);
2215                      return;
2216                   }
2217                   hdrlen = strlen(hdr);
2218
2219                   if (write_socket(csp->cfd, hdr, hdrlen)
2220                    || ((flushed = flush_socket(csp->cfd, csp->iob)) < 0)
2221                    || (write_socket(csp->cfd, buf, (size_t)len)))
2222                   {
2223                      log_error(LOG_LEVEL_CONNECT,
2224                         "Flush header and buffers to client failed: %E");
2225                      freez(hdr);
2226                      mark_server_socket_tainted(csp);
2227                      return;
2228                   }
2229
2230                   /*
2231                    * Reset the byte_count to the amount of bytes
2232                    * we just flushed. len will be added a few lines below,
2233                    * hdrlen doesn't matter for LOG_LEVEL_CLF.
2234                    */
2235                   byte_count = (unsigned long long)flushed;
2236                   freez(hdr);
2237                   content_filter = NULL;
2238                   server_body = 1;
2239                }
2240             }
2241             else
2242             {
2243                if (write_socket(csp->cfd, buf, (size_t)len))
2244                {
2245                   log_error(LOG_LEVEL_ERROR, "write to client failed: %E");
2246                   mark_server_socket_tainted(csp);
2247                   return;
2248                }
2249             }
2250             byte_count += (unsigned long long)len;
2251             continue;
2252          }
2253          else
2254          {
2255             /*
2256              * We're still looking for the end of the server's header.
2257              * Buffer up the data we just read.  If that fails, there's
2258              * little we can do but send our static out-of-memory page.
2259              */
2260             if (add_to_iob(csp, buf, len))
2261             {
2262                log_error(LOG_LEVEL_ERROR, "Out of memory while looking for end of server headers.");
2263                rsp = cgi_error_memory();
2264                send_crunch_response(csp, rsp);
2265                mark_server_socket_tainted(csp);
2266                return;
2267             }
2268
2269             /* Convert iob into something sed() can digest */
2270             if (JB_ERR_PARSE == get_server_headers(csp))
2271             {
2272                if (ms_iis5_hack)
2273                {
2274                   /*
2275                    * Well, we tried our MS IIS/5 hack and it didn't work.
2276                    * The header is incomplete and there isn't anything
2277                    * we can do about it.
2278                    */
2279                   log_error(LOG_LEVEL_ERROR, "Invalid server headers. "
2280                      "Applying the MS IIS5 hack didn't help.");
2281                   log_error(LOG_LEVEL_CLF,
2282                      "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2283                   write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2284                      strlen(INVALID_SERVER_HEADERS_RESPONSE));
2285                   mark_server_socket_tainted(csp);
2286                   return;
2287                }
2288                else
2289                {
2290                   /*
2291                    * Since we have to wait for more from the server before
2292                    * we can parse the headers we just continue here.
2293                    */
2294                   log_error(LOG_LEVEL_CONNECT,
2295                      "Continuing buffering headers. Bytes most recently read: %d.",
2296                      len);
2297                   continue;
2298                }
2299             }
2300             else
2301             {
2302                /*
2303                 * Account for the content bytes we
2304                 * might have gotten with the headers.
2305                 */
2306                assert(csp->iob->eod >= csp->iob->cur);
2307                byte_count = (unsigned long long)(csp->iob->eod - csp->iob->cur);
2308             }
2309
2310             /* Did we actually get anything? */
2311             if (NULL == csp->headers->first)
2312             {
2313                if ((csp->flags & CSP_FLAG_REUSED_CLIENT_CONNECTION))
2314                {
2315                   log_error(LOG_LEVEL_ERROR,
2316                      "Empty server or forwarder response received on socket %d. "
2317                      "Closing client connection %d without sending data.",
2318                      csp->server_connection.sfd, csp->cfd);
2319                }
2320                else
2321                {
2322                   log_error(LOG_LEVEL_ERROR,
2323                      "Empty server or forwarder response received on socket %d.",
2324                      csp->server_connection.sfd);
2325                   send_crunch_response(csp, error_response(csp, "no-server-data"));
2326                }
2327                log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2328                free_http_request(http);
2329                mark_server_socket_tainted(csp);
2330                return;
2331             }
2332
2333             assert(csp->headers->first->str);
2334             assert(!http->ssl);
2335             if (strncmpic(csp->headers->first->str, "HTTP", 4) &&
2336                 strncmpic(csp->headers->first->str, "ICY", 3))
2337             {
2338                /*
2339                 * It doesn't look like a HTTP (or Shoutcast) response:
2340                 * tell the client and log the problem.
2341                 */
2342                if (strlen(csp->headers->first->str) > 30)
2343                {
2344                   csp->headers->first->str[30] = '\0';
2345                }
2346                log_error(LOG_LEVEL_ERROR,
2347                   "Invalid server or forwarder response. Starts with: %s",
2348                   csp->headers->first->str);
2349                log_error(LOG_LEVEL_CLF,
2350                   "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2351                write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2352                   strlen(INVALID_SERVER_HEADERS_RESPONSE));
2353                free_http_request(http);
2354                mark_server_socket_tainted(csp);
2355                return;
2356             }
2357
2358             /*
2359              * We have now received the entire server header,
2360              * filter it and send the result to the client
2361              */
2362             if (JB_ERR_OK != sed(csp, FILTER_SERVER_HEADERS))
2363             {
2364                log_error(LOG_LEVEL_FATAL, "Failed to parse server headers.");
2365             }
2366             hdr = list_to_text(csp->headers);
2367             if (hdr == NULL)
2368             {
2369                /* FIXME Should handle error properly */
2370                log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
2371             }
2372
2373             csp->server_connection.response_received = time(NULL);
2374
2375             if (crunch_response_triggered(csp, crunchers_light))
2376             {
2377                /*
2378                 * One of the tags created by a server-header
2379                 * tagger triggered a crunch. We already
2380                 * delivered the crunch response to the client
2381                 * and are done here after cleaning up.
2382                 */
2383                 freez(hdr);
2384                 mark_server_socket_tainted(csp);
2385                 return;
2386             }
2387             /* Buffer and pcrs filter this if appropriate. */
2388
2389             if (!http->ssl) /* We talk plaintext */
2390             {
2391                content_filter = get_filter_function(csp);
2392             }
2393             /*
2394              * Only write if we're not buffering for content modification
2395              */
2396             if (!content_filter)
2397             {
2398                /*
2399                 * Write the server's (modified) header to
2400                 * the client (along with anything else that
2401                 * may be in the buffer)
2402                 */
2403
2404                if (write_socket(csp->cfd, hdr, strlen(hdr))
2405                 || ((len = flush_socket(csp->cfd, csp->iob)) < 0))
2406                {
2407                   log_error(LOG_LEVEL_CONNECT, "write header to client failed: %E");
2408
2409                   /*
2410                    * The write failed, so don't bother mentioning it
2411                    * to the client... it probably can't hear us anyway.
2412                    */
2413                   freez(hdr);
2414                   mark_server_socket_tainted(csp);
2415                   return;
2416                }
2417             }
2418
2419             /* we're finished with the server's header */
2420
2421             freez(hdr);
2422             server_body = 1;
2423
2424             /*
2425              * If this was a MS IIS/5 hack then it means the server
2426              * has already closed the connection. Nothing more to read.
2427              * Time to bail.
2428              */
2429             if (ms_iis5_hack)
2430             {
2431                log_error(LOG_LEVEL_ERROR,
2432                   "Closed server connection detected. "
2433                   "Applying the MS IIS5 hack didn't help.");
2434                log_error(LOG_LEVEL_CLF,
2435                   "%s - - [%T] \"%s\" 502 0", csp->ip_addr_str, http->cmd);
2436                write_socket(csp->cfd, INVALID_SERVER_HEADERS_RESPONSE,
2437                   strlen(INVALID_SERVER_HEADERS_RESPONSE));
2438                mark_server_socket_tainted(csp);
2439                return;
2440             }
2441          }
2442          continue;
2443       }
2444       mark_server_socket_tainted(csp);
2445       return; /* huh? we should never get here */
2446    }
2447
2448    if (csp->content_length == 0)
2449    {
2450       /*
2451        * If Privoxy didn't recalculate the Content-Lenght,
2452        * byte_count is still correct.
2453        */
2454       csp->content_length = byte_count;
2455    }
2456
2457 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2458    if ((csp->flags & CSP_FLAG_CONTENT_LENGTH_SET)
2459       && (csp->expected_content_length != byte_count))
2460    {
2461       log_error(LOG_LEVEL_CONNECT,
2462          "Received %llu bytes while expecting %llu.",
2463          byte_count, csp->expected_content_length);
2464       mark_server_socket_tainted(csp);
2465    }
2466 #endif
2467
2468    log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 %llu",
2469       csp->ip_addr_str, http->ocmd, csp->content_length);
2470
2471    csp->server_connection.timestamp = time(NULL);
2472 }
2473
2474
2475 /*********************************************************************
2476  *
2477  * Function    :  serve
2478  *
2479  * Description :  This is little more than chat.  We only "serve" to
2480  *                to close (or remember) any socket that chat may have
2481  *                opened.
2482  *
2483  * Parameters  :
2484  *          1  :  csp = Current client state (buffers, headers, etc...)
2485  *
2486  * Returns     :  N/A
2487  *
2488  *********************************************************************/
2489 #ifdef AMIGA
2490 void serve(struct client_state *csp)
2491 #else /* ifndef AMIGA */
2492 static void serve(struct client_state *csp)
2493 #endif /* def AMIGA */
2494 {
2495 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2496 #ifdef FEATURE_CONNECTION_SHARING
2497    static int monitor_thread_running = 0;
2498 #endif /* def FEATURE_CONNECTION_SHARING */
2499    int continue_chatting = 0;
2500
2501    do
2502    {
2503       unsigned int latency;
2504
2505       chat(csp);
2506
2507       latency = (unsigned)(csp->server_connection.response_received -
2508          csp->server_connection.request_sent) / 2;
2509
2510       continue_chatting = (csp->config->feature_flags
2511          & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
2512          && (csp->flags & CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE)
2513          && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED)
2514          && (csp->cfd != JB_INVALID_SOCKET)
2515          && (csp->server_connection.sfd != JB_INVALID_SOCKET)
2516          && socket_is_still_usable(csp->server_connection.sfd)
2517          && (latency < csp->server_connection.keep_alive_timeout);
2518
2519       if (continue_chatting)
2520       {
2521          unsigned int client_timeout;
2522
2523          if (!(csp->flags & CSP_FLAG_SERVER_KEEP_ALIVE_TIMEOUT_SET))
2524          {
2525             log_error(LOG_LEVEL_CONNECT, "The server didn't specify how long "
2526                "the connection will stay open. Assume it's only a second.");
2527             csp->server_connection.keep_alive_timeout = 1;
2528          }
2529
2530          client_timeout = (unsigned)csp->server_connection.keep_alive_timeout - latency;
2531
2532          log_error(LOG_LEVEL_CONNECT,
2533             "Waiting for the next client request. "
2534             "Keeping the server socket %d to %s open.",
2535             csp->server_connection.sfd, csp->server_connection.host);
2536
2537          if ((csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE)
2538             && data_is_available(csp->cfd, (int)client_timeout)
2539             && socket_is_still_usable(csp->cfd))
2540          {
2541             log_error(LOG_LEVEL_CONNECT, "Client request arrived in "
2542                "time or the client closed the connection.");
2543             /*
2544              * Get the csp in a mostly vergin state again.
2545              * XXX: Should be done elsewhere.
2546              */
2547             csp->content_type = 0;
2548             csp->content_length = 0;
2549             csp->expected_content_length = 0;
2550             csp->expected_client_content_length = 0;
2551             list_remove_all(csp->headers);
2552             freez(csp->iob->buf);
2553             memset(csp->iob, 0, sizeof(csp->iob));
2554             freez(csp->error_message);
2555             free_http_request(csp->http);
2556             destroy_list(csp->headers);
2557             destroy_list(csp->tags);
2558             free_current_action(csp->action);
2559             if (NULL != csp->fwd)
2560             {
2561                unload_forward_spec(csp->fwd);
2562                csp->fwd = NULL;
2563             }
2564
2565             /* XXX: Store per-connection flags someplace else. */
2566             csp->flags = CSP_FLAG_ACTIVE |
2567                (csp->flags & CSP_FLAG_TOGGLED_ON) | CSP_FLAG_REUSED_CLIENT_CONNECTION;
2568          }
2569          else
2570          {
2571             log_error(LOG_LEVEL_CONNECT,
2572                "No additional client request received in time.");
2573 #ifdef FEATURE_CONNECTION_SHARING
2574             if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING)
2575                && (socket_is_still_usable(csp->server_connection.sfd)))
2576             {
2577                time_t time_open = time(NULL) - csp->server_connection.timestamp;
2578
2579                if (csp->server_connection.keep_alive_timeout < time_open + latency)
2580                {
2581                   break;
2582                }
2583
2584                remember_connection(&csp->server_connection);
2585                csp->server_connection.sfd = JB_INVALID_SOCKET;
2586                close_socket(csp->cfd);
2587                csp->cfd = JB_INVALID_SOCKET;
2588                privoxy_mutex_lock(&connection_reuse_mutex);
2589                if (!monitor_thread_running)
2590                {
2591                   monitor_thread_running = 1;
2592                   privoxy_mutex_unlock(&connection_reuse_mutex);
2593                   wait_for_alive_connections();
2594                   privoxy_mutex_lock(&connection_reuse_mutex);
2595                   monitor_thread_running = 0;
2596                }
2597                privoxy_mutex_unlock(&connection_reuse_mutex);
2598             }
2599 #endif /* def FEATURE_CONNECTION_SHARING */
2600             break;
2601          }
2602       }
2603       else if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2604       {
2605          log_error(LOG_LEVEL_CONNECT,
2606             "The connection on server socket %d to %s isn't reusable. "
2607             "Closing.", csp->server_connection.sfd, csp->server_connection.host);
2608       }
2609    } while (continue_chatting);
2610
2611    mark_connection_closed(&csp->server_connection);
2612 #else
2613    chat(csp);
2614 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2615
2616    if (csp->server_connection.sfd != JB_INVALID_SOCKET)
2617    {
2618 #ifdef FEATURE_CONNECTION_SHARING
2619       forget_connection(csp->server_connection.sfd);
2620 #endif /* def FEATURE_CONNECTION_SHARING */
2621       close_socket(csp->server_connection.sfd);
2622    }
2623
2624    if (csp->cfd != JB_INVALID_SOCKET)
2625    {
2626       close_socket(csp->cfd);
2627    }
2628
2629    csp->flags &= ~CSP_FLAG_ACTIVE;
2630
2631 }
2632
2633
2634 #ifdef __BEOS__
2635 /*********************************************************************
2636  *
2637  * Function    :  server_thread
2638  *
2639  * Description :  We only exist to call `serve' in a threaded environment.
2640  *
2641  * Parameters  :
2642  *          1  :  data = Current client state (buffers, headers, etc...)
2643  *
2644  * Returns     :  Always 0.
2645  *
2646  *********************************************************************/
2647 static int32 server_thread(void *data)
2648 {
2649    serve((struct client_state *) data);
2650    return 0;
2651
2652 }
2653 #endif
2654
2655
2656 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
2657 /*********************************************************************
2658  *
2659  * Function    :  usage
2660  *
2661  * Description :  Print usage info & exit.
2662  *
2663  * Parameters  :  Pointer to argv[0] for identifying ourselves
2664  *
2665  * Returns     :  No. ,-)
2666  *
2667  *********************************************************************/
2668 static void usage(const char *myname)
2669 {
2670    printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n"
2671           "Usage: %s "
2672 #if defined(unix)
2673           "[--chroot] "
2674 #endif /* defined(unix) */
2675           "[--help] "
2676 #if defined(unix)
2677           "[--no-daemon] [--pidfile pidfile] [--pre-chroot-nslookup hostname] [--user user[.group]] "
2678 #endif /* defined(unix) */
2679           "[--version] [configfile]\n"
2680           "Aborting\n", myname);
2681
2682    exit(2);
2683
2684 }
2685 #endif /* #if !defined(_WIN32) || defined(_WIN_CONSOLE) */
2686
2687
2688 #ifdef MUTEX_LOCKS_AVAILABLE
2689 /*********************************************************************
2690  *
2691  * Function    :  privoxy_mutex_lock
2692  *
2693  * Description :  Locks a mutex.
2694  *
2695  * Parameters  :
2696  *          1  :  mutex = The mutex to lock.
2697  *
2698  * Returns     :  Void. May exit in case of errors.
2699  *
2700  *********************************************************************/
2701 void privoxy_mutex_lock(privoxy_mutex_t *mutex)
2702 {
2703 #ifdef FEATURE_PTHREAD
2704    int err = pthread_mutex_lock(mutex);
2705    if (err)
2706    {
2707       if (mutex != &log_mutex)
2708       {
2709          log_error(LOG_LEVEL_FATAL,
2710             "Mutex locking failed: %s.\n", strerror(err));
2711       }
2712       exit(1);
2713    }
2714 #else
2715    EnterCriticalSection(mutex);
2716 #endif /* def FEATURE_PTHREAD */
2717 }
2718
2719
2720 /*********************************************************************
2721  *
2722  * Function    :  privoxy_mutex_unlock
2723  *
2724  * Description :  Unlocks a mutex.
2725  *
2726  * Parameters  :
2727  *          1  :  mutex = The mutex to unlock.
2728  *
2729  * Returns     :  Void. May exit in case of errors.
2730  *
2731  *********************************************************************/
2732 void privoxy_mutex_unlock(privoxy_mutex_t *mutex)
2733 {
2734 #ifdef FEATURE_PTHREAD
2735    int err = pthread_mutex_unlock(mutex);
2736    if (err)
2737    {
2738       if (mutex != &log_mutex)
2739       {
2740          log_error(LOG_LEVEL_FATAL,
2741             "Mutex unlocking failed: %s.\n", strerror(err));
2742       }
2743       exit(1);
2744    }
2745 #else
2746    LeaveCriticalSection(mutex);
2747 #endif /* def FEATURE_PTHREAD */
2748 }
2749
2750
2751 /*********************************************************************
2752  *
2753  * Function    :  privoxy_mutex_init
2754  *
2755  * Description :  Prepares a mutex.
2756  *
2757  * Parameters  :
2758  *          1  :  mutex = The mutex to initialize.
2759  *
2760  * Returns     :  Void. May exit in case of errors.
2761  *
2762  *********************************************************************/
2763 static void privoxy_mutex_init(privoxy_mutex_t *mutex)
2764 {
2765 #ifdef FEATURE_PTHREAD
2766    int err = pthread_mutex_init(mutex, 0);
2767    if (err)
2768    {
2769       printf("Fatal error. Mutex initialization failed: %s.\n",
2770          strerror(err));
2771       exit(1);
2772    }
2773 #else
2774    InitializeCriticalSection(mutex);
2775 #endif /* def FEATURE_PTHREAD */
2776 }
2777 #endif /* def MUTEX_LOCKS_AVAILABLE */
2778
2779 /*********************************************************************
2780  *
2781  * Function    :  initialize_mutexes
2782  *
2783  * Description :  Prepares mutexes if mutex support is available.
2784  *
2785  * Parameters  :  None
2786  *
2787  * Returns     :  Void, exits in case of errors.
2788  *
2789  *********************************************************************/
2790 static void initialize_mutexes(void)
2791 {
2792 #ifdef MUTEX_LOCKS_AVAILABLE
2793    /*
2794     * Prepare global mutex semaphores
2795     */
2796    privoxy_mutex_init(&log_mutex);
2797    privoxy_mutex_init(&log_init_mutex);
2798    privoxy_mutex_init(&connection_reuse_mutex);
2799
2800    /*
2801     * XXX: The assumptions below are a bit naive
2802     * and can cause locks that aren't necessary.
2803     *
2804     * For example older FreeBSD versions (< 6.x?)
2805     * have no gethostbyname_r, but gethostbyname is
2806     * thread safe.
2807     */
2808 #if !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R)
2809    privoxy_mutex_init(&resolver_mutex);
2810 #endif /* !defined(HAVE_GETHOSTBYADDR_R) || !defined(HAVE_GETHOSTBYNAME_R) */
2811    /*
2812     * XXX: should we use a single mutex for
2813     * localtime() and gmtime() as well?
2814     */
2815 #ifndef HAVE_GMTIME_R
2816    privoxy_mutex_init(&gmtime_mutex);
2817 #endif /* ndef HAVE_GMTIME_R */
2818
2819 #ifndef HAVE_LOCALTIME_R
2820    privoxy_mutex_init(&localtime_mutex);
2821 #endif /* ndef HAVE_GMTIME_R */
2822
2823 #ifndef HAVE_RANDOM
2824    privoxy_mutex_init(&rand_mutex);
2825 #endif /* ndef HAVE_RANDOM */
2826 #endif /* def MUTEX_LOCKS_AVAILABLE */
2827 }
2828
2829
2830 /*********************************************************************
2831  *
2832  * Function    :  main
2833  *
2834  * Description :  Load the config file and start the listen loop.
2835  *                This function is a lot more *sane* with the `load_config'
2836  *                and `listen_loop' functions; although it stills does
2837  *                a *little* too much for my taste.
2838  *
2839  * Parameters  :
2840  *          1  :  argc = Number of parameters (including $0).
2841  *          2  :  argv = Array of (char *)'s to the parameters.
2842  *
2843  * Returns     :  1 if : can't open config file, unrecognized directive,
2844  *                stats requested in multi-thread mode, can't open the
2845  *                log file, can't open the jar file, listen port is invalid,
2846  *                any load fails, and can't bind port.
2847  *
2848  *                Else main never returns, the process must be signaled
2849  *                to terminate execution.  Or, on Windows, use the
2850  *                "File", "Exit" menu option.
2851  *
2852  *********************************************************************/
2853 #ifdef __MINGW32__
2854 int real_main(int argc, char **argv)
2855 #else
2856 int main(int argc, char **argv)
2857 #endif
2858 {
2859    int argc_pos = 0;
2860    unsigned int random_seed;
2861 #ifdef unix
2862    struct passwd *pw = NULL;
2863    struct group *grp = NULL;
2864    char *p;
2865    int do_chroot = 0;
2866    char *pre_chroot_nslookup_to_load_resolver = NULL;
2867 #endif
2868
2869    Argc = argc;
2870    Argv = argv;
2871
2872    configfile =
2873 #if !defined(_WIN32)
2874    "config"
2875 #else
2876    "config.txt"
2877 #endif
2878       ;
2879
2880    /* Prepare mutexes if supported and necessary. */
2881    initialize_mutexes();
2882
2883    /* Enable logging until further notice. */
2884    init_log_module();
2885
2886    /*
2887     * Parse the command line arguments
2888     *
2889     * XXX: simply printing usage information in case of
2890     * invalid arguments isn't particularly user friendly.
2891     */
2892    while (++argc_pos < argc)
2893    {
2894 #ifdef _WIN32
2895       /* Check to see if the service must be installed or uninstalled */
2896       if (strncmp(argv[argc_pos], "--install", 9) == 0)
2897       {
2898          const char *pName = argv[argc_pos] + 9;
2899          if (*pName == ':')
2900             pName++;
2901          exit( (install_service(pName)) ? 0 : 1 );
2902       }
2903       else if (strncmp(argv[argc_pos], "--uninstall", + 11) == 0)
2904       {
2905          const char *pName = argv[argc_pos] + 11;
2906          if (*pName == ':')
2907             pName++;
2908          exit((uninstall_service(pName)) ? 0 : 1);
2909       }
2910       else if (strcmp(argv[argc_pos], "--service" ) == 0)
2911       {
2912          bRunAsService = TRUE;
2913          w32_set_service_cwd();
2914          atexit(w32_service_exit_notify);
2915       }
2916       else
2917 #endif /* defined(_WIN32) */
2918
2919
2920 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
2921
2922       if (strcmp(argv[argc_pos], "--help") == 0)
2923       {
2924          usage(argv[0]);
2925       }
2926
2927       else if(strcmp(argv[argc_pos], "--version") == 0)
2928       {
2929          printf("Privoxy version " VERSION " (" HOME_PAGE_URL ")\n");
2930          exit(0);
2931       }
2932
2933 #if defined(unix)
2934
2935       else if (strcmp(argv[argc_pos], "--no-daemon" ) == 0)
2936       {
2937          set_debug_level(LOG_LEVEL_FATAL | LOG_LEVEL_ERROR | LOG_LEVEL_INFO);
2938          no_daemon = 1;
2939       }
2940
2941       else if (strcmp(argv[argc_pos], "--pidfile" ) == 0)
2942       {
2943          if (++argc_pos == argc) usage(argv[0]);
2944          pidfile = strdup(argv[argc_pos]);
2945       }
2946
2947       else if (strcmp(argv[argc_pos], "--user" ) == 0)
2948       {
2949          if (++argc_pos == argc) usage(argv[argc_pos]);
2950
2951          if ((NULL != (p = strchr(argv[argc_pos], '.'))) && *(p + 1) != '0')
2952          {
2953             *p++ = '\0';
2954             if (NULL == (grp = getgrnam(p)))
2955             {
2956                log_error(LOG_LEVEL_FATAL, "Group %s not found.", p);
2957             }
2958          }
2959
2960          if (NULL == (pw = getpwnam(argv[argc_pos])))
2961          {
2962             log_error(LOG_LEVEL_FATAL, "User %s not found.", argv[argc_pos]);
2963          }
2964
2965          if (p != NULL) *--p = '\0';
2966       }
2967
2968       else if (strcmp(argv[argc_pos], "--pre-chroot-nslookup" ) == 0)
2969       {
2970          if (++argc_pos == argc) usage(argv[0]);
2971          pre_chroot_nslookup_to_load_resolver = strdup(argv[argc_pos]);
2972       }
2973
2974       else if (strcmp(argv[argc_pos], "--chroot" ) == 0)
2975       {
2976          do_chroot = 1;
2977       }
2978 #endif /* defined(unix) */
2979
2980       else if (argc_pos + 1 != argc)
2981       {
2982          /*
2983           * This is neither the last command line
2984           * option, nor was it recognized before,
2985           * therefore it must be invalid.
2986           */
2987          usage(argv[0]);
2988       }
2989       else
2990
2991 #endif /* defined(_WIN32) && !defined(_WIN_CONSOLE) */
2992       {
2993          configfile = argv[argc_pos];
2994       }
2995
2996    } /* -END- while (more arguments) */
2997
2998    show_version(Argv[0]);
2999
3000 #if defined(unix)
3001    if ( *configfile != '/' )
3002    {
3003       char cwd[BUFFER_SIZE];
3004       char *abs_file;
3005       size_t abs_file_size;
3006
3007       /* make config-filename absolute here */
3008       if (NULL == getcwd(cwd, sizeof(cwd)))
3009       {
3010          perror("failed to get current working directory");
3011          exit( 1 );
3012       }
3013
3014       /* XXX: why + 5? */
3015       abs_file_size = strlen(cwd) + strlen(configfile) + 5;
3016       basedir = strdup(cwd);
3017
3018       if (NULL == basedir ||
3019           NULL == (abs_file = malloc(abs_file_size)))
3020       {
3021          perror("malloc failed");
3022          exit( 1 );
3023       }
3024       strlcpy(abs_file, basedir, abs_file_size);
3025       strlcat(abs_file, "/", abs_file_size );
3026       strlcat(abs_file, configfile, abs_file_size);
3027       configfile = abs_file;
3028    }
3029 #endif /* defined unix */
3030
3031
3032    files->next = NULL;
3033    clients->next = NULL;
3034
3035    /* XXX: factor out initialising after the next stable release. */
3036 #ifdef AMIGA
3037    InitAmiga();
3038 #elif defined(_WIN32)
3039    InitWin32();
3040 #endif
3041
3042    random_seed = (unsigned int)time(NULL);
3043 #ifdef HAVE_RANDOM
3044    srandom(random_seed);
3045 #else
3046    srand(random_seed);
3047 #endif /* ifdef HAVE_RANDOM */
3048
3049    /*
3050     * Unix signal handling
3051     *
3052     * Catch the abort, interrupt and terminate signals for a graceful exit
3053     * Catch the hangup signal so the errlog can be reopened.
3054     * Ignore the broken pipe signals (FIXME: Why?)
3055     */
3056 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
3057 {
3058    int idx;
3059    const int catched_signals[] = { SIGTERM, SIGINT, SIGHUP, 0 };
3060    const int ignored_signals[] = { SIGPIPE, 0 };
3061
3062    for (idx = 0; catched_signals[idx] != 0; idx++)
3063    {
3064 #ifdef sun /* FIXME: Is it safe to check for HAVE_SIGSET instead? */
3065       if (sigset(catched_signals[idx], sig_handler) == SIG_ERR)
3066 #else
3067       if (signal(catched_signals[idx], sig_handler) == SIG_ERR)
3068 #endif /* ifdef sun */
3069       {
3070          log_error(LOG_LEVEL_FATAL, "Can't set signal-handler for signal %d: %E", catched_signals[idx]);
3071       }
3072    }
3073
3074    for (idx = 0; ignored_signals[idx] != 0; idx++)
3075    {
3076       if (signal(ignored_signals[idx], SIG_IGN) == SIG_ERR)
3077       {
3078          log_error(LOG_LEVEL_FATAL, "Can't set ignore-handler for signal %d: %E", ignored_signals[idx]);
3079       }
3080    }
3081
3082 }
3083 #else /* ifdef _WIN32 */
3084 # ifdef _WIN_CONSOLE
3085    /*
3086     * We *are* in a windows console app.
3087     * Print a verbose messages about FAQ's and such
3088     */
3089    printf("%s", win32_blurb);
3090 # endif /* def _WIN_CONSOLE */
3091 #endif /* def _WIN32 */
3092
3093
3094    /* Initialize the CGI subsystem */
3095    cgi_init_error_messages();
3096
3097    /*
3098     * If runnig on unix and without the --nodaemon
3099     * option, become a daemon. I.e. fork, detach
3100     * from tty and get process group leadership
3101     */
3102 #if defined(unix)
3103 {
3104    pid_t pid = 0;
3105 #if 0
3106    int   fd;
3107 #endif
3108
3109    if (!no_daemon)
3110    {
3111       pid  = fork();
3112
3113       if ( pid < 0 ) /* error */
3114       {
3115          perror("fork");
3116          exit( 3 );
3117       }
3118       else if ( pid != 0 ) /* parent */
3119       {
3120          int status;
3121          pid_t wpid;
3122          /*
3123           * must check for errors
3124           * child died due to missing files aso
3125           */
3126          sleep( 1 );
3127          wpid = waitpid( pid, &status, WNOHANG );
3128          if ( wpid != 0 )
3129          {
3130             exit( 1 );
3131          }
3132          exit( 0 );
3133       }
3134       /* child */
3135 #if 1
3136       /* Should be more portable, but not as well tested */
3137       setsid();
3138 #else /* !1 */
3139 #ifdef __FreeBSD__
3140       setpgrp(0,0);
3141 #else /* ndef __FreeBSD__ */
3142       setpgrp();
3143 #endif /* ndef __FreeBSD__ */
3144       fd = open("/dev/tty", O_RDONLY);
3145       if ( fd )
3146       {
3147          /* no error check here */
3148          ioctl( fd, TIOCNOTTY,0 );
3149          close ( fd );
3150       }
3151 #endif /* 1 */
3152       /*
3153        * stderr (fd 2) will be closed later on,
3154        * when the config file has been parsed.
3155        */
3156
3157       close( 0 );
3158       close( 1 );
3159       chdir("/");
3160
3161    } /* -END- if (!no_daemon) */
3162
3163    /*
3164     * As soon as we have written the PID file, we can switch
3165     * to the user and group ID indicated by the --user option
3166     */
3167    write_pid_file();
3168
3169    if (NULL != pw)
3170    {
3171       if (setgid((NULL != grp) ? grp->gr_gid : pw->pw_gid))
3172       {
3173          log_error(LOG_LEVEL_FATAL, "Cannot setgid(): Insufficient permissions.");
3174       }
3175       if (NULL != grp)
3176       {
3177          if (setgroups(1, &grp->gr_gid))
3178          {
3179             log_error(LOG_LEVEL_FATAL, "setgroups() failed: %E");
3180          }
3181       }
3182       else if (initgroups(pw->pw_name, pw->pw_gid))
3183       {
3184          log_error(LOG_LEVEL_FATAL, "initgroups() failed: %E");
3185       }
3186       if (do_chroot)
3187       {
3188          if (!pw->pw_dir)
3189          {
3190             log_error(LOG_LEVEL_FATAL, "Home directory for %s undefined", pw->pw_name);
3191          }
3192          /* Read the time zone file from /etc before doing chroot. */
3193          tzset();
3194          if (NULL != pre_chroot_nslookup_to_load_resolver
3195              && '\0' != pre_chroot_nslookup_to_load_resolver[0])
3196          {
3197             /* Initialize resolver library. */
3198             (void) resolve_hostname_to_ip(pre_chroot_nslookup_to_load_resolver);
3199          }
3200          if (chroot(pw->pw_dir) < 0)
3201          {
3202             log_error(LOG_LEVEL_FATAL, "Cannot chroot to %s", pw->pw_dir);
3203          }
3204          if (chdir ("/"))
3205          {
3206             log_error(LOG_LEVEL_FATAL, "Cannot chdir /");
3207          }
3208       }
3209       if (setuid(pw->pw_uid))
3210       {
3211          log_error(LOG_LEVEL_FATAL, "Cannot setuid(): Insufficient permissions.");
3212       }
3213       if (do_chroot)
3214       {
3215          char putenv_dummy[64];
3216
3217          strlcpy(putenv_dummy, "HOME=/", sizeof(putenv_dummy));
3218          if (putenv(putenv_dummy) != 0)
3219          {
3220             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): HOME");
3221          }
3222
3223          snprintf(putenv_dummy, sizeof(putenv_dummy), "USER=%s", pw->pw_name);
3224          if (putenv(putenv_dummy) != 0)
3225          {
3226             log_error(LOG_LEVEL_FATAL, "Cannot putenv(): USER");
3227          }
3228       }
3229    }
3230    else if (do_chroot)
3231    {
3232       log_error(LOG_LEVEL_FATAL, "Cannot chroot without --user argument.");
3233    }
3234 }
3235 #endif /* defined unix */
3236
3237 #ifdef _WIN32
3238    /* This will be FALSE unless the command line specified --service
3239     */
3240    if (bRunAsService)
3241    {
3242       /* Yup, so now we must attempt to establish a connection
3243        * with the service dispatcher. This will only work if this
3244        * process was launched by the service control manager to
3245        * actually run as a service. If this isn't the case, i've
3246        * known it take around 30 seconds or so for the call to return.
3247        */
3248
3249       /* The StartServiceCtrlDispatcher won't return until the service is stopping */
3250       if (w32_start_service_ctrl_dispatcher(w32ServiceDispatchTable))
3251       {
3252          /* Service has run, and at this point is now being stopped, so just return */
3253          return 0;
3254       }
3255
3256 #ifdef _WIN_CONSOLE
3257       printf("Warning: Failed to connect to Service Control Dispatcher\nwhen starting as a service!\n");
3258 #endif
3259       /* An error occurred. Usually it's because --service was wrongly specified
3260        * and we were unable to connect to the Service Control Dispatcher because
3261        * it wasn't expecting us and is therefore not listening.
3262        *
3263        * For now, just continue below to call the listen_loop function.
3264        */
3265    }
3266 #endif /* def _WIN32 */
3267
3268    listen_loop();
3269
3270    /* NOTREACHED */
3271    return(-1);
3272
3273 }
3274
3275
3276 /*********************************************************************
3277  *
3278  * Function    :  bind_port_helper
3279  *
3280  * Description :  Bind the listen port.  Handles logging, and aborts
3281  *                on failure.
3282  *
3283  * Parameters  :
3284  *          1  :  config = Privoxy configuration.  Specifies port
3285  *                         to bind to.
3286  *
3287  * Returns     :  Port that was opened.
3288  *
3289  *********************************************************************/
3290 static jb_socket bind_port_helper(struct configuration_spec * config)
3291 {
3292    int result;
3293    jb_socket bfd;
3294
3295    if (config->haddr == NULL)
3296    {
3297       log_error(LOG_LEVEL_INFO, "Listening on port %d on all IP addresses",
3298                 config->hport);
3299    }
3300    else
3301    {
3302       log_error(LOG_LEVEL_INFO, "Listening on port %d on IP address %s",
3303                 config->hport, config->haddr);
3304    }
3305
3306    result = bind_port(config->haddr, config->hport, &bfd);
3307
3308    if (result < 0)
3309    {
3310       switch(result)
3311       {
3312          case -3 :
3313             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: "
3314                "There may be another Privoxy or some other "
3315                "proxy running on port %d",
3316                (NULL != config->haddr) ? config->haddr : "INADDR_ANY",
3317                       config->hport, config->hport);
3318
3319          case -2 :
3320             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: "
3321                "The hostname is not resolvable",
3322                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3323
3324          default :
3325             log_error(LOG_LEVEL_FATAL, "can't bind to %s:%d: %E",
3326                (NULL != config->haddr) ? config->haddr : "INADDR_ANY", config->hport);
3327       }
3328
3329       /* shouldn't get here */
3330       return JB_INVALID_SOCKET;
3331    }
3332
3333    config->need_bind = 0;
3334
3335    return bfd;
3336 }
3337
3338
3339 #ifdef _WIN32
3340 /* Without this simple workaround we get this compiler warning from _beginthread
3341  *     warning C4028: formal parameter 1 different from declaration
3342  */
3343 void w32_service_listen_loop(void *p)
3344 {
3345    listen_loop();
3346 }
3347 #endif /* def _WIN32 */
3348
3349
3350 /*********************************************************************
3351  *
3352  * Function    :  listen_loop
3353  *
3354  * Description :  bind the listen port and enter a "FOREVER" listening loop.
3355  *
3356  * Parameters  :  N/A
3357  *
3358  * Returns     :  Never.
3359  *
3360  *********************************************************************/
3361 static void listen_loop(void)
3362 {
3363    struct client_state *csp = NULL;
3364    jb_socket bfd;
3365    struct configuration_spec *config;
3366    unsigned int active_threads = 0;
3367
3368    config = load_config();
3369
3370 #ifdef FEATURE_CONNECTION_SHARING
3371    /*
3372     * XXX: Should be relocated once it no
3373     * longer needs to emit log messages.
3374     */
3375    initialize_reusable_connections();
3376 #endif /* def FEATURE_CONNECTION_SHARING */
3377
3378    bfd = bind_port_helper(config);
3379
3380 #ifdef FEATURE_GRACEFUL_TERMINATION
3381    while (!g_terminate)
3382 #else
3383    for (;;)
3384 #endif
3385    {
3386 #if !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) && !defined(__OS2__)
3387       while (waitpid(-1, NULL, WNOHANG) > 0)
3388       {
3389          /* zombie children */
3390       }
3391 #endif /* !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) */
3392
3393       /*
3394        * Free data that was used by died threads
3395        */
3396       active_threads = sweep();
3397
3398 #if defined(unix)
3399       /*
3400        * Re-open the errlog after HUP signal
3401        */
3402       if (received_hup_signal)
3403       {
3404          if (NULL != config->logfile)
3405          {
3406             init_error_log(Argv[0], config->logfile);
3407          }
3408          received_hup_signal = 0;
3409       }
3410 #endif
3411
3412       if ( NULL == (csp = (struct client_state *) zalloc(sizeof(*csp))) )
3413       {
3414          log_error(LOG_LEVEL_FATAL, "malloc(%d) for csp failed: %E", sizeof(*csp));
3415          continue;
3416       }
3417
3418       csp->flags |= CSP_FLAG_ACTIVE;
3419       csp->server_connection.sfd = JB_INVALID_SOCKET;
3420
3421       csp->config = config = load_config();
3422
3423       if ( config->need_bind )
3424       {
3425          /*
3426           * Since we were listening to the "old port", we will not see
3427           * a "listen" param change until the next request.  So, at
3428           * least 1 more request must be made for us to find the new
3429           * setting.  I am simply closing the old socket and binding the
3430           * new one.
3431           *
3432           * Which-ever is correct, we will serve 1 more page via the
3433           * old settings.  This should probably be a "show-proxy-args"
3434           * request.  This should not be a so common of an operation
3435           * that this will hurt people's feelings.
3436           */
3437
3438          close_socket(bfd);
3439
3440          bfd = bind_port_helper(config);
3441       }
3442
3443       log_error(LOG_LEVEL_CONNECT, "Listening for new connections ... ");
3444
3445       if (!accept_connection(csp, bfd))
3446       {
3447          log_error(LOG_LEVEL_CONNECT, "accept failed: %E");
3448
3449 #ifdef AMIGA
3450          if(!childs)
3451          {
3452             exit(1);
3453          }
3454 #endif
3455          freez(csp);
3456          continue;
3457       }
3458       else
3459       {
3460          log_error(LOG_LEVEL_CONNECT, "accepted connection from %s", csp->ip_addr_str);
3461       }
3462
3463 #ifdef FEATURE_TOGGLE
3464       if (global_toggle_state)
3465 #endif /* def FEATURE_TOGGLE */
3466       {
3467          csp->flags |= CSP_FLAG_TOGGLED_ON;
3468       }
3469
3470       if (run_loader(csp))
3471       {
3472          log_error(LOG_LEVEL_FATAL, "a loader failed - must exit");
3473          /* Never get here - LOG_LEVEL_FATAL causes program exit */
3474       }
3475
3476 #ifdef FEATURE_ACL
3477       if (block_acl(NULL,csp))
3478       {
3479          log_error(LOG_LEVEL_CONNECT, "Connection from %s dropped due to ACL", csp->ip_addr_str);
3480          close_socket(csp->cfd);
3481          freez(csp->ip_addr_str);
3482          freez(csp);
3483          continue;
3484       }
3485 #endif /* def FEATURE_ACL */
3486
3487       if ((0 != config->max_client_connections)
3488          && (active_threads >= config->max_client_connections))
3489       {
3490          log_error(LOG_LEVEL_CONNECT,
3491             "Rejecting connection from %s. Maximum number of connections reached.",
3492             csp->ip_addr_str);
3493          write_socket(csp->cfd, TOO_MANY_CONNECTIONS_RESPONSE,
3494             strlen(TOO_MANY_CONNECTIONS_RESPONSE));
3495          close_socket(csp->cfd);
3496          freez(csp->ip_addr_str);
3497          freez(csp);
3498          continue;
3499       }
3500
3501       /* add it to the list of clients */
3502       csp->next = clients->next;
3503       clients->next = csp;
3504
3505       if (config->multi_threaded)
3506       {
3507          int child_id;
3508
3509 /* this is a switch () statment in the C preprocessor - ugh */
3510 #undef SELECTED_ONE_OPTION
3511
3512 /* Use Pthreads in preference to native code */
3513 #if defined(FEATURE_PTHREAD) && !defined(SELECTED_ONE_OPTION)
3514 #define SELECTED_ONE_OPTION
3515          {
3516             pthread_t the_thread;
3517             pthread_attr_t attrs;
3518
3519             pthread_attr_init(&attrs);
3520             pthread_attr_setdetachstate(&attrs, PTHREAD_CREATE_DETACHED);
3521             errno = pthread_create(&the_thread, &attrs,
3522                (void * (*)(void *))serve, csp);
3523             child_id = errno ? -1 : 0;
3524             pthread_attr_destroy(&attrs);
3525          }
3526 #endif
3527
3528 #if defined(_WIN32) && !defined(_CYGWIN) && !defined(SELECTED_ONE_OPTION)
3529 #define SELECTED_ONE_OPTION
3530          child_id = _beginthread(
3531             (void (*)(void *))serve,
3532             64 * 1024,
3533             csp);
3534 #endif
3535
3536 #if defined(__OS2__) && !defined(SELECTED_ONE_OPTION)
3537 #define SELECTED_ONE_OPTION
3538          child_id = _beginthread(
3539             (void(* _Optlink)(void*))serve,
3540             NULL,
3541             64 * 1024,
3542             csp);
3543 #endif
3544
3545 #if defined(__BEOS__) && !defined(SELECTED_ONE_OPTION)
3546 #define SELECTED_ONE_OPTION
3547          {
3548             thread_id tid = spawn_thread
3549                (server_thread, "server", B_NORMAL_PRIORITY, csp);
3550
3551             if ((tid >= 0) && (resume_thread(tid) == B_OK))
3552             {
3553                child_id = (int) tid;
3554             }
3555             else
3556             {
3557                child_id = -1;
3558             }
3559          }
3560 #endif
3561
3562 #if defined(AMIGA) && !defined(SELECTED_ONE_OPTION)
3563 #define SELECTED_ONE_OPTION
3564          csp->cfd = ReleaseSocket(csp->cfd, -1);
3565
3566 #ifdef __amigaos4__
3567          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3568                                            NP_Output, Output(),
3569                                            NP_CloseOutput, FALSE,
3570                                            NP_Name, (ULONG)"privoxy child",
3571                                            NP_Child, TRUE,
3572                                            TAG_DONE);
3573 #else
3574          child_id = (int)CreateNewProcTags(NP_Entry, (ULONG)server_thread,
3575                                            NP_Output, Output(),
3576                                            NP_CloseOutput, FALSE,
3577                                            NP_Name, (ULONG)"privoxy child",
3578                                            NP_StackSize, 200*1024,
3579                                            TAG_DONE);
3580 #endif
3581          if(0 != child_id)
3582          {
3583             childs++;
3584             ((struct Task *)child_id)->tc_UserData = csp;
3585             Signal((struct Task *)child_id, SIGF_SINGLE);
3586             Wait(SIGF_SINGLE);
3587          }
3588 #endif
3589
3590 #if !defined(SELECTED_ONE_OPTION)
3591          child_id = fork();
3592
3593          /* This block is only needed when using fork().
3594           * When using threads, the server thread was
3595           * created and run by the call to _beginthread().
3596           */
3597          if (child_id == 0)   /* child */
3598          {
3599             int rc = 0;
3600 #ifdef FEATURE_TOGGLE
3601             int inherited_toggle_state = global_toggle_state;
3602 #endif /* def FEATURE_TOGGLE */
3603
3604             serve(csp);
3605
3606             /*
3607              * If we've been toggled or we've blocked the request, tell Mom
3608              */
3609
3610 #ifdef FEATURE_TOGGLE
3611             if (inherited_toggle_state != global_toggle_state)
3612             {
3613                rc |= RC_FLAG_TOGGLED;
3614             }
3615 #endif /* def FEATURE_TOGGLE */
3616
3617 #ifdef FEATURE_STATISTICS
3618             if (csp->flags & CSP_FLAG_REJECTED)
3619             {
3620                rc |= RC_FLAG_BLOCKED;
3621             }
3622 #endif /* ndef FEATURE_STATISTICS */
3623
3624             _exit(rc);
3625          }
3626          else if (child_id > 0) /* parent */
3627          {
3628             /* in a fork()'d environment, the parent's
3629              * copy of the client socket and the CSP
3630              * are not used.
3631              */
3632             int child_status;
3633 #if !defined(_WIN32) && !defined(__CYGWIN__)
3634
3635             wait( &child_status );
3636
3637             /*
3638              * Evaluate child's return code: If the child has
3639              *  - been toggled, toggle ourselves
3640              *  - blocked its request, bump up the stats counter
3641              */
3642
3643 #ifdef FEATURE_TOGGLE
3644             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_TOGGLED))
3645             {
3646                global_toggle_state = !global_toggle_state;
3647             }
3648 #endif /* def FEATURE_TOGGLE */
3649
3650 #ifdef FEATURE_STATISTICS
3651             urls_read++;
3652             if (WIFEXITED(child_status) && (WEXITSTATUS(child_status) & RC_FLAG_BLOCKED))
3653             {
3654                urls_rejected++;
3655             }
3656 #endif /* def FEATURE_STATISTICS */
3657
3658 #endif /* !defined(_WIN32) && defined(__CYGWIN__) */
3659             close_socket(csp->cfd);
3660             csp->flags &= ~CSP_FLAG_ACTIVE;
3661          }
3662 #endif
3663
3664 #undef SELECTED_ONE_OPTION
3665 /* end of cpp switch () */
3666
3667          if (child_id < 0)
3668          {
3669             /*
3670              * Spawning the child failed, assume it's because
3671              * there are too many children running already.
3672              * XXX: If you assume ...
3673              */
3674             log_error(LOG_LEVEL_ERROR,
3675                "Unable to take any additional connections: %E");
3676             write_socket(csp->cfd, TOO_MANY_CONNECTIONS_RESPONSE,
3677                strlen(TOO_MANY_CONNECTIONS_RESPONSE));
3678             close_socket(csp->cfd);
3679             csp->flags &= ~CSP_FLAG_ACTIVE;
3680          }
3681       }
3682       else
3683       {
3684          serve(csp);
3685       }
3686    }
3687
3688    /* NOTREACHED unless FEATURE_GRACEFUL_TERMINATION is defined */
3689
3690    /* Clean up.  Aim: free all memory (no leaks) */
3691 #ifdef FEATURE_GRACEFUL_TERMINATION
3692
3693    log_error(LOG_LEVEL_ERROR, "Graceful termination requested");
3694
3695    unload_current_config_file();
3696    unload_current_actions_file();
3697    unload_current_re_filterfile();
3698 #ifdef FEATURE_TRUST
3699    unload_current_trust_file();
3700 #endif
3701
3702    if (config->multi_threaded)
3703    {
3704       int i = 60;
3705       do
3706       {
3707          sleep(1);
3708          sweep();
3709       } while ((clients->next != NULL) && (--i > 0));
3710
3711       if (i <= 0)
3712       {
3713          log_error(LOG_LEVEL_ERROR, "Graceful termination failed - still some live clients after 1 minute wait.");
3714       }
3715    }
3716    sweep();
3717    sweep();
3718
3719 #if defined(unix)
3720    freez(basedir);
3721 #endif
3722    freez(configfile);
3723
3724 #if defined(_WIN32) && !defined(_WIN_CONSOLE)
3725    /* Cleanup - remove taskbar icon etc. */
3726    TermLogWindow();
3727 #endif
3728
3729    exit(0);
3730 #endif /* FEATURE_GRACEFUL_TERMINATION */
3731
3732 }
3733
3734
3735 /*
3736   Local Variables:
3737   tab-width: 3
3738   end:
3739 */