Fixing bug 514988 - unable to restart JunkBuster
[privoxy.git] / jcc.c
1 const char jcc_rcs[] = "$Id: jcc.c,v 1.68 2002/03/04 20:17:32 oes Exp $";
2 /*********************************************************************
3  *
4  * File        :  $Source: /cvsroot/ijbswa/current/jcc.c,v $
5  *
6  * Purpose     :  Main file.  Contains main() method, main loop, and
7  *                the main connection-handling function.
8  *
9  * Copyright   :  Written by and Copyright (C) 2001 the SourceForge
10  *                IJBSWA team.  http://ijbswa.sourceforge.net
11  *
12  *                Based on the Internet Junkbuster originally written
13  *                by and Copyright (C) 1997 Anonymous Coders and
14  *                Junkbusters Corporation.  http://www.junkbusters.com
15  *
16  *                This program is free software; you can redistribute it
17  *                and/or modify it under the terms of the GNU General
18  *                Public License as published by the Free Software
19  *                Foundation; either version 2 of the License, or (at
20  *                your option) any later version.
21  *
22  *                This program is distributed in the hope that it will
23  *                be useful, but WITHOUT ANY WARRANTY; without even the
24  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
25  *                PARTICULAR PURPOSE.  See the GNU General Public
26  *                License for more details.
27  *
28  *                The GNU General Public License should be included with
29  *                this file.  If not, you can view it at
30  *                http://www.gnu.org/copyleft/gpl.html
31  *                or write to the Free Software Foundation, Inc., 59
32  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
33  *
34  * Revisions   :
35  *    $Log: jcc.c,v $
36  *    Revision 1.68  2002/03/04 20:17:32  oes
37  *    Fixed usage info
38  *
39  *    Revision 1.67  2002/03/04 18:18:57  oes
40  *    - Removed _DEBUG mode
41  *    - Cleand up cmdline parsing
42  *    - Introduced --no-daemon, --pidfile options
43  *    - Cleaned up signal handling:
44  *      - Terminate cleanly on INT, TERM and ABRT
45  *      - Schedule logfile for re-opening on HUP
46  *      - Ignore CHLD and PIPE
47  *      - Leave the rest with their default handlers
48  *      - Uniform handler registration
49  *    - Added usage() function
50  *    - Played styleguide police
51  *
52  *    Revision 1.66  2002/03/03 15:06:55  oes
53  *    Re-enabled automatic config reloading
54  *
55  *    Revision 1.65  2002/03/03 14:49:11  oes
56  *    Fixed CLF logging: Now uses client's original HTTP request
57  *
58  *    Revision 1.64  2002/03/03 09:18:03  joergs
59  *    Made jumbjuster work on AmigaOS again.
60  *
61  *    Revision 1.63  2002/03/02 04:14:50  david__schmidt
62  *    Clean up a little CRLF unpleasantness that suddenly appeared
63  *
64  *    Revision 1.62  2002/02/20 23:17:23  jongfoster
65  *    Detecting some out-of memory conditions and exiting with a log message.
66  *
67  *    Revision 1.61  2002/01/17 21:01:52  jongfoster
68  *    Moving all our URL and URL pattern parsing code to urlmatch.c.
69  *
70  *    Revision 1.60  2001/12/30 14:07:32  steudten
71  *    - Add signal handling (unix)
72  *    - Add SIGHUP handler (unix)
73  *    - Add creation of pidfile (unix)
74  *    - Add action 'top' in rc file (RH)
75  *    - Add entry 'SIGNALS' to manpage
76  *    - Add exit message to logfile (unix)
77  *
78  *    Revision 1.59  2001/12/13 14:07:18  oes
79  *    Fixed Bug: 503 error page now sent OK
80  *
81  *    Revision 1.58  2001/11/30 23:37:24  jongfoster
82  *    Renaming the Win32 config file to config.txt - this is almost the
83  *    same as the corresponding UNIX name "config"
84  *
85  *    Revision 1.57  2001/11/16 00:47:43  jongfoster
86  *    Changing the tty-disconnection code to use setsid().
87  *
88  *    Revision 1.56  2001/11/13 20:20:54  jongfoster
89  *    Tabs->spaces, fixing a bug with missing {} around an if()
90  *
91  *    Revision 1.55  2001/11/13 20:14:53  jongfoster
92  *    Patch for FreeBSD setpgrp() as suggested by Alexander Lazic
93  *
94  *    Revision 1.54  2001/11/07 00:03:14  steudten
95  *    Give reliable return value if an error
96  *    occurs not just 0 with new daemon mode.
97  *
98  *    Revision 1.53  2001/11/05 21:41:43  steudten
99  *    Add changes to be a real daemon just for unix os.
100  *    (change cwd to /, detach from controlling tty, set
101  *    process group and session leader to the own process.
102  *    Add DBG() Macro.
103  *    Add some fatal-error log message for failed malloc().
104  *    Add '-d' if compiled with 'configure --with-debug' to
105  *    enable debug output.
106  *
107  *    Revision 1.52  2001/10/26 20:11:20  jongfoster
108  *    Fixing type mismatch
109  *
110  *    Revision 1.51  2001/10/26 17:38:28  oes
111  *    Cosmetics
112  *
113  *    Revision 1.50  2001/10/25 03:40:48  david__schmidt
114  *    Change in porting tactics: OS/2's EMX porting layer doesn't allow multiple
115  *    threads to call select() simultaneously.  So, it's time to do a real, live,
116  *    native OS/2 port.  See defines for __EMX__ (the porting layer) vs. __OS2__
117  *    (native). Both versions will work, but using __OS2__ offers multi-threading.
118  *
119  *    Revision 1.49  2001/10/23 21:41:35  jongfoster
120  *    Added call to initialize the (statically-allocated of course)
121  *    "out of memory" CGI response.
122  *
123  *    Revision 1.48  2001/10/10 19:56:46  jongfoster
124  *    Moving some code that wasn't cookie-related out of an #ifdef
125  *    FEATURE_COOKIE_JAR
126  *
127  *    Revision 1.47  2001/10/10 16:44:36  oes
128  *    Added CONNECT destination port limitation check
129  *
130  *    Revision 1.46  2001/10/08 15:17:41  oes
131  *    Re-enabled SSL forwarding
132  *
133  *    Revision 1.45  2001/10/07 15:42:11  oes
134  *    Replaced 6 boolean members of csp with one bitmap (csp->flags)
135  *
136  *    Moved downgrading of the HTTP version from parse_http_request to
137  *      chat(), since we can't decide if it is necessary before we have
138  *      determined the actions for the URL. The HTTP command is now
139  *      *always* re-built so the repairs need no longer be special-cased.
140  *
141  *    filter_popups now gets a csp pointer so it can raise the new
142  *      CSP_FLAG_MODIFIED flag.
143  *
144  *    Bugfix
145  *
146  *    Added configurable size limit for the IOB. If the IOB grows so
147  *      large that the next read would exceed the limit, the header
148  *      is generated, and the header & unfiltered buffer are flushed
149  *      to the client. Chat then continues in non-buffering,
150  *      non-filtering body mode.
151  *
152  *    Revision 1.44  2001/10/02 18:13:57  oes
153  *    Ooops
154  *
155  *    Revision 1.43  2001/10/02 15:32:13  oes
156  *    Moved generation of hdr
157  *
158  *    Revision 1.42  2001/09/21 23:02:02  david__schmidt
159  *    Cleaning up 2 compiler warnings on OS/2.
160  *
161  *    Revision 1.41  2001/09/16 17:05:14  jongfoster
162  *    Removing unused #include showarg.h
163  *
164  *    Revision 1.40  2001/09/16 15:41:45  jongfoster
165  *    Fixing signed/unsigned comparison warning.
166  *
167  *    Revision 1.39  2001/09/16 13:21:27  jongfoster
168  *    Changes to use new list functions.
169  *
170  *    Revision 1.38  2001/09/16 13:01:46  jongfoster
171  *    Removing redundant function call that zeroed zalloc()'d memory.
172  *
173  *    Revision 1.37  2001/09/10 11:12:24  oes
174  *    Deleted unused variable
175  *
176  *    Revision 1.36  2001/09/10 10:56:15  oes
177  *    Silenced compiler warnings
178  *
179  *    Revision 1.35  2001/07/31 14:44:22  oes
180  *    Deleted unused size parameter from filter_popups()
181  *
182  *    Revision 1.34  2001/07/30 22:08:36  jongfoster
183  *    Tidying up #defines:
184  *    - All feature #defines are now of the form FEATURE_xxx
185  *    - Permanently turned off WIN_GUI_EDIT
186  *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
187  *
188  *    Revision 1.33  2001/07/29 19:32:00  jongfoster
189  *    Renaming _main() [mingw32 only] to real_main(), for ANSI compliance.
190  *
191  *    Revision 1.32  2001/07/29 18:47:05  jongfoster
192  *    Adding missing #include "loadcfg.h"
193  *
194  *    Revision 1.31  2001/07/29 12:17:48  oes
195  *    Applied pthread fix by Paul Lieverse
196  *
197  *    Revision 1.30  2001/07/25 22:57:13  jongfoster
198  *    __BEOS__ no longer overrides FEATURE_PTHREAD.
199  *    This is because FEATURE_PTHREAD will soon be widely used, so I
200  *    want to keep it simple.
201  *
202  *    Revision 1.29  2001/07/24 12:47:06  oes
203  *    Applied BeOS support update by Eugenia
204  *
205  *    Revision 1.28  2001/07/23 13:26:12  oes
206  *    Fixed bug in popup-killing for the first read that caused binary garbage to be sent between headers and body
207  *
208  *    Revision 1.27  2001/07/19 19:09:47  haroon
209  *    - Added code to take care of the situation where while processing the first
210  *      server response (which includes the server header), after finding the end
211  *      of the headers we were not looking past the end of the headers for
212  *      content modification. I enabled it for filter_popups.
213  *      Someone else should look to see if other similar operations should be
214  *      done to the discarded portion of the buffer.
215  *
216  *      Note 2001/07/20: No, the other content modification mechanisms will process
217  *                       the whole iob later anyway. --oes
218  *
219  *    Revision 1.26  2001/07/18 12:31:36  oes
220  *    cosmetics
221  *
222  *    Revision 1.25  2001/07/15 19:43:49  jongfoster
223  *    Supports POSIX threads.
224  *    Also removed some unused #includes.
225  *
226  *    Revision 1.24  2001/07/13 14:00:40  oes
227  *     - Generic content modification scheme:
228  *       Each feature has its own applicability flag that is set
229  *       from csp->action->flags.
230  *       Replaced the "filtering" int flag , by a function pointer
231  *       "content_filter" to the function that will do the content
232  *       modification. If it is != NULL, the document will be buffered
233  *       and processed through *content_filter, which must set
234  *       csp->content_length and return a modified copy of the body
235  *       or return NULL (on failiure).
236  *     - Changed csp->is_text to the more generic bitmap csp->content_type
237  *       which can currently take the valued CT_TEXT or CT_GIF
238  *     - Reformatting etc
239  *     - Removed all #ifdef PCRS
240  *
241  *    Revision 1.23  2001/07/02 02:28:25  iwanttokeepanon
242  *    Added "#ifdef ACL_FILES" conditional compilation to line 1291 to exclude
243  *    the `block_acl' call.  This prevents a compilation error when the user
244  *    does not wish to use the "ACL" feature.
245  *
246  *    Revision 1.22  2001/06/29 21:45:41  oes
247  *    Indentation, CRLF->LF, Tab-> Space
248  *
249  *    Revision 1.21  2001/06/29 13:29:36  oes
250  *    - Cleaned up, improved comments
251  *    - Unified all possible interceptors (CGI,
252  *      block, trust, fast_redirect) in one
253  *      place, with one (CGI) answer generation
254  *      mechansim. Much clearer now.
255  *    - Removed the GIF image generation, which
256  *      is now done in filters.c:block_url()
257  *    - Made error conditions like domain lookup
258  *      failiure or (various) problems while talking
259  *      to the server use cgi.c:error_response()
260  *      instead of generating HTML/HTTP in chat() (yuck!)
261  *    - Removed logentry from cancelled commit
262  *
263  *    Revision 1.20  2001/06/09 10:55:28  jongfoster
264  *    Changing BUFSIZ ==> BUFFER_SIZE
265  *
266  *    Revision 1.19  2001/06/07 23:12:52  jongfoster
267  *    Replacing function pointer in struct gateway with a directly
268  *    called function forwarded_connect().
269  *    Replacing struct gateway with struct forward_spec
270  *
271  *    Revision 1.18  2001/06/03 19:12:16  oes
272  *    introduced new cgi handling
273  *
274  *    Revision 1.17  2001/06/01 20:07:23  jongfoster
275  *    Now uses action +image-blocker{} rather than config->tinygif
276  *
277  *    Revision 1.16  2001/06/01 18:49:17  jongfoster
278  *    Replaced "list_share" with "list" - the tiny memory gain was not
279  *    worth the extra complexity.
280  *
281  *    Revision 1.15  2001/05/31 21:24:47  jongfoster
282  *    Changed "permission" to "action" throughout.
283  *    Removed DEFAULT_USER_AGENT - it must now be specified manually.
284  *    Moved vanilla wafer check into chat(), since we must now
285  *    decide whether or not to add it based on the URL.
286  *
287  *    Revision 1.14  2001/05/29 20:14:01  joergs
288  *    AmigaOS bugfix: PCRS needs a lot of stack, stacksize for child threads
289  *    increased.
290  *
291  *    Revision 1.13  2001/05/29 09:50:24  jongfoster
292  *    Unified blocklist/imagelist/permissionslist.
293  *    File format is still under discussion, but the internal changes
294  *    are (mostly) done.
295  *
296  *    Also modified interceptor behaviour:
297  *    - We now intercept all URLs beginning with one of the following
298  *      prefixes (and *only* these prefixes):
299  *        * http://i.j.b/
300  *        * http://ijbswa.sf.net/config/
301  *        * http://ijbswa.sourceforge.net/config/
302  *    - New interceptors "home page" - go to http://i.j.b/ to see it.
303  *    - Internal changes so that intercepted and fast redirect pages
304  *      are not replaced with an image.
305  *    - Interceptors now have the option to send a binary page direct
306  *      to the client. (i.e. ijb-send-banner uses this)
307  *    - Implemented show-url-info interceptor.  (Which is why I needed
308  *      the above interceptors changes - a typical URL is
309  *      "http://i.j.b/show-url-info?url=www.somesite.com/banner.gif".
310  *      The previous mechanism would not have intercepted that, and
311  *      if it had been intercepted then it then it would have replaced
312  *      it with an image.)
313  *
314  *    Revision 1.12  2001/05/27 22:17:04  oes
315  *
316  *    - re_process_buffer no longer writes the modified buffer
317  *      to the client, which was very ugly. It now returns the
318  *      buffer, which it is then written by chat.
319  *
320  *    - content_length now adjusts the Content-Length: header
321  *      for modified documents rather than crunch()ing it.
322  *      (Length info in csp->content_length, which is 0 for
323  *      unmodified documents)
324  *
325  *    - For this to work, sed() is called twice when filtering.
326  *
327  *    Revision 1.11  2001/05/26 17:27:53  jongfoster
328  *    Added support for CLF and fixed LOG_LEVEL_LOG.
329  *    Also did CRLF->LF fix of my previous patch.
330  *
331  *    Revision 1.10  2001/05/26 15:26:15  jongfoster
332  *    ACL feature now provides more security by immediately dropping
333  *    connections from untrusted hosts.
334  *
335  *    Revision 1.9  2001/05/26 00:28:36  jongfoster
336  *    Automatic reloading of config file.
337  *    Removed obsolete SIGHUP support (Unix) and Reload menu option (Win32).
338  *    Most of the global variables have been moved to a new
339  *    struct configuration_spec, accessed through csp->config->globalname
340  *    Most of the globals remaining are used by the Win32 GUI.
341  *
342  *    Revision 1.8  2001/05/25 22:43:18  jongfoster
343  *    Fixing minor memory leak and buffer overflow.
344  *
345  *    Revision 1.7  2001/05/25 22:34:30  jongfoster
346  *    Hard tabs->Spaces
347  *
348  *    Revision 1.6  2001/05/23 00:13:58  joergs
349  *    AmigaOS support fixed.
350  *
351  *    Revision 1.5  2001/05/22 18:46:04  oes
352  *
353  *    - Enabled filtering banners by size rather than URL
354  *      by adding patterns that replace all standard banner
355  *      sizes with the "Junkbuster" gif to the re_filterfile
356  *
357  *    - Enabled filtering WebBugs by providing a pattern
358  *      which kills all 1x1 images
359  *
360  *    - Added support for PCRE_UNGREEDY behaviour to pcrs,
361  *      which is selected by the (nonstandard and therefore
362  *      capital) letter 'U' in the option string.
363  *      It causes the quantifiers to be ungreedy by default.
364  *      Appending a ? turns back to greedy (!).
365  *
366  *    - Added a new interceptor ijb-send-banner, which
367  *      sends back the "Junkbuster" gif. Without imagelist or
368  *      MSIE detection support, or if tinygif = 1, or the
369  *      URL isn't recognized as an imageurl, a lame HTML
370  *      explanation is sent instead.
371  *
372  *    - Added new feature, which permits blocking remote
373  *      script redirects and firing back a local redirect
374  *      to the browser.
375  *      The feature is conditionally compiled, i.e. it
376  *      can be disabled with --disable-fast-redirects,
377  *      plus it must be activated by a "fast-redirects"
378  *      line in the config file, has its own log level
379  *      and of course wants to be displayed by show-proxy-args
380  *      Note: Boy, all the #ifdefs in 1001 locations and
381  *      all the fumbling with configure.in and acconfig.h
382  *      were *way* more work than the feature itself :-(
383  *
384  *    - Because a generic redirect template was needed for
385  *      this, tinygif = 3 now uses the same.
386  *
387  *    - Moved GIFs, and other static HTTP response templates
388  *      to project.h
389  *
390  *    - Some minor fixes
391  *
392  *    - Removed some >400 CRs again (Jon, you really worked
393  *      a lot! ;-)
394  *
395  *    Revision 1.4  2001/05/21 19:34:01  jongfoster
396  *    Made failure to bind() a fatal error.
397  *
398  *    Revision 1.3  2001/05/20 01:21:20  jongfoster
399  *    Version 2.9.4 checkin.
400  *    - Merged popupfile and cookiefile, and added control over PCRS
401  *      filtering, in new "permissionsfile".
402  *    - Implemented LOG_LEVEL_FATAL, so that if there is a configuration
403  *      file error you now get a message box (in the Win32 GUI) rather
404  *      than the program exiting with no explanation.
405  *    - Made killpopup use the PCRS MIME-type checking and HTTP-header
406  *      skipping.
407  *    - Removed tabs from "config"
408  *    - Moved duplicated url parsing code in "loaders.c" to a new funcition.
409  *    - Bumped up version number.
410  *
411  *    Revision 1.2  2001/05/17 22:34:44  oes
412  *     - Added hint on GIF char array generation to jcc.c
413  *     - Cleaned CRLF's from the sources and related files
414  *     - Repaired logging for REF and FRC
415  *
416  *    Revision 1.1.1.1  2001/05/15 13:58:56  oes
417  *    Initial import of version 2.9.3 source tree
418  *
419  *
420  *********************************************************************/
421 \f
422
423 #include "config.h"
424
425 #include <stdio.h>
426 #include <sys/types.h>
427 #include <stdlib.h>
428 #include <string.h>
429 #include <signal.h>
430 #include <fcntl.h>
431 #include <errno.h>
432
433 #ifdef FEATURE_PTHREAD
434 #include <pthread.h>
435 #endif /* def FEATURE_PTHREAD */
436
437 #ifdef _WIN32
438 # ifndef FEATURE_PTHREAD
439 #  include <windows.h>
440 #  include <process.h>
441 # endif /* ndef FEATURE_PTHREAD */
442
443 # include "win32.h"
444 # ifndef _WIN_CONSOLE
445 #  include "w32log.h"
446 # endif /* ndef _WIN_CONSOLE */
447
448 #else /* ifndef _WIN32 */
449
450 # if !defined (__OS2__)
451 # include <unistd.h>
452 # include <sys/wait.h>
453 # endif /* ndef __OS2__ */
454 # include <sys/time.h>
455 # include <sys/stat.h>
456 # include <sys/ioctl.h>
457
458 #ifdef sun
459 #include <sys/termios.h>
460 #endif /* sun */
461
462 # include <signal.h>
463
464 # ifdef __BEOS__
465 #  include <socket.h>  /* BeOS has select() for sockets only. */
466 #  include <OS.h>      /* declarations for threads and stuff. */
467 # endif
468
469 # if defined(__EMX__) || defined(__OS2__)
470 #  include <sys/select.h>  /* OS/2/EMX needs a little help with select */
471 # endif
472 # ifdef __OS2__
473 #define INCL_DOS
474 # include <os2.h>
475 #define bzero(B,N) memset(B,0x00,n)
476 # endif
477
478 # ifndef FD_ZERO
479 #  include <select.h>
480 # endif
481
482 #endif
483
484 #include "project.h"
485 #include "list.h"
486 #include "jcc.h"
487 #include "filters.h"
488 #include "loaders.h"
489 #include "parsers.h"
490 #include "killpopup.h"
491 #include "miscutil.h"
492 #include "errlog.h"
493 #include "jbsockets.h"
494 #include "gateway.h"
495 #include "actions.h"
496 #include "cgi.h"
497 #include "loadcfg.h"
498 #include "urlmatch.h"
499
500 const char jcc_h_rcs[] = JCC_H_VERSION;
501 const char project_h_rcs[] = PROJECT_H_VERSION;
502
503 int no_daemon = 0;
504 struct client_state  clients[1];
505 struct file_list     files[1];
506
507 #ifdef FEATURE_STATISTICS
508 int urls_read     = 0;     /* total nr of urls read inc rejected */
509 int urls_rejected = 0;     /* total nr of urls rejected */
510 #endif /* def FEATURE_STATISTICS */
511
512
513 static void listen_loop(void);
514 static void chat(struct client_state *csp);
515 #ifdef AMIGA
516 void serve(struct client_state *csp);
517 #else /* ifndef AMIGA */
518 static void serve(struct client_state *csp);
519 #endif /* def AMIGA */
520
521 #ifdef __BEOS__
522 static int32 server_thread(void *data);
523 #endif /* def __BEOS__ */
524
525 #ifdef _WIN32
526 #define sleep(N)  Sleep(((N) * 1000))
527 #endif
528
529 #ifdef __OS2__
530 #define sleep(N)  DosSleep(((N) * 100))
531 #endif
532
533 #if defined(unix)
534 const char *basedir;
535 const char *pidfile = NULL;
536 int received_hup_signal = 0;
537 #endif /* defined unix */
538
539 /* The vanilla wafer. */
540 static const char VANILLA_WAFER[] =
541    "NOTICE=TO_WHOM_IT_MAY_CONCERN_"
542    "Do_not_send_me_any_copyrighted_information_other_than_the_"
543    "document_that_I_am_requesting_or_any_of_its_necessary_components._"
544    "In_particular_do_not_send_me_any_cookies_that_"
545    "are_subject_to_a_claim_of_copyright_by_anybody._"
546    "Take_notice_that_I_refuse_to_be_bound_by_any_license_condition_"
547    "(copyright_or_otherwise)_applying_to_any_cookie._";
548
549
550 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
551 /*********************************************************************
552  *
553  * Function    :  sig_handler 
554  *
555  * Description :  Signal handler for different signals.
556  *                Exit gracefully on ABRT, TERM and  INT
557  *                or set a flag that will cause the errlog
558  *                to be reopened by the main thread on HUP.
559  *
560  * Parameters  :
561  *          1  :  the_signal - the signal cause this function to call 
562  *
563  * Returns     :  - 
564  *
565  *********************************************************************/
566 static void sig_handler(int the_signal)
567 {
568    switch(the_signal)
569    {
570       case SIGABRT:
571       case SIGTERM:
572       case SIGINT:
573          log_error(LOG_LEVEL_INFO, "exiting by signal %d .. bye", the_signal);
574 #if defined(unix)
575          unlink(pidfile);
576 #endif /* unix */
577          exit(the_signal);
578          break;
579
580       case SIGHUP:
581          received_hup_signal = 1;
582          break;         
583
584       default:
585          /* 
586           * We shouldn't be here, unless we catch signals
587           * in main() that we can't handle here!
588           */
589          log_error(LOG_LEVEL_FATAL, "sig_handler: exiting on unexpected signal %d", the_signal);
590    }
591    return;
592
593 }
594 #endif
595
596
597 /*********************************************************************
598  *
599  * Function    :  chat
600  *
601  * Description :  Once a connection to the client has been accepted,
602  *                this function is called (via serve()) to handle the
603  *                main business of the communication.  When this
604  *                function returns, the caller must close the client
605  *                socket handle.
606  *
607  * Parameters  :
608  *          1  :  csp = Current client state (buffers, headers, etc...)
609  *
610  * Returns     :  On success, the number of bytes written are returned (zero
611  *                indicates nothing was written).  On error, -1 is returned,
612  *                and errno is set appropriately.  If count is zero and the
613  *                file descriptor refers to a regular file, 0 will be
614  *                returned without causing any other effect.  For a special
615  *                file, the results are not portable.
616  *
617  *********************************************************************/
618 static void chat(struct client_state *csp)
619 {
620 /*
621  * This next lines are a little ugly, but they simplifies the if statements
622  * below.  Basically if TOGGLE, then we want the if to test if the
623  * CSP_FLAG_TOGGLED_ON flag ist set, else we don't.  And if FEATURE_FORCE_LOAD,
624  * then we want the if to test for CSP_FLAG_FORCED , else we don't
625  */
626 #ifdef FEATURE_TOGGLE
627 #   define IS_TOGGLED_ON_AND (csp->flags & CSP_FLAG_TOGGLED_ON) &&
628 #else /* ifndef FEATURE_TOGGLE */
629 #   define IS_TOGGLED_ON_AND
630 #endif /* ndef FEATURE_TOGGLE */
631 #ifdef FEATURE_FORCE_LOAD
632 #   define IS_NOT_FORCED_AND !(csp->flags & CSP_FLAG_FORCED) &&
633 #else /* ifndef FEATURE_FORCE_LOAD */
634 #   define IS_NOT_FORCED_AND
635 #endif /* def FEATURE_FORCE_LOAD */
636
637 #define IS_ENABLED_AND   IS_TOGGLED_ON_AND IS_NOT_FORCED_AND
638
639    char buf[BUFFER_SIZE];
640    char *hdr, *p, *req;
641    fd_set rfds;
642    int n, maxfd, server_body;
643    int ms_iis5_hack = 0;
644    int byte_count = 0;
645    const struct forward_spec * fwd;
646    struct http_request *http;
647 #ifdef FEATURE_KILL_POPUPS
648    int block_popups;         /* bool, 1==will block popups */
649    int block_popups_now = 0; /* bool, 1==currently blocking popups */
650 #endif /* def FEATURE_KILL_POPUPS */
651
652    int pcrs_filter;        /* bool, 1==will filter through pcrs */
653    int gif_deanimate;      /* bool, 1==will deanimate gifs */
654
655    /* Function that does the content filtering for the current request */
656    char *(*content_filter)() = NULL;
657
658    /* Skeleton for HTTP response, if we should intercept the request */
659    struct http_response *rsp;
660
661    http = csp->http;
662
663    /*
664     * Read the client's request.  Note that since we're not using select() we
665     * could get blocked here if a client connected, then didn't say anything!
666     */
667
668    while (FOREVER)
669    {
670       n = read_socket(csp->cfd, buf, sizeof(buf));
671
672       if (n <= 0) break;      /* error! */
673
674       add_to_iob(csp, buf, n);
675
676       req = get_header(csp);
677
678       if (req == NULL)
679       {
680          break;    /* no HTTP request! */
681       }
682
683       if (*req == '\0')
684       {
685          continue;   /* more to come! */
686       }
687
688 #ifdef FEATURE_FORCE_LOAD
689       /* If this request contains the FORCE_PREFIX,
690        * better get rid of it now and set the force flag --oes
691        */
692
693       if (strstr(req, FORCE_PREFIX))
694       {
695          strclean(req, FORCE_PREFIX);
696          log_error(LOG_LEVEL_FORCE, "Enforcing request \"%s\".\n", req);
697          csp->flags |= CSP_FLAG_FORCED;
698       }
699
700 #endif /* def FEATURE_FORCE_LOAD */
701
702       parse_http_request(req, http, csp);
703       freez(req);
704       break;
705    }
706
707    if (http->cmd == NULL)
708    {
709       strcpy(buf, CHEADER);
710       write_socket(csp->cfd, buf, strlen(buf));
711
712       log_error(LOG_LEVEL_CLF, "%s - - [%T] \" \" 400 0", csp->ip_addr_str);
713
714       return;
715    }
716
717    /* decide how to route the HTTP request */
718
719    if ((fwd = forward_url(http, csp)) == NULL)
720    {
721       log_error(LOG_LEVEL_FATAL, "gateway spec is NULL!?!?  This can't happen!");
722       /* Never get here - LOG_LEVEL_FATAL causes program exit */
723    }
724
725    /* build the http request to send to the server
726     * we have to do one of the following:
727     *
728     * create = use the original HTTP request to create a new
729     *          HTTP request that has either the path component
730     *          without the http://domainspec (w/path) or the
731     *          full orininal URL (w/url)
732     *          Note that the path and/or the HTTP version may
733     *          have been altered by now.
734     *
735     * connect = Open a socket to the host:port of the server
736     *           and short-circuit server and client socket.
737     *
738     * pass =  Pass the request unchanged if forwarding a CONNECT
739     *         request to a parent proxy. Note that we'll be sending
740     *         the CFAIL message ourselves if connecting to the parent
741     *         fails, but we won't send a CSUCCEED message if it works,
742     *         since that would result in a double message (ours and the
743     *         parent's). After sending the request to the parent, we simply
744     *         tunnel.
745     *
746     * here's the matrix:
747     *                        SSL
748     *                    0        1
749     *                +--------+--------+
750     *                |        |        |
751     *             0  | create | connect|
752     *                | w/path |        |
753     *  Forwarding    +--------+--------+
754     *                |        |        |
755     *             1  | create | pass   |
756     *                | w/url  |        |
757     *                +--------+--------+
758     *
759     */
760
761    /*
762     * Determine the actions for this URL
763     */
764 #ifdef FEATURE_TOGGLE
765    if (!(csp->flags & CSP_FLAG_TOGGLED_ON))
766    {
767       /* Most compatible set of actions (i.e. none) */
768       init_current_action(csp->action);
769    }
770    else
771 #endif /* ndef FEATURE_TOGGLE */
772    {
773       url_actions(http, csp);
774    }
775
776
777    /*
778     * Check if a CONNECT request is allowable:
779     * In the absence of a +limit-connect action, allow only port 443.
780     * If there is an action, allow whatever matches the specificaton.
781     */
782    if(http->ssl)
783    {
784       if(  ( !(csp->action->flags & ACTION_LIMIT_CONNECT) && csp->http->port != 443)
785            || (csp->action->flags & ACTION_LIMIT_CONNECT
786               && !match_portlist(csp->action->string[ACTION_STRING_LIMIT_CONNECT], csp->http->port)) )
787       {
788          strcpy(buf, CFORBIDDEN);
789          write_socket(csp->cfd, buf, strlen(buf));
790
791          log_error(LOG_LEVEL_CONNECT, "Denying suspicious CONNECT request from %s", csp->ip_addr_str);
792          log_error(LOG_LEVEL_CLF, "%s - - [%T] \" \" 403 0", csp->ip_addr_str);
793
794          return;
795       }
796    }
797
798
799    /*
800     * Downgrade http version from 1.1 to 1.0 if +downgrade
801     * action applies
802     */
803    if ( (http->ssl == 0)
804      && (!strcmpic(http->ver, "HTTP/1.1"))
805      && (csp->action->flags & ACTION_DOWNGRADE))
806    {
807       freez(http->ver);
808       http->ver = strdup("HTTP/1.0");
809
810       if (http->ver == NULL)
811       {
812          log_error(LOG_LEVEL_FATAL, "Out of memory downgrading HTTP version");
813       }
814    }
815
816    /* 
817     * Save a copy of the original request for logging
818     */
819    http->ocmd = strdup(http->cmd);
820
821    if (http->ocmd == NULL)
822    {
823       log_error(LOG_LEVEL_FATAL, "Out of memory copying HTTP request line");
824    }
825
826    /*
827     * (Re)build the HTTP request for non-SSL requests.
828     * If forwarding, use the whole URL, else, use only the path.
829     */
830    if (http->ssl == 0)
831    {
832       freez(http->cmd);
833
834       http->cmd = strdup(http->gpc);
835       string_append(&http->cmd, " ");
836
837       if (fwd->forward_host)
838       {
839          string_append(&http->cmd, http->url);
840       }
841       else
842       {
843          string_append(&http->cmd, http->path);
844       }
845
846       string_append(&http->cmd, " ");
847       string_append(&http->cmd, http->ver);
848
849       if (http->cmd == NULL)
850       {
851          log_error(LOG_LEVEL_FATAL, "Out of memory rewiting SSL command");
852       }
853    }
854    enlist(csp->headers, http->cmd);
855
856
857 #ifdef FEATURE_COOKIE_JAR
858    /*
859     * If we're logging cookies in a cookie jar, and the user has not
860     * supplied any wafers, and the user has not told us to suppress the
861     * vanilla wafer, then send the vanilla wafer.
862     */
863    if ((csp->config->jarfile != NULL)
864        && list_is_empty(csp->action->multi[ACTION_MULTI_WAFER])
865        && ((csp->action->flags & ACTION_VANILLA_WAFER) != 0))
866    {
867       enlist(csp->action->multi[ACTION_MULTI_WAFER], VANILLA_WAFER);
868    }
869 #endif /* def FEATURE_COOKIE_JAR */
870
871
872 #ifdef FEATURE_KILL_POPUPS
873    block_popups               = ((csp->action->flags & ACTION_NO_POPUPS) != 0);
874 #endif /* def FEATURE_KILL_POPUPS */
875
876    pcrs_filter                = (csp->rlist != NULL) &&  /* There are expressions to be used */
877                                 ((csp->action->flags & ACTION_FILTER) != 0);
878
879    gif_deanimate              = ((csp->action->flags & ACTION_DEANIMATE) != 0);
880
881    /* grab the rest of the client's headers */
882
883    while (FOREVER)
884    {
885       if ( ( p = get_header(csp) ) && ( *p == '\0' ) )
886       {
887          n = read_socket(csp->cfd, buf, sizeof(buf));
888          if (n <= 0)
889          {
890             log_error(LOG_LEVEL_ERROR, "read from client failed: %E");
891             return;
892          }
893          add_to_iob(csp, buf, n);
894          continue;
895       }
896
897       if (p == NULL) break;
898
899       enlist(csp->headers, p);
900       freez(p);
901    }
902    /*
903     * We have a request. Now, check to see if we need to
904     * intercept it, i.e. If ..
905     */
906
907    if (
908        /* a CGI call was detected and answered */
909        (NULL != (rsp = dispatch_cgi(csp)))
910
911        /* or we are enabled and... */
912        || (IS_ENABLED_AND (
913
914             /* ..the request was blocked */
915           ( NULL != (rsp = block_url(csp)))
916
917           /* ..or untrusted */
918 #ifdef FEATURE_TRUST
919           || ( NULL != (rsp = trust_url(csp)))
920 #endif /* def FEATURE_TRUST */
921
922           /* ..or a fast redirect kicked in */
923 #ifdef FEATURE_FAST_REDIRECTS
924           || (((csp->action->flags & ACTION_FAST_REDIRECTS) != 0) &&
925                 (NULL != (rsp = redirect_url(csp))))
926 #endif /* def FEATURE_FAST_REDIRECTS */
927           ))
928       )
929    {
930       /* Write the answer to the client */
931       if ((write_socket(csp->cfd, rsp->head, rsp->head_length) != rsp->head_length)
932            || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
933       {
934          log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
935       }
936
937 #ifdef FEATURE_STATISTICS
938       /* Count as a rejected request */
939       csp->flags |= CSP_FLAG_REJECTED;
940 #endif /* def FEATURE_STATISTICS */
941
942       /* Log (FIXME: All intercept reasons apprear as "crunch" with Status 200) */
943       log_error(LOG_LEVEL_GPC, "%s%s crunch!", http->hostport, http->path);
944       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 3", csp->ip_addr_str, http->ocmd);
945
946       /* Clean up and return */
947       free_http_response(rsp);
948       return;
949    }
950
951    log_error(LOG_LEVEL_GPC, "%s%s", http->hostport, http->path);
952
953    if (fwd->forward_host)
954    {
955       log_error(LOG_LEVEL_CONNECT, "via %s:%d to: %s",
956                fwd->forward_host, fwd->forward_port, http->hostport);
957    }
958    else
959    {
960       log_error(LOG_LEVEL_CONNECT, "to %s", http->hostport);
961    }
962
963    /* here we connect to the server, gateway, or the forwarder */
964
965    csp->sfd = forwarded_connect(fwd, http, csp);
966
967    if (csp->sfd < 0)
968    {
969       log_error(LOG_LEVEL_CONNECT, "connect to: %s failed: %E",
970                 http->hostport);
971
972       if (errno == EINVAL)
973       {
974          rsp = error_response(csp, "no-such-domain", errno);
975
976          log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 404 0",
977                    csp->ip_addr_str, http->ocmd);
978       }
979       else
980       {
981          rsp = error_response(csp, "connect-failed", errno);
982
983          log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 503 0",
984                    csp->ip_addr_str, http->ocmd);
985       }
986
987
988       /* Write the answer to the client */
989       if(rsp)
990       {
991          if ((write_socket(csp->cfd, rsp->head, rsp->head_length) != rsp->head_length)
992           || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
993          {
994             log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
995          }
996       }
997
998       free_http_response(rsp);
999       return;
1000    }
1001
1002    log_error(LOG_LEVEL_CONNECT, "OK");
1003
1004    hdr = sed(client_patterns, add_client_headers, csp);
1005    if (hdr == NULL)
1006    {
1007       /* FIXME Should handle error properly */
1008       log_error(LOG_LEVEL_FATAL, "Out of memory parsing client header");
1009    }
1010
1011    list_remove_all(csp->headers);
1012
1013    if (fwd->forward_host || (http->ssl == 0))
1014    {
1015       /* write the client's (modified) header to the server
1016        * (along with anything else that may be in the buffer)
1017        */
1018
1019       n = strlen(hdr);
1020
1021       if ((write_socket(csp->sfd, hdr, n) != n)
1022           || (flush_socket(csp->sfd, csp   ) <  0))
1023       {
1024          log_error(LOG_LEVEL_CONNECT, "write header to: %s failed: %E",
1025                     http->hostport);
1026
1027          log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 503 0",
1028                    csp->ip_addr_str, http->ocmd);
1029
1030          rsp = error_response(csp, "connect-failed", errno);
1031
1032          if(rsp)
1033          {
1034             if ((write_socket(csp->cfd, rsp->head, rsp->head_length) != rsp->head_length)
1035              || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
1036             {
1037                log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
1038             }
1039          }
1040
1041          free_http_response(rsp);
1042          freez(hdr);
1043          return;
1044       }
1045    }
1046    else
1047    {
1048       /*
1049        * We're running an SSL tunnel and we're not forwarding,
1050        * so just send the "connect succeeded" message to the
1051        * client, flush the rest, and get out of the way.
1052        */
1053       log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 2\n",
1054                 csp->ip_addr_str, http->ocmd);
1055
1056       if (write_socket(csp->cfd, CSUCCEED, sizeof(CSUCCEED)-1) < 0)
1057       {
1058          freez(hdr);
1059          return;
1060       }
1061       IOB_RESET(csp);
1062    }
1063
1064    /* we're finished with the client's header */
1065    freez(hdr);
1066
1067    maxfd = ( csp->cfd > csp->sfd ) ? csp->cfd : csp->sfd;
1068
1069    /* pass data between the client and server
1070     * until one or the other shuts down the connection.
1071     */
1072
1073    server_body = 0;
1074
1075    while (FOREVER)
1076    {
1077       FD_ZERO(&rfds);
1078
1079       FD_SET(csp->cfd, &rfds);
1080       FD_SET(csp->sfd, &rfds);
1081
1082       n = select(maxfd+1, &rfds, NULL, NULL, NULL);
1083
1084       if (n < 0)
1085       {
1086          log_error(LOG_LEVEL_ERROR, "select() failed!: %E");
1087          return;
1088       }
1089
1090       /* this is the body of the browser's request
1091        * just read it and write it.
1092        */
1093
1094       if (FD_ISSET(csp->cfd, &rfds))
1095       {
1096          n = read_socket(csp->cfd, buf, sizeof(buf));
1097
1098          if (n <= 0)
1099          {
1100             break; /* "game over, man" */
1101          }
1102
1103          if (write_socket(csp->sfd, buf, n) != n)
1104          {
1105             log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
1106             return;
1107          }
1108          continue;
1109       }
1110
1111       /*
1112        * The server wants to talk.  It could be the header or the body.
1113        * If `hdr' is null, then it's the header otherwise it's the body.
1114        * FIXME: Does `hdr' really mean `host'? No.
1115        */
1116
1117
1118       if (FD_ISSET(csp->sfd, &rfds))
1119       {
1120          fflush( 0 );
1121          n = read_socket(csp->sfd, buf, sizeof(buf) - 1);
1122
1123          if (n < 0)
1124          {
1125             log_error(LOG_LEVEL_ERROR, "read from: %s failed: %E", http->host);
1126
1127             log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 503 0",
1128                       csp->ip_addr_str, http->ocmd);
1129
1130             rsp = error_response(csp, "connect-failed", errno);
1131
1132             if(rsp)
1133             {
1134                if ((write_socket(csp->cfd, rsp->head, rsp->head_length) != rsp->head_length)
1135                 || (write_socket(csp->cfd, rsp->body, rsp->content_length) != rsp->content_length))
1136                {
1137                   log_error(LOG_LEVEL_ERROR, "write to: %s failed: %E", http->host);
1138                }
1139             }
1140
1141             free_http_response(rsp);
1142             return;
1143          }
1144
1145          /* Add a trailing zero.  This lets filter_popups
1146           * use string operations.
1147           */
1148          buf[n] = '\0';
1149
1150 #ifdef FEATURE_KILL_POPUPS
1151          /* Filter the popups on this read. */
1152          if (block_popups_now)
1153          {
1154             filter_popups(buf, csp);
1155          }
1156 #endif /* def FEATURE_KILL_POPUPS */
1157
1158          /* Normally, this would indicate that we've read
1159           * as much as the server has sent us and we can
1160           * close the client connection.  However, Microsoft
1161           * in its wisdom has released IIS/5 with a bug that
1162           * prevents it from sending the trailing \r\n in
1163           * a 302 redirect header (and possibly other headers).
1164           * To work around this if we've haven't parsed
1165           * a full header we'll append a trailing \r\n
1166           * and see if this now generates a valid one.
1167           *
1168           * This hack shouldn't have any impacts.  If we've
1169           * already transmitted the header or if this is a
1170           * SSL connection, then we won't bother with this
1171           * hack.  So we only work on partially received
1172           * headers.  If we append a \r\n and this still
1173           * doesn't generate a valid header, then we won't
1174           * transmit anything to the client.
1175           */
1176          if (n == 0)
1177          {
1178
1179             if (server_body || http->ssl)
1180             {
1181                /*
1182                 * If we have been buffering up the document,
1183                 * now is the time to apply content modification
1184                 * and send the result to the client.
1185                 */
1186                if (content_filter)
1187                {
1188                   /*
1189                    * If the content filter fails, use the original
1190                    * buffer and length.
1191                    * (see p != NULL ? p : csp->iob->cur below)
1192                    */
1193                   if (NULL == (p = (*content_filter)(csp)))
1194                   {
1195                      csp->content_length = csp->iob->eod - csp->iob->cur;
1196                   }
1197
1198                   hdr = sed(server_patterns, add_server_headers, csp);
1199                   if (hdr == NULL)
1200                   {
1201                      /* FIXME Should handle error properly */
1202                      log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
1203                   }
1204
1205                   n = strlen(hdr);
1206
1207                   if ((write_socket(csp->cfd, hdr, n) != n)
1208                       || (write_socket(csp->cfd, p != NULL ? p : csp->iob->cur, csp->content_length) != (int)csp->content_length))
1209                   {
1210                      log_error(LOG_LEVEL_ERROR, "write modified content to client failed: %E");
1211                      return;
1212                   }
1213
1214                   freez(hdr);
1215                   if (NULL != p) {
1216                      freez(p);
1217                   }
1218                }
1219
1220                break; /* "game over, man" */
1221             }
1222
1223             /*
1224              * This is NOT the body, so
1225              * Let's pretend the server just sent us a blank line.
1226              */
1227             n = sprintf(buf, "\r\n");
1228
1229             /*
1230              * Now, let the normal header parsing algorithm below do its
1231              * job.  If it fails, we'll exit instead of continuing.
1232              */
1233
1234             ms_iis5_hack = 1;
1235          }
1236
1237          /*
1238           * If this is an SSL connection or we're in the body
1239           * of the server document, just write it to the client,
1240           * unless we need to buffer the body for later content-filtering
1241           */
1242
1243          if (server_body || http->ssl)
1244          {
1245             if (content_filter)
1246             {
1247                add_to_iob(csp, buf, n);
1248
1249                /*
1250                 * If the buffer limit will be reached on the next read,
1251                 * switch to non-filtering mode, i.e. make & write the
1252                 * header, flush the socket and get out of the way.
1253                 */
1254                if (((size_t)(csp->iob->eod - csp->iob->buf)) + (size_t)BUFFER_SIZE > csp->config->buffer_limit)
1255                {
1256                   log_error(LOG_LEVEL_ERROR, "Buffer size limit reached! Flushing and stepping back.");
1257
1258                   hdr = sed(server_patterns, add_server_headers, csp);
1259                   if (hdr == NULL)
1260                   {
1261                      /* FIXME Should handle error properly */
1262                      log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
1263                   }
1264
1265                   n   = strlen(hdr);
1266                   byte_count += n;
1267
1268                   if (((write_socket(csp->cfd, hdr, n) != n)
1269                        || (n = flush_socket(csp->cfd, csp) < 0)))
1270                   {
1271                      log_error(LOG_LEVEL_CONNECT, "write header to client failed: %E");
1272
1273                      freez(hdr);
1274                      return;
1275                   }
1276
1277                   freez(hdr);
1278                   byte_count += n;
1279
1280                   content_filter = NULL;
1281                   server_body = 1;
1282
1283                }
1284             }
1285             else
1286             {
1287                if (write_socket(csp->cfd, buf, n) != n)
1288                {
1289                   log_error(LOG_LEVEL_ERROR, "write to client failed: %E");
1290                   return;
1291                }
1292             }
1293             byte_count += n;
1294             continue;
1295          }
1296          else
1297          {
1298             /* we're still looking for the end of the
1299              * server's header ... (does that make header
1300              * parsing an "out of body experience" ?
1301              */
1302
1303             /* buffer up the data we just read */
1304             add_to_iob(csp, buf, n);
1305
1306             /* get header lines from the iob */
1307
1308             while ((p = get_header(csp)))
1309             {
1310                if (*p == '\0')
1311                {
1312                   /* see following note */
1313                   break;
1314                }
1315                enlist(csp->headers, p);
1316                freez(p);
1317             }
1318
1319             /* NOTE: there are no "empty" headers so
1320              * if the pointer `p' is not NULL we must
1321              * assume that we reached the end of the
1322              * buffer before we hit the end of the header.
1323              */
1324
1325             if (p)
1326             {
1327                if (ms_iis5_hack)
1328                {
1329                   /* Well, we tried our MS IIS/5
1330                    * hack and it didn't work.
1331                    * The header is incomplete
1332                    * and there isn't anything
1333                    * we can do about it.
1334                    */
1335                   break;
1336                }
1337                else
1338                {
1339                   /* Since we have to wait for
1340                    * more from the server before
1341                    * we can parse the headers
1342                    * we just continue here.
1343                    */
1344                   continue;
1345                }
1346             }
1347
1348             /* we have now received the entire header.
1349              * filter it and send the result to the client
1350              */
1351
1352             hdr = sed(server_patterns, add_server_headers, csp);
1353             if (hdr == NULL)
1354             {
1355                /* FIXME Should handle error properly */
1356                log_error(LOG_LEVEL_FATAL, "Out of memory parsing server header");
1357             }
1358
1359             n   = strlen(hdr);
1360
1361             /* write the server's (modified) header to
1362              * the client (along with anything else that
1363              * may be in the buffer)
1364              */
1365
1366 #ifdef FEATURE_KILL_POPUPS
1367             /* Start blocking popups if appropriate. */
1368
1369             if ((csp->content_type & CT_TEXT) &&  /* It's a text / * MIME-Type */
1370                 !http->ssl    &&                  /* We talk plaintext */
1371                 block_popups)                     /* Policy allows */
1372             {
1373                block_popups_now = 1;
1374                /*
1375                 * Filter the part of the body that came in the same read
1376                 * as the last headers:
1377                 */
1378                filter_popups(csp->iob->cur, csp);
1379             }
1380
1381 #endif /* def FEATURE_KILL_POPUPS */
1382
1383             /* Buffer and pcrs filter this if appropriate. */
1384
1385             if ((csp->content_type & CT_TEXT) &&  /* It's a text / * MIME-Type */
1386                 !http->ssl    &&                  /* We talk plaintext */
1387                 pcrs_filter)                      /* Policy allows */
1388             {
1389                content_filter = pcrs_filter_response;
1390             }
1391
1392             /* Buffer and gif_deanimate this if appropriate. */
1393
1394             if ((csp->content_type & CT_GIF)  &&  /* It's a image/gif MIME-Type */
1395                 !http->ssl    &&                  /* We talk plaintext */
1396                 gif_deanimate)                    /* Policy allows */
1397             {
1398                content_filter = gif_deanimate_response;
1399             }
1400
1401
1402             /*
1403              * Only write if we're not buffering for content modification
1404              */
1405             if (!content_filter && ((write_socket(csp->cfd, hdr, n) != n)
1406                 || (n = flush_socket(csp->cfd, csp) < 0)))
1407             {
1408                log_error(LOG_LEVEL_CONNECT, "write header to client failed: %E");
1409
1410                /* the write failed, so don't bother
1411                 * mentioning it to the client...
1412                 * it probably can't hear us anyway.
1413                 */
1414                freez(hdr);
1415                return;
1416             }
1417
1418             if(!content_filter) byte_count += n;
1419
1420             /* we're finished with the server's header */
1421
1422             freez(hdr);
1423             server_body = 1;
1424
1425             /* If this was a MS IIS/5 hack then it means
1426              * the server has already closed the
1427              * connection.  Nothing more to read.  Time
1428              * to bail.
1429              */
1430             if (ms_iis5_hack)
1431             {
1432                break;
1433             }
1434          }
1435          continue;
1436       }
1437
1438       return; /* huh? we should never get here */
1439    }
1440
1441    log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 %d",
1442              csp->ip_addr_str, http->ocmd, byte_count);
1443 }
1444
1445
1446 /*********************************************************************
1447  *
1448  * Function    :  serve
1449  *
1450  * Description :  This is little more than chat.  We only "serve" to
1451  *                to close any socket that chat may have opened.
1452  *
1453  * Parameters  :
1454  *          1  :  csp = Current client state (buffers, headers, etc...)
1455  *
1456  * Returns     :  N/A
1457  *
1458  *********************************************************************/
1459 #ifdef AMIGA
1460 void serve(struct client_state *csp)
1461 #else /* ifndef AMIGA */
1462 static void serve(struct client_state *csp)
1463 #endif /* def AMIGA */
1464 {
1465    chat(csp);
1466    close_socket(csp->cfd);
1467
1468    if (csp->sfd >= 0)
1469    {
1470       close_socket(csp->sfd);
1471    }
1472
1473    csp->flags &= ~CSP_FLAG_ACTIVE;
1474
1475 }
1476
1477
1478 #ifdef __BEOS__
1479 /*********************************************************************
1480  *
1481  * Function    :  server_thread
1482  *
1483  * Description :  We only exist to call `serve' in a threaded environment.
1484  *
1485  * Parameters  :
1486  *          1  :  data = Current client state (buffers, headers, etc...)
1487  *
1488  * Returns     :  Always 0.
1489  *
1490  *********************************************************************/
1491 static int32 server_thread(void *data)
1492 {
1493    serve((struct client_state *) data);
1494    return 0;
1495
1496 }
1497 #endif
1498
1499
1500 /*********************************************************************
1501  *
1502  * Function    :  usage
1503  *
1504  * Description :  Print usage info & exit.
1505  *
1506  * Parameters  :  Pointer to argv[0] for identifying ourselves
1507  *
1508  * Returns     :  No. ,-)
1509  *
1510  *********************************************************************/
1511 void usage(const char *myname)
1512 {
1513    printf("JunkBuster proxy version " VERSION " (" HOME_PAGE_URL ")\n"
1514            "Usage: %s [--help] [--version] [--no-daemon] [--pidfile pidfile] [configfile]\n"
1515            "Aborting.\n", myname);
1516  
1517    exit(2);
1518
1519 }
1520
1521
1522 /*********************************************************************
1523  *
1524  * Function    :  main
1525  *
1526  * Description :  Load the config file and start the listen loop.
1527  *                This function is a lot more *sane* with the `load_config'
1528  *                and `listen_loop' functions; although it stills does
1529  *                a *little* too much for my taste.
1530  *
1531  * Parameters  :
1532  *          1  :  argc = Number of parameters (including $0).
1533  *          2  :  argv = Array of (char *)'s to the parameters.
1534  *
1535  * Returns     :  1 if : can't open config file, unrecognized directive,
1536  *                stats requested in multi-thread mode, can't open the
1537  *                log file, can't open the jar file, listen port is invalid,
1538  *                any load fails, and can't bind port.
1539  *
1540  *                Else main never returns, the process must be signaled
1541  *                to terminate execution.  Or, on Windows, use the
1542  *                "File", "Exit" menu option.
1543  *
1544  *********************************************************************/
1545 #ifdef __MINGW32__
1546 int real_main(int argc, const char *argv[])
1547 #else
1548 int main(int argc, const char *argv[])
1549 #endif
1550 {
1551    int argc_pos = 0;
1552
1553    Argc = argc;
1554    Argv = argv;
1555
1556    configfile =
1557 #if !defined(_WIN32)
1558    "config"
1559 #else
1560    "config.txt"
1561 #endif
1562       ;
1563
1564    /*
1565     * Parse the command line arguments
1566     */
1567    while (++argc_pos < argc)
1568    {
1569 #if !defined(_WIN32) || defined(_WIN_CONSOLE)
1570
1571       if (strcmp(argv[argc_pos], "--help") == 0)
1572       {
1573          usage(argv[0]);
1574       }
1575
1576       else if(strcmp(argv[argc_pos], "--version") == 0)
1577       {
1578          printf("Junkbuster version " VERSION " (" HOME_PAGE_URL ")\n");
1579          exit(0);
1580       }
1581
1582       else if (strcmp(argv[argc_pos], "--no-daemon" ) == 0)
1583       {
1584          no_daemon = 1;
1585       }
1586
1587       else if (strcmp(argv[argc_pos], "--pidfile" ) == 0)
1588       {
1589          if (++argc_pos == argc) usage(argv[0]);
1590          pidfile = strdup(argv[argc_pos]);
1591       }
1592       else
1593 #endif /* defined(_WIN32) && !defined(_WIN_CONSOLE) */
1594       {
1595          configfile = argv[argc_pos];
1596       }
1597
1598    } /* -END- while (more arguments) */
1599
1600 #if defined(unix)
1601    if ( *configfile != '/' )
1602    {
1603       char *abs_file;
1604
1605       DBG(1, ("configfile before '%s'\n",configfile) );
1606
1607       /* make config-filename absolute here */
1608       if ( !(basedir = getcwd( NULL, 1024 )))
1609       {
1610          perror("get working dir failed");
1611          exit( 1 );
1612       }
1613       DBG(1, ("working dir '%s'\n",basedir) );
1614       if ( !(abs_file = malloc( strlen( basedir ) + strlen( configfile ) + 5 )))
1615       {
1616          perror("malloc failed");
1617          exit( 1 );
1618       }
1619       strcpy( abs_file, basedir );
1620       strcat( abs_file, "/" );
1621       strcat( abs_file, configfile );
1622       configfile = abs_file;
1623       DBG(1, ("configfile after '%s'\n",configfile) );
1624    }
1625 #endif /* defined unix */
1626
1627
1628    files->next = NULL;
1629
1630 #ifdef AMIGA
1631    InitAmiga();
1632 #elif defined(_WIN32)
1633    InitWin32();
1634 #endif
1635
1636    /*
1637     * Unix signal handling
1638     *
1639     * Catch the abort, interrupt and terminate signals for a graceful exit
1640     * Catch the hangup signal so the errlog can be reopened.
1641     * Ignore the broken pipe and child signals
1642     *  FIXME: Isn't ignoring the default for SIGCHLD anyway and why ignore SIGPIPE? 
1643     */
1644 #if !defined(_WIN32) && !defined(__OS2__) && !defined(AMIGA)
1645 {
1646    int idx;
1647    const int catched_signals[] = { SIGABRT, SIGTERM, SIGINT, SIGHUP, 0 };
1648    const int ignored_signals[] = { SIGPIPE, SIGCHLD, 0 };
1649
1650    for (idx = 0; catched_signals[idx] != 0; idx++)
1651    {
1652       if (signal(catched_signals[idx], sig_handler) == SIG_ERR)
1653       {
1654          log_error(LOG_LEVEL_FATAL, "Can't set signal-handler for signal %d: %E", catched_signals[idx]);
1655       }
1656    }
1657
1658    for (idx = 0; ignored_signals[idx] != 0; idx++)
1659    {
1660       if (signal(ignored_signals[idx], SIG_IGN) == SIG_ERR)
1661       {
1662          log_error(LOG_LEVEL_FATAL, "Can't set ignore-handler for signal %d: %E", ignored_signals[idx]);
1663       }
1664    }
1665
1666 }
1667 #else /* ifdef _WIN32 */
1668 # ifdef _WIN_CONSOLE
1669    /*
1670     * We *are* in a windows console app.
1671     * Print a verbose messages about FAQ's and such
1672     */
1673    printf(win32_blurb);
1674 # endif /* def _WIN_CONSOLE */
1675 #endif /* def _WIN32 */
1676
1677
1678    /* Initialize the CGI subsystem */
1679    cgi_init_error_messages();
1680
1681    /*
1682     * If runnig on unix and without the --nodaemon
1683     * option, become a daemon. I.e. fork, detach
1684     * from tty and get process group leadership
1685     */
1686 #if defined(unix)
1687 {
1688    pid_t pid = 0;
1689 #if 0
1690    int   fd;
1691 #endif
1692
1693    if (!no_daemon)
1694    {
1695       pid  = fork();
1696
1697       if ( pid < 0 ) /* error */
1698       {
1699          perror("fork");
1700          exit( 3 );
1701       }
1702       else if ( pid != 0 ) /* parent */
1703       {
1704          int status;
1705          pid_t wpid;
1706          /*
1707           * must check for errors
1708           * child died due to missing files aso
1709           */
1710          sleep( 1 );
1711          wpid = waitpid( pid, &status, WNOHANG );
1712          if ( wpid != 0 )
1713          {
1714             exit( 1 );
1715          }
1716          exit( 0 );
1717       }
1718       /* child */
1719 #if 1
1720       /* Should be more portable, but not as well tested */
1721       setsid();
1722 #else /* !1 */
1723 #ifdef __FreeBSD__
1724       setpgrp(0,0);
1725 #else /* ndef __FreeBSD__ */
1726       setpgrp();
1727 #endif /* ndef __FreeBSD__ */
1728       fd = open("/dev/tty", O_RDONLY);
1729       if ( fd )
1730       {
1731          /* no error check here */
1732          ioctl( fd, TIOCNOTTY,0 );
1733          close ( fd );
1734       }
1735 #endif /* 1 */
1736       /* FIXME: should close stderr (fd 2) here too, but the test
1737        * for existence
1738        * and load config file is done in listen_loop() and puts
1739        * some messages on stderr there.
1740        */
1741
1742       close( 0 );
1743       close( 1 );
1744       chdir("/");
1745
1746       write_pid_file();
1747
1748    } /* -END- if (!no_daemon) */
1749 }
1750 #endif /* defined unix */
1751
1752    DBG(1, ("call listen_loop() \n") );
1753    listen_loop();
1754
1755    /* NOTREACHED */
1756    return(-1);
1757
1758 }
1759
1760
1761 /*********************************************************************
1762  *
1763  * Function    :  bind_port_helper
1764  *
1765  * Description :  Bind the listen port.  Handles logging, and aborts
1766  *                on failure.
1767  *
1768  * Parameters  :
1769  *          1  :  config = Junkbuster configuration.  Specifies port
1770  *                         to bind to.
1771  *
1772  * Returns     :  Port that was opened.
1773  *
1774  *********************************************************************/
1775 static int bind_port_helper(struct configuration_spec * config)
1776 {
1777    int bfd;
1778
1779    if ( (config->haddr != NULL)
1780      && (config->haddr[0] == '1')
1781      && (config->haddr[1] == '2')
1782      && (config->haddr[2] == '7')
1783      && (config->haddr[3] == '.') )
1784    {
1785       log_error(LOG_LEVEL_INFO, "Listening on port %d for local connections only",
1786                 config->hport);
1787    }
1788    else if (config->haddr == NULL)
1789    {
1790       log_error(LOG_LEVEL_INFO, "Listening on port %d on all IP addresses",
1791                 config->hport);
1792    }
1793    else
1794    {
1795       log_error(LOG_LEVEL_INFO, "Listening on port %d on IP address %s",
1796                 config->hport, config->haddr);
1797    }
1798
1799    bfd = bind_port(config->haddr, config->hport);
1800
1801    if (bfd < 0)
1802    {
1803       log_error(LOG_LEVEL_FATAL, "can't bind %s:%d: %E "
1804          "- There may be another junkbuster or some other "
1805          "proxy running on port %d",
1806          (NULL != config->haddr) ? config->haddr : "INADDR_ANY",
1807          config->hport, config->hport
1808       );
1809       /* shouldn't get here */
1810       return -1;
1811    }
1812
1813    config->need_bind = 0;
1814
1815    return bfd;
1816 }
1817
1818
1819 /*********************************************************************
1820  *
1821  * Function    :  listen_loop
1822  *
1823  * Description :  bind the listen port and enter a "FOREVER" listening loop.
1824  *
1825  * Parameters  :  N/A
1826  *
1827  * Returns     :  Never.
1828  *
1829  *********************************************************************/
1830 static void listen_loop(void)
1831 {
1832    struct client_state *csp = NULL;
1833    int bfd;
1834    struct configuration_spec * config;
1835
1836    config = load_config();
1837
1838    bfd = bind_port_helper(config);
1839
1840    while (FOREVER)
1841    {
1842 #if !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) && !defined(__OS2__)
1843       while (waitpid(-1, NULL, WNOHANG) > 0)
1844       {
1845          /* zombie children */
1846       }
1847 #endif /* !defined(FEATURE_PTHREAD) && !defined(_WIN32) && !defined(__BEOS__) && !defined(AMIGA) */
1848
1849       /*
1850        * Free data that was used by died threads
1851        */
1852       sweep();
1853
1854 #if defined(unix)
1855       /*
1856        * Re-open the errlog after HUP signal
1857        */
1858       if (received_hup_signal)
1859       {
1860          init_error_log(Argv[0], config->logfile, config->debug);
1861          received_hup_signal = 0;
1862       }
1863 #endif
1864
1865       if ( NULL == (csp = (struct client_state *) zalloc(sizeof(*csp))) )
1866       {
1867          log_error(LOG_LEVEL_FATAL, "malloc(%d) for csp failed: %E", sizeof(*csp));
1868          continue;
1869       }
1870
1871       csp->flags |= CSP_FLAG_ACTIVE;
1872       csp->sfd    = -1;
1873
1874       csp->config = config = load_config();
1875
1876       if ( config->need_bind )
1877       {
1878          /*
1879           * Since we were listening to the "old port", we will not see
1880           * a "listen" param change until the next IJB request.  So, at
1881           * least 1 more request must be made for us to find the new
1882           * setting.  I am simply closing the old socket and binding the
1883           * new one.
1884           *
1885           * Which-ever is correct, we will serve 1 more page via the
1886           * old settings.  This should probably be a "show-proxy-args"
1887           * request.  This should not be a so common of an operation
1888           * that this will hurt people's feelings.
1889           */
1890
1891          close_socket(bfd);
1892
1893          bfd = bind_port_helper(config);
1894       }
1895
1896       log_error(LOG_LEVEL_CONNECT, "accept connection ... ");
1897
1898       if (!accept_connection(csp, bfd))
1899       {
1900          log_error(LOG_LEVEL_CONNECT, "accept failed: %E");
1901
1902 #ifdef AMIGA
1903          if(!childs)
1904          {
1905             exit(1);
1906          }
1907 #endif
1908          freez(csp);
1909          continue;
1910       }
1911       else
1912       {
1913          log_error(LOG_LEVEL_CONNECT, "OK");
1914       }
1915
1916 #ifdef FEATURE_TOGGLE
1917       if (g_bToggleIJB)
1918       {
1919          csp->flags |= CSP_FLAG_TOGGLED_ON;
1920       }
1921 #endif /* def FEATURE_TOGGLE */
1922
1923       if (run_loader(csp))
1924       {
1925          log_error(LOG_LEVEL_FATAL, "a loader failed - must exit");
1926          /* Never get here - LOG_LEVEL_FATAL causes program exit */
1927       }
1928
1929 #ifdef FEATURE_ACL
1930       if (block_acl(NULL,csp))
1931       {
1932          log_error(LOG_LEVEL_CONNECT, "Connection dropped due to ACL");
1933          close_socket(csp->cfd);
1934          freez(csp);
1935          continue;
1936       }
1937 #endif /* def FEATURE_ACL */
1938
1939       /* add it to the list of clients */
1940       csp->next = clients->next;
1941       clients->next = csp;
1942
1943       if (config->multi_threaded)
1944       {
1945          int child_id;
1946
1947 /* this is a switch () statment in the C preprocessor - ugh */
1948 #undef SELECTED_ONE_OPTION
1949
1950 /* Use Pthreads in preference to native code */
1951 #if defined(FEATURE_PTHREAD) && !defined(SELECTED_ONE_OPTION)
1952 #define SELECTED_ONE_OPTION
1953          {
1954             pthread_t the_thread;
1955             pthread_attr_t attrs;
1956
1957             pthread_attr_init(&attrs);
1958             pthread_attr_setdetachstate(&attrs, PTHREAD_CREATE_DETACHED);
1959             child_id = (pthread_create(&the_thread, &attrs,
1960                (void*)serve, csp) ? -1 : 0);
1961             pthread_attr_destroy(&attrs);
1962          }
1963 #endif
1964
1965 #if defined(_WIN32) && !defined(_CYGWIN) && !defined(SELECTED_ONE_OPTION)
1966 #define SELECTED_ONE_OPTION
1967          child_id = _beginthread(
1968             (void*)serve,
1969             64 * 1024,
1970             csp);
1971 #endif
1972
1973 #if defined(__OS2__) && !defined(SELECTED_ONE_OPTION)
1974 #define SELECTED_ONE_OPTION
1975          child_id = _beginthread(
1976             serve,
1977             NULL,
1978             64 * 1024,
1979             csp);
1980 #endif
1981
1982 #if defined(__BEOS__) && !defined(SELECTED_ONE_OPTION)
1983 #define SELECTED_ONE_OPTION
1984          {
1985             thread_id tid = spawn_thread
1986                (server_thread, "server", B_NORMAL_PRIORITY, csp);
1987
1988             if ((tid >= 0) && (resume_thread(tid) == B_OK))
1989             {
1990                child_id = (int) tid;
1991             }
1992             else
1993             {
1994                child_id = -1;
1995             }
1996          }
1997 #endif
1998
1999 #if defined(AMIGA) && !defined(SELECTED_ONE_OPTION)
2000 #define SELECTED_ONE_OPTION
2001          csp->cfd = ReleaseSocket(csp->cfd, -1);
2002          if((child_id = (int)CreateNewProcTags(
2003             NP_Entry, (ULONG)server_thread,
2004             NP_Output, Output(),
2005             NP_CloseOutput, FALSE,
2006             NP_Name, (ULONG)"junkbuster child",
2007             NP_StackSize, 200*1024,
2008             TAG_DONE)))
2009          {
2010             childs++;
2011             ((struct Task *)child_id)->tc_UserData = csp;
2012             Signal((struct Task *)child_id, SIGF_SINGLE);
2013             Wait(SIGF_SINGLE);
2014          }
2015 #endif
2016
2017 #if !defined(SELECTED_ONE_OPTION)
2018          child_id = fork();
2019
2020          /* This block is only needed when using fork().
2021           * When using threads, the server thread was
2022           * created and run by the call to _beginthread().
2023           */
2024          if (child_id == 0)   /* child */
2025          {
2026             serve(csp);
2027             _exit(0);
2028
2029          }
2030          else if (child_id > 0) /* parent */
2031          {
2032             /* in a fork()'d environment, the parent's
2033              * copy of the client socket and the CSP
2034              * are not used.
2035              */
2036
2037 #if !defined(_WIN32) && defined(__CYGWIN__)
2038             wait( NULL );
2039 #endif /* !defined(_WIN32) && defined(__CYGWIN__) */
2040             close_socket(csp->cfd);
2041             csp->flags &= ~CSP_FLAG_ACTIVE;
2042          }
2043 #endif
2044
2045 #undef SELECTED_ONE_OPTION
2046 /* end of cpp switch () */
2047
2048          if (child_id < 0) /* failed */
2049          {
2050             char buf[BUFFER_SIZE];
2051
2052             log_error(LOG_LEVEL_ERROR, "can't fork: %E");
2053
2054             sprintf(buf , "JunkBuster: can't fork: errno = %d", errno);
2055
2056             write_socket(csp->cfd, buf, strlen(buf));
2057             close_socket(csp->cfd);
2058             csp->flags &= ~CSP_FLAG_ACTIVE;
2059             sleep(5);
2060             continue;
2061          }
2062       }
2063       else
2064       {
2065          serve(csp);
2066       }
2067    }
2068    /* NOTREACHED */
2069
2070 }
2071
2072
2073 /*
2074   Local Variables:
2075   tab-width: 3
2076   end:
2077 */