- Added new function cgi_redirect to handle creation of
[privoxy.git] / filters.c
1 const char filters_rcs[] = "$Id: filters.c,v 1.58.2.5 2003/11/11 13:10:31 oes Exp $";
2 /*********************************************************************
3  *
4  * File        :  $Source: /cvsroot/ijbswa/current/Attic/filters.c,v $
5  *
6  * Purpose     :  Declares functions to parse/crunch headers and pages.
7  *                Functions declared include:
8  *                   `acl_addr', `add_stats', `block_acl', `block_imageurl',
9  *                   `block_url', `url_actions', `domain_split',
10  *                   `filter_popups', `forward_url', 'redirect_url',
11  *                   `ij_untrusted_url', `intercept_url', `pcrs_filter_respose',
12  *                   'ijb_send_banner', and `trust_url'
13  *
14  * Copyright   :  Written by and Copyright (C) 2001 the SourceForge
15  *                Privoxy team. http://www.privoxy.org/
16  *
17  *                Based on the Internet Junkbuster originally written
18  *                by and Copyright (C) 1997 Anonymous Coders and
19  *                Junkbusters Corporation.  http://www.junkbusters.com
20  *
21  *                This program is free software; you can redistribute it
22  *                and/or modify it under the terms of the GNU General
23  *                Public License as published by the Free Software
24  *                Foundation; either version 2 of the License, or (at
25  *                your option) any later version.
26  *
27  *                This program is distributed in the hope that it will
28  *                be useful, but WITHOUT ANY WARRANTY; without even the
29  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
30  *                PARTICULAR PURPOSE.  See the GNU General Public
31  *                License for more details.
32  *
33  *                The GNU General Public License should be included with
34  *                this file.  If not, you can view it at
35  *                http://www.gnu.org/copyleft/gpl.html
36  *                or write to the Free Software Foundation, Inc., 59
37  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
38  *
39  * Revisions   :
40  *    $Log: filters.c,v $
41  *    Revision 1.58.2.5  2003/11/11 13:10:31  oes
42  *    Fixed bug #839859: "See why" link URL now gets url-encoded.
43  *
44  *    Revision 1.58.2.4  2003/02/28 12:52:45  oes
45  *    Fixed a typo
46  *
47  *    Revision 1.58.2.3  2002/09/25 14:51:51  oes
48  *    Added basic support for OPTIONS and TRACE HTTP methods:
49  *    New function direct_response which handles OPTIONS and
50  *    TRACE requests whose Max-Forwards header field is zero.
51  *
52  *    Revision 1.58.2.2  2002/08/01 17:18:28  oes
53  *    Fixed BR 537651 / SR 579724 (MSIE image detect improper for IE/Mac)
54  *
55  *    Revision 1.58.2.1  2002/07/26 15:18:53  oes
56  *    - Bugfix: Executing a filters without jobs no longer results in
57  *      turing off *all* filters.
58  *    - Security fix: Malicious web servers can't cause a seg fault
59  *      through bogus chunk sizes anymore
60  *
61  *    Revision 1.58  2002/04/24 02:11:17  oes
62  *    Jon's multiple AF patch: url_actions now evaluates rules
63  *    from all AFs.
64  *
65  *    Revision 1.57  2002/04/08 20:38:34  swa
66  *    fixed JB spelling
67  *
68  *    Revision 1.56  2002/04/05 15:51:24  oes
69  *     - bugfix: error-pages now get correct request protocol
70  *     - fix for invalid HTML in trust info
71  *
72  *    Revision 1.55  2002/04/02 16:13:51  oes
73  *    Fix: No "Go there anyway" for SSL
74  *
75  *    Revision 1.54  2002/04/02 14:55:56  oes
76  *    Bugfix: is_untrusted_url() now depends on FEATURE_TRUST, not FEATURE_COOKIE_JAR
77  *
78  *    Revision 1.53  2002/03/26 22:29:54  swa
79  *    we have a new homepage!
80  *
81  *    Revision 1.52  2002/03/24 16:35:57  jongfoster
82  *    Removing logo
83  *
84  *    Revision 1.51  2002/03/24 15:23:33  jongfoster
85  *    Name changes
86  *
87  *    Revision 1.50  2002/03/24 13:25:43  swa
88  *    name change related issues
89  *
90  *    Revision 1.49  2002/03/16 20:29:14  oes
91  *    Cosmetics
92  *
93  *    Revision 1.48  2002/03/13 20:25:34  oes
94  *    Better logging for content filters
95  *
96  *    Revision 1.47  2002/03/13 00:30:52  jongfoster
97  *    Killing warnings
98  *    Added option of always sending redirect for imageblock,
99  *    currently disabled with #if 0.
100  *
101  *    Revision 1.46  2002/03/12 01:42:49  oes
102  *    Introduced modular filters
103  *
104  *    Revision 1.45  2002/03/08 16:47:50  oes
105  *    Added choice beween GIF and PNG built-in images
106  *
107  *    Revision 1.44  2002/03/07 03:49:31  oes
108  *     - Fixed compiler warnings etc
109  *     - Changed built-in images from GIF to PNG
110  *       (with regard to Unisys patent issue)
111  *     - Added a 4x4 pattern PNG which is less intrusive
112  *       than the logo but also clearly marks the deleted banners
113  *
114  *    Revision 1.43  2002/01/22 23:51:59  jongfoster
115  *    Replacing strsav() with the safer string_append().
116  *
117  *    Adding missing html_encode() to error message generators.  Where encoded
118  *    and unencoded versions of a string were provided, removing the unencoded
119  *    one.
120  *
121  *    Revision 1.42  2002/01/17 21:00:32  jongfoster
122  *    Moving all our URL and URL pattern parsing code to urlmatch.c.
123  *
124  *    Using a single, simple url_match(pattern,url) function - rather than
125  *    the 3-line match routine which was repeated all over the place.
126  *
127  *    Renaming free_url to free_url_spec, since it frees a struct url_spec.
128  *
129  *    Using parse_http_url() to parse URLs without faking a HTTP
130  *    request line for parse_http_request().
131  *
132  *    Revision 1.41  2001/11/13 00:14:07  jongfoster
133  *    Fixing stupid bug now I've figured out what || means.
134  *    (It always returns 0 or 1, not one of it's paramaters.)
135  *
136  *    Revision 1.40  2001/10/26 17:37:55  oes
137  *    - Re-enabled Netscape 200/404 bug workaround in block_url():
138  *      - Removed OS/2 special case
139  *      - Made block_url() independant from sed() having been run
140  *    - Made trust_url independant from sed() having been run
141  *    - Made is_imageurl independant from sed() having been run.
142  *      It now checks User-Agent: and Accept: by itself.
143  *
144  *
145  *    Revision 1.39  2001/10/25 03:40:48  david__schmidt
146  *    Change in porting tactics: OS/2's EMX porting layer doesn't allow multiple
147  *    threads to call select() simultaneously.  So, it's time to do a real, live,
148  *    native OS/2 port.  See defines for __EMX__ (the porting layer) vs. __OS2__
149  *    (native). Both versions will work, but using __OS2__ offers multi-threading.
150  *
151  *    Revision 1.38  2001/10/23 21:32:33  jongfoster
152  *    Adding error-checking to selected functions
153  *
154  *    Revision 1.37  2001/10/22 15:33:56  david__schmidt
155  *    Special-cased OS/2 out of the Netscape-abort-on-404-in-js problem in
156  *    filters.c.  Added a FIXME in front of the offending code.  I'll gladly
157  *    put in a better/more robust fix for all parties if one is presented...
158  *    It seems that just returning 200 instead of 404 would pretty much fix
159  *    it for everyone, but I don't know all the history of the problem.
160  *
161  *    Revision 1.36  2001/10/10 16:44:16  oes
162  *    Added match_portlist function
163  *
164  *    Revision 1.35  2001/10/07 15:41:23  oes
165  *    Replaced 6 boolean members of csp with one bitmap (csp->flags)
166  *
167  *    New function remove_chunked_transfer_coding that strips chunked
168  *      transfer coding to plain and is called by pcrs_filter_response
169  *      and gif_deanimate_response if neccessary
170  *
171  *    Improved handling of zero-change re_filter runs
172  *
173  *    pcrs_filter_response and gif_deanimate_response now remove
174  *      chunked transfer codeing before processing the body.
175  *
176  *    Revision 1.34  2001/09/20 15:49:36  steudten
177  *
178  *    Fix BUG: Change int size to size_t size in pcrs_filter_response().
179  *    See cgi.c fill_template().
180  *
181  *    Revision 1.33  2001/09/16 17:05:14  jongfoster
182  *    Removing unused #include showarg.h
183  *
184  *    Revision 1.32  2001/09/16 13:21:27  jongfoster
185  *    Changes to use new list functions.
186  *
187  *    Revision 1.31  2001/09/16 11:38:02  jongfoster
188  *    Splitting fill_template() into 2 functions:
189  *    template_load() loads the file
190  *    template_fill() performs the PCRS regexps.
191  *    This is because the CGI edit interface has a "table row"
192  *    template which is used many times in the page - this
193  *    change means it's only loaded from disk once.
194  *
195  *    Revision 1.30  2001/09/16 11:00:10  jongfoster
196  *    New function alloc_http_response, for symmetry with free_http_response
197  *
198  *    Revision 1.29  2001/09/13 23:32:40  jongfoster
199  *    Moving image data to cgi.c rather than cgi.h
200  *    Fixing a GPF under Win32 (and any other OS that protects global
201  *    constants from being written to).
202  *
203  *    Revision 1.28  2001/09/10 10:18:51  oes
204  *    Silenced compiler warnings
205  *
206  *    Revision 1.27  2001/08/05 16:06:20  jongfoster
207  *    Modifiying "struct map" so that there are now separate header and
208  *    "map_entry" structures.  This means that functions which modify a
209  *    map no longer need to return a pointer to the modified map.
210  *    Also, it no longer reverses the order of the entries (which may be
211  *    important with some advanced template substitutions).
212  *
213  *    Revision 1.26  2001/07/30 22:08:36  jongfoster
214  *    Tidying up #defines:
215  *    - All feature #defines are now of the form FEATURE_xxx
216  *    - Permanently turned off WIN_GUI_EDIT
217  *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
218  *
219  *    Revision 1.25  2001/07/26 10:09:46  oes
220  *    Made browser detection a little less naive
221  *
222  *    Revision 1.24  2001/07/25 17:22:51  oes
223  *    Added workaround for Netscape bug that prevents display of page when loading a component fails.
224  *
225  *    Revision 1.23  2001/07/23 13:40:12  oes
226  *    Fixed bug that caused document body to be dropped when pcrs joblist was empty.
227  *
228  *    Revision 1.22  2001/07/18 12:29:34  oes
229  *    - Made gif_deanimate_response respect
230  *      csp->action->string[ACTION_STRING_DEANIMATE]
231  *    - Logging cosmetics
232  *
233  *    Revision 1.21  2001/07/13 13:59:53  oes
234  *     - Introduced gif_deanimate_response which shares the
235  *       generic content modification interface of pcrs_filter_response
236  *       and acts as a wrapper to deanimate.c:gif_deanimate()
237  *     - Renamed re_process_buffer to pcrs_filter_response
238  *     - pcrs_filter_response now returns NULL on failiure
239  *     - Removed all #ifdef PCRS
240  *
241  *    Revision 1.20  2001/07/01 17:01:04  oes
242  *    Added comments and missing return statement in is_untrusted_url()
243  *
244  *    Revision 1.19  2001/06/29 21:45:41  oes
245  *    Indentation, CRLF->LF, Tab-> Space
246  *
247  *    Revision 1.18  2001/06/29 13:27:38  oes
248  *    - Cleaned up, renamed and reorderd functions
249  *      and improved comments
250  *
251  *    - block_url:
252  *      - Ported to CGI platform. Now delivers
253  *        http_response or NULL
254  *      - Unified HTML and GIF generation (moved image detection
255  *        and GIF generation here from jcc.c:chat())
256  *      - Fixed HTTP status to:
257  *       -  403 (Forbidden) for the "blocked" HTML message
258  *       -  200 (OK) for GIF answers
259  *       -  302 (Redirect) for redirect to GIF
260  *
261  *    - trust_url:
262  *      - Ported to CGI platform. Now delivers
263  *        http_response or NULL
264  *      - Separated detection of untrusted URL into
265  *        (bool)is_untrusted_url
266  *      - Added enforcement of untrusted requests
267  *
268  *    - Moved redirect_url() from cgi.c to here
269  *      and ported it to the CGI platform
270  *
271  *    - Removed logentry from cancelled commit
272  *
273  *    Revision 1.17  2001/06/09 10:55:28  jongfoster
274  *    Changing BUFSIZ ==> BUFFER_SIZE
275  *
276  *    Revision 1.16  2001/06/07 23:10:26  jongfoster
277  *    Allowing unanchored domain patterns to back off and retry
278  *    if they partially match.  Optimized right-anchored patterns.
279  *    Moving ACL and forward files into config file.
280  *    Replacing struct gateway with struct forward_spec
281  *
282  *    Revision 1.15  2001/06/03 19:12:00  oes
283  *    extracted-CGI relevant stuff
284  *
285  *    Revision 1.14  2001/06/01 10:30:55  oes
286  *    Added optional left-anchoring to domaincmp
287  *
288  *    Revision 1.13  2001/05/31 21:21:30  jongfoster
289  *    Permissionsfile / actions file changes:
290  *    - Changed "permission" to "action" throughout
291  *    - changes to file format to allow string parameters
292  *    - Moved helper functions to actions.c
293  *
294  *    Revision 1.12  2001/05/31 17:35:20  oes
295  *
296  *     - Enhanced domain part globbing with infix and prefix asterisk
297  *       matching and optional unanchored operation
298  *
299  *    Revision 1.11  2001/05/29 11:53:23  oes
300  *    "See why" link added to "blocked" page
301  *
302  *    Revision 1.10  2001/05/29 09:50:24  jongfoster
303  *    Unified blocklist/imagelist/permissionslist.
304  *    File format is still under discussion, but the internal changes
305  *    are (mostly) done.
306  *
307  *    Also modified interceptor behaviour:
308  *    - We now intercept all URLs beginning with one of the following
309  *      prefixes (and *only* these prefixes):
310  *        * http://i.j.b/
311  *        * http://ijbswa.sf.net/config/
312  *        * http://ijbswa.sourceforge.net/config/
313  *    - New interceptors "home page" - go to http://i.j.b/ to see it.
314  *    - Internal changes so that intercepted and fast redirect pages
315  *      are not replaced with an image.
316  *    - Interceptors now have the option to send a binary page direct
317  *      to the client. (i.e. ijb-send-banner uses this)
318  *    - Implemented show-url-info interceptor.  (Which is why I needed
319  *      the above interceptors changes - a typical URL is
320  *      "http://i.j.b/show-url-info?url=www.somesite.com/banner.gif".
321  *      The previous mechanism would not have intercepted that, and
322  *      if it had been intercepted then it then it would have replaced
323  *      it with an image.)
324  *
325  *    Revision 1.9  2001/05/27 22:17:04  oes
326  *
327  *    - re_process_buffer no longer writes the modified buffer
328  *      to the client, which was very ugly. It now returns the
329  *      buffer, which it is then written by chat.
330  *
331  *    - content_length now adjusts the Content-Length: header
332  *      for modified documents rather than crunch()ing it.
333  *      (Length info in csp->content_length, which is 0 for
334  *      unmodified documents)
335  *
336  *    - For this to work, sed() is called twice when filtering.
337  *
338  *    Revision 1.8  2001/05/26 17:13:28  jongfoster
339  *    Filled in a function comment.
340  *
341  *    Revision 1.7  2001/05/26 15:26:15  jongfoster
342  *    ACL feature now provides more security by immediately dropping
343  *    connections from untrusted hosts.
344  *
345  *    Revision 1.6  2001/05/26 00:28:36  jongfoster
346  *    Automatic reloading of config file.
347  *    Removed obsolete SIGHUP support (Unix) and Reload menu option (Win32).
348  *    Most of the global variables have been moved to a new
349  *    struct configuration_spec, accessed through csp->config->globalname
350  *    Most of the globals remaining are used by the Win32 GUI.
351  *
352  *    Revision 1.5  2001/05/25 22:34:30  jongfoster
353  *    Hard tabs->Spaces
354  *
355  *    Revision 1.4  2001/05/22 18:46:04  oes
356  *
357  *    - Enabled filtering banners by size rather than URL
358  *      by adding patterns that replace all standard banner
359  *      sizes with the "Junkbuster" gif to the re_filterfile
360  *
361  *    - Enabled filtering WebBugs by providing a pattern
362  *      which kills all 1x1 images
363  *
364  *    - Added support for PCRE_UNGREEDY behaviour to pcrs,
365  *      which is selected by the (nonstandard and therefore
366  *      capital) letter 'U' in the option string.
367  *      It causes the quantifiers to be ungreedy by default.
368  *      Appending a ? turns back to greedy (!).
369  *
370  *    - Added a new interceptor ijb-send-banner, which
371  *      sends back the "Junkbuster" gif. Without imagelist or
372  *      MSIE detection support, or if tinygif = 1, or the
373  *      URL isn't recognized as an imageurl, a lame HTML
374  *      explanation is sent instead.
375  *
376  *    - Added new feature, which permits blocking remote
377  *      script redirects and firing back a local redirect
378  *      to the browser.
379  *      The feature is conditionally compiled, i.e. it
380  *      can be disabled with --disable-fast-redirects,
381  *      plus it must be activated by a "fast-redirects"
382  *      line in the config file, has its own log level
383  *      and of course wants to be displayed by show-proxy-args
384  *      Note: Boy, all the #ifdefs in 1001 locations and
385  *      all the fumbling with configure.in and acconfig.h
386  *      were *way* more work than the feature itself :-(
387  *
388  *    - Because a generic redirect template was needed for
389  *      this, tinygif = 3 now uses the same.
390  *
391  *    - Moved GIFs, and other static HTTP response templates
392  *      to project.h
393  *
394  *    - Some minor fixes
395  *
396  *    - Removed some >400 CRs again (Jon, you really worked
397  *      a lot! ;-)
398  *
399  *    Revision 1.3  2001/05/20 16:44:47  jongfoster
400  *    Removing last hardcoded Junkbusters.com URLs.
401  *
402  *    Revision 1.2  2001/05/20 01:21:20  jongfoster
403  *    Version 2.9.4 checkin.
404  *    - Merged popupfile and cookiefile, and added control over PCRS
405  *      filtering, in new "permissionsfile".
406  *    - Implemented LOG_LEVEL_FATAL, so that if there is a configuration
407  *      file error you now get a message box (in the Win32 GUI) rather
408  *      than the program exiting with no explanation.
409  *    - Made killpopup use the PCRS MIME-type checking and HTTP-header
410  *      skipping.
411  *    - Removed tabs from "config"
412  *    - Moved duplicated url parsing code in "loaders.c" to a new funcition.
413  *    - Bumped up version number.
414  *
415  *    Revision 1.1.1.1  2001/05/15 13:58:52  oes
416  *    Initial import of version 2.9.3 source tree
417  *
418  *
419  *********************************************************************/
420 \f
421
422 #include "config.h"
423
424 #include <stdio.h>
425 #include <sys/types.h>
426 #include <stdlib.h>
427 #include <ctype.h>
428 #include <string.h>
429 #include <assert.h>
430
431 #ifndef _WIN32
432 #ifndef __OS2__
433 #include <unistd.h>
434 #endif /* ndef __OS2__ */
435 #include <netinet/in.h>
436 #else
437 #include <winsock2.h>
438 #endif /* ndef _WIN32 */
439
440 #ifdef __OS2__
441 #include <utils.h>
442 #endif /* def __OS2__ */
443
444 #include "project.h"
445 #include "filters.h"
446 #include "encode.h"
447 #include "parsers.h"
448 #include "ssplit.h"
449 #include "errlog.h"
450 #include "jbsockets.h"
451 #include "miscutil.h"
452 #include "actions.h"
453 #include "cgi.h"
454 #include "list.h"
455 #include "deanimate.h"
456 #include "urlmatch.h"
457
458 #ifdef _WIN32
459 #include "win32.h"
460 #endif
461
462 const char filters_h_rcs[] = FILTERS_H_VERSION;
463
464 /* Fix a problem with Solaris.  There should be no effect on other
465  * platforms.
466  * Solaris's isspace() is a macro which uses it's argument directly
467  * as an array index.  Therefore we need to make sure that high-bit
468  * characters generate +ve values, and ideally we also want to make
469  * the argument match the declared parameter type of "int".
470  */
471 #define ijb_isdigit(__X) isdigit((int)(unsigned char)(__X))
472
473
474 #ifdef FEATURE_ACL
475 /*********************************************************************
476  *
477  * Function    :  block_acl
478  *
479  * Description :  Block this request?
480  *                Decide yes or no based on ACL file.
481  *
482  * Parameters  :
483  *          1  :  dst = The proxy or gateway address this is going to.
484  *                      Or NULL to check all possible targets.
485  *          2  :  csp = Current client state (buffers, headers, etc...)
486  *                      Also includes the client IP address.
487  *
488  * Returns     : 0 = FALSE (don't block) and 1 = TRUE (do block)
489  *
490  *********************************************************************/
491 int block_acl(struct access_control_addr *dst, struct client_state *csp)
492 {
493    struct access_control_list *acl = csp->config->acl;
494
495    /* if not using an access control list, then permit the connection */
496    if (acl == NULL)
497    {
498       return(0);
499    }
500
501    /* search the list */
502    while (acl != NULL)
503    {
504       if ((csp->ip_addr_long & acl->src->mask) == acl->src->addr)
505       {
506          if (dst == NULL)
507          {
508             /* Just want to check if they have any access */
509             if (acl->action == ACL_PERMIT)
510             {
511                return(0);
512             }
513          }
514          else if ( ((dst->addr & acl->dst->mask) == acl->dst->addr)
515            && ((dst->port == acl->dst->port) || (acl->dst->port == 0)))
516          {
517             if (acl->action == ACL_PERMIT)
518             {
519                return(0);
520             }
521             else
522             {
523                return(1);
524             }
525          }
526       }
527       acl = acl->next;
528    }
529
530    return(1);
531
532 }
533
534
535 /*********************************************************************
536  *
537  * Function    :  acl_addr
538  *
539  * Description :  Called from `load_config' to parse an ACL address.
540  *
541  * Parameters  :
542  *          1  :  aspec = String specifying ACL address.
543  *          2  :  aca = struct access_control_addr to fill in.
544  *
545  * Returns     :  0 => Ok, everything else is an error.
546  *
547  *********************************************************************/
548 int acl_addr(char *aspec, struct access_control_addr *aca)
549 {
550    int i, masklength, port;
551    char *p;
552
553    masklength = 32;
554    port       =  0;
555
556    if ((p = strchr(aspec, '/')) != NULL)
557    {
558       *p++ = '\0';
559
560       if (ijb_isdigit(*p) == 0)
561       {
562          return(-1);
563       }
564       masklength = atoi(p);
565    }
566
567    if ((masklength < 0) || (masklength > 32))
568    {
569       return(-1);
570    }
571
572    if ((p = strchr(aspec, ':')) != NULL)
573    {
574       *p++ = '\0';
575
576       if (ijb_isdigit(*p) == 0)
577       {
578          return(-1);
579       }
580       port = atoi(p);
581    }
582
583    aca->port = port;
584
585    aca->addr = ntohl(resolve_hostname_to_ip(aspec));
586
587    if (aca->addr == INADDR_NONE)
588    {
589       return(-1);
590    }
591
592    /* build the netmask */
593    aca->mask = 0;
594    for (i=1; i <= masklength ; i++)
595    {
596       aca->mask |= (1 << (32 - i));
597    }
598
599    /* now mask off the host portion of the ip address
600     * (i.e. save on the network portion of the address).
601     */
602    aca->addr = aca->addr & aca->mask;
603
604    return(0);
605
606 }
607 #endif /* def FEATURE_ACL */
608
609
610 /*********************************************************************
611  *
612  * Function    :  match_portlist
613  *
614  * Description :  Check if a given number is covered by a comma
615  *                separated list of numbers and ranges (a,b-c,d,..)
616  *
617  * Parameters  :
618  *          1  :  portlist = String with list
619  *          2  :  port = port to check
620  *
621  * Returns     :  0 => no match
622  *                1 => match
623  *
624  *********************************************************************/
625 int match_portlist(const char *portlist, int port)
626 {
627    char *min, *max, *next, *portlist_copy;
628
629    min = next = portlist_copy = strdup(portlist);
630
631    /*
632     * Zero-terminate first item and remember offset for next
633     */
634    if (NULL != (next = strchr(portlist_copy, (int) ',')))
635    {
636       *next++ = '\0';
637    }
638
639    /*
640     * Loop through all items, checking for match
641     */
642    while(min)
643    {
644       if (NULL == (max = strchr(min, (int) '-')))
645       {
646          /*
647           * No dash, check for equality
648           */
649          if (port == atoi(min))
650          {
651             free(portlist_copy);
652             return(1);
653          }
654       }
655       else
656       {
657          /*
658           * This is a range, so check if between min and max,
659           * or, if max was omitted, between min and 65K
660           */
661          *max++ = '\0';
662          if(port >= atoi(min) && port <= (atoi(max) ? atoi(max) : 65535))
663          {
664             free(portlist_copy);
665             return(1);
666          }
667
668       }
669
670       /*
671        * Jump to next item
672        */
673       min = next;
674
675       /*
676        * Zero-terminate next item and remember offset for n+1
677        */
678       if ((NULL != next) && (NULL != (next = strchr(next, (int) ','))))
679       {
680          *next++ = '\0';
681       }
682    }
683
684    free(portlist_copy);
685    return 0;
686
687 }
688
689
690 /*********************************************************************
691  *
692  * Function    :  block_url
693  *
694  * Description :  Called from `chat'.  Check to see if we need to block this.
695  *
696  * Parameters  :
697  *          1  :  csp = Current client state (buffers, headers, etc...)
698  *
699  * Returns     :  NULL => unblocked, else HTTP block response
700  *
701  *********************************************************************/
702 struct http_response *block_url(struct client_state *csp)
703 {
704    struct http_response *rsp;
705
706    /*
707     * If it's not blocked, don't block it ;-)
708     */
709    if ((csp->action->flags & ACTION_BLOCK) == 0)
710    {
711       return NULL;
712    }
713
714    /*
715     * Else, prepare a response
716     */
717    if (NULL == (rsp = alloc_http_response()))
718    {
719       return cgi_error_memory();
720    }
721
722    /*
723     * If it's an image-url, send back an image or redirect
724     * as specified by the relevant +image action
725     */
726 #ifdef FEATURE_IMAGE_BLOCKING
727    if (((csp->action->flags & ACTION_IMAGE_BLOCKER) != 0)
728         && is_imageurl(csp))
729    {
730           char *p;
731       /* determine HOW images should be blocked */
732       p = csp->action->string[ACTION_STRING_IMAGE_BLOCKER];
733
734 #if 1 /* Two alternative strategies, use this one for now: */
735
736       /* and handle accordingly: */
737       if ((p == NULL) || (0 == strcmpic(p, "pattern")))
738       {
739          rsp->body = bindup(image_pattern_data, image_pattern_length);
740          if (rsp->body == NULL)
741          {
742             free_http_response(rsp);
743             return cgi_error_memory();
744          }
745          rsp->content_length = image_pattern_length;
746
747          if (enlist_unique_header(rsp->headers, "Content-Type", BUILTIN_IMAGE_MIMETYPE))
748          {
749             free_http_response(rsp);
750             return cgi_error_memory();
751          }
752       }
753
754       else if (0 == strcmpic(p, "blank"))
755       {
756          rsp->body = bindup(image_blank_data, image_blank_length);
757          if (rsp->body == NULL)
758          {
759             free_http_response(rsp);
760             return cgi_error_memory();
761          }
762          rsp->content_length = image_blank_length;
763
764          if (enlist_unique_header(rsp->headers, "Content-Type", BUILTIN_IMAGE_MIMETYPE))
765          {
766             free_http_response(rsp);
767             return cgi_error_memory();
768          }
769       }
770
771       else
772       {
773          rsp->status = strdup("302 Local Redirect from Privoxy");
774          if (rsp->status == NULL)
775          {
776             free_http_response(rsp);
777             return cgi_error_memory();
778          }
779
780          if (enlist_unique_header(rsp->headers, "Location", p))
781          {
782             free_http_response(rsp);
783             return cgi_error_memory();
784          }
785       }
786
787 #else /* Following code is disabled for now */
788
789       /* and handle accordingly: */
790       if ((p == NULL) || (0 == strcmpic(p, "pattern")))
791       {
792          p = CGI_PREFIX "send-banner?type=pattern";
793       }
794       else if (0 == strcmpic(p, "blank"))
795       {
796          p = CGI_PREFIX "send-banner?type=blank";
797       }
798       rsp->status = strdup("302 Local Redirect from Privoxy");
799       if (rsp->status == NULL)
800       {
801          free_http_response(rsp);
802          return cgi_error_memory();
803       }
804
805       if (enlist_unique_header(rsp->headers, "Location", p))
806       {
807          free_http_response(rsp);
808          return cgi_error_memory();
809       }
810 #endif /* Preceeding code is disabled for now */
811    }
812    else
813 #endif /* def FEATURE_IMAGE_BLOCKING */
814
815    /*
816     * Else, generate an HTML "blocked" message:
817     */
818    {
819       jb_err err;
820       struct map * exports;
821       char *p;
822
823       /*
824        * Workaround for stupid Netscape bug which prevents
825        * pages from being displayed if loading a referenced
826        * JavaScript or style sheet fails. So make it appear
827        * as if it succeeded.
828        */
829       if ( NULL != (p = get_header_value(csp->headers, "User-Agent:"))
830            && !strncmpic(p, "mozilla", 7) /* Catch Netscape but */
831            && !strstr(p, "Gecko")         /* save Mozilla, */
832            && !strstr(p, "compatible")    /* MSIE */
833            && !strstr(p, "Opera"))        /* and Opera. */
834       {
835          rsp->status = strdup("200 Request for blocked URL");
836       }
837       else
838       {
839          rsp->status = strdup("404 Request for blocked URL");
840       }
841
842       if (rsp->status == NULL)
843       {
844          free_http_response(rsp);
845          return cgi_error_memory();
846       }
847
848       exports = default_exports(csp, NULL);
849       if (exports == NULL)
850       {
851          free_http_response(rsp);
852          return cgi_error_memory();
853       }
854
855 #ifdef FEATURE_FORCE_LOAD
856       err = map(exports, "force-prefix", 1, FORCE_PREFIX, 1);
857       if (csp->http->ssl != 0)
858 #endif /* ndef FEATURE_FORCE_LOAD */
859       {
860          err = map_block_killer(exports, "force-support");
861       }
862
863       if (!err) err = map(exports, "protocol", 1, csp->http->ssl ? "https://" : "http://", 1);
864       if (!err) err = map(exports, "hostport", 1, html_encode(csp->http->hostport), 0);
865       if (!err) err = map(exports, "path", 1, html_encode(csp->http->path), 0);
866       if (!err) err = map(exports, "path-ue", 1, url_encode(csp->http->path), 0);
867
868       if (err)
869       {
870          free_map(exports);
871          free_http_response(rsp);
872          return cgi_error_memory();
873       }
874
875       err = template_fill_for_cgi(csp, "blocked", exports, rsp);
876       if (err)
877       {
878          free_http_response(rsp);
879          return cgi_error_memory();
880       }
881    }
882
883    return finish_http_response(rsp);
884
885 }
886
887
888 #ifdef FEATURE_TRUST
889 /*********************************************************************
890  *
891  * Function    :  trust_url FIXME: I should be called distrust_url
892  *
893  * Description :  Calls is_untrusted_url to determine if the URL is trusted
894  *                and if not, returns a HTTP 304 response with a reject message.
895  *
896  * Parameters  :
897  *          1  :  csp = Current client state (buffers, headers, etc...)
898  *
899  * Returns     :  NULL => trusted, else http_response.
900  *
901  *********************************************************************/
902 struct http_response *trust_url(struct client_state *csp)
903 {
904    struct http_response *rsp;
905    struct map * exports;
906    char buf[BUFFER_SIZE];
907    char *p;
908    struct url_spec **tl;
909    struct url_spec *t;
910    jb_err err;
911
912    /*
913     * Don't bother to work on trusted URLs
914     */
915    if (!is_untrusted_url(csp))
916    {
917       return NULL;
918    }
919
920    /*
921     * Else, prepare a response:
922     */
923    if (NULL == (rsp = alloc_http_response()))
924    {
925       return cgi_error_memory();
926    }
927
928    exports = default_exports(csp, NULL);
929    if (exports == NULL)
930    {
931       free_http_response(rsp);
932       return cgi_error_memory();
933    }
934
935    /*
936     * Export the protocol, host, port, and referrer information
937     */
938    err = map(exports, "hostport", 1, csp->http->hostport, 1);
939    if (!err) err = map(exports, "protocol", 1, csp->http->ssl ? "https://" : "http://", 1); 
940    if (!err) err = map(exports, "path", 1, csp->http->path, 1);
941
942    if (NULL != (p = get_header_value(csp->headers, "Referer:")))
943    {
944       if (!err) err = map(exports, "referrer", 1, html_encode(p), 0);
945    }
946    else
947    {
948       if (!err) err = map(exports, "referrer", 1, "unknown", 1);
949    }
950
951    if (err)
952    {
953       free_map(exports);
954       free_http_response(rsp);
955       return cgi_error_memory();
956    }
957
958    /*
959     * Export the trust list
960     */
961    p = strdup("");
962    for (tl = csp->config->trust_list; (t = *tl) != NULL ; tl++)
963    {
964       sprintf(buf, "<li>%s</li>\n", t->spec);
965       string_append(&p, buf);
966    }
967    err = map(exports, "trusted-referrers", 1, p, 0);
968
969    if (err)
970    {
971       free_map(exports);
972       free_http_response(rsp);
973       return cgi_error_memory();
974    }
975
976    /*
977     * Export the trust info, if available
978     */
979    if (csp->config->trust_info->first)
980    {
981       struct list_entry *l;
982
983       p = strdup("");
984       for (l = csp->config->trust_info->first; l ; l = l->next)
985       {
986          sprintf(buf, "<li> <a href=\"%s\">%s</a><br>\n",l->str, l->str);
987          string_append(&p, buf);
988       }
989       err = map(exports, "trust-info", 1, p, 0);
990    }
991    else
992    {
993       err = map_block_killer(exports, "have-trust-info");
994    }
995
996    if (err)
997    {
998       free_map(exports);
999       free_http_response(rsp);
1000       return cgi_error_memory();
1001    }
1002
1003    /*
1004     * Export the force prefix or the force conditional block killer
1005     */
1006 #ifdef FEATURE_FORCE_LOAD
1007    err = map(exports, "force-prefix", 1, FORCE_PREFIX, 1);
1008 #else /* ifndef FEATURE_FORCE_LOAD */
1009    err = map_block_killer(exports, "force-support");
1010 #endif /* ndef FEATURE_FORCE_LOAD */
1011
1012    if (err)
1013    {
1014       free_map(exports);
1015       free_http_response(rsp);
1016       return cgi_error_memory();
1017    }
1018
1019    /*
1020     * Build the response
1021     */
1022    err = template_fill_for_cgi(csp, "untrusted", exports, rsp);
1023    if (err)
1024    {
1025       free_http_response(rsp);
1026       return cgi_error_memory();
1027    }
1028
1029    return finish_http_response(rsp);
1030 }
1031 #endif /* def FEATURE_TRUST */
1032
1033
1034 #ifdef FEATURE_FAST_REDIRECTS
1035 /*********************************************************************
1036  *
1037  * Function    :  redirect_url
1038  *
1039  * Description :  Checks for redirection URLs and returns a HTTP redirect
1040  *                to the destination URL, if necessary
1041  *
1042  * Parameters  :
1043  *          1  :  csp = Current client state (buffers, headers, etc...)
1044  *
1045  * Returns     :  NULL if URL was clean, HTTP redirect otherwise.
1046  *
1047  *********************************************************************/
1048 struct http_response *redirect_url(struct client_state *csp)
1049 {
1050    char *p, *q;
1051    struct http_response *rsp;
1052
1053    p = q = csp->http->path;
1054    log_error(LOG_LEVEL_REDIRECTS, "checking path for redirects: %s", p);
1055
1056    /*
1057     * find the last URL encoded in the request
1058     */
1059    while ((p = strstr(p, "http://")) != NULL)
1060    {
1061       q = p++;
1062    }
1063
1064    /*
1065     * if there was any, generate and return a HTTP redirect
1066     */
1067    if (q != csp->http->path)
1068    {
1069       log_error(LOG_LEVEL_REDIRECTS, "redirecting to: %s", q);
1070
1071       if (NULL == (rsp = alloc_http_response()))
1072       {
1073          return cgi_error_memory();
1074       }
1075
1076       if ( enlist_unique_header(rsp->headers, "Location", q)
1077         || (NULL == (rsp->status = strdup("302 Local Redirect from Privoxy"))) )
1078       {
1079          free_http_response(rsp);
1080          return cgi_error_memory();
1081       }
1082
1083       return finish_http_response(rsp);
1084    }
1085    else
1086    {
1087       return NULL;
1088    }
1089
1090 }
1091 #endif /* def FEATURE_FAST_REDIRECTS */
1092
1093
1094 #ifdef FEATURE_IMAGE_BLOCKING
1095 /*********************************************************************
1096  *
1097  * Function    :  is_imageurl
1098  *
1099  * Description :  Given a URL, decide whether it is an image or not,
1100  *                using either the info from a previous +image action
1101  *                or, #ifdef FEATURE_IMAGE_DETECT_MSIE, and the browser
1102  *                is MSIE and not on a Mac, tell from the browser's accept
1103  *                header.
1104  *
1105  * Parameters  :
1106  *          1  :  csp = Current client state (buffers, headers, etc...)
1107  *
1108  * Returns     :  True (nonzero) if URL is an image, false (0)
1109  *                otherwise
1110  *
1111  *********************************************************************/
1112 int is_imageurl(struct client_state *csp)
1113 {
1114 #ifdef FEATURE_IMAGE_DETECT_MSIE
1115    char *tmp;
1116
1117    tmp = get_header_value(csp->headers, "User-Agent:");
1118    if (tmp && strstr(tmp, "MSIE") && !strstr(tmp, "Mac_"))
1119    {
1120       tmp = get_header_value(csp->headers, "Accept:");
1121       if (tmp && strstr(tmp, "image/gif"))
1122       {
1123          /* Client will accept HTML.  If this seems counterintuitive,
1124           * blame Microsoft.
1125           */
1126          return(0);
1127       }
1128       else
1129       {
1130          return(1);
1131       }
1132    }
1133 #endif /* def FEATURE_IMAGE_DETECT_MSIE */
1134
1135    return ((csp->action->flags & ACTION_IMAGE) != 0);
1136
1137 }
1138 #endif /* def FEATURE_IMAGE_BLOCKING */
1139
1140
1141 #ifdef FEATURE_TRUST
1142 /*********************************************************************
1143  *
1144  * Function    :  is_untrusted_url
1145  *
1146  * Description :  Should we "distrust" this URL (and block it)?
1147  *
1148  *                Yes if it matches a line in the trustfile, or if the
1149  *                    referrer matches a line starting with "+" in the
1150  *                    trustfile.
1151  *                No  otherwise.
1152  *
1153  * Parameters  :
1154  *          1  :  csp = Current client state (buffers, headers, etc...)
1155  *
1156  * Returns     :  0 => trusted, 1 => untrusted
1157  *
1158  *********************************************************************/
1159 int is_untrusted_url(struct client_state *csp)
1160 {
1161    struct file_list *fl;
1162    struct block_spec *b;
1163    struct url_spec **trusted_url;
1164    struct http_request rhttp[1];
1165    const char * referer;
1166    jb_err err;
1167
1168    /*
1169     * If we don't have a trustlist, we trust everybody
1170     */
1171    if (((fl = csp->tlist) == NULL) || ((b  = fl->f) == NULL))
1172    {
1173       return 0;
1174    }
1175
1176    memset(rhttp, '\0', sizeof(*rhttp));
1177
1178    /*
1179     * Do we trust the request URL itself?
1180     */
1181    for (b = b->next; b ; b = b->next)
1182    {
1183       if (url_match(b->url, csp->http))
1184       {
1185          return b->reject;
1186       }
1187    }
1188
1189    if (NULL == (referer = get_header_value(csp->headers, "Referer:")))
1190    {
1191       /* no referrer was supplied */
1192       return 1;
1193    }
1194
1195
1196    /*
1197     * If not, do we maybe trust its referrer?
1198     */
1199    err = parse_http_url(referer, rhttp, csp);
1200    if (err)
1201    {
1202       return 1;
1203    }
1204
1205    for (trusted_url = csp->config->trust_list; *trusted_url != NULL; trusted_url++)
1206    {
1207       if (url_match(*trusted_url, rhttp))
1208       {
1209          /* if the URL's referrer is from a trusted referrer, then
1210           * add the target spec to the trustfile as an unblocked
1211           * domain and return NULL (which means it's OK).
1212           */
1213
1214          FILE *fp;
1215
1216          if (NULL != (fp = fopen(csp->config->trustfile, "a")))
1217          {
1218             char * path;
1219             char * path_end;
1220             char * new_entry = strdup("~");
1221
1222             string_append(&new_entry, csp->http->hostport);
1223
1224             path = csp->http->path;
1225             if ( (path[0] == '/')
1226               && (path[1] == '~')
1227               && ((path_end = strchr(path + 2, '/')) != NULL))
1228             {
1229                /* since this path points into a user's home space
1230                 * be sure to include this spec in the trustfile.
1231                 */
1232                int path_len = path_end - path; /* save offset */
1233                path = strdup(path); /* Copy string */
1234                if (path != NULL)
1235                {
1236                   path_end = path + path_len; /* regenerate ptr to new buffer */
1237                   *(path_end + 1) = '\0'; /* Truncate path after '/' */
1238                }
1239                string_join(&new_entry, path);
1240             }
1241
1242             if (new_entry != NULL)
1243             {
1244                fprintf(fp, "%s\n", new_entry);
1245                free(new_entry);
1246             }
1247             else
1248             {
1249                /* FIXME: No way to handle out-of memory, so mostly ignoring it */
1250                log_error(LOG_LEVEL_ERROR, "Out of memory adding pattern to trust file");
1251             }
1252
1253             fclose(fp);
1254          }
1255          return 0;
1256       }
1257    }
1258    return 1;
1259 }
1260 #endif /* def FEATURE_TRUST */
1261
1262
1263 /*********************************************************************
1264  *
1265  * Function    :  pcrs_filter_response
1266  *
1267  * Description :  Execute all text substitutions from all applying
1268  *                +filter actions on the text buffer that's been accumulated
1269  *                in csp->iob->buf. If this changes the contents, set
1270  *                csp->content_length to the modified size and raise the
1271  *                CSP_FLAG_MODIFIED flag.
1272  *
1273  * Parameters  :
1274  *          1  :  csp = Current client state (buffers, headers, etc...)
1275  *
1276  * Returns     :  a pointer to the (newly allocated) modified buffer.
1277  *                or NULL if there were no hits or something went wrong
1278  *
1279  *********************************************************************/
1280 char *pcrs_filter_response(struct client_state *csp)
1281 {
1282    int hits=0;
1283    size_t size;
1284
1285    char *old = csp->iob->cur, *new = NULL;
1286    pcrs_job *job;
1287
1288    struct file_list *fl;
1289    struct re_filterfile_spec *b;
1290    struct list_entry *filtername;
1291
1292    /* 
1293     * Sanity first
1294     */
1295    if (csp->iob->cur >= csp->iob->eod)
1296    {
1297       return(NULL);
1298    }
1299    size = csp->iob->eod - csp->iob->cur;
1300
1301    if ( ( NULL == (fl = csp->rlist) ) || ( NULL == fl->f) )
1302    {
1303       log_error(LOG_LEVEL_ERROR, "Unable to get current state of regexp filtering.");
1304       return(NULL);
1305    }
1306
1307    /*
1308     * If the body has a "chunked" transfer-encoding,
1309     * get rid of it first, adjusting size and iob->eod
1310     */
1311    if (csp->flags & CSP_FLAG_CHUNKED)
1312    {
1313       log_error(LOG_LEVEL_RE_FILTER, "Need to de-chunk first");
1314       if (0 == (size = remove_chunked_transfer_coding(csp->iob->cur, size)))
1315       {
1316          return(NULL);
1317       }
1318       csp->iob->eod = csp->iob->cur + size;
1319       csp->flags |= CSP_FLAG_MODIFIED;
1320    }
1321
1322    /*
1323     * For all applying +filter actions, look if a filter by that
1324     * name exists and if yes, execute it's pcrs_joblist on the
1325     * buffer.
1326     */
1327    for (b = fl->f; b; b = b->next)
1328    {
1329       for (filtername = csp->action->multi[ACTION_MULTI_FILTER]->first;
1330            filtername ; filtername = filtername->next)
1331       {
1332          if (strcmp(b->name, filtername->str) == 0)
1333          {
1334             int current_hits = 0;
1335
1336             if ( NULL == b->joblist )
1337             {
1338                log_error(LOG_LEVEL_RE_FILTER, "Filter %s has empty joblist. Nothing to do.", b->name);
1339                continue;
1340             }
1341
1342             log_error(LOG_LEVEL_RE_FILTER, "re_filtering %s%s (size %d) with filter %s...",
1343                       csp->http->hostport, csp->http->path, size, b->name);
1344
1345             /* Apply all jobs from the joblist */
1346             for (job = b->joblist; NULL != job; job = job->next)
1347             {
1348                current_hits += pcrs_execute(job, old, size, &new, &size);
1349                if (old != csp->iob->cur) free(old);
1350                old=new;
1351             }
1352
1353             log_error(LOG_LEVEL_RE_FILTER, " ...produced %d hits (new size %d).", current_hits, size);
1354             hits += current_hits;
1355          }
1356       }
1357    }
1358
1359    /*
1360     * If there were no hits, destroy our copy and let
1361     * chat() use the original in csp->iob
1362     */
1363    if (!hits)
1364    {
1365       free(new);
1366       return(NULL);
1367    }
1368
1369    csp->flags |= CSP_FLAG_MODIFIED;
1370    csp->content_length = size;
1371    IOB_RESET(csp);
1372
1373    return(new);
1374
1375 }
1376
1377
1378 /*********************************************************************
1379  *
1380  * Function    :  gif_deanimate_response
1381  *
1382  * Description :  Deanimate the GIF image that has been accumulated in
1383  *                csp->iob->buf, set csp->content_length to the modified
1384  *                size and raise the CSP_FLAG_MODIFIED flag.
1385  *
1386  * Parameters  :
1387  *          1  :  csp = Current client state (buffers, headers, etc...)
1388  *
1389  * Returns     :  a pointer to the (newly allocated) modified buffer.
1390  *                or NULL in case something went wrong.
1391  *
1392  *********************************************************************/
1393 char *gif_deanimate_response(struct client_state *csp)
1394 {
1395    struct binbuffer *in, *out;
1396    char *p;
1397    size_t size = csp->iob->eod - csp->iob->cur;
1398
1399    /*
1400     * If the body has a "chunked" transfer-encoding,
1401     * get rid of it first, adjusting size and iob->eod
1402     */
1403    if (csp->flags & CSP_FLAG_CHUNKED)
1404    {
1405       log_error(LOG_LEVEL_DEANIMATE, "Need to de-chunk first");
1406       if (0 == (size = remove_chunked_transfer_coding(csp->iob->cur, size)))
1407       {
1408          return(NULL);
1409       }
1410       csp->iob->eod = csp->iob->cur + size;
1411       csp->flags |= CSP_FLAG_MODIFIED;
1412    }
1413
1414    if (  (NULL == (in =  (struct binbuffer *)zalloc(sizeof *in )))
1415       || (NULL == (out = (struct binbuffer *)zalloc(sizeof *out))) )
1416    {
1417       log_error(LOG_LEVEL_DEANIMATE, "failed! (no mem)");
1418       return NULL;
1419    }
1420
1421    in->buffer = csp->iob->cur;
1422    in->size = size;
1423
1424    if (gif_deanimate(in, out, strncmp("last", csp->action->string[ACTION_STRING_DEANIMATE], 4)))
1425    {
1426       log_error(LOG_LEVEL_DEANIMATE, "failed! (gif parsing)");
1427       free(in);
1428       buf_free(out);
1429       return(NULL);
1430    }
1431    else
1432    {
1433       if ((int)size == out->offset)
1434       {
1435          log_error(LOG_LEVEL_DEANIMATE, "GIF not changed.");
1436       }
1437       else
1438       {
1439          log_error(LOG_LEVEL_DEANIMATE, "Success! GIF shrunk from %d bytes to %d.", size, out->offset);
1440       }
1441       csp->content_length = out->offset;
1442       csp->flags |= CSP_FLAG_MODIFIED;
1443       p = out->buffer;
1444       free(in);
1445       free(out);
1446       return(p);
1447    }
1448
1449 }
1450
1451
1452 /*********************************************************************
1453  *
1454  * Function    :  remove_chunked_transfer_coding
1455  *
1456  * Description :  In-situ remove the "chunked" transfer coding as defined
1457  *                in rfc2616 from a buffer.
1458  *
1459  * Parameters  :
1460  *          1  :  buffer = Pointer to the text buffer
1461  *          2  :  size = Number of bytes to be processed
1462  *
1463  * Returns     :  The new size, i.e. the number of bytes from buffer which
1464  *                are occupied by the stripped body, or 0 in case something
1465  *                went wrong
1466  *
1467  *********************************************************************/
1468 int remove_chunked_transfer_coding(char *buffer, const size_t size)
1469 {
1470    size_t newsize = 0;
1471    unsigned int chunksize = 0;
1472    char *from_p, *to_p;
1473
1474    assert(buffer);
1475    from_p = to_p = buffer;
1476
1477    if (sscanf(buffer, "%x", &chunksize) != 1)
1478    {
1479       log_error(LOG_LEVEL_ERROR, "Invalid first chunksize while stripping \"chunked\" transfer coding");
1480       return(0);
1481    }
1482
1483    while (chunksize > 0)
1484    {
1485       if (NULL == (from_p = strstr(from_p, "\r\n")))
1486       {
1487          log_error(LOG_LEVEL_ERROR, "Parse error while stripping \"chunked\" transfer coding");
1488          return(0);
1489       }
1490
1491       if ((newsize += chunksize) >= size)
1492       {
1493          log_error(LOG_LEVEL_ERROR, "Chunksize exceeds buffer in  \"chunked\" transfer coding");
1494          return(0);
1495       }
1496       from_p += 2;
1497
1498       memmove(to_p, from_p, (size_t) chunksize);
1499       to_p = buffer + newsize;
1500       from_p += chunksize + 2;
1501
1502       if (sscanf(from_p, "%x", &chunksize) != 1)
1503       {
1504          log_error(LOG_LEVEL_ERROR, "Parse error while stripping \"chunked\" transfer coding");
1505          return(0);
1506       }
1507    }
1508
1509    /* FIXME: Should this get its own loglevel? */
1510    log_error(LOG_LEVEL_RE_FILTER, "De-chunking successful. Shrunk from %d to %d\n", size, newsize);
1511    return(newsize);
1512
1513 }
1514
1515
1516 /*********************************************************************
1517  *
1518  * Function    :  url_actions
1519  *
1520  * Description :  Gets the actions for this URL.
1521  *
1522  * Parameters  :
1523  *          1  :  http = http_request request for blocked URLs
1524  *          2  :  csp = Current client state (buffers, headers, etc...)
1525  *
1526  * Returns     :  N/A
1527  *
1528  *********************************************************************/
1529 void url_actions(struct http_request *http,
1530                  struct client_state *csp)
1531 {
1532    struct file_list *fl;
1533    struct url_actions *b;
1534    int i;
1535
1536    init_current_action(csp->action);
1537
1538    for (i = 0; i < MAX_ACTION_FILES; i++)
1539    {
1540       if (((fl = csp->actions_list[i]) == NULL) || ((b = fl->f) == NULL))
1541       {
1542          return;
1543       }
1544
1545       apply_url_actions(csp->action, http, b);
1546    }
1547
1548    return;
1549 }
1550
1551
1552 /*********************************************************************
1553  *
1554  * Function    :  apply_url_actions
1555  *
1556  * Description :  Applies a list of URL actions.
1557  *
1558  * Parameters  :
1559  *          1  :  action = Destination.
1560  *          2  :  http = Current URL
1561  *          3  :  b = list of URL actions to apply
1562  *
1563  * Returns     :  N/A
1564  *
1565  *********************************************************************/
1566 void apply_url_actions(struct current_action_spec *action,
1567                        struct http_request *http,
1568                        struct url_actions *b)
1569 {
1570    if (b == NULL)
1571    {
1572       /* Should never happen */
1573       return;
1574    }
1575
1576    for (b = b->next; NULL != b; b = b->next)
1577    {
1578       if (url_match(b->url, http))
1579       {
1580          merge_current_action(action, b->action);
1581       }
1582    }
1583 }
1584
1585
1586 /*********************************************************************
1587  *
1588  * Function    :  forward_url
1589  *
1590  * Description :  Should we forward this to another proxy?
1591  *
1592  * Parameters  :
1593  *          1  :  http = http_request request for current URL
1594  *          2  :  csp = Current client state (buffers, headers, etc...)
1595  *
1596  * Returns     :  Pointer to forwarding information.
1597  *
1598  *********************************************************************/
1599 const struct forward_spec * forward_url(struct http_request *http,
1600                                         struct client_state *csp)
1601 {
1602    static const struct forward_spec fwd_default[1] = { FORWARD_SPEC_INITIALIZER };
1603    struct forward_spec *fwd = csp->config->forward;
1604
1605    if (fwd == NULL)
1606    {
1607       return fwd_default;
1608    }
1609
1610    while (fwd != NULL)
1611    {
1612       if (url_match(fwd->url, http))
1613       {
1614          return fwd;
1615       }
1616       fwd = fwd->next;
1617    }
1618
1619    return fwd_default;
1620 }
1621
1622
1623 /*********************************************************************
1624  *
1625  * Function    :  direct_response 
1626  *
1627  * Description :  Check if Max-Forwards == 0 for an OPTIONS or TRACE
1628  *                request and if so, return a HTTP 501 to the client.
1629  *
1630  *                FIXME: I have a stupid name and I should handle the
1631  *                requests properly. Still, what we do here is rfc-
1632  *                compliant, whereas ignoring or forwarding are not.
1633  *
1634  * Parameters  :  
1635  *          1  :  csp = Current client state (buffers, headers, etc...)
1636  *
1637  * Returns     :  http_response if , NULL if nonmatch or handler fail
1638  *
1639  *********************************************************************/
1640 struct http_response *direct_response(struct client_state *csp)
1641 {
1642    struct http_response *rsp;
1643    struct list_entry *p;
1644
1645    if ((0 == strcmpic(csp->http->gpc, "trace"))
1646       || (0 == strcmpic(csp->http->gpc, "options")))
1647    {
1648       for (p = csp->headers->first; (p != NULL) ; p = p->next)
1649       {
1650          if (!strncmp("Max-Forwards:", p->str, 13)
1651              && (*(p->str+13) != '\0') && (atoi(p->str+13) == 0))
1652          {
1653             /* FIXME: We could handle at least TRACE here,
1654                but that would require a verbatim copy of
1655                the request which we don't have anymore */
1656
1657             log_error(LOG_LEVEL_HEADER, "Found Max-Forwards:0 in OPTIONS or TRACE request -- Returning 501");
1658
1659             /* Get mem for response or fail*/
1660             if (NULL == (rsp = alloc_http_response()))
1661             {
1662                return cgi_error_memory();
1663             }
1664             
1665             if (NULL == (rsp->status = strdup("501 Not Implemented")))
1666             {
1667                free_http_response(rsp);
1668                return cgi_error_memory();
1669             }
1670
1671             rsp->is_static = 1;
1672             return(finish_http_response(rsp));
1673          }
1674       }
1675    }
1676    return NULL;
1677 }
1678
1679
1680 /*
1681   Local Variables:
1682   tab-width: 3
1683   end:
1684 */