Rename FEATURE_HTTPS_FILTERING to FEATURE_HTTPS_INSPECTION
[privoxy.git] / parsers.c
1 /*********************************************************************
2  *
3  * File        :  $Source: /cvsroot/ijbswa/current/parsers.c,v $
4  *
5  * Purpose     :  Declares functions to parse/crunch headers and pages.
6  *
7  * Copyright   :  Written by and Copyright (C) 2001-2017 the
8  *                Privoxy team. https://www.privoxy.org/
9  *
10  *                Based on the Internet Junkbuster originally written
11  *                by and Copyright (C) 1997 Anonymous Coders and
12  *                Junkbusters Corporation.  http://www.junkbusters.com
13  *
14  *                This program is free software; you can redistribute it
15  *                and/or modify it under the terms of the GNU General
16  *                Public License as published by the Free Software
17  *                Foundation; either version 2 of the License, or (at
18  *                your option) any later version.
19  *
20  *                This program is distributed in the hope that it will
21  *                be useful, but WITHOUT ANY WARRANTY; without even the
22  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
23  *                PARTICULAR PURPOSE.  See the GNU General Public
24  *                License for more details.
25  *
26  *                The GNU General Public License should be included with
27  *                this file.  If not, you can view it at
28  *                http://www.gnu.org/copyleft/gpl.html
29  *                or write to the Free Software Foundation, Inc., 59
30  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
31  *
32  *********************************************************************/
33
34
35 #include "config.h"
36
37 #ifndef _WIN32
38 #include <stdio.h>
39 #include <sys/types.h>
40 #endif
41
42 #include <stdlib.h>
43 #include <ctype.h>
44 #include <assert.h>
45 #include <string.h>
46
47 #ifdef __GLIBC__
48 /*
49  * Convince GNU's libc to provide a strptime prototype.
50  */
51 #define __USE_XOPEN
52 #endif /*__GLIBC__ */
53 #include <time.h>
54
55 #ifdef FEATURE_ZLIB
56 #include <zlib.h>
57
58 #define GZIP_IDENTIFIER_1       0x1f
59 #define GZIP_IDENTIFIER_2       0x8b
60
61 #define GZIP_FLAG_CHECKSUM      0x02
62 #define GZIP_FLAG_EXTRA_FIELDS  0x04
63 #define GZIP_FLAG_FILE_NAME     0x08
64 #define GZIP_FLAG_COMMENT       0x10
65 #define GZIP_FLAG_RESERVED_BITS 0xe0
66 #endif
67
68 #if !defined(_WIN32) && !defined(__OS2__)
69 #include <unistd.h>
70 #endif
71
72 #include "project.h"
73
74 #ifdef FEATURE_PTHREAD
75 #include "jcc.h"
76 /* jcc.h is for mutex semapores only */
77 #endif /* def FEATURE_PTHREAD */
78 #include "list.h"
79 #include "parsers.h"
80 #include "ssplit.h"
81 #include "errlog.h"
82 #include "jbsockets.h"
83 #include "miscutil.h"
84 #include "list.h"
85 #include "actions.h"
86 #include "filters.h"
87
88 #ifndef HAVE_STRPTIME
89 #include "strptime.h"
90 #endif
91
92 static char *get_header_line(struct iob *iob);
93 static jb_err scan_headers(struct client_state *csp);
94 static jb_err header_tagger(struct client_state *csp, char *header);
95 static jb_err parse_header_time(const char *header_time, time_t *result);
96 static jb_err parse_time_header(const char *header, time_t *result);
97
98 static jb_err crumble                   (struct client_state *csp, char **header);
99 static jb_err filter_header             (struct client_state *csp, char **header);
100 static jb_err client_connection         (struct client_state *csp, char **header);
101 static jb_err client_referrer           (struct client_state *csp, char **header);
102 static jb_err client_uagent             (struct client_state *csp, char **header);
103 static jb_err client_ua                 (struct client_state *csp, char **header);
104 static jb_err client_from               (struct client_state *csp, char **header);
105 static jb_err client_send_cookie        (struct client_state *csp, char **header);
106 static jb_err client_x_forwarded        (struct client_state *csp, char **header);
107 static jb_err client_accept_encoding    (struct client_state *csp, char **header);
108 static jb_err client_te                 (struct client_state *csp, char **header);
109 static jb_err client_max_forwards       (struct client_state *csp, char **header);
110 static jb_err client_host               (struct client_state *csp, char **header);
111 static jb_err client_if_modified_since  (struct client_state *csp, char **header);
112 static jb_err client_accept_language    (struct client_state *csp, char **header);
113 static jb_err client_if_none_match      (struct client_state *csp, char **header);
114 static jb_err crunch_client_header      (struct client_state *csp, char **header);
115 static jb_err client_x_filter           (struct client_state *csp, char **header);
116 static jb_err client_range              (struct client_state *csp, char **header);
117 static jb_err client_expect             (struct client_state *csp, char **header);
118 static jb_err server_set_cookie         (struct client_state *csp, char **header);
119 static jb_err server_connection         (struct client_state *csp, char **header);
120 static jb_err server_content_type       (struct client_state *csp, char **header);
121 static jb_err server_adjust_content_length(struct client_state *csp, char **header);
122 static jb_err server_content_md5        (struct client_state *csp, char **header);
123 static jb_err server_content_encoding   (struct client_state *csp, char **header);
124 static jb_err server_transfer_coding    (struct client_state *csp, char **header);
125 static jb_err server_http               (struct client_state *csp, char **header);
126 static jb_err crunch_server_header      (struct client_state *csp, char **header);
127 static jb_err server_last_modified      (struct client_state *csp, char **header);
128 static jb_err server_content_disposition(struct client_state *csp, char **header);
129 #ifdef FEATURE_ZLIB
130 static jb_err server_adjust_content_encoding(struct client_state *csp, char **header);
131 #endif
132
133 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
134 static jb_err server_save_content_length(struct client_state *csp, char **header);
135 static jb_err server_keep_alive(struct client_state *csp, char **header);
136 static jb_err server_proxy_connection(struct client_state *csp, char **header);
137 static jb_err client_keep_alive(struct client_state *csp, char **header);
138 static jb_err client_save_content_length(struct client_state *csp, char **header);
139 static jb_err client_proxy_connection(struct client_state *csp, char **header);
140 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
141
142 static jb_err client_host_adder       (struct client_state *csp);
143 static jb_err client_xtra_adder       (struct client_state *csp);
144 static jb_err client_x_forwarded_for_adder(struct client_state *csp);
145 static jb_err client_connection_header_adder(struct client_state *csp);
146 static jb_err server_connection_adder(struct client_state *csp);
147 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
148 static jb_err server_proxy_connection_adder(struct client_state *csp);
149 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
150 static jb_err proxy_authentication(struct client_state *csp, char **header);
151
152 static jb_err create_forged_referrer(char **header, const char *hostport);
153 static jb_err create_fake_referrer(char **header, const char *fake_referrer);
154 static jb_err handle_conditional_hide_referrer_parameter(char **header,
155    const char *host, const int parameter_conditional_block);
156 static void create_content_length_header(unsigned long long content_length,
157                                          char *header, size_t buffer_length);
158
159 /*
160  * List of functions to run on a list of headers.
161  */
162 struct parsers
163 {
164    /** The header prefix to match */
165    const char *str;
166
167    /** The length of the prefix to match */
168    const size_t len;
169
170    /** The function to apply to this line */
171    const parser_func_ptr parser;
172 };
173
174 static const struct parsers client_patterns[] = {
175    { "referer:",                  8,   client_referrer },
176    { "user-agent:",              11,   client_uagent },
177    { "ua-",                       3,   client_ua },
178    { "from:",                     5,   client_from },
179    { "cookie:",                   7,   client_send_cookie },
180    { "x-forwarded-for:",         16,   client_x_forwarded },
181    { "Accept-Encoding:",         16,   client_accept_encoding },
182    { "TE:",                       3,   client_te },
183    { "Host:",                     5,   client_host },
184    { "if-modified-since:",       18,   client_if_modified_since },
185 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
186    { "Keep-Alive:",              11,   client_keep_alive },
187    { "Content-Length:",          15,   client_save_content_length },
188    { "Proxy-Connection:",        17,   client_proxy_connection },
189 #else
190    { "Keep-Alive:",              11,   crumble },
191    { "Proxy-Connection:",        17,   crumble },
192 #endif
193    { "connection:",              11,   client_connection },
194    { "max-forwards:",            13,   client_max_forwards },
195    { "Accept-Language:",         16,   client_accept_language },
196    { "if-none-match:",           14,   client_if_none_match },
197    { "Range:",                    6,   client_range },
198    { "Request-Range:",           14,   client_range },
199    { "If-Range:",                 9,   client_range },
200    { "X-Filter:",                 9,   client_x_filter },
201    { "Proxy-Authorization:",     20,   proxy_authentication },
202 #if 0
203    { "Transfer-Encoding:",       18,   client_transfer_encoding },
204 #endif
205    { "Expect:",                   7,   client_expect },
206    { "*",                         0,   crunch_client_header },
207    { "*",                         0,   filter_header },
208    { NULL,                        0,   NULL }
209 };
210
211 static const struct parsers server_patterns[] = {
212    { "HTTP/",                     5, server_http },
213    { "set-cookie:",              11, server_set_cookie },
214    { "connection:",              11, server_connection },
215    { "Content-Type:",            13, server_content_type },
216    { "Content-MD5:",             12, server_content_md5 },
217    { "Content-Encoding:",        17, server_content_encoding },
218 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
219    { "Content-Length:",          15, server_save_content_length },
220    { "Keep-Alive:",              11, server_keep_alive },
221    { "Proxy-Connection:",        17, server_proxy_connection },
222 #else
223    { "Keep-Alive:",              11, crumble },
224 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
225    { "Transfer-Encoding:",       18, server_transfer_coding },
226    { "content-disposition:",     20, server_content_disposition },
227    { "Last-Modified:",           14, server_last_modified },
228    { "Proxy-Authenticate:",      19, proxy_authentication },
229    { "*",                         0, crunch_server_header },
230    { "*",                         0, filter_header },
231    { NULL,                        0, NULL }
232 };
233
234 static const add_header_func_ptr add_client_headers[] = {
235    client_host_adder,
236    client_x_forwarded_for_adder,
237    client_xtra_adder,
238    client_connection_header_adder,
239    NULL
240 };
241
242 static const add_header_func_ptr add_server_headers[] = {
243    server_connection_adder,
244 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
245    server_proxy_connection_adder,
246 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
247    NULL
248 };
249
250 /*********************************************************************
251  *
252  * Function    :  flush_iob
253  *
254  * Description :  Write any pending "buffered" content.
255  *
256  * Parameters  :
257  *          1  :  fd = file descriptor of the socket to read
258  *          2  :  iob = The I/O buffer to flush, usually csp->iob.
259  *          3  :  delay = Number of milliseconds to delay the writes
260  *
261  * Returns     :  On success, the number of bytes written are returned (zero
262  *                indicates nothing was written).  On error, -1 is returned,
263  *                and errno is set appropriately.  If count is zero and the
264  *                file descriptor refers to a regular file, 0 will be
265  *                returned without causing any other effect.  For a special
266  *                file, the results are not portable.
267  *
268  *********************************************************************/
269 long flush_iob(jb_socket fd, struct iob *iob, unsigned int delay)
270 {
271    long len = iob->eod - iob->cur;
272
273    if (len <= 0)
274    {
275       return(0);
276    }
277
278    if (write_socket_delayed(fd, iob->cur, (size_t)len, delay))
279    {
280       return(-1);
281    }
282    iob->eod = iob->cur = iob->buf;
283    return(len);
284
285 }
286
287
288 /*********************************************************************
289  *
290  * Function    :  add_to_iob
291  *
292  * Description :  Add content to the buffer, expanding the
293  *                buffer if necessary.
294  *
295  * Parameters  :
296  *          1  :  iob = Destination buffer.
297  *          2  :  buffer_limit = Limit to which the destination may grow
298  *          3  :  src = holds the content to be added
299  *          4  :  n = number of bytes to be added
300  *
301  * Returns     :  JB_ERR_OK on success, JB_ERR_MEMORY if out-of-memory
302  *                or buffer limit reached.
303  *
304  *********************************************************************/
305 jb_err add_to_iob(struct iob *iob, const size_t buffer_limit, char *src, long n)
306 {
307    size_t used, offset, need;
308    char *p;
309
310    if (n <= 0) return JB_ERR_OK;
311
312    used   = (size_t)(iob->eod - iob->buf);
313    offset = (size_t)(iob->cur - iob->buf);
314    need   = used + (size_t)n + 1;
315
316    /*
317     * If the buffer can't hold the new data, extend it first.
318     * Use the next power of two if possible, else use the actual need.
319     */
320    if (need > buffer_limit)
321    {
322       log_error(LOG_LEVEL_INFO,
323          "Buffer limit reached while extending the buffer (iob). Needed: %d. Limit: %d",
324          need, buffer_limit);
325       return JB_ERR_MEMORY;
326    }
327
328    if (need > iob->size)
329    {
330       size_t want = iob->size ? iob->size : 512;
331
332       while (want <= need)
333       {
334          want *= 2;
335       }
336
337       if (want <= buffer_limit && NULL != (p = (char *)realloc(iob->buf, want)))
338       {
339          iob->size = want;
340       }
341       else if (NULL != (p = (char *)realloc(iob->buf, need)))
342       {
343          iob->size = need;
344       }
345       else
346       {
347          log_error(LOG_LEVEL_ERROR, "Extending the buffer (iob) failed: %E");
348          return JB_ERR_MEMORY;
349       }
350
351       /* Update the iob pointers */
352       iob->cur = p + offset;
353       iob->eod = p + used;
354       iob->buf = p;
355    }
356
357    /* copy the new data into the iob buffer */
358    memcpy(iob->eod, src, (size_t)n);
359
360    /* point to the end of the data */
361    iob->eod += n;
362
363    /* null terminate == cheap insurance */
364    *iob->eod = '\0';
365
366    return JB_ERR_OK;
367
368 }
369
370
371 /*********************************************************************
372  *
373  * Function    :  clear_iob
374  *
375  * Description :  Frees the memory allocated for an I/O buffer and
376  *                resets the structure.
377  *
378  * Parameters  :
379  *          1  :  iob = I/O buffer to clear.
380  *
381  * Returns     :  JB_ERR_OK on success, JB_ERR_MEMORY if out-of-memory
382  *                or buffer limit reached.
383  *
384  *********************************************************************/
385 void clear_iob(struct iob *iob)
386 {
387    free(iob->buf);
388    memset(iob, '\0', sizeof(*iob));
389 }
390
391
392 #ifdef FEATURE_ZLIB
393 /*********************************************************************
394  *
395  * Function    :  decompress_iob
396  *
397  * Description :  Decompress buffered page, expanding the
398  *                buffer as necessary.  csp->iob->cur
399  *                should point to the the beginning of the
400  *                compressed data block.
401  *
402  * Parameters  :
403  *          1  :  csp = Current client state (buffers, headers, etc...)
404  *
405  * Returns     :  JB_ERR_OK on success,
406  *                JB_ERR_MEMORY if out-of-memory limit reached, and
407  *                JB_ERR_COMPRESS if error decompressing buffer.
408  *
409  *********************************************************************/
410 jb_err decompress_iob(struct client_state *csp)
411 {
412    char  *buf;       /* new, uncompressed buffer */
413    char  *cur;       /* Current iob position (to keep the original
414                       * iob->cur unmodified if we return early) */
415    size_t bufsize;   /* allocated size of the new buffer */
416    size_t old_size;  /* Content size before decompression */
417    size_t skip_size; /* Number of bytes at the beginning of the iob
418                         that we should NOT decompress. */
419    int status;       /* return status of the inflate() call */
420    z_stream zstr;    /* used by calls to zlib */
421
422 #ifdef FUZZ
423    assert(csp->iob->cur - csp->iob->buf >= 0);
424    assert(csp->iob->eod - csp->iob->cur >= 0);
425 #else
426    assert(csp->iob->cur - csp->iob->buf > 0);
427    assert(csp->iob->eod - csp->iob->cur > 0);
428 #endif
429
430    bufsize = csp->iob->size;
431    skip_size = (size_t)(csp->iob->cur - csp->iob->buf);
432    old_size = (size_t)(csp->iob->eod - csp->iob->cur);
433
434    cur = csp->iob->cur;
435
436    if (bufsize < (size_t)10)
437    {
438       /*
439        * This is to protect the parsing of gzipped data,
440        * but it should(?) be valid for deflated data also.
441        */
442       log_error(LOG_LEVEL_ERROR,
443          "Insufficient data to start decompression. Bytes in buffer: %d",
444          csp->iob->eod - csp->iob->cur);
445       return JB_ERR_COMPRESS;
446    }
447
448    if (csp->content_type & CT_GZIP)
449    {
450       /*
451        * Our task is slightly complicated by the facts that data
452        * compressed by gzip does not include a zlib header, and
453        * that there is no easily accessible interface in zlib to
454        * handle a gzip header. We strip off the gzip header by
455        * hand, and later inform zlib not to expect a header.
456        */
457
458       /*
459        * Strip off the gzip header. Please see RFC 1952 for more
460        * explanation of the appropriate fields.
461        */
462       if (((*cur++ & 0xff) != GZIP_IDENTIFIER_1)
463        || ((*cur++ & 0xff) != GZIP_IDENTIFIER_2)
464        || (*cur++ != Z_DEFLATED))
465       {
466          log_error(LOG_LEVEL_ERROR, "Invalid gzip header when decompressing");
467          return JB_ERR_COMPRESS;
468       }
469       else
470       {
471          int flags = *cur++;
472          if (flags & GZIP_FLAG_RESERVED_BITS)
473          {
474             /* The gzip header has reserved bits set; bail out. */
475             log_error(LOG_LEVEL_ERROR, "Invalid gzip header flags when decompressing");
476             return JB_ERR_COMPRESS;
477          }
478
479          /*
480           * Skip mtime (4 bytes), extra flags (1 byte)
481           * and OS type (1 byte).
482           */
483          cur += 6;
484
485          /* Skip extra fields if necessary. */
486          if (flags & GZIP_FLAG_EXTRA_FIELDS)
487          {
488             /*
489              * Skip a given number of bytes, specified
490              * as a 16-bit little-endian value.
491              *
492              * XXX: this code is untested and should probably be removed.
493              */
494             int skip_bytes;
495             skip_bytes = *cur++;
496             skip_bytes += *cur++ << 8;
497
498             /*
499              * The number of bytes to skip should be positive
500              * and we'd like to stay in the buffer.
501              */
502             if ((skip_bytes < 0) || (skip_bytes >= (csp->iob->eod - cur)))
503             {
504                log_error(LOG_LEVEL_ERROR,
505                   "Unreasonable amount of bytes to skip (%d). Stopping decompression",
506                   skip_bytes);
507                return JB_ERR_COMPRESS;
508             }
509             log_error(LOG_LEVEL_INFO,
510                "Skipping %d bytes for gzip compression. Does this sound right?",
511                skip_bytes);
512             cur += skip_bytes;
513          }
514
515          /* Skip the filename if necessary. */
516          if (flags & GZIP_FLAG_FILE_NAME)
517          {
518             /* A null-terminated string is supposed to follow. */
519             while (*cur++ && (cur < csp->iob->eod));
520          }
521
522          /* Skip the comment if necessary. */
523          if (flags & GZIP_FLAG_COMMENT)
524          {
525             /* A null-terminated string is supposed to follow. */
526             while (*cur++ && (cur < csp->iob->eod));
527          }
528
529          /* Skip the CRC if necessary. */
530          if (flags & GZIP_FLAG_CHECKSUM)
531          {
532             cur += 2;
533          }
534
535          if (cur >= csp->iob->eod)
536          {
537             /*
538              * If the current position pointer reached or passed
539              * the buffer end, we were obviously tricked to skip
540              * too much.
541              */
542             log_error(LOG_LEVEL_ERROR,
543                "Malformed gzip header detected. Aborting decompression.");
544             return JB_ERR_COMPRESS;
545          }
546       }
547    }
548    else if (csp->content_type & CT_DEFLATE)
549    {
550       /*
551        * In theory (that is, according to RFC 1950), deflate-compressed
552        * data should begin with a two-byte zlib header and have an
553        * adler32 checksum at the end. It seems that in practice only
554        * the raw compressed data is sent. Note that this means that
555        * we are not RFC 1950-compliant here, but the advantage is that
556        * this actually works. :)
557        *
558        * We add a dummy null byte to tell zlib where the data ends,
559        * and later inform it not to expect a header.
560        *
561        * Fortunately, add_to_iob() has thoughtfully null-terminated
562        * the buffer; we can just increment the end pointer to include
563        * the dummy byte.
564        */
565       csp->iob->eod++;
566    }
567    else
568    {
569       log_error(LOG_LEVEL_ERROR,
570          "Unable to determine compression format for decompression");
571       return JB_ERR_COMPRESS;
572    }
573
574    /* Set up the fields required by zlib. */
575    zstr.next_in  = (Bytef *)cur;
576    zstr.avail_in = (unsigned int)(csp->iob->eod - cur);
577    zstr.zalloc   = Z_NULL;
578    zstr.zfree    = Z_NULL;
579    zstr.opaque   = Z_NULL;
580
581    /*
582     * Passing -MAX_WBITS to inflateInit2 tells the library
583     * that there is no zlib header.
584     */
585    if (inflateInit2(&zstr, -MAX_WBITS) != Z_OK)
586    {
587       log_error(LOG_LEVEL_ERROR, "Error initializing decompression");
588       return JB_ERR_COMPRESS;
589    }
590
591    /*
592     * Next, we allocate new storage for the inflated data.
593     * We don't modify the existing iob yet, so in case there
594     * is error in decompression we can recover gracefully.
595     */
596    buf = zalloc(bufsize);
597    if (NULL == buf)
598    {
599       log_error(LOG_LEVEL_ERROR, "Out of memory decompressing iob");
600       return JB_ERR_MEMORY;
601    }
602
603    assert(bufsize >= skip_size);
604    memcpy(buf, csp->iob->buf, skip_size);
605    zstr.avail_out = (uInt)(bufsize - skip_size);
606    zstr.next_out  = (Bytef *)buf + skip_size;
607
608    /* Try to decompress the whole stream in one shot. */
609    while (Z_BUF_ERROR == (status = inflate(&zstr, Z_FINISH)))
610    {
611       /* We need to allocate more memory for the output buffer. */
612
613       char *tmpbuf;                /* used for realloc'ing the buffer */
614       size_t oldbufsize = bufsize; /* keep track of the old bufsize */
615
616       if (0 == zstr.avail_in)
617       {
618          /*
619           * If zlib wants more data then there's a problem, because
620           * the complete compressed file should have been buffered.
621           */
622          log_error(LOG_LEVEL_ERROR,
623             "Unexpected end of compressed iob. Using what we got so far.");
624          break;
625       }
626
627       /*
628        * If we reached the buffer limit and still didn't have enough
629        * memory, just give up. Due to the ceiling enforced by the next
630        * if block we could actually check for equality here, but as it
631        * can be easily mistaken for a bug we don't.
632        */
633       if (bufsize >= csp->config->buffer_limit)
634       {
635          log_error(LOG_LEVEL_ERROR, "Buffer limit reached while decompressing iob");
636          return JB_ERR_MEMORY;
637       }
638
639       /* Try doubling the buffer size each time. */
640       bufsize *= 2;
641
642       /* Don't exceed the buffer limit. */
643       if (bufsize > csp->config->buffer_limit)
644       {
645          bufsize = csp->config->buffer_limit;
646       }
647
648       /* Try to allocate the new buffer. */
649       tmpbuf = realloc(buf, bufsize);
650       if (NULL == tmpbuf)
651       {
652          log_error(LOG_LEVEL_ERROR, "Out of memory decompressing iob");
653          freez(buf);
654          return JB_ERR_MEMORY;
655       }
656       else
657       {
658          char *oldnext_out = (char *)zstr.next_out;
659
660          /*
661           * Update the fields for inflate() to use the new
662           * buffer, which may be in a location different from
663           * the old one.
664           */
665          zstr.avail_out += (uInt)(bufsize - oldbufsize);
666          zstr.next_out   = (Bytef *)tmpbuf + bufsize - zstr.avail_out;
667
668          /*
669           * Compare with an uglier method of calculating these values
670           * that doesn't require the extra oldbufsize variable.
671           */
672          assert(zstr.avail_out == tmpbuf + bufsize - (char *)zstr.next_out);
673          assert((char *)zstr.next_out == tmpbuf + ((char *)oldnext_out - buf));
674
675          buf = tmpbuf;
676       }
677    }
678
679    if (Z_STREAM_ERROR == inflateEnd(&zstr))
680    {
681       log_error(LOG_LEVEL_ERROR,
682          "Inconsistent stream state after decompression: %s", zstr.msg);
683       /*
684        * XXX: Intentionally no return.
685        *
686        * According to zlib.h, Z_STREAM_ERROR is returned
687        * "if the stream state was inconsistent".
688        *
689        * I assume in this case inflate()'s status
690        * would also be something different than Z_STREAM_END
691        * so this check should be redundant, but lets see.
692        */
693    }
694
695    if ((status != Z_STREAM_END) && (0 != zstr.avail_in))
696    {
697       /*
698        * We failed to decompress the stream and it's
699        * not simply because of missing data.
700        */
701       log_error(LOG_LEVEL_ERROR,
702          "Unexpected error while decompressing to the buffer (iob): %s",
703          zstr.msg);
704       return JB_ERR_COMPRESS;
705    }
706
707    /*
708     * Finally, we can actually update the iob, since the
709     * decompression was successful. First, free the old
710     * buffer.
711     */
712    freez(csp->iob->buf);
713
714    /* Now, update the iob to use the new buffer. */
715    csp->iob->buf  = buf;
716    csp->iob->cur  = csp->iob->buf + skip_size;
717    csp->iob->eod  = (char *)zstr.next_out;
718    csp->iob->size = bufsize;
719
720    /*
721     * Make sure the new uncompressed iob obeys some minimal
722     * consistency conditions.
723     */
724    if ((csp->iob->buf <=  csp->iob->cur)
725     && (csp->iob->cur <= csp->iob->eod)
726     && (csp->iob->eod <= csp->iob->buf + csp->iob->size))
727    {
728       const size_t new_size = (size_t)(csp->iob->eod - csp->iob->cur);
729       if (new_size > (size_t)0)
730       {
731          log_error(LOG_LEVEL_RE_FILTER,
732             "Decompression successful. Old size: %d, new size: %d.",
733             old_size, new_size);
734       }
735       else
736       {
737          /* zlib thinks this is OK, so lets do the same. */
738          log_error(LOG_LEVEL_INFO, "Decompression didn't result in any content.");
739       }
740    }
741    else
742    {
743       /* It seems that zlib did something weird. */
744       log_error(LOG_LEVEL_ERROR,
745          "Unexpected error decompressing the buffer (iob): %d==%d, %d>%d, %d<%d",
746          csp->iob->cur, csp->iob->buf + skip_size, csp->iob->eod, csp->iob->buf,
747          csp->iob->eod, csp->iob->buf + csp->iob->size);
748       return JB_ERR_COMPRESS;
749    }
750
751    return JB_ERR_OK;
752
753 }
754 #endif /* defined(FEATURE_ZLIB) */
755
756
757 /*********************************************************************
758  *
759  * Function    :  normalize_lws
760  *
761  * Description :  Reduces unquoted linear whitespace in headers to
762  *                a single space in accordance with RFC 7230 3.2.4.
763  *                This simplifies parsing and filtering later on.
764  *
765  * Parameters  :
766  *          1  :  header = A header with linear whitespace to reduce.
767  *
768  * Returns     :  N/A
769  *
770  *********************************************************************/
771 static void normalize_lws(char *header)
772 {
773    char *p = header;
774
775    while (*p != '\0')
776    {
777       if (privoxy_isspace(*p) && privoxy_isspace(*(p+1)))
778       {
779          char *q = p+1;
780
781          while (privoxy_isspace(*q))
782          {
783             q++;
784          }
785          log_error(LOG_LEVEL_HEADER, "Reducing whitespace in '%s'", header);
786          string_move(p+1, q);
787       }
788
789       if (*p == '\t')
790       {
791          log_error(LOG_LEVEL_HEADER,
792             "Converting tab to space in '%s'", header);
793          *p = ' ';
794       }
795       else if (*p == '"')
796       {
797          char *end_of_token = strstr(p+1, "\"");
798
799          if (NULL != end_of_token)
800          {
801             /* Don't mess with quoted text. */
802             p = end_of_token;
803          }
804          else
805          {
806             log_error(LOG_LEVEL_HEADER,
807                "Ignoring single quote in '%s'", header);
808          }
809       }
810       p++;
811    }
812
813    p = strchr(header, ':');
814    if ((p != NULL) && (p != header) && privoxy_isspace(*(p-1)))
815    {
816       /*
817        * There's still space before the colon.
818        * We don't want it.
819        */
820       string_move(p-1, p);
821    }
822 }
823
824
825 /*********************************************************************
826  *
827  * Function    :  get_header
828  *
829  * Description :  This (odd) routine will parse the csp->iob
830  *                to get the next complete header.
831  *
832  * Parameters  :
833  *          1  :  iob = The I/O buffer to parse, usually csp->iob.
834  *
835  * Returns     :  Any one of the following:
836  *
837  * 1) a pointer to a dynamically allocated string that contains a header line
838  * 2) NULL  indicating that the end of the header was reached
839  * 3) ""    indicating that the end of the iob was reached before finding
840  *          a complete header line.
841  *
842  *********************************************************************/
843 char *get_header(struct iob *iob)
844 {
845    char *header;
846
847    header = get_header_line(iob);
848
849    if ((header == NULL) || (*header == '\0'))
850    {
851       /*
852        * No complete header read yet, tell the client.
853        */
854       return header;
855    }
856
857    while ((iob->cur[0] == ' ') || (iob->cur[0] == '\t'))
858    {
859       /*
860        * Header spans multiple lines, append the next one.
861        */
862       char *continued_header;
863
864       continued_header = get_header_line(iob);
865       if ((continued_header == NULL) || (*continued_header == '\0'))
866       {
867          /*
868           * No complete header read yet, return what we got.
869           * XXX: Should "unread" header instead.
870           */
871          log_error(LOG_LEVEL_INFO,
872             "Failed to read a multi-line header properly: '%s'",
873             header);
874          break;
875       }
876
877       if (JB_ERR_OK != string_join(&header, continued_header))
878       {
879          log_error(LOG_LEVEL_FATAL,
880             "Out of memory while appending multiple headers.");
881       }
882       else
883       {
884          /* XXX: remove before next stable release. */
885          log_error(LOG_LEVEL_HEADER,
886             "Merged multiple header lines to: '%s'",
887             header);
888       }
889    }
890
891    normalize_lws(header);
892
893    return header;
894
895 }
896
897
898 /*********************************************************************
899  *
900  * Function    :  get_header_line
901  *
902  * Description :  This (odd) routine will parse the csp->iob
903  *                to get the next header line.
904  *
905  * Parameters  :
906  *          1  :  iob = The I/O buffer to parse, usually csp->iob.
907  *
908  * Returns     :  Any one of the following:
909  *
910  * 1) a pointer to a dynamically allocated string that contains a header line
911  * 2) NULL  indicating that the end of the header was reached
912  * 3) ""    indicating that the end of the iob was reached before finding
913  *          a complete header line.
914  *
915  *********************************************************************/
916 static char *get_header_line(struct iob *iob)
917 {
918    char *p, *q, *ret;
919
920    if ((iob->cur == NULL)
921       || ((p = strchr(iob->cur, '\n')) == NULL))
922    {
923       return(""); /* couldn't find a complete header */
924    }
925
926    *p = '\0';
927
928    ret = strdup(iob->cur);
929    if (ret == NULL)
930    {
931       /* FIXME No way to handle error properly */
932       log_error(LOG_LEVEL_FATAL, "Out of memory in get_header_line()");
933    }
934    assert(ret != NULL);
935
936    iob->cur = p+1;
937
938    if ((q = strchr(ret, '\r')) != NULL) *q = '\0';
939
940    /* is this a blank line (i.e. the end of the header) ? */
941    if (*ret == '\0')
942    {
943       freez(ret);
944       return NULL;
945    }
946
947    return ret;
948
949 }
950
951
952 /*********************************************************************
953  *
954  * Function    :  get_header_value
955  *
956  * Description :  Get the value of a given header from a chained list
957  *                of header lines or return NULL if no such header is
958  *                present in the list.
959  *
960  * Parameters  :
961  *          1  :  header_list = pointer to list
962  *          2  :  header_name = string with name of header to look for.
963  *                              Trailing colon required, capitalization
964  *                              doesn't matter.
965  *
966  * Returns     :  NULL if not found, else value of header
967  *
968  *********************************************************************/
969 char *get_header_value(const struct list *header_list, const char *header_name)
970 {
971    struct list_entry *cur_entry;
972    char *ret = NULL;
973    size_t length = 0;
974
975    assert(header_list);
976    assert(header_name);
977    length = strlen(header_name);
978
979    for (cur_entry = header_list->first; cur_entry ; cur_entry = cur_entry->next)
980    {
981       if (cur_entry->str)
982       {
983          if (!strncmpic(cur_entry->str, header_name, length))
984          {
985             /*
986              * Found: return pointer to start of value
987              */
988             ret = cur_entry->str + length;
989             while (*ret && privoxy_isspace(*ret)) ret++;
990             return ret;
991          }
992       }
993    }
994
995    /*
996     * Not found
997     */
998    return NULL;
999
1000 }
1001
1002
1003 /*********************************************************************
1004  *
1005  * Function    :  scan_headers
1006  *
1007  * Description :  Scans headers, applies tags and updates action bits.
1008  *
1009  * Parameters  :
1010  *          1  :  csp = Current client state (buffers, headers, etc...)
1011  *
1012  * Returns     :  JB_ERR_OK
1013  *
1014  *********************************************************************/
1015 static jb_err scan_headers(struct client_state *csp)
1016 {
1017    struct list_entry *h; /* Header */
1018    jb_err err = JB_ERR_OK;
1019
1020    for (h = csp->headers->first; (err == JB_ERR_OK) && (h != NULL) ; h = h->next)
1021    {
1022       /* Header crunch()ed in previous run? -> ignore */
1023       if (h->str == NULL) continue;
1024       log_error(LOG_LEVEL_HEADER, "scan: %s", h->str);
1025       err = header_tagger(csp, h->str);
1026    }
1027
1028    return err;
1029 }
1030
1031
1032 /*********************************************************************
1033  *
1034  * Function    :  enforce_header_order
1035  *
1036  * Description :  Enforces a given header order.
1037  *
1038  * Parameters  :
1039  *          1  :  headers         = List of headers to order.
1040  *          2  :  ordered_headers = List of ordered header names.
1041  *
1042  * Returns     :  N/A
1043  *
1044  *********************************************************************/
1045 static void enforce_header_order(struct list *headers, const struct list *ordered_headers)
1046 {
1047    struct list_entry *sorted_header;
1048    struct list new_headers[1];
1049    struct list_entry *header;
1050
1051    init_list(new_headers);
1052
1053    /* The request line is always the first "header" */
1054
1055    assert(NULL != headers->first->str);
1056    enlist(new_headers, headers->first->str);
1057    freez(headers->first->str)
1058
1059    /* Enlist the specified headers in the given order */
1060
1061    for (sorted_header = ordered_headers->first; sorted_header != NULL;
1062         sorted_header = sorted_header->next)
1063    {
1064       const size_t sorted_header_length = strlen(sorted_header->str);
1065       for (header = headers->first; header != NULL; header = header->next)
1066       {
1067          /* Header enlisted in previous run? -> ignore */
1068          if (header->str == NULL) continue;
1069
1070          if (0 == strncmpic(sorted_header->str, header->str, sorted_header_length)
1071             && (header->str[sorted_header_length] == ':'))
1072          {
1073             log_error(LOG_LEVEL_HEADER, "Enlisting sorted header %s", header->str);
1074             if (JB_ERR_OK != enlist(new_headers, header->str))
1075             {
1076                log_error(LOG_LEVEL_HEADER, "Failed to enlist %s", header->str);
1077             }
1078             freez(header->str);
1079          }
1080       }
1081    }
1082
1083    /* Enlist the rest of the headers behind the ordered ones */
1084    for (header = headers->first; header != NULL; header = header->next)
1085    {
1086       /* Header enlisted in previous run? -> ignore */
1087       if (header->str == NULL) continue;
1088
1089       log_error(LOG_LEVEL_HEADER,
1090          "Enlisting left-over header %s", header->str);
1091       if (JB_ERR_OK != enlist(new_headers, header->str))
1092       {
1093          log_error(LOG_LEVEL_HEADER, "Failed to enlist %s", header->str);
1094       }
1095       freez(header->str);
1096    }
1097
1098    list_remove_all(headers);
1099    list_duplicate(headers, new_headers);
1100    list_remove_all(new_headers);
1101
1102    return;
1103 }
1104
1105
1106 /*********************************************************************
1107  *
1108  * Function    :  sed
1109  *
1110  * Description :  add, delete or modify lines in the HTTP header streams.
1111  *                On entry, it receives a linked list of headers space
1112  *                that was allocated dynamically (both the list nodes
1113  *                and the header contents).
1114  *
1115  *                As a side effect it frees the space used by the original
1116  *                header lines.
1117  *
1118  * Parameters  :
1119  *          1  :  csp = Current client state (buffers, headers, etc...)
1120  *          2  :  filter_server_headers = Boolean to switch between
1121  *                                        server and header filtering.
1122  *
1123  * Returns     :  JB_ERR_OK in case off success, or
1124  *                JB_ERR_MEMORY on some out-of-memory errors, or
1125  *                JB_ERR_PARSE in case of fatal parse errors.
1126  *
1127  *********************************************************************/
1128 jb_err sed(struct client_state *csp, int filter_server_headers)
1129 {
1130    /* XXX: use more descriptive names. */
1131    struct list_entry *p;
1132    const struct parsers *v;
1133    const add_header_func_ptr *f;
1134    jb_err err = JB_ERR_OK;
1135
1136    scan_headers(csp);
1137
1138    if (filter_server_headers)
1139    {
1140       v = server_patterns;
1141       f = add_server_headers;
1142       check_negative_tag_patterns(csp, PATTERN_SPEC_NO_RESPONSE_TAG_PATTERN);
1143    }
1144    else
1145    {
1146       v = client_patterns;
1147       f = add_client_headers;
1148       check_negative_tag_patterns(csp, PATTERN_SPEC_NO_REQUEST_TAG_PATTERN);
1149    }
1150
1151    while (v->str != NULL)
1152    {
1153       for (p = csp->headers->first; p != NULL; p = p->next)
1154       {
1155          /* Header crunch()ed in previous run? -> ignore */
1156          if (p->str == NULL) continue;
1157
1158          /* Does the current parser handle this header? */
1159          if ((strncmpic(p->str, v->str, v->len) == 0) ||
1160              (v->len == CHECK_EVERY_HEADER_REMAINING))
1161          {
1162             err = v->parser(csp, &(p->str));
1163             if (err != JB_ERR_OK)
1164             {
1165                return err;
1166             }
1167          }
1168       }
1169       v++;
1170    }
1171
1172    /* place additional headers on the csp->headers list */
1173    while ((err == JB_ERR_OK) && (*f))
1174    {
1175       err = (*f)(csp);
1176       f++;
1177    }
1178
1179    if (!filter_server_headers && !list_is_empty(csp->config->ordered_client_headers))
1180    {
1181       enforce_header_order(csp->headers, csp->config->ordered_client_headers);
1182    }
1183
1184    return err;
1185 }
1186
1187
1188 #ifdef FEATURE_HTTPS_INSPECTION
1189 /*********************************************************************
1190  *
1191  * Function    :  sed_https
1192  *
1193  * Description :  add, delete or modify lines in the HTTPS client
1194  *                header streams. Wrapper around sed().
1195  *
1196  * Parameters  :
1197  *          1  :  csp = Current client state (buffers, headers, etc...)
1198  *
1199  * Returns     :  JB_ERR_OK in case off success, or
1200  *                JB_ERR_MEMORY on some out-of-memory errors, or
1201  *                JB_ERR_PARSE in case of fatal parse errors.
1202  *
1203  *********************************************************************/
1204 jb_err sed_https(struct client_state *csp)
1205 {
1206    jb_err err;
1207    struct list headers;
1208
1209    /*
1210     * Temporarly replace csp->headers with csp->https_headers
1211     * to trick sed() into filtering the https headers.
1212     */
1213    headers.first = csp->headers->first;
1214    headers.last  = csp->headers->last;
1215    csp->headers->first = csp->https_headers->first;
1216    csp->headers->last  = csp->https_headers->last;
1217
1218    err = sed(csp, FILTER_CLIENT_HEADERS);
1219
1220    csp->headers->first = headers.first;
1221    csp->headers->last  = headers.last;
1222
1223    return err;
1224 }
1225 #endif /* def FEATURE_HTTPS_INSPECTION */
1226
1227
1228 /*********************************************************************
1229  *
1230  * Function    :  update_server_headers
1231  *
1232  * Description :  Updates server headers after the body has been modified.
1233  *
1234  * Parameters  :
1235  *          1  :  csp = Current client state (buffers, headers, etc...)
1236  *
1237  * Returns     :  JB_ERR_OK in case off success, or
1238  *                JB_ERR_MEMORY on out-of-memory error.
1239  *
1240  *********************************************************************/
1241 jb_err update_server_headers(struct client_state *csp)
1242 {
1243    jb_err err = JB_ERR_OK;
1244
1245    static const struct parsers server_patterns_light[] = {
1246       { "Content-Length:",    15, server_adjust_content_length },
1247       { "Transfer-Encoding:", 18, server_transfer_coding },
1248 #ifdef FEATURE_ZLIB
1249       { "Content-Encoding:",  17, server_adjust_content_encoding },
1250 #endif /* def FEATURE_ZLIB */
1251       { NULL,                  0, NULL }
1252    };
1253
1254    if (strncmpic(csp->http->cmd, "HEAD", 4))
1255    {
1256       const struct parsers *v;
1257       struct list_entry *p;
1258
1259       for (v = server_patterns_light; (err == JB_ERR_OK) && (v->str != NULL); v++)
1260       {
1261          for (p = csp->headers->first; (err == JB_ERR_OK) && (p != NULL); p = p->next)
1262          {
1263             /* Header crunch()ed in previous run? -> ignore */
1264             if (p->str == NULL) continue;
1265
1266             /* Does the current parser handle this header? */
1267             if (strncmpic(p->str, v->str, v->len) == 0)
1268             {
1269                err = v->parser(csp, (char **)&(p->str));
1270             }
1271          }
1272       }
1273    }
1274
1275 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1276    if ((JB_ERR_OK == err)
1277     && (csp->flags & CSP_FLAG_MODIFIED)
1278     && (csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE)
1279     && !(csp->flags & CSP_FLAG_SERVER_CONTENT_LENGTH_SET))
1280    {
1281       char header[50];
1282
1283       create_content_length_header(csp->content_length, header, sizeof(header));
1284       err = enlist(csp->headers, header);
1285       if (JB_ERR_OK == err)
1286       {
1287          log_error(LOG_LEVEL_HEADER,
1288             "Content modified with no Content-Length header set. "
1289             "Created: %s.", header);
1290          csp->flags |= CSP_FLAG_SERVER_CONTENT_LENGTH_SET;
1291       }
1292    }
1293 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1294
1295 #ifdef FEATURE_COMPRESSION
1296    if ((JB_ERR_OK == err)
1297       && (csp->flags & CSP_FLAG_BUFFERED_CONTENT_DEFLATED))
1298    {
1299       err = enlist_unique_header(csp->headers, "Content-Encoding", "deflate");
1300       if (JB_ERR_OK == err)
1301       {
1302          log_error(LOG_LEVEL_HEADER, "Added header: Content-Encoding: deflate");
1303       }
1304    }
1305 #endif
1306
1307    return err;
1308 }
1309
1310
1311 /*********************************************************************
1312  *
1313  * Function    :  header_tagger
1314  *
1315  * Description :  Executes all text substitutions from applying
1316  *                tag actions and saves the result as tag.
1317  *
1318  *                XXX: Shares enough code with filter_header() and
1319  *                pcrs_filter_response() to warrant some helper functions.
1320  *
1321  * Parameters  :
1322  *          1  :  csp = Current client state (buffers, headers, etc...)
1323  *          2  :  header = Header that is used as tagger input
1324  *
1325  * Returns     :  JB_ERR_OK on success and always succeeds
1326  *
1327  *********************************************************************/
1328 static jb_err header_tagger(struct client_state *csp, char *header)
1329 {
1330    enum filter_type wanted_filter_type;
1331    int multi_action_index;
1332    pcrs_job *job;
1333
1334    struct re_filterfile_spec *b;
1335    struct list_entry *tag_name;
1336
1337    const size_t header_length = strlen(header);
1338
1339    if (csp->flags & CSP_FLAG_CLIENT_HEADER_PARSING_DONE)
1340    {
1341       wanted_filter_type = FT_SERVER_HEADER_TAGGER;
1342       multi_action_index = ACTION_MULTI_SERVER_HEADER_TAGGER;
1343    }
1344    else
1345    {
1346       wanted_filter_type = FT_CLIENT_HEADER_TAGGER;
1347       multi_action_index = ACTION_MULTI_CLIENT_HEADER_TAGGER;
1348    }
1349
1350    if (list_is_empty(csp->action->multi[multi_action_index])
1351       || filters_available(csp) == FALSE)
1352    {
1353       /* Return early if no taggers apply or if none are available. */
1354       return JB_ERR_OK;
1355    }
1356
1357    /* Execute all applying taggers */
1358    for (tag_name = csp->action->multi[multi_action_index]->first;
1359         NULL != tag_name; tag_name = tag_name->next)
1360    {
1361       char *modified_tag = NULL;
1362       char *tag = header;
1363       size_t size = header_length;
1364       pcrs_job *joblist;
1365
1366       b = get_filter(csp, tag_name->str, wanted_filter_type);
1367       if (b == NULL)
1368       {
1369          continue;
1370       }
1371
1372       joblist = b->joblist;
1373
1374       if (b->dynamic) joblist = compile_dynamic_pcrs_job_list(csp, b);
1375
1376       if (NULL == joblist)
1377       {
1378          log_error(LOG_LEVEL_RE_FILTER,
1379             "Tagger %s has empty joblist. Nothing to do.", b->name);
1380          continue;
1381       }
1382
1383       /* execute their pcrs_joblist on the header. */
1384       for (job = joblist; NULL != job; job = job->next)
1385       {
1386          const int hits = pcrs_execute(job, tag, size, &modified_tag, &size);
1387
1388          if (0 < hits)
1389          {
1390             /* Success, continue with the modified version. */
1391             if (tag != header)
1392             {
1393                freez(tag);
1394             }
1395             tag = modified_tag;
1396          }
1397          else
1398          {
1399             /* Tagger doesn't match */
1400             if (0 > hits)
1401             {
1402                /* Regex failure, log it but continue anyway. */
1403                assert(NULL != header);
1404                log_error(LOG_LEVEL_ERROR,
1405                   "Problems with tagger \'%s\' and header \'%s\': %s",
1406                   b->name, *header, pcrs_strerror(hits));
1407             }
1408             freez(modified_tag);
1409          }
1410       }
1411
1412       if (b->dynamic) pcrs_free_joblist(joblist);
1413
1414       /* If this tagger matched */
1415       if (tag != header)
1416       {
1417          if (0 == size)
1418          {
1419             /*
1420              * There is no technical limitation which makes
1421              * it impossible to use empty tags, but I assume
1422              * no one would do it intentionally.
1423              */
1424             freez(tag);
1425             log_error(LOG_LEVEL_INFO,
1426                "Tagger \'%s\' created an empty tag. Ignored.", b->name);
1427             continue;
1428          }
1429
1430          if (!list_contains_item(csp->tags, tag))
1431          {
1432             if (JB_ERR_OK != enlist(csp->tags, tag))
1433             {
1434                log_error(LOG_LEVEL_ERROR,
1435                   "Insufficient memory to add tag \'%s\', "
1436                   "based on tagger \'%s\' and header \'%s\'",
1437                   tag, b->name, *header);
1438             }
1439             else
1440             {
1441                char *action_message;
1442                /*
1443                 * update the action bits right away, to make
1444                 * tagging based on tags set by earlier taggers
1445                 * of the same kind possible.
1446                 */
1447                if (update_action_bits_for_tag(csp, tag))
1448                {
1449                   action_message = "Action bits updated accordingly.";
1450                }
1451                else
1452                {
1453                   action_message = "No action bits update necessary.";
1454                }
1455
1456                log_error(LOG_LEVEL_HEADER,
1457                   "Tagger \'%s\' added tag \'%s\'. %s",
1458                   b->name, tag, action_message);
1459             }
1460          }
1461          else
1462          {
1463             /* XXX: Is this log-worthy? */
1464             log_error(LOG_LEVEL_HEADER,
1465                "Tagger \'%s\' didn't add tag \'%s\'. Tag already present",
1466                b->name, tag);
1467          }
1468          freez(tag);
1469       }
1470    }
1471
1472    return JB_ERR_OK;
1473 }
1474
1475 /* here begins the family of parser functions that reformat header lines */
1476
1477 /*********************************************************************
1478  *
1479  * Function    :  filter_header
1480  *
1481  * Description :  Executes all text substitutions from all applying
1482  *                +(server|client)-header-filter actions on the header.
1483  *                Most of the code was copied from pcrs_filter_response,
1484  *                including the rather short variable names
1485  *
1486  * Parameters  :
1487  *          1  :  csp = Current client state (buffers, headers, etc...)
1488  *          2  :  header = On input, pointer to header to modify.
1489  *                On output, pointer to the modified header, or NULL
1490  *                to remove the header.  This function frees the
1491  *                original string if necessary.
1492  *
1493  * Returns     :  JB_ERR_OK on success and always succeeds
1494  *
1495  *********************************************************************/
1496 static jb_err filter_header(struct client_state *csp, char **header)
1497 {
1498    int hits=0;
1499    int matches;
1500    size_t size = strlen(*header);
1501
1502    char *newheader = NULL;
1503    pcrs_job *job;
1504
1505    struct re_filterfile_spec *b;
1506    struct list_entry *filtername;
1507
1508    enum filter_type wanted_filter_type;
1509    int multi_action_index;
1510
1511    if (csp->flags & CSP_FLAG_NO_FILTERING)
1512    {
1513       return JB_ERR_OK;
1514    }
1515
1516    if (csp->flags & CSP_FLAG_CLIENT_HEADER_PARSING_DONE)
1517    {
1518       wanted_filter_type = FT_SERVER_HEADER_FILTER;
1519       multi_action_index = ACTION_MULTI_SERVER_HEADER_FILTER;
1520    }
1521    else
1522    {
1523       wanted_filter_type = FT_CLIENT_HEADER_FILTER;
1524       multi_action_index = ACTION_MULTI_CLIENT_HEADER_FILTER;
1525    }
1526
1527    if (list_is_empty(csp->action->multi[multi_action_index])
1528       || filters_available(csp) == FALSE)
1529    {
1530       /* Return early if no filters apply or if none are available. */
1531       return JB_ERR_OK;
1532    }
1533
1534    /* Execute all applying header filters */
1535    for (filtername = csp->action->multi[multi_action_index]->first;
1536         filtername != NULL; filtername = filtername->next)
1537    {
1538       int current_hits = 0;
1539       pcrs_job *joblist;
1540
1541       b = get_filter(csp, filtername->str, wanted_filter_type);
1542       if (b == NULL)
1543       {
1544          continue;
1545       }
1546
1547       joblist = b->joblist;
1548
1549       if (b->dynamic) joblist = compile_dynamic_pcrs_job_list(csp, b);
1550
1551       if (NULL == joblist)
1552       {
1553          log_error(LOG_LEVEL_RE_FILTER, "Filter %s has empty joblist. Nothing to do.", b->name);
1554          continue;
1555       }
1556
1557       log_error(LOG_LEVEL_RE_FILTER, "filtering \'%s\' (size %d) with \'%s\' ...",
1558          *header, size, b->name);
1559
1560       /* Apply all jobs from the joblist */
1561       for (job = joblist; NULL != job; job = job->next)
1562       {
1563          matches = pcrs_execute(job, *header, size, &newheader, &size);
1564          if (0 < matches)
1565          {
1566             current_hits += matches;
1567             log_error(LOG_LEVEL_HEADER, "Transforming \"%s\" to \"%s\"", *header, newheader);
1568             freez(*header);
1569             *header = newheader;
1570          }
1571          else if (0 == matches)
1572          {
1573             /* Filter doesn't change header */
1574             freez(newheader);
1575          }
1576          else
1577          {
1578             /* RegEx failure */
1579             log_error(LOG_LEVEL_ERROR, "Filtering \'%s\' with \'%s\' didn't work out: %s",
1580                *header, b->name, pcrs_strerror(matches));
1581             if (newheader != NULL)
1582             {
1583                log_error(LOG_LEVEL_ERROR, "Freeing what's left: %s", newheader);
1584                freez(newheader);
1585             }
1586          }
1587       }
1588
1589       if (b->dynamic) pcrs_free_joblist(joblist);
1590
1591       log_error(LOG_LEVEL_RE_FILTER, "... produced %d hits (new size %d).", current_hits, size);
1592       hits += current_hits;
1593    }
1594
1595    /*
1596     * Additionally checking for hits is important because if
1597     * the continue hack is triggered, server headers can
1598     * arrive empty to separate multiple heads from each other.
1599     */
1600    if ((0 == size) && hits)
1601    {
1602       log_error(LOG_LEVEL_HEADER, "Removing empty header %s", *header);
1603       freez(*header);
1604    }
1605
1606    return JB_ERR_OK;
1607 }
1608
1609
1610 /*********************************************************************
1611  *
1612  * Function    :  server_connection
1613  *
1614  * Description :  Makes sure a proper "Connection:" header is
1615  *                set and signals connection_header_adder to
1616  *                do nothing.
1617  *
1618  * Parameters  :
1619  *          1  :  csp = Current client state (buffers, headers, etc...)
1620  *          2  :  header = On input, pointer to header to modify.
1621  *                On output, pointer to the modified header, or NULL
1622  *                to remove the header.  This function frees the
1623  *                original string if necessary.
1624  *
1625  * Returns     :  JB_ERR_OK on success.
1626  *
1627  *********************************************************************/
1628 static jb_err server_connection(struct client_state *csp, char **header)
1629 {
1630    if (!strcmpic(*header, "Connection: keep-alive")
1631 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1632     && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED)
1633 #endif
1634      )
1635    {
1636 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1637       if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE))
1638       {
1639          csp->flags |= CSP_FLAG_SERVER_CONNECTION_KEEP_ALIVE;
1640       }
1641
1642       if ((csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE))
1643       {
1644          log_error(LOG_LEVEL_HEADER,
1645             "Keeping the server header '%s' around.", *header);
1646       }
1647       else
1648 #endif /* FEATURE_CONNECTION_KEEP_ALIVE */
1649       {
1650          char *old_header = *header;
1651
1652          *header = strdup_or_die("Connection: close");
1653          log_error(LOG_LEVEL_HEADER, "Replaced: \'%s\' with \'%s\'", old_header, *header);
1654          freez(old_header);
1655       }
1656    }
1657
1658    /* Signal server_connection_adder() to return early. */
1659    csp->flags |= CSP_FLAG_SERVER_CONNECTION_HEADER_SET;
1660
1661    return JB_ERR_OK;
1662 }
1663
1664
1665 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1666 /*********************************************************************
1667  *
1668  * Function    :  server_keep_alive
1669  *
1670  * Description :  Stores the server's keep alive timeout.
1671  *
1672  * Parameters  :
1673  *          1  :  csp = Current client state (buffers, headers, etc...)
1674  *          2  :  header = On input, pointer to header to modify.
1675  *                On output, pointer to the modified header, or NULL
1676  *                to remove the header.  This function frees the
1677  *                original string if necessary.
1678  *
1679  * Returns     :  JB_ERR_OK.
1680  *
1681  *********************************************************************/
1682 static jb_err server_keep_alive(struct client_state *csp, char **header)
1683 {
1684    unsigned int keep_alive_timeout;
1685    const char *timeout_position = strstr(*header, "timeout=");
1686
1687    if ((NULL == timeout_position)
1688     || (1 != sscanf(timeout_position, "timeout=%u", &keep_alive_timeout)))
1689    {
1690       log_error(LOG_LEVEL_ERROR, "Couldn't parse: %s", *header);
1691    }
1692    else
1693    {
1694       if (keep_alive_timeout < csp->server_connection.keep_alive_timeout)
1695       {
1696          log_error(LOG_LEVEL_HEADER,
1697             "Reducing keep-alive timeout from %u to %u.",
1698             csp->server_connection.keep_alive_timeout, keep_alive_timeout);
1699          csp->server_connection.keep_alive_timeout = keep_alive_timeout;
1700       }
1701       else
1702       {
1703          /* XXX: Is this log worthy? */
1704          log_error(LOG_LEVEL_HEADER,
1705             "Server keep-alive timeout is %u. Sticking with %u.",
1706             keep_alive_timeout, csp->server_connection.keep_alive_timeout);
1707       }
1708       csp->flags |= CSP_FLAG_SERVER_KEEP_ALIVE_TIMEOUT_SET;
1709    }
1710
1711    freez(*header);
1712
1713    return JB_ERR_OK;
1714 }
1715
1716
1717 /*********************************************************************
1718  *
1719  * Function    :  server_proxy_connection
1720  *
1721  * Description :  Figures out whether or not we should add a
1722  *                Proxy-Connection header.
1723  *
1724  * Parameters  :
1725  *          1  :  csp = Current client state (buffers, headers, etc...)
1726  *          2  :  header = On input, pointer to header to modify.
1727  *                On output, pointer to the modified header, or NULL
1728  *                to remove the header.  This function frees the
1729  *                original string if necessary.
1730  *
1731  * Returns     :  JB_ERR_OK.
1732  *
1733  *********************************************************************/
1734 static jb_err server_proxy_connection(struct client_state *csp, char **header)
1735 {
1736    csp->flags |= CSP_FLAG_SERVER_PROXY_CONNECTION_HEADER_SET;
1737    return JB_ERR_OK;
1738 }
1739
1740
1741 /*********************************************************************
1742  *
1743  * Function    :  proxy_authentication
1744  *
1745  * Description :  Removes headers that are relevant for proxy
1746  *                authentication unless forwarding them has
1747  *                been explicitly requested.
1748  *
1749  * Parameters  :
1750  *          1  :  csp = Current client state (buffers, headers, etc...)
1751  *          2  :  header = On input, pointer to header to modify.
1752  *                On output, pointer to the modified header, or NULL
1753  *                to remove the header.  This function frees the
1754  *                original string if necessary.
1755  *
1756  * Returns     :  JB_ERR_OK.
1757  *
1758  *********************************************************************/
1759 static jb_err proxy_authentication(struct client_state *csp, char **header)
1760 {
1761    if ((csp->config->feature_flags &
1762       RUNTIME_FEATURE_FORWARD_PROXY_AUTHENTICATION_HEADERS) == 0) {
1763       log_error(LOG_LEVEL_HEADER,
1764          "Forwarding proxy authentication headers is disabled. Crunching: %s", *header);
1765       freez(*header);
1766    }
1767    return JB_ERR_OK;
1768 }
1769
1770
1771 /*********************************************************************
1772  *
1773  * Function    :  client_keep_alive
1774  *
1775  * Description :  Stores the client's keep alive timeout.
1776  *
1777  * Parameters  :
1778  *          1  :  csp = Current client state (buffers, headers, etc...)
1779  *          2  :  header = On input, pointer to header to modify.
1780  *                On output, pointer to the modified header, or NULL
1781  *                to remove the header.  This function frees the
1782  *                original string if necessary.
1783  *
1784  * Returns     :  JB_ERR_OK.
1785  *
1786  *********************************************************************/
1787 static jb_err client_keep_alive(struct client_state *csp, char **header)
1788 {
1789    unsigned int keep_alive_timeout;
1790    char *timeout_position;
1791
1792    if (!(csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE))
1793    {
1794       log_error(LOG_LEVEL_HEADER,
1795          "keep-alive support is disabled. Crunching: %s.", *header);
1796       freez(*header);
1797       return JB_ERR_OK;
1798    }
1799
1800    /* Check for parameter-less format "Keep-Alive: 100" */
1801    timeout_position = strstr(*header, ": ");
1802    if ((NULL == timeout_position)
1803     || (1 != sscanf(timeout_position, ": %u", &keep_alive_timeout)))
1804    {
1805       /* Assume parameter format "Keep-Alive: timeout=100" */
1806       timeout_position = strstr(*header, "timeout=");
1807       if ((NULL == timeout_position)
1808          || (1 != sscanf(timeout_position, "timeout=%u", &keep_alive_timeout)))
1809       {
1810          log_error(LOG_LEVEL_HEADER,
1811             "Couldn't parse: '%s'. Using default timeout %u",
1812             *header, csp->config->keep_alive_timeout);
1813          freez(*header);
1814
1815          return JB_ERR_OK;
1816       }
1817    }
1818
1819    if (keep_alive_timeout < csp->config->keep_alive_timeout)
1820    {
1821       log_error(LOG_LEVEL_HEADER,
1822          "Reducing keep-alive timeout from %u to %u.",
1823          csp->config->keep_alive_timeout, keep_alive_timeout);
1824       csp->server_connection.keep_alive_timeout = keep_alive_timeout;
1825    }
1826    else
1827    {
1828       /* XXX: Is this log worthy? */
1829       log_error(LOG_LEVEL_HEADER,
1830          "Client keep-alive timeout is %u. Sticking with %u.",
1831          keep_alive_timeout, csp->config->keep_alive_timeout);
1832       freez(*header);
1833    }
1834
1835    return JB_ERR_OK;
1836 }
1837
1838
1839 /*********************************************************************
1840  *
1841  * Function    :  get_content_length
1842  *
1843  * Description :  Gets the content length specified in a
1844  *                Content-Length header.
1845  *
1846  * Parameters  :
1847  *          1  :  header_value = The Content-Length header value.
1848  *          2  :  length = Storage to return the value.
1849  *
1850  * Returns     :  JB_ERR_OK on success, or
1851  *                JB_ERR_PARSE if no value is recognized.
1852  *
1853  *********************************************************************/
1854 static jb_err get_content_length(const char *header_value, unsigned long long *length)
1855 {
1856 #ifdef _WIN32
1857 #if SIZEOF_LONG_LONG < 8
1858 #error sizeof(unsigned long long) too small
1859 #endif
1860    if (1 != sscanf(header_value, "%I64u", length))
1861 #else
1862    if (1 != sscanf(header_value, "%llu", length))
1863 #endif
1864    {
1865       return JB_ERR_PARSE;
1866    }
1867
1868    return JB_ERR_OK;
1869 }
1870
1871
1872 /*********************************************************************
1873  *
1874  * Function    :  client_save_content_length
1875  *
1876  * Description :  Save the Content-Length sent by the client.
1877  *
1878  * Parameters  :
1879  *          1  :  csp = Current client state (buffers, headers, etc...)
1880  *          2  :  header = On input, pointer to header to modify.
1881  *                On output, pointer to the modified header, or NULL
1882  *                to remove the header.  This function frees the
1883  *                original string if necessary.
1884  *
1885  * Returns     :  JB_ERR_OK on success, or
1886  *                JB_ERR_MEMORY on out-of-memory error.
1887  *
1888  *********************************************************************/
1889 static jb_err client_save_content_length(struct client_state *csp, char **header)
1890 {
1891    unsigned long long content_length = 0;
1892    const char *header_value;
1893
1894    assert(*(*header+14) == ':');
1895
1896    header_value = *header + 15;
1897    if (JB_ERR_OK != get_content_length(header_value, &content_length))
1898    {
1899       log_error(LOG_LEVEL_ERROR, "Crunching invalid header: %s", *header);
1900       freez(*header);
1901    }
1902    else
1903    {
1904       csp->expected_client_content_length = content_length;
1905    }
1906
1907    return JB_ERR_OK;
1908 }
1909 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
1910
1911
1912
1913 /*********************************************************************
1914  *
1915  * Function    :  client_connection
1916  *
1917  * Description :  Makes sure a proper "Connection:" header is
1918  *                set and signals connection_header_adder
1919  *                to do nothing.
1920  *
1921  * Parameters  :
1922  *          1  :  csp = Current client state (buffers, headers, etc...)
1923  *          2  :  header = On input, pointer to header to modify.
1924  *                On output, pointer to the modified header, or NULL
1925  *                to remove the header.  This function frees the
1926  *                original string if necessary.
1927  *
1928  * Returns     :  JB_ERR_OK on success.
1929  *
1930  *********************************************************************/
1931 static jb_err client_connection(struct client_state *csp, char **header)
1932 {
1933    static const char connection_close[] = "Connection: close";
1934
1935    if (!strcmpic(*header, connection_close))
1936    {
1937 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1938       if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING)
1939         && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED))
1940       {
1941           if (!strcmpic(csp->http->ver, "HTTP/1.1"))
1942           {
1943              log_error(LOG_LEVEL_HEADER,
1944                 "Removing \'%s\' to imply keep-alive.", *header);
1945              freez(*header);
1946              /*
1947               * While we imply keep-alive to the server,
1948               * we have to remember that the client didn't.
1949               */
1950              csp->flags &= ~CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
1951           }
1952           else
1953           {
1954              char *old_header = *header;
1955
1956              *header = strdup_or_die("Connection: keep-alive");
1957              log_error(LOG_LEVEL_HEADER,
1958                 "Replaced: \'%s\' with \'%s\'", old_header, *header);
1959              freez(old_header);
1960           }
1961       }
1962       else
1963       {
1964          log_error(LOG_LEVEL_HEADER,
1965             "Keeping the client header '%s' around. "
1966             "The connection will not be kept alive.",
1967             *header);
1968          csp->flags &= ~CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
1969       }
1970    }
1971    else if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
1972         && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED))
1973    {
1974       log_error(LOG_LEVEL_HEADER,
1975          "Keeping the client header '%s' around. "
1976          "The server connection will be kept alive if possible.",
1977          *header);
1978       csp->flags |= CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
1979 #endif  /* def FEATURE_CONNECTION_KEEP_ALIVE */
1980    }
1981    else
1982    {
1983       char *old_header = *header;
1984
1985       *header = strdup_or_die(connection_close);
1986       log_error(LOG_LEVEL_HEADER,
1987          "Replaced: \'%s\' with \'%s\'", old_header, *header);
1988       freez(old_header);
1989    }
1990
1991    /* Signal client_connection_header_adder() to return early. */
1992    csp->flags |= CSP_FLAG_CLIENT_CONNECTION_HEADER_SET;
1993
1994    return JB_ERR_OK;
1995 }
1996
1997
1998 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
1999 /*********************************************************************
2000  *
2001  * Function    :  client_proxy_connection
2002  *
2003  * Description :  Sets the CLIENT_CONNECTION_KEEP_ALIVE flag when
2004  *                appropriate and removes the Proxy-Connection
2005  *                header.
2006  *
2007  * Parameters  :
2008  *          1  :  csp = Current client state (buffers, headers, etc...)
2009  *          2  :  header = On input, pointer to header to modify.
2010  *                On output, pointer to the modified header, or NULL
2011  *                to remove the header.  This function frees the
2012  *                original string if necessary.
2013  *
2014  * Returns     :  JB_ERR_OK
2015  *
2016  *********************************************************************/
2017 static jb_err client_proxy_connection(struct client_state *csp, char **header)
2018 {
2019    if (0 == (csp->flags & CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE)
2020       && (csp->http->ssl == 0)
2021       && (NULL == strstr(*header, "close")))
2022    {
2023       log_error(LOG_LEVEL_HEADER,
2024          "The client connection can be kept alive due to: %s", *header);
2025       csp->flags |= CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
2026    }
2027    crumble(csp, header);
2028
2029    return JB_ERR_OK;
2030 }
2031 #endif  /* def FEATURE_CONNECTION_KEEP_ALIVE */
2032
2033
2034 /*********************************************************************
2035  *
2036  * Function    :  client_transfer_encoding
2037  *
2038  * Description :  Raise the CSP_FLAG_CHUNKED_CLIENT_BODY flag if
2039  *                the request body is "chunked"
2040  *
2041  *                XXX: Currently not called through sed() as we
2042  *                     need the flag earlier on. Should be fixed.
2043  *
2044  * Parameters  :
2045  *          1  :  csp = Current client state (buffers, headers, etc...)
2046  *          2  :  header = On input, pointer to header to modify.
2047  *                On output, pointer to the modified header, or NULL
2048  *                to remove the header.  This function frees the
2049  *                original string if necessary.
2050  *
2051  * Returns     :  JB_ERR_OK on success, or
2052  *
2053  *********************************************************************/
2054 jb_err client_transfer_encoding(struct client_state *csp, char **header)
2055 {
2056    if (strstr(*header, "chunked"))
2057    {
2058       csp->flags |= CSP_FLAG_CHUNKED_CLIENT_BODY;
2059       log_error(LOG_LEVEL_HEADER, "Expecting chunked client body");
2060    }
2061
2062    return JB_ERR_OK;
2063 }
2064
2065
2066 /*********************************************************************
2067  *
2068  * Function    :  client_expect
2069  *
2070  * Description :  Raise the CSP_FLAG_UNSUPPORTED_CLIENT_EXPECTATION
2071  *                if the Expect header value is unsupported.
2072  *
2073  *                Rejecting unsupported expectations is a RFC 7231 5.1.1
2074  *                MAY and a RFC 2616 (obsolete) MUST.
2075  *
2076  * Parameters  :
2077  *          1  :  csp = Current client state (buffers, headers, etc...)
2078  *          2  :  header = On input, pointer to header to modify.
2079  *                On output, pointer to the modified header, or NULL
2080  *                to remove the header.  This function frees the
2081  *                original string if necessary.
2082  *
2083  * Returns     :  JB_ERR_OK on success, or
2084  *
2085  *********************************************************************/
2086 jb_err client_expect(struct client_state *csp, char **header)
2087 {
2088    if (0 != strcmpic(*header, "Expect: 100-continue"))
2089    {
2090       csp->flags |= CSP_FLAG_UNSUPPORTED_CLIENT_EXPECTATION;
2091       log_error(LOG_LEVEL_HEADER,
2092          "Unsupported client expectaction: %s", *header);
2093    }
2094
2095    return JB_ERR_OK;
2096
2097 }
2098
2099
2100 /*********************************************************************
2101  *
2102  * Function    :  crumble
2103  *
2104  * Description :  This is called if a header matches a pattern to "crunch"
2105  *
2106  * Parameters  :
2107  *          1  :  csp = Current client state (buffers, headers, etc...)
2108  *          2  :  header = On input, pointer to header to modify.
2109  *                On output, pointer to the modified header, or NULL
2110  *                to remove the header.  This function frees the
2111  *                original string if necessary.
2112  *
2113  * Returns     :  JB_ERR_OK on success, or
2114  *                JB_ERR_MEMORY on out-of-memory error.
2115  *
2116  *********************************************************************/
2117 static jb_err crumble(struct client_state *csp, char **header)
2118 {
2119    (void)csp;
2120    log_error(LOG_LEVEL_HEADER, "crumble crunched: %s!", *header);
2121    freez(*header);
2122    return JB_ERR_OK;
2123 }
2124
2125
2126 /*********************************************************************
2127  *
2128  * Function    :  crunch_server_header
2129  *
2130  * Description :  Crunch server header if it matches a string supplied by the
2131  *                user. Called from `sed'.
2132  *
2133  * Parameters  :
2134  *          1  :  csp = Current client state (buffers, headers, etc...)
2135  *          2  :  header = On input, pointer to header to modify.
2136  *                On output, pointer to the modified header, or NULL
2137  *                to remove the header.  This function frees the
2138  *                original string if necessary.
2139  *
2140  * Returns     :  JB_ERR_OK on success and always succeeds
2141  *
2142  *********************************************************************/
2143 static jb_err crunch_server_header(struct client_state *csp, char **header)
2144 {
2145    const char *crunch_pattern;
2146
2147    /* Do we feel like crunching? */
2148    if ((csp->action->flags & ACTION_CRUNCH_SERVER_HEADER))
2149    {
2150       crunch_pattern = csp->action->string[ACTION_STRING_SERVER_HEADER];
2151
2152       /* Is the current header the lucky one? */
2153       if (strstr(*header, crunch_pattern))
2154       {
2155          log_error(LOG_LEVEL_HEADER, "Crunching server header: %s (contains: %s)", *header, crunch_pattern);
2156          freez(*header);
2157       }
2158    }
2159
2160    return JB_ERR_OK;
2161 }
2162
2163
2164 /*********************************************************************
2165  *
2166  * Function    :  server_content_type
2167  *
2168  * Description :  Set the content-type for filterable types (text/.*,
2169  *                .*xml.*, .*script.* and image/gif) unless filtering has been
2170  *                forbidden (CT_TABOO) while parsing earlier headers.
2171  *                NOTE: Since text/plain is commonly used by web servers
2172  *                      for files whose correct type is unknown, we don't
2173  *                      set CT_TEXT for it.
2174  *
2175  * Parameters  :
2176  *          1  :  csp = Current client state (buffers, headers, etc...)
2177  *          2  :  header = On input, pointer to header to modify.
2178  *                On output, pointer to the modified header, or NULL
2179  *                to remove the header.  This function frees the
2180  *                original string if necessary.
2181  *
2182  * Returns     :  JB_ERR_OK on success, or
2183  *                JB_ERR_MEMORY on out-of-memory error.
2184  *
2185  *********************************************************************/
2186 static jb_err server_content_type(struct client_state *csp, char **header)
2187 {
2188    /* Remove header if it isn't the first Content-Type header */
2189    if ((csp->content_type & CT_DECLARED))
2190    {
2191       if (content_filters_enabled(csp->action))
2192       {
2193          /*
2194           * Making sure the client interprets the content the same way
2195           * Privoxy did is only relevant if Privoxy modified it.
2196           *
2197           * Checking for this is "hard" as it's not yet known when
2198           * this function is called, thus go shopping and and just
2199           * check if Privoxy could filter it.
2200           *
2201           * The main thing is that we don't mess with the headers
2202           * unless the user signalled that it's acceptable.
2203           */
2204          log_error(LOG_LEVEL_HEADER,
2205             "Multiple Content-Type headers detected. "
2206             "Removing and ignoring: %s",
2207             *header);
2208          freez(*header);
2209       }
2210       return JB_ERR_OK;
2211    }
2212
2213    /*
2214     * Signal that the Content-Type has been set.
2215     */
2216    csp->content_type |= CT_DECLARED;
2217
2218    if (!(csp->content_type & CT_TABOO))
2219    {
2220       /*
2221        * XXX: The assumption that text/plain is a sign of
2222        * binary data seems to be somewhat unreasonable nowadays
2223        * and should be dropped after 3.0.8 is out.
2224        */
2225       if ((strstr(*header, "text/") && !strstr(*header, "plain"))
2226         || strstr(*header, "xml")
2227         || strstr(*header, "script"))
2228       {
2229          csp->content_type |= CT_TEXT;
2230       }
2231       else if (strstr(*header, "image/gif"))
2232       {
2233          csp->content_type |= CT_GIF;
2234       }
2235    }
2236
2237    /*
2238     * Are we messing with the content type?
2239     */
2240    if (csp->action->flags & ACTION_CONTENT_TYPE_OVERWRITE)
2241    {
2242       /*
2243        * Make sure the user doesn't accidentally
2244        * change the content type of binary documents.
2245        */
2246       if ((csp->content_type & CT_TEXT) || (csp->action->flags & ACTION_FORCE_TEXT_MODE))
2247       {
2248          jb_err err;
2249          freez(*header);
2250          *header = strdup_or_die("Content-Type: ");
2251
2252          err = string_append(header, csp->action->string[ACTION_STRING_CONTENT_TYPE]);
2253          if (JB_ERR_OK != err)
2254          {
2255             log_error(LOG_LEVEL_HEADER, "Insufficient memory to replace Content-Type!");
2256             return JB_ERR_MEMORY;
2257          }
2258          log_error(LOG_LEVEL_HEADER, "Modified: %s!", *header);
2259       }
2260       else
2261       {
2262          log_error(LOG_LEVEL_HEADER, "%s not replaced. "
2263             "It doesn't look like a content type that should be filtered. "
2264             "Enable force-text-mode if you know what you're doing.", *header);
2265       }
2266    }
2267
2268    return JB_ERR_OK;
2269 }
2270
2271
2272 /*********************************************************************
2273  *
2274  * Function    :  server_transfer_coding
2275  *
2276  * Description :  - Prohibit filtering (CT_TABOO) if transfer coding compresses
2277  *                - Raise the CSP_FLAG_CHUNKED flag if coding is "chunked"
2278  *                - Remove header if body was chunked but has been
2279  *                  de-chunked for filtering.
2280  *
2281  * Parameters  :
2282  *          1  :  csp = Current client state (buffers, headers, etc...)
2283  *          2  :  header = On input, pointer to header to modify.
2284  *                On output, pointer to the modified header, or NULL
2285  *                to remove the header.  This function frees the
2286  *                original string if necessary.
2287  *
2288  * Returns     :  JB_ERR_OK on success, or
2289  *                JB_ERR_MEMORY on out-of-memory error.
2290  *
2291  *********************************************************************/
2292 static jb_err server_transfer_coding(struct client_state *csp, char **header)
2293 {
2294    /*
2295     * Turn off pcrs and gif filtering if body compressed
2296     */
2297    if (strstr(*header, "gzip") || strstr(*header, "compress") || strstr(*header, "deflate"))
2298    {
2299 #ifdef FEATURE_ZLIB
2300       /*
2301        * XXX: Added to test if we could use CT_GZIP and CT_DEFLATE here.
2302        */
2303       log_error(LOG_LEVEL_INFO, "Marking content type for %s as CT_TABOO because of %s.",
2304          csp->http->cmd, *header);
2305 #endif /* def FEATURE_ZLIB */
2306       csp->content_type = CT_TABOO;
2307    }
2308
2309    /*
2310     * Raise flag if body chunked
2311     */
2312    if (strstr(*header, "chunked"))
2313    {
2314       csp->flags |= CSP_FLAG_CHUNKED;
2315
2316       /*
2317        * If the body was modified, it has been de-chunked first
2318        * and the header must be removed.
2319        *
2320        * FIXME: If there is more than one transfer encoding,
2321        * only the "chunked" part should be removed here.
2322        */
2323       if (csp->flags & CSP_FLAG_MODIFIED)
2324       {
2325          log_error(LOG_LEVEL_HEADER, "Removing: %s", *header);
2326          freez(*header);
2327       }
2328    }
2329
2330    return JB_ERR_OK;
2331 }
2332
2333
2334 /*********************************************************************
2335  *
2336  * Function    :  server_content_encoding
2337  *
2338  * Description :  Used to check if the content is compressed, and if
2339  *                FEATURE_ZLIB is disabled, filtering is disabled as
2340  *                well.
2341  *
2342  *                If FEATURE_ZLIB is enabled and the compression type
2343  *                supported, the content is marked for decompression.
2344  *
2345  *                XXX: Doesn't properly deal with multiple or with
2346  *                     unsupported but unknown encodings.
2347  *                     Is case-sensitive but shouldn't be.
2348  *
2349  * Parameters  :
2350  *          1  :  csp = Current client state (buffers, headers, etc...)
2351  *          2  :  header = On input, pointer to header to modify.
2352  *                On output, pointer to the modified header, or NULL
2353  *                to remove the header.  This function frees the
2354  *                original string if necessary.
2355  *
2356  * Returns     :  JB_ERR_OK on success, or
2357  *                JB_ERR_MEMORY on out-of-memory error.
2358  *
2359  *********************************************************************/
2360 static jb_err server_content_encoding(struct client_state *csp, char **header)
2361 {
2362 #ifdef FEATURE_ZLIB
2363    if (strstr(*header, "sdch"))
2364    {
2365       /*
2366        * Shared Dictionary Compression over HTTP isn't supported,
2367        * filtering it anyway is pretty much guaranteed to mess up
2368        * the encoding.
2369        */
2370       csp->content_type |= CT_TABOO;
2371
2372       /*
2373        * Log a warning if the user expects the content to be filtered.
2374        */
2375       if (content_filters_enabled(csp->action))
2376       {
2377          log_error(LOG_LEVEL_INFO,
2378             "SDCH-compressed content detected, content filtering disabled. "
2379             "Consider suppressing SDCH offers made by the client.");
2380       }
2381    }
2382    else if (strstr(*header, "gzip"))
2383    {
2384       /* Mark for gzip decompression */
2385       csp->content_type |= CT_GZIP;
2386    }
2387    else if (strstr(*header, "deflate"))
2388    {
2389       /* Mark for zlib decompression */
2390       csp->content_type |= CT_DEFLATE;
2391    }
2392    else if (strstr(*header, "compress"))
2393    {
2394       /*
2395        * We can't decompress this; therefore we can't filter
2396        * it either.
2397        */
2398       csp->content_type |= CT_TABOO;
2399    }
2400 #else /* !defined(FEATURE_ZLIB) */
2401    /*
2402     * XXX: Using a black list here isn't the right approach.
2403     *
2404     *      In case of SDCH, building with zlib support isn't
2405     *      going to help.
2406     */
2407    if (strstr(*header, "gzip") ||
2408        strstr(*header, "compress") ||
2409        strstr(*header, "deflate") ||
2410        strstr(*header, "sdch"))
2411    {
2412       /*
2413        * Body is compressed, turn off pcrs and gif filtering.
2414        */
2415       csp->content_type |= CT_TABOO;
2416
2417       /*
2418        * Log a warning if the user expects the content to be filtered.
2419        */
2420       if (content_filters_enabled(csp->action))
2421       {
2422          log_error(LOG_LEVEL_INFO,
2423             "Compressed content detected, content filtering disabled. "
2424             "Consider recompiling Privoxy with zlib support or "
2425             "enable the prevent-compression action.");
2426       }
2427    }
2428 #endif /* defined(FEATURE_ZLIB) */
2429
2430    return JB_ERR_OK;
2431
2432 }
2433
2434
2435 #ifdef FEATURE_ZLIB
2436 /*********************************************************************
2437  *
2438  * Function    :  server_adjust_content_encoding
2439  *
2440  * Description :  Remove the Content-Encoding header if the
2441  *                decompression was successful and the content
2442  *                has been modifed.
2443  *
2444  * Parameters  :
2445  *          1  :  csp = Current client state (buffers, headers, etc...)
2446  *          2  :  header = On input, pointer to header to modify.
2447  *                On output, pointer to the modified header, or NULL
2448  *                to remove the header.  This function frees the
2449  *                original string if necessary.
2450  *
2451  * Returns     :  JB_ERR_OK on success, or
2452  *                JB_ERR_MEMORY on out-of-memory error.
2453  *
2454  *********************************************************************/
2455 static jb_err server_adjust_content_encoding(struct client_state *csp, char **header)
2456 {
2457    if ((csp->flags & CSP_FLAG_MODIFIED)
2458     && (csp->content_type & (CT_GZIP | CT_DEFLATE)))
2459    {
2460       /*
2461        * We successfully decompressed the content,
2462        * and have to clean the header now, so the
2463        * client no longer expects compressed data.
2464        *
2465        * XXX: There is a difference between cleaning
2466        * and removing it completely.
2467        */
2468       log_error(LOG_LEVEL_HEADER, "Crunching: %s", *header);
2469       freez(*header);
2470    }
2471
2472    return JB_ERR_OK;
2473
2474 }
2475 #endif /* defined(FEATURE_ZLIB) */
2476
2477
2478 /*********************************************************************
2479  *
2480  * Function    :  server_adjust_content_length
2481  *
2482  * Description :  Adjust Content-Length header if we modified
2483  *                the body.
2484  *
2485  * Parameters  :
2486  *          1  :  csp = Current client state (buffers, headers, etc...)
2487  *          2  :  header = On input, pointer to header to modify.
2488  *                On output, pointer to the modified header, or NULL
2489  *                to remove the header.  This function frees the
2490  *                original string if necessary.
2491  *
2492  * Returns     :  JB_ERR_OK on success, or
2493  *                JB_ERR_MEMORY on out-of-memory error.
2494  *
2495  *********************************************************************/
2496 static jb_err server_adjust_content_length(struct client_state *csp, char **header)
2497 {
2498    /* Regenerate header if the content was modified. */
2499    if (csp->flags & CSP_FLAG_MODIFIED)
2500    {
2501       const size_t header_length = 50;
2502       freez(*header);
2503       *header = malloc(header_length);
2504       if (*header == NULL)
2505       {
2506          return JB_ERR_MEMORY;
2507       }
2508       create_content_length_header(csp->content_length, *header, header_length);
2509       log_error(LOG_LEVEL_HEADER,
2510          "Adjusted Content-Length to %llu", csp->content_length);
2511    }
2512
2513    return JB_ERR_OK;
2514 }
2515
2516
2517 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
2518 /*********************************************************************
2519  *
2520  * Function    :  server_save_content_length
2521  *
2522  * Description :  Save the Content-Length sent by the server.
2523  *
2524  * Parameters  :
2525  *          1  :  csp = Current client state (buffers, headers, etc...)
2526  *          2  :  header = On input, pointer to header to modify.
2527  *                On output, pointer to the modified header, or NULL
2528  *                to remove the header.  This function frees the
2529  *                original string if necessary.
2530  *
2531  * Returns     :  JB_ERR_OK on success, or
2532  *                JB_ERR_MEMORY on out-of-memory error.
2533  *
2534  *********************************************************************/
2535 static jb_err server_save_content_length(struct client_state *csp, char **header)
2536 {
2537    unsigned long long content_length = 0;
2538    const char *header_value;
2539
2540    assert(*(*header+14) == ':');
2541
2542    header_value = *header + 15;
2543    if (JB_ERR_OK != get_content_length(header_value, &content_length))
2544    {
2545       log_error(LOG_LEVEL_ERROR, "Crunching invalid header: %s", *header);
2546       freez(*header);
2547    }
2548    else
2549    {
2550       csp->expected_content_length = content_length;
2551       csp->flags |= CSP_FLAG_SERVER_CONTENT_LENGTH_SET;
2552       csp->flags |= CSP_FLAG_CONTENT_LENGTH_SET;
2553    }
2554
2555    return JB_ERR_OK;
2556 }
2557 #endif /* def FEATURE_CONNECTION_KEEP_ALIVE */
2558
2559
2560 /*********************************************************************
2561  *
2562  * Function    :  server_content_md5
2563  *
2564  * Description :  Crumble any Content-MD5 headers if the document was
2565  *                modified. FIXME: Should we re-compute instead?
2566  *
2567  * Parameters  :
2568  *          1  :  csp = Current client state (buffers, headers, etc...)
2569  *          2  :  header = On input, pointer to header to modify.
2570  *                On output, pointer to the modified header, or NULL
2571  *                to remove the header.  This function frees the
2572  *                original string if necessary.
2573  *
2574  * Returns     :  JB_ERR_OK on success, or
2575  *                JB_ERR_MEMORY on out-of-memory error.
2576  *
2577  *********************************************************************/
2578 static jb_err server_content_md5(struct client_state *csp, char **header)
2579 {
2580    if (csp->flags & CSP_FLAG_MODIFIED)
2581    {
2582       log_error(LOG_LEVEL_HEADER, "Crunching Content-MD5");
2583       freez(*header);
2584    }
2585
2586    return JB_ERR_OK;
2587 }
2588
2589
2590 /*********************************************************************
2591  *
2592  * Function    :  server_content_disposition
2593  *
2594  * Description :  If enabled, blocks or modifies the "Content-Disposition" header.
2595  *                Called from `sed'.
2596  *
2597  * Parameters  :
2598  *          1  :  csp = Current client state (buffers, headers, etc...)
2599  *          2  :  header = On input, pointer to header to modify.
2600  *                On output, pointer to the modified header, or NULL
2601  *                to remove the header.  This function frees the
2602  *                original string if necessary.
2603  *
2604  * Returns     :  JB_ERR_OK on success, or
2605  *                JB_ERR_MEMORY on out-of-memory error.
2606  *
2607  *********************************************************************/
2608 static jb_err server_content_disposition(struct client_state *csp, char **header)
2609 {
2610    const char *newval;
2611
2612    /*
2613     * Are we messing with the Content-Disposition header?
2614     */
2615    if ((csp->action->flags & ACTION_HIDE_CONTENT_DISPOSITION) == 0)
2616    {
2617       /* Me tinks not */
2618       return JB_ERR_OK;
2619    }
2620
2621    newval = csp->action->string[ACTION_STRING_CONTENT_DISPOSITION];
2622
2623    if ((newval == NULL) || (0 == strcmpic(newval, "block")))
2624    {
2625       /*
2626        * Blocking content-disposition header
2627        */
2628       log_error(LOG_LEVEL_HEADER, "Crunching %s!", *header);
2629       freez(*header);
2630       return JB_ERR_OK;
2631    }
2632    else
2633    {
2634       /*
2635        * Replacing Content-Disposition header
2636        */
2637       freez(*header);
2638       *header = strdup("Content-Disposition: ");
2639       string_append(header, newval);
2640
2641       if (*header != NULL)
2642       {
2643          log_error(LOG_LEVEL_HEADER,
2644             "Content-Disposition header crunched and replaced with: %s", *header);
2645       }
2646    }
2647    return (*header == NULL) ? JB_ERR_MEMORY : JB_ERR_OK;
2648 }
2649
2650
2651 /*********************************************************************
2652  *
2653  * Function    :  server_last_modified
2654  *
2655  * Description :  Changes Last-Modified header to the actual date
2656  *                to help hide-if-modified-since.
2657  *                Called from `sed'.
2658  *
2659  * Parameters  :
2660  *          1  :  csp = Current client state (buffers, headers, etc...)
2661  *          2  :  header = On input, pointer to header to modify.
2662  *                On output, pointer to the modified header, or NULL
2663  *                to remove the header.  This function frees the
2664  *                original string if necessary.
2665  *
2666  * Returns     :  JB_ERR_OK on success, or
2667  *                JB_ERR_MEMORY on out-of-memory error.
2668  *
2669  *********************************************************************/
2670 static jb_err server_last_modified(struct client_state *csp, char **header)
2671 {
2672    const char *newval;
2673    time_t last_modified;
2674    char newheader[50];
2675
2676    /*
2677     * Are we messing with the Last-Modified header?
2678     */
2679    if ((csp->action->flags & ACTION_OVERWRITE_LAST_MODIFIED) == 0)
2680    {
2681       /*Nope*/
2682       return JB_ERR_OK;
2683    }
2684
2685    newval = csp->action->string[ACTION_STRING_LAST_MODIFIED];
2686
2687    if (0 == strcmpic(newval, "block"))
2688    {
2689       /*
2690        * Blocking Last-Modified header. Useless but why not.
2691        */
2692       log_error(LOG_LEVEL_HEADER, "Crunching %s!", *header);
2693       freez(*header);
2694       return JB_ERR_OK;
2695    }
2696    else if (0 == strcmpic(newval, "reset-to-request-time"))
2697    {
2698       /*
2699        * Setting Last-Modified Header to now.
2700        */
2701       char buf[30];
2702       get_http_time(0, buf, sizeof(buf));
2703       freez(*header);
2704       *header = strdup("Last-Modified: ");
2705       string_append(header, buf);
2706
2707       if (*header == NULL)
2708       {
2709          log_error(LOG_LEVEL_HEADER, "Insufficient memory. Last-Modified header got lost, boohoo.");
2710       }
2711       else
2712       {
2713          log_error(LOG_LEVEL_HEADER, "Reset to present time: %s", *header);
2714       }
2715    }
2716    else if (0 == strcmpic(newval, "randomize"))
2717    {
2718       log_error(LOG_LEVEL_HEADER, "Randomizing: %s", *header);
2719
2720       if (JB_ERR_OK != parse_time_header(*header, &last_modified))
2721       {
2722          log_error(LOG_LEVEL_HEADER,
2723             "Couldn't parse time in %s (crunching!)", *header);
2724          freez(*header);
2725       }
2726       else
2727       {
2728          time_t now;
2729          struct tm *timeptr = NULL;
2730          long int rtime;
2731 #ifdef HAVE_GMTIME_R
2732          struct tm gmt;
2733 #endif
2734          now = time(NULL);
2735          rtime = (long int)difftime(now, last_modified);
2736          if (rtime)
2737          {
2738             long int days, hours, minutes, seconds;
2739             const int negative_delta = (rtime < 0);
2740
2741             if (negative_delta)
2742             {
2743                rtime *= -1;
2744                log_error(LOG_LEVEL_HEADER, "Server time in the future.");
2745             }
2746             rtime = pick_from_range(rtime);
2747             if (negative_delta)
2748             {
2749                rtime *= -1;
2750             }
2751             last_modified += rtime;
2752 #ifdef HAVE_GMTIME_R
2753             timeptr = gmtime_r(&last_modified, &gmt);
2754 #elif defined(MUTEX_LOCKS_AVAILABLE)
2755             privoxy_mutex_lock(&gmtime_mutex);
2756             timeptr = gmtime(&last_modified);
2757             privoxy_mutex_unlock(&gmtime_mutex);
2758 #else
2759             timeptr = gmtime(&last_modified);
2760 #endif
2761             if ((NULL == timeptr) || !strftime(newheader,
2762                   sizeof(newheader), "%a, %d %b %Y %H:%M:%S GMT", timeptr))
2763             {
2764                log_error(LOG_LEVEL_ERROR,
2765                   "Randomizing '%s' failed. Crunching the header without replacement.",
2766                   *header);
2767                freez(*header);
2768                return JB_ERR_OK;
2769             }
2770
2771             freez(*header);
2772             *header = strdup("Last-Modified: ");
2773             string_append(header, newheader);
2774
2775             if (*header == NULL)
2776             {
2777                log_error(LOG_LEVEL_ERROR, "Insufficient memory, header crunched without replacement.");
2778                return JB_ERR_MEMORY;
2779             }
2780
2781             days    = rtime / (3600 * 24);
2782             hours   = rtime / 3600 % 24;
2783             minutes = rtime / 60 % 60;
2784             seconds = rtime % 60;
2785
2786             log_error(LOG_LEVEL_HEADER,
2787                "Randomized:  %s (added %d da%s %d hou%s %d minut%s %d second%s",
2788                *header, days, (days == 1) ? "y" : "ys", hours, (hours == 1) ? "r" : "rs",
2789                minutes, (minutes == 1) ? "e" : "es", seconds, (seconds == 1) ? ")" : "s)");
2790          }
2791          else
2792          {
2793             log_error(LOG_LEVEL_HEADER, "Randomized ... or not. No time difference to work with.");
2794          }
2795       }
2796    }
2797
2798    return JB_ERR_OK;
2799 }
2800
2801
2802 /*********************************************************************
2803  *
2804  * Function    :  client_accept_encoding
2805  *
2806  * Description :  Rewrite the client's Accept-Encoding header so that
2807  *                if doesn't allow compression, if the action applies.
2808  *                Note: For HTTP/1.0 the absence of the header is enough.
2809  *
2810  * Parameters  :
2811  *          1  :  csp = Current client state (buffers, headers, etc...)
2812  *          2  :  header = On input, pointer to header to modify.
2813  *                On output, pointer to the modified header, or NULL
2814  *                to remove the header.  This function frees the
2815  *                original string if necessary.
2816  *
2817  * Returns     :  JB_ERR_OK on success, or
2818  *                JB_ERR_MEMORY on out-of-memory error.
2819  *
2820  *********************************************************************/
2821 static jb_err client_accept_encoding(struct client_state *csp, char **header)
2822 {
2823 #ifdef FEATURE_COMPRESSION
2824    if ((csp->config->feature_flags & RUNTIME_FEATURE_COMPRESSION)
2825       && strstr(*header, "deflate"))
2826    {
2827       csp->flags |= CSP_FLAG_CLIENT_SUPPORTS_DEFLATE;
2828    }
2829 #endif
2830    if ((csp->action->flags & ACTION_NO_COMPRESSION) != 0)
2831    {
2832       log_error(LOG_LEVEL_HEADER, "Suppressed offer to compress content");
2833       freez(*header);
2834    }
2835
2836    return JB_ERR_OK;
2837 }
2838
2839
2840 /*********************************************************************
2841  *
2842  * Function    :  client_te
2843  *
2844  * Description :  Rewrite the client's TE header so that
2845  *                if doesn't allow compression, if the action applies.
2846  *
2847  * Parameters  :
2848  *          1  :  csp = Current client state (buffers, headers, etc...)
2849  *          2  :  header = On input, pointer to header to modify.
2850  *                On output, pointer to the modified header, or NULL
2851  *                to remove the header.  This function frees the
2852  *                original string if necessary.
2853  *
2854  * Returns     :  JB_ERR_OK on success, or
2855  *                JB_ERR_MEMORY on out-of-memory error.
2856  *
2857  *********************************************************************/
2858 static jb_err client_te(struct client_state *csp, char **header)
2859 {
2860    if ((csp->action->flags & ACTION_NO_COMPRESSION) != 0)
2861    {
2862       freez(*header);
2863       log_error(LOG_LEVEL_HEADER, "Suppressed offer to compress transfer");
2864    }
2865
2866    return JB_ERR_OK;
2867 }
2868
2869
2870 /*********************************************************************
2871  *
2872  * Function    :  client_referrer
2873  *
2874  * Description :  Handle the "referer" config setting properly.
2875  *                Called from `sed'.
2876  *
2877  * Parameters  :
2878  *          1  :  csp = Current client state (buffers, headers, etc...)
2879  *          2  :  header = On input, pointer to header to modify.
2880  *                On output, pointer to the modified header, or NULL
2881  *                to remove the header.  This function frees the
2882  *                original string if necessary.
2883  *
2884  * Returns     :  JB_ERR_OK on success, or
2885  *                JB_ERR_MEMORY on out-of-memory error.
2886  *
2887  *********************************************************************/
2888 static jb_err client_referrer(struct client_state *csp, char **header)
2889 {
2890    const char *parameter;
2891    /* booleans for parameters we have to check multiple times */
2892    int parameter_conditional_block;
2893    int parameter_conditional_forge;
2894
2895 #ifdef FEATURE_FORCE_LOAD
2896    /*
2897     * Since the referrer can include the prefix even
2898     * if the request itself is non-forced, we must
2899     * clean it unconditionally.
2900     *
2901     * XXX: strclean is too broad
2902     */
2903    strclean(*header, FORCE_PREFIX);
2904 #endif /* def FEATURE_FORCE_LOAD */
2905
2906    if ((csp->action->flags & ACTION_HIDE_REFERER) == 0)
2907    {
2908       /* Nothing left to do */
2909       return JB_ERR_OK;
2910    }
2911
2912    parameter = csp->action->string[ACTION_STRING_REFERER];
2913    assert(parameter != NULL);
2914    parameter_conditional_block = (0 == strcmpic(parameter, "conditional-block"));
2915    parameter_conditional_forge = (0 == strcmpic(parameter, "conditional-forge"));
2916
2917    if (!parameter_conditional_block && !parameter_conditional_forge)
2918    {
2919       /*
2920        * As conditional-block and conditional-forge are the only
2921        * parameters that rely on the original referrer, we can
2922        * remove it now for all the others.
2923        */
2924       freez(*header);
2925    }
2926
2927    if (0 == strcmpic(parameter, "block"))
2928    {
2929       log_error(LOG_LEVEL_HEADER, "Referer crunched!");
2930       return JB_ERR_OK;
2931    }
2932    else if (parameter_conditional_block || parameter_conditional_forge)
2933    {
2934       return handle_conditional_hide_referrer_parameter(header,
2935          csp->http->hostport, parameter_conditional_block);
2936    }
2937    else if (0 == strcmpic(parameter, "forge"))
2938    {
2939       return create_forged_referrer(header, csp->http->hostport);
2940    }
2941    else
2942    {
2943       /* interpret parameter as user-supplied referer to fake */
2944       return create_fake_referrer(header, parameter);
2945    }
2946 }
2947
2948
2949 /*********************************************************************
2950  *
2951  * Function    :  client_accept_language
2952  *
2953  * Description :  Handle the "Accept-Language" config setting properly.
2954  *                Called from `sed'.
2955  *
2956  * Parameters  :
2957  *          1  :  csp = Current client state (buffers, headers, etc...)
2958  *          2  :  header = On input, pointer to header to modify.
2959  *                On output, pointer to the modified header, or NULL
2960  *                to remove the header.  This function frees the
2961  *                original string if necessary.
2962  *
2963  * Returns     :  JB_ERR_OK on success, or
2964  *                JB_ERR_MEMORY on out-of-memory error.
2965  *
2966  *********************************************************************/
2967 static jb_err client_accept_language(struct client_state *csp, char **header)
2968 {
2969    const char *newval;
2970
2971    /*
2972     * Are we messing with the Accept-Language?
2973     */
2974    if ((csp->action->flags & ACTION_HIDE_ACCEPT_LANGUAGE) == 0)
2975    {
2976       /*I don't think so*/
2977       return JB_ERR_OK;
2978    }
2979
2980    newval = csp->action->string[ACTION_STRING_LANGUAGE];
2981
2982    if ((newval == NULL) || (0 == strcmpic(newval, "block")))
2983    {
2984       /*
2985        * Blocking Accept-Language header
2986        */
2987       log_error(LOG_LEVEL_HEADER, "Crunching Accept-Language!");
2988       freez(*header);
2989       return JB_ERR_OK;
2990    }
2991    else
2992    {
2993       /*
2994        * Replacing Accept-Language header
2995        */
2996       freez(*header);
2997       *header = strdup("Accept-Language: ");
2998       string_append(header, newval);
2999
3000       if (*header == NULL)
3001       {
3002          log_error(LOG_LEVEL_ERROR,
3003             "Insufficient memory. Accept-Language header crunched without replacement.");
3004       }
3005       else
3006       {
3007          log_error(LOG_LEVEL_HEADER,
3008             "Accept-Language header crunched and replaced with: %s", *header);
3009       }
3010    }
3011    return (*header == NULL) ? JB_ERR_MEMORY : JB_ERR_OK;
3012 }
3013
3014
3015 /*********************************************************************
3016  *
3017  * Function    :  crunch_client_header
3018  *
3019  * Description :  Crunch client header if it matches a string supplied by the
3020  *                user. Called from `sed'.
3021  *
3022  * Parameters  :
3023  *          1  :  csp = Current client state (buffers, headers, etc...)
3024  *          2  :  header = On input, pointer to header to modify.
3025  *                On output, pointer to the modified header, or NULL
3026  *                to remove the header.  This function frees the
3027  *                original string if necessary.
3028  *
3029  * Returns     :  JB_ERR_OK on success and always succeeds
3030  *
3031  *********************************************************************/
3032 static jb_err crunch_client_header(struct client_state *csp, char **header)
3033 {
3034    const char *crunch_pattern;
3035
3036    /* Do we feel like crunching? */
3037    if ((csp->action->flags & ACTION_CRUNCH_CLIENT_HEADER))
3038    {
3039       crunch_pattern = csp->action->string[ACTION_STRING_CLIENT_HEADER];
3040
3041       /* Is the current header the lucky one? */
3042       if (strstr(*header, crunch_pattern))
3043       {
3044          log_error(LOG_LEVEL_HEADER, "Crunching client header: %s (contains: %s)", *header, crunch_pattern);
3045          freez(*header);
3046       }
3047    }
3048    return JB_ERR_OK;
3049 }
3050
3051
3052 /*********************************************************************
3053  *
3054  * Function    :  client_uagent
3055  *
3056  * Description :  Handle the "user-agent" config setting properly
3057  *                and remember its original value to enable browser
3058  *                bug workarounds. Called from `sed'.
3059  *
3060  * Parameters  :
3061  *          1  :  csp = Current client state (buffers, headers, etc...)
3062  *          2  :  header = On input, pointer to header to modify.
3063  *                On output, pointer to the modified header, or NULL
3064  *                to remove the header.  This function frees the
3065  *                original string if necessary.
3066  *
3067  * Returns     :  JB_ERR_OK on success, or
3068  *                JB_ERR_MEMORY on out-of-memory error.
3069  *
3070  *********************************************************************/
3071 static jb_err client_uagent(struct client_state *csp, char **header)
3072 {
3073    const char *newval;
3074
3075    if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
3076    {
3077       return JB_ERR_OK;
3078    }
3079
3080    newval = csp->action->string[ACTION_STRING_USER_AGENT];
3081    if (newval == NULL)
3082    {
3083       return JB_ERR_OK;
3084    }
3085
3086    freez(*header);
3087    *header = strdup("User-Agent: ");
3088    string_append(header, newval);
3089
3090    log_error(LOG_LEVEL_HEADER, "Modified: %s", *header);
3091
3092    return (*header == NULL) ? JB_ERR_MEMORY : JB_ERR_OK;
3093 }
3094
3095
3096 /*********************************************************************
3097  *
3098  * Function    :  client_ua
3099  *
3100  * Description :  Handle "ua-" headers properly.  Called from `sed'.
3101  *
3102  * Parameters  :
3103  *          1  :  csp = Current client state (buffers, headers, etc...)
3104  *          2  :  header = On input, pointer to header to modify.
3105  *                On output, pointer to the modified header, or NULL
3106  *                to remove the header.  This function frees the
3107  *                original string if necessary.
3108  *
3109  * Returns     :  JB_ERR_OK on success, or
3110  *                JB_ERR_MEMORY on out-of-memory error.
3111  *
3112  *********************************************************************/
3113 static jb_err client_ua(struct client_state *csp, char **header)
3114 {
3115    if ((csp->action->flags & ACTION_HIDE_USER_AGENT) != 0)
3116    {
3117       log_error(LOG_LEVEL_HEADER, "crunched User-Agent!");
3118       freez(*header);
3119    }
3120
3121    return JB_ERR_OK;
3122 }
3123
3124
3125 /*********************************************************************
3126  *
3127  * Function    :  client_from
3128  *
3129  * Description :  Handle the "from" config setting properly.
3130  *                Called from `sed'.
3131  *
3132  * Parameters  :
3133  *          1  :  csp = Current client state (buffers, headers, etc...)
3134  *          2  :  header = On input, pointer to header to modify.
3135  *                On output, pointer to the modified header, or NULL
3136  *                to remove the header.  This function frees the
3137  *                original string if necessary.
3138  *
3139  * Returns     :  JB_ERR_OK on success, or
3140  *                JB_ERR_MEMORY on out-of-memory error.
3141  *
3142  *********************************************************************/
3143 static jb_err client_from(struct client_state *csp, char **header)
3144 {
3145    const char *newval;
3146
3147    if ((csp->action->flags & ACTION_HIDE_FROM) == 0)
3148    {
3149       return JB_ERR_OK;
3150    }
3151
3152    freez(*header);
3153
3154    newval = csp->action->string[ACTION_STRING_FROM];
3155
3156    /*
3157     * Are we blocking the e-mail address?
3158     */
3159    if ((newval == NULL) || (0 == strcmpic(newval, "block")))
3160    {
3161       log_error(LOG_LEVEL_HEADER, "crunched From!");
3162       return JB_ERR_OK;
3163    }
3164
3165    log_error(LOG_LEVEL_HEADER, " modified");
3166
3167    *header = strdup("From: ");
3168    string_append(header, newval);
3169
3170    return (*header == NULL) ? JB_ERR_MEMORY : JB_ERR_OK;
3171 }
3172
3173
3174 /*********************************************************************
3175  *
3176  * Function    :  client_send_cookie
3177  *
3178  * Description :  Crunches the "cookie" header if necessary.
3179  *                Called from `sed'.
3180  *
3181  *                XXX: Stupid name, doesn't send squat.
3182  *
3183  * Parameters  :
3184  *          1  :  csp = Current client state (buffers, headers, etc...)
3185  *          2  :  header = On input, pointer to header to modify.
3186  *                On output, pointer to the modified header, or NULL
3187  *                to remove the header.  This function frees the
3188  *                original string if necessary.
3189  *
3190  * Returns     :  JB_ERR_OK on success, or
3191  *                JB_ERR_MEMORY on out-of-memory error.
3192  *
3193  *********************************************************************/
3194 static jb_err client_send_cookie(struct client_state *csp, char **header)
3195 {
3196    if (csp->action->flags & ACTION_CRUNCH_OUTGOING_COOKIES)
3197    {
3198       log_error(LOG_LEVEL_HEADER, "Crunched outgoing cookie: %s", *header);
3199       freez(*header);
3200    }
3201
3202    return JB_ERR_OK;
3203 }
3204
3205
3206 /*********************************************************************
3207  *
3208  * Function    :  client_x_forwarded
3209  *
3210  * Description :  Handle the "x-forwarded-for" config setting properly,
3211  *                also used in the add_client_headers list.  Called from `sed'.
3212  *
3213  * Parameters  :
3214  *          1  :  csp = Current client state (buffers, headers, etc...)
3215  *          2  :  header = On input, pointer to header to modify.
3216  *                On output, pointer to the modified header, or NULL
3217  *                to remove the header.  This function frees the
3218  *                original string if necessary.
3219  *
3220  * Returns     :  JB_ERR_OK on success, or
3221  *                JB_ERR_MEMORY on out-of-memory error.
3222  *
3223  *********************************************************************/
3224 jb_err client_x_forwarded(struct client_state *csp, char **header)
3225 {
3226    if (0 != (csp->action->flags & ACTION_CHANGE_X_FORWARDED_FOR))
3227    {
3228       const char *parameter = csp->action->string[ACTION_STRING_CHANGE_X_FORWARDED_FOR];
3229
3230       if (0 == strcmpic(parameter, "block"))
3231       {
3232          freez(*header);
3233          log_error(LOG_LEVEL_HEADER, "crunched x-forwarded-for!");
3234       }
3235       else if (0 == strcmpic(parameter, "add"))
3236       {
3237          string_append(header, ", ");
3238          string_append(header, csp->ip_addr_str);
3239
3240          if (*header == NULL)
3241          {
3242             return JB_ERR_MEMORY;
3243          }
3244          log_error(LOG_LEVEL_HEADER,
3245             "Appended client IP address to %s", *header);
3246          csp->flags |= CSP_FLAG_X_FORWARDED_FOR_APPENDED;
3247       }
3248       else
3249       {
3250          log_error(LOG_LEVEL_FATAL,
3251             "Invalid change-x-forwarded-for parameter: '%s'", parameter);
3252       }
3253    }
3254
3255    return JB_ERR_OK;
3256 }
3257
3258
3259 /*********************************************************************
3260  *
3261  * Function    :  client_max_forwards
3262  *
3263  * Description :  If the HTTP method is OPTIONS or TRACE, subtract one
3264  *                from the value of the Max-Forwards header field.
3265  *
3266  * Parameters  :
3267  *          1  :  csp = Current client state (buffers, headers, etc...)
3268  *          2  :  header = On input, pointer to header to modify.
3269  *                On output, pointer to the modified header, or NULL
3270  *                to remove the header.  This function frees the
3271  *                original string if necessary.
3272  *
3273  * Returns     :  JB_ERR_OK on success, or
3274  *                JB_ERR_MEMORY on out-of-memory error.
3275  *
3276  *********************************************************************/
3277 static jb_err client_max_forwards(struct client_state *csp, char **header)
3278 {
3279    int max_forwards;
3280
3281    if ((0 == strcmpic(csp->http->gpc, "trace")) ||
3282        (0 == strcmpic(csp->http->gpc, "options")))
3283    {
3284       assert(*(*header+12) == ':');
3285       if (1 == sscanf(*header+12, ": %d", &max_forwards))
3286       {
3287          if (max_forwards > 0)
3288          {
3289             snprintf(*header, strlen(*header)+1, "Max-Forwards: %d", --max_forwards);
3290             log_error(LOG_LEVEL_HEADER,
3291                "Max-Forwards value for %s request reduced to %d.",
3292                csp->http->gpc, max_forwards);
3293          }
3294          else if (max_forwards < 0)
3295          {
3296             log_error(LOG_LEVEL_ERROR, "Crunching invalid header: %s", *header);
3297             freez(*header);
3298          }
3299       }
3300       else
3301       {
3302          log_error(LOG_LEVEL_ERROR, "Crunching invalid header: %s", *header);
3303          freez(*header);
3304       }
3305    }
3306
3307    return JB_ERR_OK;
3308 }
3309
3310
3311 /*********************************************************************
3312  *
3313  * Function    :  client_host
3314  *
3315  * Description :  If the request URI did not contain host and
3316  *                port information, parse and evaluate the Host
3317  *                header field.
3318  *
3319  * Parameters  :
3320  *          1  :  csp = Current client state (buffers, headers, etc...)
3321  *          2  :  header = On input, pointer to header to modify.
3322  *                On output, pointer to the modified header, or NULL
3323  *                to remove the header.  This function frees the
3324  *                original string if necessary.
3325  *
3326  * Returns     :  JB_ERR_OK on success, or
3327  *                JB_ERR_MEMORY on out-of-memory error.
3328  *
3329  *********************************************************************/
3330 static jb_err client_host(struct client_state *csp, char **header)
3331 {
3332    char *p, *q;
3333
3334    if (strlen(*header) < 7)
3335    {
3336       log_error(LOG_LEVEL_HEADER, "Removing empty Host header");
3337       freez(*header);
3338       return JB_ERR_OK;
3339    }
3340
3341    if (!csp->http->hostport || (*csp->http->hostport == '*') ||
3342        *csp->http->hostport == ' ' || *csp->http->hostport == '\0')
3343    {
3344
3345       p = strdup_or_die((*header)+6);
3346       chomp(p);
3347       q = strdup_or_die(p);
3348
3349       freez(csp->http->hostport);
3350       csp->http->hostport = p;
3351       freez(csp->http->host);
3352       csp->http->host = q;
3353       q = strchr(csp->http->host, ':');
3354       if (q != NULL)
3355       {
3356          /* Terminate hostname and evaluate port string */
3357          *q++ = '\0';
3358          csp->http->port = atoi(q);
3359       }
3360       else
3361       {
3362          csp->http->port = csp->http->ssl ? 443 : 80;
3363       }
3364
3365       log_error(LOG_LEVEL_HEADER, "New host and port from Host field: %s = %s:%d",
3366                 csp->http->hostport, csp->http->host, csp->http->port);
3367    }
3368
3369    /* Signal client_host_adder() to return right away */
3370    csp->flags |= CSP_FLAG_HOST_HEADER_IS_SET;
3371
3372    return JB_ERR_OK;
3373 }
3374
3375
3376 /*********************************************************************
3377  *
3378  * Function    :  client_if_modified_since
3379  *
3380  * Description :  Remove or modify the If-Modified-Since header.
3381  *
3382  * Parameters  :
3383  *          1  :  csp = Current client state (buffers, headers, etc...)
3384  *          2  :  header = On input, pointer to header to modify.
3385  *                On output, pointer to the modified header, or NULL
3386  *                to remove the header.  This function frees the
3387  *                original string if necessary.
3388  *
3389  * Returns     :  JB_ERR_OK on success, or
3390  *                JB_ERR_MEMORY on out-of-memory error.
3391  *
3392  *********************************************************************/
3393 static jb_err client_if_modified_since(struct client_state *csp, char **header)
3394 {
3395    char newheader[50];
3396 #ifdef HAVE_GMTIME_R
3397    struct tm gmt;
3398 #endif
3399    struct tm *timeptr = NULL;
3400    time_t tm = 0;
3401    const char *newval;
3402    char * endptr;
3403
3404    if (0 == strcmpic(*header, "If-Modified-Since: Wed, 08 Jun 1955 12:00:00 GMT"))
3405    {
3406       /*
3407        * The client got an error message because of a temporary problem,
3408        * the problem is gone and the client now tries to revalidate our
3409        * error message on the real server. The revalidation would always
3410        * end with the transmission of the whole document and there is
3411        * no need to expose the bogus If-Modified-Since header.
3412        */
3413       log_error(LOG_LEVEL_HEADER, "Crunching useless If-Modified-Since header.");
3414       freez(*header);
3415    }
3416    else if (csp->action->flags & ACTION_HIDE_IF_MODIFIED_SINCE)
3417    {
3418       newval = csp->action->string[ACTION_STRING_IF_MODIFIED_SINCE];
3419
3420       if ((0 == strcmpic(newval, "block")))
3421       {
3422          log_error(LOG_LEVEL_HEADER, "Crunching %s", *header);
3423          freez(*header);
3424       }
3425       else /* add random value */
3426       {
3427          if (JB_ERR_OK != parse_time_header(*header, &tm))
3428          {
3429             log_error(LOG_LEVEL_HEADER,
3430                "Couldn't parse time in %s (crunching!)", *header);
3431             freez(*header);
3432          }
3433          else
3434          {
3435             long int hours, minutes, seconds;
3436             long int rtime = strtol(newval, &endptr, 0);
3437             const int negative_range = (rtime < 0);
3438
3439             if (rtime)
3440             {
3441                log_error(LOG_LEVEL_HEADER, "Randomizing: %s (random range: %d minut%s)",
3442                   *header, rtime, (rtime == 1 || rtime == -1) ? "e": "es");
3443                if (negative_range)
3444                {
3445                   rtime *= -1;
3446                }
3447                rtime *= 60;
3448                rtime = pick_from_range(rtime);
3449             }
3450             else
3451             {
3452                log_error(LOG_LEVEL_ERROR, "Random range is 0. Assuming time transformation test.",
3453                   *header);
3454             }
3455             tm += rtime * (negative_range ? -1 : 1);
3456 #ifdef HAVE_GMTIME_R
3457             timeptr = gmtime_r(&tm, &gmt);
3458 #elif defined(MUTEX_LOCKS_AVAILABLE)
3459             privoxy_mutex_lock(&gmtime_mutex);
3460             timeptr = gmtime(&tm);
3461             privoxy_mutex_unlock(&gmtime_mutex);
3462 #else
3463             timeptr = gmtime(&tm);
3464 #endif
3465             if ((NULL == timeptr) || !strftime(newheader,
3466                   sizeof(newheader), "%a, %d %b %Y %H:%M:%S GMT", timeptr))
3467             {
3468                log_error(LOG_LEVEL_ERROR,
3469                   "Randomizing '%s' failed. Crunching the header without replacement.",
3470                   *header);
3471                freez(*header);
3472                return JB_ERR_OK;
3473             }
3474
3475             freez(*header);
3476             *header = strdup("If-Modified-Since: ");
3477             string_append(header, newheader);
3478
3479             if (*header == NULL)
3480             {
3481                log_error(LOG_LEVEL_HEADER, "Insufficient memory, header crunched without replacement.");
3482                return JB_ERR_MEMORY;
3483             }
3484
3485             hours   = rtime / 3600;
3486             minutes = rtime / 60 % 60;
3487             seconds = rtime % 60;
3488
3489             log_error(LOG_LEVEL_HEADER,
3490                "Randomized:  %s (%s %d hou%s %d minut%s %d second%s",
3491                *header, (negative_range) ? "subtracted" : "added", hours,
3492                (hours == 1) ? "r" : "rs", minutes, (minutes == 1) ? "e" : "es",
3493                seconds, (seconds == 1) ? ")" : "s)");
3494          }
3495       }
3496    }
3497
3498    return JB_ERR_OK;
3499 }
3500
3501
3502 /*********************************************************************
3503  *
3504  * Function    :  client_if_none_match
3505  *
3506  * Description :  Remove the If-None-Match header.
3507  *
3508  * Parameters  :
3509  *          1  :  csp = Current client state (buffers, headers, etc...)
3510  *          2  :  header = On input, pointer to header to modify.
3511  *                On output, pointer to the modified header, or NULL
3512  *                to remove the header.  This function frees the
3513  *                original string if necessary.
3514  *
3515  * Returns     :  JB_ERR_OK on success, or
3516  *                JB_ERR_MEMORY on out-of-memory error.
3517  *
3518  *********************************************************************/
3519 static jb_err client_if_none_match(struct client_state *csp, char **header)
3520 {
3521    if (csp->action->flags & ACTION_CRUNCH_IF_NONE_MATCH)
3522    {
3523       log_error(LOG_LEVEL_HEADER, "Crunching %s", *header);
3524       freez(*header);
3525    }
3526
3527    return JB_ERR_OK;
3528 }
3529
3530
3531 /*********************************************************************
3532  *
3533  * Function    :  client_x_filter
3534  *
3535  * Description :  Disables filtering if the client set "X-Filter: No".
3536  *                Called from `sed'.
3537  *
3538  * Parameters  :
3539  *          1  :  csp = Current client state (buffers, headers, etc...)
3540  *          2  :  header = On input, pointer to header to modify.
3541  *                On output, pointer to the modified header, or NULL
3542  *                to remove the header.  This function frees the
3543  *                original string if necessary.
3544  *
3545  * Returns     :  JB_ERR_OK on success
3546  *
3547  *********************************************************************/
3548 jb_err client_x_filter(struct client_state *csp, char **header)
3549 {
3550    if (0 == strcmpic(*header, "X-Filter: No"))
3551    {
3552       if (!(csp->config->feature_flags & RUNTIME_FEATURE_HTTP_TOGGLE))
3553       {
3554          log_error(LOG_LEVEL_INFO, "Ignored the client's request to fetch without filtering.");
3555       }
3556       else
3557       {
3558          if (csp->action->flags & ACTION_FORCE_TEXT_MODE)
3559          {
3560             log_error(LOG_LEVEL_HEADER,
3561                "force-text-mode overruled the client's request to fetch without filtering!");
3562          }
3563          else
3564          {
3565             csp->content_type = CT_TABOO; /* XXX: This hack shouldn't be necessary */
3566             csp->flags |= CSP_FLAG_NO_FILTERING;
3567             log_error(LOG_LEVEL_HEADER, "Accepted the client's request to fetch without filtering.");
3568          }
3569          log_error(LOG_LEVEL_HEADER, "Crunching %s", *header);
3570          freez(*header);
3571       }
3572    }
3573    return JB_ERR_OK;
3574 }
3575
3576
3577 /*********************************************************************
3578  *
3579  * Function    :  client_range
3580  *
3581  * Description :  Removes Range, Request-Range and If-Range headers if
3582  *                content filtering is enabled and the range doesn't
3583  *                start at byte 0.
3584  *
3585  *                If the client's version of the document has been
3586  *                altered by Privoxy, the server could interpret the
3587  *                range differently than the client intended in which
3588  *                case the user could end up with corrupted content.
3589  *
3590  *                If the range starts at byte 0 this isn't an issue
3591  *                so the header can pass. Partial requests like this
3592  *                are used to render preview images for videos without
3593  *                downloading the whole video.
3594  *
3595  *                While HTTP doesn't require that range requests are
3596  *                honoured and the client could simply abort the download
3597  *                after receiving a sufficient amount of data, various
3598  *                clients don't handle complete responses to range
3599  *                requests gracefully and emit misleading error messages
3600  *                instead.
3601  *
3602  * Parameters  :
3603  *          1  :  csp = Current client state (buffers, headers, etc...)
3604  *          2  :  header = On input, pointer to header to modify.
3605  *                On output, pointer to the modified header, or NULL
3606  *                to remove the header.  This function frees the
3607  *                original string if necessary.
3608  *
3609  * Returns     :  JB_ERR_OK
3610  *
3611  *********************************************************************/
3612 static jb_err client_range(struct client_state *csp, char **header)
3613 {
3614    if (content_filters_enabled(csp->action)
3615       && (0 != strncmpic(strstr(*header, ":"), ": bytes=0-", 10)))
3616    {
3617       log_error(LOG_LEVEL_HEADER, "Content filtering is enabled."
3618          " Crunching: \'%s\' to prevent range-mismatch problems.", *header);
3619       freez(*header);
3620    }
3621
3622    return JB_ERR_OK;
3623 }
3624
3625 /* the following functions add headers directly to the header list */
3626
3627 /*********************************************************************
3628  *
3629  * Function    :  client_host_adder
3630  *
3631  * Description :  Adds the Host: header field if it is missing.
3632  *                Called from `sed'.
3633  *
3634  * Parameters  :
3635  *          1  :  csp = Current client state (buffers, headers, etc...)
3636  *
3637  * Returns     :  JB_ERR_OK on success, or
3638  *                JB_ERR_MEMORY on out-of-memory error.
3639  *
3640  *********************************************************************/
3641 static jb_err client_host_adder(struct client_state *csp)
3642 {
3643    char *p;
3644    jb_err err;
3645
3646    if (csp->flags & CSP_FLAG_HOST_HEADER_IS_SET)
3647    {
3648       /* Header already set by the client, nothing to do. */
3649       return JB_ERR_OK;
3650    }
3651
3652    if (!csp->http->hostport || !*(csp->http->hostport))
3653    {
3654       log_error(LOG_LEVEL_ERROR, "Destination host unknown.");
3655       return JB_ERR_PARSE;
3656    }
3657
3658    /*
3659     * remove 'user:pass@' from 'proto://user:pass@host'
3660     */
3661    if ((p = strchr( csp->http->hostport, '@')) != NULL)
3662    {
3663       p++;
3664    }
3665    else
3666    {
3667       p = csp->http->hostport;
3668    }
3669
3670    /* XXX: Just add it, we already made sure that it will be unique */
3671    log_error(LOG_LEVEL_HEADER, "addh-unique: Host: %s", p);
3672    err = enlist_unique_header(csp->headers, "Host", p);
3673    return err;
3674
3675 }
3676
3677
3678 /*********************************************************************
3679  *
3680  * Function    :  client_xtra_adder
3681  *
3682  * Description :  Used in the add_client_headers list.  Called from `sed'.
3683  *
3684  * Parameters  :
3685  *          1  :  csp = Current client state (buffers, headers, etc...)
3686  *
3687  * Returns     :  JB_ERR_OK on success, or
3688  *                JB_ERR_MEMORY on out-of-memory error.
3689  *
3690  *********************************************************************/
3691 static jb_err client_xtra_adder(struct client_state *csp)
3692 {
3693    struct list_entry *lst;
3694    jb_err err;
3695
3696    for (lst = csp->action->multi[ACTION_MULTI_ADD_HEADER]->first;
3697         lst ; lst = lst->next)
3698    {
3699       log_error(LOG_LEVEL_HEADER, "addh: %s", lst->str);
3700       err = enlist(csp->headers, lst->str);
3701       if (err)
3702       {
3703          return err;
3704       }
3705
3706    }
3707
3708    return JB_ERR_OK;
3709 }
3710
3711
3712 /*********************************************************************
3713  *
3714  * Function    :  client_x_forwarded_for_adder
3715  *
3716  * Description :  Used in the add_client_headers list.  Called from `sed'.
3717  *
3718  * Parameters  :
3719  *          1  :  csp = Current client state (buffers, headers, etc...)
3720  *
3721  * Returns     :  JB_ERR_OK on success, or
3722  *                JB_ERR_MEMORY on out-of-memory error.
3723  *
3724  *********************************************************************/
3725 static jb_err client_x_forwarded_for_adder(struct client_state *csp)
3726 {
3727    char *header = NULL;
3728    jb_err err;
3729
3730    if (!((csp->action->flags & ACTION_CHANGE_X_FORWARDED_FOR)
3731          && (0 == strcmpic(csp->action->string[ACTION_STRING_CHANGE_X_FORWARDED_FOR], "add")))
3732       || (csp->flags & CSP_FLAG_X_FORWARDED_FOR_APPENDED))
3733    {
3734       /*
3735        * If we aren't adding X-Forwarded-For headers,
3736        * or we already appended an existing X-Forwarded-For
3737        * header, there's nothing left to do here.
3738        */
3739       return JB_ERR_OK;
3740    }
3741
3742    header = strdup("X-Forwarded-For: ");
3743    string_append(&header, csp->ip_addr_str);
3744
3745    if (header == NULL)
3746    {
3747       return JB_ERR_MEMORY;
3748    }
3749
3750    log_error(LOG_LEVEL_HEADER, "addh: %s", header);
3751    err = enlist(csp->headers, header);
3752    freez(header);
3753
3754    return err;
3755 }
3756
3757
3758 /*********************************************************************
3759  *
3760  * Function    :  server_connection_adder
3761  *
3762  * Description :  Adds an appropriate "Connection:" header to csp->headers
3763  *                unless the header was already present. Called from `sed'.
3764  *
3765  * Parameters  :
3766  *          1  :  csp = Current client state (buffers, headers, etc...)
3767  *
3768  * Returns     :  JB_ERR_OK on success, or
3769  *                JB_ERR_MEMORY on out-of-memory error.