Support for both static and dynamically generated CGI pages.
[privoxy.git] / parsers.c
index 3b5d233..f749617 100644 (file)
--- a/parsers.c
+++ b/parsers.c
@@ -1,4 +1,4 @@
-const char parsers_rcs[] = "$Id: parsers.c,v 1.8 2001/05/27 22:17:04 oes Exp $";
+const char parsers_rcs[] = "$Id: parsers.c,v 1.23 2001/09/12 18:08:19 steudten Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/parsers.c,v $
@@ -41,6 +41,91 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.8 2001/05/27 22:17:04 oes Exp $";
  *
  * Revisions   :
  *    $Log: parsers.c,v $
+ *    Revision 1.23  2001/09/12 18:08:19  steudten
+ *
+ *    In parse_http_request() header rewriting miss the host value, so
+ *    from http://www.mydomain.com the result was just " / " not
+ *    http://www.mydomain.com/ in case we forward.
+ *
+ *    Revision 1.22  2001/09/10 10:58:53  oes
+ *    Silenced compiler warnings
+ *
+ *    Revision 1.21  2001/07/31 14:46:00  oes
+ *     - Persistant connections now suppressed
+ *     - sed() no longer appends empty header to csp->headers
+ *
+ *    Revision 1.20  2001/07/30 22:08:36  jongfoster
+ *    Tidying up #defines:
+ *    - All feature #defines are now of the form FEATURE_xxx
+ *    - Permanently turned off WIN_GUI_EDIT
+ *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
+ *
+ *    Revision 1.19  2001/07/25 17:21:54  oes
+ *    client_uagent now saves copy of User-Agent: header value
+ *
+ *    Revision 1.18  2001/07/13 14:02:46  oes
+ *     - Included fix to repair broken HTTP requests that
+ *       don't contain a path, not even '/'.
+ *     - Removed all #ifdef PCRS
+ *     - content_type now always inspected and classified as
+ *       text, gif or other.
+ *     - formatting / comments
+ *
+ *    Revision 1.17  2001/06/29 21:45:41  oes
+ *    Indentation, CRLF->LF, Tab-> Space
+ *
+ *    Revision 1.16  2001/06/29 13:32:42  oes
+ *    - Fixed a comment
+ *    - Adapted free_http_request
+ *    - Removed logentry from cancelled commit
+ *
+ *    Revision 1.15  2001/06/03 19:12:38  oes
+ *    deleted const struct interceptors
+ *
+ *    Revision 1.14  2001/06/01 18:49:17  jongfoster
+ *    Replaced "list_share" with "list" - the tiny memory gain was not
+ *    worth the extra complexity.
+ *
+ *    Revision 1.13  2001/05/31 21:30:33  jongfoster
+ *    Removed list code - it's now in list.[ch]
+ *    Renamed "permission" to "action", and changed many features
+ *    to use the actions file rather than the global config.
+ *
+ *    Revision 1.12  2001/05/31 17:33:13  oes
+ *
+ *    CRLF -> LF
+ *
+ *    Revision 1.11  2001/05/29 20:11:19  joergs
+ *    '/ * inside comment' warning removed.
+ *
+ *    Revision 1.10  2001/05/29 09:50:24  jongfoster
+ *    Unified blocklist/imagelist/permissionslist.
+ *    File format is still under discussion, but the internal changes
+ *    are (mostly) done.
+ *
+ *    Also modified interceptor behaviour:
+ *    - We now intercept all URLs beginning with one of the following
+ *      prefixes (and *only* these prefixes):
+ *        * http://i.j.b/
+ *        * http://ijbswa.sf.net/config/
+ *        * http://ijbswa.sourceforge.net/config/
+ *    - New interceptors "home page" - go to http://i.j.b/ to see it.
+ *    - Internal changes so that intercepted and fast redirect pages
+ *      are not replaced with an image.
+ *    - Interceptors now have the option to send a binary page direct
+ *      to the client. (i.e. ijb-send-banner uses this)
+ *    - Implemented show-url-info interceptor.  (Which is why I needed
+ *      the above interceptors changes - a typical URL is
+ *      "http://i.j.b/show-url-info?url=www.somesite.com/banner.gif".
+ *      The previous mechanism would not have intercepted that, and
+ *      if it had been intercepted then it then it would have replaced
+ *      it with an image.)
+ *
+ *    Revision 1.9  2001/05/28 17:26:33  jongfoster
+ *    Fixing segfault if last header was crunched.
+ *    Fixing Windows build (snprintf() is _snprintf() under Win32, but we
+ *    can use the cross-platform sprintf() instead.)
+ *
  *    Revision 1.8  2001/05/27 22:17:04  oes
  *
  *    - re_process_buffer no longer writes the modified buffer
@@ -148,6 +233,7 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.8 2001/05/27 22:17:04 oes Exp $";
 #endif
 
 #include "project.h"
+#include "list.h"
 #include "parsers.h"
 #include "encode.h"
 #include "filters.h"
@@ -158,6 +244,7 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.8 2001/05/27 22:17:04 oes Exp $";
 #include "errlog.h"
 #include "jbsockets.h"
 #include "miscutil.h"
+#include "cgi.h"
 
 const char parsers_h_rcs[] = PARSERS_H_VERSION;
 
@@ -182,38 +269,28 @@ const struct parsers client_patterns[] = {
    { "from:",                    5,    client_from },
    { "cookie:",                  7,    client_send_cookie },
    { "x-forwarded-for:",         16,   client_x_forwarded },
-   { "proxy-connection:",        17,   crumble },
-#ifdef DENY_GZIP
+#ifdef FEATURE_DENY_GZIP
    { "Accept-Encoding: gzip",    21,   crumble },
-#endif /* def DENY_GZIP */
-#if defined(DETECT_MSIE_IMAGES)
+#endif /* def FEATURE_DENY_GZIP */
+#if defined(FEATURE_IMAGE_DETECT_MSIE)
    { "Accept:",                   7,   client_accept },
-#endif /* defined(DETECT_MSIE_IMAGES) */
-#ifdef FORCE_LOAD
+#endif /* defined(FEATURE_IMAGE_DETECT_MSIE) */
+#ifdef FEATURE_FORCE_LOAD
    { "Host:",                     5,   client_host },
-#endif /* def FORCE_LOAD */
+#endif /* def FEATURE_FORCE_LOAD */
 /* { "if-modified-since:",       18,   crumble }, */
+   { "Keep-Alive:",              11,   crumble },
+   { "connection:",              11,   crumble },
+   { "proxy-connection:",        17,   crumble },        
    { NULL,                       0,    NULL }
 };
 
-const struct interceptors intercept_patterns[] = {
-   { "show-proxy-args",    14, show_proxy_args },
-   { "ijb-send-banner",    14, ijb_send_banner },
-#ifdef TRUST_FILES
-   { "ij-untrusted-url",   15, ij_untrusted_url },
-#endif /* def TRUST_FILES */
-   { NULL, 0, NULL }
-};
 
 const struct parsers server_patterns[] = {
    { "set-cookie:",        11, server_set_cookie },
    { "connection:",        11, crumble },
-#if defined(PCRS) || defined(KILLPOPUPS)
    { "Content-Type:",      13, content_type },
-#endif /* defined(PCRS) || defined(KILLPOPUPS) */
-#ifdef PCRS
    { "Content-Length:",    15, content_length },
-#endif /* def PCRS */
    { NULL, 0, NULL }
 };
 
@@ -222,11 +299,13 @@ void (* const add_client_headers[])(struct client_state *) = {
    client_cookie_adder,
    client_x_forwarded_adder,
    client_xtra_adder,
+   connection_close_adder,   
    NULL
 };
 
 
 void (* const add_server_headers[])(struct client_state *) = {
+   connection_close_adder, 
    NULL
 };
 
@@ -387,125 +466,6 @@ char *get_header(struct client_state *csp)
 }
 
 
-/*********************************************************************
- *
- * Function    :  enlist
- *
- * Description :  Append a string into a specified string list.
- *
- * Parameters  :
- *          1  :  h = pointer to list 'dummy' header
- *          2  :  s = string to add to the list
- *
- * Returns     :  N/A
- *
- *********************************************************************/
-void enlist(struct list *h, const char *s)
-{
-   struct list *n = (struct list *)malloc(sizeof(*n));
-   struct list *l;
-
-   if (n)
-   {
-      n->str  = strdup(s);
-      n->next = NULL;
-
-      if ((l = h->last))
-      {
-         l->next = n;
-      }
-      else
-      {
-         h->next = n;
-      }
-
-      h->last = n;
-   }
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  destroy_list
- *
- * Description :  Destroy a string list (opposite of enlist)
- *
- * Parameters  :
- *          1  :  h = pointer to list 'dummy' header
- *
- * Returns     :  N/A
- *
- *********************************************************************/
-void destroy_list(struct list *h)
-{
-   struct list *p, *n;
-
-   for (p = h->next; p ; p = n)
-   {
-      n = p->next;
-      freez(p->str);
-      freez(p);
-   }
-
-   memset(h, '\0', sizeof(*h));
-
-}
-
-
-/*********************************************************************
- *
- * Function    :  list_to_text
- *
- * Description :  "Flaten" a string list into 1 long \r\n delimited string.
- *
- * Parameters  :
- *          1  :  h = pointer to list 'dummy' header
- *
- * Returns     :  NULL on malloc error, else new long string.
- *
- *********************************************************************/
-static char *list_to_text(struct list *h)
-{
-   struct list *p;
-   char *ret = NULL;
-   char *s;
-   int size;
-
-   size = 0;
-
-   for (p = h->next; p ; p = p->next)
-   {
-      if (p->str)
-      {
-         size += strlen(p->str) + 2;
-      }
-   }
-
-   if ((ret = (char *)malloc(size + 1)) == NULL)
-   {
-      return(NULL);
-   }
-
-   ret[size] = '\0';
-
-   s = ret;
-
-   for (p = h->next; p ; p = p->next)
-   {
-      if (p->str)
-      {
-         strcpy(s, p->str);
-         s += strlen(s);
-         *s++ = '\r'; *s++ = '\n';
-      }
-   }
-
-   return(ret);
-
-}
-
-
 /*********************************************************************
  *
  * Function    :  sed
@@ -558,14 +518,6 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
       (*f)(csp);
    }
 
-   /* add the blank line at the end of the header, if necessary */
-   if ( (csp->headers->last == NULL)
-     || (csp->headers->last->str == NULL)
-     || (*csp->headers->last->str != '\0') )
-   {
-      enlist(csp->headers, "");
-   }
-
    hdr = list_to_text(csp->headers);
 
    return(hdr);
@@ -593,6 +545,8 @@ void free_http_request(struct http_request *http)
    freez(http->hostport);
    freez(http->path);
    freez(http->ver);
+   freez(http->host_ip_addr_str);
+   freez(http->user_agent);
 
 }
 
@@ -614,7 +568,7 @@ void free_http_request(struct http_request *http)
  *********************************************************************/
 void parse_http_request(char *req, struct http_request *http, struct client_state *csp)
 {
-   char *buf, *v[10], *url, *p;
+   char *buf, *v[10], *url, *p, *save_url;
    int n;
 
    memset(http, '\0', sizeof(*http));
@@ -622,7 +576,6 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
    http->cmd = strdup(req);
 
    buf = strdup(req);
-
    n = ssplit(buf, " \r\n", v, SZ(v), 1, 1);
 
    if (n == 3)
@@ -636,41 +589,26 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
          http->ver      = strdup(v[2]);
       }
 
-#ifdef WEBDAV
-
-/* This next line is a little ugly, but it simplifies the if statement below. */
-/* Basically if using webDAV, we want the OR condition to use these too.      */
-
-/*
- * by haroon
- * These are the headers as defined in RFC2518 to add webDAV support
- */
-
-#define OR_WEBDAV || \
-         (0 == strcmpic(v[0], "propfind")) || \
-         (0 == strcmpic(v[0], "proppatch")) || \
-         (0 == strcmpic(v[0], "move")) || \
-         (0 == strcmpic(v[0], "copy")) || \
-         (0 == strcmpic(v[0], "mkcol")) || \
-         (0 == strcmpic(v[0], "lock")) || \
-         (0 == strcmpic(v[0], "unlock"))
-
-#else /* No webDAV support is enabled.  Provide an empty OR_WEBDAV macro. */
-
-#define OR_WEBDAV
-
-#endif
-
       /* or it could be a GET or a POST (possibly webDAV too) */
-      if ((strcmpic(v[0], "get")  == 0) ||
-          (strcmpic(v[0], "head") == 0) OR_WEBDAV ||
-          (strcmpic(v[0], "post") == 0))
+      if ((0 == strcmpic(v[0], "get"))
+       || (0 == strcmpic(v[0], "head"))
+       || (0 == strcmpic(v[0], "post"))
+       /* These are the headers as defined in RFC2518 to add webDAV support: */
+       || (0 == strcmpic(v[0], "propfind"))
+       || (0 == strcmpic(v[0], "proppatch"))
+       || (0 == strcmpic(v[0], "move"))
+       || (0 == strcmpic(v[0], "copy"))
+       || (0 == strcmpic(v[0], "mkcol"))
+       || (0 == strcmpic(v[0], "lock"))
+       || (0 == strcmpic(v[0], "unlock"))
+       )
       {
          http->ssl      = 0;
          http->gpc      = strdup(v[0]);
          url            = v[1];
          http->ver      = strdup(v[2]);
 
+        save_url = url;
          if (strncmpic(url, "http://",  7) == 0)
          {
             url += 7;
@@ -684,11 +622,31 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
             url = NULL;
          }
 
-         if (url && (p = strchr(url, '/')))
+         if (url)
          {
-            http->path = strdup(p);
-            *p = '\0';
-            http->hostport = strdup(url);
+            if ((p = strchr(url, '/')))
+            {
+               http->path = strdup(p);
+               *p = '\0';
+               http->hostport = strdup(url);
+            }
+            /* 
+             * Repair broken HTTP requests that don't contain a path
+             */
+            else
+            {
+               /* Repair hostport & path */
+               http->path = strdup("/");
+               http->hostport = strdup(url);
+
+               /* Even repair cmd in case we're just forwarding. Boy are we nice ;-)  */
+               freez(http->cmd);
+               http->cmd = strsav(http->cmd, http->gpc);
+               http->cmd = strsav(http->cmd, " ");
+               http->cmd = strsav(http->cmd, save_url);
+               http->cmd = strsav(http->cmd, "/ ");
+               http->cmd = strsav(http->cmd, http->ver);
+            }
          }
       }
    }
@@ -762,7 +720,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *crumble(const struct parsers *v, char *s, struct client_state *csp)
+char *crumble(const struct parsers *v, const char *s, struct client_state *csp)
 {
    log_error(LOG_LEVEL_HEADER, "crunch!");
    return(NULL);
@@ -770,13 +728,11 @@ char *crumble(const struct parsers *v, char *s, struct client_state *csp)
 }
 
 
-#if defined(PCRS) || defined(KILLPOPUPS)
-
 /*********************************************************************
  *
  * Function    :  content_type
  *
- * Description :  Is this a text/* or javascript MIME Type?
+ * Description :  Is this a text/.* or javascript MIME Type?
  *
  * Parameters  :
  *          1  :  v = ignored
@@ -786,26 +742,26 @@ char *crumble(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *content_type(const struct parsers *v, char *s, struct client_state *csp)
+char *content_type(const struct parsers *v, const char *s, struct client_state *csp)
 {
-   if (strstr (s, " text/") || strstr (s, "application/x-javascript"))
-      csp->is_text = 1;
+   if (strstr(s, " text/") || strstr(s, "application/x-javascript"))
+      csp->content_type = CT_TEXT;
+   else if (strstr(s, " image/gif"))
+      csp->content_type = CT_GIF;
    else
-      csp->is_text = 0;
+      csp->content_type = 0;
 
    return(strdup(s));
 
 }
-#endif /* defined(PCRS) || defined(KILLPOPUPS) */
 
 
-#ifdef PCRS
 /*********************************************************************
  *
  * Function    :  content_length
  *
- * Description :  Crunch Content-Length header if & only if we are
- *                filtering this page through PCRS.
+ * Description :  Adjust Content-Length header if we modified
+ *                the body.
  *
  * Parameters  :
  *          1  :  v = ignored
@@ -815,22 +771,22 @@ char *content_type(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *content_length(const struct parsers *v, char *s, struct client_state *csp)
+char *content_length(const struct parsers *v, const char *s, struct client_state *csp)
 {
    if (csp->content_length != 0) /* Content has been modified */
-       {
-          s = (char *) zalloc(100);
-          sprintf(s, "Content-Length: %d", csp->content_length);
-               log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", csp->content_length);
-          return(s);
-       }
+   {
+      char * s2 = (char *) zalloc(100);
+      sprintf(s2, "Content-Length: %d", csp->content_length);
+
+         log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", csp->content_length);
+      return(s2);
+   }
    else
    {
       return(strdup(s));
    }
-}
 
-#endif /* def PCRS */
+}
 
 
 /*********************************************************************
@@ -849,70 +805,90 @@ char *content_length(const struct parsers *v, char *s, struct client_state *csp)
  *                or modified header
  *
  *********************************************************************/
-char *client_referrer(const struct parsers *v, char *s, struct client_state *csp)
+char *client_referrer(const struct parsers *v, const char *s, struct client_state *csp)
 {
-#ifdef FORCE_LOAD
+   const char * newval;
+   char * s2;
+#ifdef FEATURE_FORCE_LOAD
    /* Since the referrer can include the prefix even
     * even if the request itself is non-forced, we must
     * clean it unconditionally 
     */
    strclean(s, FORCE_PREFIX);
-#endif /* def FORCE_LOAD */
+#endif /* def FEATURE_FORCE_LOAD */
 
+#ifdef FEATURE_TRUST
    csp->referrer = strdup(s);
+#endif /* def FEATURE_TRUST */
 
-   if (csp->config->referrer == NULL)
+   /*
+    * Are we sending referer?
+    */
+   if ((csp->action->flags & ACTION_HIDE_REFERER) == 0)
    {
-      log_error(LOG_LEVEL_HEADER, "crunch!");
-      return(NULL);
+      return(strdup(s));
    }
 
-   if (*csp->config->referrer == '.')
+   newval = csp->action->string[ACTION_STRING_REFERER];
+
+   /*
+    * Are we blocking referer?
+    */
+   if ((newval == NULL) || (0 == strcmpic(newval, "block")) )
    {
-      return(strdup(s));
+      log_error(LOG_LEVEL_HEADER, "crunch!");
+      return(NULL);
    }
 
-   if (*csp->config->referrer == '@')
+   /*
+    * Are we forging referer?
+    */
+   if (0 == strcmpic(newval, "forge"))
    {
-      if (csp->permissions & PERMIT_COOKIE_READ)
-      {
-         return(strdup(s));
-      }
-      else
-      {
-         log_error(LOG_LEVEL_HEADER, "crunch!");
-         return(NULL);
-      }
+      /*
+       * Forge a referer as http://[hostname:port of REQUEST]/
+       * to fool stupid checks for in-site links
+       */
+      log_error(LOG_LEVEL_HEADER, "crunch+forge!");
+      s2 = strsav(NULL, "Referer: ");
+      s2 = strsav(s2, "http://");
+      s2 = strsav(s2, csp->http->hostport);
+      s2 = strsav(s2, "/");
+      return(s2);
    }
 
    /*
-    * New option § or L: Forge a referer as http://[hostname:port of REQUEST]/
-    * to fool stupid checks for in-site links
+    * Have we got a fixed referer?
     */
-
-   if (*csp->config->referrer == '§' || *csp->config->referrer == 'L')
+   if (0 == strncmpic(newval, "http://", 7))
    {
-      if (csp->permissions & PERMIT_COOKIE_READ)
-      {
-         return(strdup(s));
-      }
-      else
-      {
-         log_error(LOG_LEVEL_HEADER, "crunch+forge!");
-         s = strsav(NULL, "Referer: ");
-         s = strsav(s, "http://");
-         s = strsav(s, csp->http->hostport);
-         s = strsav(s, "/");
-         return(s);
-      }
-   }
+      /*
+       * We have a specific (fixed) referer we want to send.
+       */
+      char * s2;
 
-   log_error(LOG_LEVEL_HEADER, "modified");
+      log_error(LOG_LEVEL_HEADER, "modified");
 
-   s = strsav( NULL, "Referer: " );
-   s = strsav( s, csp->config->referrer );
-   return(s);
+      s2 = strsav( NULL, "Referer: " );
+      s2 = strsav( s2, newval );
+      return(s2);
+   }
+
+   /* Should never get here! */
+   log_error(LOG_LEVEL_ERROR, "Bad parameter: +referer{%s}", newval);
 
+   /*
+    * Forge is probably the best default.
+    *
+    * Forge a referer as http://[hostname:port of REQUEST]/
+    * to fool stupid checks for in-site links
+    */
+   log_error(LOG_LEVEL_HEADER, "crunch+forge!");
+   s2 = strsav(NULL, "Referer: ");
+   s2 = strsav(s2, "http://");
+   s2 = strsav(s2, csp->http->hostport);
+   s2 = strsav(s2, "/");
+   return(s2);
 }
 
 
@@ -920,8 +896,9 @@ char *client_referrer(const struct parsers *v, char *s, struct client_state *csp
  *
  * Function    :  client_uagent
  *
- * Description :  Handle the "user-agent" config setting properly.
- *                Called from `sed'.
+ * Description :  Handle the "user-agent" config setting properly
+ *                and remember its original value to enable browser
+ *                bug workarounds. Called from `sed'.
  *
  * Parameters  :
  *          1  :  v = ignored
@@ -932,9 +909,18 @@ char *client_referrer(const struct parsers *v, char *s, struct client_state *csp
  *                a malloc'ed string pointer to this header (ie. pass thru).
  *
  *********************************************************************/
-char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
+char *client_uagent(const struct parsers *v, const char *s, struct client_state *csp)
 {
-#ifdef DETECT_MSIE_IMAGES
+   const char * newval;
+   char * s2;
+
+   /* Save the client's User-Agent: value */
+   if (strlen(s) >= 12)
+   {
+      csp->http->user_agent = strdup(s + 12);
+   }
+
+#ifdef FEATURE_IMAGE_DETECT_MSIE
    if (strstr (s, "MSIE "))
    {
       /* This is Microsoft Internet Explorer.
@@ -942,37 +928,24 @@ char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
        */
       csp->accept_types |= ACCEPT_TYPE_IS_MSIE;
    }
-#endif /* def DETECT_MSIE_IMAGES */
+#endif /* def FEATURE_IMAGE_DETECT_MSIE */
 
-   if (csp->config->uagent == NULL)
-   {
-      log_error(LOG_LEVEL_HEADER, "default");
-      return(strdup(DEFAULT_USER_AGENT));
-   }
-
-   if (*csp->config->uagent == '.')
+   if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
    {
       return(strdup(s));
    }
 
-   if (*csp->config->uagent == '@')
+   newval = csp->action->string[ACTION_STRING_USER_AGENT];
+   if (newval == NULL)
    {
-      if (csp->permissions & PERMIT_COOKIE_READ)
-      {
-         return(strdup(s));
-      }
-      else
-      {
-         log_error(LOG_LEVEL_HEADER, "default");
-         return(strdup(DEFAULT_USER_AGENT));
-      }
+      return(strdup(s));
    }
 
    log_error(LOG_LEVEL_HEADER, "modified");
 
-   s = strsav( NULL, "User-Agent: " );
-   s = strsav( s, csp->config->uagent );
-   return(s);
+   s2 = strsav( NULL, "User-Agent: " );
+   s2 = strsav( s2, newval );
+   return(s2);
 
 }
 
@@ -991,35 +964,17 @@ char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  NULL if crunched, or a malloc'ed string to original header
  *
  *********************************************************************/
-char *client_ua(const struct parsers *v, char *s, struct client_state *csp)
+char *client_ua(const struct parsers *v, const char *s, struct client_state *csp)
 {
-   if (csp->config->uagent == NULL)
-   {
-      log_error(LOG_LEVEL_HEADER, "crunch!");
-      return(NULL);
-   }
-
-   if (*csp->config->uagent == '.')
+   if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
    {
       return(strdup(s));
    }
-
-   if (*csp->config->uagent == '@')
+   else
    {
-      if (csp->permissions & PERMIT_COOKIE_READ)
-      {
-         return(strdup(s));
-      }
-      else
-      {
-         log_error(LOG_LEVEL_HEADER, "crunch!");
-         return(NULL);
-      }
+      log_error(LOG_LEVEL_HEADER, "crunch!");
+      return(NULL);
    }
-
-   log_error(LOG_LEVEL_HEADER, "crunch!");
-   return(NULL);
-
 }
 
 
@@ -1039,25 +994,32 @@ char *client_ua(const struct parsers *v, char *s, struct client_state *csp)
  *                modified/original header.
  *
  *********************************************************************/
-char *client_from(const struct parsers *v, char *s, struct client_state *csp)
+char *client_from(const struct parsers *v, const char *s, struct client_state *csp)
 {
-   /* if not set, zap it */
-   if (csp->config->from == NULL)
+   const char * newval;
+   char * s2;
+
+   if ((csp->action->flags & ACTION_HIDE_FROM) == 0)
    {
-      log_error(LOG_LEVEL_HEADER, "crunch!");
-      return(NULL);
+      return(strdup(s));
    }
 
-   if (*csp->config->from == '.')
+   newval = csp->action->string[ACTION_STRING_FROM];
+
+   /*
+    * Are we blocking referer?
+    */
+   if ((newval == NULL) || (0 == strcmpic(newval, "block")) )
    {
-      return(strdup(s));
+      log_error(LOG_LEVEL_HEADER, "crunch!");
+      return(NULL);
    }
 
    log_error(LOG_LEVEL_HEADER, " modified");
 
-   s = strsav( NULL, "From: " );
-   s = strsav( s, csp->config->from );
-   return(s);
+   s2 = strsav( NULL, "From: " );
+   s2 = strsav( s2, newval );
+   return(s2);
 
 }
 
@@ -1078,9 +1040,9 @@ char *client_from(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_send_cookie(const struct parsers *v, char *s, struct client_state *csp)
+char *client_send_cookie(const struct parsers *v, const char *s, struct client_state *csp)
 {
-   if (csp->permissions & PERMIT_COOKIE_READ)
+   if ((csp->action->flags & ACTION_NO_COOKIE_READ) == 0)
    {
       enlist(csp->cookie_list, s + v->len + 1);
    }
@@ -1113,10 +1075,11 @@ char *client_send_cookie(const struct parsers *v, char *s, struct client_state *
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_x_forwarded(const struct parsers *v, char *s, struct client_state *csp)
+char *client_x_forwarded(const struct parsers *v, const char *s, struct client_state *csp)
 {
-   if (csp->config->add_forwarded)
+   if ((csp->action->flags & ACTION_HIDE_FORWARDED) == 0)
    {
+      /* Save it so we can re-add it later */
       csp->x_forwarded = strdup(s);
    }
 
@@ -1129,7 +1092,7 @@ char *client_x_forwarded(const struct parsers *v, char *s, struct client_state *
 
 }
 
-#if defined(DETECT_MSIE_IMAGES)
+#if defined(FEATURE_IMAGE_DETECT_MSIE)
 /*********************************************************************
  *
  * Function    :  client_accept
@@ -1147,9 +1110,9 @@ char *client_x_forwarded(const struct parsers *v, char *s, struct client_state *
  * Returns     :  Duplicate of argument s.
  *
  *********************************************************************/
-char *client_accept(const struct parsers *v, char *s, struct client_state *csp)
+char *client_accept(const struct parsers *v, const char *s, struct client_state *csp)
 {
-#ifdef DETECT_MSIE_IMAGES
+#ifdef FEATURE_IMAGE_DETECT_MSIE
    if (strstr (s, "image/gif"))
    {
       /* Client will accept HTML.  If this seems counterintuitive,
@@ -1161,12 +1124,12 @@ char *client_accept(const struct parsers *v, char *s, struct client_state *csp)
    {
       csp->accept_types |= ACCEPT_TYPE_MSIE_IMAGE;
    }
-#endif /* def DETECT_MSIE_IMAGES */
+#endif /* def FEATURE_IMAGE_DETECT_MSIE */
 
    return(strdup(s));
 
 }
-#endif /* defined(DETECT_MSIE_IMAGES) */
+#endif /* defined(FEATURE_IMAGE_DETECT_MSIE) */
 
 
 
@@ -1187,27 +1150,27 @@ char *client_accept(const struct parsers *v, char *s, struct client_state *csp)
  *********************************************************************/
 void client_cookie_adder(struct client_state *csp)
 {
-   struct list *l;
+   struct list *lst;
    char *tmp = NULL;
    char *e;
 
-   for (l = csp->cookie_list->next; l ; l = l->next)
+   for (lst = csp->cookie_list->next; lst ; lst = lst->next)
    {
       if (tmp)
       {
          tmp = strsav(tmp, "; ");
       }
-      tmp = strsav(tmp, l->str);
+      tmp = strsav(tmp, lst->str);
    }
 
-   for (l = csp->config->wafer_list->next;  l ; l = l->next)
+   for (lst = csp->action->multi[ACTION_MULTI_WAFER]->next;  lst ; lst = lst->next)
    {
       if (tmp)
       {
          tmp = strsav(tmp, "; ");
       }
 
-      if ((e = cookie_encode(l->str)))
+      if ((e = cookie_encode(lst->str)))
       {
          tmp = strsav(tmp, e);
          freez(e);
@@ -1243,12 +1206,13 @@ void client_cookie_adder(struct client_state *csp)
  *********************************************************************/
 void client_xtra_adder(struct client_state *csp)
 {
-   struct list *l;
+   struct list *lst;
 
-   for (l = csp->config->xtra_list->next; l ; l = l->next)
+   for (lst = csp->action->multi[ACTION_MULTI_ADD_HEADER]->next;
+        lst ; lst = lst->next)
    {
-      log_error(LOG_LEVEL_HEADER, "addh: %s", l->str);
-      enlist(csp->headers, l->str);
+      log_error(LOG_LEVEL_HEADER, "addh: %s", lst->str);
+      enlist(csp->headers, lst->str);
    }
 
 }
@@ -1270,7 +1234,7 @@ void client_x_forwarded_adder(struct client_state *csp)
 {
    char *p = NULL;
 
-   if (csp->config->add_forwarded == 0)
+   if ((csp->action->flags & ACTION_HIDE_FORWARDED) != 0)
    {
       return;
    }
@@ -1293,6 +1257,28 @@ void client_x_forwarded_adder(struct client_state *csp)
 }
 
 
+/*********************************************************************
+ *
+ * Function    :  connection_close_adder
+ *
+ * Description :  Adds a "Connection: close" header to csp->headers
+ *                as a temporary fix for the needed but missing HTTP/1.1
+ *                support. Called from `sed'.
+ *                FIXME: This whole function shouldn't be neccessary!
+ *
+ * Parameters  :
+ *          1  :  csp = Current client state (buffers, headers, etc...)
+ *
+ * Returns     :  N/A
+ *
+ *********************************************************************/
+void connection_close_adder(struct client_state *csp)
+{
+   enlist(csp->headers, strdup("Connection: close"));
+
+}
+
+
 /*********************************************************************
  *
  * Function    :  server_set_cookie
@@ -1309,16 +1295,16 @@ void client_x_forwarded_adder(struct client_state *csp)
  * Returns     :  `crumble' or a newly malloc'ed string.
  *
  *********************************************************************/
-char *server_set_cookie(const struct parsers *v, char *s, struct client_state *csp)
+char *server_set_cookie(const struct parsers *v, const char *s, struct client_state *csp)
 {
-#ifdef JAR_FILES
+#ifdef FEATURE_COOKIE_JAR
    if (csp->config->jar)
    {
       fprintf(csp->config->jar, "%s\t%s\n", csp->http->host, (s + v->len + 1));
    }
-#endif /* def JAR_FILES */
+#endif /* def FEATURE_COOKIE_JAR */
 
-   if (!(csp->permissions & PERMIT_COOKIE_SET))
+   if ((csp->action->flags & ACTION_NO_COOKIE_SET) != 0)
    {
       return(crumble(v, s, csp));
    }
@@ -1328,7 +1314,7 @@ char *server_set_cookie(const struct parsers *v, char *s, struct client_state *c
 }
 
 
-#ifdef FORCE_LOAD
+#ifdef FEATURE_FORCE_LOAD
 /*********************************************************************
  *
  * Function    :  client_host
@@ -1344,7 +1330,7 @@ char *server_set_cookie(const struct parsers *v, char *s, struct client_state *c
  * Returns     :  A malloc'ed pointer to the cleaned host header 
  *
  *********************************************************************/
-char *client_host(const struct parsers *v, char *s, struct client_state *csp)
+char *client_host(const struct parsers *v, const char *s, struct client_state *csp)
 {
    char *cleanhost = strdup(s);
  
@@ -1353,10 +1339,10 @@ char *client_host(const struct parsers *v, char *s, struct client_state *csp)
  
    return(cleanhost);
 }
-#endif /* def FORCE_LOAD */
+#endif /* def FEATURE_FORCE_LOAD */
  
  
-#ifdef FORCE_LOAD 
+#ifdef FEATURE_FORCE_LOAD 
 /*********************************************************************
  *
  * Function    :  strclean
@@ -1390,7 +1376,7 @@ int strclean(const char *string, const char *substring)
 
    return(hits);
 }
-#endif /* def FORCE_LOAD */
+#endif /* def FEATURE_FORCE_LOAD */
 
 
 /*