IJB now changes HTTP/1.1 to HTTP/1.0 in requests and answers.
[privoxy.git] / parsers.c
index 0f361cb..f2364d4 100644 (file)
--- a/parsers.c
+++ b/parsers.c
@@ -1,4 +1,4 @@
-const char parsers_rcs[] = "$Id: parsers.c,v 1.19 2001/07/25 17:21:54 oes Exp $";
+const char parsers_rcs[] = "$Id: parsers.c,v 1.29 2001/09/24 21:09:24 jongfoster Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/parsers.c,v $
@@ -41,6 +41,46 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.19 2001/07/25 17:21:54 oes Exp $"
  *
  * Revisions   :
  *    $Log: parsers.c,v $
+ *    Revision 1.29  2001/09/24 21:09:24  jongfoster
+ *    Fixing 2 memory leaks that Guy spotted, where the paramater to
+ *    enlist() was not being free()d.
+ *
+ *    Revision 1.28  2001/09/22 16:32:28  jongfoster
+ *    Removing unused #includes.
+ *
+ *    Revision 1.27  2001/09/20 15:45:25  steudten
+ *
+ *    add casting from size_t to int for printf()
+ *    remove local variable shadow s2
+ *
+ *    Revision 1.26  2001/09/16 17:05:14  jongfoster
+ *    Removing unused #include showarg.h
+ *
+ *    Revision 1.25  2001/09/16 13:21:27  jongfoster
+ *    Changes to use new list functions.
+ *
+ *    Revision 1.24  2001/09/13 23:05:50  jongfoster
+ *    Changing the string paramater to the header parsers a "const".
+ *
+ *    Revision 1.23  2001/09/12 18:08:19  steudten
+ *
+ *    In parse_http_request() header rewriting miss the host value, so
+ *    from http://www.mydomain.com the result was just " / " not
+ *    http://www.mydomain.com/ in case we forward.
+ *
+ *    Revision 1.22  2001/09/10 10:58:53  oes
+ *    Silenced compiler warnings
+ *
+ *    Revision 1.21  2001/07/31 14:46:00  oes
+ *     - Persistant connections now suppressed
+ *     - sed() no longer appends empty header to csp->headers
+ *
+ *    Revision 1.20  2001/07/30 22:08:36  jongfoster
+ *    Tidying up #defines:
+ *    - All feature #defines are now of the form FEATURE_xxx
+ *    - Permanently turned off WIN_GUI_EDIT
+ *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
+ *
  *    Revision 1.19  2001/07/25 17:21:54  oes
  *    client_uagent now saves copy of User-Agent: header value
  *
@@ -77,7 +117,7 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.19 2001/07/25 17:21:54 oes Exp $"
  *    CRLF -> LF
  *
  *    Revision 1.11  2001/05/29 20:11:19  joergs
- *    '/* inside comment' warning removed.
+ *    '/ * inside comment' warning removed.
  *
  *    Revision 1.10  2001/05/29 09:50:24  jongfoster
  *    Unified blocklist/imagelist/permissionslist.
@@ -203,10 +243,13 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.19 2001/07/25 17:21:54 oes Exp $"
 
 #include "config.h"
 
+#ifndef _WIN32
 #include <stdio.h>
 #include <sys/types.h>
 #include <stdlib.h>
 #include <ctype.h>
+#endif
+
 #include <string.h>
 
 #ifndef _WIN32
@@ -217,15 +260,10 @@ const char parsers_rcs[] = "$Id: parsers.c,v 1.19 2001/07/25 17:21:54 oes Exp $"
 #include "list.h"
 #include "parsers.h"
 #include "encode.h"
-#include "filters.h"
-#include "loaders.h"
-#include "showargs.h"
-#include "jcc.h"
 #include "ssplit.h"
 #include "errlog.h"
 #include "jbsockets.h"
 #include "miscutil.h"
-#include "cgi.h"
 
 const char parsers_h_rcs[] = PARSERS_H_VERSION;
 
@@ -250,7 +288,6 @@ const struct parsers client_patterns[] = {
    { "from:",                    5,    client_from },
    { "cookie:",                  7,    client_send_cookie },
    { "x-forwarded-for:",         16,   client_x_forwarded },
-   { "proxy-connection:",        17,   crumble },
 #ifdef FEATURE_DENY_GZIP
    { "Accept-Encoding: gzip",    21,   crumble },
 #endif /* def FEATURE_DENY_GZIP */
@@ -261,11 +298,15 @@ const struct parsers client_patterns[] = {
    { "Host:",                     5,   client_host },
 #endif /* def FEATURE_FORCE_LOAD */
 /* { "if-modified-since:",       18,   crumble }, */
+   { "Keep-Alive:",              11,   crumble },
+   { "connection:",              11,   crumble },
+   { "proxy-connection:",        17,   crumble },        
    { NULL,                       0,    NULL }
 };
 
 
 const struct parsers server_patterns[] = {
+   { "HTTP/1.1 ",           9, server_http11 },
    { "set-cookie:",        11, server_set_cookie },
    { "connection:",        11, crumble },
    { "Content-Type:",      13, content_type },
@@ -278,11 +319,13 @@ void (* const add_client_headers[])(struct client_state *) = {
    client_cookie_adder,
    client_x_forwarded_adder,
    client_xtra_adder,
+   connection_close_adder,   
    NULL
 };
 
 
 void (* const add_server_headers[])(struct client_state *) = {
+   connection_close_adder, 
    NULL
 };
 
@@ -466,14 +509,14 @@ char *get_header(struct client_state *csp)
  *********************************************************************/
 char *sed(const struct parsers pats[], void (* const more_headers[])(struct client_state *), struct client_state *csp)
 {
-   struct list *p;
+   struct list_entry *p;
    const struct parsers *v;
    char *hdr;
    void (* const *f)();
 
    for (v = pats; v->str ; v++)
    {
-      for (p = csp->headers->next; p ; p = p->next)
+      for (p = csp->headers->first; p ; p = p->next)
       {
          /* Header crunch()ed in previous run? -> ignore */
          if (p->str == NULL) continue;
@@ -483,7 +526,7 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
          if (strncmpic(p->str, v->str, v->len) == 0)
          {
             hdr = v->parser(v, p->str, csp);
-            freez(p->str);
+            freez((char *)p->str); /* FIXME: Yuck! patching a list...*/
             p->str = hdr;
          }
       }
@@ -495,14 +538,6 @@ char *sed(const struct parsers pats[], void (* const more_headers[])(struct clie
       (*f)(csp);
    }
 
-   /* add the blank line at the end of the header, if necessary */
-   if ( (csp->headers->last == NULL)
-     || (csp->headers->last->str == NULL)
-     || (*csp->headers->last->str != '\0') )
-   {
-      enlist(csp->headers, "");
-   }
-
    hdr = list_to_text(csp->headers);
 
    return(hdr);
@@ -553,7 +588,7 @@ void free_http_request(struct http_request *http)
  *********************************************************************/
 void parse_http_request(char *req, struct http_request *http, struct client_state *csp)
 {
-   char *buf, *v[10], *url, *p;
+   char *buf, *v[10], *url, *p, *save_url;
    int n;
 
    memset(http, '\0', sizeof(*http));
@@ -588,11 +623,27 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
        || (0 == strcmpic(v[0], "unlock"))
        )
       {
-         http->ssl      = 0;
-         http->gpc      = strdup(v[0]);
-         url            = v[1];
-         http->ver      = strdup(v[2]);
+         http->ssl    = 0;
+         http->gpc    = strdup(v[0]);
+         url          = v[1];
+         /* since we don't support HTTP/1.1 we must not send it */
+         if (!strcmpic(v[2], "HTTP/1.1"))
+         {
+            http->ver = strdup("HTTP/1.0");
+            /* change cmd too (forwaring) */
+            freez(http->cmd);
+            http->cmd = strsav(http->cmd, http->gpc);
+            http->cmd = strsav(http->cmd, " ");
+            http->cmd = strsav(http->cmd, url);
+            http->cmd = strsav(http->cmd, " ");
+            http->cmd = strsav(http->cmd, http->ver);
+         }
+         else
+         {
+            http->ver = strdup(v[2]);
+         }
 
+        save_url = url;
          if (strncmpic(url, "http://",  7) == 0)
          {
             url += 7;
@@ -608,7 +659,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
 
          if (url)
          {
-            if (p = strchr(url, '/'))
+            if ((p = strchr(url, '/')))
             {
                http->path = strdup(p);
                *p = '\0';
@@ -626,7 +677,9 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
                /* Even repair cmd in case we're just forwarding. Boy are we nice ;-)  */
                freez(http->cmd);
                http->cmd = strsav(http->cmd, http->gpc);
-               http->cmd = strsav(http->cmd, " / ");
+               http->cmd = strsav(http->cmd, " ");
+               http->cmd = strsav(http->cmd, save_url);
+               http->cmd = strsav(http->cmd, "/ ");
                http->cmd = strsav(http->cmd, http->ver);
             }
          }
@@ -702,7 +755,7 @@ void parse_http_request(char *req, struct http_request *http, struct client_stat
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *crumble(const struct parsers *v, char *s, struct client_state *csp)
+char *crumble(const struct parsers *v, const char *s, struct client_state *csp)
 {
    log_error(LOG_LEVEL_HEADER, "crunch!");
    return(NULL);
@@ -724,7 +777,7 @@ char *crumble(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *content_type(const struct parsers *v, char *s, struct client_state *csp)
+char *content_type(const struct parsers *v, const char *s, struct client_state *csp)
 {
    if (strstr(s, " text/") || strstr(s, "application/x-javascript"))
       csp->content_type = CT_TEXT;
@@ -753,15 +806,15 @@ char *content_type(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  A duplicate string pointer to this header (ie. pass thru)
  *
  *********************************************************************/
-char *content_length(const struct parsers *v, char *s, struct client_state *csp)
+char *content_length(const struct parsers *v, const char *s, struct client_state *csp)
 {
    if (csp->content_length != 0) /* Content has been modified */
    {
-      s = (char *) zalloc(100);
-      sprintf(s, "Content-Length: %d", csp->content_length);
+      char * s2 = (char *) zalloc(100);
+      sprintf(s2, "Content-Length: %d", (int) csp->content_length);
 
-       log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", csp->content_length);
-      return(s);
+         log_error(LOG_LEVEL_HEADER, "Adjust Content-Length to %d", (int) csp->content_length);
+      return(s2);
    }
    else
    {
@@ -787,9 +840,10 @@ char *content_length(const struct parsers *v, char *s, struct client_state *csp)
  *                or modified header
  *
  *********************************************************************/
-char *client_referrer(const struct parsers *v, char *s, struct client_state *csp)
+char *client_referrer(const struct parsers *v, const char *s, struct client_state *csp)
 {
    const char * newval;
+   char * s2;
 #ifdef FEATURE_FORCE_LOAD
    /* Since the referrer can include the prefix even
     * even if the request itself is non-forced, we must
@@ -831,11 +885,11 @@ char *client_referrer(const struct parsers *v, char *s, struct client_state *csp
        * to fool stupid checks for in-site links
        */
       log_error(LOG_LEVEL_HEADER, "crunch+forge!");
-      s = strsav(NULL, "Referer: ");
-      s = strsav(s, "http://");
-      s = strsav(s, csp->http->hostport);
-      s = strsav(s, "/");
-      return(s);
+      s2 = strsav(NULL, "Referer: ");
+      s2 = strsav(s2, "http://");
+      s2 = strsav(s2, csp->http->hostport);
+      s2 = strsav(s2, "/");
+      return(s2);
    }
 
    /*
@@ -846,12 +900,13 @@ char *client_referrer(const struct parsers *v, char *s, struct client_state *csp
       /*
        * We have a specific (fixed) referer we want to send.
        */
+      char * s3;
 
       log_error(LOG_LEVEL_HEADER, "modified");
 
-      s = strsav( NULL, "Referer: " );
-      s = strsav( s, newval );
-      return(s);
+      s3 = strsav( NULL, "Referer: " );
+      s3 = strsav( s3, newval );
+      return(s3);
    }
 
    /* Should never get here! */
@@ -864,11 +919,11 @@ char *client_referrer(const struct parsers *v, char *s, struct client_state *csp
     * to fool stupid checks for in-site links
     */
    log_error(LOG_LEVEL_HEADER, "crunch+forge!");
-   s = strsav(NULL, "Referer: ");
-   s = strsav(s, "http://");
-   s = strsav(s, csp->http->hostport);
-   s = strsav(s, "/");
-   return(s);
+   s2 = strsav(NULL, "Referer: ");
+   s2 = strsav(s2, "http://");
+   s2 = strsav(s2, csp->http->hostport);
+   s2 = strsav(s2, "/");
+   return(s2);
 }
 
 
@@ -889,9 +944,10 @@ char *client_referrer(const struct parsers *v, char *s, struct client_state *csp
  *                a malloc'ed string pointer to this header (ie. pass thru).
  *
  *********************************************************************/
-char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
+char *client_uagent(const struct parsers *v, const char *s, struct client_state *csp)
 {
    const char * newval;
+   char * s2;
 
    /* Save the client's User-Agent: value */
    if (strlen(s) >= 12)
@@ -922,9 +978,9 @@ char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
 
    log_error(LOG_LEVEL_HEADER, "modified");
 
-   s = strsav( NULL, "User-Agent: " );
-   s = strsav( s, newval );
-   return(s);
+   s2 = strsav( NULL, "User-Agent: " );
+   s2 = strsav( s2, newval );
+   return(s2);
 
 }
 
@@ -943,7 +999,7 @@ char *client_uagent(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  NULL if crunched, or a malloc'ed string to original header
  *
  *********************************************************************/
-char *client_ua(const struct parsers *v, char *s, struct client_state *csp)
+char *client_ua(const struct parsers *v, const char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_HIDE_USER_AGENT) == 0)
    {
@@ -973,9 +1029,10 @@ char *client_ua(const struct parsers *v, char *s, struct client_state *csp)
  *                modified/original header.
  *
  *********************************************************************/
-char *client_from(const struct parsers *v, char *s, struct client_state *csp)
+char *client_from(const struct parsers *v, const char *s, struct client_state *csp)
 {
    const char * newval;
+   char * s2;
 
    if ((csp->action->flags & ACTION_HIDE_FROM) == 0)
    {
@@ -995,9 +1052,9 @@ char *client_from(const struct parsers *v, char *s, struct client_state *csp)
 
    log_error(LOG_LEVEL_HEADER, " modified");
 
-   s = strsav( NULL, "From: " );
-   s = strsav( s, newval );
-   return(s);
+   s2 = strsav( NULL, "From: " );
+   s2 = strsav( s2, newval );
+   return(s2);
 
 }
 
@@ -1018,7 +1075,7 @@ char *client_from(const struct parsers *v, char *s, struct client_state *csp)
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_send_cookie(const struct parsers *v, char *s, struct client_state *csp)
+char *client_send_cookie(const struct parsers *v, const char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_NO_COOKIE_READ) == 0)
    {
@@ -1053,7 +1110,7 @@ char *client_send_cookie(const struct parsers *v, char *s, struct client_state *
  * Returns     :  Always NULL.
  *
  *********************************************************************/
-char *client_x_forwarded(const struct parsers *v, char *s, struct client_state *csp)
+char *client_x_forwarded(const struct parsers *v, const char *s, struct client_state *csp)
 {
    if ((csp->action->flags & ACTION_HIDE_FORWARDED) == 0)
    {
@@ -1088,7 +1145,7 @@ char *client_x_forwarded(const struct parsers *v, char *s, struct client_state *
  * Returns     :  Duplicate of argument s.
  *
  *********************************************************************/
-char *client_accept(const struct parsers *v, char *s, struct client_state *csp)
+char *client_accept(const struct parsers *v, const char *s, struct client_state *csp)
 {
 #ifdef FEATURE_IMAGE_DETECT_MSIE
    if (strstr (s, "image/gif"))
@@ -1128,11 +1185,11 @@ char *client_accept(const struct parsers *v, char *s, struct client_state *csp)
  *********************************************************************/
 void client_cookie_adder(struct client_state *csp)
 {
-   struct list *lst;
+   struct list_entry *lst;
    char *tmp = NULL;
    char *e;
 
-   for (lst = csp->cookie_list->next; lst ; lst = lst->next)
+   for (lst = csp->cookie_list->first; lst ; lst = lst->next)
    {
       if (tmp)
       {
@@ -1141,7 +1198,7 @@ void client_cookie_adder(struct client_state *csp)
       tmp = strsav(tmp, lst->str);
    }
 
-   for (lst = csp->action->multi[ACTION_MULTI_WAFER]->next;  lst ; lst = lst->next)
+   for (lst = csp->action->multi[ACTION_MULTI_WAFER]->first;  lst ; lst = lst->next)
    {
       if (tmp)
       {
@@ -1184,9 +1241,10 @@ void client_cookie_adder(struct client_state *csp)
  *********************************************************************/
 void client_xtra_adder(struct client_state *csp)
 {
-   struct list *lst = csp->action->multi[ACTION_MULTI_ADD_HEADER];
+   struct list_entry *lst;
 
-   for (lst = lst->next; lst ; lst = lst->next)
+   for (lst = csp->action->multi[ACTION_MULTI_ADD_HEADER]->first;
+        lst ; lst = lst->next)
    {
       log_error(LOG_LEVEL_HEADER, "addh: %s", lst->str);
       enlist(csp->headers, lst->str);
@@ -1231,6 +1289,54 @@ void client_x_forwarded_adder(struct client_state *csp)
    log_error(LOG_LEVEL_HEADER, "addh: %s", p);
    enlist(csp->headers, p);
 
+   freez(p);
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  connection_close_adder
+ *
+ * Description :  Adds a "Connection: close" header to csp->headers
+ *                as a temporary fix for the needed but missing HTTP/1.1
+ *                support. Called from `sed'.
+ *                FIXME: This whole function shouldn't be neccessary!
+ *
+ * Parameters  :
+ *          1  :  csp = Current client state (buffers, headers, etc...)
+ *
+ * Returns     :  N/A
+ *
+ *********************************************************************/
+void connection_close_adder(struct client_state *csp)
+{
+   enlist(csp->headers, "Connection: close");
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  server_http11
+ *
+ * Description :  Rewrite HTTP/1.1 answers to HTTP/1.0 until we add
+ *                HTTP/1.1 support. Called from `sed'.
+ *
+ * Parameters  :
+ *          1  :  v = parser pattern that matched this header
+ *          2  :  s = header that matched this pattern
+ *          3  :  csp = Current client state (buffers, headers, etc...)
+ *
+ * Returns     :  "HTTP/1.0" answer.
+ *
+ *********************************************************************/
+char *server_http11(const struct parsers *v, const char *s, struct client_state *csp)
+{
+   char *ret;
+
+   ret = strdup(s);
+   ret[7] = '0'; /* "HTTP/1.1 ..." -> "HTTP/1.0 ..." */
+
+   return ret;
 }
 
 
@@ -1250,7 +1356,7 @@ void client_x_forwarded_adder(struct client_state *csp)
  * Returns     :  `crumble' or a newly malloc'ed string.
  *
  *********************************************************************/
-char *server_set_cookie(const struct parsers *v, char *s, struct client_state *csp)
+char *server_set_cookie(const struct parsers *v, const char *s, struct client_state *csp)
 {
 #ifdef FEATURE_COOKIE_JAR
    if (csp->config->jar)
@@ -1285,12 +1391,14 @@ char *server_set_cookie(const struct parsers *v, char *s, struct client_state *c
  * Returns     :  A malloc'ed pointer to the cleaned host header 
  *
  *********************************************************************/
-char *client_host(const struct parsers *v, char *s, struct client_state *csp)
+char *client_host(const struct parsers *v, const char *s, struct client_state *csp)
 {
    char *cleanhost = strdup(s);
  
    if(csp->force)
+   {
       strclean(cleanhost, FORCE_PREFIX);
+   }
  
    return(cleanhost);
 }