Rename ACTION_NO_COOKIE_READ to ACTION_CRUNCH_OUTGOING_COOKIES to match the current...
[privoxy.git] / parsers.c
index f34ebd1..747589a 100644 (file)
--- a/parsers.c
+++ b/parsers.c
@@ -1,11 +1,11 @@
-const char parsers_rcs[] = "$Id: parsers.c,v 1.243 2012/03/04 11:53:26 fabiankeil Exp $";
+const char parsers_rcs[] = "$Id: parsers.c,v 1.254 2012/10/17 18:18:54 fabiankeil Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/parsers.c,v $
  *
  * Purpose     :  Declares functions to parse/crunch headers and pages.
  *
- * Copyright   :  Written by and Copyright (C) 2001-2011 the
+ * Copyright   :  Written by and Copyright (C) 2001-2012 the
  *                Privoxy team. http://www.privoxy.org/
  *
  *                Based on the Internet Junkbuster originally written
@@ -1025,6 +1025,79 @@ static jb_err scan_headers(struct client_state *csp)
 }
 
 
+/*********************************************************************
+ *
+ * Function    :  enforce_header_order
+ *
+ * Description :  Enforces a given header order.
+ *
+ * Parameters  :
+ *          1  :  headers         = List of headers to order.
+ *          2  :  ordered_headers = List of ordered header names.
+ *
+ * Returns     :  N/A
+ *
+ *********************************************************************/
+static void enforce_header_order(struct list *headers, const struct list *ordered_headers)
+{
+   struct list_entry *sorted_header;
+   struct list new_headers[1];
+   struct list_entry *header;
+
+   init_list(new_headers);
+
+   /* The request line is always the first "header" */
+
+   assert(NULL != headers->first->str);
+   enlist(new_headers, headers->first->str);
+   freez(headers->first->str)
+
+   /* Enlist the specified headers in the given order */
+
+   for (sorted_header = ordered_headers->first; sorted_header != NULL;
+        sorted_header = sorted_header->next)
+   {
+      const size_t sorted_header_length = strlen(sorted_header->str);
+      for (header = headers->first; header != NULL; header = header->next)
+      {
+         /* Header enlisted in previous run? -> ignore */
+         if (header->str == NULL) continue;
+
+         if (0 == strncmpic(sorted_header->str, header->str, sorted_header_length)
+            && (header->str[sorted_header_length] == ':'))
+         {
+            log_error(LOG_LEVEL_HEADER, "Enlisting sorted header %s", header->str);
+            if (JB_ERR_OK != enlist(new_headers, header->str))
+            {
+               log_error(LOG_LEVEL_HEADER, "Failed to enlist %s", header->str);
+            }
+            freez(header->str);
+         }
+      }
+   }
+
+   /* Enlist the rest of the headers behind the ordered ones */
+   for (header = headers->first; header != NULL; header = header->next)
+   {
+      /* Header enlisted in previous run? -> ignore */
+      if (header->str == NULL) continue;
+
+      log_error(LOG_LEVEL_HEADER,
+         "Enlisting left-over header %s", header->str);
+      if (JB_ERR_OK != enlist(new_headers, header->str))
+      {
+         log_error(LOG_LEVEL_HEADER, "Failed to enlist %s", header->str);
+      }
+      freez(header->str);
+   }
+
+   list_remove_all(headers);
+   list_duplicate(headers, new_headers);
+   list_remove_all(new_headers);
+
+   return;
+}
+
 /*********************************************************************
  *
  * Function    :  sed
@@ -1091,6 +1164,11 @@ jb_err sed(struct client_state *csp, int filter_server_headers)
       f++;
    }
 
+   if (!filter_server_headers && !list_is_empty(csp->config->ordered_client_headers))
+   {
+      enforce_header_order(csp->headers, csp->config->ordered_client_headers);
+   }
+
    return err;
 }
 
@@ -1722,22 +1800,20 @@ static jb_err client_keep_alive(struct client_state *csp, char **header)
  *                Content-Length header.
  *
  * Parameters  :
- *          1  :  header = The Content-Length header.
+ *          1  :  header_value = The Content-Length header value.
  *          2  :  length = Storage to return the value.
  *
  * Returns     :  JB_ERR_OK on success, or
  *                JB_ERR_PARSE if no value is recognized.
  *
  *********************************************************************/
-static jb_err get_content_length(const char *header, unsigned long long *length)
+static jb_err get_content_length(const char *header_value, unsigned long long *length)
 {
-   assert(header[14] == ':');
-
 #ifdef _WIN32
    assert(sizeof(unsigned long long) > 4);
-   if (1 != sscanf(header+14, ": %I64u", length))
+   if (1 != sscanf(header_value, "%I64u", length))
 #else
-   if (1 != sscanf(header+14, ": %llu", length))
+   if (1 != sscanf(header_value, "%llu", length))
 #endif
    {
       return JB_ERR_PARSE;
@@ -1767,10 +1843,12 @@ static jb_err get_content_length(const char *header, unsigned long long *length)
 static jb_err client_save_content_length(struct client_state *csp, char **header)
 {
    unsigned long long content_length = 0;
+   const char *header_value;
 
    assert(*(*header+14) == ':');
 
-   if (JB_ERR_OK != get_content_length(*header, &content_length))
+   header_value = *header + 15;
+   if (JB_ERR_OK != get_content_length(header_value, &content_length))
    {
       log_error(LOG_LEVEL_ERROR, "Crunching invalid header: %s", *header);
       freez(*header);
@@ -1811,7 +1889,8 @@ static jb_err client_connection(struct client_state *csp, char **header)
    if (!strcmpic(*header, connection_close))
    {
 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
-      if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING))
+      if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_SHARING)
+        && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED))
       {
           if (!strcmpic(csp->http->ver, "HTTP/1.1"))
           {
@@ -1843,7 +1922,8 @@ static jb_err client_connection(struct client_state *csp, char **header)
          csp->flags &= ~CSP_FLAG_CLIENT_CONNECTION_KEEP_ALIVE;
       }
    }
-   else if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE))
+   else if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
+        && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED))
    {
       log_error(LOG_LEVEL_HEADER,
          "Keeping the client header '%s' around. "
@@ -1862,7 +1942,7 @@ static jb_err client_connection(struct client_state *csp, char **header)
       freez(old_header);
    }
 
-   /* Signal client_connection_adder() to return early. */
+   /* Signal client_connection_header_adder() to return early. */
    csp->flags |= CSP_FLAG_CLIENT_CONNECTION_HEADER_SET;
 
    return JB_ERR_OK;
@@ -2300,10 +2380,12 @@ static jb_err server_adjust_content_length(struct client_state *csp, char **head
 static jb_err server_save_content_length(struct client_state *csp, char **header)
 {
    unsigned long long content_length = 0;
+   const char *header_value;
 
    assert(*(*header+14) == ':');
 
-   if (JB_ERR_OK != get_content_length(*header, &content_length))
+   header_value = *header + 15;
+   if (JB_ERR_OK != get_content_length(header_value, &content_length))
    {
       log_error(LOG_LEVEL_ERROR, "Crunching invalid header: %s", *header);
       freez(*header);
@@ -2957,7 +3039,7 @@ static jb_err client_from(struct client_state *csp, char **header)
  *********************************************************************/
 static jb_err client_send_cookie(struct client_state *csp, char **header)
 {
-   if (csp->action->flags & ACTION_NO_COOKIE_READ)
+   if (csp->action->flags & ACTION_CRUNCH_OUTGOING_COOKIES)
    {
       log_error(LOG_LEVEL_HEADER, "Crunched outgoing cookie: %s", *header);
       freez(*header);
@@ -3352,11 +3434,25 @@ jb_err client_x_filter(struct client_state *csp, char **header)
  * Function    :  client_range
  *
  * Description :  Removes Range, Request-Range and If-Range headers if
- *                content filtering is enabled. If the client's version
- *                of the document has been altered by Privoxy, the server
- *                could interpret the range differently than the client
- *                intended in which case the user could end up with
- *                corrupted content.
+ *                content filtering is enabled and the range doesn't
+ *                start at byte 0.
+ *
+ *                If the client's version of the document has been
+ *                altered by Privoxy, the server could interpret the
+ *                range differently than the client intended in which
+ *                case the user could end up with corrupted content.
+ *
+ *                If the range starts at byte 0 this isn't an issue
+ *                so the header can pass. Partial requests like this
+ *                are used to render preview images for videos without
+ *                downloading the whole video.
+ *
+ *                While HTTP doesn't require that range requests are
+ *                honoured and the client could simply abort the download
+ *                after receiving a sufficient amount of data, various
+ *                clients don't handle complete responses to range
+ *                requests gracefully and emit misleading error messages
+ *                instead.
  *
  * Parameters  :
  *          1  :  csp = Current client state (buffers, headers, etc...)
@@ -3370,7 +3466,8 @@ jb_err client_x_filter(struct client_state *csp, char **header)
  *********************************************************************/
 static jb_err client_range(struct client_state *csp, char **header)
 {
-   if (content_filters_enabled(csp->action))
+   if (content_filters_enabled(csp->action)
+      && (0 != strncmpic(strstr(*header, ":"), ": bytes=0-", 10)))
    {
       log_error(LOG_LEVEL_HEADER, "Content filtering is enabled."
          " Crunching: \'%s\' to prevent range-mismatch problems.", *header);
@@ -3570,8 +3667,7 @@ static jb_err server_connection_adder(struct client_state *csp)
  * Function    :  server_proxy_connection_adder
  *
  * Description :  Adds a "Proxy-Connection: keep-alive" header to
- *                csp->headers if the client asked for keep-alive.
- *                XXX: We should reuse existent ones.
+ *                csp->headers when appropriate.
  *
  * Parameters  :
  *          1  :  csp = Current client state (buffers, headers, etc...)
@@ -3624,6 +3720,7 @@ static jb_err client_connection_header_adder(struct client_state *csp)
 
 #ifdef FEATURE_CONNECTION_KEEP_ALIVE
    if ((csp->config->feature_flags & RUNTIME_FEATURE_CONNECTION_KEEP_ALIVE)
+      && !(csp->flags & CSP_FLAG_SERVER_SOCKET_TAINTED)
       && (csp->http->ssl == 0)
       && !strcmpic(csp->http->ver, "HTTP/1.1"))
    {
@@ -3720,7 +3817,7 @@ static jb_err server_set_cookie(struct client_state *csp, char **header)
 
    time(&now);
 
-   if ((csp->action->flags & ACTION_NO_COOKIE_SET) != 0)
+   if ((csp->action->flags & ACTION_CRUNCH_INCOMING_COOKIES) != 0)
    {
       log_error(LOG_LEVEL_HEADER, "Crunching incoming cookie: %s", *header);
       freez(*header);
@@ -4210,6 +4307,39 @@ static void create_content_length_header(unsigned long long content_length,
 }
 
 
+/*********************************************************************
+ *
+ * Function    :  get_expected_content_length
+ *
+ * Description :  Figures out the content length from a list of headers.
+ *
+ * Parameters  :
+ *          1  :  headers = List of headers
+ *
+ * Returns     :  Number of bytes to expect
+ *
+ *********************************************************************/
+unsigned long long get_expected_content_length(struct list *headers)
+{
+   const char *content_length_header;
+   unsigned long long content_length = 0;
+
+   content_length_header = get_header_value(headers, "Content-Length:");
+   if (content_length_header != NULL)
+   {
+      if (JB_ERR_OK != get_content_length(content_length_header, &content_length))
+      {
+         log_error(LOG_LEVEL_ERROR,
+            "Failed to get the Content-Length in %s", content_length_header);
+         /* XXX: The header will be removed later on */
+         return 0;
+      }
+   }
+
+   return content_length;
+}
+
+
 /*
   Local Variables:
   tab-width: 3