Allow to limit the number of of client connections.
[privoxy.git] / loaders.c
index 406398d..e7dbbe4 100644 (file)
--- a/loaders.c
+++ b/loaders.c
@@ -1,4 +1,4 @@
-const char loaders_rcs[] = "$Id: loaders.c,v 1.53 2006/08/31 16:25:06 fabiankeil Exp $";
+const char loaders_rcs[] = "$Id: loaders.c,v 1.71 2009/03/04 18:24:47 fabiankeil Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/loaders.c,v $
@@ -8,7 +8,7 @@ const char loaders_rcs[] = "$Id: loaders.c,v 1.53 2006/08/31 16:25:06 fabiankeil
  *                the list of active loaders, and to automatically
  *                unload files that are no longer in use.
  *
- * Copyright   :  Written by and Copyright (C) 2001 the SourceForge
+ * Copyright   :  Written by and Copyright (C) 2001-2009 the
  *                Privoxy team. http://www.privoxy.org/
  *
  *                Based on the Internet Junkbuster originally written
@@ -35,6 +35,79 @@ const char loaders_rcs[] = "$Id: loaders.c,v 1.53 2006/08/31 16:25:06 fabiankeil
  *
  * Revisions   :
  *    $Log: loaders.c,v $
+ *    Revision 1.71  2009/03/04 18:24:47  fabiankeil
+ *    No need to create empty strings manually, strdup("") FTW.
+ *
+ *    Revision 1.70  2009/03/01 18:34:24  fabiankeil
+ *    Help clang understand that we aren't dereferencing
+ *    NULL pointers here.
+ *
+ *    Revision 1.69  2008/09/21 13:36:52  fabiankeil
+ *    If change-x-forwarded-for{add} is used and the client
+ *    sends multiple X-Forwarded-For headers, append the client's
+ *    IP address to each one of them. "Traditionally" we would
+ *    lose all but the last one.
+ *
+ *    Revision 1.68  2008/09/19 15:26:28  fabiankeil
+ *    Add change-x-forwarded-for{} action to block or add
+ *    X-Forwarded-For headers. Mostly based on code removed
+ *    before 3.0.7.
+ *
+ *    Revision 1.67  2008/03/30 14:52:08  fabiankeil
+ *    Rename load_actions_file() and load_re_filterfile()
+ *    as they load multiple files "now".
+ *
+ *    Revision 1.66  2008/03/21 11:16:30  fabiankeil
+ *    Garbage-collect csp->my_ip_addr_str and csp->my_hostname.
+ *
+ *    Revision 1.65  2007/12/07 18:29:23  fabiankeil
+ *    Remove now-obsolete csp member x_forwarded.
+ *
+ *    Revision 1.64  2007/06/01 14:12:38  fabiankeil
+ *    Add unload_forward_spec() in preparation for forward-override{}.
+ *
+ *    Revision 1.63  2007/05/14 10:41:15  fabiankeil
+ *    Ditch the csp member cookie_list[] which isn't used anymore.
+ *
+ *    Revision 1.62  2007/04/30 15:02:18  fabiankeil
+ *    Introduce dynamic pcrs jobs that can resolve variables.
+ *
+ *    Revision 1.61  2007/04/15 16:39:21  fabiankeil
+ *    Introduce tags as alternative way to specify which
+ *    actions apply to a request. At the moment tags can be
+ *    created based on client and server headers.
+ *
+ *    Revision 1.60  2007/03/20 15:16:34  fabiankeil
+ *    Use dedicated header filter actions instead of abusing "filter".
+ *    Replace "filter-client-headers" and "filter-client-headers"
+ *    with "server-header-filter" and "client-header-filter".
+ *
+ *    Revision 1.59  2007/01/25 13:38:20  fabiankeil
+ *    Freez csp->error_message in sweep().
+ *
+ *    Revision 1.58  2006/12/31 14:25:20  fabiankeil
+ *    Fix gcc43 compiler warnings.
+ *
+ *    Revision 1.57  2006/12/21 12:22:22  fabiankeil
+ *    html_encode filter descriptions.
+ *
+ *    Have "Ignoring job ..." error messages
+ *    print the filter file name correctly.
+ *
+ *    Revision 1.56  2006/09/07 10:40:30  fabiankeil
+ *    Turns out trusted referrers above our arbitrary
+ *    limit are downgraded too ordinary trusted URLs.
+ *    Adjusted error message.
+ *
+ *    Revision 1.55  2006/09/07 10:25:39  fabiankeil
+ *    Fix typo.
+ *
+ *    Revision 1.54  2006/09/07 10:22:20  fabiankeil
+ *    If too many trusted referrers are used,
+ *    print only one error message instead of logging
+ *    every single trusted referrer above the arbitrary
+ *    limit.
+ *
  *    Revision 1.53  2006/08/31 16:25:06  fabiankeil
  *    Work around a buffer overflow that caused Privoxy to
  *    segfault if too many trusted referrers were used. Good
@@ -333,6 +406,7 @@ const char loaders_rcs[] = "$Id: loaders.c,v 1.53 2006/08/31 16:25:06 fabiankeil
 #include "errlog.h"
 #include "actions.h"
 #include "urlmatch.h"
+#include "encode.h"
 
 const char loaders_h_rcs[] = LOADERS_H_VERSION;
 
@@ -352,6 +426,10 @@ static struct file_list *current_re_filterfile[MAX_AF_FILES]  = {
    NULL, NULL, NULL, NULL, NULL
 };
 
+/*
+ * Pseudo filter type for load_one_re_filterfile
+ */
+#define NO_NEW_FILTER -1
 
 
 /*********************************************************************
@@ -375,14 +453,15 @@ static struct file_list *current_re_filterfile[MAX_AF_FILES]  = {
  *
  * Parameters  :  None
  *
- * Returns     :  N/A
+ * Returns     :  The number of threads that are still active.
  *
  *********************************************************************/
-void sweep(void)
+unsigned int sweep(void)
 {
    struct file_list *fl, *nfl;
    struct client_state *csp, *last_active;
    int i;
+   unsigned int active_threads = 0;
 
    /* clear all of the file's active flags */
    for ( fl = files->next; NULL != fl; fl = fl->next )
@@ -437,10 +516,11 @@ void sweep(void)
             csp->tlist->active = 1;
          }
 #endif /* def FEATURE_TRUST */
-         
+
+         active_threads++;
+
          last_active = csp;
          csp = csp->next;
-
       }
       else 
       /*
@@ -450,15 +530,18 @@ void sweep(void)
          last_active->next = csp->next;
 
          freez(csp->ip_addr_str);
-         freez(csp->my_ip_addr_str);
-         freez(csp->my_hostname);
-         freez(csp->x_forwarded);
          freez(csp->iob->buf);
+         freez(csp->error_message);
 
+         if (csp->action->flags & ACTION_FORWARD_OVERRIDE &&
+             NULL != csp->fwd)
+         {
+            unload_forward_spec(csp->fwd);
+         }
          free_http_request(csp->http);
 
          destroy_list(csp->headers);
-         destroy_list(csp->cookie_list);
+         destroy_list(csp->tags);
 
          free_current_action(csp->action);
 
@@ -499,6 +582,8 @@ void sweep(void)
       }
    }
 
+   return active_threads;
+
 }
 
 
@@ -687,7 +772,7 @@ jb_err simple_read_line(FILE *fp, char **dest, int *newline)
          return JB_ERR_OK;
       }
 
-      *p++ = ch;
+      *p++ = (char)ch;
 
       if (++len >= buflen)
       {
@@ -799,30 +884,30 @@ jb_err edit_read_line(FILE *fp,
 
    if (raw_out)
    {
-      if ((raw = malloc(1)) == NULL)
+      raw = strdup("");
+      if (NULL == raw)
       {
          return JB_ERR_MEMORY;
       }
-      *raw = '\0';
    }
    if (prefix_out)
    {
-      if ((prefix = malloc(1)) == NULL)
+      prefix = strdup("");
+      if (NULL == prefix)
       {
          freez(raw);
          return JB_ERR_MEMORY;
       }
-      *prefix = '\0';
    }
    if (data_out)
    {
-      if ((data = malloc(1)) == NULL)
+      data = strdup("");
+      if (NULL == data)
       {
          freez(raw);
          freez(prefix);
          return JB_ERR_MEMORY;
       }
-      *data = '\0';
    }
 
    /* Main loop.  Loop while we need more data & it's not EOF. */
@@ -856,6 +941,7 @@ jb_err edit_read_line(FILE *fp,
 
       /* Trim leading spaces if we're at the start of the line */
       linestart = linebuf;
+      assert(NULL != data);
       if (*data == '\0')
       {
          /* Trim leading spaces */
@@ -1198,16 +1284,10 @@ int load_trustfile(struct client_state *csp)
    if(trusted_referrers >= MAX_TRUSTED_REFERRERS) 
    {
       /*
-       * FIXME: csp->config->trust_list is only needed 
-       * to print the trusted referrers in Privoxy's blocking
-       * message. Not printing all of them is certainly better
-       * than writing them into memory that doesn't belong to us,
-       * but when Privoxy 3.0.4 is out, we should look for a real
-       * solution. 
+       * FIXME: ... after Privoxy 3.0.4 is out.
        */
-       log_error(LOG_LEVEL_ERROR, "Too many trusted referrers for Privoxy's webinterface to handle.\n"
-          "  Current limit is %d, you are using %d. Additonal trusted referrers are recognized, "
-          "but will not show up in the blocking message.\n"
+       log_error(LOG_LEVEL_ERROR, "Too many trusted referrers. Current limit is %d, you are using %d.\n"
+          "  Additional trusted referrers are treated like ordinary trusted URLs.\n"
           "  (You can increase this limit by changing MAX_TRUSTED_REFERRERS in project.h and recompiling).",
           MAX_TRUSTED_REFERRERS, trusted_referrers);
    }
@@ -1275,6 +1355,30 @@ static void unload_re_filterfile(void *f)
    return;
 }
 
+/*********************************************************************
+ *
+ * Function    :  unload_forward_spec
+ *
+ * Description :  Unload the forward spec settings by freeing all 
+ *                memory referenced by members and the memory for
+ *                the spec itself.
+ *
+ * Parameters  :
+ *          1  :  fwd = the forward spec.
+ *
+ * Returns     :  N/A
+ *
+ *********************************************************************/
+void unload_forward_spec(struct forward_spec *fwd)
+{
+   free_url_spec(fwd->url);
+   freez(fwd->gateway_host);
+   freez(fwd->forward_host);
+   free(fwd);
+
+   return;
+}
+
 
 #ifdef FEATURE_GRACEFUL_TERMINATION
 /*********************************************************************
@@ -1307,9 +1411,9 @@ void unload_current_re_filterfile(void)
 
 /*********************************************************************
  *
- * Function    :  load_re_filterfile
+ * Function    :  load_re_filterfiles
  *
- * Description :  Load the re_filterfile
+ * Description :  Loads all the filterfiles
  *                Generate a chained list of re_filterfile_spec's from
  *                the "FILTER: " blocks, compiling all their substitutions
  *                into chained lists of pcrs_job structs.
@@ -1320,7 +1424,7 @@ void unload_current_re_filterfile(void)
  * Returns     :  0 => Ok, everything else is an error.
  *
  *********************************************************************/
-int load_re_filterfile(struct client_state *csp)
+int load_re_filterfiles(struct client_state *csp)
 {
    int i;
    int result;
@@ -1345,6 +1449,7 @@ int load_re_filterfile(struct client_state *csp)
    return 0;
 }
 
+
 /*********************************************************************
  *
  * Function    :  load_one_re_filterfile
@@ -1401,24 +1506,62 @@ int load_one_re_filterfile(struct client_state *csp, int fileid)
     */
    while (read_config_line(buf, sizeof(buf), fp, &linenum) != NULL)
    {
+      int new_filter = NO_NEW_FILTER;
+
+      if (strncmp(buf, "FILTER:", 7) == 0)
+      {
+         new_filter = FT_CONTENT_FILTER;
+      }
+      else if (strncmp(buf, "SERVER-HEADER-FILTER:", 21) == 0)
+      {
+         new_filter = FT_SERVER_HEADER_FILTER;
+      }
+      else if (strncmp(buf, "CLIENT-HEADER-FILTER:", 21) == 0)
+      {
+         new_filter = FT_CLIENT_HEADER_FILTER;
+      }
+      else if (strncmp(buf, "CLIENT-HEADER-TAGGER:", 21) == 0)
+      {
+         new_filter = FT_CLIENT_HEADER_TAGGER;
+      }
+      else if (strncmp(buf, "SERVER-HEADER-TAGGER:", 21) == 0)
+      {
+         new_filter = FT_SERVER_HEADER_TAGGER;
+      }
+
       /*
        * If this is the head of a new filter block, make it a
        * re_filterfile spec of its own and chain it to the list:
        */
-      if (strncmp(buf, "FILTER:", 7) == 0)
+      if (new_filter != NO_NEW_FILTER)
       {
          new_bl = (struct re_filterfile_spec  *)zalloc(sizeof(*bl));
          if (new_bl == NULL)
          {
             goto load_re_filterfile_error;
          }
+         if (new_filter == FT_CONTENT_FILTER)
+         {
+            new_bl->name = chomp(buf + 7);
+         }
+         else
+         {
+            new_bl->name = chomp(buf + 21);
+         }
+         new_bl->type = new_filter;
 
-         new_bl->name = chomp(buf + 7);
-
+         /*
+          * If a filter description is available,
+          * encode it to HTML and save it.
+          */
          if (NULL != (new_bl->description = strpbrk(new_bl->name, " \t")))
          {
             *new_bl->description++ = '\0';
-            new_bl->description = strdup(chomp(new_bl->description));
+            new_bl->description = html_encode(chomp(new_bl->description));
+            if (NULL == new_bl->description)
+            {
+               new_bl->description = strdup("Out of memory while encoding this filter's description to HTML");
+            }
          }
          else
          {
@@ -1438,6 +1581,7 @@ int load_one_re_filterfile(struct client_state *csp, int fileid)
          }
          else
          {
+            assert(NULL != bl);
             bl->next = new_bl;
          }
          bl = new_bl;
@@ -1453,12 +1597,46 @@ int load_one_re_filterfile(struct client_state *csp, int fileid)
        */
       if (bl != NULL)
       {
-         enlist(bl->patterns, buf);
+         error = enlist(bl->patterns, buf);
+         if (JB_ERR_MEMORY == error)
+         {
+            log_error(LOG_LEVEL_FATAL,
+               "Out of memory while enlisting re_filter job \'%s\' for filter %s.", buf, bl->name);
+         }
+         assert(JB_ERR_OK == error);
+
+         if (pcrs_job_is_dynamic(buf))
+         {
+            /*
+             * Dynamic pattern that might contain variables
+             * and has to be recompiled for every request
+             */
+            if (bl->joblist != NULL)
+            {
+                pcrs_free_joblist(bl->joblist);
+                bl->joblist = NULL;
+            }
+            bl->dynamic = 1;
+            log_error(LOG_LEVEL_RE_FILTER,
+               "Adding dynamic re_filter job \'%s\' to filter %s succeeded.", buf, bl->name);
+            continue;             
+         }
+         else if (bl->dynamic)
+         {
+            /*
+             * A previous job was dynamic and as we
+             * recompile the whole filter anyway, it
+             * makes no sense to compile this job now.
+             */
+            log_error(LOG_LEVEL_RE_FILTER,
+               "Adding static re_filter job \'%s\' to dynamic filter %s succeeded.", buf, bl->name);
+            continue;
+         }
 
          if ((dummy = pcrs_compile_command(buf, &error)) == NULL)
          {
             log_error(LOG_LEVEL_ERROR,
-                      "Adding re_filter job %s to filter %s failed with error %d.", buf, bl->name, error);
+               "Adding re_filter job \'%s\' to filter %s failed with error %d.", buf, bl->name, error);
             continue;
          }
          else
@@ -1467,17 +1645,18 @@ int load_one_re_filterfile(struct client_state *csp, int fileid)
             {
                bl->joblist = dummy;
             }
-            else
+            else if (NULL != lastjob)
             {
                lastjob->next = dummy;
             }
             lastjob = dummy;
-            log_error(LOG_LEVEL_RE_FILTER, "Adding re_filter job %s to filter %s succeeded.", buf, bl->name);
+            log_error(LOG_LEVEL_RE_FILTER, "Adding re_filter job \'%s\' to filter %s succeeded.", buf, bl->name);
          }
       }
       else
       {
-         log_error(LOG_LEVEL_ERROR, "Ignoring job %s outside filter block in %s, line %d", buf, csp->config->re_filterfile, linenum);
+         log_error(LOG_LEVEL_ERROR, "Ignoring job %s outside filter block in %s, line %d",
+            buf, csp->config->re_filterfile[fileid], linenum);
       }
    }