Adding i.j.b/robots.txt.
[privoxy.git] / cgi.c
diff --git a/cgi.c b/cgi.c
index 727b455..ea63193 100644 (file)
--- a/cgi.c
+++ b/cgi.c
@@ -1,4 +1,4 @@
-const char cgi_rcs[] = "$Id: cgi.c,v 1.11 2001/07/18 17:24:37 oes Exp $";
+const char cgi_rcs[] = "$Id: cgi.c,v 1.24 2001/09/16 11:38:01 jongfoster Exp $";
 /*********************************************************************
  *
  * File        :  $Source: /cvsroot/ijbswa/current/cgi.c,v $
@@ -36,6 +36,61 @@ const char cgi_rcs[] = "$Id: cgi.c,v 1.11 2001/07/18 17:24:37 oes Exp $";
  *
  * Revisions   :
  *    $Log: cgi.c,v $
+ *    Revision 1.24  2001/09/16 11:38:01  jongfoster
+ *    Splitting fill_template() into 2 functions:
+ *    template_load() loads the file
+ *    template_fill() performs the PCRS regexps.
+ *    This is because the CGI edit interface has a "table row"
+ *    template which is used many times in the page - this
+ *    change means it's only loaded from disk once.
+ *
+ *    Revision 1.23  2001/09/16 11:16:05  jongfoster
+ *    Better error handling in dispatch_cgi() and parse_cgi_parameters()
+ *
+ *    Revision 1.22  2001/09/16 11:00:10  jongfoster
+ *    New function alloc_http_response, for symmetry with free_http_response
+ *
+ *    Revision 1.21  2001/09/13 23:53:03  jongfoster
+ *    Support for both static and dynamically generated CGI pages.
+ *    Correctly setting Last-Modified: and Expires: HTTP headers.
+ *
+ *    Revision 1.20  2001/09/13 23:40:36  jongfoster
+ *    (Cosmetic only) Indentation correction
+ *
+ *    Revision 1.19  2001/09/13 23:31:25  jongfoster
+ *    Moving image data to cgi.c rather than cgi.h.
+ *
+ *    Revision 1.18  2001/08/05 16:06:20  jongfoster
+ *    Modifiying "struct map" so that there are now separate header and
+ *    "map_entry" structures.  This means that functions which modify a
+ *    map no longer need to return a pointer to the modified map.
+ *    Also, it no longer reverses the order of the entries (which may be
+ *    important with some advanced template substitutions).
+ *
+ *    Revision 1.17  2001/08/05 15:57:38  oes
+ *    Adapted finish_http_response to new list_to_text
+ *
+ *    Revision 1.16  2001/08/01 21:33:18  jongfoster
+ *    Changes to fill_template() that reduce memory usage without having
+ *    an impact on performance.  I also renamed some variables so as not
+ *    to clash with the C++ keywords "new" and "template".
+ *
+ *    Revision 1.15  2001/08/01 21:19:22  jongfoster
+ *    Moving file version information to a separate CGI page.
+ *
+ *    Revision 1.14  2001/08/01 00:19:03  jongfoster
+ *    New function: map_conditional() for an if-then-else syntax.
+ *    Changing to use new version of show_defines()
+ *
+ *    Revision 1.13  2001/07/30 22:08:36  jongfoster
+ *    Tidying up #defines:
+ *    - All feature #defines are now of the form FEATURE_xxx
+ *    - Permanently turned off WIN_GUI_EDIT
+ *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
+ *
+ *    Revision 1.12  2001/07/29 18:47:05  jongfoster
+ *    Adding missing #include "loadcfg.h"
+ *
  *    Revision 1.11  2001/07/18 17:24:37  oes
  *    Changed to conform to new pcrs interface
  *
@@ -127,6 +182,7 @@ const char cgi_rcs[] = "$Id: cgi.c,v 1.11 2001/07/18 17:24:37 oes Exp $";
 #include <stdlib.h>
 #include <ctype.h>
 #include <string.h>
+#include <assert.h>
 
 #ifdef _WIN32
 #define snprintf _snprintf
@@ -148,12 +204,18 @@ const char cgi_rcs[] = "$Id: cgi.c,v 1.11 2001/07/18 17:24:37 oes Exp $";
 const char cgi_h_rcs[] = CGI_H_VERSION;
 
 const struct cgi_dispatcher cgi_dispatcher[] = {
+   { "robots.txt", 
+         10, cgi_robots_txt,  
+         "HIDE Sends a robots.txt file to tell robots to go away." }, 
    { "show-status", 
          11, cgi_show_status,  
-         "Show information about the version and configuration" }, 
+         "Show information about the current configuration" }, 
    { "show-url-info",
          13, cgi_show_url_info, 
          "Show which actions apply to a URL and why"  },
+   { "show-version", 
+         12, cgi_show_version,  
+         "Show the source code version numbers" }, 
    { "send-banner",
          11, cgi_send_banner, 
          "HIDE Send the transparent or \"Junkbuster\" gif" },
@@ -164,6 +226,34 @@ const struct cgi_dispatcher cgi_dispatcher[] = {
 };
 
 
+/*
+ * Some images
+ *
+ * Hint: You can encode your own GIFs like that:
+ * perl -e 'while (read STDIN, $c, 1) { printf("\\%.3o,", unpack("C", $c)); }'
+ */
+
+const char image_junkbuster_gif_data[] =
+   "GIF89aD\000\013\000\360\000\000\000\000\000\377\377\377!"
+   "\371\004\001\000\000\001\000,\000\000\000\000D\000\013\000"
+   "\000\002a\214\217\251\313\355\277\000\200G&K\025\316hC\037"
+   "\200\234\230Y\2309\235S\230\266\206\372J\253<\3131\253\271"
+   "\270\215\342\254\013\203\371\202\264\334P\207\332\020o\266"
+   "N\215I\332=\211\312\3513\266:\026AK)\364\370\365aobr\305"
+   "\372\003S\275\274k2\354\254z\347?\335\274x\306^9\374\276"
+   "\037Q\000\000;";
+
+const int image_junkbuster_gif_length = sizeof(image_junkbuster_gif_data) - 1;
+
+
+const char image_blank_gif_data[] =
+   "GIF89a\001\000\001\000\200\000\000\377\377\377\000\000"
+   "\000!\371\004\001\000\000\000\000,\000\000\000\000\001"
+   "\000\001\000\000\002\002D\001\000;";
+
+const int image_blank_gif_length = sizeof(image_blank_gif_data) - 1;
+
+
 /*********************************************************************
  * 
  * Function    :  dispatch_cgi
@@ -216,7 +306,7 @@ struct http_response *dispatch_cgi(struct client_state *csp)
     */
 
    /* Get mem for response or fail*/
-   if (NULL == ( rsp = zalloc(sizeof(*rsp))))
+   if (NULL == (rsp = alloc_http_response()))
    {
       return NULL;
    }
@@ -236,10 +326,18 @@ struct http_response *dispatch_cgi(struct client_state *csp)
    {
       if (strncmp(argstring, d->name, d->name_length) == 0)
       {
-         param_list = parse_cgi_parameters(argstring + d->name_length);
+         if (NULL == (param_list = 
+             parse_cgi_parameters(argstring + d->name_length)))
+         {
+            free_map(param_list);
+            free_http_response(rsp);
+            return(NULL);
+         }
          if ((d->handler)(csp, rsp, param_list))
          {
-            freez(rsp);
+            free_map(param_list);
+            free_http_response(rsp);
+            return(NULL);
          }
 
          free_map(param_list);
@@ -248,9 +346,8 @@ struct http_response *dispatch_cgi(struct client_state *csp)
    }
 
    /* Can't get here, since cgi_default will match all requests */
-   freez(rsp);
+   free_http_response(rsp);
    return(NULL);
-
 }
 
 
@@ -264,7 +361,7 @@ struct http_response *dispatch_cgi(struct client_state *csp)
  * Parameters  :
  *          1  :  string = string to be parsed 
  *
- * Returns     :  poniter to param list, or NULL if failiure
+ * Returns     :  pointer to param list, or NULL if out of memory.
  *
  *********************************************************************/
 struct map *parse_cgi_parameters(char *argstring)
@@ -272,10 +369,22 @@ struct map *parse_cgi_parameters(char *argstring)
    char *tmp, *p;
    char *vector[BUFFER_SIZE];
    int pairs, i;
-   struct map *cgi_params = NULL;
+   struct map *cgi_params;
 
-   if(*argstring == '?') argstring++;
-   tmp = strdup(argstring);
+   if (NULL == (cgi_params = new_map()))
+   {
+      return NULL;
+   }
+
+   if(*argstring == '?')
+   {
+      argstring++;
+   }
+   if (NULL == (tmp = strdup(argstring)))
+   {
+      free_map(cgi_params);
+      return NULL;
+   }
 
    pairs = ssplit(tmp, "&", vector, SZ(vector), 1, 1);
 
@@ -284,7 +393,7 @@ struct map *parse_cgi_parameters(char *argstring)
       if ((NULL != (p = strchr(vector[i], '='))) && (*(p+1) != '\0'))
       {
          *p = '\0';
-         cgi_params = map(cgi_params, url_decode(vector[i]), 0, url_decode(++p), 0);
+         map(cgi_params, url_decode(vector[i]), 0, url_decode(++p), 0);
       }
    }
 
@@ -312,8 +421,9 @@ struct map *parse_cgi_parameters(char *argstring)
 int cgi_default(struct client_state *csp, struct http_response *rsp,
                 struct map *parameters)
 {
-   char *p, *tmp = NULL;
-   struct map *exports = default_exports(csp, "");
+   char *p;
+   char *tmp = NULL;
+   struct map * exports = default_exports(csp, "");
 
    /* If there were other parameters, export a dump as "cgi-parameters" */
    if(parameters)
@@ -322,15 +432,16 @@ int cgi_default(struct client_state *csp, struct http_response *rsp,
       tmp = strsav(tmp, "<p>What made you think this cgi takes parameters?\n"
                         "Anyway, here they are, in case you're interested:</p>\n");
       tmp = strsav(tmp, p);
-      exports = map(exports, "cgi-parameters", 1, tmp, 0);
+      map(exports, "cgi-parameters", 1, tmp, 0);
       free(p);
    }
    else
    {
-      exports = map(exports, "cgi-parameters", 1, "", 1);
+      map(exports, "cgi-parameters", 1, "", 1);
    }
 
-   rsp->body = fill_template(csp, "default", exports);
+   rsp->body = template_load(csp, "default");
+   template_fill(&rsp->body, exports);
    free_map(exports);
    return(0);
 
@@ -360,22 +471,57 @@ int cgi_send_banner(struct client_state *csp, struct http_response *rsp,
 {
    if(strcmp(lookup(parameters, "type"), "trans"))
    {
-      rsp->body = bindup(JBGIF, sizeof(JBGIF));
-      rsp->content_length = sizeof(JBGIF);
+      rsp->body = bindup(image_junkbuster_gif_data, image_junkbuster_gif_length);
+      rsp->content_length = image_junkbuster_gif_length;
    }
    else
    {
-      rsp->body = bindup(BLANKGIF, sizeof(BLANKGIF));
-      rsp->content_length = sizeof(BLANKGIF);
+      rsp->body = bindup(image_blank_gif_data, image_blank_gif_length);
+      rsp->content_length = image_blank_gif_length;
    }   
 
    enlist(rsp->headers, "Content-Type: image/gif");
+   rsp->is_static = 1;
 
    return(0);
 
 }
 
 
+/*********************************************************************
+ *
+ * Function    :  cgi_show_version
+ *
+ * Description :  CGI function that returns a a web page describing the
+ *                file versions of IJB.
+ *
+ * Parameters  :
+ *           1 :  csp = Current client state (buffers, headers, etc...)
+ *           2 :  rsp = http_response data structure for output
+ *           3 :  parameters = map of cgi parameters
+ *
+ * CGI Parameters :
+ *           type : Selects the type of banner between "trans" and "jb".
+ *                  Defaults to "jb" if absent or != "trans".
+ *
+ * Returns     :  0
+ *
+ *********************************************************************/
+int cgi_show_version(struct client_state *csp, struct http_response *rsp,
+                     struct map *parameters)
+{
+   struct map * exports = default_exports(csp, "show-version");
+
+   map(exports, "sourceversions", 1, show_rcs(), 0);  
+
+   rsp->body = template_load(csp, "show-version");
+   template_fill(&rsp->body, exports);
+   free_map(exports);
+   return(0);
+
+}
+
 /*********************************************************************
  *
  * Function    :  cgi_show_status
@@ -400,18 +546,21 @@ int cgi_show_status(struct client_state *csp, struct http_response *rsp,
 {
    char *s = NULL;
    int i;
-   struct map *exports = default_exports(csp, "show-status");
 
-#ifdef SPLIT_PROXY_ARGS
    FILE * fp;
    char buf[BUFFER_SIZE];
    char * p;
    const char * filename = NULL;
    char * file_description = NULL;
+#ifdef FEATURE_STATISTICS
+   float perc_rej;   /* Percentage of http requests rejected */
+   int local_urls_read;
+   int local_urls_rejected;
+#endif /* ndef FEATURE_STATISTICS */
 
+   struct map * exports = default_exports(csp, "show-status");
 
-   p = lookup(parameters, "file");
-   switch (*p)
+   switch (*(lookup(parameters, "file")))
    {
    case 'p':
       if (csp->actions_list)
@@ -429,7 +578,7 @@ int cgi_show_status(struct client_state *csp, struct http_response *rsp,
       }
       break;
 
-#ifdef TRUST_FILES
+#ifdef FEATURE_TRUST
    case 't':
       if (csp->tlist)
       {
@@ -437,17 +586,17 @@ int cgi_show_status(struct client_state *csp, struct http_response *rsp,
          file_description = "Trust List";
       }
       break;
-#endif /* def TRUST_FILES */
+#endif /* def FEATURE_TRUST */
    }
 
    if (NULL != filename)
    {
-      exports = map(exports, "file-description", 1, file_description, 1);
-      exports = map(exports, "filepath", 1, html_encode(filename), 0);
+      map(exports, "file-description", 1, file_description, 1);
+      map(exports, "filepath", 1, html_encode(filename), 0);
 
       if ((fp = fopen(filename, "r")) == NULL)
       {
-         exports = map(exports, "content", 1, "<h1>ERROR OPENING FILE!</h1>", 1);
+         map(exports, "content", 1, "<h1>ERROR OPENING FILE!</h1>", 1);
       }
       else
       {
@@ -462,17 +611,16 @@ int cgi_show_status(struct client_state *csp, struct http_response *rsp,
             }
          }
          fclose(fp);
-         exports = map(exports, "contents", 1, s, 0);
+         map(exports, "contents", 1, s, 0);
       }
-      rsp->body = fill_template(csp, "show-status-file", exports);
+      rsp->body = template_load(csp, "show-status-file");
+      template_fill(&rsp->body, exports);
       free_map(exports);
       return(0);
 
    }
 
-#endif /* def SPLIT_PROXY_ARGS */
-
-   exports = map(exports, "redirect-url", 1, REDIRECT_URL, 1);
+   map(exports, "redirect-url", 1, REDIRECT_URL, 1);
    
    s = NULL;
    for (i=0; i < Argc; i++)
@@ -480,85 +628,90 @@ int cgi_show_status(struct client_state *csp, struct http_response *rsp,
       s = strsav(s, Argv[i]);
       s = strsav(s, " ");
    }
-   exports = map(exports, "invocation", 1, s, 0);
+   map(exports, "invocation", 1, s, 0);
 
-   exports = map(exports, "options", 1, csp->config->proxy_args, 1);
-   s =   show_rcs();
-   exports = map(exports, "sourceversions", 1, s, 0);  
-   s =   show_defines();
-   exports = map(exports, "defines", 1, s, 0); 
-
-#ifdef STATISTICS
-   exports = add_stats(exports);
-#else
-   exports = map_block_killer(exports, "statistics");
-#endif /* ndef STATISTICS */
+   map(exports, "options", 1, csp->config->proxy_args, 1);
+   show_defines(exports);
 
-#ifdef SPLIT_PROXY_ARGS
+#ifdef FEATURE_STATISTICS
+   local_urls_read     = urls_read;
+   local_urls_rejected = urls_rejected;
 
-   exports = map_block_killer(exports, "no-split-args");
+   /*
+    * Need to alter the stats not to include the fetch of this
+    * page.
+    *
+    * Can't do following thread safely! doh!
+    *
+    * urls_read--;
+    * urls_rejected--; * This will be incremented subsequently *
+    */
 
-   if (csp->actions_list)
+   if (local_urls_read == 0)
    {
-      exports = map(exports, "actions-filename", 1,  csp->actions_list->filename, 1);
+      map_block_killer(exports, "have-stats");
    }
    else
    {
-      exports = map(exports, "actions-filename", 1, "None specified", 1);
+      map_block_killer(exports, "have-no-stats");
+
+      perc_rej = (float)local_urls_rejected * 100.0F /
+            (float)local_urls_read;
+
+      sprintf(buf, "%d", local_urls_read);
+      map(exports, "requests-received", 1, buf, 1);
+
+      sprintf(buf, "%d", local_urls_rejected);
+      map(exports, "requests-blocked", 1, buf, 1);
+
+      sprintf(buf, "%6.2f", perc_rej);
+      map(exports, "percent-blocked", 1, buf, 1);
    }
 
-   if (csp->rlist)
+#else /* ndef FEATURE_STATISTICS */
+   map_block_killer(exports, "statistics");
+#endif /* ndef FEATURE_STATISTICS */
+
+   if (csp->actions_list)
    {
-      exports = map(exports, "re-filter-filename", 1,  csp->rlist->filename, 1);
+      map(exports, "actions-filename", 1,  csp->actions_list->filename, 1);
    }
    else
    {
-      exports = map(exports, "re-filter-filename", 1, "None specified", 1);
+      map(exports, "actions-filename", 1, "None specified", 1);
    }
 
-#ifdef TRUST_FILES
-   if (csp->tlist)
+   if (csp->rlist)
    {
-      exports = map(exports, "trust-filename", 1,  csp->tlist->filename, 1);
+      map(exports, "re-filter-filename", 1,  csp->rlist->filename, 1);
    }
    else
    {
-       exports = map(exports, "trust-filename", 1, "None specified", 1);
+      map(exports, "re-filter-filename", 1, "None specified", 1);
    }
-#else
-   exports = map_block_killer(exports, "trust-support");
-#endif /* ndef TRUST_FILES */
-
-#else /* ifndef SPLIT_PROXY_ARGS */
-   exports = map_block_killer(exports, "split-args");
 
-   if (csp->clist)
-   {
-      map(exports, "clist", 1, csp->clist->proxy_args , 1);
-   }
-
-   if (csp->rlist)
+#ifdef FEATURE_TRUST
+   if (csp->tlist)
    {
-      map(exports, "rlist", 1, csp->rlist->proxy_args , 1);
+      map(exports, "trust-filename", 1,  csp->tlist->filename, 1);
    }
-
-#ifdef TRUST_FILES
-    if (csp->tlist)
+   else
    {
-      map(exports, "tlist", 1, csp->tlist->proxy_args , 1);
+       map(exports, "trust-filename", 1, "None specified", 1);
    }
-#endif /* def TRUST_FILES */
-
-#endif /* ndef SPLIT_PROXY_ARGS */
+#else
+   map_block_killer(exports, "trust-support");
+#endif /* ndef FEATURE_TRUST */
 
-   rsp->body = fill_template(csp, "show-status", exports);
+   rsp->body = template_load(csp, "show-status");
+   template_fill(&rsp->body, exports);
    free_map(exports);
    return(0);
 
 }
 
  
- /*********************************************************************
+/*********************************************************************
  *
  * Function    :  cgi_show_url_info
  *
@@ -583,13 +736,14 @@ int cgi_show_status(struct client_state *csp, struct http_response *rsp,
 int cgi_show_url_info(struct client_state *csp, struct http_response *rsp,
                       struct map *parameters)
 {
-   struct map *exports = default_exports(csp, "show-url-info");
-   char *url_param, *host = NULL;
+   char *url_param;
+   char *host = NULL;
+   struct map * exports = default_exports(csp, "show-url-info");
 
    if (NULL == (url_param = strdup(lookup(parameters, "url"))) || *url_param == '\0')
    {
-      exports = map_block_killer(exports, "url-given");
-      exports = map(exports, "url", 1, "", 1);
+      map_block_killer(exports, "url-given");
+      map(exports, "url", 1, "", 1);
    }
    else
    {
@@ -606,23 +760,24 @@ int cgi_show_url_info(struct client_state *csp, struct http_response *rsp,
       host = url_param;
       host += (strncmp(url_param, "http://", 7)) ? 0 : 7;
 
-      exports = map(exports, "url", 1, host, 1);
-      exports = map(exports, "url-html", 1, html_encode(host), 0);
+      map(exports, "url", 1, host, 1);
+      map(exports, "url-html", 1, html_encode(host), 0);
 
       init_current_action(action);
 
       s = current_action_to_text(action);
-      exports = map(exports, "default", 1, s , 0);
+      map(exports, "default", 1, s , 0);
 
       if (((fl = csp->actions_list) == NULL) || ((b = fl->f) == NULL))
       {
-         exports = map(exports, "matches", 1, "none" , 1);
-         exports = map(exports, "final", 1, lookup(exports, "default"), 1);
+         map(exports, "matches", 1, "none" , 1);
+         map(exports, "final", 1, lookup(exports, "default"), 1);
 
          freez(url_param);
          free_current_action(action);
 
-         rsp->body = fill_template(csp, "show-url-info", exports);
+         rsp->body = template_load(csp, "show-url-info");
+         template_fill(&rsp->body, exports);
          free_map(exports);
 
          return 0;
@@ -651,14 +806,15 @@ int cgi_show_url_info(struct client_state *csp, struct http_response *rsp,
       /* if splitting the domain fails, punt */
       if (url->dbuf == NULL)
       {
-         exports = map(exports, "matches", 1, "none" , 1);
-         exports = map(exports, "final", 1, lookup(exports, "default"), 1);
+         map(exports, "matches", 1, "none" , 1);
+         map(exports, "final", 1, lookup(exports, "default"), 1);
 
          freez(url_param);
          freez(path);
          free_current_action(action);
 
-         rsp->body = fill_template(csp, "show-url-info", exports);
+         rsp->body = template_load(csp, "show-url-info");
+         template_fill(&rsp->body, exports);
          free_map(exports);
 
          return 0;
@@ -695,11 +851,11 @@ int cgi_show_url_info(struct client_state *csp, struct http_response *rsp,
 
       if (hits)
       {
-         exports = map(exports, "matches", 1, matches , 0);
+         map(exports, "matches", 1, matches , 0);
       }
       else
       {
-         exports = map(exports, "matches", 1, "none", 1);
+         map(exports, "matches", 1, "none", 1);
       }
       matches = NULL;
 
@@ -710,13 +866,14 @@ int cgi_show_url_info(struct client_state *csp, struct http_response *rsp,
       freez(path);
 
       s = current_action_to_text(action);
-      exports = map(exports, "final", 1, s, 0);
+      map(exports, "final", 1, s, 0);
       s = NULL;
 
       free_current_action(action);
    }
 
-   rsp->body = fill_template(csp, "show-url-info", exports);
+   rsp->body = template_load(csp, "show-url-info");
+   template_fill(&rsp->body, exports);
    free_map(exports);
    return 0;
 
@@ -732,43 +889,103 @@ int cgi_show_url_info(struct client_state *csp, struct http_response *rsp,
  *
  * Parameters  :
  *          1  :  csp = Current client state (buffers, headers, etc...)
- *          2  :  template = Which template should be used for the answer
+ *          2  :  templatename = Which template should be used for the answer
  *          3  :  errno = system error number
  *
  * Returns     :  NULL if no memory, else http_response
  *
  *********************************************************************/
-struct http_response *error_response(struct client_state *csp, const char *template, int err)
+struct http_response *error_response(struct client_state *csp, const char *templatename, int err)
 {
    struct http_response *rsp;
-   struct map *exports = default_exports(csp, NULL);
+   struct map * exports = default_exports(csp, NULL);
 
-   if (NULL == ( rsp = (struct http_response *)zalloc(sizeof(*rsp))))
+   if (NULL == (rsp = alloc_http_response()))
    {
       return NULL;
-   }  
+   }
 
-      exports = map(exports, "host-html", 1, html_encode(csp->http->host), 0);
-      exports = map(exports, "hostport", 1, csp->http->hostport, 1);
-      exports = map(exports, "hostport-html", 1, html_encode(csp->http->hostport), 0);
-      exports = map(exports, "path", 1, csp->http->path, 1);
-      exports = map(exports, "path-html", 1, html_encode(csp->http->path), 0);
-      exports = map(exports, "error", 1, safe_strerror(err), 0);
-      exports = map(exports, "host-ip", 1, csp->http->host_ip_addr_str, 1);
+   map(exports, "host-html", 1, html_encode(csp->http->host), 0);
+   map(exports, "hostport", 1, csp->http->hostport, 1);
+   map(exports, "hostport-html", 1, html_encode(csp->http->hostport), 0);
+   map(exports, "path", 1, csp->http->path, 1);
+   map(exports, "path-html", 1, html_encode(csp->http->path), 0);
+   map(exports, "error", 1, safe_strerror(err), 0);
+   map(exports, "host-ip", 1, csp->http->host_ip_addr_str, 1);
 
-      rsp->body = fill_template(csp, template, exports);
-      free_map(exports);
-      
-      if (!strcmp(template, "no-such-domain"))
-      {
-         rsp->status = strdup("404 No such domain"); 
-      }
-      else if (!strcmp(template, "connect-failed"))
-      {
-         rsp->status = strdup("503 Connect failed");
-      }
+   rsp->body = template_load(csp, templatename);
+   template_fill(&rsp->body, exports);
+   free_map(exports);
+
+   if (!strcmp(templatename, "no-such-domain"))
+   {
+      rsp->status = strdup("404 No such domain"); 
+   }
+   else if (!strcmp(templatename, "connect-failed"))
+   {
+      rsp->status = strdup("503 Connect failed");
+   }
+
+   return(finish_http_response(rsp));
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  get_http_time
+ *
+ * Description :  Get the time in a format suitable for use in a
+ *                HTTP header - e.g.:
+ *                "Sun, 06 Nov 1994 08:49:37 GMT"
+ *
+ * Parameters  :  
+ *          1  :  time_offset = Time returned will be current time
+ *                              plus this number of seconds.
+ *          2  :  buf = Destination for result.  Must be long enough
+ *                      to hold 29 characters plus a trailing zero.
+ *
+ * Returns     :  N/A
+ *
+ *********************************************************************/
+static void get_http_time(int time_offset, char * buf)
+{
+   static const char day_names[7][4] =
+      { "Sun", "Mon", "Tue", "Wed", "Thu", "Fri", "Sat" };
+   static const char month_names[12][4] =
+      { "Jan", "Feb", "Mar", "Apr", "May", "Jun",
+        "Jul", "Aug", "Sep", "Oct", "Nov", "Dec" };
+
+   struct tm *t;
+   time_t current_time;
 
-      return(finish_http_response(rsp));
+   assert(buf);
+
+   time(&current_time); /* get current time */
+
+/* FIXME: is this needed?  time() can't fail on Win32.  What about Linux?
+   if(current_time <= 0)
+   {
+      return NULL;
+   }
+*/
+
+   current_time += time_offset;
+
+   /* get and save the gmt */
+   t = gmtime(&current_time);
+
+   /* Format: "Sun, 06 Nov 1994 08:49:37 GMT" */
+   snprintf(buf, 30,
+      "%s, %02d %s %4d %02d:%02d:%02d GMT",
+      day_names[t->tm_wday],
+      t->tm_mday,
+      month_names[t->tm_mon],
+      t->tm_year + 1900,
+      t->tm_hour,
+      t->tm_min,
+      t->tm_sec
+      );
+   buf[32] = '\0';
 }
 
 
@@ -806,13 +1023,48 @@ struct http_response *finish_http_response(struct http_response *rsp)
    enlist(rsp->headers, buf);
 
    /* 
-    * Fill in the default headers FIXME: Are these correct? sequence OK? check rfc!
+    * Fill in the default headers:
+    *
+    * Content-Type: default to text/html if not already specified.
+    * Date: set to current date/time.
+    * Last-Modified: set to date/time the page was last changed.
+    * Expires: set to date/time page next needs reloading.
+    * Cache-Control: set to "no-cache" if applicable.
+    * 
+    * See http://www.w3.org/Protocols/rfc2068/rfc2068
     */
-   enlist_unique(rsp->headers, "Last-Modified: Thu Jul 31, 1997 07:42:22 pm GMT", 14);
-   enlist_unique(rsp->headers, "Expires:       Thu Jul 31, 1997 07:42:22 pm GMT", 8);
    enlist_unique(rsp->headers, "Content-Type: text/html", 13);
-   enlist(rsp->headers, "");
-  
+
+   if (rsp->is_static)
+   {
+      /*
+       * Set Expires to about 10 min into the future so it'll get reloaded
+       * occasionally, e.g. if IJB gets upgraded.
+       */
+
+      get_http_time(0, buf);
+      enlist_unique_header(rsp->headers, "Date", buf);
+
+      /* Some date in the past. */
+      enlist_unique_header(rsp->headers, "Last-Modified", "Sat, 17 Jun 2000 12:00:00 GMT");
+
+      get_http_time(10 * 60, buf); /* 10 * 60sec = 10 minutes */
+      enlist_unique_header(rsp->headers, "Expires", buf);
+   }
+   else
+   {
+      /*
+       * Compliant browsers should not cache this due to the "Cache-Control"
+       * setting.  However, to be certain, we also set both "Last-Modified"
+       * and "Expires" to the current time.
+       */
+      enlist_unique_header(rsp->headers, "Cache-Control", "no-cache");
+      get_http_time(0, buf);
+      enlist_unique_header(rsp->headers, "Date", buf);
+      enlist_unique_header(rsp->headers, "Last-Modified", buf);
+      enlist_unique_header(rsp->headers, "Expires", buf);
+   }
+
 
    /* 
     * Write the head
@@ -829,6 +1081,23 @@ struct http_response *finish_http_response(struct http_response *rsp)
 }
   
 
+/*********************************************************************
+ *
+ * Function    :  alloc_http_response
+ *
+ * Description :  Allocates a new http_response structure.
+ *
+ * Parameters  :  N/A
+ *
+ * Returns     :  pointer to a new http_response, or NULL.
+ *
+ *********************************************************************/
+struct http_response * alloc_http_response(void)
+{
+   return (struct http_response *) zalloc(sizeof(struct http_response));
+}
+
+
 /*********************************************************************
  *
  * Function    :  free_http_response
@@ -844,13 +1113,13 @@ struct http_response *finish_http_response(struct http_response *rsp)
  *********************************************************************/
 void free_http_response(struct http_response *rsp)
 {
-   if(rsp)
+   if (rsp)
    {
       freez(rsp->status);
       freez(rsp->head);
       freez(rsp->body);
       destroy_list(rsp->headers);
-      freez(rsp);
+      free(rsp);
    }
 
 }
@@ -868,25 +1137,20 @@ void free_http_response(struct http_response *rsp)
  * Parameters  :
  *           1 :  csp = Current client state (buffers, headers, etc...)
  *           3 :  template = name of the HTML template to be used
- *           2 :  exports = map with fill in symbol -> name pairs
  *
- * Returns     :  char * with filled out form, or NULL if failiure
+ * Returns     :  char * with loaded template, or NULL if failure
  *
  *********************************************************************/
-char *fill_template(struct client_state *csp, const char *template, struct map *exports)
+char *template_load(struct client_state *csp, const char *templatename)
 {
-   struct map *m;
-   pcrs_job *job, *joblist = NULL;
    char buf[BUFFER_SIZE];
-   char *new, *old = NULL;
-   int size;
+   char *file_buffer = NULL;
    FILE *fp;
 
-
    /*
     * Open template file or fail
     */
-   snprintf(buf, BUFFER_SIZE, "%s/templates/%s", csp->config->confdir, template);
+   snprintf(buf, BUFFER_SIZE, "%s/templates/%s", csp->config->confdir, templatename);
 
    if(NULL == (fp = fopen(buf, "r")))
    {
@@ -896,61 +1160,114 @@ char *fill_template(struct client_state *csp, const char *template, struct map *
    
 
    /* 
-    * Assemble pcrs joblist from exports map
+    * Read the file, ignoring comments
     */
-   for (m = exports; m; m = m->next)
+   while (fgets(buf, BUFFER_SIZE, fp))
    {
-      int error;
-
-      /* Enclose name in @@ */
-      snprintf(buf, BUFFER_SIZE, "@%s@", m->name);
-
-      /* Make and chain job */
-      if ( NULL == (job = (pcrs_compile(buf, m->value, "sigTU", &error))) ) 
-      {
-         log_error(LOG_LEVEL_ERROR, "Error compiling template fill job %s: %d", m->name, error);
-      }
-      else
+      /* skip lines starting with '#' */
+      if(*buf == '#')
       {
-         job->next = joblist;
-         joblist = job;
+         continue;
       }
+   
+      file_buffer = strsav(file_buffer, buf);
    }
+   fclose(fp);
+
+   return(file_buffer);
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  fill_template
+ *
+ * Description :  CGI support function that loads a given HTML
+ *                template from the confdir, and fills it in
+ *                by replacing @name@ with value using pcrs,
+ *                for each item in the output map.
+ *
+ * Parameters  :
+ *           1 :  template_ptr = IN: Template to be filled out.
+ *                                   Will be free()d.
+ *                               OUT: Filled out template.
+ *                                    Caller must free().
+ *           2 :  exports = map with fill in symbol -> name pairs
+ *
+ * Returns     :  N/A
+ *
+ *********************************************************************/
+void template_fill(char ** template_ptr, struct map *exports)
+{
+   struct map_entry *m;
+   pcrs_job *job;
+   char buf[BUFFER_SIZE];
+   char *tmp_out_buffer;
+   char *file_buffer;
+   int size;
+   int error;
+   const char * flags;
 
+   assert(template_ptr);
+   assert(*template_ptr);
+   assert(exports);
+
+   file_buffer = *template_ptr;
+   size = strlen(file_buffer) + 1;
 
    /* 
-    * Read the file, ignoring comments
+    * Assemble pcrs joblist from exports map
     */
-   while (fgets(buf, BUFFER_SIZE, fp))
+   for (m = exports->first; m != NULL; m = m->next)
    {
-      /* skip lines starting with '#' */
-      if(*buf == '#') continue;
-   
-      old = strsav(old, buf);
-   }
-   fclose(fp);
+      if (*m->name == '$')
+      {
+         /*
+          * First character of name is '$', so remove this flag
+          * character and allow backreferences ($1 etc) in the
+          * "replace with" text.
+          */
+         snprintf(buf, BUFFER_SIZE, "%s", m->name + 1);
+         flags = "sigU";
+      }
+      else
+      {
+         /*
+          * Treat the "replace with" text as a literal string - 
+          * no quoting needed, no backreferences allowed.
+          * ("Trivial" ['T'] flag).
+          */
+         flags = "sigTU";
+
+         /* Enclose name in @@ */
+         snprintf(buf, BUFFER_SIZE, "@%s@", m->name);
+      }
 
 
-   /*
-    * Execute the jobs
-    */
-   size = strlen(old) + 1;
-   new = old;
+      log_error(LOG_LEVEL_CGI, "Substituting: s/%s/%s/%s", buf, m->value, flags);
 
-   for (job = joblist; NULL != job; job = job->next)
-   {
-      pcrs_execute(job, old, size, &new, &size);
-      if (old != buf) free(old);
-      old = new;
+      /* Make and run job. */
+      job = pcrs_compile(buf, m->value, flags,  &error);
+      if (job == NULL) 
+      {
+         log_error(LOG_LEVEL_ERROR, "Error compiling template fill job %s: %d", m->name, error);
+      }
+      else
+      {
+         pcrs_execute(job, file_buffer, size, &tmp_out_buffer, &size);
+         if (file_buffer != tmp_out_buffer)
+         {
+            free(file_buffer);
+            file_buffer = tmp_out_buffer;
+         }
+         pcrs_free_job(job);
+      }
    }
 
-
    /*
-    * Free the jobs & return
+    * Return
     */
-   pcrs_free_joblist(joblist);
-   return(new);
-
+   *template_ptr = file_buffer;
 }
 
 
@@ -962,45 +1279,47 @@ char *fill_template(struct client_state *csp, const char *template, struct map *
  *                which are common to all CGI functions.
  *
  * Parameters  :
+ *          1  :  exports = Structure to write output to.  This
+ *                structure should be newly allocated and will be
+ *                zeroed.
  *          1  :  csp = Current client state (buffers, headers, etc...)
  *          2  :  caller = name of CGI who calls us and which should
  *                         be excluded from the generated menu.
  * Returns     :  NULL if no memory, else map
  *
  *********************************************************************/
-struct map *default_exports(struct client_state *csp, char *caller)
+struct map * default_exports(const struct client_state *csp, const char *caller)
 {
-   struct map *exports = NULL;
    char buf[20];
+   struct map * exports = new_map();
 
-   exports = map(exports, "version", 1, VERSION, 1);
-   exports = map(exports, "my-ip-address", 1, csp->my_ip_addr_str ? csp->my_ip_addr_str : "unknown", 1);
-   exports = map(exports, "my-hostname", 1, csp->my_hostname ? csp->my_hostname : "unknown", 1);
-   exports = map(exports, "admin-address", 1, csp->config->admin_address ? csp->config->admin_address : "fill@me.in.please", 1);
-   exports = map(exports, "homepage", 1, HOME_PAGE_URL, 1);
-   exports = map(exports, "default-cgi", 1, HOME_PAGE_URL "/config", 1);
-   exports = map(exports, "menu", 1, make_menu(caller), 0);
-   exports = map(exports, "code-status", 1, CODE_STATUS, 1);
+   map(exports, "version", 1, VERSION, 1);
+   map(exports, "my-ip-address", 1, csp->my_ip_addr_str ? csp->my_ip_addr_str : "unknown", 1);
+   map(exports, "my-hostname", 1, csp->my_hostname ? csp->my_hostname : "unknown", 1);
+   map(exports, "admin-address", 1, csp->config->admin_address ? csp->config->admin_address : "fill@me.in.please", 1);
+   map(exports, "homepage", 1, HOME_PAGE_URL, 1);
+   map(exports, "default-cgi", 1, HOME_PAGE_URL "/config", 1);
+   map(exports, "menu", 1, make_menu(caller), 0);
+   map(exports, "code-status", 1, CODE_STATUS, 1);
 
    snprintf(buf, 20, "%d", csp->config->hport);
-   exports = map(exports, "my-port", 1, buf, 1);
+   map(exports, "my-port", 1, buf, 1);
 
    if(!strcmp(CODE_STATUS, "stable"))
    {
-      exports = map_block_killer(exports, "unstable");
+      map_block_killer(exports, "unstable");
    }
 
    if(csp->config->proxy_info_url != NULL)
    {
-      exports = map(exports, "proxy-info-url", 1, csp->config->proxy_info_url, 1);
+      map(exports, "proxy-info-url", 1, csp->config->proxy_info_url, 1);
    }
    else
    {
-      exports = map_block_killer(exports, "have-proxy-info");
+      map_block_killer(exports, "have-proxy-info");
    }   
 
-   return(exports);
-
+   return (exports);
 }
 
 
@@ -1021,15 +1340,51 @@ struct map *default_exports(struct client_state *csp, char *caller)
  * Returns     :  extended map
  *
  *********************************************************************/
-struct map *map_block_killer(struct map *exports, char *name)
+void map_block_killer(struct map *exports, const char *name)
 {
    char buf[1000]; /* Will do, since the names are hardwired */
 
    snprintf(buf, 1000, "if-%s-start.*if-%s-end", name, name);
-   exports = map(exports, buf, 1, "", 1);
+   map(exports, buf, 1, "", 1);
+}
+
+
+/*********************************************************************
+ *
+ * Function    :  map_conditional
+ *
+ * Description :  Convenience function.
+ *                Adds an "if-then-else" for the conditional HTML-template
+ *                block <name>, i.e. a substitution of the form:
+ *                @if-<name>-then@
+ *                   True text
+ *                @else-not-<name>@
+ *                   False text
+ *                @endif-<name>@
+ *
+ *                The control structure and one of the alternatives
+ *                will be hidden.
+ *
+ * Parameters  :  
+ *          1  :  exports = map to extend
+ *          2  :  name = name of conditional block
+ *          3  :  choose_first = nonzero for first, zero for second.
+ *
+ * Returns     :  extended map
+ *
+ *********************************************************************/
+void map_conditional(struct map *exports, const char *name, int choose_first)
+{
+   char buf[1000]; /* Will do, since the names are hardwired */
 
-   return(exports);
+   snprintf(buf, 1000, (choose_first
+      ? "else-not-%s@.*@endif-%s"
+      : "if-%s-then@.*@else-not-%s"),
+      name, name);
+   map(exports, buf, 1, "", 1);
 
+   snprintf(buf, 1000, (choose_first ? "if-%s-then" : "endif-%s"), name);
+   map(exports, buf, 1, "", 1);
 }
 
 
@@ -1048,9 +1403,13 @@ struct map *map_block_killer(struct map *exports, char *name)
 char *make_menu(const char *self)
 {
    const struct cgi_dispatcher *d;
-   char buf[BUFFER_SIZE], *tmp = NULL;
+   char buf[BUFFER_SIZE];
+   char *result = NULL;
 
-   if (self == NULL) self = "NO-SUCH-CGI!";
+   if (self == NULL)
+   {
+      self = "NO-SUCH-CGI!";
+   }
 
    /* List available unhidden CGI's and export as "other-cgis" */
    for (d = cgi_dispatcher; d->handler; d++)
@@ -1059,10 +1418,10 @@ char *make_menu(const char *self)
       {
          snprintf(buf, BUFFER_SIZE, "<li><a href=%s/config/%s>%s</a></li>\n",
               HOME_PAGE_URL, d->name, d->description);
-         tmp = strsav(tmp, buf);
+         result = strsav(result, buf);
       }
    }
-   return(tmp);
+   return(result);
 
 }
 
@@ -1074,26 +1433,26 @@ char *make_menu(const char *self)
  * Description :  HTML-dump a map for debugging
  *
  * Parameters  :
- *          1  :  map = map to dump
+ *          1  :  the_map = map to dump
  *
  * Returns     :  string with HTML
  *
  *********************************************************************/
-char *dump_map(struct map *map)
+char *dump_map(const struct map *the_map)
 {
-   struct map *p = map;
+   struct map_entry *cur_entry = the_map->first;
    char *ret = NULL;
 
    ret = strsav(ret, "<table>\n");
 
-   while (p)
+   while (cur_entry)
    {
       ret = strsav(ret, "<tr><td><b>");
-      ret = strsav(ret, p->name);
+      ret = strsav(ret, cur_entry->name);
       ret = strsav(ret, "</b></td><td>");
-      ret = strsav(ret, p->value);
+      ret = strsav(ret, cur_entry->value);
       ret = strsav(ret, "</td></tr>\n");
-      p = p->next;
+      cur_entry = cur_entry->next;
    }
 
    ret = strsav(ret, "</table>\n");
@@ -1102,61 +1461,46 @@ char *dump_map(struct map *map)
 }
 
 
-#ifdef STATISTICS
 /*********************************************************************
  *
- * Function    :  add_stats
+ * Function    :  cgi_robots_txt
  *
- * Description :  Add the blocking statistics to a given map.
+ * Description :  CGI function to return "/robots.txt".
  *
  * Parameters  :
- *          1  :  exports = map to write to.
+ *           1 :  csp = Current client state (buffers, headers, etc...)
+ *           2 :  rsp = http_response data structure for output
+ *           3 :  parameters = map of cgi parameters
+ *
+ * CGI Parameters : None
  *
- * Returns     :  pointer to extended map
+ * Returns     :  0
  *
  *********************************************************************/
-struct map *add_stats(struct map *exports)
+int cgi_robots_txt(struct client_state *csp, struct http_response *rsp,
+                   struct map *parameters)
 {
-   float perc_rej;   /* Percentage of http requests rejected */
-   char buf[1000];
-   int local_urls_read     = urls_read;
-   int local_urls_rejected = urls_rejected;
-
-   /*
-    * Need to alter the stats not to include the fetch of this
-    * page.
-    *
-    * Can't do following thread safely! doh!
-    *
-    * urls_read--;
-    * urls_rejected--; * This will be incremented subsequently *
-    */
+   char buf[100];
 
-   if (local_urls_read == 0)
-   {
-      exports = map_block_killer(exports, "have-stats");
-   }
-   else
-   {
-      exports = map_block_killer(exports, "have-no-stats");
+   rsp->body = strdup(
+      "# This is the Internet Junkbuster control interface.\n"
+      "# It isn't very useful to index it, and you're likely to break stuff.\n"
+      "# So go away!\n"
+      "\n"
+      "User-agent: *\n"
+      "Disallow: /\n"
+      "\n");
 
-      perc_rej = (float)local_urls_rejected * 100.0F /
-            (float)local_urls_read;
+   enlist_unique(rsp->headers, "Content-Type: text/plain", 13);
 
-      sprintf(buf, "%d", local_urls_read);
-      exports = map(exports, "requests-received", 1, buf, 1);
-
-      sprintf(buf, "%d", local_urls_rejected);
-      exports = map(exports, "requests-blocked", 1, buf, 1);
-
-      sprintf(buf, "%6.2f", perc_rej);
-      exports = map(exports, "percent-blocked", 1, buf, 1);
-   }
+   rsp->is_static = 1;
 
-   return(exports);
+   get_http_time(7 * 24 * 60 * 60, buf); /* 7 days into future */
+   enlist_unique_header(rsp->headers, "Expires", buf);
 
+   return 0;
 }
-#endif /* def STATISTICS */
+
 
 /*
   Local Variables: