Incorporate modified version of Roland Rosenfeld's patch to
[privoxy.git] / cgi.c
1 const char cgi_rcs[] = "$Id: cgi.c,v 1.73 2006/08/03 02:46:41 david__schmidt Exp $";
2 /*********************************************************************
3  *
4  * File        :  $Source: /cvsroot/ijbswa/current/cgi.c,v $
5  *
6  * Purpose     :  Declares functions to intercept request, generate
7  *                html or gif answers, and to compose HTTP resonses.
8  *                This only contains the framework functions, the
9  *                actual handler functions are declared elsewhere.
10  *                
11  *                Functions declared include:
12  * 
13  *
14  * Copyright   :  Written by and Copyright (C) 2001 the SourceForge
15  *                Privoxy team. http://www.privoxy.org/
16  *
17  *                Based on the Internet Junkbuster originally written
18  *                by and Copyright (C) 1997 Anonymous Coders and 
19  *                Junkbusters Corporation.  http://www.junkbusters.com
20  *
21  *                This program is free software; you can redistribute it 
22  *                and/or modify it under the terms of the GNU General
23  *                Public License as published by the Free Software
24  *                Foundation; either version 2 of the License, or (at
25  *                your option) any later version.
26  *
27  *                This program is distributed in the hope that it will
28  *                be useful, but WITHOUT ANY WARRANTY; without even the
29  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
30  *                PARTICULAR PURPOSE.  See the GNU General Public
31  *                License for more details.
32  *
33  *                The GNU General Public License should be included with
34  *                this file.  If not, you can view it at
35  *                http://www.gnu.org/copyleft/gpl.html
36  *                or write to the Free Software Foundation, Inc., 59
37  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
38  *
39  * Revisions   :
40  *    $Log: cgi.c,v $
41  *    Revision 1.73  2006/08/03 02:46:41  david__schmidt
42  *    Incorporate Fabian Keil's patch work:\rhttp://www.fabiankeil.de/sourcecode/privoxy/
43  *
44  *    Revision 1.72  2006/07/18 14:48:45  david__schmidt
45  *    Reorganizing the repository: swapping out what was HEAD (the old 3.1 branch)
46  *    with what was really the latest development (the v_3_0_branch branch)
47  *
48  *    Revision 1.70.2.13  2004/02/17 13:30:23  oes
49  *    Moved cgi_error_disabled() from cgiedit.c to
50  *    cgi.c to re-enable build with --disable-editor.
51  *    Fixes Bug #892744. Thanks to Matthew Fischer
52  *    for spotting.
53  *
54  *    Revision 1.70.2.12  2003/12/17 16:33:16  oes
55  *     - Added new function cgi_redirect to handle creation of
56  *       HTTP redirect messages formerly repeated in the code.
57  *     - Send cgi_error_disabled instead of cgi_error_404 when
58  *       referrer check fails
59  *     - Dynamic content now gets Expires header field with date
60  *       in the past
61  *
62  *    Revision 1.70.2.11  2003/10/23 12:29:26  oes
63  *    Bugfix: Transparent PNG was not transparent. Thanks to
64  *    Dan Razzell of Starfish Systems for notice and new PNG.
65  *
66  *    Revision 1.70.2.10  2003/06/06 07:54:25  oes
67  *    Security fix: dspatch_known_cgi no longer considers an empty
68  *    referrer safe for critical CGIs, since malicious links could
69  *    reside on https:// locations which browsers don't advertize as
70  *    referrers. Closes bug #749916, thanks to Jeff Epler for the
71  *    hint. Goodbye One-Click[tm] toggling :-(
72  *
73  *    Revision 1.70.2.9  2003/05/08 15:11:31  oes
74  *    Nit
75  *
76  *    Revision 1.70.2.8  2003/04/29 13:33:51  oes
77  *    Killed a compiler warning on OSX
78  *
79  *    Revision 1.70.2.7  2003/04/03 13:50:58  oes
80  *    - Don't call cgi_error_disabled ifndef FEATURE_CGI_EDIT_ACTIONS
81  *      (fixes bug #710056)
82  *    - Show toggle info only if we have it
83  *
84  *    Revision 1.70.2.6  2003/03/12 01:26:25  david__schmidt
85  *    Move declaration of struct tm dummy outside of a control block so it is
86  *    accessible later on during snprintf in get_http_time.
87  *
88  *    Revision 1.70.2.5  2003/03/11 11:53:58  oes
89  *    Cosmetic: Renamed cryptic variable
90  *
91  *    Revision 1.70.2.4  2003/03/07 03:41:03  david__schmidt
92  *    Wrapping all *_r functions (the non-_r versions of them) with mutex semaphores for OSX.  Hopefully this will take care of all of those pesky crash reports.
93  *
94  *    Revision 1.70.2.3  2002/11/28 18:14:32  oes
95  *    Disable access to critical CGIs via untrusted referrers.
96  *    This prevents users from being tricked by malicious websites
97  *    into making unintentional configuration changes:
98  *
99  *     - Added flag to each cgi_dispatcher that allows or denies
100  *       external linking
101  *     - Introduced proviorical function that greps for the
102  *       referrer header before regular header parsing happens
103  *     - Added safety check to dispatch_known_cgi. CGI is called
104  *       if (cgi harmless || no referrer || we are referrer).
105  *       Else a) toggle calls are modified not to change status and
106  *       b) all other calls are denied.
107  *
108  *    Revision 1.70.2.2  2002/11/12 16:20:37  oes
109  *    Added missing #ifdef FEATURE_TOGGLE around g_bToggleIJB; fixes bug #636651
110  *
111  *    Revision 1.70.2.1  2002/08/05 11:17:46  oes
112  *    Fixed Bug #587820, i.e. added workaround for IE bug that includes fragment identifier in (cgi) query
113  *
114  *    Revision 1.70  2002/05/19 11:33:20  jongfoster
115  *    If a CGI error was not handled, and propogated back to
116  *    dispatch_known_cgi(), then it was assumed to be "out of memory".
117  *    This gave a very misleading error message.
118  *
119  *    Now other errors will cause a simple message giving the error
120  *    number and asking the user to report a bug.
121  *
122  *    Bug report:
123  *    http://sourceforge.net/tracker/index.php?func=detail
124  *    &aid=557905&group_id=11118&atid=111118
125  *
126  *    Revision 1.69  2002/05/14 21:28:40  oes
127  *     - Fixed add_help_link to link to the (now split) actions
128  *       part of the config chapter
129  *     - Renamed helplink export to actions-help-prefix
130  *
131  *    Revision 1.68  2002/05/12 21:36:29  jongfoster
132  *    Correcting function comments
133  *
134  *    Revision 1.67  2002/04/30 12:02:07  oes
135  *    Nit: updated a comment
136  *
137  *    Revision 1.66  2002/04/26 18:32:57  jongfoster
138  *    Fixing a memory leak on error
139  *
140  *    Revision 1.65  2002/04/26 12:53:51  oes
141  *     - New function add_help_link
142  *     - default_exports now exports links to the user manual
143  *       and a prefix for links into the config chapter
144  *
145  *    Revision 1.64  2002/04/24 02:17:21  oes
146  *     - Better descriptions for CGIs
147  *     - Hide edit-actions, more shortcuts
148  *     - Moved get_char_param, get_string_param and get_number_param here
149  *       from cgiedit.c
150  *
151  *    Revision 1.63  2002/04/15 19:06:43  jongfoster
152  *    Typos
153  *
154  *    Revision 1.62  2002/04/10 19:59:46  jongfoster
155  *    Fixes to #include in templates:
156  *    - Didn't close main file if loading an included template fails.
157  *    - I'm paranoid and want to disallow "#include /etc/passwd".
158  *
159  *    Revision 1.61  2002/04/10 13:37:48  oes
160  *    Made templates modular: template_load now recursive with max depth 1
161  *
162  *    Revision 1.60  2002/04/08 20:50:25  swa
163  *    fixed JB spelling
164  *
165  *    Revision 1.59  2002/04/05 15:51:51  oes
166  *     - added send-stylesheet CGI
167  *     - bugfix: error-pages now get correct request protocol
168  *     - fixed
169  *     - kludged CGI descriptions and menu not to break JS syntax
170  *
171  *    Revision 1.58  2002/03/29 03:33:13  david__schmidt
172  *    Fix Mac OSX compiler warnings
173  *
174  *    Revision 1.57  2002/03/26 22:29:54  swa
175  *    we have a new homepage!
176  *
177  *    Revision 1.56  2002/03/24 17:50:46  jongfoster
178  *    Fixing compile error if actions file editor disabled
179  *
180  *    Revision 1.55  2002/03/24 16:55:06  oes
181  *    Making GIF checkerboard transparent
182  *
183  *    Revision 1.54  2002/03/24 16:18:15  jongfoster
184  *    Removing old logo
185  *
186  *    Revision 1.53  2002/03/24 16:06:00  oes
187  *    Correct transparency for checkerboard PNG. Thanks, Magnus!
188  *
189  *    Revision 1.52  2002/03/24 15:23:33  jongfoster
190  *    Name changes
191  *
192  *    Revision 1.51  2002/03/24 13:25:43  swa
193  *    name change related issues
194  *
195  *    Revision 1.50  2002/03/16 23:54:06  jongfoster
196  *    Adding graceful termination feature, to help look for memory leaks.
197  *    If you enable this (which, by design, has to be done by hand
198  *    editing config.h) and then go to http://i.j.b/die, then the program
199  *    will exit cleanly after the *next* request.  It should free all the
200  *    memory that was used.
201  *
202  *    Revision 1.49  2002/03/13 00:27:04  jongfoster
203  *    Killing warnings
204  *
205  *    Revision 1.48  2002/03/08 17:47:07  jongfoster
206  *    Adding comments
207  *
208  *    Revision 1.47  2002/03/08 16:41:33  oes
209  *    Added GIF images again
210  *
211  *    Revision 1.46  2002/03/07 03:48:38  oes
212  *     - Changed built-in images from GIF to PNG
213  *       (with regard to Unisys patent issue)
214  *     - Added a 4x4 pattern PNG which is less intrusive
215  *       than the logo but also clearly marks the deleted banners
216  *
217  *    Revision 1.45  2002/03/06 22:54:35  jongfoster
218  *    Automated function-comment nitpicking.
219  *
220  *    Revision 1.44  2002/03/05 22:43:45  david__schmidt
221  *    - Better error reporting on OS/2
222  *    - Fix double-slash comment (oops)
223  *
224  *    Revision 1.43  2002/03/05 21:33:45  david__schmidt
225  *    - Re-enable OS/2 building after new parms were added
226  *    - Fix false out of memory report when resolving CGI templates when no IP
227  *      address is available of failed attempt (a la no such domain)
228  *
229  *    Revision 1.42  2002/01/21 00:33:20  jongfoster
230  *    Replacing strsav() with the safer string_append() or string_join().
231  *    Adding map_block_keep() to save a few bytes in the edit-actions-list HTML.
232  *    Adding missing html_encode() to error message generators.
233  *    Adding edit-actions-section-swap and many "shortcuts" to the list of CGIs.
234  *
235  *    Revision 1.41  2002/01/17 20:56:22  jongfoster
236  *    Replacing hard references to the URL of the config interface
237  *    with #defines from project.h
238  *
239  *    Revision 1.40  2002/01/09 14:26:46  oes
240  *    Added support for thread-safe gmtime_r call.
241  *
242  *    Revision 1.39  2001/11/16 00:48:13  jongfoster
243  *    Fixing a compiler warning
244  *
245  *    Revision 1.38  2001/11/13 00:31:21  jongfoster
246  *    - Adding new CGIs for use by non-JavaScript browsers:
247  *        edit-actions-url-form
248  *        edit-actions-add-url-form
249  *        edit-actions-remove-url-form
250  *    - Fixing make_menu()'s HTML generation - it now quotes the href parameter.
251  *    - Fixing || bug.
252  *
253  *    Revision 1.37  2001/11/01 14:28:47  david__schmidt
254  *    Show enablement/disablement status in almost all templates.
255  *    There is a little trickiness here: apparent recursive resolution of
256  *    @if-enabled-then@ caused the toggle template to show status out-of-phase with
257  *    the actual enablement status.  So a similar construct,
258  *    @if-enabled-display-then@, is used to resolve the status display on non-'toggle'
259  *    templates.
260  *
261  *    Revision 1.36  2001/10/26 17:33:27  oes
262  *    marginal bugfix
263  *
264  *    Revision 1.35  2001/10/23 21:48:19  jongfoster
265  *    Cleaning up error handling in CGI functions - they now send back
266  *    a HTML error page and should never cause a FATAL error.  (Fixes one
267  *    potential source of "denial of service" attacks).
268  *
269  *    CGI actions file editor that works and is actually useful.
270  *
271  *    Ability to toggle Junkbuster remotely using a CGI call.
272  *
273  *    You can turn off both the above features in the main configuration
274  *    file, e.g. if you are running a multi-user proxy.
275  *
276  *    Revision 1.34  2001/10/18 22:22:09  david__schmidt
277  *    Only show "Local support" on templates conditionally:
278  *      - if either 'admin-address' or 'proxy-info-url' are uncommented in config
279  *      - if not, no Local support section appears
280  *
281  *    Revision 1.33  2001/10/14 22:28:41  jongfoster
282  *    Fixing stupid typo.
283  *
284  *    Revision 1.32  2001/10/14 22:20:18  jongfoster
285  *    - Changes to CGI dispatching method to match CGI names exactly,
286  *      rather than doing a prefix match.
287  *    - No longer need to count the length of the CGI handler names by hand.
288  *    - Adding new handler for 404 error when disptching a CGI, if none of
289  *      the handlers match.
290  *    - Adding new handlers for CGI actionsfile editor.
291  *
292  *    Revision 1.31  2001/10/10 10:56:39  oes
293  *    Failiure to load template now fatal. Before, the user got a hard-to-understand assertion failure from cgi.c
294  *
295  *    Revision 1.30  2001/10/02 15:30:57  oes
296  *    Introduced show-request cgi
297  *
298  *    Revision 1.29  2001/09/20 15:47:44  steudten
299  *
300  *    Fix BUG: Modify int size to size_t size in fill_template()
301  *     - removes big trouble on machines where sizeof(int) != sizeof(size_t).
302  *
303  *    Revision 1.28  2001/09/19 18:00:37  oes
304  *     - Deletef time() FIXME (Can't fail under Linux either, if
305  *       the argument is guaranteed to be in out address space,
306  *       which it is.)
307  *     - Fixed comments
308  *     - Pointer notation cosmetics
309  *     - Fixed a minor bug in template_fill(): Failiure of
310  *       pcrs_execute() now secure.
311  *
312  *    Revision 1.27  2001/09/16 17:08:54  jongfoster
313  *    Moving simple CGI functions from cgi.c to new file cgisimple.c
314  *
315  *    Revision 1.26  2001/09/16 15:47:37  jongfoster
316  *    First version of CGI-based edit interface.  This is very much a
317  *    work-in-progress, and you can't actually use it to edit anything
318  *    yet.  You must #define FEATURE_CGI_EDIT_ACTIONS for these changes
319  *    to have any effect.
320  *
321  *    Revision 1.25  2001/09/16 15:02:35  jongfoster
322  *    Adding i.j.b/robots.txt.
323  *    Inlining add_stats() since it's only ever called from one place.
324  *
325  *    Revision 1.24  2001/09/16 11:38:01  jongfoster
326  *    Splitting fill_template() into 2 functions:
327  *    template_load() loads the file
328  *    template_fill() performs the PCRS regexps.
329  *    This is because the CGI edit interface has a "table row"
330  *    template which is used many times in the page - this
331  *    change means it's only loaded from disk once.
332  *
333  *    Revision 1.23  2001/09/16 11:16:05  jongfoster
334  *    Better error handling in dispatch_cgi() and parse_cgi_parameters()
335  *
336  *    Revision 1.22  2001/09/16 11:00:10  jongfoster
337  *    New function alloc_http_response, for symmetry with free_http_response
338  *
339  *    Revision 1.21  2001/09/13 23:53:03  jongfoster
340  *    Support for both static and dynamically generated CGI pages.
341  *    Correctly setting Last-Modified: and Expires: HTTP headers.
342  *
343  *    Revision 1.20  2001/09/13 23:40:36  jongfoster
344  *    (Cosmetic only) Indentation correction
345  *
346  *    Revision 1.19  2001/09/13 23:31:25  jongfoster
347  *    Moving image data to cgi.c rather than cgi.h.
348  *
349  *    Revision 1.18  2001/08/05 16:06:20  jongfoster
350  *    Modifiying "struct map" so that there are now separate header and
351  *    "map_entry" structures.  This means that functions which modify a
352  *    map no longer need to return a pointer to the modified map.
353  *    Also, it no longer reverses the order of the entries (which may be
354  *    important with some advanced template substitutions).
355  *
356  *    Revision 1.17  2001/08/05 15:57:38  oes
357  *    Adapted finish_http_response to new list_to_text
358  *
359  *    Revision 1.16  2001/08/01 21:33:18  jongfoster
360  *    Changes to fill_template() that reduce memory usage without having
361  *    an impact on performance.  I also renamed some variables so as not
362  *    to clash with the C++ keywords "new" and "template".
363  *
364  *    Revision 1.15  2001/08/01 21:19:22  jongfoster
365  *    Moving file version information to a separate CGI page.
366  *
367  *    Revision 1.14  2001/08/01 00:19:03  jongfoster
368  *    New function: map_conditional() for an if-then-else syntax.
369  *    Changing to use new version of show_defines()
370  *
371  *    Revision 1.13  2001/07/30 22:08:36  jongfoster
372  *    Tidying up #defines:
373  *    - All feature #defines are now of the form FEATURE_xxx
374  *    - Permanently turned off WIN_GUI_EDIT
375  *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
376  *
377  *    Revision 1.12  2001/07/29 18:47:05  jongfoster
378  *    Adding missing #include "loadcfg.h"
379  *
380  *    Revision 1.11  2001/07/18 17:24:37  oes
381  *    Changed to conform to new pcrs interface
382  *
383  *    Revision 1.10  2001/07/13 13:53:13  oes
384  *    Removed all #ifdef PCRS and related code
385  *
386  *    Revision 1.9  2001/06/29 21:45:41  oes
387  *    Indentation, CRLF->LF, Tab-> Space
388  *
389  *    Revision 1.8  2001/06/29 13:21:46  oes
390  *    - Cosmetics: renamed and reordered functions, variables,
391  *      texts, improved comments  etc
392  *
393  *    - Removed ij_untrusted_url() The relevant
394  *      info is now part of the "untrusted" page,
395  *      which is generated by filters.c:trust_url()
396  *
397  *    - Generators of content now call finish_http_response()
398  *      themselves, making jcc.c:chat() a little less
399  *      cluttered
400  *
401  *    - Removed obsolete "Pragma: no-cache" from our headers
402  *
403  *    - http_responses now know their head length
404  *
405  *    - fill_template now uses the new interface to pcrs, so that
406  *       - long jobs (like whole files) no longer have to be assembled
407  *         in a fixed size buffer
408  *       - the new T (trivial) option is used, and the replacement may
409  *         contain Perl syntax backrefs without confusing pcrs
410  *
411  *    - Introduced default_exports() which generates a set of exports
412  *      common to all CGIs and other content generators
413  *
414  *    - Introduced convenience function map_block_killer()
415  *
416  *    - Introduced convenience function make_menu()
417  *
418  *    - Introduced CGI-like function error_response() which generates
419  *      the "No such domain" and "Connect failed" messages using the
420  *      CGI platform
421  *
422  *    - cgi_show_url_info:
423  *      - adapted to new CGI features
424  *      - form and answers now generated from same template
425  *      - http:// prefix in URL now OK
426  *
427  *    - cgi_show_status:
428  *      - adapted to new CGI features
429  *      - no longer uses csp->init_proxy_args
430  *
431  *    - cgi_default:
432  *      - moved menu generation to make_menu()
433  *
434  *    - add_stats now writes single export map entries instead
435  *      of a fixed string
436  *
437  *    - Moved redirect_url() to filters.c
438  *
439  *    - Fixed mem leak in free_http_response(), map_block_killer(),
440  *
441  *    - Removed logentry from cancelled commit
442  *
443  *    Revision 1.7  2001/06/09 10:51:58  jongfoster
444  *    Changing "show URL info" handler to new style.
445  *    Changing BUFSIZ ==> BUFFER_SIZE
446  *
447  *    Revision 1.6  2001/06/07 23:05:19  jongfoster
448  *    Removing code related to old forward and ACL files.
449  *
450  *    Revision 1.5  2001/06/05 19:59:16  jongfoster
451  *    Fixing multiline character string (a GCC-only "feature"), and snprintf (it's _snprintf under VC++).
452  *
453  *    Revision 1.4  2001/06/04 10:41:52  swa
454  *    show version string of cgi.h and cgi.c
455  *
456  *    Revision 1.3  2001/06/03 19:12:16  oes
457  *    introduced new cgi handling
458  *
459  *    No revisions before 1.3
460  *
461  **********************************************************************/
462 \f
463
464 #include "config.h"
465
466 #include <stdio.h>
467 #include <sys/types.h>
468 #include <stdlib.h>
469 #include <ctype.h>
470 #include <string.h>
471 #include <limits.h>
472 #include <assert.h>
473
474 #ifdef _WIN32
475 #define snprintf _snprintf
476 #endif /* def _WIN32 */
477
478 #include "project.h"
479 #include "cgi.h"
480 #include "list.h"
481 #include "encode.h"
482 #include "ssplit.h"
483 #include "errlog.h"
484 #include "miscutil.h"
485 #include "cgisimple.h"
486 #ifdef FEATURE_CGI_EDIT_ACTIONS
487 #include "cgiedit.h"
488 #endif /* def FEATURE_CGI_EDIT_ACTIONS */
489 #include "loadcfg.h"
490 /* loadcfg.h is for global_toggle_state only */
491 #ifdef FEATURE_PTHREAD
492 #include <pthread.h>
493 #include "jcc.h"
494 /* jcc.h is for mutex semaphore globals only */
495 #endif /* def FEATURE_PTHREAD */
496 const char cgi_h_rcs[] = CGI_H_VERSION;
497
498 /*
499  * List of CGI functions: name, handler, description
500  * Note: Do NOT use single quotes in the description;
501  *       this will break the dynamic "blocked" template!
502  */
503 static const struct cgi_dispatcher cgi_dispatchers[] = {
504    { "",
505          cgi_default,
506          "Privoxy main page",
507          TRUE },
508 #ifdef FEATURE_GRACEFUL_TERMINATION
509    { "die", 
510          cgi_die,  
511          "<b>Shut down</b> - <em class=\"warning\">Do not deploy this build in a production environment, "
512         "this is a one click Denial Of Service attack!!!</em>",
513          FALSE }, 
514 #endif
515    { "show-status", 
516          cgi_show_status,  
517 #ifdef FEATURE_CGI_EDIT_ACTIONS
518         "View & change the current configuration",
519 #else
520         "View the current configuration",
521 #endif
522          TRUE }, 
523    { "show-version", 
524          cgi_show_version,  
525          "View the source code version numbers",
526           TRUE }, 
527    { "show-request", 
528          cgi_show_request,  
529          "View the request headers.",
530          TRUE }, 
531    { "show-url-info",
532          cgi_show_url_info, 
533          "Look up which actions apply to a URL and why",
534          TRUE },
535 #ifdef FEATURE_CGI_EDIT_ACTIONS
536    { "toggle",
537          cgi_toggle, 
538          "Toggle Privoxy on or off",
539          FALSE },
540    { "edit-actions", /* Edit the actions list */
541          cgi_edit_actions, 
542          NULL, FALSE },
543    { "eaa", /* Shortcut for edit-actions-add-url-form */
544          cgi_edit_actions_add_url_form, 
545          NULL, FALSE },
546    { "eau", /* Shortcut for edit-actions-url-form */
547          cgi_edit_actions_url_form, 
548          NULL, FALSE },
549    { "ear", /* Shortcut for edit-actions-remove-url-form */
550          cgi_edit_actions_remove_url_form, 
551          NULL, FALSE },
552    { "eal", /* Shortcut for edit-actions-list */
553          cgi_edit_actions_list, 
554          NULL, FALSE },
555    { "eafu", /* Shortcut for edit-actions-for-url */
556          cgi_edit_actions_for_url, 
557          NULL, FALSE },
558    { "eas", /* Shortcut for edit-actions-submit */
559          cgi_edit_actions_submit, 
560          NULL, FALSE },
561    { "easa", /* Shortcut for edit-actions-section-add */
562          cgi_edit_actions_section_add, 
563          NULL, FALSE  },
564    { "easr", /* Shortcut for edit-actions-section-remove */
565          cgi_edit_actions_section_remove, 
566          NULL, FALSE  },
567    { "eass", /* Shortcut for edit-actions-section-swap */
568          cgi_edit_actions_section_swap, 
569          NULL, FALSE  },
570    { "edit-actions-for-url",
571          cgi_edit_actions_for_url, 
572          NULL, FALSE  /* Edit the actions for (a) specified URL(s) */ },
573    { "edit-actions-list",
574          cgi_edit_actions_list, 
575          NULL, TRUE /* Edit the actions list */ },
576    { "edit-actions-submit",
577          cgi_edit_actions_submit, 
578          NULL, FALSE /* Change the actions for (a) specified URL(s) */ },
579    { "edit-actions-url",
580          cgi_edit_actions_url, 
581          NULL, FALSE /* Change a URL pattern in the actionsfile */ },
582    { "edit-actions-url-form",
583          cgi_edit_actions_url_form, 
584          NULL, FALSE /* Form to change a URL pattern in the actionsfile */ },
585    { "edit-actions-add-url",
586          cgi_edit_actions_add_url, 
587          NULL, FALSE /* Add a URL pattern to the actionsfile */ },
588    { "edit-actions-add-url-form",
589          cgi_edit_actions_add_url_form, 
590          NULL, FALSE /* Form to add a URL pattern to the actionsfile */ },
591    { "edit-actions-remove-url",
592          cgi_edit_actions_remove_url, 
593          NULL, FALSE /* Remove a URL pattern from the actionsfile */ },
594    { "edit-actions-remove-url-form",
595          cgi_edit_actions_remove_url_form, 
596          NULL, FALSE /* Form to remove a URL pattern from the actionsfile */ },
597    { "edit-actions-section-add",
598          cgi_edit_actions_section_add, 
599          NULL, FALSE /* Remove a section from the actionsfile */ },
600    { "edit-actions-section-remove",
601          cgi_edit_actions_section_remove, 
602          NULL, FALSE /* Remove a section from the actionsfile */ },
603    { "edit-actions-section-swap",
604          cgi_edit_actions_section_swap, 
605          NULL, FALSE /* Swap two sections in the actionsfile */ },
606 #endif /* def FEATURE_CGI_EDIT_ACTIONS */
607    { "robots.txt", 
608          cgi_robots_txt,  
609          NULL, TRUE /* Sends a robots.txt file to tell robots to go away. */ }, 
610    { "send-banner",
611          cgi_send_banner, 
612          NULL, TRUE /* Send a built-in image */ },
613    { "send-stylesheet",
614          cgi_send_stylesheet, 
615          NULL, TRUE /* Send templates/cgi-style.css */ },
616    { "t",
617          cgi_transparent_image, 
618          NULL, TRUE /* Send a transparent image (short name) */ },
619    { "user-manual",
620           cgi_send_user_manual,
621           NULL /* Send user-manual */ },
622    { NULL, /* NULL Indicates end of list and default page */
623          cgi_error_404,
624          NULL, TRUE /* Unknown CGI page */ }
625 };
626
627
628 /*
629  * Built-in images for ad replacement
630  *
631  * Hint: You can encode your own images like this:
632  * cat your-image | perl -e 'while (read STDIN, $c, 1) { printf("\\%.3o", unpack("C", $c)); }'
633  */
634
635 #ifdef FEATURE_NO_GIFS
636
637 /*
638  * Checkerboard pattern, as a PNG.
639  */
640 const char image_pattern_data[] =
641    "\211\120\116\107\015\012\032\012\000\000\000\015\111\110\104"
642    "\122\000\000\000\004\000\000\000\004\010\002\000\000\000\046"
643    "\223\011\051\000\000\000\006\142\113\107\104\000\310\000\310"
644    "\000\310\052\045\225\037\000\000\000\032\111\104\101\124\170"
645    "\332\143\070\161\342\304\377\377\377\041\044\003\234\165\342"
646    "\304\011\006\234\062\000\125\200\052\251\125\174\360\223\000"
647    "\000\000\000\111\105\116\104\256\102\140\202";
648
649 /*
650  * 1x1 transparant PNG.
651  */
652 const char image_blank_data[] =
653  "\211\120\116\107\015\012\032\012\000\000\000\015\111\110\104\122"
654  "\000\000\000\001\000\000\000\001\001\003\000\000\000\045\333\126"
655  "\312\000\000\000\003\120\114\124\105\377\377\377\247\304\033\310"
656  "\000\000\000\001\164\122\116\123\000\100\346\330\146\000\000\000"
657  "\001\142\113\107\104\000\210\005\035\110\000\000\000\012\111\104"
658  "\101\124\170\001\143\140\000\000\000\002\000\001\163\165\001\030"
659  "\000\000\000\000\111\105\116\104\256\102\140\202";
660 #else
661
662 /*
663  * Checkerboard pattern, as a GIF.
664  */
665 const char image_pattern_data[] =
666    "\107\111\106\070\071\141\004\000\004\000\200\000\000\310\310"
667    "\310\377\377\377\041\376\016\111\040\167\141\163\040\141\040"
668    "\142\141\156\156\145\162\000\041\371\004\001\012\000\001\000"
669    "\054\000\000\000\000\004\000\004\000\000\002\005\104\174\147"
670    "\270\005\000\073";
671
672 /*
673  * 1x1 transparant GIF.
674  */
675 const char image_blank_data[] =
676    "GIF89a\001\000\001\000\200\000\000\377\377\377\000\000"
677    "\000!\371\004\001\000\000\000\000,\000\000\000\000\001"
678    "\000\001\000\000\002\002D\001\000;";
679 #endif
680
681 const size_t image_pattern_length = sizeof(image_pattern_data) - 1;
682 const size_t image_blank_length   = sizeof(image_blank_data) - 1;
683
684
685 static struct http_response cgi_error_memory_response[1];
686
687 static struct http_response *dispatch_known_cgi(struct client_state * csp,
688                                                 const char * path);
689 static struct map *parse_cgi_parameters(char *argstring);
690
691
692 /*********************************************************************
693  * 
694  * Function    :  dispatch_cgi
695  *
696  * Description :  Checks if a request URL has either the magical
697  *                hostname CGI_SITE_1_HOST (usually http://p.p/) or
698  *                matches CGI_SITE_2_HOST CGI_SITE_2_PATH (usually
699  *                http://config.privoxy.org/). If so, it passes
700  *                the (rest of the) path onto dispatch_known_cgi, which
701  *                calls the relevant CGI handler function.
702  *
703  * Parameters  :
704  *          1  :  csp = Current client state (buffers, headers, etc...)
705  *
706  * Returns     :  http_response if match, NULL if nonmatch or handler fail
707  *
708  *********************************************************************/
709 struct http_response *dispatch_cgi(struct client_state *csp)
710 {
711    const char *host = csp->http->host;
712    const char *path = csp->http->path;
713
714    /*
715     * Should we intercept ?
716     */
717
718    /* Note: "example.com" and "example.com." are equivalent hostnames. */
719
720    /* Either the host matches CGI_SITE_1_HOST ..*/
721    if (   ( (0 == strcmpic(host, CGI_SITE_1_HOST))
722          || (0 == strcmpic(host, CGI_SITE_1_HOST ".")))
723        && (path[0] == '/') )
724    {
725       /* ..then the path will all be for us.  Remove leading '/' */
726       path++;
727    }
728    /* Or it's the host part CGI_SITE_2_HOST, and the path CGI_SITE_2_PATH */
729    else if ( ( (0 == strcmpic(host, CGI_SITE_2_HOST ))
730             || (0 == strcmpic(host, CGI_SITE_2_HOST ".")) )
731           && (0 == strncmpic(path, CGI_SITE_2_PATH, strlen(CGI_SITE_2_PATH))) )
732    {
733       /* take everything following CGI_SITE_2_PATH */
734       path += strlen(CGI_SITE_2_PATH);
735       if (*path == '/')
736       {
737          /* skip the forward slash after CGI_SITE_2_PATH */
738          path++;
739       }
740       else if (*path != '\0')
741       {
742          /*
743           * weirdness: URL is /configXXX, where XXX is some string
744           * Do *NOT* intercept.
745           */
746          return NULL;
747       }
748    }
749    else
750    {
751       /* Not a CGI */
752       return NULL;
753    }
754
755    /* 
756     * This is a CGI call.
757     */
758
759    return dispatch_known_cgi(csp, path);
760 }
761
762
763 /*********************************************************************
764  *
765  * Function    :  grep_cgi_referrer
766  *
767  * Description :  Ugly provisorical fix that greps the value of the
768  *                referer HTTP header field out of a linked list of
769  *                strings like found at csp->headers. Will disappear
770  *                in Privoxy 3.1.
771  *
772  *                FIXME: csp->headers ought to be csp->http->headers
773  *                FIXME: Parsing all client header lines should
774  *                       happen right after the request is received!
775  *
776  * Parameters  :
777  *          1  :  csp = Current client state (buffers, headers, etc...)
778  *
779  * Returns     :  pointer to value (no copy!), or NULL if none found.
780  *
781  *********************************************************************/
782 char *grep_cgi_referrer(struct client_state *csp)
783 {
784    struct list_entry *p;
785
786    for (p = csp->headers->first; p != NULL; p = p->next)
787    {
788       if (p->str == NULL) continue;
789       if (strncmpic(p->str, "Referer: ", 9) == 0)
790       {
791          return ((p->str) + 9);
792       }
793    }
794    return NULL;
795
796 }
797
798
799 /*********************************************************************
800  * 
801  * Function    :  dispatch_known_cgi
802  *
803  * Description :  Processes a CGI once dispatch_cgi has determined that
804  *                it matches one of the magic prefixes. Parses the path
805  *                as a cgi name plus query string, prepares a map that
806  *                maps CGI parameter names to their values, initializes
807  *                the http_response struct, and calls the relevant CGI
808  *                handler function.
809  *
810  * Parameters  :
811  *          1  :  csp = Current client state (buffers, headers, etc...)
812  *          2  :  path = Path of CGI, with the CGI prefix removed.
813  *                       Should not have a leading "/".
814  *
815  * Returns     :  http_response, or NULL on handler failure or out of
816  *                memory.
817  *
818  *********************************************************************/
819 static struct http_response *dispatch_known_cgi(struct client_state * csp,
820                                                 const char * path)
821 {
822    const struct cgi_dispatcher *d;
823    struct map *param_list;
824    struct http_response *rsp;
825    char *query_args_start;
826    char *path_copy;
827    char *referrer;
828    jb_err err;
829
830    if (NULL == (path_copy = strdup(path)))
831    {
832       return cgi_error_memory();
833    }
834    query_args_start = path_copy;
835    while (*query_args_start && *query_args_start != '?' && *query_args_start != '/')
836    {
837       query_args_start++;
838    }
839    if (*query_args_start == '/') 
840    {
841       *query_args_start++ = '\0';
842       if ((param_list = new_map()))
843       {
844          map(param_list, "file", 1, url_decode(query_args_start), 0);
845       }
846    }
847    else
848    {
849       if (*query_args_start == '?')
850       {
851          *query_args_start++ = '\0';
852       }
853       if (NULL == (param_list = parse_cgi_parameters(query_args_start)))
854       {
855          free(path_copy);
856          return cgi_error_memory();
857       }
858    }
859
860    /*
861     * At this point:
862     * path_copy        = CGI call name
863     * param_list       = CGI params, as map
864     */
865
866    /* Get mem for response or fail*/
867    if (NULL == (rsp = alloc_http_response()))
868    {
869       free(path_copy);
870       free_map(param_list);
871       return cgi_error_memory();
872    }
873
874    log_error(LOG_LEVEL_GPC, "%s%s cgi call", csp->http->hostport, csp->http->path);
875    log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 3", 
876                             csp->ip_addr_str, csp->http->cmd); 
877
878    /* 
879     * Find and start the right CGI function
880     */
881    d = cgi_dispatchers;
882    for (;;)
883    {
884       if ((d->name == NULL) || (strcmp(path_copy, d->name) == 0))
885       {
886          /*
887           * If the called CGI is either harmless, or referred
888           * from a trusted source, start it.
889           */
890          if (d->harmless
891              || ((NULL != (referrer = grep_cgi_referrer(csp)))
892                  && (0 == strncmp(referrer, "http://config.privoxy.org/", 26)))
893              )
894          {
895             err = (d->handler)(csp, rsp, param_list);
896          }
897          else
898          {
899             /*
900              * Else, modify toggle calls so that they only display
901              * the status, and deny all other calls.
902              */
903             if (0 == strcmp(path_copy, "toggle"))
904             {
905                unmap(param_list, "set");
906                err = (d->handler)(csp, rsp, param_list);
907             }
908             else
909             {
910                err = cgi_error_disabled(csp, rsp);
911             }
912          }
913
914          free(path_copy);
915          free_map(param_list);
916
917          if (err == JB_ERR_CGI_PARAMS)
918          {
919             err = cgi_error_bad_param(csp, rsp);
920          }
921          if (err && (err != JB_ERR_MEMORY))
922          {
923             /* Unexpected error! Shouldn't get here */
924             log_error(LOG_LEVEL_ERROR, "Unexpected CGI error %d in top-level handler.  Please file a bug report!", err);
925             err = cgi_error_unknown(csp, rsp, err);
926          }
927          if (!err)
928          {
929             /* It worked */
930             return finish_http_response(rsp);
931          }
932          else
933          {
934             /* Error in handler, probably out-of-memory */
935             free_http_response(rsp);
936             return cgi_error_memory();
937          }
938       }
939       d++;
940    }
941 }
942    
943         
944 /*********************************************************************
945  *
946  * Function    :  parse_cgi_parameters
947  *
948  * Description :  Parse a URL-encoded argument string into name/value
949  *                pairs and store them in a struct map list.
950  *
951  * Parameters  :
952  *          1  :  argstring = string to be parsed.  Will be trashed.
953  *
954  * Returns     :  pointer to param list, or NULL if out of memory.
955  *
956  *********************************************************************/
957 static struct map *parse_cgi_parameters(char *argstring)
958 {
959    char *p;
960    char *vector[BUFFER_SIZE];
961    int pairs, i;
962    struct map *cgi_params;
963
964    if (NULL == (cgi_params = new_map()))
965    {
966       return NULL;
967    }
968
969    /* 
970     * IE 5 does, of course, violate RFC 2316 Sect 4.1 and sends
971     * the fragment identifier along with the request, so we must
972     * cut it off here, so it won't pollute the CGI params:
973     */
974    if (NULL != (p = strchr(argstring, '#')))
975    {
976       *p = '\0';
977    }
978
979    pairs = ssplit(argstring, "&", vector, SZ(vector), 1, 1);
980
981    for (i = 0; i < pairs; i++)
982    {
983       if ((NULL != (p = strchr(vector[i], '='))) && (*(p+1) != '\0'))
984       {
985          *p = '\0';
986          if (map(cgi_params, url_decode(vector[i]), 0, url_decode(++p), 0))
987          {
988             free_map(cgi_params);
989             return NULL;
990          }
991       }
992    }
993
994    return cgi_params;
995
996 }
997
998
999 /*********************************************************************
1000  *
1001  * Function    :  get_char_param
1002  *
1003  * Description :  Get a single-character parameter passed to a CGI
1004  *                function.
1005  *
1006  * Parameters  :
1007  *          1  :  parameters = map of cgi parameters
1008  *          2  :  param_name = The name of the parameter to read
1009  *
1010  * Returns     :  Uppercase character on success, '\0' on error.
1011  *
1012  *********************************************************************/
1013 char get_char_param(const struct map *parameters,
1014                     const char *param_name)
1015 {
1016    char ch;
1017
1018    assert(parameters);
1019    assert(param_name);
1020
1021    ch = *(lookup(parameters, param_name));
1022    if ((ch >= 'a') && (ch <= 'z'))
1023    {
1024       ch = ch - 'a' + 'A';
1025    }
1026
1027    return ch;
1028 }
1029
1030
1031 /*********************************************************************
1032  *
1033  * Function    :  get_string_param
1034  *
1035  * Description :  Get a string paramater, to be used as an
1036  *                ACTION_STRING or ACTION_MULTI paramater.
1037  *                Validates the input to prevent stupid/malicious
1038  *                users from corrupting their action file.
1039  *
1040  * Parameters  :
1041  *          1  :  parameters = map of cgi parameters
1042  *          2  :  param_name = The name of the parameter to read
1043  *          3  :  pparam = destination for paramater.  Allocated as
1044  *                part of the map "parameters", so don't free it.
1045  *                Set to NULL if not specified.
1046  *
1047  * Returns     :  JB_ERR_OK         on success, or if the paramater
1048  *                                  was not specified.
1049  *                JB_ERR_MEMORY     on out-of-memory.
1050  *                JB_ERR_CGI_PARAMS if the paramater is not valid.
1051  *
1052  *********************************************************************/
1053 jb_err get_string_param(const struct map *parameters,
1054                         const char *param_name,
1055                         const char **pparam)
1056 {
1057    const char *param;
1058    const char *s;
1059    char ch;
1060
1061    assert(parameters);
1062    assert(param_name);
1063    assert(pparam);
1064
1065    *pparam = NULL;
1066
1067    param = lookup(parameters, param_name);
1068    if (!*param)
1069    {
1070       return JB_ERR_OK;
1071    }
1072
1073    if (strlen(param) >= CGI_PARAM_LEN_MAX)
1074    {
1075       /*
1076        * Too long.
1077        *
1078        * Note that the length limit is arbitrary, it just seems
1079        * sensible to limit it to *something*.  There's no
1080        * technical reason for any limit at all.
1081        */
1082       return JB_ERR_CGI_PARAMS;
1083    }
1084
1085    /* Check every character to see if it's legal */
1086    s = param;
1087    while ((ch = *s++) != '\0')
1088    {
1089       if ( ((unsigned char)ch < (unsigned char)' ')
1090         || (ch == '}') )
1091       {
1092          /* Probable hack attempt, or user accidentally used '}'. */
1093          return JB_ERR_CGI_PARAMS;
1094       }
1095    }
1096
1097    /* Success */
1098    *pparam = param;
1099
1100    return JB_ERR_OK;
1101 }
1102
1103
1104 /*********************************************************************
1105  *
1106  * Function    :  get_number_param
1107  *
1108  * Description :  Get a non-negative integer from the parameters
1109  *                passed to a CGI function.
1110  *
1111  * Parameters  :
1112  *          1  :  csp = Current client state (buffers, headers, etc...)
1113  *          2  :  parameters = map of cgi parameters
1114  *          3  :  name = Name of CGI parameter to read
1115  *          4  :  pvalue = destination for value.
1116  *                         Set to -1 on error.
1117  *
1118  * Returns     :  JB_ERR_OK         on success
1119  *                JB_ERR_MEMORY     on out-of-memory
1120  *                JB_ERR_CGI_PARAMS if the parameter was not specified
1121  *                                  or is not valid.
1122  *
1123  *********************************************************************/
1124 jb_err get_number_param(struct client_state *csp,
1125                         const struct map *parameters,
1126                         char *name,
1127                         unsigned *pvalue)
1128 {
1129    const char *param;
1130    char ch;
1131    unsigned value;
1132
1133    assert(csp);
1134    assert(parameters);
1135    assert(name);
1136    assert(pvalue);
1137
1138    *pvalue = 0; 
1139
1140    param = lookup(parameters, name);
1141    if (!*param)
1142    {
1143       return JB_ERR_CGI_PARAMS;
1144    }
1145
1146    /* We don't use atoi because I want to check this carefully... */
1147
1148    value = 0;
1149    while ((ch = *param++) != '\0')
1150    {
1151       if ((ch < '0') || (ch > '9'))
1152       {
1153          return JB_ERR_CGI_PARAMS;
1154       }
1155
1156       ch -= '0';
1157
1158       /* Note:
1159        *
1160        * <limits.h> defines UINT_MAX
1161        *
1162        * (UINT_MAX - ch) / 10 is the largest number that
1163        *     can be safely multiplied by 10 then have ch added.
1164        */
1165       if (value > ((UINT_MAX - (unsigned)ch) / 10U))
1166       {
1167          return JB_ERR_CGI_PARAMS;
1168       }
1169
1170       value = value * 10 + ch;
1171    }
1172
1173    /* Success */
1174    *pvalue = value;
1175
1176    return JB_ERR_OK;
1177
1178 }
1179
1180
1181 /*********************************************************************
1182  *
1183  * Function    :  error_response
1184  *
1185  * Description :  returns an http_response that explains the reason
1186  *                why a request failed.
1187  *
1188  * Parameters  :
1189  *          1  :  csp = Current client state (buffers, headers, etc...)
1190  *          2  :  templatename = Which template should be used for the answer
1191  *          3  :  sys_err = system error number
1192  *
1193  * Returns     :  A http_response.  If we run out of memory, this
1194  *                will be cgi_error_memory().
1195  *
1196  *********************************************************************/
1197 struct http_response *error_response(struct client_state *csp,
1198                                      const char *templatename,
1199                                      int sys_err)
1200 {
1201    jb_err err;
1202    struct http_response *rsp;
1203    struct map * exports = default_exports(csp, NULL);
1204    if (exports == NULL)
1205    {
1206       return cgi_error_memory();
1207    }
1208
1209    if (NULL == (rsp = alloc_http_response()))
1210    {
1211       free_map(exports);
1212       return cgi_error_memory();
1213    }
1214
1215    err = map(exports, "host", 1, html_encode(csp->http->host), 0);
1216    if (!err) err = map(exports, "hostport", 1, html_encode(csp->http->hostport), 0);
1217    if (!err) err = map(exports, "path", 1, html_encode(csp->http->path), 0);
1218    if (!err) err = map(exports, "error", 1, html_encode_and_free_original(safe_strerror(sys_err)), 0);
1219    if (!err) err = map(exports, "protocol", 1, csp->http->ssl ? "https://" : "http://", 1); 
1220    if (!err)
1221    {
1222      err = map(exports, "host-ip", 1, html_encode(csp->http->host_ip_addr_str), 0);
1223      if (err)
1224      {
1225        /* Some failures, like "404 no such domain", don't have an IP address. */
1226        err = map(exports, "host-ip", 1, html_encode(csp->http->host), 0);
1227      }
1228    }
1229
1230
1231    if (err)
1232    {
1233       free_map(exports);
1234       free_http_response(rsp);
1235       return cgi_error_memory();
1236    }
1237
1238    if (!strcmp(templatename, "no-such-domain"))
1239    {
1240       rsp->status = strdup("404 No such domain");
1241       if (rsp->status == NULL)
1242       {
1243          free_map(exports);
1244          free_http_response(rsp);
1245          return cgi_error_memory();
1246       }
1247    }
1248    else if (!strcmp(templatename, "connect-failed"))
1249    {
1250       rsp->status = strdup("503 Connect failed");
1251       if (rsp->status == NULL)
1252       {
1253          free_map(exports);
1254          free_http_response(rsp);
1255          return cgi_error_memory();
1256       }
1257    }
1258
1259    err = template_fill_for_cgi(csp, templatename, exports, rsp);
1260    if (err)
1261    {
1262       free_http_response(rsp);
1263       return cgi_error_memory();
1264    }
1265
1266    return finish_http_response(rsp);
1267 }
1268
1269
1270 /*********************************************************************
1271  *
1272  * Function    :  cgi_error_disabled
1273  *
1274  * Description :  CGI function that is called to generate an error
1275  *                response if the actions editor or toggle CGI are
1276  *                accessed despite having being disabled at compile-
1277  *                or run-time.
1278  *
1279  * Parameters  :
1280  *          1  :  csp = Current client state (buffers, headers, etc...)
1281  *          2  :  rsp = http_response data structure for output
1282  *
1283  * CGI Parameters : none
1284  *
1285  * Returns     :  JB_ERR_OK on success
1286  *                JB_ERR_MEMORY on out-of-memory error.
1287  *
1288  *********************************************************************/
1289 jb_err cgi_error_disabled(struct client_state *csp,
1290                           struct http_response *rsp)
1291 {
1292    struct map *exports;
1293
1294    assert(csp);
1295    assert(rsp);
1296
1297    if (NULL == (exports = default_exports(csp, NULL)))
1298    {
1299       return JB_ERR_MEMORY;
1300    }
1301
1302    return template_fill_for_cgi(csp, "cgi-error-disabled", exports, rsp);
1303 }
1304
1305
1306 /*********************************************************************
1307  *
1308  * Function    :  cgi_init_error_messages
1309  *
1310  * Description :  Call at the start of the program to initialize
1311  *                the error message used by cgi_error_memory().
1312  *
1313  * Parameters  :  N/A
1314  *
1315  * Returns     :  N/A
1316  *
1317  *********************************************************************/
1318 void cgi_init_error_messages(void)
1319 {
1320    memset(cgi_error_memory_response, '\0', sizeof(*cgi_error_memory_response));
1321    cgi_error_memory_response->head =
1322       "HTTP/1.0 500 Internal Privoxy Error\r\n"
1323       "Content-Type: text/html\r\n"
1324       "\r\n";
1325    cgi_error_memory_response->body =
1326       "<html>\r\n"
1327       "<head><title>500 Internal Privoxy Error</title></head>\r\n"
1328       "<body>\r\n"
1329       "<h1>500 Internal Privoxy Error</h1>\r\n"
1330       "<p>Privoxy <b>ran out of memory</b> while processing your request.</p>\r\n"
1331       "<p>Please contact your proxy administrator, or try again later</p>\r\n"
1332       "</body>\r\n"
1333       "</html>\r\n";
1334
1335    cgi_error_memory_response->head_length =
1336       strlen(cgi_error_memory_response->head);
1337    cgi_error_memory_response->content_length =
1338       strlen(cgi_error_memory_response->body);
1339 }
1340
1341
1342 /*********************************************************************
1343  *
1344  * Function    :  cgi_error_memory
1345  *
1346  * Description :  Called if a CGI function runs out of memory.
1347  *                Returns a statically-allocated error response.
1348  *
1349  * Parameters  :  N/A
1350  *
1351  * Returns     :  http_response data structure for output.  This is
1352  *                statically allocated, for obvious reasons.
1353  *
1354  *********************************************************************/
1355 struct http_response *cgi_error_memory(void)
1356 {
1357    /* assert that it's been initialized. */
1358    assert(cgi_error_memory_response->head);
1359
1360    return cgi_error_memory_response;
1361 }
1362
1363
1364 /*********************************************************************
1365  *
1366  * Function    :  cgi_error_no_template
1367  *
1368  * Description :  Almost-CGI function that is called if a template
1369  *                cannot be loaded.  Note this is not a true CGI,
1370  *                it takes a template name rather than a map of 
1371  *                parameters.
1372  *
1373  * Parameters  :
1374  *          1  :  csp = Current client state (buffers, headers, etc...)
1375  *          2  :  rsp = http_response data structure for output
1376  *          3  :  template_name = Name of template that could not
1377  *                                be loaded.
1378  *
1379  * Returns     :  JB_ERR_OK on success
1380  *                JB_ERR_MEMORY on out-of-memory error.  
1381  *
1382  *********************************************************************/
1383 jb_err cgi_error_no_template(struct client_state *csp,
1384                              struct http_response *rsp,
1385                              const char *template_name)
1386 {
1387    static const char status[] =
1388       "500 Internal Privoxy Error";
1389    static const char body_prefix[] =
1390       "<html>\r\n"
1391       "<head><title>500 Internal Privoxy Error</title></head>\r\n"
1392       "<body>\r\n"
1393       "<h1>500 Internal Privoxy Error</h1>\r\n"
1394       "<p>Privoxy encountered an error while processing your request:</p>\r\n"
1395       "<p><b>Could not load template file <code>";
1396    static const char body_suffix[] =
1397       "</code> or one of it's included components.</b></p>\r\n"
1398       "<p>Please contact your proxy administrator.</p>\r\n"
1399       "<p>If you are the proxy administrator, please put the required file(s)"
1400       "in the <code><i>(confdir)</i>/templates</code> directory.  The "
1401       "location of the <code><i>(confdir)</i></code> directory "
1402       "is specified in the main Privoxy <code>config</code> "
1403       "file.  (It's typically the Privoxy install directory"
1404 #ifndef _WIN32
1405       ", or <code>/etc/privoxy/</code>"
1406 #endif /* ndef _WIN32 */
1407       ").</p>\r\n"
1408       "</body>\r\n"
1409       "</html>\r\n";
1410
1411    assert(csp);
1412    assert(rsp);
1413    assert(template_name);
1414
1415    /* Reset rsp, if needed */
1416    freez(rsp->status);
1417    freez(rsp->head);
1418    freez(rsp->body);
1419    rsp->content_length = 0;
1420    rsp->head_length = 0;
1421    rsp->is_static = 0;
1422
1423    rsp->body = malloc(strlen(body_prefix) + strlen(template_name) + strlen(body_suffix) + 1);
1424    if (rsp->body == NULL)
1425    {
1426       return JB_ERR_MEMORY;
1427    }
1428    strcpy(rsp->body, body_prefix);
1429    strcat(rsp->body, template_name);
1430    strcat(rsp->body, body_suffix);
1431
1432    rsp->status = strdup(status);
1433    if (rsp->body == NULL)
1434    {
1435       return JB_ERR_MEMORY;
1436    }
1437
1438    return JB_ERR_OK;
1439 }
1440
1441
1442 /*********************************************************************
1443  *
1444  * Function    :  cgi_error_unknown
1445  *
1446  * Description :  Almost-CGI function that is called if an unexpected
1447  *                error occurs in the top-level CGI dispatcher.
1448  *                In this context, "unexpected" means "anything other
1449  *                than JB_ERR_MEMORY or JB_ERR_CGI_PARAMS" - CGIs are
1450  *                expected to handle all other errors internally,
1451  *                since they can give more relavent error messages
1452  *                that way.
1453  *
1454  *                Note this is not a true CGI, it takes an error
1455  *                code rather than a map of parameters.
1456  *
1457  * Parameters  :
1458  *          1  :  csp = Current client state (buffers, headers, etc...)
1459  *          2  :  rsp = http_response data structure for output
1460  *          3  :  error_to_report = Error code to report.
1461  *
1462  * Returns     :  JB_ERR_OK on success
1463  *                JB_ERR_MEMORY on out-of-memory error.  
1464  *
1465  *********************************************************************/
1466 jb_err cgi_error_unknown(struct client_state *csp,
1467                          struct http_response *rsp,
1468                          jb_err error_to_report)
1469 {
1470    static const char status[] =
1471       "500 Internal Privoxy Error";
1472    static const char body_prefix[] =
1473       "<html>\r\n"
1474       "<head><title>500 Internal Privoxy Error</title></head>\r\n"
1475       "<body>\r\n"
1476       "<h1>500 Internal Privoxy Error</h1>\r\n"
1477       "<p>Privoxy encountered an error while processing your request:</p>\r\n"
1478       "<p><b>Unexpected internal error: ";
1479    static const char body_suffix[] =
1480       "</b></p>\r\n"
1481       "<p>Please "
1482       "<a href=\"http://sourceforge.net/tracker/?group_id=11118&atid=111118\">"
1483       "file a bug report</a>.</p>\r\n"
1484       "</body>\r\n"
1485       "</html>\r\n";
1486    char errnumbuf[30];
1487    assert(csp);
1488    assert(rsp);
1489
1490    /* Reset rsp, if needed */
1491    freez(rsp->status);
1492    freez(rsp->head);
1493    freez(rsp->body);
1494    rsp->content_length = 0;
1495    rsp->head_length = 0;
1496    rsp->is_static = 0;
1497
1498    sprintf(errnumbuf, "%d", error_to_report);
1499
1500    rsp->body = malloc(strlen(body_prefix) + strlen(errnumbuf) + strlen(body_suffix) + 1);
1501    if (rsp->body == NULL)
1502    {
1503       return JB_ERR_MEMORY;
1504    }
1505    strcpy(rsp->body, body_prefix);
1506    strcat(rsp->body, errnumbuf);
1507    strcat(rsp->body, body_suffix);
1508
1509    rsp->status = strdup(status);
1510    if (rsp->body == NULL)
1511    {
1512       return JB_ERR_MEMORY;
1513    }
1514
1515    return JB_ERR_OK;
1516 }
1517
1518
1519 /*********************************************************************
1520  *
1521  * Function    :  cgi_error_bad_param
1522  *
1523  * Description :  CGI function that is called if the parameters
1524  *                (query string) for a CGI were wrong.
1525  *               
1526  * Parameters  :
1527  *          1  :  csp = Current client state (buffers, headers, etc...)
1528  *          2  :  rsp = http_response data structure for output
1529  *
1530  * CGI Parameters : none
1531  *
1532  * Returns     :  JB_ERR_OK on success
1533  *                JB_ERR_MEMORY on out-of-memory error.  
1534  *
1535  *********************************************************************/
1536 jb_err cgi_error_bad_param(struct client_state *csp,
1537                            struct http_response *rsp)
1538 {
1539    struct map *exports;
1540
1541    assert(csp);
1542    assert(rsp);
1543
1544    if (NULL == (exports = default_exports(csp, NULL)))
1545    {
1546       return JB_ERR_MEMORY;
1547    }
1548
1549    return template_fill_for_cgi(csp, "cgi-error-bad-param", exports, rsp);
1550 }
1551
1552
1553 /*********************************************************************
1554  *
1555  * Function    :  cgi_redirect 
1556  *
1557  * Description :  CGI support function to generate a HTTP redirect
1558  *                message
1559  *
1560  * Parameters  :
1561  *          1  :  rsp = http_response data structure for output
1562  *          2  :  target = string with the target URL
1563  *
1564  * CGI Parameters : None
1565  *
1566  * Returns     :  JB_ERR_OK on success
1567  *                JB_ERR_MEMORY on out-of-memory error.  
1568  *
1569  *********************************************************************/
1570 jb_err cgi_redirect (struct http_response * rsp, const char *target)
1571 {
1572    jb_err err;
1573
1574    assert(rsp);
1575    assert(target);
1576
1577    err = enlist_unique_header(rsp->headers, "Location", target);
1578
1579    rsp->status = strdup("302 Local Redirect from Privoxy");
1580    if (rsp->status == NULL)
1581    {
1582       return JB_ERR_MEMORY;
1583    }
1584
1585    return err;
1586 }
1587
1588
1589 /*********************************************************************
1590  *
1591  * Function    :  add_help_link
1592  *
1593  * Description :  Produce a copy of the string given as item,
1594  *                embedded in an HTML link to its corresponding
1595  *                section (item name in uppercase) in the actions
1596  *                chapter of the user manual, (whose URL is given in
1597  *                the config and defaults to our web site).
1598  *
1599  *                FIXME: I currently only work for actions, and would
1600  *                       like to be generalized for other topics.
1601  *
1602  * Parameters  :  
1603  *          1  :  item = item (will NOT be free()d.) 
1604  *                       It is assumed to be HTML-safe.
1605  *          2  :  config = The current configuration.
1606  *
1607  * Returns     :  String with item embedded in link, or NULL on
1608  *                out-of-memory
1609  *
1610  *********************************************************************/
1611 char *add_help_link(const char *item,
1612                     struct configuration_spec *config)
1613 {
1614    char *result;
1615
1616    if (!item) return NULL;
1617
1618    result = strdup("<a href=\"");
1619    if (!strncmpic(config->usermanual, "file://", 7) ||
1620        !strncmpic(config->usermanual, "http", 4))
1621    {
1622       string_append(&result, config->usermanual);
1623    }
1624    else
1625    {
1626       string_append(&result, "http://");
1627       string_append(&result, CGI_SITE_2_HOST);
1628       string_append(&result, "/user-manual/");
1629    }
1630    string_append(&result, ACTIONS_HELP_PREFIX);
1631    string_join  (&result, string_toupper(item));
1632    string_append(&result, "\">");
1633    string_append(&result, item);
1634    string_append(&result, "</a> ");
1635
1636    return result;
1637 }
1638
1639
1640 /*********************************************************************
1641  *
1642  * Function    :  get_http_time
1643  *
1644  * Description :  Get the time in a format suitable for use in a
1645  *                HTTP header - e.g.:
1646  *                "Sun, 06 Nov 1994 08:49:37 GMT"
1647  *
1648  * Parameters  :  
1649  *          1  :  time_offset = Time returned will be current time
1650  *                              plus this number of seconds.
1651  *          2  :  buf = Destination for result.  Must be long enough
1652  *                      to hold 29 characters plus a trailing zero.
1653  *
1654  * Returns     :  N/A
1655  *
1656  *********************************************************************/
1657 void get_http_time(int time_offset, char *buf)
1658 {
1659    static const char day_names[7][4] =
1660       { "Sun", "Mon", "Tue", "Wed", "Thu", "Fri", "Sat" };
1661    static const char month_names[12][4] =
1662       { "Jan", "Feb", "Mar", "Apr", "May", "Jun",
1663         "Jul", "Aug", "Sep", "Oct", "Nov", "Dec" };
1664
1665    struct tm *t;
1666    time_t current_time;
1667 #if defined(HAVE_GMTIME_R) && !defined(OSX_DARWIN)
1668    /*
1669     * Declare dummy up here (instead of inside get/set gmt block) so it
1670     * doesn't go out of scope before it's potentially used in snprintf later.
1671     * Wrapping declaration inside HAVE_GMTIME_R keeps the compiler quiet when
1672     * !defined HAVE_GMTIME_R.
1673     */
1674    struct tm dummy; 
1675 #endif
1676
1677    assert(buf);
1678
1679    time(&current_time); /* get current time */
1680
1681    current_time += time_offset;
1682
1683    /* get and save the gmt */
1684    {
1685 #ifdef OSX_DARWIN
1686       pthread_mutex_lock(&gmtime_mutex);
1687       t = gmtime(&current_time);
1688       pthread_mutex_unlock(&gmtime_mutex);
1689 #elif HAVE_GMTIME_R
1690       t = gmtime_r(&current_time, &dummy);
1691 #else
1692       t = gmtime(&current_time);
1693 #endif
1694    }
1695
1696    /* Format: "Sun, 06 Nov 1994 08:49:37 GMT" */
1697    snprintf(buf, 30,
1698       "%s, %02d %s %4d %02d:%02d:%02d GMT",
1699       day_names[t->tm_wday],
1700       t->tm_mday,
1701       month_names[t->tm_mon],
1702       t->tm_year + 1900,
1703       t->tm_hour,
1704       t->tm_min,
1705       t->tm_sec
1706       );
1707
1708 }
1709
1710
1711 /*********************************************************************
1712  *
1713  * Function    :  finish_http_response
1714  *
1715  * Description :  Fill in the missing headers in an http response,
1716  *                and flatten the headers to an http head.
1717  *
1718  * Parameters  :
1719  *          1  :  rsp = pointer to http_response to be processed
1720  *
1721  * Returns     :  A http_response, usually the rsp parameter.
1722  *                On error, free()s rsp and returns cgi_error_memory()
1723  *
1724  *********************************************************************/
1725 struct http_response *finish_http_response(struct http_response *rsp)
1726 {
1727    char buf[BUFFER_SIZE];
1728    jb_err err;
1729
1730    /* Special case - do NOT change this statically allocated response,
1731     * which is ready for output anyway.
1732     */
1733    if (rsp == cgi_error_memory_response)
1734    {
1735       return rsp;
1736    }
1737
1738    /* 
1739     * Fill in the HTTP Status
1740     */
1741    sprintf(buf, "HTTP/1.0 %s", rsp->status ? rsp->status : "200 OK");
1742    err = enlist_first(rsp->headers, buf);
1743
1744    /* 
1745     * Set the Content-Length
1746     */
1747    if (rsp->content_length == 0)
1748    {
1749       rsp->content_length = rsp->body ? strlen(rsp->body) : 0;
1750    }
1751    if (!err)
1752    {
1753       sprintf(buf, "Content-Length: %d", (int)rsp->content_length);
1754       err = enlist(rsp->headers, buf);
1755    }
1756
1757    /* 
1758     * Fill in the default headers:
1759     *
1760     * Content-Type: default to text/html if not already specified.
1761     * Date: set to current date/time.
1762     * Last-Modified: set to date/time the page was last changed.
1763     * Expires: set to date/time page next needs reloading.
1764     * Cache-Control: set to "no-cache" if applicable.
1765     * 
1766     * See http://www.w3.org/Protocols/rfc2068/rfc2068
1767     */
1768    if (!err) err = enlist_unique(rsp->headers, "Content-Type: text/html", 13);
1769
1770    if (rsp->is_static)
1771    {
1772       /*
1773        * Set Expires to about 10 min into the future so it'll get reloaded
1774        * occasionally, e.g. if Privoxy gets upgraded.
1775        */
1776
1777       if (!err)
1778       {
1779          get_http_time(0, buf);
1780          err = enlist_unique_header(rsp->headers, "Date", buf);
1781       }
1782
1783       /* Some date in the past. */
1784       if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", "Sat, 17 Jun 2000 12:00:00 GMT");
1785
1786       if (!err)
1787       {
1788          get_http_time(10 * 60, buf); /* 10 * 60sec = 10 minutes */
1789          err = enlist_unique_header(rsp->headers, "Expires", buf);
1790       }
1791    }
1792    else
1793    {
1794       /*
1795        * Setting "Cache-Control" to "no-cache" and  "Expires" to
1796        * the current time doesn't exactly forbid caching, it just
1797        * requires the client to revalidate the cached copy.
1798        *
1799        * If a temporary problem occurres and the user tries again after
1800        * getting Privoxy's error message, a compliant browser may set the
1801        * If-Modified-Since header with the content of the error page's
1802        * Last-Modified header. More often than not, the document on the server
1803        * is older than Privoxy's error message, the server would send status code
1804        * 304 and the browser would display the outdated error message again and again.
1805        *
1806        * As a last resort we set "Last-Modified" to Tim Berners-Lee's birthday,
1807        * which predates the age of any page on the web and can be safely used to
1808        * "revalidate" without getting a status code 304.
1809        *
1810        * There is no need to let the useless If-Modified-Since header reach the
1811        * server, it is therefore stripped by client_if_modified_since in parsers.c.
1812        */
1813       if (!err) err = enlist_unique_header(rsp->headers, "Cache-Control", "no-cache");
1814
1815       get_http_time(0, buf);
1816       if (!err) err = enlist_unique_header(rsp->headers, "Date", buf);
1817       if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", "Wed, 08 Jun 1955 12:00:00 GMT");
1818       if (!err) err = enlist_unique_header(rsp->headers, "Expires", "Sat, 17 Jun 2000 12:00:00 GMT");
1819       if (!err) err = enlist_unique_header(rsp->headers, "Pragma", "no-cache");
1820    }
1821
1822
1823    /* 
1824     * Write the head
1825     */
1826    if (err || (NULL == (rsp->head = list_to_text(rsp->headers))))
1827    {
1828       free_http_response(rsp);
1829       return cgi_error_memory();
1830    }
1831    rsp->head_length = strlen(rsp->head);
1832
1833    return rsp;
1834
1835 }
1836
1837
1838 /*********************************************************************
1839  *
1840  * Function    :  alloc_http_response
1841  *
1842  * Description :  Allocates a new http_response structure.
1843  *
1844  * Parameters  :  N/A
1845  *
1846  * Returns     :  pointer to a new http_response, or NULL.
1847  *
1848  *********************************************************************/
1849 struct http_response *alloc_http_response(void)
1850 {
1851    return (struct http_response *) zalloc(sizeof(struct http_response));
1852
1853 }
1854
1855
1856 /*********************************************************************
1857  *
1858  * Function    :  free_http_response
1859  *
1860  * Description :  Free the memory occupied by an http_response
1861  *                and its depandant structures.
1862  *
1863  * Parameters  :
1864  *          1  :  rsp = pointer to http_response to be freed
1865  *
1866  * Returns     :  N/A
1867  *
1868  *********************************************************************/
1869 void free_http_response(struct http_response *rsp)
1870 {
1871    /*
1872     * Must special case cgi_error_memory_response, which is never freed.
1873     */
1874    if (rsp && (rsp != cgi_error_memory_response))
1875    {
1876       freez(rsp->status);
1877       freez(rsp->head);
1878       freez(rsp->body);
1879       destroy_list(rsp->headers);
1880       free(rsp);
1881    }
1882
1883 }
1884
1885
1886 /*********************************************************************
1887  *
1888  * Function    :  template_load
1889  *
1890  * Description :  CGI support function that loads a given HTML
1891  *                template from the confdir, ignoring comment
1892  *                lines and following #include statements up to
1893  *                a depth of 1.
1894  *
1895  * Parameters  :
1896  *          1  :  csp = Current client state (buffers, headers, etc...)
1897  *          2  :  template_ptr = Destination for pointer to loaded
1898  *                               template text.
1899  *          3  :  templatename = name of the HTML template to be used
1900  *          4  :  recursive = Flag set if this function calls itself
1901  *                            following an #include statament
1902  *
1903  * Returns     :  JB_ERR_OK on success
1904  *                JB_ERR_MEMORY on out-of-memory error.  
1905  *                JB_ERR_FILE if the template file cannot be read
1906  *
1907  *********************************************************************/
1908 jb_err template_load(struct client_state *csp, char **template_ptr, 
1909                      const char *templatename, int recursive)
1910 {
1911    jb_err err;
1912    char *templates_dir_path;
1913    char *full_path;
1914    char *file_buffer;
1915    char *included_module;
1916    const char *p;
1917    FILE *fp;
1918    char buf[BUFFER_SIZE];
1919
1920    assert(csp);
1921    assert(template_ptr);
1922    assert(templatename);
1923
1924    *template_ptr = NULL;
1925
1926    /* Validate template name.  Paranoia. */
1927    for (p = templatename; *p != 0; p++)
1928    {
1929       if ( ((*p < 'a') || (*p > 'z'))
1930         && ((*p < 'A') || (*p > 'Z'))
1931         && ((*p < '0') || (*p > '9'))
1932         && (*p != '-')
1933         && (*p != '.'))
1934       {
1935          /* Illegal character */
1936          return JB_ERR_FILE;
1937       }
1938    }
1939
1940    /* Generate full path */
1941
1942    templates_dir_path = make_path(csp->config->confdir, "templates");
1943    if (templates_dir_path == NULL)
1944    {
1945       return JB_ERR_MEMORY;
1946    }
1947
1948    full_path = make_path(templates_dir_path, templatename);
1949    free(templates_dir_path);
1950    if (full_path == NULL)
1951    {
1952       return JB_ERR_MEMORY;
1953    }
1954
1955    /* Allocate buffer */
1956
1957    file_buffer = strdup("");
1958    if (file_buffer == NULL)
1959    {
1960       free(full_path);
1961       return JB_ERR_MEMORY;
1962    }
1963
1964    /* Open template file */
1965
1966    if (NULL == (fp = fopen(full_path, "r")))
1967    {
1968       log_error(LOG_LEVEL_ERROR, "Cannot open template file %s: %E", full_path);
1969       free(full_path);
1970       free(file_buffer);
1971       return JB_ERR_FILE;
1972    }
1973    free(full_path);
1974
1975    /* 
1976     * Read the file, ignoring comments, and honoring #include
1977     * statements, unless we're already called recursively.
1978     *
1979     * FIXME: The comment handling could break with lines >BUFFER_SIZE long.
1980     *        This is unlikely in practise.
1981     */
1982    while (fgets(buf, BUFFER_SIZE, fp))
1983    {
1984       if (!recursive && !strncmp(buf, "#include ", 9))
1985       {
1986          if (JB_ERR_OK != (err = template_load(csp, &included_module, chomp(buf + 9), 1)))
1987          {
1988             free(file_buffer);
1989             fclose(fp);
1990             return err;
1991          }
1992
1993          if (string_join(&file_buffer, included_module))
1994          {
1995             fclose(fp);
1996             return JB_ERR_MEMORY;
1997          }
1998
1999          continue;
2000       }
2001
2002       /* skip lines starting with '#' */
2003       if (*buf == '#')
2004       {
2005          continue;
2006       }
2007
2008       if (string_append(&file_buffer, buf))
2009       {
2010          fclose(fp);
2011          return JB_ERR_MEMORY;
2012       }
2013    }
2014    fclose(fp);
2015
2016    *template_ptr = file_buffer;
2017
2018    return JB_ERR_OK;
2019 }
2020
2021
2022 /*********************************************************************
2023  *
2024  * Function    :  template_fill
2025  *
2026  * Description :  CGI support function that fills in a pre-loaded
2027  *                HTML template by replacing @name@ with value using
2028  *                pcrs, for each item in the output map.
2029  *
2030  *                Note that a leading '$' charachter in the export map's
2031  *                values will be stripped and toggle on backreference
2032  *                interpretation.
2033  *
2034  * Parameters  :
2035  *          1  :  template_ptr = IN: Template to be filled out.
2036  *                                   Will be free()d.
2037  *                               OUT: Filled out template.
2038  *                                    Caller must free().
2039  *          2  :  exports = map with fill in symbol -> name pairs
2040  *
2041  * Returns     :  JB_ERR_OK on success
2042  *                JB_ERR_MEMORY on out-of-memory error
2043  *
2044  *********************************************************************/
2045 jb_err template_fill(char **template_ptr, const struct map *exports)
2046 {
2047    struct map_entry *m;
2048    pcrs_job *job;
2049    char buf[BUFFER_SIZE];
2050    char *tmp_out_buffer;
2051    char *file_buffer;
2052    size_t  size;
2053    int error;
2054    const char *flags;
2055
2056    assert(template_ptr);
2057    assert(*template_ptr);
2058    assert(exports);
2059
2060    file_buffer = *template_ptr;
2061    size = strlen(file_buffer) + 1;
2062
2063    /* 
2064     * Assemble pcrs joblist from exports map
2065     */
2066    for (m = exports->first; m != NULL; m = m->next)
2067    {
2068       if (*m->name == '$')
2069       {
2070          /*
2071           * First character of name is '$', so remove this flag
2072           * character and allow backreferences ($1 etc) in the
2073           * "replace with" text.
2074           */
2075          snprintf(buf, BUFFER_SIZE, "%s", m->name + 1);
2076          flags = "sigU";
2077       }
2078       else
2079       {
2080          /*
2081           * Treat the "replace with" text as a literal string - 
2082           * no quoting needed, no backreferences allowed.
2083           * ("Trivial" ['T'] flag).
2084           */
2085          flags = "sigTU";
2086
2087          /* Enclose name in @@ */
2088          snprintf(buf, BUFFER_SIZE, "@%s@", m->name);
2089       }
2090
2091
2092       log_error(LOG_LEVEL_CGI, "Substituting: s/%s/%s/%s", buf, m->value, flags);
2093
2094       /* Make and run job. */
2095       job = pcrs_compile(buf, m->value, flags,  &error);
2096       if (job == NULL) 
2097       {
2098          if (error == PCRS_ERR_NOMEM)
2099          {
2100             free(file_buffer);
2101             *template_ptr = NULL;
2102             return JB_ERR_MEMORY;
2103          }
2104          else
2105          {
2106             log_error(LOG_LEVEL_ERROR, "Error compiling template fill job %s: %d", m->name, error);
2107             /* Hope it wasn't important and silently ignore the invalid job */
2108          }
2109       }
2110       else
2111       {
2112          pcrs_execute(job, file_buffer, size, &tmp_out_buffer, &size);
2113          free(file_buffer);
2114          pcrs_free_job(job);
2115          if (NULL == tmp_out_buffer)
2116          {
2117             *template_ptr = NULL;
2118             return JB_ERR_MEMORY;
2119          }
2120          file_buffer = tmp_out_buffer;
2121       }
2122    }
2123
2124    /*
2125     * Return
2126     */
2127    *template_ptr = file_buffer;
2128    return JB_ERR_OK;
2129 }
2130
2131
2132 /*********************************************************************
2133  *
2134  * Function    :  template_fill_for_cgi
2135  *
2136  * Description :  CGI support function that loads a HTML template
2137  *                and fills it in.  Handles file-not-found errors
2138  *                by sending a HTML error message.  For convenience,
2139  *                this function also frees the passed "exports" map.
2140  *
2141  * Parameters  :
2142  *          1  :  csp = Client state
2143  *          2  :  templatename = name of the HTML template to be used
2144  *          3  :  exports = map with fill in symbol -> name pairs.
2145  *                          Will be freed by this function.
2146  *          4  :  rsp = Response structure to fill in.
2147  *
2148  * Returns     :  JB_ERR_OK on success
2149  *                JB_ERR_MEMORY on out-of-memory error
2150  *
2151  *********************************************************************/
2152 jb_err template_fill_for_cgi(struct client_state *csp,
2153                              const char *templatename,
2154                              struct map *exports,
2155                              struct http_response *rsp)
2156 {
2157    jb_err err;
2158    
2159    assert(csp);
2160    assert(templatename);
2161    assert(exports);
2162    assert(rsp);
2163
2164    err = template_load(csp, &rsp->body, templatename, 0);
2165    if (err == JB_ERR_FILE)
2166    {
2167       free_map(exports);
2168       return cgi_error_no_template(csp, rsp, templatename);
2169    }
2170    else if (err)
2171    {
2172       free_map(exports);
2173       return err; /* JB_ERR_MEMORY */
2174    }
2175    err = template_fill(&rsp->body, exports);
2176    free_map(exports);
2177    return err;
2178 }
2179
2180
2181 /*********************************************************************
2182  *
2183  * Function    :  default_exports
2184  *
2185  * Description :  returns a struct map list that contains exports
2186  *                which are common to all CGI functions.
2187  *
2188  * Parameters  :
2189  *          1  :  csp = Current client state (buffers, headers, etc...)
2190  *          2  :  caller = name of CGI who calls us and which should
2191  *                         be excluded from the generated menu. May be
2192  *                         NULL.
2193  * Returns     :  NULL if no memory, else a new map.  Caller frees.
2194  *
2195  *********************************************************************/
2196 struct map *default_exports(const struct client_state *csp, const char *caller)
2197 {
2198    char buf[20];
2199    jb_err err;
2200    struct map * exports;
2201    int local_help_exists = 0;
2202
2203    assert(csp);
2204
2205    exports = new_map();
2206    if (exports == NULL)
2207    {
2208       return NULL;
2209    }
2210
2211    err = map(exports, "version", 1, html_encode(VERSION), 0);
2212    if (!err) err = map(exports, "my-ip-address", 1, html_encode(csp->my_ip_addr_str ? csp->my_ip_addr_str : "unknown"), 0);
2213    if (!err) err = map(exports, "my-hostname",   1, html_encode(csp->my_hostname ? csp->my_hostname : "unknown"), 0);
2214    if (!err) err = map(exports, "homepage",      1, html_encode(HOME_PAGE_URL), 0);
2215    if (!err) err = map(exports, "default-cgi",   1, html_encode(CGI_PREFIX), 0);
2216    if (!err) err = map(exports, "menu",          1, make_menu(caller), 0);
2217    if (!err) err = map(exports, "code-status",   1, CODE_STATUS, 1);
2218    if (!strncmpic(csp->config->usermanual, "file://", 7) ||
2219        !strncmpic(csp->config->usermanual, "http", 4))
2220    {
2221       if (!err) err = map(exports, "user-manual", 1, csp->config->usermanual ,1);
2222    }
2223    else
2224    {
2225       if (!err) err = map(exports, "user-manual", 1, "http://"CGI_SITE_2_HOST"/user-manual/" ,1);
2226    }
2227    if (!err) err = map(exports, "actions-help-prefix", 1, ACTIONS_HELP_PREFIX ,1);
2228 #ifdef FEATURE_TOGGLE
2229    if (!err) err = map_conditional(exports, "enabled-display", global_toggle_state);
2230 #else
2231    if (!err) err = map_block_killer(exports, "can-toggle");
2232 #endif
2233
2234    snprintf(buf, 20, "%d", csp->config->hport);
2235    if (!err) err = map(exports, "my-port", 1, buf, 1);
2236
2237    if(!strcmp(CODE_STATUS, "stable"))
2238    {
2239       if (!err) err = map_block_killer(exports, "unstable");
2240    }
2241
2242    if (csp->config->admin_address != NULL)
2243    {
2244       if (!err) err = map(exports, "admin-address", 1, html_encode(csp->config->admin_address), 0);
2245       local_help_exists = 1;
2246    }
2247    else
2248    {
2249       if (!err) err = map_block_killer(exports, "have-adminaddr-info");
2250    }
2251
2252    if (csp->config->proxy_info_url != NULL)
2253    {
2254       if (!err) err = map(exports, "proxy-info-url", 1, html_encode(csp->config->proxy_info_url), 0);
2255       local_help_exists = 1;
2256    }
2257    else
2258    {
2259       if (!err) err = map_block_killer(exports, "have-proxy-info");
2260    }
2261
2262    if (local_help_exists == 0)
2263    {
2264       if (!err) err = map_block_killer(exports, "have-help-info");
2265    }
2266
2267    if (err)
2268    {
2269       free_map(exports);
2270       return NULL;
2271    }
2272
2273    return exports;
2274 }
2275
2276
2277 /*********************************************************************
2278  *
2279  * Function    :  map_block_killer
2280  *
2281  * Description :  Convenience function.
2282  *                Adds a "killer" for the conditional HTML-template
2283  *                block <name>, i.e. a substitution of the regex
2284  *                "if-<name>-start.*if-<name>-end" to the given
2285  *                export list.
2286  *
2287  * Parameters  :  
2288  *          1  :  exports = map to extend
2289  *          2  :  name = name of conditional block
2290  *
2291  * Returns     :  JB_ERR_OK on success
2292  *                JB_ERR_MEMORY on out-of-memory error.  
2293  *
2294  *********************************************************************/
2295 jb_err map_block_killer(struct map *exports, const char *name)
2296 {
2297    char buf[1000]; /* Will do, since the names are hardwired */
2298
2299    assert(exports);
2300    assert(name);
2301    assert(strlen(name) < 490);
2302
2303    snprintf(buf, 1000, "if-%s-start.*if-%s-end", name, name);
2304    return map(exports, buf, 1, "", 1);
2305 }
2306
2307
2308 /*********************************************************************
2309  *
2310  * Function    :  map_block_keep
2311  *
2312  * Description :  Convenience function.  Removes the markers used
2313  *                by map-block-killer, to save a few bytes.
2314  *                i.e. removes "@if-<name>-start@" and "@if-<name>-end@"
2315  *
2316  * Parameters  :  
2317  *          1  :  exports = map to extend
2318  *          2  :  name = name of conditional block
2319  *
2320  * Returns     :  JB_ERR_OK on success
2321  *                JB_ERR_MEMORY on out-of-memory error.  
2322  *
2323  *********************************************************************/
2324 jb_err map_block_keep(struct map *exports, const char *name)
2325 {
2326    jb_err err;
2327    char buf[500]; /* Will do, since the names are hardwired */
2328
2329    assert(exports);
2330    assert(name);
2331    assert(strlen(name) < 490);
2332
2333    snprintf(buf, 500, "if-%s-start", name);
2334    err = map(exports, buf, 1, "", 1);
2335
2336    if (err)
2337    {
2338       return err;
2339    }
2340
2341    snprintf(buf, 500, "if-%s-end", name);
2342    return map(exports, buf, 1, "", 1);
2343 }
2344
2345
2346 /*********************************************************************
2347  *
2348  * Function    :  map_conditional
2349  *
2350  * Description :  Convenience function.
2351  *                Adds an "if-then-else" for the conditional HTML-template
2352  *                block <name>, i.e. a substitution of the form:
2353  *                @if-<name>-then@
2354  *                   True text
2355  *                @else-not-<name>@
2356  *                   False text
2357  *                @endif-<name>@
2358  *
2359  *                The control structure and one of the alternatives
2360  *                will be hidden.
2361  *
2362  * Parameters  :  
2363  *          1  :  exports = map to extend
2364  *          2  :  name = name of conditional block
2365  *          3  :  choose_first = nonzero for first, zero for second.
2366  *
2367  * Returns     :  JB_ERR_OK on success
2368  *                JB_ERR_MEMORY on out-of-memory error.  
2369  *
2370  *********************************************************************/
2371 jb_err map_conditional(struct map *exports, const char *name, int choose_first)
2372 {
2373    char buf[1000]; /* Will do, since the names are hardwired */
2374    jb_err err;
2375
2376    assert(exports);
2377    assert(name);
2378    assert(strlen(name) < 480);
2379
2380    snprintf(buf, 1000, (choose_first
2381       ? "else-not-%s@.*@endif-%s"
2382       : "if-%s-then@.*@else-not-%s"),
2383       name, name);
2384
2385    err = map(exports, buf, 1, "", 1);
2386    if (err)
2387    {
2388       return err;
2389    }
2390
2391    snprintf(buf, 1000, (choose_first ? "if-%s-then" : "endif-%s"), name);
2392    return map(exports, buf, 1, "", 1);
2393 }
2394
2395
2396 /*********************************************************************
2397  *
2398  * Function    :  make_menu
2399  *
2400  * Description :  Returns an HTML-formatted menu of the available 
2401  *                unhidden CGIs, excluding the one given in <self>
2402  *
2403  * Parameters  :  self = name of CGI to leave out, can be NULL for
2404  *                complete listing.
2405  *
2406  * Returns     :  menu string, or NULL on out-of-memory error.
2407  *
2408  *********************************************************************/
2409 char *make_menu(const char *self)
2410 {
2411    const struct cgi_dispatcher *d;
2412    char *result = strdup("");
2413
2414    if (self == NULL)
2415    {
2416       self = "NO-SUCH-CGI!";
2417    }
2418
2419    /* List available unhidden CGI's and export as "other-cgis" */
2420    for (d = cgi_dispatchers; d->name; d++)
2421    {
2422       if (d->description && strcmp(d->name, self))
2423       {
2424          string_append(&result, "<li><a href=\"" CGI_PREFIX);
2425          string_append(&result, d->name);
2426          string_append(&result, "\">");
2427          string_append(&result, d->description);
2428          string_append(&result, "</a></li>");
2429       }
2430    }
2431
2432    return result;
2433 }
2434
2435
2436 /*********************************************************************
2437  *
2438  * Function    :  dump_map
2439  *
2440  * Description :  HTML-dump a map for debugging (as table)
2441  *
2442  * Parameters  :
2443  *          1  :  the_map = map to dump
2444  *
2445  * Returns     :  string with HTML
2446  *
2447  *********************************************************************/
2448 char *dump_map(const struct map *the_map)
2449 {
2450    struct map_entry *cur_entry;
2451    char *ret = strdup("");
2452
2453    string_append(&ret, "<table>\n");
2454
2455    for (cur_entry = the_map->first;
2456         (cur_entry != NULL) && (ret != NULL);
2457         cur_entry = cur_entry->next)
2458    {
2459       string_append(&ret, "<tr><td><b>");
2460       string_join  (&ret, html_encode(cur_entry->name));
2461       string_append(&ret, "</b></td><td>");
2462       string_join  (&ret, html_encode(cur_entry->value));
2463       string_append(&ret, "</td></tr>\n");
2464    }
2465
2466    string_append(&ret, "</table>\n");
2467    return ret;
2468 }
2469
2470
2471 /*
2472   Local Variables:
2473   tab-width: 3
2474   end:
2475 */