Suppress edit buttons for action files if Privoxy has
[privoxy.git] / cgi.c
1 const char cgi_rcs[] = "$Id: cgi.c,v 1.85 2007/01/05 14:19:02 fabiankeil Exp $";
2 /*********************************************************************
3  *
4  * File        :  $Source: /cvsroot/ijbswa/current/cgi.c,v $
5  *
6  * Purpose     :  Declares functions to intercept request, generate
7  *                html or gif answers, and to compose HTTP resonses.
8  *                This only contains the framework functions, the
9  *                actual handler functions are declared elsewhere.
10  *                
11  *                Functions declared include:
12  * 
13  *
14  * Copyright   :  Written by and Copyright (C) 2001-2004, 2006
15  *                the SourceForge Privoxy team. http://www.privoxy.org/
16  *
17  *                Based on the Internet Junkbuster originally written
18  *                by and Copyright (C) 1997 Anonymous Coders and 
19  *                Junkbusters Corporation.  http://www.junkbusters.com
20  *
21  *                This program is free software; you can redistribute it 
22  *                and/or modify it under the terms of the GNU General
23  *                Public License as published by the Free Software
24  *                Foundation; either version 2 of the License, or (at
25  *                your option) any later version.
26  *
27  *                This program is distributed in the hope that it will
28  *                be useful, but WITHOUT ANY WARRANTY; without even the
29  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
30  *                PARTICULAR PURPOSE.  See the GNU General Public
31  *                License for more details.
32  *
33  *                The GNU General Public License should be included with
34  *                this file.  If not, you can view it at
35  *                http://www.gnu.org/copyleft/gpl.html
36  *                or write to the Free Software Foundation, Inc., 59
37  *                Temple Place - Suite 330, Boston, MA  02111-1307, USA.
38  *
39  * Revisions   :
40  *    $Log: cgi.c,v $
41  *    Revision 1.85  2007/01/05 14:19:02  fabiankeil
42  *    Handle pcrs_execute() errors in template_fill() properly.
43  *
44  *    Revision 1.84  2006/12/28 17:54:22  fabiankeil
45  *    Fixed gcc43 conversion warnings and replaced sprintf
46  *    calls with snprintf to give OpenBSD's gcc one less reason
47  *    to complain.
48  *
49  *    Revision 1.83  2006/12/17 19:35:19  fabiankeil
50  *    Escape ampersand in Privoxy menu.
51  *
52  *    Revision 1.82  2006/12/17 17:53:39  fabiankeil
53  *    Suppress the toggle link if remote toggling is disabled.
54  *
55  *    Revision 1.81  2006/12/09 13:49:16  fabiankeil
56  *    Fix configure option --disable-toggle.
57  *    Thanks to Peter Thoenen for reporting this.
58  *
59  *    Revision 1.80  2006/12/08 14:45:32  fabiankeil
60  *    Don't lose the FORCE_PREFIX in case of
61  *    connection problems. Fixes #612235.
62  *
63  *    Revision 1.79  2006/11/13 19:05:50  fabiankeil
64  *    Make pthread mutex locking more generic. Instead of
65  *    checking for OSX and OpenBSD, check for FEATURE_PTHREAD
66  *    and use mutex locking unless there is an _r function
67  *    available. Better safe than sorry.
68  *
69  *    Fixes "./configure --disable-pthread" and should result
70  *    in less threading-related problems on pthread-using platforms,
71  *    but it still doesn't fix BR#1122404.
72  *
73  *    Revision 1.78  2006/09/21 19:22:07  fabiankeil
74  *    Use CGI_PREFIX to check the referrer.
75  *    The check for "http://config.privoxy.org/" fails
76  *    if the user modified CGI_SITE_2_HOST.
77  *
78  *    Revision 1.77  2006/09/21 15:17:23  fabiankeil
79  *    Adjusted headers for Privoxy's cgi responses:
80  *    Don't set Last-Modified, Expires and Cache-Control
81  *    headers for redirects; always set "Connection: close".
82  *
83  *    Revision 1.76  2006/09/07 14:06:38  fabiankeil
84  *    Only predate the Last-Modified header for cgi responses
85  *    that are delivered with status code 404 or 503.
86  *
87  *    Revision 1.75  2006/09/07 11:56:39  fabiankeil
88  *    Mark cgi_send_user_manual as harmless,
89  *    to fix the access denied problem Hal spotted.
90  *    The manual has no secret content, therefore we
91  *    don't have to care about "secure" referrers.
92  *
93  *    Revision 1.74  2006/09/06 18:45:03  fabiankeil
94  *    Incorporate modified version of Roland Rosenfeld's patch to
95  *    optionally access the user-manual via Privoxy. Closes patch 679075.
96  *
97  *    Formatting changed to Privoxy style, added call to
98  *    cgi_error_no_template if the requested file doesn't
99  *    exist and modified check whether or not Privoxy itself
100  *    should serve the manual. Should work cross-platform now.
101  *
102  *    Revision 1.73  2006/08/03 02:46:41  david__schmidt
103  *    Incorporate Fabian Keil's patch work:\rhttp://www.fabiankeil.de/sourcecode/privoxy/
104  *
105  *    Revision 1.72  2006/07/18 14:48:45  david__schmidt
106  *    Reorganizing the repository: swapping out what was HEAD (the old 3.1 branch)
107  *    with what was really the latest development (the v_3_0_branch branch)
108  *
109  *    Revision 1.70.2.13  2004/02/17 13:30:23  oes
110  *    Moved cgi_error_disabled() from cgiedit.c to
111  *    cgi.c to re-enable build with --disable-editor.
112  *    Fixes Bug #892744. Thanks to Matthew Fischer
113  *    for spotting.
114  *
115  *    Revision 1.70.2.12  2003/12/17 16:33:16  oes
116  *     - Added new function cgi_redirect to handle creation of
117  *       HTTP redirect messages formerly repeated in the code.
118  *     - Send cgi_error_disabled instead of cgi_error_404 when
119  *       referrer check fails
120  *     - Dynamic content now gets Expires header field with date
121  *       in the past
122  *
123  *    Revision 1.70.2.11  2003/10/23 12:29:26  oes
124  *    Bugfix: Transparent PNG was not transparent. Thanks to
125  *    Dan Razzell of Starfish Systems for notice and new PNG.
126  *
127  *    Revision 1.70.2.10  2003/06/06 07:54:25  oes
128  *    Security fix: dspatch_known_cgi no longer considers an empty
129  *    referrer safe for critical CGIs, since malicious links could
130  *    reside on https:// locations which browsers don't advertize as
131  *    referrers. Closes bug #749916, thanks to Jeff Epler for the
132  *    hint. Goodbye One-Click[tm] toggling :-(
133  *
134  *    Revision 1.70.2.9  2003/05/08 15:11:31  oes
135  *    Nit
136  *
137  *    Revision 1.70.2.8  2003/04/29 13:33:51  oes
138  *    Killed a compiler warning on OSX
139  *
140  *    Revision 1.70.2.7  2003/04/03 13:50:58  oes
141  *    - Don't call cgi_error_disabled ifndef FEATURE_CGI_EDIT_ACTIONS
142  *      (fixes bug #710056)
143  *    - Show toggle info only if we have it
144  *
145  *    Revision 1.70.2.6  2003/03/12 01:26:25  david__schmidt
146  *    Move declaration of struct tm dummy outside of a control block so it is
147  *    accessible later on during snprintf in get_http_time.
148  *
149  *    Revision 1.70.2.5  2003/03/11 11:53:58  oes
150  *    Cosmetic: Renamed cryptic variable
151  *
152  *    Revision 1.70.2.4  2003/03/07 03:41:03  david__schmidt
153  *    Wrapping all *_r functions (the non-_r versions of them) with mutex semaphores for OSX.  Hopefully this will take care of all of those pesky crash reports.
154  *
155  *    Revision 1.70.2.3  2002/11/28 18:14:32  oes
156  *    Disable access to critical CGIs via untrusted referrers.
157  *    This prevents users from being tricked by malicious websites
158  *    into making unintentional configuration changes:
159  *
160  *     - Added flag to each cgi_dispatcher that allows or denies
161  *       external linking
162  *     - Introduced proviorical function that greps for the
163  *       referrer header before regular header parsing happens
164  *     - Added safety check to dispatch_known_cgi. CGI is called
165  *       if (cgi harmless || no referrer || we are referrer).
166  *       Else a) toggle calls are modified not to change status and
167  *       b) all other calls are denied.
168  *
169  *    Revision 1.70.2.2  2002/11/12 16:20:37  oes
170  *    Added missing #ifdef FEATURE_TOGGLE around g_bToggleIJB; fixes bug #636651
171  *
172  *    Revision 1.70.2.1  2002/08/05 11:17:46  oes
173  *    Fixed Bug #587820, i.e. added workaround for IE bug that includes fragment identifier in (cgi) query
174  *
175  *    Revision 1.70  2002/05/19 11:33:20  jongfoster
176  *    If a CGI error was not handled, and propogated back to
177  *    dispatch_known_cgi(), then it was assumed to be "out of memory".
178  *    This gave a very misleading error message.
179  *
180  *    Now other errors will cause a simple message giving the error
181  *    number and asking the user to report a bug.
182  *
183  *    Bug report:
184  *    http://sourceforge.net/tracker/index.php?func=detail
185  *    &aid=557905&group_id=11118&atid=111118
186  *
187  *    Revision 1.69  2002/05/14 21:28:40  oes
188  *     - Fixed add_help_link to link to the (now split) actions
189  *       part of the config chapter
190  *     - Renamed helplink export to actions-help-prefix
191  *
192  *    Revision 1.68  2002/05/12 21:36:29  jongfoster
193  *    Correcting function comments
194  *
195  *    Revision 1.67  2002/04/30 12:02:07  oes
196  *    Nit: updated a comment
197  *
198  *    Revision 1.66  2002/04/26 18:32:57  jongfoster
199  *    Fixing a memory leak on error
200  *
201  *    Revision 1.65  2002/04/26 12:53:51  oes
202  *     - New function add_help_link
203  *     - default_exports now exports links to the user manual
204  *       and a prefix for links into the config chapter
205  *
206  *    Revision 1.64  2002/04/24 02:17:21  oes
207  *     - Better descriptions for CGIs
208  *     - Hide edit-actions, more shortcuts
209  *     - Moved get_char_param, get_string_param and get_number_param here
210  *       from cgiedit.c
211  *
212  *    Revision 1.63  2002/04/15 19:06:43  jongfoster
213  *    Typos
214  *
215  *    Revision 1.62  2002/04/10 19:59:46  jongfoster
216  *    Fixes to #include in templates:
217  *    - Didn't close main file if loading an included template fails.
218  *    - I'm paranoid and want to disallow "#include /etc/passwd".
219  *
220  *    Revision 1.61  2002/04/10 13:37:48  oes
221  *    Made templates modular: template_load now recursive with max depth 1
222  *
223  *    Revision 1.60  2002/04/08 20:50:25  swa
224  *    fixed JB spelling
225  *
226  *    Revision 1.59  2002/04/05 15:51:51  oes
227  *     - added send-stylesheet CGI
228  *     - bugfix: error-pages now get correct request protocol
229  *     - fixed
230  *     - kludged CGI descriptions and menu not to break JS syntax
231  *
232  *    Revision 1.58  2002/03/29 03:33:13  david__schmidt
233  *    Fix Mac OSX compiler warnings
234  *
235  *    Revision 1.57  2002/03/26 22:29:54  swa
236  *    we have a new homepage!
237  *
238  *    Revision 1.56  2002/03/24 17:50:46  jongfoster
239  *    Fixing compile error if actions file editor disabled
240  *
241  *    Revision 1.55  2002/03/24 16:55:06  oes
242  *    Making GIF checkerboard transparent
243  *
244  *    Revision 1.54  2002/03/24 16:18:15  jongfoster
245  *    Removing old logo
246  *
247  *    Revision 1.53  2002/03/24 16:06:00  oes
248  *    Correct transparency for checkerboard PNG. Thanks, Magnus!
249  *
250  *    Revision 1.52  2002/03/24 15:23:33  jongfoster
251  *    Name changes
252  *
253  *    Revision 1.51  2002/03/24 13:25:43  swa
254  *    name change related issues
255  *
256  *    Revision 1.50  2002/03/16 23:54:06  jongfoster
257  *    Adding graceful termination feature, to help look for memory leaks.
258  *    If you enable this (which, by design, has to be done by hand
259  *    editing config.h) and then go to http://i.j.b/die, then the program
260  *    will exit cleanly after the *next* request.  It should free all the
261  *    memory that was used.
262  *
263  *    Revision 1.49  2002/03/13 00:27:04  jongfoster
264  *    Killing warnings
265  *
266  *    Revision 1.48  2002/03/08 17:47:07  jongfoster
267  *    Adding comments
268  *
269  *    Revision 1.47  2002/03/08 16:41:33  oes
270  *    Added GIF images again
271  *
272  *    Revision 1.46  2002/03/07 03:48:38  oes
273  *     - Changed built-in images from GIF to PNG
274  *       (with regard to Unisys patent issue)
275  *     - Added a 4x4 pattern PNG which is less intrusive
276  *       than the logo but also clearly marks the deleted banners
277  *
278  *    Revision 1.45  2002/03/06 22:54:35  jongfoster
279  *    Automated function-comment nitpicking.
280  *
281  *    Revision 1.44  2002/03/05 22:43:45  david__schmidt
282  *    - Better error reporting on OS/2
283  *    - Fix double-slash comment (oops)
284  *
285  *    Revision 1.43  2002/03/05 21:33:45  david__schmidt
286  *    - Re-enable OS/2 building after new parms were added
287  *    - Fix false out of memory report when resolving CGI templates when no IP
288  *      address is available of failed attempt (a la no such domain)
289  *
290  *    Revision 1.42  2002/01/21 00:33:20  jongfoster
291  *    Replacing strsav() with the safer string_append() or string_join().
292  *    Adding map_block_keep() to save a few bytes in the edit-actions-list HTML.
293  *    Adding missing html_encode() to error message generators.
294  *    Adding edit-actions-section-swap and many "shortcuts" to the list of CGIs.
295  *
296  *    Revision 1.41  2002/01/17 20:56:22  jongfoster
297  *    Replacing hard references to the URL of the config interface
298  *    with #defines from project.h
299  *
300  *    Revision 1.40  2002/01/09 14:26:46  oes
301  *    Added support for thread-safe gmtime_r call.
302  *
303  *    Revision 1.39  2001/11/16 00:48:13  jongfoster
304  *    Fixing a compiler warning
305  *
306  *    Revision 1.38  2001/11/13 00:31:21  jongfoster
307  *    - Adding new CGIs for use by non-JavaScript browsers:
308  *        edit-actions-url-form
309  *        edit-actions-add-url-form
310  *        edit-actions-remove-url-form
311  *    - Fixing make_menu()'s HTML generation - it now quotes the href parameter.
312  *    - Fixing || bug.
313  *
314  *    Revision 1.37  2001/11/01 14:28:47  david__schmidt
315  *    Show enablement/disablement status in almost all templates.
316  *    There is a little trickiness here: apparent recursive resolution of
317  *    @if-enabled-then@ caused the toggle template to show status out-of-phase with
318  *    the actual enablement status.  So a similar construct,
319  *    @if-enabled-display-then@, is used to resolve the status display on non-'toggle'
320  *    templates.
321  *
322  *    Revision 1.36  2001/10/26 17:33:27  oes
323  *    marginal bugfix
324  *
325  *    Revision 1.35  2001/10/23 21:48:19  jongfoster
326  *    Cleaning up error handling in CGI functions - they now send back
327  *    a HTML error page and should never cause a FATAL error.  (Fixes one
328  *    potential source of "denial of service" attacks).
329  *
330  *    CGI actions file editor that works and is actually useful.
331  *
332  *    Ability to toggle Junkbuster remotely using a CGI call.
333  *
334  *    You can turn off both the above features in the main configuration
335  *    file, e.g. if you are running a multi-user proxy.
336  *
337  *    Revision 1.34  2001/10/18 22:22:09  david__schmidt
338  *    Only show "Local support" on templates conditionally:
339  *      - if either 'admin-address' or 'proxy-info-url' are uncommented in config
340  *      - if not, no Local support section appears
341  *
342  *    Revision 1.33  2001/10/14 22:28:41  jongfoster
343  *    Fixing stupid typo.
344  *
345  *    Revision 1.32  2001/10/14 22:20:18  jongfoster
346  *    - Changes to CGI dispatching method to match CGI names exactly,
347  *      rather than doing a prefix match.
348  *    - No longer need to count the length of the CGI handler names by hand.
349  *    - Adding new handler for 404 error when disptching a CGI, if none of
350  *      the handlers match.
351  *    - Adding new handlers for CGI actionsfile editor.
352  *
353  *    Revision 1.31  2001/10/10 10:56:39  oes
354  *    Failiure to load template now fatal. Before, the user got a hard-to-understand assertion failure from cgi.c
355  *
356  *    Revision 1.30  2001/10/02 15:30:57  oes
357  *    Introduced show-request cgi
358  *
359  *    Revision 1.29  2001/09/20 15:47:44  steudten
360  *
361  *    Fix BUG: Modify int size to size_t size in fill_template()
362  *     - removes big trouble on machines where sizeof(int) != sizeof(size_t).
363  *
364  *    Revision 1.28  2001/09/19 18:00:37  oes
365  *     - Deletef time() FIXME (Can't fail under Linux either, if
366  *       the argument is guaranteed to be in out address space,
367  *       which it is.)
368  *     - Fixed comments
369  *     - Pointer notation cosmetics
370  *     - Fixed a minor bug in template_fill(): Failiure of
371  *       pcrs_execute() now secure.
372  *
373  *    Revision 1.27  2001/09/16 17:08:54  jongfoster
374  *    Moving simple CGI functions from cgi.c to new file cgisimple.c
375  *
376  *    Revision 1.26  2001/09/16 15:47:37  jongfoster
377  *    First version of CGI-based edit interface.  This is very much a
378  *    work-in-progress, and you can't actually use it to edit anything
379  *    yet.  You must #define FEATURE_CGI_EDIT_ACTIONS for these changes
380  *    to have any effect.
381  *
382  *    Revision 1.25  2001/09/16 15:02:35  jongfoster
383  *    Adding i.j.b/robots.txt.
384  *    Inlining add_stats() since it's only ever called from one place.
385  *
386  *    Revision 1.24  2001/09/16 11:38:01  jongfoster
387  *    Splitting fill_template() into 2 functions:
388  *    template_load() loads the file
389  *    template_fill() performs the PCRS regexps.
390  *    This is because the CGI edit interface has a "table row"
391  *    template which is used many times in the page - this
392  *    change means it's only loaded from disk once.
393  *
394  *    Revision 1.23  2001/09/16 11:16:05  jongfoster
395  *    Better error handling in dispatch_cgi() and parse_cgi_parameters()
396  *
397  *    Revision 1.22  2001/09/16 11:00:10  jongfoster
398  *    New function alloc_http_response, for symmetry with free_http_response
399  *
400  *    Revision 1.21  2001/09/13 23:53:03  jongfoster
401  *    Support for both static and dynamically generated CGI pages.
402  *    Correctly setting Last-Modified: and Expires: HTTP headers.
403  *
404  *    Revision 1.20  2001/09/13 23:40:36  jongfoster
405  *    (Cosmetic only) Indentation correction
406  *
407  *    Revision 1.19  2001/09/13 23:31:25  jongfoster
408  *    Moving image data to cgi.c rather than cgi.h.
409  *
410  *    Revision 1.18  2001/08/05 16:06:20  jongfoster
411  *    Modifiying "struct map" so that there are now separate header and
412  *    "map_entry" structures.  This means that functions which modify a
413  *    map no longer need to return a pointer to the modified map.
414  *    Also, it no longer reverses the order of the entries (which may be
415  *    important with some advanced template substitutions).
416  *
417  *    Revision 1.17  2001/08/05 15:57:38  oes
418  *    Adapted finish_http_response to new list_to_text
419  *
420  *    Revision 1.16  2001/08/01 21:33:18  jongfoster
421  *    Changes to fill_template() that reduce memory usage without having
422  *    an impact on performance.  I also renamed some variables so as not
423  *    to clash with the C++ keywords "new" and "template".
424  *
425  *    Revision 1.15  2001/08/01 21:19:22  jongfoster
426  *    Moving file version information to a separate CGI page.
427  *
428  *    Revision 1.14  2001/08/01 00:19:03  jongfoster
429  *    New function: map_conditional() for an if-then-else syntax.
430  *    Changing to use new version of show_defines()
431  *
432  *    Revision 1.13  2001/07/30 22:08:36  jongfoster
433  *    Tidying up #defines:
434  *    - All feature #defines are now of the form FEATURE_xxx
435  *    - Permanently turned off WIN_GUI_EDIT
436  *    - Permanently turned on WEBDAV and SPLIT_PROXY_ARGS
437  *
438  *    Revision 1.12  2001/07/29 18:47:05  jongfoster
439  *    Adding missing #include "loadcfg.h"
440  *
441  *    Revision 1.11  2001/07/18 17:24:37  oes
442  *    Changed to conform to new pcrs interface
443  *
444  *    Revision 1.10  2001/07/13 13:53:13  oes
445  *    Removed all #ifdef PCRS and related code
446  *
447  *    Revision 1.9  2001/06/29 21:45:41  oes
448  *    Indentation, CRLF->LF, Tab-> Space
449  *
450  *    Revision 1.8  2001/06/29 13:21:46  oes
451  *    - Cosmetics: renamed and reordered functions, variables,
452  *      texts, improved comments  etc
453  *
454  *    - Removed ij_untrusted_url() The relevant
455  *      info is now part of the "untrusted" page,
456  *      which is generated by filters.c:trust_url()
457  *
458  *    - Generators of content now call finish_http_response()
459  *      themselves, making jcc.c:chat() a little less
460  *      cluttered
461  *
462  *    - Removed obsolete "Pragma: no-cache" from our headers
463  *
464  *    - http_responses now know their head length
465  *
466  *    - fill_template now uses the new interface to pcrs, so that
467  *       - long jobs (like whole files) no longer have to be assembled
468  *         in a fixed size buffer
469  *       - the new T (trivial) option is used, and the replacement may
470  *         contain Perl syntax backrefs without confusing pcrs
471  *
472  *    - Introduced default_exports() which generates a set of exports
473  *      common to all CGIs and other content generators
474  *
475  *    - Introduced convenience function map_block_killer()
476  *
477  *    - Introduced convenience function make_menu()
478  *
479  *    - Introduced CGI-like function error_response() which generates
480  *      the "No such domain" and "Connect failed" messages using the
481  *      CGI platform
482  *
483  *    - cgi_show_url_info:
484  *      - adapted to new CGI features
485  *      - form and answers now generated from same template
486  *      - http:// prefix in URL now OK
487  *
488  *    - cgi_show_status:
489  *      - adapted to new CGI features
490  *      - no longer uses csp->init_proxy_args
491  *
492  *    - cgi_default:
493  *      - moved menu generation to make_menu()
494  *
495  *    - add_stats now writes single export map entries instead
496  *      of a fixed string
497  *
498  *    - Moved redirect_url() to filters.c
499  *
500  *    - Fixed mem leak in free_http_response(), map_block_killer(),
501  *
502  *    - Removed logentry from cancelled commit
503  *
504  *    Revision 1.7  2001/06/09 10:51:58  jongfoster
505  *    Changing "show URL info" handler to new style.
506  *    Changing BUFSIZ ==> BUFFER_SIZE
507  *
508  *    Revision 1.6  2001/06/07 23:05:19  jongfoster
509  *    Removing code related to old forward and ACL files.
510  *
511  *    Revision 1.5  2001/06/05 19:59:16  jongfoster
512  *    Fixing multiline character string (a GCC-only "feature"), and snprintf (it's _snprintf under VC++).
513  *
514  *    Revision 1.4  2001/06/04 10:41:52  swa
515  *    show version string of cgi.h and cgi.c
516  *
517  *    Revision 1.3  2001/06/03 19:12:16  oes
518  *    introduced new cgi handling
519  *
520  *    No revisions before 1.3
521  *
522  **********************************************************************/
523 \f
524
525 #include "config.h"
526
527 #include <stdio.h>
528 #include <sys/types.h>
529 #include <stdlib.h>
530 #include <ctype.h>
531 #include <string.h>
532 #include <limits.h>
533 #include <assert.h>
534
535 #ifdef _WIN32
536 #define snprintf _snprintf
537 #endif /* def _WIN32 */
538
539 #include "project.h"
540 #include "cgi.h"
541 #include "list.h"
542 #include "encode.h"
543 #include "ssplit.h"
544 #include "errlog.h"
545 #include "miscutil.h"
546 #include "cgisimple.h"
547 #ifdef FEATURE_CGI_EDIT_ACTIONS
548 #include "cgiedit.h"
549 #endif /* def FEATURE_CGI_EDIT_ACTIONS */
550 #include "loadcfg.h"
551 /* loadcfg.h is for global_toggle_state only */
552 #ifdef FEATURE_PTHREAD
553 #include "jcc.h"
554 /* jcc.h is for mutex semaphore globals only */
555 #endif /* def FEATURE_PTHREAD */
556 const char cgi_h_rcs[] = CGI_H_VERSION;
557
558 /*
559  * List of CGI functions: name, handler, description
560  * Note: Do NOT use single quotes in the description;
561  *       this will break the dynamic "blocked" template!
562  */
563 static const struct cgi_dispatcher cgi_dispatchers[] = {
564    { "",
565          cgi_default,
566          "Privoxy main page",
567          TRUE },
568 #ifdef FEATURE_GRACEFUL_TERMINATION
569    { "die", 
570          cgi_die,  
571          "<b>Shut down</b> - <em class=\"warning\">Do not deploy this build in a production environment, "
572         "this is a one click Denial Of Service attack!!!</em>",
573          FALSE }, 
574 #endif
575    { "show-status", 
576          cgi_show_status,  
577 #ifdef FEATURE_CGI_EDIT_ACTIONS
578         "View &amp; change the current configuration",
579 #else
580         "View the current configuration",
581 #endif
582          TRUE }, 
583    { "show-version", 
584          cgi_show_version,  
585          "View the source code version numbers",
586           TRUE }, 
587    { "show-request", 
588          cgi_show_request,  
589          "View the request headers.",
590          TRUE }, 
591    { "show-url-info",
592          cgi_show_url_info, 
593          "Look up which actions apply to a URL and why",
594          TRUE },
595 #ifdef FEATURE_CGI_EDIT_ACTIONS
596 #ifdef FEATURE_TOGGLE
597    { "toggle",
598          cgi_toggle, 
599          "Toggle Privoxy on or off",
600          FALSE },
601 #endif /* def FEATURE_TOGGLE */
602    { "edit-actions", /* Edit the actions list */
603          cgi_edit_actions, 
604          NULL, FALSE },
605    { "eaa", /* Shortcut for edit-actions-add-url-form */
606          cgi_edit_actions_add_url_form, 
607          NULL, FALSE },
608    { "eau", /* Shortcut for edit-actions-url-form */
609          cgi_edit_actions_url_form, 
610          NULL, FALSE },
611    { "ear", /* Shortcut for edit-actions-remove-url-form */
612          cgi_edit_actions_remove_url_form, 
613          NULL, FALSE },
614    { "eal", /* Shortcut for edit-actions-list */
615          cgi_edit_actions_list, 
616          NULL, FALSE },
617    { "eafu", /* Shortcut for edit-actions-for-url */
618          cgi_edit_actions_for_url, 
619          NULL, FALSE },
620    { "eas", /* Shortcut for edit-actions-submit */
621          cgi_edit_actions_submit, 
622          NULL, FALSE },
623    { "easa", /* Shortcut for edit-actions-section-add */
624          cgi_edit_actions_section_add, 
625          NULL, FALSE  },
626    { "easr", /* Shortcut for edit-actions-section-remove */
627          cgi_edit_actions_section_remove, 
628          NULL, FALSE  },
629    { "eass", /* Shortcut for edit-actions-section-swap */
630          cgi_edit_actions_section_swap, 
631          NULL, FALSE  },
632    { "edit-actions-for-url",
633          cgi_edit_actions_for_url, 
634          NULL, FALSE  /* Edit the actions for (a) specified URL(s) */ },
635    { "edit-actions-list",
636          cgi_edit_actions_list, 
637          NULL, TRUE /* Edit the actions list */ },
638    { "edit-actions-submit",
639          cgi_edit_actions_submit, 
640          NULL, FALSE /* Change the actions for (a) specified URL(s) */ },
641    { "edit-actions-url",
642          cgi_edit_actions_url, 
643          NULL, FALSE /* Change a URL pattern in the actionsfile */ },
644    { "edit-actions-url-form",
645          cgi_edit_actions_url_form, 
646          NULL, FALSE /* Form to change a URL pattern in the actionsfile */ },
647    { "edit-actions-add-url",
648          cgi_edit_actions_add_url, 
649          NULL, FALSE /* Add a URL pattern to the actionsfile */ },
650    { "edit-actions-add-url-form",
651          cgi_edit_actions_add_url_form, 
652          NULL, FALSE /* Form to add a URL pattern to the actionsfile */ },
653    { "edit-actions-remove-url",
654          cgi_edit_actions_remove_url, 
655          NULL, FALSE /* Remove a URL pattern from the actionsfile */ },
656    { "edit-actions-remove-url-form",
657          cgi_edit_actions_remove_url_form, 
658          NULL, FALSE /* Form to remove a URL pattern from the actionsfile */ },
659    { "edit-actions-section-add",
660          cgi_edit_actions_section_add, 
661          NULL, FALSE /* Remove a section from the actionsfile */ },
662    { "edit-actions-section-remove",
663          cgi_edit_actions_section_remove, 
664          NULL, FALSE /* Remove a section from the actionsfile */ },
665    { "edit-actions-section-swap",
666          cgi_edit_actions_section_swap, 
667          NULL, FALSE /* Swap two sections in the actionsfile */ },
668 #endif /* def FEATURE_CGI_EDIT_ACTIONS */
669    { "robots.txt", 
670          cgi_robots_txt,  
671          NULL, TRUE /* Sends a robots.txt file to tell robots to go away. */ }, 
672    { "send-banner",
673          cgi_send_banner, 
674          NULL, TRUE /* Send a built-in image */ },
675    { "send-stylesheet",
676          cgi_send_stylesheet, 
677          NULL, TRUE /* Send templates/cgi-style.css */ },
678    { "t",
679          cgi_transparent_image, 
680          NULL, TRUE /* Send a transparent image (short name) */ },
681    { "user-manual",
682           cgi_send_user_manual,
683           NULL, TRUE /* Send user-manual */ },
684    { NULL, /* NULL Indicates end of list and default page */
685          cgi_error_404,
686          NULL, TRUE /* Unknown CGI page */ }
687 };
688
689
690 /*
691  * Built-in images for ad replacement
692  *
693  * Hint: You can encode your own images like this:
694  * cat your-image | perl -e 'while (read STDIN, $c, 1) { printf("\\%.3o", unpack("C", $c)); }'
695  */
696
697 #ifdef FEATURE_NO_GIFS
698
699 /*
700  * Checkerboard pattern, as a PNG.
701  */
702 const char image_pattern_data[] =
703    "\211\120\116\107\015\012\032\012\000\000\000\015\111\110\104"
704    "\122\000\000\000\004\000\000\000\004\010\002\000\000\000\046"
705    "\223\011\051\000\000\000\006\142\113\107\104\000\310\000\310"
706    "\000\310\052\045\225\037\000\000\000\032\111\104\101\124\170"
707    "\332\143\070\161\342\304\377\377\377\041\044\003\234\165\342"
708    "\304\011\006\234\062\000\125\200\052\251\125\174\360\223\000"
709    "\000\000\000\111\105\116\104\256\102\140\202";
710
711 /*
712  * 1x1 transparant PNG.
713  */
714 const char image_blank_data[] =
715  "\211\120\116\107\015\012\032\012\000\000\000\015\111\110\104\122"
716  "\000\000\000\001\000\000\000\001\001\003\000\000\000\045\333\126"
717  "\312\000\000\000\003\120\114\124\105\377\377\377\247\304\033\310"
718  "\000\000\000\001\164\122\116\123\000\100\346\330\146\000\000\000"
719  "\001\142\113\107\104\000\210\005\035\110\000\000\000\012\111\104"
720  "\101\124\170\001\143\140\000\000\000\002\000\001\163\165\001\030"
721  "\000\000\000\000\111\105\116\104\256\102\140\202";
722 #else
723
724 /*
725  * Checkerboard pattern, as a GIF.
726  */
727 const char image_pattern_data[] =
728    "\107\111\106\070\071\141\004\000\004\000\200\000\000\310\310"
729    "\310\377\377\377\041\376\016\111\040\167\141\163\040\141\040"
730    "\142\141\156\156\145\162\000\041\371\004\001\012\000\001\000"
731    "\054\000\000\000\000\004\000\004\000\000\002\005\104\174\147"
732    "\270\005\000\073";
733
734 /*
735  * 1x1 transparant GIF.
736  */
737 const char image_blank_data[] =
738    "GIF89a\001\000\001\000\200\000\000\377\377\377\000\000"
739    "\000!\371\004\001\000\000\000\000,\000\000\000\000\001"
740    "\000\001\000\000\002\002D\001\000;";
741 #endif
742
743 const size_t image_pattern_length = sizeof(image_pattern_data) - 1;
744 const size_t image_blank_length   = sizeof(image_blank_data) - 1;
745
746
747 static struct http_response cgi_error_memory_response[1];
748
749 static struct http_response *dispatch_known_cgi(struct client_state * csp,
750                                                 const char * path);
751 static struct map *parse_cgi_parameters(char *argstring);
752
753
754 /*********************************************************************
755  * 
756  * Function    :  dispatch_cgi
757  *
758  * Description :  Checks if a request URL has either the magical
759  *                hostname CGI_SITE_1_HOST (usually http://p.p/) or
760  *                matches CGI_SITE_2_HOST CGI_SITE_2_PATH (usually
761  *                http://config.privoxy.org/). If so, it passes
762  *                the (rest of the) path onto dispatch_known_cgi, which
763  *                calls the relevant CGI handler function.
764  *
765  * Parameters  :
766  *          1  :  csp = Current client state (buffers, headers, etc...)
767  *
768  * Returns     :  http_response if match, NULL if nonmatch or handler fail
769  *
770  *********************************************************************/
771 struct http_response *dispatch_cgi(struct client_state *csp)
772 {
773    const char *host = csp->http->host;
774    const char *path = csp->http->path;
775
776    /*
777     * Should we intercept ?
778     */
779
780    /* Note: "example.com" and "example.com." are equivalent hostnames. */
781
782    /* Either the host matches CGI_SITE_1_HOST ..*/
783    if (   ( (0 == strcmpic(host, CGI_SITE_1_HOST))
784          || (0 == strcmpic(host, CGI_SITE_1_HOST ".")))
785        && (path[0] == '/') )
786    {
787       /* ..then the path will all be for us.  Remove leading '/' */
788       path++;
789    }
790    /* Or it's the host part CGI_SITE_2_HOST, and the path CGI_SITE_2_PATH */
791    else if ( ( (0 == strcmpic(host, CGI_SITE_2_HOST ))
792             || (0 == strcmpic(host, CGI_SITE_2_HOST ".")) )
793           && (0 == strncmpic(path, CGI_SITE_2_PATH, strlen(CGI_SITE_2_PATH))) )
794    {
795       /* take everything following CGI_SITE_2_PATH */
796       path += strlen(CGI_SITE_2_PATH);
797       if (*path == '/')
798       {
799          /* skip the forward slash after CGI_SITE_2_PATH */
800          path++;
801       }
802       else if (*path != '\0')
803       {
804          /*
805           * weirdness: URL is /configXXX, where XXX is some string
806           * Do *NOT* intercept.
807           */
808          return NULL;
809       }
810    }
811    else
812    {
813       /* Not a CGI */
814       return NULL;
815    }
816
817    /* 
818     * This is a CGI call.
819     */
820
821    return dispatch_known_cgi(csp, path);
822 }
823
824
825 /*********************************************************************
826  *
827  * Function    :  grep_cgi_referrer
828  *
829  * Description :  Ugly provisorical fix that greps the value of the
830  *                referer HTTP header field out of a linked list of
831  *                strings like found at csp->headers. Will disappear
832  *                in Privoxy 3.1.
833  *
834  *                FIXME: csp->headers ought to be csp->http->headers
835  *                FIXME: Parsing all client header lines should
836  *                       happen right after the request is received!
837  *
838  * Parameters  :
839  *          1  :  csp = Current client state (buffers, headers, etc...)
840  *
841  * Returns     :  pointer to value (no copy!), or NULL if none found.
842  *
843  *********************************************************************/
844 char *grep_cgi_referrer(struct client_state *csp)
845 {
846    struct list_entry *p;
847
848    for (p = csp->headers->first; p != NULL; p = p->next)
849    {
850       if (p->str == NULL) continue;
851       if (strncmpic(p->str, "Referer: ", 9) == 0)
852       {
853          return ((p->str) + 9);
854       }
855    }
856    return NULL;
857
858 }
859
860
861 /*********************************************************************
862  * 
863  * Function    :  dispatch_known_cgi
864  *
865  * Description :  Processes a CGI once dispatch_cgi has determined that
866  *                it matches one of the magic prefixes. Parses the path
867  *                as a cgi name plus query string, prepares a map that
868  *                maps CGI parameter names to their values, initializes
869  *                the http_response struct, and calls the relevant CGI
870  *                handler function.
871  *
872  * Parameters  :
873  *          1  :  csp = Current client state (buffers, headers, etc...)
874  *          2  :  path = Path of CGI, with the CGI prefix removed.
875  *                       Should not have a leading "/".
876  *
877  * Returns     :  http_response, or NULL on handler failure or out of
878  *                memory.
879  *
880  *********************************************************************/
881 static struct http_response *dispatch_known_cgi(struct client_state * csp,
882                                                 const char * path)
883 {
884    const struct cgi_dispatcher *d;
885    struct map *param_list;
886    struct http_response *rsp;
887    char *query_args_start;
888    char *path_copy;
889    char *referrer;
890    jb_err err;
891
892    if (NULL == (path_copy = strdup(path)))
893    {
894       return cgi_error_memory();
895    }
896    query_args_start = path_copy;
897    while (*query_args_start && *query_args_start != '?' && *query_args_start != '/')
898    {
899       query_args_start++;
900    }
901    if (*query_args_start == '/') 
902    {
903       *query_args_start++ = '\0';
904       if ((param_list = new_map()))
905       {
906          map(param_list, "file", 1, url_decode(query_args_start), 0);
907       }
908    }
909    else
910    {
911       if (*query_args_start == '?')
912       {
913          *query_args_start++ = '\0';
914       }
915       if (NULL == (param_list = parse_cgi_parameters(query_args_start)))
916       {
917          free(path_copy);
918          return cgi_error_memory();
919       }
920    }
921
922    /*
923     * At this point:
924     * path_copy        = CGI call name
925     * param_list       = CGI params, as map
926     */
927
928    /* Get mem for response or fail*/
929    if (NULL == (rsp = alloc_http_response()))
930    {
931       free(path_copy);
932       free_map(param_list);
933       return cgi_error_memory();
934    }
935
936    log_error(LOG_LEVEL_GPC, "%s%s cgi call", csp->http->hostport, csp->http->path);
937    log_error(LOG_LEVEL_CLF, "%s - - [%T] \"%s\" 200 3", 
938                             csp->ip_addr_str, csp->http->cmd); 
939
940    /* 
941     * Find and start the right CGI function
942     */
943    d = cgi_dispatchers;
944    for (;;)
945    {
946       if ((d->name == NULL) || (strcmp(path_copy, d->name) == 0))
947       {
948          /*
949           * If the called CGI is either harmless, or referred
950           * from a trusted source, start it.
951           */
952          if (d->harmless
953              || ((NULL != (referrer = grep_cgi_referrer(csp)))
954                  && (0 == strncmp(referrer, CGI_PREFIX, sizeof(CGI_PREFIX)-1)))
955              )
956          {
957             err = (d->handler)(csp, rsp, param_list);
958          }
959          else
960          {
961             /*
962              * Else, modify toggle calls so that they only display
963              * the status, and deny all other calls.
964              */
965             if (0 == strcmp(path_copy, "toggle"))
966             {
967                unmap(param_list, "set");
968                err = (d->handler)(csp, rsp, param_list);
969             }
970             else
971             {
972                err = cgi_error_disabled(csp, rsp);
973             }
974          }
975
976          free(path_copy);
977          free_map(param_list);
978
979          if (err == JB_ERR_CGI_PARAMS)
980          {
981             err = cgi_error_bad_param(csp, rsp);
982          }
983          if (err && (err != JB_ERR_MEMORY))
984          {
985             /* Unexpected error! Shouldn't get here */
986             log_error(LOG_LEVEL_ERROR, "Unexpected CGI error %d in top-level handler.  Please file a bug report!", err);
987             err = cgi_error_unknown(csp, rsp, err);
988          }
989          if (!err)
990          {
991             /* It worked */
992             return finish_http_response(rsp);
993          }
994          else
995          {
996             /* Error in handler, probably out-of-memory */
997             free_http_response(rsp);
998             return cgi_error_memory();
999          }
1000       }
1001       d++;
1002    }
1003 }
1004    
1005         
1006 /*********************************************************************
1007  *
1008  * Function    :  parse_cgi_parameters
1009  *
1010  * Description :  Parse a URL-encoded argument string into name/value
1011  *                pairs and store them in a struct map list.
1012  *
1013  * Parameters  :
1014  *          1  :  argstring = string to be parsed.  Will be trashed.
1015  *
1016  * Returns     :  pointer to param list, or NULL if out of memory.
1017  *
1018  *********************************************************************/
1019 static struct map *parse_cgi_parameters(char *argstring)
1020 {
1021    char *p;
1022    char *vector[BUFFER_SIZE];
1023    int pairs, i;
1024    struct map *cgi_params;
1025
1026    if (NULL == (cgi_params = new_map()))
1027    {
1028       return NULL;
1029    }
1030
1031    /* 
1032     * IE 5 does, of course, violate RFC 2316 Sect 4.1 and sends
1033     * the fragment identifier along with the request, so we must
1034     * cut it off here, so it won't pollute the CGI params:
1035     */
1036    if (NULL != (p = strchr(argstring, '#')))
1037    {
1038       *p = '\0';
1039    }
1040
1041    pairs = ssplit(argstring, "&", vector, SZ(vector), 1, 1);
1042
1043    for (i = 0; i < pairs; i++)
1044    {
1045       if ((NULL != (p = strchr(vector[i], '='))) && (*(p+1) != '\0'))
1046       {
1047          *p = '\0';
1048          if (map(cgi_params, url_decode(vector[i]), 0, url_decode(++p), 0))
1049          {
1050             free_map(cgi_params);
1051             return NULL;
1052          }
1053       }
1054    }
1055
1056    return cgi_params;
1057
1058 }
1059
1060
1061 /*********************************************************************
1062  *
1063  * Function    :  get_char_param
1064  *
1065  * Description :  Get a single-character parameter passed to a CGI
1066  *                function.
1067  *
1068  * Parameters  :
1069  *          1  :  parameters = map of cgi parameters
1070  *          2  :  param_name = The name of the parameter to read
1071  *
1072  * Returns     :  Uppercase character on success, '\0' on error.
1073  *
1074  *********************************************************************/
1075 char get_char_param(const struct map *parameters,
1076                     const char *param_name)
1077 {
1078    char ch;
1079
1080    assert(parameters);
1081    assert(param_name);
1082
1083    ch = *(lookup(parameters, param_name));
1084    if ((ch >= 'a') && (ch <= 'z'))
1085    {
1086       ch = (char)(ch - 'a' + 'A');
1087    }
1088
1089    return ch;
1090 }
1091
1092
1093 /*********************************************************************
1094  *
1095  * Function    :  get_string_param
1096  *
1097  * Description :  Get a string paramater, to be used as an
1098  *                ACTION_STRING or ACTION_MULTI paramater.
1099  *                Validates the input to prevent stupid/malicious
1100  *                users from corrupting their action file.
1101  *
1102  * Parameters  :
1103  *          1  :  parameters = map of cgi parameters
1104  *          2  :  param_name = The name of the parameter to read
1105  *          3  :  pparam = destination for paramater.  Allocated as
1106  *                part of the map "parameters", so don't free it.
1107  *                Set to NULL if not specified.
1108  *
1109  * Returns     :  JB_ERR_OK         on success, or if the paramater
1110  *                                  was not specified.
1111  *                JB_ERR_MEMORY     on out-of-memory.
1112  *                JB_ERR_CGI_PARAMS if the paramater is not valid.
1113  *
1114  *********************************************************************/
1115 jb_err get_string_param(const struct map *parameters,
1116                         const char *param_name,
1117                         const char **pparam)
1118 {
1119    const char *param;
1120    const char *s;
1121    char ch;
1122
1123    assert(parameters);
1124    assert(param_name);
1125    assert(pparam);
1126
1127    *pparam = NULL;
1128
1129    param = lookup(parameters, param_name);
1130    if (!*param)
1131    {
1132       return JB_ERR_OK;
1133    }
1134
1135    if (strlen(param) >= CGI_PARAM_LEN_MAX)
1136    {
1137       /*
1138        * Too long.
1139        *
1140        * Note that the length limit is arbitrary, it just seems
1141        * sensible to limit it to *something*.  There's no
1142        * technical reason for any limit at all.
1143        */
1144       return JB_ERR_CGI_PARAMS;
1145    }
1146
1147    /* Check every character to see if it's legal */
1148    s = param;
1149    while ((ch = *s++) != '\0')
1150    {
1151       if ( ((unsigned char)ch < (unsigned char)' ')
1152         || (ch == '}') )
1153       {
1154          /* Probable hack attempt, or user accidentally used '}'. */
1155          return JB_ERR_CGI_PARAMS;
1156       }
1157    }
1158
1159    /* Success */
1160    *pparam = param;
1161
1162    return JB_ERR_OK;
1163 }
1164
1165
1166 /*********************************************************************
1167  *
1168  * Function    :  get_number_param
1169  *
1170  * Description :  Get a non-negative integer from the parameters
1171  *                passed to a CGI function.
1172  *
1173  * Parameters  :
1174  *          1  :  csp = Current client state (buffers, headers, etc...)
1175  *          2  :  parameters = map of cgi parameters
1176  *          3  :  name = Name of CGI parameter to read
1177  *          4  :  pvalue = destination for value.
1178  *                         Set to -1 on error.
1179  *
1180  * Returns     :  JB_ERR_OK         on success
1181  *                JB_ERR_MEMORY     on out-of-memory
1182  *                JB_ERR_CGI_PARAMS if the parameter was not specified
1183  *                                  or is not valid.
1184  *
1185  *********************************************************************/
1186 jb_err get_number_param(struct client_state *csp,
1187                         const struct map *parameters,
1188                         char *name,
1189                         unsigned *pvalue)
1190 {
1191    const char *param;
1192    char ch;
1193    unsigned value;
1194
1195    assert(csp);
1196    assert(parameters);
1197    assert(name);
1198    assert(pvalue);
1199
1200    *pvalue = 0; 
1201
1202    param = lookup(parameters, name);
1203    if (!*param)
1204    {
1205       return JB_ERR_CGI_PARAMS;
1206    }
1207
1208    /* We don't use atoi because I want to check this carefully... */
1209
1210    value = 0;
1211    while ((ch = *param++) != '\0')
1212    {
1213       if ((ch < '0') || (ch > '9'))
1214       {
1215          return JB_ERR_CGI_PARAMS;
1216       }
1217
1218       ch = (char)(ch - '0');
1219
1220       /* Note:
1221        *
1222        * <limits.h> defines UINT_MAX
1223        *
1224        * (UINT_MAX - ch) / 10 is the largest number that
1225        *     can be safely multiplied by 10 then have ch added.
1226        */
1227       if (value > ((UINT_MAX - (unsigned)ch) / 10U))
1228       {
1229          return JB_ERR_CGI_PARAMS;
1230       }
1231
1232       value = value * 10 + (unsigned)ch;
1233    }
1234
1235    /* Success */
1236    *pvalue = value;
1237
1238    return JB_ERR_OK;
1239
1240 }
1241
1242
1243 /*********************************************************************
1244  *
1245  * Function    :  error_response
1246  *
1247  * Description :  returns an http_response that explains the reason
1248  *                why a request failed.
1249  *
1250  * Parameters  :
1251  *          1  :  csp = Current client state (buffers, headers, etc...)
1252  *          2  :  templatename = Which template should be used for the answer
1253  *          3  :  sys_err = system error number
1254  *
1255  * Returns     :  A http_response.  If we run out of memory, this
1256  *                will be cgi_error_memory().
1257  *
1258  *********************************************************************/
1259 struct http_response *error_response(struct client_state *csp,
1260                                      const char *templatename,
1261                                      int sys_err)
1262 {
1263    jb_err err;
1264    struct http_response *rsp;
1265    struct map *exports = default_exports(csp, NULL);
1266    char *path = NULL;
1267
1268    if (exports == NULL)
1269    {
1270       return cgi_error_memory();
1271    }
1272
1273    if (NULL == (rsp = alloc_http_response()))
1274    {
1275       free_map(exports);
1276       return cgi_error_memory();
1277    }
1278
1279    if (csp->flags & CSP_FLAG_FORCED)
1280    {
1281       path = strdup(FORCE_PREFIX);
1282    }
1283    else
1284    {
1285       path = strdup("");
1286    }
1287    err = string_append(&path, csp->http->path);
1288
1289    if (!err) err = map(exports, "host", 1, html_encode(csp->http->host), 0);
1290    if (!err) err = map(exports, "hostport", 1, html_encode(csp->http->hostport), 0);
1291    if (!err) err = map(exports, "path", 1, html_encode_and_free_original(path), 0);
1292    if (!err) err = map(exports, "error", 1, html_encode_and_free_original(safe_strerror(sys_err)), 0);
1293    if (!err) err = map(exports, "protocol", 1, csp->http->ssl ? "https://" : "http://", 1); 
1294    if (!err)
1295    {
1296      err = map(exports, "host-ip", 1, html_encode(csp->http->host_ip_addr_str), 0);
1297      if (err)
1298      {
1299        /* Some failures, like "404 no such domain", don't have an IP address. */
1300        err = map(exports, "host-ip", 1, html_encode(csp->http->host), 0);
1301      }
1302    }
1303
1304
1305    if (err)
1306    {
1307       free_map(exports);
1308       free_http_response(rsp);
1309       return cgi_error_memory();
1310    }
1311
1312    if (!strcmp(templatename, "no-such-domain"))
1313    {
1314       rsp->status = strdup("404 No such domain");
1315       if (rsp->status == NULL)
1316       {
1317          free_map(exports);
1318          free_http_response(rsp);
1319          return cgi_error_memory();
1320       }
1321    }
1322    else if (!strcmp(templatename, "connect-failed"))
1323    {
1324       rsp->status = strdup("503 Connect failed");
1325       if (rsp->status == NULL)
1326       {
1327          free_map(exports);
1328          free_http_response(rsp);
1329          return cgi_error_memory();
1330       }
1331    }
1332
1333    err = template_fill_for_cgi(csp, templatename, exports, rsp);
1334    if (err)
1335    {
1336       free_http_response(rsp);
1337       return cgi_error_memory();
1338    }
1339
1340    return finish_http_response(rsp);
1341 }
1342
1343
1344 /*********************************************************************
1345  *
1346  * Function    :  cgi_error_disabled
1347  *
1348  * Description :  CGI function that is called to generate an error
1349  *                response if the actions editor or toggle CGI are
1350  *                accessed despite having being disabled at compile-
1351  *                or run-time.
1352  *
1353  * Parameters  :
1354  *          1  :  csp = Current client state (buffers, headers, etc...)
1355  *          2  :  rsp = http_response data structure for output
1356  *
1357  * CGI Parameters : none
1358  *
1359  * Returns     :  JB_ERR_OK on success
1360  *                JB_ERR_MEMORY on out-of-memory error.
1361  *
1362  *********************************************************************/
1363 jb_err cgi_error_disabled(struct client_state *csp,
1364                           struct http_response *rsp)
1365 {
1366    struct map *exports;
1367
1368    assert(csp);
1369    assert(rsp);
1370
1371    if (NULL == (exports = default_exports(csp, NULL)))
1372    {
1373       return JB_ERR_MEMORY;
1374    }
1375
1376    return template_fill_for_cgi(csp, "cgi-error-disabled", exports, rsp);
1377 }
1378
1379
1380 /*********************************************************************
1381  *
1382  * Function    :  cgi_init_error_messages
1383  *
1384  * Description :  Call at the start of the program to initialize
1385  *                the error message used by cgi_error_memory().
1386  *
1387  * Parameters  :  N/A
1388  *
1389  * Returns     :  N/A
1390  *
1391  *********************************************************************/
1392 void cgi_init_error_messages(void)
1393 {
1394    memset(cgi_error_memory_response, '\0', sizeof(*cgi_error_memory_response));
1395    cgi_error_memory_response->head =
1396       "HTTP/1.0 500 Internal Privoxy Error\r\n"
1397       "Content-Type: text/html\r\n"
1398       "\r\n";
1399    cgi_error_memory_response->body =
1400       "<html>\r\n"
1401       "<head><title>500 Internal Privoxy Error</title></head>\r\n"
1402       "<body>\r\n"
1403       "<h1>500 Internal Privoxy Error</h1>\r\n"
1404       "<p>Privoxy <b>ran out of memory</b> while processing your request.</p>\r\n"
1405       "<p>Please contact your proxy administrator, or try again later</p>\r\n"
1406       "</body>\r\n"
1407       "</html>\r\n";
1408
1409    cgi_error_memory_response->head_length =
1410       strlen(cgi_error_memory_response->head);
1411    cgi_error_memory_response->content_length =
1412       strlen(cgi_error_memory_response->body);
1413 }
1414
1415
1416 /*********************************************************************
1417  *
1418  * Function    :  cgi_error_memory
1419  *
1420  * Description :  Called if a CGI function runs out of memory.
1421  *                Returns a statically-allocated error response.
1422  *
1423  * Parameters  :  N/A
1424  *
1425  * Returns     :  http_response data structure for output.  This is
1426  *                statically allocated, for obvious reasons.
1427  *
1428  *********************************************************************/
1429 struct http_response *cgi_error_memory(void)
1430 {
1431    /* assert that it's been initialized. */
1432    assert(cgi_error_memory_response->head);
1433
1434    return cgi_error_memory_response;
1435 }
1436
1437
1438 /*********************************************************************
1439  *
1440  * Function    :  cgi_error_no_template
1441  *
1442  * Description :  Almost-CGI function that is called if a template
1443  *                cannot be loaded.  Note this is not a true CGI,
1444  *                it takes a template name rather than a map of 
1445  *                parameters.
1446  *
1447  * Parameters  :
1448  *          1  :  csp = Current client state (buffers, headers, etc...)
1449  *          2  :  rsp = http_response data structure for output
1450  *          3  :  template_name = Name of template that could not
1451  *                                be loaded.
1452  *
1453  * Returns     :  JB_ERR_OK on success
1454  *                JB_ERR_MEMORY on out-of-memory error.  
1455  *
1456  *********************************************************************/
1457 jb_err cgi_error_no_template(struct client_state *csp,
1458                              struct http_response *rsp,
1459                              const char *template_name)
1460 {
1461    static const char status[] =
1462       "500 Internal Privoxy Error";
1463    static const char body_prefix[] =
1464       "<html>\r\n"
1465       "<head><title>500 Internal Privoxy Error</title></head>\r\n"
1466       "<body>\r\n"
1467       "<h1>500 Internal Privoxy Error</h1>\r\n"
1468       "<p>Privoxy encountered an error while processing your request:</p>\r\n"
1469       "<p><b>Could not load template file <code>";
1470    static const char body_suffix[] =
1471       "</code> or one of it's included components.</b></p>\r\n"
1472       "<p>Please contact your proxy administrator.</p>\r\n"
1473       "<p>If you are the proxy administrator, please put the required file(s)"
1474       "in the <code><i>(confdir)</i>/templates</code> directory.  The "
1475       "location of the <code><i>(confdir)</i></code> directory "
1476       "is specified in the main Privoxy <code>config</code> "
1477       "file.  (It's typically the Privoxy install directory"
1478 #ifndef _WIN32
1479       ", or <code>/etc/privoxy/</code>"
1480 #endif /* ndef _WIN32 */
1481       ").</p>\r\n"
1482       "</body>\r\n"
1483       "</html>\r\n";
1484
1485    assert(csp);
1486    assert(rsp);
1487    assert(template_name);
1488
1489    /* Reset rsp, if needed */
1490    freez(rsp->status);
1491    freez(rsp->head);
1492    freez(rsp->body);
1493    rsp->content_length = 0;
1494    rsp->head_length = 0;
1495    rsp->is_static = 0;
1496
1497    rsp->body = malloc(strlen(body_prefix) + strlen(template_name) + strlen(body_suffix) + 1);
1498    if (rsp->body == NULL)
1499    {
1500       return JB_ERR_MEMORY;
1501    }
1502    strcpy(rsp->body, body_prefix);
1503    strcat(rsp->body, template_name);
1504    strcat(rsp->body, body_suffix);
1505
1506    rsp->status = strdup(status);
1507    if (rsp->status == NULL)
1508    {
1509       return JB_ERR_MEMORY;
1510    }
1511
1512    return JB_ERR_OK;
1513 }
1514
1515
1516 /*********************************************************************
1517  *
1518  * Function    :  cgi_error_unknown
1519  *
1520  * Description :  Almost-CGI function that is called if an unexpected
1521  *                error occurs in the top-level CGI dispatcher.
1522  *                In this context, "unexpected" means "anything other
1523  *                than JB_ERR_MEMORY or JB_ERR_CGI_PARAMS" - CGIs are
1524  *                expected to handle all other errors internally,
1525  *                since they can give more relavent error messages
1526  *                that way.
1527  *
1528  *                Note this is not a true CGI, it takes an error
1529  *                code rather than a map of parameters.
1530  *
1531  * Parameters  :
1532  *          1  :  csp = Current client state (buffers, headers, etc...)
1533  *          2  :  rsp = http_response data structure for output
1534  *          3  :  error_to_report = Error code to report.
1535  *
1536  * Returns     :  JB_ERR_OK on success
1537  *                JB_ERR_MEMORY on out-of-memory error.  
1538  *
1539  *********************************************************************/
1540 jb_err cgi_error_unknown(struct client_state *csp,
1541                          struct http_response *rsp,
1542                          jb_err error_to_report)
1543 {
1544    static const char status[] =
1545       "500 Internal Privoxy Error";
1546    static const char body_prefix[] =
1547       "<html>\r\n"
1548       "<head><title>500 Internal Privoxy Error</title></head>\r\n"
1549       "<body>\r\n"
1550       "<h1>500 Internal Privoxy Error</h1>\r\n"
1551       "<p>Privoxy encountered an error while processing your request:</p>\r\n"
1552       "<p><b>Unexpected internal error: ";
1553    static const char body_suffix[] =
1554       "</b></p>\r\n"
1555       "<p>Please "
1556       "<a href=\"http://sourceforge.net/tracker/?group_id=11118&atid=111118\">"
1557       "file a bug report</a>.</p>\r\n"
1558       "</body>\r\n"
1559       "</html>\r\n";
1560    char errnumbuf[30];
1561    assert(csp);
1562    assert(rsp);
1563
1564    /* Reset rsp, if needed */
1565    freez(rsp->status);
1566    freez(rsp->head);
1567    freez(rsp->body);
1568    rsp->content_length = 0;
1569    rsp->head_length = 0;
1570    rsp->is_static = 0;
1571
1572    snprintf(errnumbuf, sizeof(errnumbuf), "%d", error_to_report);
1573
1574    rsp->body = malloc(strlen(body_prefix) + strlen(errnumbuf) + strlen(body_suffix) + 1);
1575    if (rsp->body == NULL)
1576    {
1577       return JB_ERR_MEMORY;
1578    }
1579    strcpy(rsp->body, body_prefix);
1580    strcat(rsp->body, errnumbuf);
1581    strcat(rsp->body, body_suffix);
1582
1583    rsp->status = strdup(status);
1584    if (rsp->status == NULL)
1585    {
1586       return JB_ERR_MEMORY;
1587    }
1588
1589    return JB_ERR_OK;
1590 }
1591
1592
1593 /*********************************************************************
1594  *
1595  * Function    :  cgi_error_bad_param
1596  *
1597  * Description :  CGI function that is called if the parameters
1598  *                (query string) for a CGI were wrong.
1599  *               
1600  * Parameters  :
1601  *          1  :  csp = Current client state (buffers, headers, etc...)
1602  *          2  :  rsp = http_response data structure for output
1603  *
1604  * CGI Parameters : none
1605  *
1606  * Returns     :  JB_ERR_OK on success
1607  *                JB_ERR_MEMORY on out-of-memory error.  
1608  *
1609  *********************************************************************/
1610 jb_err cgi_error_bad_param(struct client_state *csp,
1611                            struct http_response *rsp)
1612 {
1613    struct map *exports;
1614
1615    assert(csp);
1616    assert(rsp);
1617
1618    if (NULL == (exports = default_exports(csp, NULL)))
1619    {
1620       return JB_ERR_MEMORY;
1621    }
1622
1623    return template_fill_for_cgi(csp, "cgi-error-bad-param", exports, rsp);
1624 }
1625
1626
1627 /*********************************************************************
1628  *
1629  * Function    :  cgi_redirect 
1630  *
1631  * Description :  CGI support function to generate a HTTP redirect
1632  *                message
1633  *
1634  * Parameters  :
1635  *          1  :  rsp = http_response data structure for output
1636  *          2  :  target = string with the target URL
1637  *
1638  * CGI Parameters : None
1639  *
1640  * Returns     :  JB_ERR_OK on success
1641  *                JB_ERR_MEMORY on out-of-memory error.  
1642  *
1643  *********************************************************************/
1644 jb_err cgi_redirect (struct http_response * rsp, const char *target)
1645 {
1646    jb_err err;
1647
1648    assert(rsp);
1649    assert(target);
1650
1651    err = enlist_unique_header(rsp->headers, "Location", target);
1652
1653    rsp->status = strdup("302 Local Redirect from Privoxy");
1654    if (rsp->status == NULL)
1655    {
1656       return JB_ERR_MEMORY;
1657    }
1658
1659    return err;
1660 }
1661
1662
1663 /*********************************************************************
1664  *
1665  * Function    :  add_help_link
1666  *
1667  * Description :  Produce a copy of the string given as item,
1668  *                embedded in an HTML link to its corresponding
1669  *                section (item name in uppercase) in the actions
1670  *                chapter of the user manual, (whose URL is given in
1671  *                the config and defaults to our web site).
1672  *
1673  *                FIXME: I currently only work for actions, and would
1674  *                       like to be generalized for other topics.
1675  *
1676  * Parameters  :  
1677  *          1  :  item = item (will NOT be free()d.) 
1678  *                       It is assumed to be HTML-safe.
1679  *          2  :  config = The current configuration.
1680  *
1681  * Returns     :  String with item embedded in link, or NULL on
1682  *                out-of-memory
1683  *
1684  *********************************************************************/
1685 char *add_help_link(const char *item,
1686                     struct configuration_spec *config)
1687 {
1688    char *result;
1689
1690    if (!item) return NULL;
1691
1692    result = strdup("<a href=\"");
1693    if (!strncmpic(config->usermanual, "file://", 7) ||
1694        !strncmpic(config->usermanual, "http", 4))
1695    {
1696       string_append(&result, config->usermanual);
1697    }
1698    else
1699    {
1700       string_append(&result, "http://");
1701       string_append(&result, CGI_SITE_2_HOST);
1702       string_append(&result, "/user-manual/");
1703    }
1704    string_append(&result, ACTIONS_HELP_PREFIX);
1705    string_join  (&result, string_toupper(item));
1706    string_append(&result, "\">");
1707    string_append(&result, item);
1708    string_append(&result, "</a> ");
1709
1710    return result;
1711 }
1712
1713
1714 /*********************************************************************
1715  *
1716  * Function    :  get_http_time
1717  *
1718  * Description :  Get the time in a format suitable for use in a
1719  *                HTTP header - e.g.:
1720  *                "Sun, 06 Nov 1994 08:49:37 GMT"
1721  *
1722  * Parameters  :  
1723  *          1  :  time_offset = Time returned will be current time
1724  *                              plus this number of seconds.
1725  *          2  :  buf = Destination for result.  Must be long enough
1726  *                      to hold 29 characters plus a trailing zero.
1727  *
1728  * Returns     :  N/A
1729  *
1730  *********************************************************************/
1731 void get_http_time(int time_offset, char *buf)
1732 {
1733    static const char day_names[7][4] =
1734       { "Sun", "Mon", "Tue", "Wed", "Thu", "Fri", "Sat" };
1735    static const char month_names[12][4] =
1736       { "Jan", "Feb", "Mar", "Apr", "May", "Jun",
1737         "Jul", "Aug", "Sep", "Oct", "Nov", "Dec" };
1738
1739    struct tm *t;
1740    time_t current_time;
1741 #if defined(HAVE_GMTIME_R)
1742    /*
1743     * Declare dummy up here (instead of inside get/set gmt block) so it
1744     * doesn't go out of scope before it's potentially used in snprintf later.
1745     * Wrapping declaration inside HAVE_GMTIME_R keeps the compiler quiet when
1746     * !defined HAVE_GMTIME_R.
1747     */
1748    struct tm dummy; 
1749 #endif
1750
1751    assert(buf);
1752
1753    time(&current_time); /* get current time */
1754
1755    current_time += time_offset;
1756
1757    /* get and save the gmt */
1758    {
1759 #if HAVE_GMTIME_R
1760       t = gmtime_r(&current_time, &dummy);
1761 #elif FEATURE_PTHREAD
1762       pthread_mutex_lock(&gmtime_mutex);
1763       t = gmtime(&current_time);
1764       pthread_mutex_unlock(&gmtime_mutex);
1765 #else
1766       t = gmtime(&current_time);
1767 #endif
1768    }
1769
1770    /* Format: "Sun, 06 Nov 1994 08:49:37 GMT" */
1771    snprintf(buf, 30,
1772       "%s, %02d %s %4d %02d:%02d:%02d GMT",
1773       day_names[t->tm_wday],
1774       t->tm_mday,
1775       month_names[t->tm_mon],
1776       t->tm_year + 1900,
1777       t->tm_hour,
1778       t->tm_min,
1779       t->tm_sec
1780       );
1781
1782 }
1783
1784
1785 /*********************************************************************
1786  *
1787  * Function    :  finish_http_response
1788  *
1789  * Description :  Fill in the missing headers in an http response,
1790  *                and flatten the headers to an http head.
1791  *
1792  * Parameters  :
1793  *          1  :  rsp = pointer to http_response to be processed
1794  *
1795  * Returns     :  A http_response, usually the rsp parameter.
1796  *                On error, free()s rsp and returns cgi_error_memory()
1797  *
1798  *********************************************************************/
1799 struct http_response *finish_http_response(struct http_response *rsp)
1800 {
1801    char buf[BUFFER_SIZE];
1802    jb_err err;
1803
1804    /* Special case - do NOT change this statically allocated response,
1805     * which is ready for output anyway.
1806     */
1807    if (rsp == cgi_error_memory_response)
1808    {
1809       return rsp;
1810    }
1811
1812    /* 
1813     * Fill in the HTTP Status
1814     */
1815    snprintf(buf, sizeof(buf), "HTTP/1.0 %s", rsp->status ? rsp->status : "200 OK");
1816    err = enlist_first(rsp->headers, buf);
1817
1818    /* 
1819     * Set the Content-Length
1820     */
1821    if (rsp->content_length == 0)
1822    {
1823       rsp->content_length = rsp->body ? strlen(rsp->body) : 0;
1824    }
1825    if (!err)
1826    {
1827       snprintf(buf, sizeof(buf), "Content-Length: %d", (int)rsp->content_length);
1828       err = enlist(rsp->headers, buf);
1829    }
1830
1831    if (strncmpic(rsp->status, "302", 3))
1832    {
1833      /*
1834       * If it's not a redirect without any content,
1835       * set the Content-Type to text/html if it's
1836       * not already specified.
1837       */
1838      if (!err) err = enlist_unique(rsp->headers, "Content-Type: text/html", 13);
1839    }
1840
1841    /*
1842     * Fill in the rest of the default headers:
1843     *
1844     * Date: set to current date/time.
1845     * Last-Modified: set to date/time the page was last changed.
1846     * Expires: set to date/time page next needs reloading.
1847     * Cache-Control: set to "no-cache" if applicable.
1848     * 
1849     * See http://www.w3.org/Protocols/rfc2068/rfc2068
1850     */
1851    if (rsp->is_static)
1852    {
1853       /*
1854        * Set Expires to about 10 min into the future so it'll get reloaded
1855        * occasionally, e.g. if Privoxy gets upgraded.
1856        */
1857
1858       if (!err)
1859       {
1860          get_http_time(0, buf);
1861          err = enlist_unique_header(rsp->headers, "Date", buf);
1862       }
1863
1864       /* Some date in the past. */
1865       if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", "Sat, 17 Jun 2000 12:00:00 GMT");
1866
1867       if (!err)
1868       {
1869          get_http_time(10 * 60, buf); /* 10 * 60sec = 10 minutes */
1870          err = enlist_unique_header(rsp->headers, "Expires", buf);
1871       }
1872    }
1873    else if (!strncmpic(rsp->status, "302", 3))
1874    {
1875       get_http_time(0, buf);
1876       if (!err) err = enlist_unique_header(rsp->headers, "Date", buf);
1877    }
1878    else
1879    {
1880       /*
1881        * Setting "Cache-Control" to "no-cache" and  "Expires" to
1882        * the current time doesn't exactly forbid caching, it just
1883        * requires the client to revalidate the cached copy.
1884        *
1885        * If a temporary problem occurs and the user tries again after
1886        * getting Privoxy's error message, a compliant browser may set the
1887        * If-Modified-Since header with the content of the error page's
1888        * Last-Modified header. More often than not, the document on the server
1889        * is older than Privoxy's error message, the server would send status code
1890        * 304 and the browser would display the outdated error message again and again.
1891        *
1892        * For documents delivered with status code 404 or 503 we set "Last-Modified"
1893        * to Tim Berners-Lee's birthday, which predates the age of any page on the web
1894        * and can be safely used to "revalidate" without getting a status code 304.
1895        *
1896        * There is no need to let the useless If-Modified-Since header reach the
1897        * server, it is therefore stripped by client_if_modified_since in parsers.c.
1898        */
1899       if (!err) err = enlist_unique_header(rsp->headers, "Cache-Control", "no-cache");
1900
1901       get_http_time(0, buf);
1902       if (!err) err = enlist_unique_header(rsp->headers, "Date", buf);
1903       if (!strncmpic(rsp->status, "404", 3) || !strncmpic(rsp->status, "503", 3))
1904       {
1905          if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", "Wed, 08 Jun 1955 12:00:00 GMT");
1906       }
1907       else
1908       {
1909          if (!err) err = enlist_unique_header(rsp->headers, "Last-Modified", buf);
1910       }
1911       if (!err) err = enlist_unique_header(rsp->headers, "Expires", "Sat, 17 Jun 2000 12:00:00 GMT");
1912       if (!err) err = enlist_unique_header(rsp->headers, "Pragma", "no-cache");
1913    }
1914
1915    /*
1916     * Quoting RFC 2616:
1917     *
1918     * HTTP/1.1 applications that do not support persistent connections MUST
1919     * include the "close" connection option in every message.
1920     */
1921    if (!err) err = enlist_unique_header(rsp->headers, "Connection", "close");
1922
1923    /* 
1924     * Write the head
1925     */
1926    if (err || (NULL == (rsp->head = list_to_text(rsp->headers))))
1927    {
1928       free_http_response(rsp);
1929       return cgi_error_memory();
1930    }
1931    rsp->head_length = strlen(rsp->head);
1932
1933    return rsp;
1934
1935 }
1936
1937
1938 /*********************************************************************
1939  *
1940  * Function    :  alloc_http_response
1941  *
1942  * Description :  Allocates a new http_response structure.
1943  *
1944  * Parameters  :  N/A
1945  *
1946  * Returns     :  pointer to a new http_response, or NULL.
1947  *
1948  *********************************************************************/
1949 struct http_response *alloc_http_response(void)
1950 {
1951    return (struct http_response *) zalloc(sizeof(struct http_response));
1952
1953 }
1954
1955
1956 /*********************************************************************
1957  *
1958  * Function    :  free_http_response
1959  *
1960  * Description :  Free the memory occupied by an http_response
1961  *                and its depandant structures.
1962  *
1963  * Parameters  :
1964  *          1  :  rsp = pointer to http_response to be freed
1965  *
1966  * Returns     :  N/A
1967  *
1968  *********************************************************************/
1969 void free_http_response(struct http_response *rsp)
1970 {
1971    /*
1972     * Must special case cgi_error_memory_response, which is never freed.
1973     */
1974    if (rsp && (rsp != cgi_error_memory_response))
1975    {
1976       freez(rsp->status);
1977       freez(rsp->head);
1978       freez(rsp->body);
1979       destroy_list(rsp->headers);
1980       free(rsp);
1981    }
1982
1983 }
1984
1985
1986 /*********************************************************************
1987  *
1988  * Function    :  template_load
1989  *
1990  * Description :  CGI support function that loads a given HTML
1991  *                template from the confdir, ignoring comment
1992  *                lines and following #include statements up to
1993  *                a depth of 1.
1994  *
1995  * Parameters  :
1996  *          1  :  csp = Current client state (buffers, headers, etc...)
1997  *          2  :  template_ptr = Destination for pointer to loaded
1998  *                               template text.
1999  *          3  :  templatename = name of the HTML template to be used
2000  *          4  :  recursive = Flag set if this function calls itself
2001  *                            following an #include statament
2002  *
2003  * Returns     :  JB_ERR_OK on success
2004  *                JB_ERR_MEMORY on out-of-memory error.  
2005  *                JB_ERR_FILE if the template file cannot be read
2006  *
2007  *********************************************************************/
2008 jb_err template_load(struct client_state *csp, char **template_ptr, 
2009                      const char *templatename, int recursive)
2010 {
2011    jb_err err;
2012    char *templates_dir_path;
2013    char *full_path;
2014    char *file_buffer;
2015    char *included_module;
2016    const char *p;
2017    FILE *fp;
2018    char buf[BUFFER_SIZE];
2019
2020    assert(csp);
2021    assert(template_ptr);
2022    assert(templatename);
2023
2024    *template_ptr = NULL;
2025
2026    /* Validate template name.  Paranoia. */
2027    for (p = templatename; *p != 0; p++)
2028    {
2029       if ( ((*p < 'a') || (*p > 'z'))
2030         && ((*p < 'A') || (*p > 'Z'))
2031         && ((*p < '0') || (*p > '9'))
2032         && (*p != '-')
2033         && (*p != '.'))
2034       {
2035          /* Illegal character */
2036          return JB_ERR_FILE;
2037       }
2038    }
2039
2040    /* Generate full path */
2041
2042    templates_dir_path = make_path(csp->config->confdir, "templates");
2043    if (templates_dir_path == NULL)
2044    {
2045       return JB_ERR_MEMORY;
2046    }
2047
2048    full_path = make_path(templates_dir_path, templatename);
2049    free(templates_dir_path);
2050    if (full_path == NULL)
2051    {
2052       return JB_ERR_MEMORY;
2053    }
2054
2055    /* Allocate buffer */
2056
2057    file_buffer = strdup("");
2058    if (file_buffer == NULL)
2059    {
2060       free(full_path);
2061       return JB_ERR_MEMORY;
2062    }
2063
2064    /* Open template file */
2065
2066    if (NULL == (fp = fopen(full_path, "r")))
2067    {
2068       log_error(LOG_LEVEL_ERROR, "Cannot open template file %s: %E", full_path);
2069       free(full_path);
2070       free(file_buffer);
2071       return JB_ERR_FILE;
2072    }
2073    free(full_path);
2074
2075    /* 
2076     * Read the file, ignoring comments, and honoring #include
2077     * statements, unless we're already called recursively.
2078     *
2079     * FIXME: The comment handling could break with lines >BUFFER_SIZE long.
2080     *        This is unlikely in practise.
2081     */
2082    while (fgets(buf, BUFFER_SIZE, fp))
2083    {
2084       if (!recursive && !strncmp(buf, "#include ", 9))
2085       {
2086          if (JB_ERR_OK != (err = template_load(csp, &included_module, chomp(buf + 9), 1)))
2087          {
2088             free(file_buffer);
2089             fclose(fp);
2090             return err;
2091          }
2092
2093          if (string_join(&file_buffer, included_module))
2094          {
2095             fclose(fp);
2096             return JB_ERR_MEMORY;
2097          }
2098
2099          continue;
2100       }
2101
2102       /* skip lines starting with '#' */
2103       if (*buf == '#')
2104       {
2105          continue;
2106       }
2107
2108       if (string_append(&file_buffer, buf))
2109       {
2110          fclose(fp);
2111          return JB_ERR_MEMORY;
2112       }
2113    }
2114    fclose(fp);
2115
2116    *template_ptr = file_buffer;
2117
2118    return JB_ERR_OK;
2119 }
2120
2121
2122 /*********************************************************************
2123  *
2124  * Function    :  template_fill
2125  *
2126  * Description :  CGI support function that fills in a pre-loaded
2127  *                HTML template by replacing @name@ with value using
2128  *                pcrs, for each item in the output map.
2129  *
2130  *                Note that a leading '$' charachter in the export map's
2131  *                values will be stripped and toggle on backreference
2132  *                interpretation.
2133  *
2134  * Parameters  :
2135  *          1  :  template_ptr = IN: Template to be filled out.
2136  *                                   Will be free()d.
2137  *                               OUT: Filled out template.
2138  *                                    Caller must free().
2139  *          2  :  exports = map with fill in symbol -> name pairs
2140  *
2141  * Returns     :  JB_ERR_OK on success (and for uncritical errors)
2142  *                JB_ERR_MEMORY on out-of-memory error
2143  *
2144  *********************************************************************/
2145 jb_err template_fill(char **template_ptr, const struct map *exports)
2146 {
2147    struct map_entry *m;
2148    pcrs_job *job;
2149    char buf[BUFFER_SIZE];
2150    char *tmp_out_buffer;
2151    char *file_buffer;
2152    size_t  size;
2153    int error;
2154    const char *flags;
2155
2156    assert(template_ptr);
2157    assert(*template_ptr);
2158    assert(exports);
2159
2160    file_buffer = *template_ptr;
2161    size = strlen(file_buffer) + 1;
2162
2163    /* 
2164     * Assemble pcrs joblist from exports map
2165     */
2166    for (m = exports->first; m != NULL; m = m->next)
2167    {
2168       if (*m->name == '$')
2169       {
2170          /*
2171           * First character of name is '$', so remove this flag
2172           * character and allow backreferences ($1 etc) in the
2173           * "replace with" text.
2174           */
2175          snprintf(buf, BUFFER_SIZE, "%s", m->name + 1);
2176          flags = "sigU";
2177       }
2178       else
2179       {
2180          /*
2181           * Treat the "replace with" text as a literal string - 
2182           * no quoting needed, no backreferences allowed.
2183           * ("Trivial" ['T'] flag).
2184           */
2185          flags = "sigTU";
2186
2187          /* Enclose name in @@ */
2188          snprintf(buf, BUFFER_SIZE, "@%s@", m->name);
2189       }
2190
2191
2192       log_error(LOG_LEVEL_CGI, "Substituting: s/%s/%s/%s", buf, m->value, flags);
2193
2194       /* Make and run job. */
2195       job = pcrs_compile(buf, m->value, flags,  &error);
2196       if (job == NULL) 
2197       {
2198          if (error == PCRS_ERR_NOMEM)
2199          {
2200             free(file_buffer);
2201             *template_ptr = NULL;
2202             return JB_ERR_MEMORY;
2203          }
2204          else
2205          {
2206             log_error(LOG_LEVEL_ERROR, "Error compiling template fill job %s: %d", m->name, error);
2207             /* Hope it wasn't important and silently ignore the invalid job */
2208          }
2209       }
2210       else
2211       {
2212          error = pcrs_execute(job, file_buffer, size, &tmp_out_buffer, &size);
2213
2214          pcrs_free_job(job);
2215          if (NULL == tmp_out_buffer)
2216          {
2217             *template_ptr = NULL;
2218             return JB_ERR_MEMORY;
2219          }
2220
2221          if (error < 0)
2222          {
2223             /* 
2224              * Substitution failed, keep the original buffer,
2225              * log the problem and ignore it.
2226              * 
2227              * The user might see some unresolved @CGI_VARIABLES@,
2228              * but returning a special CGI error page seems unreasonable
2229              * and could mask more important error messages.
2230              */
2231             free(tmp_out_buffer);
2232             log_error(LOG_LEVEL_ERROR, "Failed to execute s/%s/%s/%s. %s",
2233                buf, m->value, flags, pcrs_strerror(error));
2234          }
2235          else
2236          {
2237             /* Substitution succeeded, use modified buffer. */
2238             free(file_buffer);
2239             file_buffer = tmp_out_buffer;
2240          }
2241       }
2242    }
2243
2244    /*
2245     * Return
2246     */
2247    *template_ptr = file_buffer;
2248    return JB_ERR_OK;
2249 }
2250
2251
2252 /*********************************************************************
2253  *
2254  * Function    :  template_fill_for_cgi
2255  *
2256  * Description :  CGI support function that loads a HTML template
2257  *                and fills it in.  Handles file-not-found errors
2258  *                by sending a HTML error message.  For convenience,
2259  *                this function also frees the passed "exports" map.
2260  *
2261  * Parameters  :
2262  *          1  :  csp = Client state
2263  *          2  :  templatename = name of the HTML template to be used
2264  *          3  :  exports = map with fill in symbol -> name pairs.
2265  *                          Will be freed by this function.
2266  *          4  :  rsp = Response structure to fill in.
2267  *
2268  * Returns     :  JB_ERR_OK on success
2269  *                JB_ERR_MEMORY on out-of-memory error
2270  *
2271  *********************************************************************/
2272 jb_err template_fill_for_cgi(struct client_state *csp,
2273                              const char *templatename,
2274                              struct map *exports,
2275                              struct http_response *rsp)
2276 {
2277    jb_err err;
2278    
2279    assert(csp);
2280    assert(templatename);
2281    assert(exports);
2282    assert(rsp);
2283
2284    err = template_load(csp, &rsp->body, templatename, 0);
2285    if (err == JB_ERR_FILE)
2286    {
2287       free_map(exports);
2288       return cgi_error_no_template(csp, rsp, templatename);
2289    }
2290    else if (err)
2291    {
2292       free_map(exports);
2293       return err; /* JB_ERR_MEMORY */
2294    }
2295    err = template_fill(&rsp->body, exports);
2296    free_map(exports);
2297    return err;
2298 }
2299
2300
2301 /*********************************************************************
2302  *
2303  * Function    :  default_exports
2304  *
2305  * Description :  returns a struct map list that contains exports
2306  *                which are common to all CGI functions.
2307  *
2308  * Parameters  :
2309  *          1  :  csp = Current client state (buffers, headers, etc...)
2310  *          2  :  caller = name of CGI who calls us and which should
2311  *                         be excluded from the generated menu. May be
2312  *                         NULL.
2313  * Returns     :  NULL if no memory, else a new map.  Caller frees.
2314  *
2315  *********************************************************************/
2316 struct map *default_exports(const struct client_state *csp, const char *caller)
2317 {
2318    char buf[20];
2319    jb_err err;
2320    struct map * exports;
2321    int local_help_exists = 0;
2322
2323    assert(csp);
2324
2325    exports = new_map();
2326    if (exports == NULL)
2327    {
2328       return NULL;
2329    }
2330
2331    err = map(exports, "version", 1, html_encode(VERSION), 0);
2332    if (!err) err = map(exports, "my-ip-address", 1, html_encode(csp->my_ip_addr_str ? csp->my_ip_addr_str : "unknown"), 0);
2333    if (!err) err = map(exports, "my-hostname",   1, html_encode(csp->my_hostname ? csp->my_hostname : "unknown"), 0);
2334    if (!err) err = map(exports, "homepage",      1, html_encode(HOME_PAGE_URL), 0);
2335    if (!err) err = map(exports, "default-cgi",   1, html_encode(CGI_PREFIX), 0);
2336    if (!err) err = map(exports, "menu",          1, make_menu(caller, csp->config->feature_flags), 0);
2337    if (!err) err = map(exports, "code-status",   1, CODE_STATUS, 1);
2338    if (!strncmpic(csp->config->usermanual, "file://", 7) ||
2339        !strncmpic(csp->config->usermanual, "http", 4))
2340    {
2341       if (!err) err = map(exports, "user-manual", 1, csp->config->usermanual ,1);
2342    }
2343    else
2344    {
2345       if (!err) err = map(exports, "user-manual", 1, "http://"CGI_SITE_2_HOST"/user-manual/" ,1);
2346    }
2347    if (!err) err = map(exports, "actions-help-prefix", 1, ACTIONS_HELP_PREFIX ,1);
2348 #ifdef FEATURE_TOGGLE
2349    if (!err) err = map_conditional(exports, "enabled-display", global_toggle_state);
2350 #else
2351    if (!err) err = map_block_killer(exports, "can-toggle");
2352 #endif
2353
2354    snprintf(buf, 20, "%d", csp->config->hport);
2355    if (!err) err = map(exports, "my-port", 1, buf, 1);
2356
2357    if(!strcmp(CODE_STATUS, "stable"))
2358    {
2359       if (!err) err = map_block_killer(exports, "unstable");
2360    }
2361
2362    if (csp->config->admin_address != NULL)
2363    {
2364       if (!err) err = map(exports, "admin-address", 1, html_encode(csp->config->admin_address), 0);
2365       local_help_exists = 1;
2366    }
2367    else
2368    {
2369       if (!err) err = map_block_killer(exports, "have-adminaddr-info");
2370    }
2371
2372    if (csp->config->proxy_info_url != NULL)
2373    {
2374       if (!err) err = map(exports, "proxy-info-url", 1, html_encode(csp->config->proxy_info_url), 0);
2375       local_help_exists = 1;
2376    }
2377    else
2378    {
2379       if (!err) err = map_block_killer(exports, "have-proxy-info");
2380    }
2381
2382    if (local_help_exists == 0)
2383    {
2384       if (!err) err = map_block_killer(exports, "have-help-info");
2385    }
2386
2387    if (err)
2388    {
2389       free_map(exports);
2390       return NULL;
2391    }
2392
2393    return exports;
2394 }
2395
2396
2397 /*********************************************************************
2398  *
2399  * Function    :  map_block_killer
2400  *
2401  * Description :  Convenience function.
2402  *                Adds a "killer" for the conditional HTML-template
2403  *                block <name>, i.e. a substitution of the regex
2404  *                "if-<name>-start.*if-<name>-end" to the given
2405  *                export list.
2406  *
2407  * Parameters  :  
2408  *          1  :  exports = map to extend
2409  *          2  :  name = name of conditional block
2410  *
2411  * Returns     :  JB_ERR_OK on success
2412  *                JB_ERR_MEMORY on out-of-memory error.  
2413  *
2414  *********************************************************************/
2415 jb_err map_block_killer(struct map *exports, const char *name)
2416 {
2417    char buf[1000]; /* Will do, since the names are hardwired */
2418
2419    assert(exports);
2420    assert(name);
2421    assert(strlen(name) < 490);
2422
2423    snprintf(buf, 1000, "if-%s-start.*if-%s-end", name, name);
2424    return map(exports, buf, 1, "", 1);
2425 }
2426
2427
2428 /*********************************************************************
2429  *
2430  * Function    :  map_block_keep
2431  *
2432  * Description :  Convenience function.  Removes the markers used
2433  *                by map-block-killer, to save a few bytes.
2434  *                i.e. removes "@if-<name>-start@" and "@if-<name>-end@"
2435  *
2436  * Parameters  :  
2437  *          1  :  exports = map to extend
2438  *          2  :  name = name of conditional block
2439  *
2440  * Returns     :  JB_ERR_OK on success
2441  *                JB_ERR_MEMORY on out-of-memory error.  
2442  *
2443  *********************************************************************/
2444 jb_err map_block_keep(struct map *exports, const char *name)
2445 {
2446    jb_err err;
2447    char buf[500]; /* Will do, since the names are hardwired */
2448
2449    assert(exports);
2450    assert(name);
2451    assert(strlen(name) < 490);
2452
2453    snprintf(buf, 500, "if-%s-start", name);
2454    err = map(exports, buf, 1, "", 1);
2455
2456    if (err)
2457    {
2458       return err;
2459    }
2460
2461    snprintf(buf, 500, "if-%s-end", name);
2462    return map(exports, buf, 1, "", 1);
2463 }
2464
2465
2466 /*********************************************************************
2467  *
2468  * Function    :  map_conditional
2469  *
2470  * Description :  Convenience function.
2471  *                Adds an "if-then-else" for the conditional HTML-template
2472  *                block <name>, i.e. a substitution of the form:
2473  *                @if-<name>-then@
2474  *                   True text
2475  *                @else-not-<name>@
2476  *                   False text
2477  *                @endif-<name>@
2478  *
2479  *                The control structure and one of the alternatives
2480  *                will be hidden.
2481  *
2482  * Parameters  :  
2483  *          1  :  exports = map to extend
2484  *          2  :  name = name of conditional block
2485  *          3  :  choose_first = nonzero for first, zero for second.
2486  *
2487  * Returns     :  JB_ERR_OK on success
2488  *                JB_ERR_MEMORY on out-of-memory error.  
2489  *
2490  *********************************************************************/
2491 jb_err map_conditional(struct map *exports, const char *name, int choose_first)
2492 {
2493    char buf[1000]; /* Will do, since the names are hardwired */
2494    jb_err err;
2495
2496    assert(exports);
2497    assert(name);
2498    assert(strlen(name) < 480);
2499
2500    snprintf(buf, 1000, (choose_first
2501       ? "else-not-%s@.*@endif-%s"
2502       : "if-%s-then@.*@else-not-%s"),
2503       name, name);
2504
2505    err = map(exports, buf, 1, "", 1);
2506    if (err)
2507    {
2508       return err;
2509    }
2510
2511    snprintf(buf, 1000, (choose_first ? "if-%s-then" : "endif-%s"), name);
2512    return map(exports, buf, 1, "", 1);
2513 }
2514
2515
2516 /*********************************************************************
2517  *
2518  * Function    :  make_menu
2519  *
2520  * Description :  Returns an HTML-formatted menu of the available 
2521  *                unhidden CGIs, excluding the one given in <self>
2522  *                and the toggle CGI if toggling is disabled.
2523  *
2524  * Parameters  :
2525  *          1  :  self = name of CGI to leave out, can be NULL for
2526  *                complete listing.
2527  *          2  :  feature_flags = feature bitmap from csp->config
2528  *                
2529  *
2530  * Returns     :  menu string, or NULL on out-of-memory error.
2531  *
2532  *********************************************************************/
2533 char *make_menu(const char *self, const unsigned feature_flags)
2534 {
2535    const struct cgi_dispatcher *d;
2536    char *result = strdup("");
2537
2538    if (self == NULL)
2539    {
2540       self = "NO-SUCH-CGI!";
2541    }
2542
2543    /* List available unhidden CGI's and export as "other-cgis" */
2544    for (d = cgi_dispatchers; d->name; d++)
2545    {
2546
2547 #ifdef FEATURE_TOGGLE
2548       if (!(feature_flags & RUNTIME_FEATURE_CGI_TOGGLE) && !strcmp(d->name, "toggle"))
2549       {
2550          /*
2551           * Suppress the toggle link if remote toggling is disabled.
2552           */
2553          continue;
2554       }
2555 #endif /* def FEATURE_TOGGLE */
2556
2557       if (d->description && strcmp(d->name, self))
2558       {
2559          string_append(&result, "<li><a href=\"" CGI_PREFIX);
2560          string_append(&result, d->name);
2561          string_append(&result, "\">");
2562          string_append(&result, d->description);
2563          string_append(&result, "</a></li>");
2564       }
2565    }
2566
2567    return result;
2568 }
2569
2570
2571 /*********************************************************************
2572  *
2573  * Function    :  dump_map
2574  *
2575  * Description :  HTML-dump a map for debugging (as table)
2576  *
2577  * Parameters  :
2578  *          1  :  the_map = map to dump
2579  *
2580  * Returns     :  string with HTML
2581  *
2582  *********************************************************************/
2583 char *dump_map(const struct map *the_map)
2584 {
2585    struct map_entry *cur_entry;
2586    char *ret = strdup("");
2587
2588    string_append(&ret, "<table>\n");
2589
2590    for (cur_entry = the_map->first;
2591         (cur_entry != NULL) && (ret != NULL);
2592         cur_entry = cur_entry->next)
2593    {
2594       string_append(&ret, "<tr><td><b>");
2595       string_join  (&ret, html_encode(cur_entry->name));
2596       string_append(&ret, "</b></td><td>");
2597       string_join  (&ret, html_encode(cur_entry->value));
2598       string_append(&ret, "</td></tr>\n");
2599    }
2600
2601    string_append(&ret, "</table>\n");
2602    return ret;
2603 }
2604
2605
2606 /*
2607   Local Variables:
2608   tab-width: 3
2609   end:
2610 */