cfd0f307eee88d15e58c9dfb3a38f28c0aaa6f70
[privoxy.git] / doc / source / developer-manual.sgml
1 <!DOCTYPE article PUBLIC "-//OASIS//DTD DocBook V3.1//EN"[
2 <!entity % dummy "IGNORE">
3 <!entity supported SYSTEM "supported.sgml">
4 <!entity newfeatures SYSTEM "newfeatures.sgml">
5 <!entity p-intro SYSTEM "privoxy.sgml">
6 <!entity history SYSTEM "history.sgml">
7 <!entity seealso SYSTEM "seealso.sgml">
8 <!entity p-version "3.0.27">
9 <!entity p-status "UNRELEASED">
10 <!entity % p-not-stable "INCLUDE">
11 <!entity % p-stable "IGNORE">
12 <!entity % p-text "IGNORE">        <!-- define we are not a text only doc -->
13 <!entity % p-doc "INCLUDE">        <!-- and we are a formal doc           -->
14 <!entity % seealso-extra "INCLUDE"> <!-- extra stuff from seealso.sgml    -->
15 <!entity  my-copy "&copy;">        <!-- kludge for docbook2man            -->
16 ]>
17 <!--
18  File        :  doc/source/developer-manual.sgml
19
20  Purpose     :  developer manual
21
22  Copyright (C) 2001-2018 Privoxy Developers https://www.privoxy.org/
23  See LICENSE.
24
25  ========================================================================
26  NOTE: Please read developer-manual/documentation.html before touching
27  anything in this, or other Privoxy documentation. You have been warned!
28  Failure to abide by this rule will result in the revocation of your license
29  to live a peaceful existence!
30  ========================================================================
31
32 -->
33
34 <article id="index">
35   <artheader>
36     <title>Privoxy Developer Manual</title>
37     <pubdate>
38      <subscript>
39     <!-- Completely the wrong markup, but very little is allowed  -->
40     <!-- in this part of an article. FIXME -->
41       <ulink url="https://www.privoxy.org/user-manual/copyright.html">Copyright</ulink>
42       &my-copy; 2001-2018 by
43       <ulink url="https://www.privoxy.org/">Privoxy Developers</ulink>
44      </subscript>
45     </pubdate>
46
47 <!--
48
49 Note: this should generate a separate page, and a live link to it.
50 But it doesn't for some mysterious reason. Please leave commented
51 unless it can be fixed proper. For the time being, the copyright
52 statement will be in copyright.smgl.
53
54 Hal.
55
56 <legalnotice id="legalnotice">
57  <para>
58   text goes here ........
59  </para>
60 </legalnotice>
61
62 -->
63
64     <abstract>
65
66 <![%dummy;[
67  <para>
68  <comment>
69   This is here to keep vim syntax file from breaking :/
70   If I knew enough to fix it, I would.
71   PLEASE DO NOT REMOVE! HB: hal@foobox.net
72  </comment>
73  </para>
74  ]]>
75 <para>
76  The developer manual provides guidance on coding, testing, packaging, documentation
77  and other issues of importance to those involved with
78  <application>Privoxy</application> development. It is mandatory (and helpful!) reading
79  for anyone who wants to join the team. Note that it's currently out of date
80  and may not be entirely correct. As always, patches are welcome.
81 </para>
82
83 <!-- Include privoxy.sgml boilerplate text: -->
84
85 <!--  &p-intro; Someone interested enough in the project to contribute
86                 will already know at this point what Privoxy is. -->
87
88 <!-- end boilerplate -->
89
90 <para>
91  Please note that this document is constantly evolving. This copy represents
92  the state at the release of version &p-version;.
93  You can find the latest version of the this manual at <ulink
94  url="https://www.privoxy.org/developer-manual/">https://www.privoxy.org/developer-manual/</ulink>.
95  Please have a look at the
96  <ulink url="https://www.privoxy.org/user-manual/contact.html">contact section in the user manual</ulink>
97  if you are interested in contacting the developers.
98 </para>
99
100     </abstract>
101   </artheader>
102
103
104 <!--   ~~~~~       New section      ~~~~~     -->
105   <sect1 id="introduction"><title>Introduction</title>
106 <!--
107
108  I don't like seeing blank space :) So added *something* here.
109
110  -->
111     <para>
112      <application>Privoxy</application>, as an heir to
113      <application>Junkbuster</application>, is a Free Software project
114      and the code is licensed under the GNU General Public License version 2.
115      As such, <application>Privoxy</application> development is potentially open
116      to anyone who has the time, knowledge, and desire to contribute
117      in any capacity. Our goals are simply to continue the mission,
118      to improve <application>Privoxy</application>, and
119      to make it available to as wide an audience as possible.
120     </para>
121     <para>
122      One does not have to be a programmer to contribute. Packaging, testing,
123      documenting and porting, are all important jobs as well.
124     </para>
125
126   <!--   ~~~~~       New section      ~~~~~     -->
127   <sect2 id="quickstart"><title>Quickstart to Privoxy Development</title>
128    <para>
129     The first step is to join the <ulink
130       url="https://lists.privoxy.org/mailman/listinfo/privoxy-devel">privoxy-devel mailing list</ulink>.
131     You can submit your ideas or, even better, patches. Patches are best
132     submitted to the Sourceforge tracker set up for this purpose, but
133     can be sent to the list for review too.
134    </para>
135     <para>
136      You will also need to have a git package installed, which will
137      entail having ssh installed as well, in order to access the git repository.
138      Having the GNU build tools is also going to be important (particularly,
139      autoconf and gmake).
140     </para>
141     <para>
142       For the time being (read, this section is under construction), you can
143       also refer to the extensive comments in the source code. In fact,
144       reading the code is recommended in any case.
145     </para>
146    </sect2>
147   </sect1>
148
149   <!--   ~~~~~       New section      ~~~~~     -->
150   <sect1 id="git"><title>The Git Repository</title>
151     <para>
152       If you become part of the active development team, you will eventually
153       need write access to our holy grail, the Git repository. One of the
154       team members will need to set this up for you. Please read
155       this chapter completely before accessing via Git.
156     </para>
157
158     <sect2 id="gitaccess"><title>Access to Git</title>
159       <para>
160         The project's Git repository is hosted at the
161         <ulink url="https://privoxy.org/">Privoxy site.</ulink>
162         The Git repository URL is
163         <literal>ssh://git@git.privoxy.org:23/git/privoxy.git</literal>,
164         the central repository is called <literal>privoxy</literal>, and the
165         source branch is called <literal>master</literal>. Subfolders exist
166         within the project for target-dependent build and  packaging tools, each
167         including the name of the target operating system in their name (e.g.
168         Windows, OSXPackageBuilder, debian). There is a webview of the Git
169         hierarchy at
170         <ulink url="https://www.privoxy.org/gitweb/?p=privoxy.git;a=tree">
171                     https://www.privoxy.org/gitweb/?p=privoxy.git;a=tree</ulink>,
172         which might help with visualizing how these pieces fit together.
173       </para>
174     </sect2>
175
176     <sect2 id="gitbranches">
177     <title>Branches</title>
178      <para>
179        Whilst the central repository contains only the master branch, developers
180        are of course free to create branches in their local repositories as they
181        develop features, fixes, or update the target-dependent tools. Only once
182        such changes are fully tested ought they be pushed back to the central
183        repository master branch.
184      </para>
185      <!--
186      <para>
187        Branches are used to fork a sub-development path from the main trunk.
188        Within the <literal>current</literal> module where the sources are, there
189        is always at least one <quote>branch</quote> from the main trunk
190        devoted to a stable release series. The main trunk is where active
191        development takes place for the next stable series (e.g. 3.2.x).
192        So just prior to each stable series (e.g. 3.0.x), a branch is created
193        just for stable series releases (e.g. 3.0.0 -> 3.0.1 -> 3.0.2, etc).
194        Once the initial stable release of any stable branch has taken place,
195        this branch is <emphasis>only used for bugfixes</emphasis>, which have
196        had prior testing before being committed to Git. (See <link
197        linkend="versionnumbers">Version Numbers</link> below for details on
198        versioning.)
199      </para>
200      -->
201      <para>
202       At one time there were two distinct branches: stable and unstable. The
203       more drastic changes were to be in the unstable branch. These branches
204       have now been merged to minimize time and effort of maintaining two
205       branches.
206      </para>
207     <!--
208      <para>
209        This will result in at least two active branches, which means there may
210        be occasions that require the same (or similar) item to be
211        checked into to two different places (assuming its a bugfix and needs
212        fixing in both the stable and unstable trees). This also means that in
213        order to have access to both trees, both will have to be checked out
214        separately. Use the <literal>cvs -r</literal> flag to check out a
215        branch, e.g: <literal>cvs co -r v_3_0_branch current</literal>.
216      </para>
217     -->
218     </sect2>
219
220     <sect2 id="gitcommit"><title>Git Commit Guidelines</title>
221       <para>
222         The source tree is the heart of every software project. Every effort must
223         be made to ensure that it is readable, compilable and consistent at all
224         times. <!-- There are differing guidelines for the stable branch and the
225         main development trunk, and --> We expect anyone with Git access to strictly
226         adhere to the following guidelines:
227       </para>
228
229       <para>
230        Basic Guidelines, for all branches:
231       </para>
232         <itemizedlist>
233           <listitem><para>
234             Please don't commit even
235             a small change without testing it thoroughly first. When we're
236             close to a public release, ask a fellow developer to review your
237             changes.
238           </para></listitem>
239           <listitem><para>
240             Your commit message should give a concise overview of <emphasis>what you
241             changed</emphasis> (no big details) and <emphasis>why you changed it</emphasis>
242             Just check previous messages for good examples.
243           </para></listitem>
244           <listitem><para>
245             Don't use the same message on multiple files, unless it equally applies to
246             all those files.
247           </para></listitem>
248           <listitem><para>
249             If your changes span multiple files, and the code won't recompile unless
250             all changes are committed (e.g. when changing the signature of a function),
251             then commit all files one after another, without long delays in between.
252             If necessary, prepare the commit messages in advance.
253           </para></listitem>
254           <listitem><para>
255             Before changing things on Git, make sure that your changes are in line
256             with the team's general consensus on what should be done.
257           </para></listitem>
258           <listitem>
259            <para>
260             Note that near a major public release, we get more cautious.
261             There is always the possibility to submit a patch to the <ulink
262             url="https://sourceforge.net/tracker/?atid=311118&amp;group_id=11118&amp;func=browse">patch
263             tracker</ulink> instead.
264           </para>
265          </listitem>
266         </itemizedlist>
267
268 <!--
269       <para>
270        Stable branches are handled with more care, especially after the
271        initial *.*.0 release, and we are just in bugfix mode. In addition to
272        the above, the below applies only to the stable branch (currently the
273        <literal>v_3_0_branch</literal> branch):
274       </para>
275
276       <para>
277        <itemizedlist>
278         <listitem>
279          <para>
280            Do not commit <emphasis>anything</emphasis> unless your proposed
281            changes have been well tested first, preferably by other members of the
282            project, or have prior approval of the project leaders or consensus
283            of the devel list.
284          </para>
285         </listitem>
286        <listitem>
287         <para>
288          Where possible, bugfixes and changes should be tested in the main
289          development trunk first. There may be occasions where this is not
290          feasible, though.
291         </para>
292        </listitem>
293        <listitem>
294         <para>
295           Alternately, proposed changes can be submitted as patches output by
296           <literal>git format-patch</literal> to the privoxy-devel mailing list
297           or alternatively to the patch tracker on Sourceforge:
298           <ulink url="https://sourceforge.net/tracker/?group_id=11118&#38;atid=311118">
299                       https://sourceforge.net/tracker/?group_id=11118&#38;atid=311118</ulink>.
300           Then ask for peer review.
301         </para>
302        </listitem>
303         <listitem>
304          <para>
305           Do not even think about anything except bugfixes. No new features!
306          </para>
307         </listitem>
308
309        </itemizedlist>
310       </para>
311     -->
312     </sect2>
313
314   </sect1>
315
316   <!--   ~~~~~       New section      ~~~~~     -->
317 <sect1 id="documentation"><title>Documentation Guidelines</title>
318   <para>
319     All formal documents are maintained in Docbook SGML and located in the
320     <computeroutput>doc/source/*</computeroutput> directory. You will need
321     <ulink url="http://www.docbook.org">Docbook</ulink>, the Docbook
322     DTD's and the Docbook modular stylesheets (or comparable alternatives),
323     and either <application>jade</application> or
324     <application>openjade</application> (recommended) installed in order to
325     build docs from source. Currently there is <ulink
326     url="../user-manual/index.html"><citetitle>user-manual</citetitle></ulink>,
327     <ulink url="../faq/index.html"><citetitle>FAQ</citetitle></ulink>, and, of
328     course this, the <citetitle>developer-manual</citetitle> in this format.
329     The <citetitle>README</citetitle>, <citetitle>AUTHORS</citetitle>,
330     <citetitle>INSTALL</citetitle>,
331     <citetitle>privoxy.1</citetitle> (man page), and
332     <citetitle>config</citetitle> files are also now maintained as Docbook
333     SGML. These files, when built, in the top-level source directory are
334     generated files! Also, the <application>Privoxy</application> <filename>index.html</filename> (and a
335     variation on this file, <filename>privoxy-index.html</filename>,
336     meant for inclusion with doc packages), are maintained as SGML as well.
337     <emphasis>DO NOT edit these directly</emphasis>. Edit the SGML source, or
338     contact someone involved in the documentation.
339     </para>
340     <para>
341      <filename>config</filename> requires some special handling. The reason it
342      is maintained this way is so that the extensive comments in the file
343      mirror those in <citetitle>user-manual</citetitle>. But the conversion
344      process requires going from SGML to HTML to text to special formatting
345      required for the embedded comments. Some of this does not survive so
346      well. Especially some of the examples that are longer than 80 characters.
347      The build process for this file outputs to <filename>config.new</filename>,
348      which should be reviewed for errors and mis-formatting. Once satisfied
349      that it is correct, then it should be hand copied to
350      <filename>config</filename>.
351     </para>
352     <para>
353      Other, less formal documents (e.g. <filename>LICENSE</filename>) are
354      maintained as plain text files in the top-level source directory.
355     </para>
356     <para>
357      Packagers are encouraged to include this documentation. For those without
358      the ability to build the docs locally, text versions of each are kept in
359      Git. HTML versions are also being kept in Git under
360      <filename>doc/webserver/*</filename>.
361     </para>
362     <para>
363      Formal documents are built with the Makefile targets of
364      <computeroutput>make dok</computeroutput>.
365      The build process uses the document SGML sources in
366      <computeroutput>doc/source/*/*</computeroutput> to update all text files in
367      <computeroutput>doc/text/</computeroutput> and to update all HTML
368      documents in <computeroutput>doc/webserver/</computeroutput>.
369     </para>
370     <para>
371      Documentation writers should please make sure documents build
372      successfully before committing to Git, if possible.
373     </para>
374     <para>
375      How do you update the webserver (i.e. the pages on privoxy.org)?
376     </para>
377
378      <orderedlist numeration="arabic">
379       <listitem><para>
380         First, build the docs by running <computeroutput>make
381         dok</computeroutput>.
382       </para></listitem>
383       <listitem><para>
384         Run <computeroutput>make webserver</computeroutput> which copies all
385         files from <computeroutput>doc/webserver</computeroutput> to the
386         sourceforge webserver via scp.
387       </para></listitem>
388      </orderedlist>
389
390   <para>
391    Finished docs should be occasionally submitted to Git
392    (<filename>doc/webserver/*/*.html</filename>) so that those without
393    the ability to build them locally, have access to them if needed.
394    This is especially important just prior to a new release! Please
395    do this <emphasis>after</emphasis> the <literal>$VERSION</literal> and
396    other release specific data in <filename>configure.in</filename> has been
397    updated (this is done just prior to a new release).
398   </para>
399
400 <!--   ~~~~~       New section      ~~~~~     -->
401 <sect2 id="sgml">
402 <title>Quickstart to Docbook and SGML</title>
403 <para>
404  If you are not familiar with SGML, it is a markup language similar to HTML.
405  Actually, not a mark up language per se, but a language used to define
406  markup languages. In fact, HTML is an SGML application. Both will use
407  <quote>tags</quote> to format text and other content. SGML tags can be much
408  more varied, and flexible, but do much of the same kinds of things. The tags,
409  or <quote>elements</quote>, are definable in SGML. There is no set
410  <quote>standards</quote>. Since we are using
411  <application>Docbook</application>, our tags are those that are defined by
412  <application>Docbook</application>. Much of how the finish document is
413  rendered is determined by the <quote>stylesheets</quote>.
414  The stylesheets determine how each tag gets translated to HTML, or other
415  formats.
416 </para>
417
418 <para>
419  Tags in Docbook SGML need to be always <quote>closed</quote>. If not, you
420  will likely generate errors. Example: <literal>&lt;title&gt;My
421  Title&lt;/title&gt;</literal>. They are also case-insensitive, but we
422  strongly suggest using all lower case. This keeps compatibility with
423  [Docbook] <application>XML</application>.
424 </para>
425
426 <para>
427  Our documents use <quote>sections</quote> for the most part. Sections
428  will be processed into HTML headers (e.g. <literal>h1</literal> for
429  <literal>sect1</literal>). The <application>Docbook</application> stylesheets
430  will use these to also generate the Table of Contents for each doc. Our
431  TOC's are set to a depth of three. Meaning <literal>sect1</literal>,
432  <literal>sect2</literal>, and <literal>sect3</literal> will have TOC
433  entries, but <literal>sect4</literal> will not. Each section requires
434  a <literal>&lt;title&gt;</literal> element, and at least one
435  <literal>&lt;para&gt;</literal>. There is a limit of five section
436  levels in Docbook, but generally three should be sufficient for our
437  purposes.
438 </para>
439
440 <para>
441  Some common elements that you likely will use:
442 </para>
443
444   <simplelist>
445     <member>
446       <emphasis>&lt;para&gt;&lt;/para&gt;</emphasis>, paragraph delimiter. Most
447       text needs to be within paragraph elements (there are some exceptions).
448     </member>
449     <member>
450       <emphasis>&lt;emphasis&gt;&lt;/emphasis&gt;</emphasis>, the stylesheets
451       make this italics.
452     </member>
453     <member>
454       <emphasis>&lt;filename&gt;&lt;/filename&gt;</emphasis>, files and directories.
455     </member>
456     <member>
457       <emphasis>&lt;command&gt;&lt;/command&gt;</emphasis>, command examples.
458     </member>
459     <member>
460       <emphasis>&lt;literallayout&gt;&lt;/literallayout&gt;</emphasis>, like
461       <literal>&lt;pre&gt;</literal>, more or less.
462     </member>
463     <member>
464       <emphasis>&lt;itemizedlist&gt;&lt;/itemizedlist&gt;</emphasis>, list with bullets.
465     </member>
466     <member>
467       <emphasis>&lt;listitem&gt;&lt;/listitem&gt;</emphasis>, member of the above.
468     </member>
469     <member>
470       <emphasis>&lt;screen&gt;&lt;/screen&gt;</emphasis>, screen output, implies
471       <literal>&lt;literallayout&gt;</literal>.
472     </member>
473     <member>
474       <emphasis>&lt;ulink url="example.com"&gt;&lt;/ulink&gt;</emphasis>, like
475       HTML <literal>&lt;a&gt;</literal> tag.
476     </member>
477     <member>
478       <emphasis>&lt;quote&gt;&lt;/quote&gt;</emphasis>, for, doh, quoting text.
479     </member>
480   </simplelist>
481
482 <para>
483  Look at any of the existing docs for examples of all these and more.
484 </para>
485
486 <para>
487  You might also find
488  <!-- <quote><ulink url="http://opensource.bureau-cornavin.com/crash-course/index.html">
489               domain no longer exists so link to the wayback archive -->
490  <quote><ulink url="https://web.archive.org/web/20160315230758/http://opensource.bureau-cornavin.com/crash-course/index.html">
491  Writing Documentation Using DocBook - A Crash Course</ulink></quote> useful.
492 </para>
493 </sect2>
494
495 <!--   ~~~~~       New section      ~~~~~     -->
496   <sect2 id="docstyle">
497   <title><application>Privoxy</application> Documentation Style</title>
498    <para>
499     It will be easier if everyone follows a similar writing style. This
500     just makes it easier to read what someone else has written if it
501     is all done in a similar fashion.
502    </para>
503    <para>
504     Here it is:
505    </para>
506     <itemizedlist>
507      <listitem>
508       <para>
509        All tags should be lower case.
510       </para>
511     </listitem>
512     <listitem>
513      <para>
514        Tags delimiting a <emphasis>block</emphasis> of text (even small
515        blocks) should be on their own line. Like:
516      </para>
517        <literallayout>
518  &lt;para&gt;
519   Some text goes here.
520  &lt;/para&gt;
521 </literallayout>
522      <para>
523        Tags marking individual words, or few words, should be in-line:
524      </para>
525        <literallayout>
526   Just to &lt;emphasis&gt;emphasize&lt;/emphasis&gt;, some text goes here.
527 </literallayout>
528    </listitem>
529    <listitem>
530     <para>
531       Tags should be nested and step indented for block text like: (except
532       in-line tags)
533     </para>
534      <literallayout>
535  &lt;para&gt;
536   &lt;itemizedlist&gt;
537    &lt;para&gt;
538     &lt;listitem&gt;
539       Some text goes here in our list example.
540      &lt;/listitem&gt;
541    &lt;/para&gt;
542   &lt;/itemizedlist&gt;
543  &lt;/para&gt;
544 </literallayout>
545     <para>
546       This makes it easier to find the text amongst the tags ;-)
547     </para>
548    </listitem>
549    <listitem>
550     <para>
551      Use white space to separate logical divisions within a document,
552      like between sections. Running everything together consistently
553      makes it harder to read and work on.
554     </para>
555    </listitem>
556    <listitem>
557     <para>
558      Do not hesitate to make comments. Comments can either use the
559      &lt;comment&gt; element, or the &lt;!--  --&gt; style comment
560      familiar from HTML. (Note in Docbook v4.x &lt;comment&gt; is
561      replaced by &lt;remark&gt;.)
562     </para>
563   </listitem>
564   <listitem>
565    <para>
566      We have an international audience. Refrain from slang, or English
567      idiosyncrasies (too many to list :). Humor also does not translate
568      well sometimes.
569    </para>
570   </listitem>
571   <listitem>
572    <para>
573     Try to keep overall line lengths in source files to 80 characters or less
574     for obvious reasons. This is not always possible, with lengthy URLs for
575     instance.
576    </para>
577   </listitem>
578   <listitem>
579    <para>
580     Our documents are available in differing formats. Right now, they
581     are just plain text and/or HTML, but others are always a
582     future possibility. Be careful with URLs (&lt;ulink&gt;), and avoid
583     this mistake:
584    </para>
585    <para>
586      My favorite site is &lt;ulink url="http://example.com"&gt;here&lt;/ulink&gt;.
587    </para>
588    <para>
589      This will render as <quote>My favorite site is here</quote>, which is
590      not real helpful in a text doc. Better like this:
591    </para>
592    <para>
593      My favorite site is &lt;ulink url="http://example.com"&gt;example.com&lt;/ulink&gt;.
594    </para>
595   </listitem>
596   <listitem>
597    <para>
598     All documents should be spell checked occasionally.
599     <application>aspell</application> can check SGML with the
600     <literal>-H</literal> option. (<application>ispell</application> I think
601     too.)
602    </para>
603   </listitem>
604
605   </itemizedlist>
606
607   </sect2>
608
609
610  <!--   ~~~~~       New section      ~~~~~     -->
611
612  <sect2><title>Privoxy Custom Entities</title>
613  <para>
614   <application>Privoxy</application> documentation is using
615   a number of customized <quote>entities</quote> to facilitate
616   documentation maintenance.
617  </para>
618  <para>
619   We are using a set of <quote>boilerplate</quote> files with generic text,
620   that is used by multiple docs. This way we can write something once, and use
621   it repeatedly without having to re-write the same content over and over again.
622   If editing such a file, keep in mind that it should be
623   <emphasis>generic</emphasis>. That is the purpose; so it can be used in varying
624   contexts without additional modifications.
625  </para>
626  <para>
627   We are also using what <application>Docbook</application> calls
628   <quote>internal entities</quote>. These are like variables in
629   programming. Well, sort of. For instance, we have the
630   <literal>p-version</literal> entity that contains the current
631   <application>Privoxy</application> version string. You are strongly
632   encouraged to use these where possible. Some of these obviously
633   require re-setting with each release (done by the Makefile). A sampling of
634   custom entities are listed below. See any of the main docs for examples.
635  </para>
636
637   <itemizedlist>
638   <listitem>
639    <para>
640     Re- <quote>boilerplate</quote> text entities are defined like:
641    </para>
642    <para>
643     <literal>&lt;!entity supported SYSTEM "supported.sgml"&gt;</literal>
644    </para>
645    <para>
646      In this example, the contents of the file,
647      <filename>supported.sgml</filename> is available for inclusion anywhere
648      in the doc. To make this happen, just reference the now defined
649      entity: <literal>&#38;supported;</literal> (starts with an ampersand
650      and ends with a semi-colon), and the contents will be dumped into
651      the finished doc at that point.
652    </para>
653   </listitem>
654
655   <listitem>
656    <para>
657     Commonly used <quote>internal entities</quote>:
658   </para>
659   <simplelist>
660    <member>
661     <emphasis>p-version</emphasis>: the <application>Privoxy</application>
662     version string, e.g. <quote>&p-version;</quote>.
663    </member>
664    <member>
665     <emphasis>p-status</emphasis>: the project status, either
666     <quote>alpha</quote>, <quote>beta</quote>, or <quote>stable</quote>.
667    </member>
668    <member>
669     <emphasis>p-not-stable</emphasis>: use to conditionally include
670     text in <quote>not stable</quote> releases (e.g. <quote>beta</quote>).
671    </member>
672    <member>
673     <emphasis>p-stable</emphasis>: just the opposite.
674    </member>
675    <member>
676     <emphasis>p-text</emphasis>: this doc is only generated as text.
677    </member>
678   </simplelist>
679  </listitem>
680  </itemizedlist>
681  <para>
682   There are others in various places that are defined for a specific
683   purpose. Read the source!
684  </para>
685
686  </sect2>
687
688  </sect1>
689
690 <!--     <listitem><para>be consistent with the redirect script (i.e. the <application>Privoxy</application> program -->
691 <!--       points via the redirect URL at sf to valid end-points in the document)</para></listitem> -->
692
693   <!--   ~~~~~       New section      ~~~~~     -->
694   <sect1 id="coding"><title>Coding Guidelines</title>
695
696     <sect2 id="s1"><title>Introduction</title>
697
698     <para>This set of standards is designed to make our lives easier.  It is
699     developed with the simple goal of helping us keep the "new and improved
700     <application>Privoxy</application>" consistent and reliable. Thus making
701     maintenance easier and increasing chances of success of the
702     project.</para>
703
704     <para>And that of course comes back to us as individuals. If we can
705     increase our development and product efficiencies then we can solve more
706     of the request for changes/improvements and in general feel good about
707     ourselves. ;-></para>
708
709   </sect2>
710
711     <sect2 id="s2"><title>Using Comments</title>
712
713
714     <sect3 id="s3"><title>Comment, Comment, Comment</title>
715
716     <para><emphasis>Explanation:</emphasis></para>
717
718     <para>Comment as much as possible without commenting the obvious.
719     For example do not comment "variable_a is equal to variable_b".
720     Instead explain why variable_a should be equal to the variable_b.
721     Just because a person can read code does not mean they will
722     understand why or what is being done. A reader may spend a lot
723     more time figuring out what is going on when a simple comment
724     or explanation would have prevented the extra research. Please
725     help your fellow Privoxy developers out!</para>
726
727     <para>The comments will also help justify the intent of the code.
728     If the comment describes something different than what the code
729     is doing then maybe a programming error is occurring.</para>
730
731     <para><emphasis>Example:</emphasis></para>
732 <programlisting>
733 /* if page size greater than 1k ... */
734 if (page_length() > 1024)
735 {
736     ... "block" the page up ...
737 }
738
739 /* if page size is small, send it in blocks */
740 if (page_length() > 1024)
741 {
742     ... "block" the page up ...
743 }
744
745 This demonstrates 2 cases of "what not to do".  The first is a
746 "syntax comment".  The second is a comment that does not fit what
747 is actually being done.
748 </programlisting>
749   </sect3>
750
751
752
753     <sect3 id="s4"><title>Use blocks for comments</title>
754
755     <para><emphasis>Explanation:</emphasis></para>
756
757     <para>Comments can help or they can clutter. They help when they
758     are differentiated from the code they describe. One line
759     comments do not offer effective separation between the comment
760     and the code. Block identifiers do, by surrounding the code
761     with a clear, definable pattern.</para>
762
763     <para><emphasis>Example:</emphasis></para>
764 <programlisting>
765 /*********************************************************************
766  * This will stand out clearly in your code!
767  *********************************************************************/
768 if (this_variable == that_variable)
769 {
770    do_something_very_important();
771 }
772
773
774 /* unfortunately, this may not */
775 if (this_variable == that_variable)
776 {
777    do_something_very_important();
778 }
779
780
781 if (this_variable == that_variable) /* this may not either */
782 {
783    do_something_very_important();
784 }</programlisting>
785
786     <para><emphasis>Exception:</emphasis></para>
787
788     <para>If you are trying to add a small logic comment and do not
789     wish to "disrupt" the flow of the code, feel free to use a 1
790     line comment which is NOT on the same line as the code.</para>
791
792
793   </sect3>
794
795
796     <sect3 id="s5"><title>Keep Comments on their own line</title>
797
798     <para><emphasis>Explanation:</emphasis></para>
799
800     <para>It goes back to the question of readability. If the comment
801     is on the same line as the code it will be harder to read than
802     the comment that is on its own line.</para>
803
804     <para>There are three exceptions to this rule, which should be
805     violated freely and often: during the definition of variables,
806     at the end of closing braces, when used to comment
807     parameters.</para>
808
809     <para><emphasis>Example:</emphasis></para>
810 <programlisting>
811 /*********************************************************************
812  * This will stand out clearly in your code,
813  * But the second example won't.
814  *********************************************************************/
815 if (this_variable == this_variable)
816 {
817    do_something_very_important();
818 }
819
820 if (this_variable == this_variable) /*can you see me?*/
821 {
822    do_something_very_important(); /*not easily*/
823 }
824
825
826 /*********************************************************************
827  * But, the encouraged exceptions:
828  *********************************************************************/
829 int urls_read     = 0;     /* # of urls read + rejected */
830 int urls_rejected = 0;     /* # of urls rejected */
831
832 if (1 == X)
833 {
834    do_something_very_important();
835 }
836
837
838 short do_something_very_important(
839    short firstparam,   /* represents something */
840    short nextparam     /* represents something else */ )
841 {
842    ...code here...
843
844 }   /* -END- do_something_very_important */
845 </programlisting>
846   </sect3>
847
848
849     <sect3 id="s6"><title>Comment each logical step</title>
850
851     <para><emphasis>Explanation:</emphasis></para>
852
853     <para>Logical steps should be commented to help others follow the
854     intent of the written code and comments will make the code more
855     readable.</para>
856
857     <para>If you have 25 lines of code without a comment, you should
858     probably go back into it to see where you forgot to put
859     one.</para>
860
861     <para>Most "for", "while", "do", etc... loops _probably_ need a
862     comment. After all, these are usually major logic
863     containers.</para>
864
865
866   </sect3>
867
868
869     <sect3 id="s7"><title>Comment All Functions Thoroughly</title>
870
871     <para><emphasis>Explanation:</emphasis></para>
872
873     <para>A reader of the code should be able to look at the comments
874     just prior to the beginning of a function and discern the
875     reason for its existence and the consequences of using it. The
876     reader should not have to read through the code to determine if
877     a given function is safe for a desired use. The proper
878     information thoroughly presented at the introduction of a
879     function not only saves time for subsequent maintenance or
880     debugging, it more importantly aids in code reuse by allowing a
881     user to determine the safety and applicability of any function
882     for the problem at hand. As a result of such benefits, all
883     functions should contain the information presented in the
884     addendum section of this document.</para>
885
886
887   </sect3>
888
889
890     <sect3 id="s8"><title>Comment at the end of braces if the
891     content is more than one screen length</title>
892
893     <para><emphasis>Explanation:</emphasis></para>
894
895     <para>Each closing brace should be followed on the same line by a
896     comment that describes the origination of the brace if the
897     original brace is off of the screen, or otherwise far away from
898     the closing brace. This will simplify the debugging,
899     maintenance, and readability of the code.</para>
900
901     <para>As a suggestion , use the following flags to make the
902     comment and its brace more readable:</para>
903
904     <para>use following a closing brace: } /* -END- if() or while ()
905     or etc... */</para>
906
907     <para><emphasis>Example:</emphasis></para>
908 <programlisting>
909 if (1 == X)
910 {
911    do_something_very_important();
912    ...some long list of commands...
913 } /* -END- if x is 1 */
914
915 or:
916
917 if (1 == X)
918 {
919    do_something_very_important();
920    ...some long list of commands...
921 } /* -END- if (1 == X) */
922 </programlisting>
923   </sect3>
924
925   </sect2>
926
927     <sect2 id="s9"><title>Naming Conventions</title>
928
929
930
931     <sect3 id="s10"><title>Variable Names</title>
932
933     <para><emphasis>Explanation:</emphasis></para>
934
935     <para>Use all lowercase, and separate words via an underscore
936     ('_'). Do not start an identifier with an underscore. (ANSI C
937     reserves these for use by the compiler and system headers.) Do
938     not use identifiers which are reserved in ANSI C++. (E.g.
939     template, class, true, false, ...). This is in case we ever
940     decide to port Privoxy to C++.</para>
941
942     <para><emphasis>Example:</emphasis></para>
943 <programlisting>
944 int ms_iis5_hack = 0;</programlisting>
945
946     <para><emphasis>Instead of:</emphasis></para>
947
948 <programlisting>
949 int msiis5hack = 0; int msIis5Hack = 0;
950 </programlisting>
951
952
953
954   </sect3>
955
956     <sect3 id="s11"><title>Function Names</title>
957
958     <para><emphasis>Explanation:</emphasis></para>
959
960     <para>Use all lowercase, and separate words via an underscore
961     ('_'). Do not start an identifier with an underscore. (ANSI C
962     reserves these for use by the compiler and system headers.) Do
963     not use identifiers which are reserved in ANSI C++. (E.g.
964     template, class, true, false, ...). This is in case we ever
965     decide to port Privoxy to C++.</para>
966
967     <para><emphasis>Example:</emphasis></para>
968 <programlisting>
969 int load_some_file(struct client_state *csp)</programlisting>
970
971     <para><emphasis>Instead of:</emphasis></para>
972
973 <programlisting>
974 int loadsomefile(struct client_state *csp)
975 int loadSomeFile(struct client_state *csp)
976 </programlisting>
977
978
979   </sect3>
980
981
982     <sect3 id="s12"><title>Header file prototypes</title>
983
984     <para><emphasis>Explanation:</emphasis></para>
985
986     <para>Use a descriptive parameter name in the function prototype
987     in header files. Use the same parameter name in the header file
988     that you use in the c file.</para>
989
990     <para><emphasis>Example:</emphasis></para>
991 <programlisting>
992 (.h) extern int load_aclfile(struct client_state *csp);
993 (.c) int load_aclfile(struct client_state *csp)</programlisting>
994
995     <para><emphasis>Instead of:</emphasis></para>
996 <programlisting>
997 (.h) extern int load_aclfile(struct client_state *); or
998 (.h) extern int load_aclfile();
999 (.c) int load_aclfile(struct client_state *csp)
1000 </programlisting>
1001
1002
1003   </sect3>
1004
1005
1006     <sect3 id="s13"><title>Enumerations, and #defines</title>
1007
1008     <para><emphasis>Explanation:</emphasis></para>
1009
1010     <para>Use all capital letters, with underscores between words. Do
1011     not start an identifier with an underscore. (ANSI C reserves
1012     these for use by the compiler and system headers.)</para>
1013
1014     <para><emphasis>Example:</emphasis></para>
1015 <programlisting>
1016 (enumeration) : enum Boolean {FALSE, TRUE};
1017 (#define) : #define DEFAULT_SIZE 100;</programlisting>
1018
1019     <para><emphasis>Note:</emphasis> We have a standard naming scheme for #defines
1020     that toggle a feature in the preprocessor: FEATURE_>, where
1021     > is a short (preferably 1 or 2 word) description.</para>
1022
1023     <para><emphasis>Example:</emphasis></para>
1024 <programlisting>
1025 #define FEATURE_FORCE 1
1026
1027 #ifdef FEATURE_FORCE
1028 #define FORCE_PREFIX blah
1029 #endif /* def FEATURE_FORCE */
1030 </programlisting>
1031   </sect3>
1032
1033
1034     <sect3 id="s14"><title>Constants</title>
1035
1036     <para><emphasis>Explanation:</emphasis></para>
1037
1038     <para>Spell common words out entirely (do not remove vowels).</para>
1039
1040     <para>Use only widely-known domain acronyms and abbreviations.
1041     Capitalize all letters of an acronym.</para>
1042
1043     <para>Use underscore (_) to separate adjacent acronyms and
1044     abbreviations. Never terminate a name with an underscore.</para>
1045
1046     <para><emphasis>Example:</emphasis></para>
1047 <programlisting>
1048 #define USE_IMAGE_LIST 1</programlisting>
1049
1050     <para><emphasis>Instead of:</emphasis></para>
1051
1052 <programlisting>
1053 #define USE_IMG_LST 1 or
1054 #define _USE_IMAGE_LIST 1 or
1055 #define USE_IMAGE_LIST_ 1 or
1056 #define use_image_list 1 or
1057 #define UseImageList 1
1058 </programlisting>
1059
1060
1061   </sect3>
1062
1063   </sect2>
1064
1065
1066     <sect2 id="s15"><title>Using Space</title>
1067
1068
1069
1070     <sect3 id="s16"><title>Put braces on a line by themselves.</title>
1071
1072     <para><emphasis>Explanation:</emphasis></para>
1073
1074     <para>The brace needs to be on a line all by itself, not at the
1075     end of the statement. Curly braces should line up with the
1076     construct that they're associated with. This practice makes it
1077     easier to identify the opening and closing braces for a
1078     block.</para>
1079
1080     <para><emphasis>Example:</emphasis></para>
1081 <programlisting>
1082 if (this == that)
1083 {
1084    ...
1085 }</programlisting>
1086
1087     <para><emphasis>Instead of:</emphasis></para>
1088
1089     <para>if (this == that) { ... }</para>
1090
1091     <para>or</para>
1092
1093     <para>if (this == that) { ... }</para>
1094
1095     <para><emphasis>Note:</emphasis> In the special case that the if-statement is
1096     inside a loop, and it is trivial, i.e. it tests for a
1097     condition that is obvious from the purpose of the block,
1098     one-liners as above may optically preserve the loop structure
1099     and make it easier to read.</para>
1100
1101     <para><emphasis>Status:</emphasis> developer-discretion.</para>
1102
1103     <para><emphasis>Example exception:</emphasis></para>
1104 <programlisting>
1105 while (more lines are read)
1106 {
1107    /* Please document what is/is not a comment line here */
1108    if (it's a comment) continue;
1109
1110    do_something(line);
1111 }
1112 </programlisting>
1113   </sect3>
1114
1115
1116     <sect3 id="s17"><title>ALL control statements should have a
1117     block</title>
1118
1119     <para><emphasis>Explanation:</emphasis></para>
1120
1121     <para>Using braces to make a block will make your code more
1122     readable and less prone to error. All control statements should
1123     have a block defined.</para>
1124
1125     <para><emphasis>Example:</emphasis></para>
1126 <programlisting>
1127 if (this == that)
1128 {
1129    do_something();
1130    do_something_else();
1131 }</programlisting>
1132
1133     <para><emphasis>Instead of:</emphasis></para>
1134
1135     <para>if (this == that) do_something(); do_something_else();</para>
1136
1137     <para>or</para>
1138
1139     <para>if (this == that) do_something();</para>
1140
1141     <para><emphasis>Note:</emphasis> The first example in "Instead of" will execute
1142     in a manner other than that which the developer desired (per
1143     indentation). Using code braces would have prevented this
1144     "feature". The "explanation" and "exception" from the point
1145     above also applies.</para>
1146
1147
1148   </sect3>
1149
1150
1151     <sect3 id="s18"><title>Do not belabor/blow-up boolean
1152     expressions</title>
1153
1154     <para><emphasis>Example:</emphasis></para>
1155 <programlisting>
1156 structure->flag = (condition);</programlisting>
1157
1158     <para><emphasis>Instead of:</emphasis></para>
1159
1160     <para>if (condition) { structure->flag = 1; } else {
1161     structure->flag = 0; }</para>
1162
1163     <para><emphasis>Note:</emphasis> The former is readable and concise. The later
1164     is wordy and inefficient. Please assume that any developer new
1165     to the project has at least a "good" knowledge of C/C++. (Hope
1166     I do not offend by that last comment ... 8-)</para>
1167
1168
1169   </sect3>
1170
1171
1172     <sect3 id="s19"><title>Use white space freely because it is
1173     free</title>
1174
1175     <para><emphasis>Explanation:</emphasis></para>
1176
1177     <para>Make it readable. The notable exception to using white space
1178     freely is listed in the next guideline.</para>
1179
1180     <para><emphasis>Example:</emphasis></para>
1181 <programlisting>
1182 int first_value   = 0;
1183 int some_value    = 0;
1184 int another_value = 0;
1185 int this_variable = 0;
1186 </programlisting>
1187   </sect3>
1188
1189
1190     <sect3 id="s20"><title>Don't use white space around structure
1191     operators</title>
1192
1193     <para><emphasis>Explanation:</emphasis></para>
1194
1195     <para>- structure pointer operator ( "->" ) - member operator (
1196     "." ) - functions and parentheses</para>
1197
1198     <para>It is a general coding practice to put pointers, references,
1199     and function parentheses next to names. With spaces, the
1200     connection between the object and variable/function name is not
1201     as clear.</para>
1202
1203     <para><emphasis>Example:</emphasis></para>
1204 <programlisting>
1205 a_struct->a_member;
1206 a_struct.a_member;
1207 function_name();</programlisting>
1208
1209     <para><emphasis>Instead of:</emphasis> a_struct -> a_member; a_struct . a_member;
1210     function_name ();</para>
1211
1212
1213   </sect3>
1214
1215
1216     <sect3 id="s21"><title>Make the last brace of a function stand
1217     out</title>
1218
1219     <para><emphasis>Example:</emphasis></para>
1220 <programlisting>
1221 int function1( ... )
1222 {
1223    ...code...
1224    return(ret_code);
1225
1226 } /* -END- function1 */
1227
1228
1229 int function2( ... )
1230 {
1231 } /* -END- function2 */
1232 </programlisting>
1233
1234     <para><emphasis>Instead of:</emphasis></para>
1235
1236     <para>int function1( ... ) { ...code... return(ret_code); } int
1237     function2( ... ) { }</para>
1238
1239     <para><emphasis>Note:</emphasis> Use 1 blank line before the closing brace and 2
1240     lines afterward. This makes the end of function standout to
1241     the most casual viewer. Although function comments help
1242     separate functions, this is still a good coding practice. In
1243     fact, I follow these rules when using blocks in "for", "while",
1244     "do" loops, and long if {} statements too. After all whitespace
1245     is free!</para>
1246
1247     <para><emphasis>Status:</emphasis> developer-discretion on the number of blank
1248     lines. Enforced is the end of function comments.</para>
1249
1250
1251   </sect3>
1252
1253
1254     <sect3 id="s22"><title>Use 3 character indentions</title>
1255
1256     <para><emphasis>Explanation:</emphasis></para>
1257
1258     <para>If some use 8 character TABs and some use 3 character TABs,
1259     the code can look *very* ragged. So use 3 character indentions
1260     only. If you like to use TABs, pass your code through a filter
1261     such as "expand -t3" before checking in your code.</para>
1262
1263     <para><emphasis>Example:</emphasis></para>
1264 <programlisting>
1265 static const char * const url_code_map[256] =
1266 {
1267    NULL, ...
1268 };
1269
1270
1271 int function1( ... )
1272 {
1273    if (1)
1274    {
1275       return ALWAYS_TRUE;
1276    }
1277    else
1278    {
1279       return HOW_DID_YOU_GET_HERE;
1280    }
1281
1282    return NEVER_GETS_HERE;
1283
1284 }
1285 </programlisting>
1286   </sect3>
1287
1288   </sect2>
1289
1290
1291     <sect2 id="s23"><title>Initializing</title>
1292
1293
1294
1295     <sect3 id="s24"><title>Initialize all variables</title>
1296
1297     <para><emphasis>Explanation:</emphasis></para>
1298
1299     <para>Do not assume that the variables declared will not be used
1300     until after they have been assigned a value somewhere else in
1301     the code. Remove the chance of accidentally using an unassigned
1302     variable.</para>
1303
1304     <para><emphasis>Example:</emphasis></para>
1305 <programlisting>
1306 short a_short = 0;
1307 float a_float  = 0;
1308 struct *ptr = NULL;</programlisting>
1309
1310     <para><emphasis>Note:</emphasis> It is much easier to debug a SIGSEGV if the
1311     message says you are trying to access memory address 00000000
1312     and not 129FA012; or array_ptr[20] causes a SIGSEV vs.
1313     array_ptr[0].</para>
1314
1315     <para><emphasis>Status:</emphasis> developer-discretion if and only if the
1316     variable is assigned a value "shortly after" declaration.</para>
1317
1318   </sect3>
1319   </sect2>
1320
1321
1322     <sect2 id="s25"><title>Functions</title>
1323
1324
1325
1326     <sect3 id="s26"><title>Name functions that return a boolean as a
1327     question.</title>
1328
1329     <para><emphasis>Explanation:</emphasis></para>
1330
1331     <para>Value should be phrased as a question that would logically
1332     be answered as a true or false statement</para>
1333
1334     <para><emphasis>Example:</emphasis></para>
1335 <programlisting>
1336 should_we_block_this();
1337 contains_an_image();
1338 is_web_page_blank();
1339 </programlisting>
1340   </sect3>
1341
1342
1343     <sect3 id="s27"><title>Always specify a return type for a
1344     function.</title>
1345
1346     <para><emphasis>Explanation:</emphasis></para>
1347
1348     <para>The default return for a function is an int. To avoid
1349     ambiguity, create a return for a function when the return has a
1350     purpose, and create a void return type if the function does not
1351     need to return anything.</para>
1352
1353
1354   </sect3>
1355
1356
1357     <sect3 id="s28"><title>Minimize function calls when iterating by
1358     using variables</title>
1359
1360     <para><emphasis>Explanation:</emphasis></para>
1361
1362     <para>It is easy to write the following code, and a clear argument
1363     can be made that the code is easy to understand:</para>
1364
1365     <para><emphasis>Example:</emphasis></para>
1366 <programlisting>
1367 for (size_t cnt = 0; cnt &lt; block_list_length(); cnt++)
1368 {
1369    ....
1370 }</programlisting>
1371
1372     <para><emphasis>Note:</emphasis> Unfortunately, this makes a function call for
1373     each and every iteration. This increases the overhead in the
1374     program, because the compiler has to look up the function each
1375     time, call it, and return a value. Depending on what occurs in
1376     the block_list_length() call, it might even be creating and
1377     destroying structures with each iteration, even though in each
1378     case it is comparing "cnt" to the same value, over and over.
1379     Remember too - even a call to block_list_length() is a function
1380     call, with the same overhead.</para>
1381
1382     <para>Instead of using a function call during the iterations,
1383     assign the value to a variable, and evaluate using the
1384     variable.</para>
1385
1386     <para><emphasis>Example:</emphasis></para>
1387 <programlisting>
1388 size_t len = block_list_length();
1389
1390 for (size_t cnt = 0; cnt &lt; len; cnt++)
1391 {
1392    ....
1393 }</programlisting>
1394
1395     <para><emphasis>Exceptions:</emphasis> if the value of block_list_length()
1396     *may* change or could *potentially* change, then you must code the
1397     function call in the for/while loop.</para>
1398
1399
1400   </sect3>
1401
1402
1403     <sect3 id="s29"><title>Pass and Return by Const Reference</title>
1404
1405     <para><emphasis>Explanation:</emphasis></para>
1406
1407     <para>This allows a developer to define a const pointer and call
1408     your function. If your function does not have the const
1409     keyword, we may not be able to use your function. Consider
1410     strcmp, if it were defined as: extern int strcmp(char *s1,
1411     char *s2);</para>
1412
1413     <para>I could then not use it to compare argv's in main: int
1414     main(int argc, const char *argv[]) { strcmp(argv[0], "privoxy");
1415      }</para>
1416
1417     <para>Both these pointers are *const*! If the c runtime library
1418     maintainers do it, we should too.</para>
1419
1420
1421   </sect3>
1422
1423
1424     <sect3 id="s30"><title>Pass and Return by Value</title>
1425
1426     <para><emphasis>Explanation:</emphasis></para>
1427
1428     <para>Most structures cannot fit onto a normal stack entry (i.e.
1429     they are not 4 bytes or less). Aka, a function declaration
1430     like: int load_aclfile(struct client_state csp)</para>
1431
1432     <para>would not work. So, to be consistent, we should declare all
1433     prototypes with "pass by value": int load_aclfile(struct
1434     client_state *csp)</para>
1435
1436
1437   </sect3>
1438
1439
1440     <sect3 id="s31"><title>Names of include files</title>
1441
1442     <para><emphasis>Explanation:</emphasis></para>
1443
1444     <para>Your include statements should contain the file name without
1445     a path. The path should be listed in the Makefile, using -I as
1446     processor directive to search the indicated paths. An exception
1447     to this would be for some proprietary software that utilizes a
1448     partial path to distinguish their header files from system or
1449     other header files.</para>
1450
1451     <para><emphasis>Example:</emphasis></para>
1452 <programlisting>
1453 #include &lt;iostream.h&gt;     /* This is not a local include */
1454 #include "config.h"       /* This IS a local include */
1455 </programlisting>
1456
1457     <para><emphasis>Exception:</emphasis></para>
1458
1459 <programlisting>
1460 /* This is not a local include, but requires a path element. */
1461 #include &lt;sys/fileName.h&gt;
1462 </programlisting>
1463
1464     <para><emphasis>Note:</emphasis> Please! do not add "-I." to the Makefile
1465     without a _very_ good reason. This duplicates the #include
1466     "file.h" behavior.</para>
1467
1468
1469   </sect3>
1470
1471
1472     <sect3 id="s32"><title>Provide multiple inclusion
1473     protection</title>
1474
1475     <para><emphasis>Explanation:</emphasis></para>
1476
1477     <para>Prevents compiler and linker errors resulting from
1478     redefinition of items.</para>
1479
1480     <para>Wrap each header file with the following syntax to prevent
1481     multiple inclusions of the file. Of course, replace PROJECT_H
1482     with your file name, with "." Changed to "_", and make it
1483     uppercase.</para>
1484
1485     <para><emphasis>Example:</emphasis></para>
1486 <programlisting>
1487 #ifndef PROJECT_H_INCLUDED
1488 #define PROJECT_H_INCLUDED
1489  ...
1490 #endif /* ndef PROJECT_H_INCLUDED */
1491 </programlisting>
1492   </sect3>
1493
1494
1495     <sect3 id="s33"><title>Use `extern "C"` when appropriate</title>
1496
1497     <para><emphasis>Explanation:</emphasis></para>
1498
1499     <para>If our headers are included from C++, they must declare our
1500     functions as `extern "C"`. This has no cost in C, but increases
1501     the potential re-usability of our code.</para>
1502
1503     <para><emphasis>Example:</emphasis></para>
1504 <programlisting>
1505 #ifdef __cplusplus
1506 extern "C"
1507 {
1508 #endif /* def __cplusplus */
1509
1510 ... function definitions here ...
1511
1512 #ifdef __cplusplus
1513 }
1514 #endif /* def __cplusplus */
1515 </programlisting>
1516   </sect3>
1517
1518
1519     <sect3 id="s34"><title>Where Possible, Use Forward Struct
1520     Declaration Instead of Includes</title>
1521
1522     <para><emphasis>Explanation:</emphasis></para>
1523
1524     <para>Useful in headers that include pointers to other struct's.
1525     Modifications to excess header files may cause needless
1526     compiles.</para>
1527
1528     <para><emphasis>Example:</emphasis></para>
1529 <programlisting>
1530 /*********************************************************************
1531  * We're avoiding an include statement here!
1532  *********************************************************************/
1533 struct file_list;
1534 extern file_list *xyz;</programlisting>
1535
1536     <para><emphasis>Note:</emphasis> If you declare "file_list xyz;" (without the
1537     pointer), then including the proper header file is necessary.
1538     If you only want to prototype a pointer, however, the header
1539     file is unnecessary.</para>
1540
1541     <para><emphasis>Status:</emphasis> Use with discretion.</para>
1542
1543
1544   </sect3>
1545   </sect2>
1546
1547     <sect2 id="s35"><title>General Coding Practices</title>
1548
1549
1550
1551     <sect3 id="s36"><title>Turn on warnings</title>
1552
1553     <para><emphasis>Explanation</emphasis></para>
1554
1555     <para>Compiler warnings are meant to help you find bugs. You
1556     should turn on as many as possible. With GCC, the switch is
1557     "-Wall". Try and fix as many warnings as possible.</para>
1558
1559
1560   </sect3>
1561
1562
1563     <sect3 id="s37"><title>Provide a default case for all switch
1564     statements</title>
1565
1566     <para><emphasis>Explanation:</emphasis></para>
1567
1568     <para>What you think is guaranteed is never really guaranteed. The
1569     value that you don't think you need to check is the one that
1570     someday will be passed. So, to protect yourself from the
1571     unknown, always have a default step in a switch statement.</para>
1572
1573     <para><emphasis>Example:</emphasis></para>
1574 <programlisting>
1575 switch (hash_string(cmd))
1576 {
1577    case hash_actions_file:
1578       ... code ...
1579       break;
1580
1581    case hash_confdir:
1582       ... code ...
1583       break;
1584
1585    default:
1586       log_error( ... );
1587       ... anomaly code goes here ...
1588       continue; / break; / exit( 1 ); / etc ...
1589
1590 } /* end switch (hash_string(cmd)) */</programlisting>
1591
1592     <para><emphasis>Note:</emphasis> If you already have a default condition, you
1593     are obviously exempt from this point. Of note, most of the
1594     WIN32 code calls `DefWindowProc' after the switch statement.
1595     This API call *should* be included in a default statement.</para>
1596
1597     <para><emphasis>Another Note:</emphasis> This is not so much a readability issue
1598     as a robust programming issue. The "anomaly code goes here" may
1599     be no more than a print to the STDERR stream (as in
1600     load_config). Or it may really be an abort condition.</para>
1601
1602     <para><emphasis>Status:</emphasis> Programmer discretion is advised.</para>
1603
1604
1605   </sect3>
1606
1607
1608     <sect3 id="s38"><title>Try to avoid falling through cases in a
1609     switch statement.</title>
1610
1611     <para><emphasis>Explanation:</emphasis></para>
1612
1613     <para>In general, you will want to have a 'break' statement within
1614     each 'case' of a switch statement. This allows for the code to
1615     be more readable and understandable, and furthermore can
1616     prevent unwanted surprises if someone else later gets creative
1617     and moves the code around.</para>
1618
1619     <para>The language allows you to plan the fall through from one
1620     case statement to another simply by omitting the break
1621     statement within the case statement. This feature does have
1622     benefits, but should only be used in rare cases. In general,
1623     use a break statement for each case statement.</para>
1624
1625     <para>If you choose to allow fall through, you should comment both
1626     the fact of the fall through and reason why you felt it was
1627     necessary.</para>
1628
1629
1630   </sect3>
1631
1632
1633     <sect3 id="s40"><title>Don't mix size_t and other types</title>
1634
1635     <para><emphasis>Explanation:</emphasis></para>
1636
1637     <para>The type of size_t varies across platforms. Do not make
1638     assumptions about whether it is signed or unsigned, or about
1639     how long it is. Do not compare a size_t against another
1640     variable of a different type (or even against a constant)
1641     without casting one of the values.</para>
1642
1643
1644   </sect3>
1645
1646
1647     <sect3 id="s41"><title>Declare each variable and struct on its
1648     own line.</title>
1649
1650     <para><emphasis>Explanation:</emphasis></para>
1651
1652     <para>It can be tempting to declare a series of variables all on
1653     one line. Don't.</para>
1654
1655     <para><emphasis>Example:</emphasis></para>
1656 <programlisting>
1657 long a = 0;
1658 long b = 0;
1659 long c = 0;</programlisting>
1660
1661     <para><emphasis>Instead of:</emphasis></para>
1662
1663     <para>long a, b, c;</para>
1664
1665     <para><emphasis>Explanation:</emphasis> - there is more room for comments on the
1666     individual variables - easier to add new variables without
1667     messing up the original ones - when searching on a variable to
1668     find its type, there is less clutter to "visually"
1669     eliminate</para>
1670
1671     <para><emphasis>Exceptions:</emphasis> when you want to declare a bunch of loop
1672     variables or other trivial variables; feel free to declare them
1673     on one line. You should, although, provide a good comment on
1674     their functions.</para>
1675
1676     <para><emphasis>Status:</emphasis> developer-discretion.</para>
1677
1678
1679   </sect3>
1680
1681
1682     <sect3 id="s42"><title>Use malloc/zalloc sparingly</title>
1683
1684     <para><emphasis>Explanation:</emphasis></para>
1685
1686     <para>Create a local struct (on the stack) if the variable will
1687     live and die within the context of one function call.</para>
1688
1689     <para>Only "malloc" a struct (on the heap) if the variable's life
1690     will extend beyond the context of one function call.</para>
1691
1692     <para><emphasis>Example:</emphasis></para>
1693 <programlisting>
1694 If a function creates a struct and stores a pointer to it in a
1695 list, then it should definitely be allocated via `malloc'.
1696 </programlisting>
1697   </sect3>
1698
1699
1700     <sect3 id="s43"><title>The Programmer Who Uses 'malloc' is
1701     Responsible for Ensuring 'free'</title>
1702
1703     <para><emphasis>Explanation:</emphasis></para>
1704
1705     <para>If you have to "malloc" an instance, you are responsible for
1706     insuring that the instance is `free'd, even if the deallocation
1707     event falls within some other programmer's code. You are also
1708     responsible for ensuring that deletion is timely (i.e. not too
1709     soon, not too late). This is known as "low-coupling" and is a
1710     "good thing (tm)". You may need to offer a
1711     free/unload/destructor type function to accommodate this.</para>
1712
1713     <para><emphasis>Example:</emphasis></para>
1714 <programlisting>
1715 int load_re_filterfile(struct client_state *csp) { ... }
1716 static void unload_re_filterfile(void *f) { ... }</programlisting>
1717
1718     <para><emphasis>Exceptions:</emphasis></para>
1719
1720     <para>The developer cannot be expected to provide `free'ing
1721     functions for C run-time library functions ... such as
1722     `strdup'.</para>
1723
1724     <para><emphasis>Status:</emphasis> developer-discretion. The "main" use of this
1725     standard is for allocating and freeing data structures (complex
1726     or nested).</para>
1727
1728
1729   </sect3>
1730
1731
1732     <sect3 id="s44"><title>Add loaders to the `file_list' structure
1733     and in order</title>
1734
1735     <para><emphasis>Explanation:</emphasis></para>
1736
1737     <para>I have ordered all of the "blocker" file code to be in alpha
1738     order. It is easier to add/read new blockers when you expect a
1739     certain order.</para>
1740
1741     <para><emphasis>Note:</emphasis> It may appear that the alpha order is broken in
1742     places by POPUP tests coming before PCRS tests. But since
1743     POPUPs can also be referred to as KILLPOPUPs, it is clear that
1744     it should come first.</para>
1745
1746
1747   </sect3>
1748
1749
1750     <sect3 id="s45"><title>"Uncertain" new code and/or changes to
1751     existing code, use XXX</title>
1752
1753     <para><emphasis>Explanation:</emphasis></para>
1754
1755     <para>If you have enough confidence in new code or confidence in
1756     your changes, but are not *quite* sure of the repercussions,
1757     add this:</para>
1758
1759     <para>/* XXX: this code has a logic error on platform XYZ, *
1760     attempting to fix */ #ifdef PLATFORM ...changed code here...
1761     #endif</para>
1762
1763     <para>or:</para>
1764
1765     <para>/* XXX: I think the original author really meant this...
1766     */ ...changed code here...</para>
1767
1768     <para>or:</para>
1769
1770     <para>/* XXX: new code that *may* break something else... */
1771     ...new code here...</para>
1772
1773     <para><emphasis>Note:</emphasis> If you make it clear that this may or may not
1774     be a "good thing (tm)", it will be easier to identify and
1775     include in the project (or conversely exclude from the
1776     project).</para>
1777
1778
1779   </sect3>
1780
1781   </sect2>
1782
1783     <sect2 id="s46"><title>Addendum: Template for files and function
1784     comment blocks:</title>
1785
1786     <para><emphasis>Example for file comments:</emphasis></para>
1787 <programlisting>
1788 /*********************************************************************
1789  *
1790  * File        :  $Source
1791  *
1792  * Purpose     :  (Fill me in with a good description!)
1793  *
1794  * Copyright   :  Written by and Copyright (C) 2001-2009
1795  *                the Privoxy team. https://www.privoxy.org/
1796  *
1797  *                This program is free software; you can redistribute it
1798  *                and/or modify it under the terms of the GNU General
1799  *                Public License as published by the Free Software
1800  *                Foundation; either version 2 of the License, or (at
1801  *                your option) any later version.
1802  *
1803  *                This program is distributed in the hope that it will
1804  *                be useful, but WITHOUT ANY WARRANTY; without even the
1805  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
1806  *                PARTICULAR PURPOSE.  See the GNU General Public
1807  *                License for more details.
1808  *
1809  *                The GNU General Public License should be included with
1810  *                this file.  If not, you can view it at
1811  *                http://www.gnu.org/licenses/old-licenses/gpl-2.0.html
1812  *                or write to the Free Software Foundation, Inc.,
1813  *                51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 ,
1814  *                USA
1815  *
1816  *********************************************************************/
1817
1818
1819 #include "config.h"
1820
1821    ...necessary include files for us to do our work...
1822
1823 const char FILENAME_h_rcs[] = FILENAME_H_VERSION;
1824 </programlisting>
1825
1826     <para><emphasis>Note:</emphasis> This declares the rcs variables that should be
1827     added to the "show-version" page. If this is a brand new
1828     creation by you, you are free to change the "Copyright" section
1829     to represent the rights you wish to maintain.</para>
1830
1831     <para><emphasis>Note:</emphasis> The formfeed character that is present right
1832     after the comment flower box is handy for (X|GNU)Emacs users to
1833     skip the verbiage and get to the heart of the code (via
1834     `forward-page' and `backward-page'). Please include it if you
1835     can.</para>
1836
1837     <para><emphasis>Example for file header comments:</emphasis></para>
1838 <programlisting>
1839 #ifndef _FILENAME_H
1840 #define _FILENAME_H
1841 /*********************************************************************
1842  *
1843  * File        :  $Source
1844  *
1845  * Purpose     :  (Fill me in with a good description!)
1846  *
1847  * Copyright   :  Written by and Copyright (C) 2001-2009
1848  *                the Privoxy team. https://www.privoxy.org/
1849  *
1850  *                This program is free software; you can redistribute it
1851  *                and/or modify it under the terms of the GNU General
1852  *                Public License as published by the Free Software
1853  *                Foundation; either version 2 of the License, or (at
1854  *                your option) any later version.
1855  *
1856  *                This program is distributed in the hope that it will
1857  *                be useful, but WITHOUT ANY WARRANTY; without even the
1858  *                implied warranty of MERCHANTABILITY or FITNESS FOR A
1859  *                PARTICULAR PURPOSE.  See the GNU General Public
1860  *                License for more details.
1861  *
1862  *                The GNU General Public License should be included with
1863  *                this file.  If not, you can view it at
1864  *                http://www.gnu.org/licenses/old-licenses/gpl-2.0.html
1865  *                or write to the Free Software Foundation, Inc.,
1866  *                51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 ,
1867  *                USA
1868  *
1869  *********************************************************************/
1870
1871
1872 #include "project.h"
1873
1874 #ifdef __cplusplus
1875 extern "C" {
1876 #endif
1877
1878    ... function headers here ...
1879
1880
1881 /* Revision control strings from this header and associated .c file */
1882 extern const char FILENAME_rcs[];
1883 extern const char FILENAME_h_rcs[];
1884
1885
1886 #ifdef __cplusplus
1887 } /* extern "C" */
1888 #endif
1889
1890 #endif /* ndef _FILENAME_H */
1891
1892 /*
1893   Local Variables:
1894   tab-width: 3
1895   end:
1896 */
1897 </programlisting>
1898
1899     <para><emphasis>Example for function comments:</emphasis></para>
1900 <programlisting>
1901 /*********************************************************************
1902  *
1903  * Function    :  FUNCTION_NAME
1904  *
1905  * Description :  (Fill me in with a good description!)
1906  *
1907  * parameters  :
1908  *          1  :  param1 = pointer to an important thing
1909  *          2  :  x      = pointer to something else
1910  *
1911  * Returns     :  0 => Ok, everything else is an error.
1912  *
1913  *********************************************************************/
1914 int FUNCTION_NAME(void *param1, const char *x)
1915 {
1916    ...
1917    return 0;
1918
1919 }
1920 </programlisting>
1921
1922     <para><emphasis>Note:</emphasis> If we all follow this practice, we should be
1923     able to parse our code to create a "self-documenting" web
1924     page.</para>
1925
1926   </sect2>
1927
1928   </sect1>
1929
1930   <!--   ~~~~~       New section      ~~~~~     -->
1931   <sect1 id="testing"><title>Testing Guidelines</title>
1932     <para>To be filled.
1933 </para>
1934
1935     <!--   ~~~~~       New section      ~~~~~     -->
1936     <sect2 id="testing-plan"><title>Testplan for releases</title>
1937       <para>
1938        Explain release numbers. major, minor. developer releases. etc.
1939       </para>
1940 <orderedlist numeration="arabic">
1941           <listitem><para>
1942 Remove any existing rpm with rpm -e
1943 </para></listitem>
1944           <listitem><para>
1945 Remove any file that was left over. This includes (but is not limited to)
1946           </para>
1947       <itemizedlist>
1948                 <listitem><para>/var/log/privoxy</para></listitem>
1949                 <listitem><para>/etc/privoxy</para></listitem>
1950                 <listitem><para>/usr/sbin/privoxy</para></listitem>
1951                 <listitem><para>/etc/init.d/privoxy</para></listitem>
1952                 <listitem><para>/usr/doc/privoxy*</para></listitem>
1953               </itemizedlist>
1954           </listitem>
1955           <listitem><para>
1956 Install the rpm. Any error messages?
1957 </para></listitem>
1958           <listitem><para>start,stop,status <application>Privoxy</application> with the specific script
1959       (e.g. /etc/rc.d/init/privoxy stop). Reboot your machine. Does
1960       autostart work?</para></listitem>
1961           <listitem><para>Start browsing. Does <application>Privoxy</application> work? Logfile written?</para></listitem>
1962           <listitem><para>Remove the rpm. Any error messages? All files removed?</para></listitem>
1963         </orderedlist>
1964     </sect2>
1965     <!-- XXX: Document how to write test reports and where to send them -->
1966
1967     <!--   ~~~~~       New section      ~~~~~     -->
1968     <sect2 id="fuzzing"><title>Fuzzing Privoxy</title>
1969      <para>
1970        To make fuzzing more convenient, Privoxy can be configured
1971        with --enable-fuzz which will result in the --fuzz option
1972        becoming available.
1973      </para>
1974      <para>
1975       Example (tested on ElectroBSD):
1976      </para>
1977      <programlisting>
1978 # Compile Privoxy with instrumentation for afl
1979 $ export CC=afl-clang
1980 $ export CFLAGS="-fsanitize=address -ggdb"
1981 $ export CPPFLAGS=-I/usr/local/include/
1982 $ export LDFLAGS="-fsanitize=address -L/usr/local/lib"
1983 $ export AFL_USE_ASAN=1
1984 $ export AFL_HARDEN=1
1985 $ ./configure --with-debug --enable-extended-host-patterns --enable-accept-filter --enable-no-gifs --enable-compression --enable-strptime-sanity-checks --enable-external-filters --enable-fuzz
1986
1987 $ ./privoxy --fuzz
1988 Privoxy version 3.0.24 (http://www.privoxy.org/)
1989 Usage: ./privoxy [--config-test] [--chroot] [--help] [--no-daemon] [--pidfile pidfile] [--pre-chroot-nslookup hostname] [--user user[.group]] [--version] [configfile]
1990        ./privoxy --fuzz fuzz-mode ./path/to/fuzzed/input [--stfu]
1991
1992 Supported fuzz modes and the expected input:
1993  action: Text to parse as action file.
1994  client-request: Client request to parse. Currently incomplete
1995  client-header: Client header to parse.
1996  chunked-transfer-encoding: Chunk-encoded data to dechunk.
1997  deflate: deflate-compressed data to decompress.
1998  filter: Text to parse as filter file.
1999  gif: gif to deanimate.
2000  gzip: gzip-compressed data to decompress.
2001  pcrs-substitute: A pcrs-substitute to compile. Not a whole pcrs job! Example: Bla $1 bla C $3 blah.
2002  server-header: Server header to parse.
2003  server-response: Server response to parse.
2004
2005 The following fuzz modes read data from stdin if the 'file' is '-'
2006  client-request
2007  client-header
2008  chunked-transfer-encoding
2009  deflate
2010  gif
2011  gzip
2012  pcrs-substitute
2013  server-header
2014  server-response
2015
2016 Aborting
2017
2018 $ export ASAN_OPTIONS='abort_on_error=1'
2019 $ mkdir input output
2020 $ echo '$1 bla fasel $2' > input/pcrs
2021 $ afl-fuzz -i input -o output -m none ~/git/privoxy/privoxy --fuzz pcrs-substitute - --stfu
2022
2023 $ cat >input/pcrs.txt
2024 FILTER: bla fasel
2025 s@(.{1})[432](\d+)@$1$2$hostname@UgisT
2026
2027 $ afl-fuzz -i input/ -o output/ -f bla.filter -m none privoxy --fuzz filter bla.filter --stfu
2028 </programlisting>
2029     </sect2>
2030   </sect1>
2031
2032   <!--   ~~~~~       New section      ~~~~~     -->
2033   <sect1 id="newrelease"><title>Releasing a New Version</title>
2034     <para>
2035         When we release versions of <application>Privoxy</application>,
2036         our work leaves our cozy secret lab and has to work in the cold
2037         RealWorld[tm]. Once it is released, there is no way to call it
2038         back, so it is very important that great care is taken to ensure
2039         that everything runs fine, and not to introduce problems in the
2040         very last minute.
2041     </para>
2042     <para>
2043         So when releasing a new version, please adhere exactly to the
2044         procedure outlined in this chapter.
2045     </para>
2046
2047     <para>
2048         The following programs are required to follow this process:
2049         <filename>ncftpput</filename> (ncftp), <filename>scp, ssh</filename> (ssh),
2050         <filename>gmake</filename> (GNU's version of make), autoconf, cvs.
2051     </para>
2052
2053     <sect2 id="versionnumbers">
2054     <title>Version numbers</title>
2055
2056     <para>
2057       First you need to determine which version number the release will have.
2058       <application>Privoxy</application> version numbers consist of three numbers,
2059       separated by dots, like in X.Y.Z (e.g. 3.0.0), where:
2060     </para>
2061         <itemizedlist>
2062           <listitem>
2063             <para>
2064               X, the version major, is rarely ever changed. It is increased by one if
2065               turning a development branch into stable substantially changes the functionality,
2066               user interface or configuration syntax. Majors 1 and 2 were
2067               <application>Junkbuster</application>, and 3 will be the first stable
2068               <application>Privoxy</application> release.
2069             </para>
2070           </listitem>
2071           <listitem>
2072             <para>
2073  <!-- FIXME   this is not the way it works anymore -->
2074               Y, the version minor, represents the branch within the major version.
2075               At any point in time, there are two branches being maintained:
2076               The stable branch, with an even minor, say, 2N, in which no functionality is
2077               being added and only bug-fixes are made, and 2N+1, the development branch, in
2078               which the further development of <application>Privoxy</application> takes
2079               place.
2080               This enables us to turn the code upside down and inside out, while at the same time
2081               providing and maintaining a stable version.
2082               The minor is reset to zero (and one) when the major is incremented. When a development
2083               branch has matured to the point where it can be turned into stable, the old stable branch
2084               2N is given up (i.e. no longer maintained), the former development branch 2N+1 becomes the
2085               new stable branch 2N+2, and a new development branch 2N+3 is opened.
2086             </para>
2087           </listitem>
2088           <listitem>
2089             <para>
2090               Z, the point or sub version, represents a release of the software within a branch.
2091               It is therefore incremented immediately after each software release.
2092       <!-- FIXME   this is not the way it works any more
2093               In development branches, only the even point versions correspond to actual releases,
2094               while the odd ones denote the evolving state of the sources on Git in between.
2095               It follows that Z is odd on Git in development branches most of the time. There, it gets
2096               increased to an even number immediately before a code freeze, and is increased to an odd
2097               number again immediately thereafter.
2098               This ensures that builds from Git snapshots are easily distinguished from released versions.
2099            didn't Fabian get rid of the even=stable, odd=dev convention for release numbering? -->
2100               The point version is reset to zero when the minor changes.
2101             </para>
2102             <para>
2103               Stable branches work a little differently, since there should be
2104               little to no development happening in such branches. Remember,
2105               only bugfixes, which presumably should have had some testing
2106               before being committed. Stable branches will then have their
2107               version reported as <literal>0.0.0</literal>, during that period
2108               between releases when changes are being added. This is to denote
2109               that this code is <emphasis>not for release</emphasis>. Then
2110               as the release nears, the version is bumped according: e.g.
2111               <literal>3.0.1 -> 0.0.0 -> 3.0.2</literal>.
2112             </para>
2113           </listitem>
2114         </itemizedlist>
2115     <para>
2116      In summary, the main Git trunk is the development branch where new
2117      features are being worked on for the next stable series. This should
2118      almost always be where the most activity takes place. There is always at
2119      least one stable branch from the trunk, e.g now it is
2120      <literal>3.0</literal>, which is only used to release stable versions.
2121      Once the initial *.0 release of the stable branch has been done, then as a
2122      rule, only bugfixes that have had prior testing should be committed to
2123      the stable branch. Once there are enough bugfixes to justify a new
2124      release, the version of this branch is again incremented Example: 3.0.0
2125      -> 3.0.1 -> 3.0.2, etc are all stable releases from within the stable
2126      branch. 3.1.x is currently the main trunk, and where work on 3.2.x is
2127      taking place. If any questions, please post to the devel list
2128      <emphasis>before</emphasis> committing to a stable branch!
2129     </para>
2130     <para>
2131      Developers should remember too that if they commit a bugfix to the stable
2132      branch, this will more than likely require a separate submission to the
2133      main trunk, since these are separate development trees within Git. If you
2134      are working on both, then this would require at least two separate check
2135      outs (i.e main trunk, <emphasis>and</emphasis> the stable release branch,
2136      which is <literal>v_3_0_branch</literal> at the moment).
2137     </para>
2138
2139     </sect2>
2140
2141     <sect2 id="beforerelease">
2142     <title>Before the Release</title>
2143      <para>
2144        The following <emphasis>must be done by one of the
2145        developers</emphasis> prior to each new release.
2146      </para>
2147      <itemizedlist>
2148       <listitem>
2149        <para>
2150          Make sure that everybody who has worked on the code in the last
2151          couple of days has had a chance to yell <quote>no!</quote> in case
2152          they have pending changes/fixes in their pipelines. Announce the
2153          freeze so that nobody will interfere with last minute changes.
2154        </para>
2155       </listitem>
2156       <listitem>
2157        <para>
2158          Update the code status (CODE_STATUS="xxx") in configure.in to one of
2159          "alpha", "beta" or "stable".
2160        </para>
2161       </listitem>
2162       <listitem>
2163        <para>
2164          Rebuild configure and GNUMakefile to make sure the updated values are being used.
2165        </para>
2166
2167        <programlisting>
2168 $ autoheader && autoconf     # rebuild configure
2169 $ ./configure                # rebuild GNUmakefile
2170 </programlisting>
2171       </listitem>
2172       <listitem>
2173        <para>
2174         <command>make dok-release</command> to update the sgml documentation source files.
2175        </para>
2176       </listitem>
2177       <listitem>
2178        <para>
2179         If action file processing has changed and is not backward-compatible,
2180         make sure the "for-privoxy-version=x.y.z" minimum version number in
2181         default.action.master has been updated:
2182        </para>
2183         <programlisting>
2184 {{settings}}
2185 #############################################################################
2186 #MASTER# COMMENT: The minimum Privoxy version:
2187 for-privoxy-version=3.0.11
2188 </programlisting>
2189       </listitem>
2190       <listitem>
2191        <para>
2192         Create the change log:
2193        </para>
2194        <programlisting>
2195   $ git tag
2196   #   to see the tags
2197   $ git log [last release tag]..HEAD &gt; /tmp/log
2198   #   get the commit log since the last release
2199   $ utils/makeChangeLog /tmp/log &gt; /tmp/change.log
2200   #   reformat the commit log
2201 </programlisting>
2202        <para>
2203         Edit <filename>/tmp/change.log</filename> to remove trivial
2204         changes and group the changes under general headings like:
2205        </para>
2206        <programlisting>
2207 - Bug fixes:
2208 - Action file improvements:
2209 - Filter file improvements:
2210 - General improvements:
2211 - Documentation improvements:
2212 - Build system improvements:
2213 - Code cleanups:
2214 - Privoxy-Log-Parser:
2215 - Privoxy-Regression-Test:
2216 </programlisting>
2217        <para>
2218         Add the contents of <filename>/tmp/change.log</filename> to the
2219         start of <filename>ChangeLog</filename> and re-create
2220         <filename>doc/source/changelog.sgml</filename>:
2221        </para>
2222        <programlisting>
2223   $ utils/changelog2doc.pl /tmp/change.log &gt;| doc/source/changelog.sgml
2224 </programlisting>
2225       </listitem>
2226       <listitem>
2227        <para>
2228         All developers should look at the <filename>ChangeLog</filename> and
2229         make sure noteworthy changes are referenced.
2230        </para>
2231       </listitem>
2232       <listitem>
2233        <para>
2234         All documentation should be rebuilt:
2235        <programlisting>
2236   $ make dok
2237   $ make dok-tidy
2238   $ make man
2239   $ make config-file
2240 </programlisting>
2241         Finished docs should be then be committed to Git (for those
2242         without the ability to build these). Some docs may require
2243         rather obscure processing tools. <filename>config</filename>,
2244         the man page (and the html version of the man page)
2245         fall in this category. README, the man page, AUTHORS, and config
2246         should all also be committed to Git for other packagers. The
2247         formal docs should be uploaded to the webserver. See the section
2248         <ulink url="webserver-update.html">"Updating the webserver"</ulink>
2249         in this manual for details.
2250        </para>
2251       </listitem>
2252       <listitem>
2253        <para>
2254         <emphasis>Commit all files that were changed in the above steps!</emphasis>
2255        </para>
2256       </listitem>
2257       <listitem>
2258        <para>
2259          The <citetitle>User Manual</citetitle> is also used for context
2260          sensitive help for the CGI editor. This is version sensitive, so that
2261          the user will get appropriate help for his/her release. So with
2262          each release a fresh version should be uploaded to the webserver
2263          (this is in addition to the main <citetitle>User Manual</citetitle>
2264          link from the main page since we need to keep manuals for various
2265          versions available). The CGI pages will link to something like
2266          <literal>http://privoxy.org/$(VERSION)/user-manual/</literal>. This
2267          will need to be updated for each new release. There is no Makefile
2268          target for this at this time!!! It needs to be done manually.
2269        </para>
2270       </listitem>
2271       <listitem>
2272        <para>
2273         Tag all files in Git with the version number with
2274         <quote><command>cvs tag v_X_Y_Z</command></quote>.
2275         Don't use vX_Y_Z, ver_X_Y_Z, v_X.Y.Z (won't work) etc.
2276        </para>
2277       </listitem>
2278      <listitem>
2279        <para>
2280         On the webserver, copy the user manual to a new top-level directory
2281         called <filename>X.Y.Z</filename>. This ensures that help links from the CGI
2282         pages, which have the version as a prefix, will go into the right version of the manual.
2283         If this is a development branch release, also symlink <filename>X.Y.(Z-1)</filename>
2284         to <filename>X.Y.Z</filename> and <filename>X.Y.(Z+1)</filename> to
2285         <filename>.</filename> (i.e. dot).
2286        </para>
2287       </listitem>
2288       </itemizedlist>
2289     </sect2>
2290
2291     <sect2 id="therelease">
2292     <title>Building and Releasing the Packages</title>
2293      <para>
2294       Now the individual packages can be built and released. Note that for
2295       GPL reasons the first package to be released is always the source tarball.
2296      </para>
2297
2298      <para>
2299       For <emphasis>all</emphasis> types of packages, including the source tarball,
2300       <emphasis>you must make sure that you build from clean sources by exporting
2301       the right version from Git into an empty directory</emphasis> (just press return when
2302       asked for a password):
2303      </para>
2304
2305       <programlisting>
2306   mkdir dist # delete or choose different name if it already exists
2307   cd dist
2308   cvs -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa login
2309   cvs -z3 -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa export -r v_X_Y_Z current
2310 </programlisting>
2311
2312     <para>
2313      <emphasis>Do NOT change</emphasis> a single bit, including, but not limited to
2314      version information after export from Git. This is to make sure that
2315      all release packages, and with them, all future bug reports, are based
2316      on exactly the same code.
2317     </para>
2318
2319     <warning>
2320      <para>
2321       Every significant release of Privoxy has included at least one
2322       package that either had incorrect versions of files, missing files,
2323       or incidental leftovers from a previous build process that gave
2324       unknown numbers of users headaches to try to figure out what was
2325       wrong. PLEASE, make sure you are using pristene sources, and are
2326       following the prescribed process!
2327      </para>
2328     </warning>
2329
2330     <para>
2331      Please find additional instructions for the source tarball and the
2332      individual platform dependent binary packages below. And details
2333      on the Sourceforge release process below that.
2334     </para>
2335
2336     <sect3 id="pack-guidelines">
2337     <title>Note on Privoxy Packaging</title>
2338      <para>
2339       Please keep these general guidelines in mind when putting together
2340       your package. These apply to <emphasis>all</emphasis> platforms!
2341      </para>
2342       <itemizedlist>
2343        <listitem>
2344         <para>
2345           <application>Privoxy</application> <emphasis>requires</emphasis>
2346           write access to: all <filename>*.action</filename> files, all
2347           logfiles, and the <filename>trust</filename> file. You will
2348           need to determine the best way to do this for your platform.
2349         </para>
2350        </listitem>
2351        <listitem>
2352         <para>
2353           Please include up to date documentation. At a bare minimum:
2354         </para>
2355         <simplelist>
2356          <member>
2357           <filename>LICENSE</filename> (top-level directory)
2358          </member>
2359         </simplelist>
2360         <simplelist>
2361          <member>
2362           <filename>README</filename> (top-level directory)
2363          </member>
2364         </simplelist>
2365         <simplelist>
2366          <member>
2367           <filename>AUTHORS</filename> (top-level directory)
2368          </member>
2369         </simplelist>
2370         <simplelist>
2371          <member>
2372           <filename>man page</filename> (top-level directory, Unix-like
2373           platforms only)
2374          </member>
2375         </simplelist>
2376         <simplelist>
2377          <member>
2378           <filename>The User Manual</filename> (doc/webserver/user-manual/)
2379          </member>
2380         </simplelist>
2381         <simplelist>
2382          <member>
2383           <filename>FAQ</filename> (doc/webserver/faq/)
2384          </member>
2385         </simplelist>
2386         <para>
2387           Also suggested: <filename>Developer Manual</filename>
2388           (doc/webserver/developer-manual) and <filename>ChangeLog</filename>
2389           (top-level directory). <filename>FAQ</filename> and the manuals are
2390           HTML docs. There are also text versions in
2391           <filename>doc/text/</filename> which could conceivably also be
2392           included.
2393         </para>
2394         <para>
2395          The documentation has been designed such that the manuals are linked
2396          to each other from parallel directories, and should be packaged
2397          that way. <filename>privoxy-index.html</filename> can also be
2398          included and can serve as a focal point for docs and other links of
2399          interest (and possibly renamed to <filename>index.html</filename>).
2400          This should be one level up from the manuals. There is a link also
2401          on this page to an HTMLized version of the man page. To avoid 404 for
2402          this, it is in Git as
2403          <filename>doc/webserver/man-page/privoxy-man-page.html</filename>,
2404          and should be included along with the manuals. There is also a
2405          css stylesheets that can be included for better presentation:
2406          <filename>p_doc.css</filename>. This should be in the same directory
2407          with <filename>privoxy-index.html</filename>, (i.e. one level up from
2408          the manual directories).
2409         </para>
2410       </listitem>
2411       <listitem>
2412        <para>
2413         <filename>user.action</filename> and <filename>user.filter</filename>
2414         are designed for local preferences. Make sure these do not get overwritten!
2415         <filename>config</filename> should not be overwritten either. This
2416         has especially important configuration data in it.
2417         <filename>trust</filename> should be left in tact as well.
2418        </para>
2419       </listitem>
2420       <listitem>
2421        <para>
2422         Other configuration files (<filename>default.action</filename> and
2423         <filename>default.filter</filename>) should be installed as the new
2424         defaults, but all previously installed configuration files should be
2425         preserved as backups. This is just good manners :-) These files are
2426         likely to change between releases and contain important new features
2427         and bug fixes.
2428        </para>
2429      </listitem>
2430      <listitem>
2431       <para>
2432        Please check platform specific notes in this doc, if you haven't
2433        done <quote>Privoxy</quote> packaging before for other platform
2434        specific issues. Conversely, please add any notes that you know
2435        are important for your platform (or contact one of the doc
2436        maintainers to do this if you can't).
2437       </para>
2438     </listitem>
2439     <listitem>
2440      <para>
2441        Packagers should do a <quote>clean</quote> install of their
2442        package after building it. So any previous installs should be
2443        removed first to ensure the integrity of the newly built package.
2444        Then run the package for a while to make sure there are no
2445        obvious problems, before uploading.
2446      </para>
2447     </listitem>
2448
2449       </itemizedlist>
2450
2451     </sect3>
2452
2453     <sect3 id="newrelease-tarball"><title>Source Tarball</title>
2454       <para>
2455         First, <emphasis>make sure that you have freshly exported the right
2456         version into an empty directory</emphasis>. (See "Building and releasing
2457         packages" above). Then run:
2458       </para>
2459         <programlisting>
2460   cd current
2461   autoheader && autoconf && ./configure
2462 </programlisting>
2463       <para>
2464         Then do:
2465       </para>
2466         <programlisting>
2467   make tarball-dist
2468 </programlisting>
2469       <para>
2470         To upload the package to Sourceforge, simply issue
2471       </para>
2472         <programlisting>
2473   make tarball-upload
2474 </programlisting>
2475       <para>
2476         Go to the displayed URL and release the file publicly on Sourceforge.
2477         For the change log field, use the relevant section of the
2478         <filename>ChangeLog</filename> file.
2479       </para>
2480     </sect3>
2481
2482     <sect3 id="newrelease-rpm"><title>SuSE, Conectiva or Red Hat RPM</title>
2483       <para>
2484         In following text, replace <replaceable class="parameter">dist</replaceable>
2485         with either <quote>rh</quote> for Red Hat or <quote>suse</quote> for SuSE.
2486       </para>
2487       <para>
2488         First, <emphasis>make sure that you have freshly exported the right
2489         version into an empty directory</emphasis>. (See "Building and releasing
2490         packages" above).
2491       </para>
2492       <para>
2493         As the only exception to not changing anything after export from Git,
2494         now examine the file <filename>privoxy-</filename><replaceable class="parameter">dist</replaceable><filename>.spec</filename>
2495         and make sure that the version information and the RPM release number are
2496         correct. The RPM release numbers for each version start at one. Hence it must
2497         be reset to one if this is the first RPM for
2498         <replaceable class="parameter">dist</replaceable> which is built from version
2499         X.Y.Z. Check the
2500         <ulink url="https://sourceforge.net/project/showfiles.php?group_id=11118">file
2501         list</ulink> if unsure. Else, it must be set to the highest already available RPM
2502         release number for that version plus one.
2503       </para>
2504       <para>
2505         Then run:
2506       </para>
2507         <programlisting>
2508   cd current
2509   autoheader && autoconf && ./configure
2510 </programlisting>
2511       <para>
2512         Then do
2513       </para>
2514         <programlisting>
2515   make <replaceable class="parameter">dist</replaceable>-dist
2516 </programlisting>
2517       <para>
2518         To upload the package to Sourceforge, simply issue
2519       </para>
2520         <programlisting>
2521   make <replaceable class="parameter">dist</replaceable>-upload <replaceable class="parameter">rpm_packagerev</replaceable>
2522 </programlisting>
2523       <para>
2524         where <replaceable class="parameter">rpm_packagerev</replaceable> is the
2525         RPM release number as determined above.
2526         Go to the displayed URL and release the file publicly on Sourceforge.
2527         Use the release notes and change log from the source tarball package.
2528       </para>
2529     </sect3>
2530
2531     <sect3 id="newrelease-os2"><title>OS/2</title>
2532       <para>
2533         First, <emphasis>make sure that you have freshly exported the right
2534         version into an empty directory</emphasis>. (See "Building and releasing
2535         packages" above). Then get the OS/2 Setup module:
2536       </para>
2537         <programlisting>
2538   cvs -z3 -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa co os2setup
2539 </programlisting>
2540       <para>
2541         You will need a mix of development tools.
2542         The main compilation takes place with IBM Visual Age C++.
2543         Some ancillary work takes place with GNU tools, available from
2544         various sources like hobbes.nmsu.edu.
2545         Specificially, you will need <filename>autoheader</filename>,
2546         <filename>autoconf</filename> and <filename>sh</filename> tools.
2547         The packaging takes place with WarpIN, available from various sources, including
2548         its home page: <ulink url="http://www.xworkplace.org/">xworkplace</ulink>.
2549       </para>
2550       <para>
2551         Change directory to the <filename>os2setup</filename> directory.
2552         Edit the os2build.cmd file to set the final executable filename.
2553         For example,
2554       </para>
2555         <programlisting>
2556   installExeName='privoxyos2_setup_X.Y.Z.exe'
2557 </programlisting>
2558       <para>
2559         Next, edit the <filename>IJB.wis</filename> file so the release number matches
2560         in the <filename>PACKAGEID</filename> section:
2561       </para>
2562         <programlisting>
2563   PACKAGEID="Privoxy Team\Privoxy\Privoxy Package\X\Y\Z"
2564 </programlisting>
2565       <para>
2566         You're now ready to build.  Run:
2567       </para>
2568         <programlisting>
2569   os2build
2570 </programlisting>
2571       <para>
2572          You will find the  WarpIN-installable executable in the
2573         <filename>./files</filename> directory. Upload this anonymously to
2574          <filename>uploads.sourceforge.net/incoming</filename>, create a release
2575          for it, and you're done. Use the release notes and Change Log from the
2576          source tarball package.
2577       </para>
2578     </sect3>
2579
2580     <sect3 id="newrelease-solaris"><title>Solaris</title>
2581       <para>
2582         Login to Sourceforge's compilefarm via ssh:
2583       </para>
2584         <programlisting>
2585   ssh cf.sourceforge.net
2586 </programlisting>
2587       <para>
2588         Choose the right operating system (not the Debian one).
2589         When logged in, <emphasis>make sure that you have freshly exported the right
2590         version into an empty directory</emphasis>. (See "Building and releasing
2591         packages" above). Then run:
2592       </para>
2593         <programlisting>
2594   cd current
2595   autoheader && autoconf && ./configure
2596 </programlisting>
2597       <para>
2598         Then run
2599       </para>
2600         <programlisting>
2601   gmake solaris-dist
2602 </programlisting>
2603       <para>
2604         which creates a gzip'ed tar archive. Sadly, you cannot use <command>make
2605         solaris-upload</command> on the Sourceforge machine (no ncftpput). You now have
2606         to manually upload the archive to Sourceforge's ftp server and release
2607         the file publicly. Use the release notes and Change Log from the
2608         source tarball package.
2609       </para>
2610     </sect3>
2611
2612     <sect3 id="NEWRELEASE-WINDOWS"><title>Windows</title>
2613     <!-- so annoying: docbook generated ids are UPPERCASE so
2614                 links to "whatever.html#idtag" DO NOT WORK!!
2615          They have to be "whatever.html#IDTAG".
2616          So be consistent and use uppercase on the definition.
2617       -->
2618       <para>
2619         Note that the docbook generated files might need some hand editing,
2620         so the Windows build makefile does not rebuild the docs.
2621       </para>
2622
2623       <para>
2624         First, <emphasis>make sure that you have freshly exported the right
2625         version into an empty directory</emphasis>. (See "Building and releasing
2626         packages" above).
2627         <!-- XXX  ??? are we still basing releases off a tarball???
2628           -->
2629       </para>
2630       <para>
2631         Then you can build the package.  This is fully automated, and is
2632         controlled by <filename>windows/GNUmakefile</filename>.
2633         All you need to do is:
2634       </para>
2635       <programlisting>
2636   cd windows
2637   make
2638 </programlisting>
2639       <para>
2640         Now you can manually rename <filename>privoxy_setup.exe</filename> to
2641         <filename>privoxy_setup_X.Y.Z.exe</filename>, and the <filename>build</filename>
2642         directory to <filename>privoxy_X.Y.Z</filename>.
2643         Create a .zip file of the newly renamed <filename>privoxy_X.Y.Z</filename> directory,
2644         GPG sign the installer and zip file,
2645       </para>
2646       <programlisting>
2647   $ gpg --armor --detach --sign <filename>privoxy_setup_X.Y.Z.exe</filename>
2648   $ gpg --armor --detach --sign <filename>privoxy_X.Y.Z.zip</filename>
2649 </programlisting>
2650       <para>
2651         and upload the files to SourceForge.
2652       </para>
2653
2654       <para>
2655         When releasing the package on SourceForge, use the release notes
2656         and Change Log from the source tarball package.
2657       </para>
2658     </sect3>
2659
2660     <sect3 id="newrelease-debian"><title>Debian</title>
2661       <para>
2662         First, <emphasis>make sure that you have freshly exported the
2663         right version into an empty directory</emphasis>. (See
2664         "Building and releasing packages" above).  Then add a log
2665         entry to <filename>debian/changelog</filename>, if it is not
2666         already there, for example by running:
2667       </para>
2668         <programlisting>
2669   debchange -v &p-version;-&p-status;-1 "New upstream version"
2670 </programlisting>
2671       <para>
2672         Then, run:
2673       </para>
2674         <programlisting>
2675   dpkg-buildpackage -rfakeroot -us -uc -b
2676 </programlisting>
2677       <para>
2678         This will create
2679         <filename>../privoxy_&p-version;-&p-status;-1_i386.deb</filename>
2680         which can be uploaded.  To upload the package to Sourceforge, simply
2681         issue
2682       </para>
2683         <programlisting>
2684   make debian-upload
2685 </programlisting>
2686     </sect3>
2687
2688     <sect3 id="newrelease-macosx"><title>Mac OS X</title>
2689       <para>
2690         First, <emphasis>make sure that you have freshly exported the right
2691         version into an empty directory</emphasis>. (See "Building and releasing
2692         packages" above).
2693       </para>
2694       <para>
2695         There are three modules available in the Git repository for use on Mac
2696         OS X, though technically only two of them generate a release (the other
2697         can be used to install from source).
2698       </para>
2699       <sect4 id="OS-X-OSXPackageBuilder-module">
2700       <title>OSXPackageBuilder module</title>
2701         <para>
2702           The OSXPackageBuilder module generates OS X installer packages
2703           supporting all Macs running OS X 10.4 and above. Obtain it from Git as
2704           follows into a folder parallel to the exported privoxy source:
2705         </para>
2706           <programlisting>
2707   cvs -z3 -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa co OSXPackageBuilder
2708 </programlisting>
2709         <para>
2710           The module contains complete instructions on its usage in the file
2711           <filename>OS X Package Builder HOWTO.txt</filename>.
2712         </para>
2713         <para>
2714           Once the package(s) have been generated, you can then upload them
2715           directly to the Files section of the Sourceforge project in the
2716           Macintosh (OS X) folder. Each new version release of Privoxy should
2717           have a new subfolder created in which to store its files. Please
2718           ensure that the folder contains a readme file that makes it clear
2719           which package is for whichversion of OS X.
2720         </para>
2721       </sect4>
2722       <sect4 id="OS-X-osxsetup-module">
2723       <title>osxsetup module (DEPRECATED)</title>
2724         <para>
2725           <emphasis>This module is deprecated since the installer it generates
2726           places all Privoxy files in one folder in a non-standard location, and
2727           supports only Intel Macs running OS X 10.6 or higher.</emphasis>
2728         </para>
2729         <para>
2730           Check out the module from Git as follows into a folder parallel to the
2731           exported privoxy source:
2732         </para>
2733           <programlisting>
2734   cvs -z3 -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa co osxsetup
2735 </programlisting>
2736         <para>
2737           Then run:
2738         </para>
2739           <programlisting>
2740   cd osxsetup
2741   build
2742 </programlisting>
2743         <para>
2744           This will run <filename>autoheader</filename>, <filename>autoconf</filename>
2745           and <filename>configure</filename> as well as <filename>make</filename>.
2746           Finally, it will copy over the necessary files to the ./osxsetup/files
2747           directory for further processing by <filename>PackageMaker</filename>.
2748         </para>
2749         <para>
2750         Bring up PackageMaker with the PrivoxyPackage.pmsp definition file,
2751         modify the package name to match the release, and hit the "Create
2752         package" button. If you specify ./Privoxy.pkg as the output package
2753         name, you can then create the distributable zip file with the command:
2754         </para>
2755           <programlisting>
2756   zip -r privoxyosx_setup_x.y.z.zip Privoxy.pkg
2757 </programlisting>
2758         <para>
2759           You can then upload this file directly to the Files section of the
2760           Sourceforge project in the Macintosh (OS X) folder. Each new version
2761           release of Privoxy should have a new subfolder created in which to
2762           store its files.
2763           Please ensure that the folder contains a readme file that makes it
2764           clear which version(s) of OS X the package supports.
2765         </para>
2766       </sect4>
2767       <sect4 id="OS-X-macsetup-module">
2768       <title>macsetup module</title>
2769         <para>
2770           The macsetup module is ideal if you wish to build and install Privoxy
2771           from source on a single machine.
2772         </para>
2773         <para>
2774           Check out the module from Git as follows into a folder parallel to the
2775           exported privoxy source:
2776         </para>
2777           <programlisting>
2778   cvs -z3 -d:pserver:anonymous@ijbswa.cvs.sourceforge.net:/cvsroot/ijbswa co macsetup
2779 </programlisting>
2780         <para>
2781           The module contains complete instructions on its usage in its
2782           <filename>README</filename> file. The end result will be the
2783           exported version of Privoxy installed on the build machine.
2784         </para>
2785       </sect4>
2786     </sect3>
2787
2788     <sect3 id="newrelease-freebsd"><title>FreeBSD</title>
2789       <para>
2790         Update the www/privoxy port and submit a diff upstream.
2791         For details see the <ulink url="https://www.freebsd.org/doc/en_US.ISO8859-1/books/porters-handbook/">FreeBSD Porter's Handbook</ulink>.
2792       </para>
2793     </sect3>
2794    </sect2>
2795
2796    <sect2 id="releasing">
2797    <title>Uploading and Releasing Your Package</title>
2798     <para>
2799       After the package is ready, it is time to upload it
2800       to SourceForge, and go through the release steps. The upload
2801       is done via FTP:
2802     </para>
2803     <itemizedlist>
2804      <listitem>
2805       <para>
2806         Upload to: <ulink url="ftp://upload.sourceforge.net/incoming">ftp://upload.sourceforge.net/incoming</ulink>
2807       </para>
2808      </listitem>
2809      <listitem>
2810       <para>
2811        user: <literal>anonymous</literal>
2812       </para>
2813      </listitem>
2814      <listitem>
2815       <para>
2816        password: <literal>ijbswa-developers@lists.sourceforge.net</literal>
2817       </para>
2818      </listitem>
2819     </itemizedlist>
2820     <para>
2821      Or use the <command>make</command> targets as described above.
2822     </para>
2823     <para>
2824      Once this done go to
2825      <ulink url="https://sourceforge.net/project/admin/editpackages.php?group_id=11118">
2826                  https://sourceforge.net/project/admin/editpackages.php?group_id=11118</ulink>,
2827      making sure you are logged in. Find your target platform in the
2828      second column, and click <literal>Add Release</literal>. You will
2829      then need to create a new release for your package, using the format
2830      of <literal>$VERSION ($CODE_STATUS)</literal>, e.g. <emphasis>&p-version;
2831      (beta)</emphasis>.
2832     </para>
2833     <para>
2834      Now just follow the prompts. Be sure to add any appropriate Release
2835      notes. You should see your freshly uploaded packages in
2836      <quote>Step 2. Add Files To This Release</quote>. Check the
2837      appropriate box(es). Remember at each step to hit the
2838      <quote>Refresh/Submit</quote> buttons! You should now see your
2839      file(s) listed in Step 3. Fill out the forms with the appropriate
2840      information for your platform, being sure to hit <quote>Update</quote>
2841      for each file. If anyone is monitoring your platform, check the
2842      <quote>email</quote> box at the very bottom to notify them of
2843      the new package. This should do it!
2844     </para>
2845     <para>
2846      If you have made errors, or need to make changes, you can go through
2847      essentially the same steps, but select <literal>Edit Release</literal>,
2848      instead of <literal>Add Release</literal>.
2849     </para>
2850    </sect2>
2851
2852     <sect2 id="afterrelease">
2853     <title>After the Release</title>
2854      <para>
2855       When all (or: most of the) packages have been uploaded and made available,
2856       send an email to the
2857       <ulink url="mailto:privoxy-announce@lists.privoxy.org">announce mailing
2858       list</ulink>, Subject: "Version X.Y.Z available for download". Be sure to
2859       include the
2860       <ulink url="https://sourceforge.net/project/showfiles.php?group_id=11118">
2861       download location</ulink>, the release notes and the Changelog. Also, post an
2862       updated News item on the project page Sourceforge, and update the Home
2863       page and docs linked from the Home page (see below). Other news sites
2864       and release oriented sites, such as Freshmeat, should also be notified.
2865      </para>
2866      <para>
2867       Then update the source code for the next version to be released:
2868      </para>
2869      <itemizedlist>
2870       <listitem>
2871        <para>
2872         Increment the version number and change the code status to "UNRELEASED"
2873         in <filename>configure.in</filename>
2874        </para>
2875       </listitem>
2876       <listitem>
2877        <para>
2878         Rebuild configure (<quote><command>autoheader && autoconf</command></quote>)
2879         and GNUMakefile (<quote><command>./configure</command></quote>)
2880        </para>
2881       </listitem>
2882       <listitem>
2883        <para>
2884         <quote><command>make dok-release</command></quote> to update the sgml documentation source files.
2885        </para>
2886       </listitem>
2887       <listitem>
2888        <para>
2889         Commit all your changes.
2890        </para>
2891       </listitem>
2892      </itemizedlist>
2893
2894    </sect2>
2895
2896   </sect1>
2897
2898   <!--   ~~~~~       New section      ~~~~~     -->
2899   <sect1 id="webserver-update"><title>Update the Webserver</title>
2900    <para>
2901     The webserver should be updated at least with each stable release. When
2902     updating, please follow these steps to make sure that no broken links,
2903     inconsistent contents or permission problems will occur (as it has many
2904     times in the past!):
2905    </para>
2906    <para>
2907     If you have changed anything in the stable-branch documentation source
2908     SGML files, do:
2909    </para>
2910     <programlisting>
2911   make dok
2912 </programlisting>
2913    <para>
2914     That will generate <filename>doc/webserver/user-manual</filename>,
2915     <filename>doc/webserver/developer-manual</filename>,
2916     <filename>doc/webserver/faq</filename>,
2917     <filename>doc/webserver/index.html</filename> automatically.
2918    </para>
2919    <para>
2920     If you changed the manual page sources, generate
2921     <filename>doc/webserver/man-page/privoxy-man-page.html</filename>
2922     by running <quote><command>make man</command></quote>. (This is
2923     a separate target due to dependencies on some obscure perl scripts
2924     [now in Git, but not well tested]. See comments in <filename>GNUmakefile</filename>.)
2925    </para>
2926    <para>
2927     If you want to add new files to the webserver, create them locally in
2928     the <filename>doc/webserver/*</filename> directory (or
2929     create new directories under <filename>doc/webserver</filename>).
2930    </para>
2931    <para>
2932     Next, commit any changes from the above steps to Git. All set?
2933     If these are docs in the stable branch, then do:
2934    </para>
2935     <programlisting>
2936   make webserver
2937 </programlisting>
2938    <para>
2939     This will do the upload to <ulink url="https://www.privoxy.org/">the
2940     webserver</ulink> (www.privoxy.org) and ensure all files and directories
2941     there are group writable.
2942    </para>
2943    <para>
2944     Please do <emphasis>NOT</emphasis> use any other means of transferring
2945     files to the webserver to avoid permission problems. Also, please do not
2946     upload docs from development branches or versions. The publicly posted
2947     docs should be in sync with the last official release.
2948    </para>
2949   </sect1>
2950
2951   <!--
2952
2953   This program is free software; you can redistribute it
2954   and/or modify it under the terms of the GNU General
2955   Public License as published by the Free Software
2956   Foundation; either version 2 of the License, or (at
2957   your option) any later version.
2958
2959   This program is distributed in the hope that it will
2960   be useful, but WITHOUT ANY WARRANTY; without even the
2961   implied warranty of MERCHANTABILITY or FITNESS FOR A
2962   PARTICULAR PURPOSE.  See the GNU General Public
2963   License for more details.
2964
2965   The GNU General Public License should be included with
2966   this file.  If not, you can view it at
2967   http://www.gnu.org/copyleft/gpl.html
2968   or write to the Free Software Foundation, Inc., 59
2969   Temple Place - Suite 330, Boston, MA  02111-1307, USA.
2970
2971   -->
2972
2973 </article>