Some updates regarding header filtering,
[privoxy.git] / pcrs.c
diff --git a/pcrs.c b/pcrs.c
index 8b23322..ee51d0a 100644 (file)
--- a/pcrs.c
+++ b/pcrs.c
@@ -1,4 +1,4 @@
-const char pcrs_rcs[] = "$Id: pcrs.c,v 1.16 2001/11/30 21:32:14 jongfoster Exp $";
+const char pcrs_rcs[] = "$Id: pcrs.c,v 1.23 2006/12/29 17:53:05 fabiankeil Exp $";
 
 /*********************************************************************
  *
@@ -33,6 +33,43 @@ const char pcrs_rcs[] = "$Id: pcrs.c,v 1.16 2001/11/30 21:32:14 jongfoster Exp $
  *
  * Revisions   :
  *    $Log: pcrs.c,v $
+ *    Revision 1.23  2006/12/29 17:53:05  fabiankeil
+ *    Fixed gcc43 conversion warnings.
+ *
+ *    Revision 1.22  2006/12/24 17:34:20  fabiankeil
+ *    Add pcrs_strerror() message for PCRE_ERROR_MATCHLIMIT
+ *    and give a hint why an error code might be unknown.
+ *
+ *    Catch NULL subjects early in pcrs_execute().
+ *
+ *    Revision 1.21  2006/07/18 14:48:47  david__schmidt
+ *    Reorganizing the repository: swapping out what was HEAD (the old 3.1 branch)
+ *    with what was really the latest development (the v_3_0_branch branch)
+ *
+ *    Revision 1.19.2.4  2005/05/07 21:50:55  david__schmidt
+ *    A few memory leaks plugged (mostly on error paths)
+ *
+ *    Revision 1.19.2.3  2003/12/04 12:32:45  oes
+ *    Append a trailing nullbyte to result to facilitate string processing
+ *
+ *    Revision 1.19.2.2  2002/10/08 16:22:28  oes
+ *    Bugfix: Need to check validity of backreferences explicitly,
+ *    because when max_matches are reached and matches is expanded,
+ *    realloc() does not zero the memory. Fixes Bug # 606227
+ *
+ *    Revision 1.19.2.1  2002/08/10 11:23:40  oes
+ *    Include prce.h via project.h, where the appropriate
+ *    source will have been selected
+ *
+ *    Revision 1.19  2002/03/08 14:47:48  oes
+ *    Cosmetics
+ *
+ *    Revision 1.18  2002/03/08 14:17:14  oes
+ *    Fixing -Wconversion warnings
+ *
+ *    Revision 1.17  2002/03/08 13:45:48  oes
+ *    Hiding internal functions
+ *
  *    Revision 1.16  2001/11/30 21:32:14  jongfoster
  *    Fixing signed/unsigned comparison (Andreas please check this!)
  *    One tab->space
@@ -120,7 +157,12 @@ const char pcrs_rcs[] = "$Id: pcrs.c,v 1.16 2001/11/30 21:32:14 jongfoster Exp $
  *********************************************************************/
 \f
 
-#include <pcre.h>
+/*
+ * Include project.h just so that the right pcre.h gets
+ * included from there
+ */
+#include "project.h"
+
 #include <string.h>
 #include <ctype.h>
 
@@ -167,6 +209,13 @@ const char *pcrs_strerror(const int error)
          case PCRE_ERROR_NOSUBSTRING:  return "(pcre:) Fire in power supply"; 
          case PCRE_ERROR_NOMATCH:      return "(pcre:) Water in power supply";
 
+#ifdef PCRE_ERROR_MATCHLIMIT
+         /*
+          * Only reported by PCRE versions newer than our own.
+          */
+         case PCRE_ERROR_MATCHLIMIT:   return "(pcre:) Match limit reached";
+#endif /* def PCRE_ERROR_MATCHLIMIT */
+
          /* PCRS errors: */
          case PCRS_ERR_NOMEM:          return "(pcrs:) No memory";
          case PCRS_ERR_CMDSYNTAX:      return "(pcrs:) Syntax error while parsing command";
@@ -174,8 +223,13 @@ const char *pcrs_strerror(const int error)
          case PCRS_ERR_BADJOB:         return "(pcrs:) Bad job - NULL job, pattern or substitute";
          case PCRS_WARN_BADREF:        return "(pcrs:) Backreference out of range";
 
-         /* What's that? */
-         default:  return "Unknown error";
+         /* 
+          * XXX: With the exception of PCRE_ERROR_MATCHLIMIT we
+          * only catch PCRE errors that can happen with our internal
+          * version. If Privoxy is linked against a newer
+          * PCRE version all bets are off ...
+          */
+         default:  return "Unknown error. Privoxy out of sync with PCRE?";
       }
    }
    /* error >= 0: No error */
@@ -211,7 +265,7 @@ static int pcrs_parse_perl_options(const char *optstring, int *flags)
 
    if (NULL == optstring) return 0;
 
-   for (i=0; i < strlen(optstring); i++)
+   for (i = 0; i < strlen(optstring); i++)
    {
       switch(optstring[i])
       {
@@ -258,7 +312,8 @@ static int pcrs_parse_perl_options(const char *optstring, int *flags)
  *********************************************************************/
 static pcrs_substitute *pcrs_compile_replacement(const char *replacement, int trivialflag, int capturecount, int *errptr)
 {
-   int length, i, k, l, quoted;
+   int i, k, l, quoted;
+   size_t length;
    char *text;
    pcrs_substitute *r;
 
@@ -299,7 +354,7 @@ static pcrs_substitute *pcrs_compile_replacement(const char *replacement, int tr
    if (trivialflag)
    {
       text = strncpy(text, replacement, length + 1);
-      k = length;
+      k = (int)length;
    }
 
    /*
@@ -307,7 +362,7 @@ static pcrs_substitute *pcrs_compile_replacement(const char *replacement, int tr
     */
    else
    {
-      while(i < length)
+      while (i < (int)length)
       {
          /* Quoting */
          if (replacement[i] == '\\')
@@ -321,7 +376,7 @@ static pcrs_substitute *pcrs_compile_replacement(const char *replacement, int tr
             {
                if (replacement[i+1] && strchr("tnrfae0", replacement[i+1]))
                {
-                  switch(replacement[++i])
+                  switch (replacement[++i])
                   {
                   case 't':
                      text[k++] = '\t';
@@ -357,15 +412,15 @@ static pcrs_substitute *pcrs_compile_replacement(const char *replacement, int tr
          }
 
          /* Backreferences */
-         if (replacement[i] == '$' && !quoted && i < length - 1)
+         if (replacement[i] == '$' && !quoted && i < (int)(length - 1))
          {
             char *symbol, symbols[] = "'`+&";
-            r->block_length[l] = k - r->block_offset[l];
+            r->block_length[l] = (size_t)(k - r->block_offset[l]);
 
             /* Numerical backreferences */
-            if (isdigit((int) replacement[i + 1]))
+            if (isdigit((int)replacement[i + 1]))
             {
-               while (i < length && isdigit((int) replacement[++i]))
+               while (i < (int)length && isdigit((int)replacement[++i]))
                {
                   r->backref[l] = r->backref[l] * 10 + replacement[i] - 48;
                }
@@ -425,7 +480,8 @@ plainchar:
     */
    r->text = text;
    r->backrefs = l;
-   r->block_length[l] = k - r->block_offset[l];
+   r->length = (size_t)k;
+   r->block_length[l] = (size_t)(k - r->block_offset[l]);
 
    return r;
 
@@ -515,7 +571,8 @@ void pcrs_free_joblist(pcrs_job *joblist)
  *********************************************************************/
 pcrs_job *pcrs_compile_command(const char *command, int *errptr)
 {
-   int i, k, l, limit, quoted = FALSE;
+   int i, k, l, quoted = FALSE;
+   size_t limit;
    char delimiter;
    char *tokens[4];   
    pcrs_job *newjob;
@@ -538,7 +595,7 @@ pcrs_job *pcrs_compile_command(const char *command, int *errptr)
 
    tokens[l] = (char *) malloc(limit + 1);
 
-   for (i=0; i <= limit; i++)
+   for (i = 0; i <= (int)limit; i++)
    {
       
       if (command[i] == delimiter && !quoted)
@@ -693,26 +750,30 @@ pcrs_job *pcrs_compile(const char *pattern, const char *substitute, const char *
  *                the joblist to the subject.
  *                The subject itself is left untouched, memory for the result
  *                is malloc()ed and it is the caller's responsibility to free
- *                the result when it's no longer needed.
+ *                the result when it's no longer needed. 
+ *
+ *                Note: For convenient string handling, a null byte is
+ *                      appended to the result. It does not count towards the
+ *                      result_length, though.
+ *
  *
  * Parameters  :
  *          1  :  joblist = the chained list of pcrs_jobs to be executed
  *          2  :  subject = the subject string
  *          3  :  subject_length = the subject's length 
- *                INCLUDING the terminating zero, if string!
  *          4  :  result = char** for returning  the result 
  *          5  :  result_length = size_t* for returning the result's length
  *
  * Returns     :  On success, the number of substitutions that were made.
  *                 May be > 1 if job->flags contained PCRS_GLOBAL
- *                On failiure, the (negative) pcre error code describing the
- *                 failiure, which may be translated to text using pcrs_strerror().
+ *                On failure, the (negative) pcre error code describing the
+ *                 failure, which may be translated to text using pcrs_strerror().
  *
  *********************************************************************/
 int pcrs_execute_list(pcrs_job *joblist, char *subject, size_t subject_length, char **result, size_t *result_length)
 {
    pcrs_job *job;
-   char *old, *new;
+   char *old, *new = NULL;
    int hits, total_hits;
  
    old = subject;
@@ -752,18 +813,21 @@ int pcrs_execute_list(pcrs_job *joblist, char *subject, size_t subject_length, c
  *                is malloc()ed and it is the caller's responsibility to free
  *                the result when it's no longer needed.
  *
+ *                Note: For convenient string handling, a null byte is
+ *                      appended to the result. It does not count towards the
+ *                      result_length, though.
+ *
  * Parameters  :
  *          1  :  job = the pcrs_job to be executed
  *          2  :  subject = the subject (== original) string
  *          3  :  subject_length = the subject's length 
- *                INCLUDING the terminating zero, if string!
  *          4  :  result = char** for returning  the result 
  *          5  :  result_length = size_t* for returning the result's length
  *
  * Returns     :  On success, the number of substitutions that were made.
  *                 May be > 1 if job->flags contained PCRS_GLOBAL
- *                On failiure, the (negative) pcre error code describing the
- *                 failiure, which may be translated to text using pcrs_strerror().
+ *                On failure, the (negative) pcre error code describing the
+ *                 failure, which may be translated to text using pcrs_strerror().
  *
  *********************************************************************/
 int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **result, size_t *result_length)
@@ -772,9 +836,9 @@ int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **res
        offset,
        i, k,
        matches_found,
-       newsize,
        submatches,
        max_matches = PCRS_MAX_MATCH_INIT;
+   size_t newsize;
    pcrs_match *matches, *dummy;
    char *result_offset;
 
@@ -783,59 +847,59 @@ int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **res
    /* 
     * Sanity check & memory allocation
     */
-   if (job == NULL || job->pattern == NULL || job->substitute == NULL)
+   if (job == NULL || job->pattern == NULL || job->substitute == NULL || NULL == subject)
    {
       *result = NULL;
       return(PCRS_ERR_BADJOB);
    }
 
-   if (NULL == (matches = (pcrs_match *)malloc(max_matches * sizeof(pcrs_match))))
+   if (NULL == (matches = (pcrs_match *)malloc((size_t)max_matches * sizeof(pcrs_match))))
    {
       *result = NULL;
       return(PCRS_ERR_NOMEM);
    }
-   memset(matches, '\0', max_matches * sizeof(pcrs_match));
+   memset(matches, '\0', (size_t)max_matches * sizeof(pcrs_match));
 
 
    /*
     * Find the pattern and calculate the space
     * requirements for the result
     */
-   newsize=subject_length;
+   newsize = subject_length;
 
-   while ((submatches = pcre_exec(job->pattern, job->hints, subject, subject_length, offset, 0, offsets, 3 * PCRS_MAX_SUBMATCHES)) > 0)
+   while ((submatches = pcre_exec(job->pattern, job->hints, subject, (int)subject_length, offset, 0, offsets, 3 * PCRS_MAX_SUBMATCHES)) > 0)
    {
       job->flags |= PCRS_SUCCESS;
       matches[i].submatches = submatches;
 
-      for (k=0; k < submatches; k++)
+      for (k = 0; k < submatches; k++)
       {
          matches[i].submatch_offset[k] = offsets[2 * k];
 
          /* Note: Non-found optional submatches have length -1-(-1)==0 */
-         matches[i].submatch_length[k] = offsets[2 * k + 1] - offsets[2 * k]
+         matches[i].submatch_length[k] = (size_t)(offsets[2 * k + 1] - offsets[2 * k])
 
          /* reserve mem for each submatch as often as it is ref'd */
-         newsize += matches[i].submatch_length[k] * job->substitute->backref_count[k]; 
+         newsize += matches[i].submatch_length[k] * (size_t)job->substitute->backref_count[k];
       }
       /* plus replacement text size minus match text size */
-      newsize += strlen(job->substitute->text) - matches[i].submatch_length[0]; 
+      newsize += job->substitute->length - matches[i].submatch_length[0]; 
 
       /* chunk before match */
       matches[i].submatch_offset[PCRS_MAX_SUBMATCHES] = 0;
-      matches[i].submatch_length[PCRS_MAX_SUBMATCHES] = offsets[0];
-      newsize += offsets[0] * job->substitute->backref_count[PCRS_MAX_SUBMATCHES];
+      matches[i].submatch_length[PCRS_MAX_SUBMATCHES] = (size_t)offsets[0];
+      newsize += (size_t)offsets[0] * (size_t)job->substitute->backref_count[PCRS_MAX_SUBMATCHES];
 
       /* chunk after match */
       matches[i].submatch_offset[PCRS_MAX_SUBMATCHES + 1] = offsets[1];
-      matches[i].submatch_length[PCRS_MAX_SUBMATCHES + 1] = subject_length - offsets[1] - 1;
-      newsize += (subject_length - offsets[1]) * job->substitute->backref_count[PCRS_MAX_SUBMATCHES + 1];
+      matches[i].submatch_length[PCRS_MAX_SUBMATCHES + 1] = subject_length - (size_t)offsets[1] - 1;
+      newsize += (subject_length - (size_t)offsets[1]) * (size_t)job->substitute->backref_count[PCRS_MAX_SUBMATCHES + 1];
 
       /* Storage for matches exhausted? -> Extend! */
       if (++i >= max_matches)
       {
-         max_matches = (int) (max_matches * PCRS_MAX_MATCH_GROW);
-         if (NULL == (dummy = (pcrs_match *)realloc(matches, max_matches * sizeof(pcrs_match))))
+         max_matches = (int)(max_matches * PCRS_MAX_MATCH_GROW);
+         if (NULL == (dummy = (pcrs_match *)realloc(matches, (size_t)max_matches * sizeof(pcrs_match))))
          {
             free(matches);
             *result = NULL;
@@ -849,9 +913,6 @@ int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **res
 
       /* Don't loop on empty matches */
       if (offsets[1] == offset)
-         /* FIXME: is offset an int or a size_t?  Previous line compares
-          * against int, the next one compares against size_t.
-          */
          if ((size_t)offset < subject_length)
             offset++;
          else
@@ -870,13 +931,18 @@ int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **res
 
 
    /* 
-    * Get memory for the result
+    * Get memory for the result (must be freed by caller!)
+    * and append terminating null byte.
     */
-   if ((*result = (char *)malloc(newsize)) == NULL)   /* must be free()d by caller */
+   if ((*result = (char *)malloc(newsize + 1)) == NULL)
    {
       free(matches);
       return PCRS_ERR_NOMEM;
    }
+   else
+   {
+      (*result)[newsize] = '\0';
+   }
 
 
    /* 
@@ -885,14 +951,14 @@ int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **res
    offset = 0;
    result_offset = *result;
 
-   for (i=0; i < matches_found; i++)
+   for (i = 0; i < matches_found; i++)
    {
       /* copy the chunk preceding the match */
-      memcpy(result_offset, subject + offset, matches[i].submatch_offset[0] - offset); 
+      memcpy(result_offset, subject + offset, (size_t)(matches[i].submatch_offset[0] - offset)); 
       result_offset += matches[i].submatch_offset[0] - offset;
 
       /* For every segment of the substitute.. */
-      for (k=0; k <= job->substitute->backrefs; k++)
+      for (k = 0; k <= job->substitute->backrefs; k++)
       {
          /* ...copy its text.. */
          memcpy(result_offset, job->substitute->text + job->substitute->block_offset[k], job->substitute->block_length[k]);
@@ -902,7 +968,9 @@ int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **res
          if (k != job->substitute->backrefs
              /* ..in legal range.. */
              && job->substitute->backref[k] < PCRS_MAX_SUBMATCHES + 2
-             /* ..and referencing a nonempty match.. */
+             /* ..and referencing a real submatch.. */
+             && job->substitute->backref[k] < matches[i].submatches
+             /* ..that is nonempty.. */
              && matches[i].submatch_length[job->substitute->backref[k]] > 0)
          {
             /* ..copy the submatch that is ref'd. */
@@ -914,11 +982,11 @@ int pcrs_execute(pcrs_job *job, char *subject, size_t subject_length, char **res
             result_offset += matches[i].submatch_length[job->substitute->backref[k]];
          }
       }
-      offset =  matches[i].submatch_offset[0] + matches[i].submatch_length[0];
+      offset =  matches[i].submatch_offset[0] + (int)matches[i].submatch_length[0];
    }
 
    /* Copy the rest. */
-   memcpy(result_offset, subject + offset, subject_length - offset);
+   memcpy(result_offset, subject + offset, subject_length - (size_t)offset);
 
    *result_length = newsize;
    free(matches);