utils/create-package-feed.pl

   1 #!/usr/local/bin/perl
   2 #< LICENSE: WTFPL >
   3 use warnings;
   4 use strict;
   5 use Digest::SHA;
   6 my @months = qw(Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec);
   7 my @days   = qw(Sun Mon Tue Wed Thu Fri Sat Sun);
   8
   9 my $base_dlurl = 'https://www.privoxy.org/sf-download-mirror/';
  10 my $maxlimit = 1000;
  11 my $max_advertised_files = 100;
  12
  13 sub generate_rss_item($$$$) {
  14     my ($target, $target_uri, $target_time, $target_sha256) = @_;
  15
  16     my $rss_item;
  17     my $escaped_target_uri = $target_uri;
  18     $escaped_target_uri =~ s@ @%20@g;
  19
  20     # RSS line
  21     $rss_item =
  22         '<item><title><![CDATA[' . $target_uri . ']]></title>';
  23     $rss_item .=
  24         '<description><![CDATA['
  25         . $target_uri
  26         . ' (SHA-256: '
  27         . $target_sha256
  28         . ')]]></description>';
  29     $rss_item .=
  30         '<link>'
  31         . $base_dlurl
  32         . $escaped_target_uri
  33         . '</link><guid>'
  34         . $base_dlurl
  35         . $escaped_target_uri
  36         . '</guid>';
  37     $rss_item .= '<pubDate>';
  38     my ($sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst) =
  39         gmtime($target_time);
  40     $rss_item .= sprintf("%s, %s %s %d %.2d:%.2d:%.2d GMT",
  41                          $days[$wday], $mday, $months[$mon], ($year + 1900),
  42                          $hour, $min, $sec);
  43     $rss_item .= '</pubDate></item>';
  44     $rss_item .= "\n";
  45
  46     return $rss_item;
  47 }
  48
  49 sub get_sha256_sum($) {
  50     my $file = shift;
  51
  52     open(my $fd, "<", $file)
  53         or die "Can't open '$file' to generate checksum $!";
  54     my $sha256 = Digest::SHA->new("SHA-256");
  55     $sha256->addfile($fd);
  56     close($fd);
  57
  58     return $sha256->hexdigest;
  59 }
  60
  61 sub get_released_files($) {
  62     my $scan_dir = shift;
  63
  64     my @Array = ();
  65     my $i     = 0;
  66     my $target;
  67     my $target_sha256;
  68     my $target_uri;
  69     my $target_time;
  70     my $target_line;
  71
  72     opendir(my $D1, $scan_dir) or die "Can't open 1st directory! /";
  73     while (my $fi1 = readdir($D1)) {
  74         next if ($fi1 =~ m/^\./);
  75         next if ($fi1 eq 'OldFiles' or $fi1 eq 'pkgsrc');
  76
  77         opendir(my $D2, $scan_dir . $fi1 . '/')
  78             or die "Can't open 2nd directory! /$fi1";
  79         while (my $fi2 = readdir($D2)) {
  80             next if ($fi2 =~ m/^\./);
  81
  82             # Start listing /OS/Version/FILE
  83             opendir(my $D3, $scan_dir . $fi1 . '/' . $fi2 . '/')
  84                 or die "Can't open 3rd directory! /$fi1/$fi2";
  85             while (my $fi3 = readdir($D3)) {
  86                 next if ($fi3 =~ m/^\./);
  87                 $target = $scan_dir . $fi1 . '/' . $fi2 . '/' . $fi3;
  88                 next if (!-e $target);    # skip if file is not exist
  89
  90                 $target_sha256 = get_sha256_sum($target);
  91
  92                 $target_uri  = $fi1 . '/' . $fi2 . '/' . $fi3;
  93                 $target_time = (stat $target)[9];
  94
  95                 $target_line = generate_rss_item($target, $target_uri, $target_time, $target_sha256);
  96
  97                 $Array[$i] = ([$target_time, $target_line]);
  98                 $i++;
  99                 die "maxlimit $maxlimit reached!" unless ($i < $maxlimit);
 100             }
 101             closedir($D3);
 102         }
 103         closedir($D2);
 104     }
 105     closedir($D1);
 106
 107     return sort { @$a[0] <=> @$b[0] } @Array;
 108 }
 109
 110 sub generate_feed($) {
 111     my $scan_dir = shift;
 112
 113     # Result = Full XML Codes
 114     my $result = '<?xml version="1.0" encoding="utf-8"?>
 115  <rss xmlns:content="http://purl.org/rss/1.0/modules/content/" version="2.0">
 116   <channel>
 117    <title>Privoxy Releases</title>
 118    <link>https://www.privoxy.org/announce.txt</link>
 119    <description><![CDATA[Privoxy Releases RSS feed]]></description>
 120    <pubDate>';
 121     my ($sec, $min, $hour, $mday, $mon, $year, $wday, $yday, $isdst) = gmtime();
 122     $result .=
 123         "$days[$wday], $mday $months[$mon] "
 124         . ($year + 1900)
 125         . " $hour:$min:$sec GMT";
 126     $result .= '</pubDate>';
 127     $result .= "\n";
 128
 129     my @resArray = get_released_files($scan_dir);
 130     my $i = @resArray - 1;
 131     while ($max_advertised_files-- > 0 && $i >= 0) {
 132         $result .= $resArray[$i][1];
 133         $i--;
 134     }
 135     $result .= '  </channel>
 136    </rss>';
 137
 138     return $result;
 139 }
 140
 141 sub main() {
 142     my $scan_dir = shift(@ARGV)
 143         or die "Local package directory not specified (first argument)\n";
 144     my $save_rss_file = shift(@ARGV)
 145         or die "RSS output file path not specified (second argument)\n";
 146
 147     my $result = generate_feed($scan_dir);
 148
 149     open(my $XMLF, ">", $save_rss_file) or die "Failed to write XML file";
 150     print $XMLF $result;
 151     close($XMLF);
 152 }
 153
 154 main();