Kill stray XXX comment.

As ajk points out, get_headers really just want to a reference.

Implement custom scan of SPAM messages instead of using scan(1).

If the header of a message contains garbage characters (not 2047-quoted
garbage characters, actual multi-byte garbage!) (Chinese or Russian spam)
scan(1) will happily print them to the tty, which hurts.

(%SPAM): Replace @SPAM global list with a hash.
(store_message): Drop unused $status variable.  Don't update @SPAM .
(scan_line): Factor out the actual scan line formatting from filter_mail to
  this new function.
(filter_mail): Append message number and header hash to %SPAM .
(maildir_spam): Append message number and spam maildir file name to %SPAM .
(scan_spam): Add function to scan spam messages with scan_line .  Deal with 3
  cases: spam filtered via filter_mail and spam filtered via maildir_spam in
  either run or -n mode.  For the latter two, open the message file from the
  mh SPAM folder or from the spam maildir, respectively, to load the header.

Don't try \r line-erasing tricks if stdout is not a tty.

Dump Id keyword and /usr/bin/env trampoline.

(getfiles): Fix long-standing annoyance: "1 messages..."

Look for spam in spam/new.

(filter_mail): Slight problem with r1880: we don't print scan lines
for spam messages, so we still need to print \r for those.

(maildir_spam): Don't whine if maildir/spam doesn't exist.

Correct minor oops in last.

Make a couple of tiny adjustments to the early exit case for no new
messages so that $maildir/spam still gets cleared out.

Handle files in $maildir/spam (from new mdeliver processor).

(get_highest_msgnum): Fix minor bug, returning one less than it should
be on the first call for a folder.  This was only noticeable in -n mode
because store_message loops to find a fresh number.

(filter_mail): All this \r printing, line clearing stuff, is just not
necessary any more, now that every message gets a full summary line
printed.

Ignore SIGPIPE.  I can't believe perl leaves the default SIGPIPE
behavior of aborting intact.  At least 5.8.0 does on some Linuxes...

(mark): Since new.c only uses the lists from .mh_sequences, it doesn't
parse them, simply appending here really hurts.  Bite the bullet and
properly merge new messages into the existing .mh_sequences message
lists (i.e. 1-39 becomes 1-40).

This 35k message folder at work is getting burdensome.  minc was
reading that entire folder everytime it stored a message there!  Twice
because mark(1) does it too.  The first is my fault, the second mh's.
I still haven't gone through mh to get rid of unnecessary readdirs, so
work around the problem here.

(get_highest_msgnum): Only read a directory once, saving the highest
message number and incrementing it on each call.

(mark): New function to add a message to a sequence.

(store_message): Use mark instead of running mark(1).

(find_mh_folder): Require $regexp to be a regular expression object
(qr//) instead of a string.  Now it's up to the user whether it
matches sensitive to case or not, or uses any other options.

(find_mh_folder): Stupid variable rename.

Even easier .folders sorting; now all you have to do is provide a list
of regexps, and the sorting will be according to their order.  You can
still define your own sorter, if necessary.

Oops, create_dot_folders needs to load .minc.

Oops, POD needs the blank lines i removed in r1831; restore.

New -r option for rebuilding the .folders file from scratch.

s/update_folders/update_dot_folders/

whitespace police

Support custom sorting of folders in the .folders file.

Get rid of dryrun.log: in -n mode, don't log at all.  I don't think
anyone ever actually used the dryrun log, and if we get rid of it,
then minc -n becomes a better mdfrm.

(filter_mail): Catch (and discard) exceptions when subject and from
headers don't exist.

(filter_mail): Lose XXX comment for the stupid pop that went away in
r1773.

(update_folders): Only error out if opening .folders failed for any
reason other than ENOENT.  For ENOENT, we'll go ahead and create it.

(MAIN): Only call update_folders when -n not specified.

(find_mh_folder): Don't know why, but the MAGIC_TO crap wasn't doing
the same kind of match as the other filters, and you couldn't use
parts of the match in the folder name.  Fix.

(store_message): wtf, log spam saves too, we already logged the
headers after all...

Lose -p (print file names) option; this can be implemented directly
in the hook being debugged.

Update documentation for recent changes.

($SCAN_P_FOLDER, $SCAN_P_MESSAGE, $SCAN_P_FROM): New configurable
globals, the proportion each field should take in the scan lines.

(filter_mail): Use these new globals instead of instead of hard-coded
defaults, and move the loading of .minc before the use of these
globals so the user can change them.

(update_folders): Keep inbox at the top of the list.

(filter_mail): Build and return a hash of all folders to which we add
new messages.

(update_folders): New function to write out a new .folders file, so
any new folders added in this run are visible to lukem's new(1).

(MAIN): Call update_folders with the hash returned by filter_mail.

(filter_mail): Don't move @_ to @msglist, just use @_.

(filter_mail): Lose unused %FOLDERS variable.

(filter_mail): Need to print a \r before printing the status line,
as nothing is printed for spam messages, so these would just stack
up on the same line with two or more spams in a row.

(filter_mail): Fix destruction of non-printable characters.

(filter_mail): Better int() those field widths!

DOH! accidentally committed #! hack.

(filter_mail): DOH!  Sanitize subject, too.

(filter_mail): Stop popping items from header lists and just read the
last header value.  Also get rid of control characters in the subject
(stupid spam!).

XXX the stupid pop() in filter_mail

Move the declaration of the hooks lists near the @FILTERS declaration.

Ooops, was still using .mincfilter for -d.

Pull in COLUMNS environment variable and default it to 80.

(filter_mail): Instead of printing which folders have been added to,
print one line per saved non-spam message: its folder, message number,
and from and subject headers.  Use COLUMNS and hard-coded proportions
to determine how much of the line to allocate to each field printed.

(find_mh_folder): Take %headers as arguments, don't call get_headers
or log_headers here.

(filter_mail): .mincfilters, mincspam, and .minchooks are now just one
file, .minc.  Now we don't magically know the name of some
spam_start_hook, spam_stop_hook, spam_check, and post_store_hook, but
instead run all the hooks in the @start_hooks, @stop_hooks,
@filter_hooks, and @post_store_hooks lists.  Call get_headers and
log_headers here so we can pass them to the hooks.

Use /usr/bin/env trampoline to run perl.

(filter_mail): Support a post_store_hook, in case someone wants to do
post-processing for a message.  This is getting out of hand; all these
hooks should be folded into a single .mincrc or something...

(get_headers): Be liberal in what you receive...

(filter_mail): Now that the formatting isn't spitting too many spaces,
prefix status lines with a single space.

(filter_mail): Use $len to format the string rather than hard-coding 6
spaces for the numbers.

(filter_mail): s/$msglen/$len/ (better, shorter name)

(store_message): Kill useless quotes.

More evil optimization.  Don't load .mincfilter until it's needed, and
while i'm here, allow incorporating mail if .mincfilter doesn't exist.

(filter_mail): Don't prefix folder names with '+' in output.

(getfiles): Wow, i sure missed a lot of places where counts need to
be adjusted.  Fix the early exit test.

(getfiles): Need to reduce count by two here as well.

(filter_mail): Reduce $msgcount by two now that filter_mail receives a
list that contains '.' and '..'.

(getfiles): Just return readdir results, don't strip . and .. and
don't return absolute paths.  We walk the file list enough times
already, there's no need to walk it for this.

(filter_mail): Skip . and .. in the @msglist.

(MAIN): Instead of passing getfiles $MAILDIR/new, chdir there and pass '.'.

(MAIN): Drop unnecessary variable @msglist.

(get_headers): Check errors on open.

(get_highest_msgnum): Don't leave this readdir call rantless.

Improve 'die' usage and leave an XXX comment in store_message about
same.

(mkfolder): Simplify.

Don't use 'scalar' function on lists that are already evaluated in
scalar context.

Fix L<> syntax (not sure why i had it this funky way that didn't work).

(filter_mail): Resurrect -p functionality, which was lost in r1617.

small doc fixes

Switch from Getopt::Std to Getopt::Long and Pod::Usage.  This is much
better even though we don't use long options.

Improve NAME and SYNOPSIS pod.

(AUTHORS): Update.

Update svn:executable to modern Subversion convention.

Here you go.

This has no information not already in the POD, and minc is now ready
to run out of the box.  Bye bye README.

Drop Log::Dispatch (finally) and simplify logging.

Kill global constants LOG_DEBUGLEVEL, SCREEN_DEBUGLEVEL, DEBUGCHAR,
INFOCHAR, INCOMINGCHAR, SAVECHAR, WARNCHAR, ERRORCHAR.

Kill global $logger and functions logsave, loginfo, logdebug, logwarn,
logerr.

(mylog): Kill first two parameters; all @_ are now catenated for the
log message.  Simply open $logfile and write the timestamp and
message, no more.

(logheader): Renamed from logincoming.  Adapt to new mylog.

(log_headers): s/logincoming/logheader/

(store_message): Call mylog instead of logsave.

Two optimizations:

Don't load .mincspam until it is actually needed, in filter_mail.

Print the first status message (the number of messages to process)
as soon as we can, in getfiles.

File::Basename hasn't been used since we stopped using `mhpath new`.

(filter_mail): Only calculate $msgcount len once.

Killed the sysexits stuff a while back.

Don't break when -m is not specified.

whitespace police

Add new -m option to stop processing after a certain number of messages.

Switch to %opts style getopts.

Note licensing terms (same as Perl itself).

Whoops, SYNOPSIS was out of sync again.

Drop -h and use Getopt::Std automatic --help.  New $VERSION global.

Move STDOUT auto-flushing to filter_mail where it belongs.

Whoops, remove -f and -s options from getopts call.

Drop -f (filter-only) and -s (spam-only) options.

Er, put in the rest of the @SPAM changes.  Also make store_message
return the new message number.

Collapse the spam-checking and filtering passes into a single pass and
adapt the diagnostic output to make sense in the new single pass.

(store_message): Don't print anything.

(preprocess): Move the message sorting to MAIN and spam processing to
filter_mail.

(filter_mail): Do spam filtering in this loop and do all status
printing here.

(%FOLDERS): This should not have been global; move it into
filter_mail.

(MAIN): Sort messages before calling filter_mail.  If any SPAM
messages were detected, scan(1) them.

Drop sysexits.ph, _errprint, err, and errx.  Use die in place of err
and errx, and exit(2) for invalid options.

doc fixes

(preprocess): Return the @result list sorted by mtime.

Rename kill_spam to preprocess in preparation for bloat.  Clean up a
bit.