Support custom sorting of folders in the .folders file.

Get rid of dryrun.log: in -n mode, don't log at all.  I don't think
anyone ever actually used the dryrun log, and if we get rid of it,
then minc -n becomes a better mdfrm.

(filter_mail): Catch (and discard) exceptions when subject and from
headers don't exist.

(filter_mail): Lose XXX comment for the stupid pop that went away in
r1773.

(update_folders): Only error out if opening .folders failed for any
reason other than ENOENT.  For ENOENT, we'll go ahead and create it.

(MAIN): Only call update_folders when -n not specified.

(find_mh_folder): Don't know why, but the MAGIC_TO crap wasn't doing
the same kind of match as the other filters, and you couldn't use
parts of the match in the folder name.  Fix.

(store_message): wtf, log spam saves too, we already logged the
headers after all...

Lose -p (print file names) option; this can be implemented directly
in the hook being debugged.

Update documentation for recent changes.

($SCAN_P_FOLDER, $SCAN_P_MESSAGE, $SCAN_P_FROM): New configurable
globals, the proportion each field should take in the scan lines.

(filter_mail): Use these new globals instead of instead of hard-coded
defaults, and move the loading of .minc before the use of these
globals so the user can change them.

(update_folders): Keep inbox at the top of the list.

(filter_mail): Build and return a hash of all folders to which we add
new messages.

(update_folders): New function to write out a new .folders file, so
any new folders added in this run are visible to lukem's new(1).

(MAIN): Call update_folders with the hash returned by filter_mail.

(filter_mail): Don't move @_ to @msglist, just use @_.

(filter_mail): Lose unused %FOLDERS variable.

(filter_mail): Need to print a \r before printing the status line,
as nothing is printed for spam messages, so these would just stack
up on the same line with two or more spams in a row.

(filter_mail): Fix destruction of non-printable characters.

(filter_mail): Better int() those field widths!

DOH! accidentally committed #! hack.

(filter_mail): DOH!  Sanitize subject, too.

(filter_mail): Stop popping items from header lists and just read the
last header value.  Also get rid of control characters in the subject
(stupid spam!).

XXX the stupid pop() in filter_mail

Move the declaration of the hooks lists near the @FILTERS declaration.

Ooops, was still using .mincfilter for -d.

Pull in COLUMNS environment variable and default it to 80.

(filter_mail): Instead of printing which folders have been added to,
print one line per saved non-spam message: its folder, message number,
and from and subject headers.  Use COLUMNS and hard-coded proportions
to determine how much of the line to allocate to each field printed.

(find_mh_folder): Take %headers as arguments, don't call get_headers
or log_headers here.

(filter_mail): .mincfilters, mincspam, and .minchooks are now just one
file, .minc.  Now we don't magically know the name of some
spam_start_hook, spam_stop_hook, spam_check, and post_store_hook, but
instead run all the hooks in the @start_hooks, @stop_hooks,
@filter_hooks, and @post_store_hooks lists.  Call get_headers and
log_headers here so we can pass them to the hooks.

Use /usr/bin/env trampoline to run perl.

(filter_mail): Support a post_store_hook, in case someone wants to do
post-processing for a message.  This is getting out of hand; all these
hooks should be folded into a single .mincrc or something...

(get_headers): Be liberal in what you receive...

(filter_mail): Now that the formatting isn't spitting too many spaces,
prefix status lines with a single space.

(filter_mail): Use $len to format the string rather than hard-coding 6
spaces for the numbers.

(filter_mail): s/$msglen/$len/ (better, shorter name)

(store_message): Kill useless quotes.

More evil optimization.  Don't load .mincfilter until it's needed, and
while i'm here, allow incorporating mail if .mincfilter doesn't exist.

(filter_mail): Don't prefix folder names with '+' in output.

(getfiles): Wow, i sure missed a lot of places where counts need to
be adjusted.  Fix the early exit test.

(getfiles): Need to reduce count by two here as well.

(filter_mail): Reduce $msgcount by two now that filter_mail receives a
list that contains '.' and '..'.

(getfiles): Just return readdir results, don't strip . and .. and
don't return absolute paths.  We walk the file list enough times
already, there's no need to walk it for this.

(filter_mail): Skip . and .. in the @msglist.

(MAIN): Instead of passing getfiles $MAILDIR/new, chdir there and pass '.'.

(MAIN): Drop unnecessary variable @msglist.

(get_headers): Check errors on open.

(get_highest_msgnum): Don't leave this readdir call rantless.

Improve 'die' usage and leave an XXX comment in store_message about
same.

(mkfolder): Simplify.

Don't use 'scalar' function on lists that are already evaluated in
scalar context.

Fix L<> syntax (not sure why i had it this funky way that didn't work).

(filter_mail): Resurrect -p functionality, which was lost in r1617.

small doc fixes

Switch from Getopt::Std to Getopt::Long and Pod::Usage.  This is much
better even though we don't use long options.

Improve NAME and SYNOPSIS pod.

(AUTHORS): Update.

Update svn:executable to modern Subversion convention.

Here you go.

This has no information not already in the POD, and minc is now ready
to run out of the box.  Bye bye README.

Drop Log::Dispatch (finally) and simplify logging.

Kill global constants LOG_DEBUGLEVEL, SCREEN_DEBUGLEVEL, DEBUGCHAR,
INFOCHAR, INCOMINGCHAR, SAVECHAR, WARNCHAR, ERRORCHAR.

Kill global $logger and functions logsave, loginfo, logdebug, logwarn,
logerr.

(mylog): Kill first two parameters; all @_ are now catenated for the
log message.  Simply open $logfile and write the timestamp and
message, no more.

(logheader): Renamed from logincoming.  Adapt to new mylog.

(log_headers): s/logincoming/logheader/

(store_message): Call mylog instead of logsave.

Two optimizations:

Don't load .mincspam until it is actually needed, in filter_mail.

Print the first status message (the number of messages to process)
as soon as we can, in getfiles.

File::Basename hasn't been used since we stopped using `mhpath new`.

(filter_mail): Only calculate $msgcount len once.

Killed the sysexits stuff a while back.

Don't break when -m is not specified.

whitespace police

Add new -m option to stop processing after a certain number of messages.

Switch to %opts style getopts.

Note licensing terms (same as Perl itself).

Whoops, SYNOPSIS was out of sync again.

Drop -h and use Getopt::Std automatic --help.  New $VERSION global.

Move STDOUT auto-flushing to filter_mail where it belongs.

Whoops, remove -f and -s options from getopts call.

Drop -f (filter-only) and -s (spam-only) options.

Er, put in the rest of the @SPAM changes.  Also make store_message
return the new message number.

Collapse the spam-checking and filtering passes into a single pass and
adapt the diagnostic output to make sense in the new single pass.

(store_message): Don't print anything.

(preprocess): Move the message sorting to MAIN and spam processing to
filter_mail.

(filter_mail): Do spam filtering in this loop and do all status
printing here.

(%FOLDERS): This should not have been global; move it into
filter_mail.

(MAIN): Sort messages before calling filter_mail.  If any SPAM
messages were detected, scan(1) them.

Drop sysexits.ph, _errprint, err, and errx.  Use die in place of err
and errx, and exit(2) for invalid options.

doc fixes

(preprocess): Return the @result list sorted by mtime.

Rename kill_spam to preprocess in preparation for bloat.  Clean up a
bit.

(getfiles): If no messages are found, silently exit early.

New option -p.  Using this option causes minc to print the filename
for each message before checking it for spam, which is useful for
debugging the spam filter.

use FileHandle and set autoflush on STDOUT since the new spam checking
is so fast the status reporting is now funky without autoflushing.

Document spam_check, spam_start_hook, spam_stop_hook.

My trick for defining is_spam() was broken and i never noticed because
i wasn't doing use strict in .mincspam; fix it with eval and also add
spam_start_hook and spam_stop_hook.

(kill_spam): Now call spam_start_hook(), save the list it returns, and
pass it to each spam_check() call (formerly known as is_spam()).  Also
pass it to spam_stop_hook() after processing all spam.  This allows
the spam processor to maintain state, and do other things like talk to
a co-process.

(store_message): Don't log the SPAM folder; since we hadn't logged
any headers in the spam case, it just fills the log with useless
crap.

(find_mh_folder): DOH!  The // match operation must be done
case-insensitive.  I think it used to be and i accidentally changed it
when i changed the substitution operation to matching.

mdeliver/current/mdeliver.c:
    (deliver): In rev 1582 i changed this from using rename(2) to
    the recommended link(2) + unlink(2).  But in minc i was using
    open(2) + rename(2) instead, which is just as safe as link +
    unlink but with one advantage.  So switch to that model.

minc/current/minc:
    (store_message): Document the open + rename procedure and
    explain why it is used instead of link + unlink.

Now that the new stuff has proved solid, switch back to reading
.mincfilter instead of .mincfilter2.

(logincoming): Move part of log_headers here.

(log_headers): Pass the array of contents for each header to
logincoming rather than indexing here.  logincoming now checks for an
empty array (i.e. message missing this header) before trying to index
into it (it used to bomb).

DOH!  Perl has 'next' not 'continue'.

Add a magic header filters can use to match against any To or
To-related header, based on procmail's '^TO' special regex.

(store_message): Fix usage of the system function so that the shell
won't be invoked.

Add Emacs and vi local variables at the bottom, (attempting) to
enforce four-space indents with no tabs.

(find_mh_folder): If get_headers fails, return 'malformed' instead of
'inbox' so that malformed messages are quarantined for inspection.

Doc fixes.

Implement Doug's two killer features: 1) store all occurrences of a
header, not just the last, 2) use pure ordered structure for the
filters, allowing inter-mixing of filters (i.e. you can have some
List-Id filters followed by some X-Mailing-List filters followed by
more List-Id filters and they will all be matched in the correct
order).

Earlier i was using Tie::IxHash to make the filters hash ordered, but
i wasn't using it for the internal hashes so it was incomplete.  I
didn't need hashes in teh first place; switching to nested arrays for
the filters structure solves this problem as well as Doug's killer
feature and as a bonus removes the Tie::IxHash dependency.

README:
    Remove Tie::IxHash from list of non-standard modules.

minc:
    Drop Tie::IxHash.

    FILTERS and %headers become more complex structures (code and
    documentation changes).

    For now, use .mincfilter2 instead of .mincfilter (will change
    back as soon as the new code has had a good shake-down).

    (log_headers): Adapt for new %headers structure and add comment
    cross-referencing the get_headers comment explaining the
    structure.

    (get_headers): Document the %headers structure.  Build and return
    the new structure, preserving multiple occurrences of the same
    header.

    (find_mh_folder): Use the new @FILTERS structure.

    (MAIN): Use @FILTERS instead of %FILTERS.

    In the closing pod section, fix the EXAMPLES section and add a
    section documenting @FILTERS.

Idiot.  Put error messages to STDERR where they belong.

Set MHCONTEXT environment variable to allow (a little) more
concurrency.  Document the new file.

Apparently pod2html doesn't grok E<sol>.  Suck.  Use E<047> instead.

Fix long-standing bug where filters were applied out of order because
hashes are not guaranteed to stay in the order they were defined.  Use
Tie::IxHash to make %FILTERS an ordered hash.

README:
    Note that Tie::IxHash is now required.

minc:
    use Tie::IxHash;

    (%FILTERS): Make this an ordered hash with Tie::IxHash.

Link to example .mincspam file.

Remove references to razor in documentation.

($run): Declare with our instead of my so it will be available to the
user-defined is_spam function.  Document this.

(store_message): Whoops, document that the for loop is a modified
version of the maildir delivery algorithm; now some of these other
comments make more sense.

Factor out the razor-check spam stuff.  Instead, read ~/.mincspam if
it exists, otherwise define a dummy is_spam function.  Document this.

(get_headers): Don't allow input from the message to break the
regex used to split headers.

Today i encountered a message with the following ilnes:

X-scanner: scanned by Inflex 1.0.12.3 -
(http: //www.gsm.com.my)

What we have is a broken pile of shit from gsm.com (unsurprisingly,
as i visit the URL they provide, i see that one of their frame
components spits out an HTML page with Content-Type: text/plain)
that doesn't know how to fold headers.  At some point, some "helpful"
mail software (perhaps even my very own postfix installation; who
knows?) mangled what appeared to it to be an '(http' header; it
added a space after the colon.

Whether the mangling had happened or not, i'm sure minc would have
been confused.  Doug Porter provided the fix (using perl's \Q and
\E in the split() regex to disable pattern meta-chars in $fieldname).