]> diplodocus.org Git - nmh/blobdiff - uip/inc.c
Alter HasSuffixC()'s char * to be const.
[nmh] / uip / inc.c
index f203062c88a82a28565fafbc2f52498c955795b5..069e3ce53ea3890d9fbd8d25819359b7d18dfb35 100644 (file)
--- a/uip/inc.c
+++ b/uip/inc.c
@@ -2,11 +2,19 @@
 /*
  * inc.c -- incorporate messages from a maildrop into a folder
  *
- * $Id$
+ * This code is Copyright (c) 2002, by the authors of nmh.  See the
+ * COPYRIGHT file in the root directory of the nmh distribution for
+ * complete copyright information.
  */
 
 #ifdef MAILGROUP
-/* Revised: Sat Apr 14 17:08:17 PDT 1990 (marvit@hplabs)
+/*
+ * Thu Feb 12 21:00 CST 2015            Marcin Cieslak <saper@saper.info>
+ *    Replaced setgid() calls with setegid() so that it works with dot
+ *    locking on FreeBSD.  setegid() should be supported on modern POSIX
+ *    systems.
+ *
+ * Revised: Sat Apr 14 17:08:17 PDT 1990 (marvit@hplabs)
  *    Added hpux hacks to set and reset gid to be "mail" as needed. The reset
  *    is necessary so inc'ed mail is the group of the inc'er, rather than
  *    "mail". We setgid to egid only when [un]locking the mail file. This
  *
  * Fri Feb  7 16:04:57 PST 1992                John Romine <bug-mh@ics.uci.edu>
  *   NB: I'm not 100% sure that this setgid stuff is secure even now.
+ *
+ * See the *GROUPPRIVS() macros later. I'm reasonably happy with the setgid
+ * attribute. Running setuid root is probably not a terribly good idea, though.
+ *       -- Peter Maydell <pmaydell@chiark.greenend.org.uk>, 04/1998
+ *
+ * Peter Maydell's patch slightly modified for nmh 0.28-pre2.
+ * Ruud de Rooij <ruud@debian.org>  Wed, 22 Jul 1998 13:24:22 +0200
  */
 #endif
 
 #include <h/mh.h>
+#include <h/utils.h>
 #include <fcntl.h>
-
-#ifdef POP
-# include <h/dropsbr.h>
-# include <h/popsbr.h>
-#endif
-
-#ifdef HESIOD
-# include <hesiod.h>
-#endif
-
+#include <h/dropsbr.h>
+#include <h/popsbr.h>
 #include <h/fmt_scan.h>
 #include <h/scansbr.h>
 #include <h/signals.h>
 #include <h/tws.h>
-#include <zotnet/mts/mts.h>
-#include <errno.h>
-#include <signal.h>
-
-#ifndef        POP
-# define POPminc(a) (a)
-#else
-# define POPminc(a)  0
-#endif
+#include <h/mts.h>
 
-#ifndef        RPOP
-# define RPOPminc(a) (a)
+#ifndef TLS_SUPPORT
+# define TLSminc(a) (a)
 #else
-# define RPOPminc(a)  0
+# define TLSminc(a)  0
 #endif
 
-#ifndef        APOP
-# define APOPminc(a) (a)
-#else
-# define APOPminc(a)  0
-#endif
-
-#ifndef        KPOP
-# define KPOPminc(a) (a)
-#else
-# define KPOPminc(a)  0
-#endif
-
-static struct swit switches[] = {
-#define        AUDSW                      0
-    { "audit audit-file", 0 },
-#define        NAUDSW                     1
-    { "noaudit", 0 },
-#define        CHGSW                      2
-    { "changecur", 0 },
-#define        NCHGSW                     3
-    { "nochangecur", 0 },
-#define        FILESW                     4
-    { "file name", 0 },
-#define        FORMSW                     5
-    { "form formatfile", 0 },
-#define        FMTSW                      6
-    { "format string", 5 },
-#define        HOSTSW                     7
-    { "host hostname", POPminc (-4) },
-#define        USERSW                     8
-    { "user username", POPminc (-4) },
-#define        PACKSW                     9
-    { "pack file", POPminc (-4) },
-#define        NPACKSW                   10
-    { "nopack", POPminc (-6) },
-#define        APOPSW                    11
-    { "apop", APOPminc (-4) },
-#define        NAPOPSW                   12
-    { "noapop", APOPminc (-6) },
-#define        RPOPSW                    13
-    { "rpop", RPOPminc (-4) },
-#define        NRPOPSW                   14
-    { "norpop", RPOPminc (-6) },
-#define        SILSW                     15
-    { "silent", 0 },
-#define        NSILSW                    16
-    { "nosilent", 0 },
-#define        TRNCSW                    17
-    { "truncate", 0 },
-#define        NTRNCSW                   18
-    { "notruncate", 0 },
-#define        WIDTHSW                   19
-    { "width columns", 0 },
-#define VERSIONSW                 20
-    { "version", 0 },
-#define        HELPSW                    21
-    { "help", 0 },
-#define SNOOPSW                   22
-    { "snoop", -5 },
-#define KPOPSW                    23
-    { "kpop", KPOPminc (-4) },
-    { NULL, 0 }
-};
-
-extern int errno;
+#define INC_SWITCHES \
+    X("audit audit-file", 0, AUDSW) \
+    X("noaudit", 0, NAUDSW) \
+    X("changecur", 0, CHGSW) \
+    X("nochangecur", 0, NCHGSW) \
+    X("file name", 0, FILESW) \
+    X("form formatfile", 0, FORMSW) \
+    X("format string", 5, FMTSW) \
+    X("host hostname", 0, HOSTSW) \
+    X("user username", 0, USERSW) \
+    X("pack file", 0, PACKSW) \
+    X("nopack", 0, NPACKSW) \
+    X("port name/number", 0, PORTSW) \
+    X("silent", 0, SILSW) \
+    X("nosilent", 0, NSILSW) \
+    X("truncate", 0, TRNCSW) \
+    X("notruncate", 0, NTRNCSW) \
+    X("width columns", 0, WIDTHSW) \
+    X("version", 0, VERSIONSW) \
+    X("help", 0, HELPSW) \
+    X("snoop", 0, SNOOPSW) \
+    X("sasl", 0, SASLSW) \
+    X("nosasl", 0, NOSASLSW) \
+    X("saslmech", 0, SASLMECHSW) \
+    X("initialtls", TLSminc(-10), INITTLSSW) \
+    X("notls", TLSminc(-5), NOTLSSW) \
+    X("authservice", 0, AUTHSERVICESW) \
+    X("proxy command", 0, PROXYSW) \
+
+#define X(sw, minchars, id) id,
+DEFINE_SWITCH_ENUM(INC);
+#undef X
+
+#define X(sw, minchars, id) { sw, minchars, id },
+DEFINE_SWITCH_ARRAY(INC, switches);
+#undef X
 
 /*
  * flags for the mail source
@@ -122,87 +93,129 @@ extern int errno;
 #define INC_POP   1
 
 static int inc_type;
+static struct Maildir_entry {
+       char *filename;
+       time_t mtime;
+} *Maildir = NULL;
+static int num_maildir_entries = 0;
 static int snoop = 0;
 
-#ifdef POP
 extern char response[];
 
-static char *packfile = NULL;
 static int size;
 static long pos;
-static long start;
-static long stop;
 
 static int mbx_style = MMDF_FORMAT;
 static int pd = NOTOK;
+
+static long start;
+static long stop;
+
+static char *packfile = NULL;
 static FILE *pf = NULL;
-#endif /* POP */
 
+/* This is an attempt to simplify things by putting all the
+ * privilege ops into macros.
+ * *GROUPPRIVS() is related to handling the setgid MAIL property,
+ * and only applies if MAILGROUP is defined.
+ * Basically, SAVEGROUPPRIVS() is called right at the top of main()
+ * to initialise things, and then DROPGROUPPRIVS() and GETGROUPPRIVS()
+ * do the obvious thing.
+ *
+ * There's probably a better implementation if we're allowed to use
+ * BSD-style setreuid() rather than using POSIX saved-ids.
+ * Anyway, if you're euid root it's a bit pointless to drop the group
+ * permissions...
+ *
+ * I'm pretty happy that the security is good provided we aren't setuid root.
+ * The only things we trust with group=mail privilege are lkfopen()
+ * and lkfclose().
+ */
 
 /*
  * For setting and returning to "mail" gid
  */
 #ifdef MAILGROUP
-static int return_gid;
-#endif
+static gid_t return_gid;
+#define TRYDROPGROUPPRIVS() DROPGROUPPRIVS()
+#define DROPGROUPPRIVS() \
+    if (setegid(getgid()) != 0) { \
+        adios ("setegid", "unable to restore group to %ld", (long) getgid()); \
+    }
+#define GETGROUPPRIVS() \
+    if (setegid(return_gid) != 0) { \
+        adios ("setegid", "unable to set group to %ld", (long) return_gid); \
+    }
+#define SAVEGROUPPRIVS() return_gid = getegid()
+#else
+/* define *GROUPPRIVS() as null; this avoids having lots of "#ifdef MAILGROUP"s */
+#define TRYDROPGROUPPRIVS()
+#define DROPGROUPPRIVS()
+#define GETGROUPPRIVS()
+#define SAVEGROUPPRIVS()
+#endif /* not MAILGROUP */
+
+/* these variables have to be globals so that done() can correctly clean up the lockfile */
+static int locked = 0;
+static char *newmail;
+static FILE *in;
 
 /*
  * prototypes
  */
 char *map_name(char *);
 
-#ifdef POP
-int done(int);
+static void inc_done(int) NORETURN;
 static int pop_action(char *);
 static int pop_pack(char *);
 static int map_count(void);
-#endif
 
+int
+maildir_srt(const void *va, const void *vb)
+{
+    const struct Maildir_entry *a = va, *b = vb;
+    if (a->mtime > b->mtime)
+      return 1;
+    if (a->mtime < b->mtime)
+      return -1;
+    return 0;
+}
 
 int
 main (int argc, char **argv)
 {
     int chgflag = 1, trnflag = 1;
-    int noisy = 1, width = 0, locked = 0;
-    int rpop, i, hghnum, msgnum;
-    int kpop = 0;
-    char *cp, *maildir, *folder = NULL;
+    int noisy = 1, width = -1;
+    int hghnum = 0, msgnum = 0;
+    int sasl = 0, tls = 0;
+    int incerr = 0; /* <0 if inc hits an error which means it should not truncate mailspool */
+    char *cp, *maildir = NULL, *folder = NULL;
     char *format = NULL, *form = NULL;
-    char *newmail, *host = NULL, *user = NULL;
-    char *audfile = NULL, *from = NULL;
+    char *host = NULL, *port = NULL, *user = NULL, *proxy = NULL;
+    char *audfile = NULL, *from = NULL, *saslmech = NULL, *auth_svc = NULL;
     char buf[BUFSIZ], **argp, *nfs, **arguments;
-    struct msgs *mp;
+    struct msgs *mp = NULL;
     struct stat st, s1;
-    FILE *in, *aud = NULL;
-
-#ifdef POP
-    int nmsgs, nbytes, p = 0;
-    char *pass = NULL;
-#endif
+    FILE *aud = NULL;
+    char b[PATH_MAX + 1];
+    char *maildir_copy = NULL; /* copy of mail directory because the static gets overwritten */
 
-#ifdef MHE
-    FILE *mhe = NULL;
-#endif
-
-#ifdef HESIOD
-    struct hes_postoffice *po;
-    char *tmphost;
-#endif
+    int nmsgs, nbytes;
+    char *MAILHOST_env_variable;
+    done=inc_done;
 
-#ifdef LOCALE
-    setlocale(LC_ALL, "");
-#endif
-    invo_name = r1bindex (argv[0], '/');
+/* absolutely the first thing we do is save our privileges,
+ * and drop them if we can.
+ */
+    SAVEGROUPPRIVS();
+    TRYDROPGROUPPRIVS();
 
-    /* read user profile/context */
-    context_read();
+    if (nmh_init(argv[0], 1)) { return 1; }
 
-    mts_init (invo_name);
+    mts_init ();
     arguments = getarguments (invo_name, argc, argv, 1);
     argp = arguments;
 
-#ifdef POP
-# ifdef HESIOD
     /*
      * Scheme is:
      *        use MAILHOST environment variable if present,
@@ -210,12 +223,8 @@ main (int argc, char **argv)
      *  If that fails, use the default (if any)
      *  provided by mts.conf in mts_init()
      */
-    if ((tmphost = getenv("MAILHOST")) != NULL)
-       pophost = tmphost;
-    else if ((po = hes_getmailhost(getusername())) != NULL &&
-            strcmp(po->po_type, "POP") == 0)
-       pophost = po->po_host;
-# endif /* HESIOD */
+    if ((MAILHOST_env_variable = getenv("MAILHOST")) != NULL)
+       pophost = MAILHOST_env_variable;
     /*
      * If there is a valid "pophost" entry in mts.conf,
      * then use it as the default host.
@@ -223,42 +232,36 @@ main (int argc, char **argv)
     if (pophost && *pophost)
        host = pophost;
 
-    if ((cp = getenv ("MHPOPDEBUG")) && *cp)
-       snoop++;
-#endif /* POP */
-
-    rpop = 0;
-
     while ((cp = *argp++)) {
        if (*cp == '-') {
            switch (smatch (++cp, switches)) {
-           case AMBIGSW: 
+           case AMBIGSW:
                ambigsw (cp, switches);
                done (1);
-           case UNKWNSW: 
+           case UNKWNSW:
                adios (NULL, "-%s unknown", cp);
 
-           case HELPSW: 
+           case HELPSW:
                snprintf (buf, sizeof(buf), "%s [+folder] [switches]", invo_name);
                print_help (buf, switches, 1);
-               done (1);
+               done (0);
            case VERSIONSW:
                print_version(invo_name);
-               done (1);
+               done (0);
 
-           case AUDSW: 
+           case AUDSW:
                if (!(cp = *argp++) || *cp == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
                audfile = getcpy (m_maildir (cp));
                continue;
-           case NAUDSW: 
+           case NAUDSW:
                audfile = NULL;
                continue;
 
-           case CHGSW: 
+           case CHGSW:
                chgflag++;
                continue;
-           case NCHGSW: 
+           case NCHGSW:
                chgflag = 0;
                continue;
 
@@ -269,14 +272,14 @@ main (int argc, char **argv)
             * 1 by default (truncating is default)
             * 0 if -notruncate is given
             */
-           case TRNCSW: 
+           case TRNCSW:
                trnflag = 2;
                continue;
-           case NTRNCSW: 
+           case NTRNCSW:
                trnflag = 0;
                continue;
 
-           case FILESW: 
+           case FILESW:
                if (!(cp = *argp++) || *cp == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
                from = path (cp, TFILE);
@@ -289,25 +292,25 @@ main (int argc, char **argv)
                    trnflag = 0;
                continue;
 
-           case SILSW: 
+           case SILSW:
                noisy = 0;
                continue;
-           case NSILSW: 
+           case NSILSW:
                noisy++;
                continue;
 
-           case FORMSW: 
+           case FORMSW:
                if (!(form = *argp++) || *form == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
                format = NULL;
                continue;
-           case FMTSW: 
+           case FMTSW:
                if (!(format = *argp++) || *format == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
                form = NULL;
                continue;
 
-           case WIDTHSW: 
+           case WIDTHSW:
                if (!(cp = *argp++) || *cp == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
                width = atoi (cp);
@@ -317,46 +320,61 @@ main (int argc, char **argv)
                if (!(host = *argp++) || *host == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
                continue;
+
+           case PORTSW:
+               if (!(port = *argp++) || *port == '-')
+                   adios (NULL, "missing argument to %s", argp[-2]);
+               continue;
+
            case USERSW:
                if (!(user = *argp++) || *user == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
                continue;
 
            case PACKSW:
-#ifndef        POP
-               if (!(cp = *argp++) || *cp == '-')
-                   adios (NULL, "missing argument to %s", argp[-2]);
-#else /* POP */
                if (!(packfile = *argp++) || *packfile == '-')
                    adios (NULL, "missing argument to %s", argp[-2]);
-#endif /* POP */
                continue;
            case NPACKSW:
-#ifdef POP
                packfile = NULL;
-#endif /* POP */
                continue;
 
-           case APOPSW:
-               rpop = -1;
+           case SNOOPSW:
+               snoop++;
                continue;
-           case NAPOPSW:
-               rpop = 0;
+       
+           case SASLSW:
+               sasl++;
                continue;
-
-           case RPOPSW:
-               rpop = 1;
+           case NOSASLSW:
+               sasl = 0;
                continue;
-           case NRPOPSW:
-               rpop = 0;
+       
+           case SASLMECHSW:
+               if (!(saslmech = *argp++) || *saslmech == '-')
+                   adios (NULL, "missing argument to %s", argp[-2]);
                continue;
 
-           case KPOPSW:
-               kpop = 1;
+           case INITTLSSW:
+               tls++;
                continue;
 
-           case SNOOPSW:
-               snoop++;
+           case NOTLSSW:
+               tls = 0;
+               continue;
+
+           case AUTHSERVICESW:
+#ifdef OAUTH_SUPPORT
+                if (!(auth_svc = *argp++) || *auth_svc == '-')
+                    adios (NULL, "missing argument to %s", argp[-2]);
+#else
+                adios (NULL, "not built with OAuth support");
+#endif
+                continue;
+
+           case PROXYSW:
+               if (!(proxy = *argp++) || *proxy == '-')
+                   adios (NULL, "missing argument to %s", argp[-2]);
                continue;
            }
        }
@@ -364,70 +382,62 @@ main (int argc, char **argv)
            if (folder)
                adios (NULL, "only one folder at a time!");
            else
-               folder = path (cp + 1, *cp == '+' ? TFOLDER : TSUBCWF);
+               folder = pluspath (cp);
        } else {
            adios (NULL, "usage: %s [+folder] [switches]", invo_name);
        }
     }
 
-#ifdef MAILGROUP
-    return_gid = getegid();  /* Save effective gid, assuming we'll use it */
-    setgid(getgid());        /* Turn off extraordinary privileges         */
-#endif /* MAILGROUP */
-
-#ifdef POP
+    /* NOTE: above this point you should use TRYDROPGROUPPRIVS(),
+     * not DROPGROUPPRIVS().
+     */
     if (host && !*host)
        host = NULL;
-    if (from || !host || rpop <= 0)
-       setuid (getuid ());
-#endif /* POP */
+
+    /* guarantee dropping group priveleges; we might not have done so earlier */
+    DROPGROUPPRIVS();
 
     /*
      * Where are we getting the new mail?
      */
     if (from)
        inc_type = INC_FILE;
-#ifdef POP
     else if (host)
        inc_type = INC_POP;
-#endif
     else
        inc_type = INC_FILE;
 
-#ifdef POP
     /*
      * Are we getting the mail from
      * a POP server?
      */
     if (inc_type == INC_POP) {
-       if (user == NULL)
-           user = getusername ();
-       if ( strcmp( POPSERVICE, "kpop" ) == 0 ) {
-           kpop = 1;
+       if (auth_svc == NULL) {
+           if (saslmech  &&  ! strcasecmp(saslmech, "xoauth2")) {
+               adios (NULL, "must specify -authservice with -saslmech xoauth2");
+           }
+       } else {
+           if (user == NULL) {
+               adios (NULL, "must specify -user with -saslmech xoauth2");
+           }
        }
-       if (kpop || ( rpop > 0))
-           pass = getusername ();
-       else
-           ruserpass (host, &user, &pass);
 
        /*
         * initialize POP connection
         */
-       if (pop_init (host, user, pass, snoop, kpop ? 1 : rpop, kpop) == NOTOK)
+       if (pop_init (host, port, user, proxy, snoop, sasl, saslmech,
+                     tls, auth_svc) == NOTOK)
            adios (NULL, "%s", response);
 
        /* Check if there are any messages */
        if (pop_stat (&nmsgs, &nbytes) == NOTOK)
            adios (NULL, "%s", response);
 
-       if (rpop > 0)
-           setuid (getuid ());
        if (nmsgs == 0) {
            pop_quit();
            adios (NULL, "no mail to incorporate");
        }
     }
-#endif /* POP */
 
     /*
      * We will get the mail from a file
@@ -446,13 +456,65 @@ main (int argc, char **argv)
        }
        if (stat (newmail, &s1) == NOTOK || s1.st_size == 0)
            adios (NULL, "no mail to incorporate");
+       if (s1.st_mode & S_IFDIR) {
+           DIR *md;
+           struct dirent *de;
+           struct stat ms;
+           int i;
+           i = 0;
+           cp = concat (newmail, "/new", NULL);
+           if ((md = opendir(cp)) == NULL)
+               adios (NULL, "unable to open %s", cp);
+           while ((de = readdir (md)) != NULL) {
+               if (de->d_name[0] == '.')
+                   continue;
+               if (i >= num_maildir_entries) {
+                   if ((Maildir = realloc(Maildir, sizeof(*Maildir) * (2*i+16))) == NULL)
+                       adios(NULL, "not enough memory for %d messages", 2*i+16);
+                   num_maildir_entries = 2*i+16;
+               }
+               Maildir[i].filename = concat (cp, "/", de->d_name, NULL);
+               if (stat(Maildir[i].filename, &ms) != 0)
+                  adios (Maildir[i].filename, "couldn't get delivery time");
+               Maildir[i].mtime = ms.st_mtime;
+               i++;
+           }
+           free (cp);
+           closedir (md);
+           cp = concat (newmail, "/cur", NULL);
+           if ((md = opendir(cp)) == NULL)
+               adios (NULL, "unable to open %s", cp);
+           while ((de = readdir (md)) != NULL) {
+               if (de->d_name[0] == '.')
+                   continue;
+               if (i >= num_maildir_entries) {
+                   if ((Maildir = realloc(Maildir, sizeof(*Maildir) * (2*i+16))) == NULL)
+                       adios(NULL, "not enough memory for %d messages", 2*i+16);
+                   num_maildir_entries = 2*i+16;
+               }
+               Maildir[i].filename = concat (cp, "/", de->d_name, NULL);
+               if (stat(Maildir[i].filename, &ms) != 0)
+                  adios (Maildir[i].filename, "couldn't get delivery time");
+               Maildir[i].mtime = ms.st_mtime;
+               i++;
+           }
+           free (cp);
+           closedir (md);
+           if (i == 0)
+               adios (NULL, "no mail to incorporate");
+           num_maildir_entries = i;
+           qsort (Maildir, num_maildir_entries, sizeof(*Maildir), maildir_srt);
+       }
+
+       if ((cp = strdup(newmail)) == NULL)
+           adios (NULL, "error allocating memory to copy newmail");
+
+       newmail = cp;
     }
 
-#ifdef POP
     /* skip the folder setup */
     if ((inc_type == INC_POP) && packfile)
        goto go_to_it;
-#endif /* POP */
 
     if (!context_find ("path"))
        free (path ("./", TFOLDER));
@@ -460,29 +522,29 @@ main (int argc, char **argv)
        folder = getfolder (0);
     maildir = m_maildir (folder);
 
-    if (stat (maildir, &st) == NOTOK) {
-       if (errno != ENOENT)
-           adios (maildir, "error on folder");
-       cp = concat ("Create folder \"", maildir, "\"? ", NULL);
-       if (noisy && !getanswer (cp))
-           done (1);
-       free (cp);
-       if (!makedir (maildir))
-           adios (NULL, "unable to create folder %s", maildir);
+    if ((maildir_copy = strdup(maildir)) == NULL)
+        adios (maildir, "error allocating memory to copy maildir");
+
+    if (!folder_exists(maildir)) {
+        /* If the folder doesn't exist, and we're given the -silent flag,
+         * just fail.
+         */
+        if (noisy)
+            create_folder(maildir, 0, done);
+        else
+            done (1);
     }
 
     if (chdir (maildir) == NOTOK)
        adios (maildir, "unable to change directory to");
 
     /* read folder and create message structure */
-    if (!(mp = folder_read (folder)))
+    if (!(mp = folder_read (folder, 0)))
        adios (NULL, "unable to read folder %s", folder);
 
-#ifdef POP
 go_to_it:
-#endif /* POP */
 
-    if (inc_type == INC_FILE) {
+    if (inc_type == INC_FILE && Maildir == NULL) {
        if (access (newmail, W_OK) != NOTOK) {
            locked++;
            if (trnflag) {
@@ -492,17 +554,11 @@ go_to_it:
                SIGNAL (SIGTERM, SIG_IGN);
            }
 
-#ifdef MAILGROUP
-           setgid(return_gid); /* Reset gid to lock mail file */
-#endif /* MAILGROUP */
-
-           /* lock and fopen the mail spool */
-           if ((in = lkfopen (newmail, "r")) == NULL)
+            GETGROUPPRIVS();       /* Reset gid to lock mail file */
+            in = lkfopenspool (newmail, "r");
+            DROPGROUPPRIVS();
+            if (in == NULL)
                adios (NULL, "unable to lock and fopen %s", newmail);
-
-#ifdef MAILGROUP
-           setgid(getgid());   /* Return us to normal privileges */
-#endif /* MAILGROUP */
            fstat (fileno(in), &s1);
        } else {
            trnflag = 0;
@@ -511,11 +567,11 @@ go_to_it:
        }
     }
 
-#ifdef MAILGROUP
-    setgid(getgid());  /* Return us to normal privileges */
-#endif /* MAILGROUP */
+    /* This shouldn't be necessary but it can't hurt. */
+    DROPGROUPPRIVS();
 
     if (audfile) {
+       int i;
        if ((i = stat (audfile, &st)) == NOTOK)
            advise (NULL, "Creating Receive-Audit: %s", audfile);
        if ((aud = fopen (audfile, "a")) == NULL)
@@ -523,30 +579,16 @@ go_to_it:
        else if (i == NOTOK)
            chmod (audfile, m_gmprot ());
 
-#ifdef POP
-       fprintf (aud, from ? "<<inc>> %s -ms %s\n"
-                : host ? "<<inc>> %s -host %s -user %s%s\n"
-                : "<<inc>> %s\n",
-                dtimenow (0), from ? from : host, user,
-                rpop < 0 ? " -apop" : rpop > 0 ? " -rpop" : "");
-#else /* POP */
-       fprintf (aud, from ? "<<inc>> %s  -ms %s\n" : "<<inc>> %s\n",
-                dtimenow (0), from);
-#endif /* POP */
-    }
-
-#ifdef MHE
-    if (context_find ("mhe")) {
-       cp = concat (maildir, "/++", NULL);
-       i = stat (cp, &st);
-       if ((mhe = fopen (cp, "a")) == NULL)
-           admonish (cp, "unable to append to");
-       else
-           if (i == NOTOK)
-               chmod (cp, m_gmprot ());
-       free (cp);
+       if (from)
+           fprintf (aud, "<<inc>> %s -ms %s\n", dtimenow(0), from);
+       else {
+           if (host)
+               fprintf (aud, "<<inc>> %s -host %s -user %s\n", dtimenow(0),
+                        host, user);
+           else
+               fprintf (aud, "<<inc>> %s\n", dtimenow (0));
+       }
     }
-#endif /* MHE */
 
     /* Get new format string */
     nfs = new_fs (form, format, FORMAT);
@@ -556,18 +598,19 @@ go_to_it:
        fflush (stdout);
     }
 
-#ifdef POP
+
     /*
      * Get the mail from a POP server
      */
     if (inc_type == INC_POP) {
+       int i;
        if (packfile) {
            packfile = path (packfile, TFILE);
            if (stat (packfile, &st) == NOTOK) {
                if (errno != ENOENT)
                    adios (packfile, "error on file");
                cp = concat ("Create file \"", packfile, "\"? ", NULL);
-               if (noisy && !getanswer (cp))
+               if (noisy && !read_yes_or_no_if_tty (cp))
                    done (1);
                free (cp);
            }
@@ -579,23 +622,21 @@ go_to_it:
                adios (NULL, "unable to fdopen %s", packfile);
        } else {
            hghnum = msgnum = mp->hghmsg;
-           /*
-            * Check if we have enough message space for all the new
-            * messages.  If not, then realloc the folder and add enough
-            * space for all new messages plus 10 additional slots.
-            */
-           if (mp->hghmsg + nmsgs >= mp->hghoff
-               && !(mp = folder_realloc (mp, mp->lowoff, mp->hghmsg + nmsgs + 10)))
-               adios (NULL, "unable to allocate folder storage");
        }
 
        for (i = 1; i <= nmsgs; i++) {
+           charstring_t scanl = NULL;
+
            msgnum++;
            if (packfile) {
+                size_t len;
+
                fseek (pf, 0L, SEEK_CUR);
                pos = ftell (pf);
                size = 0;
-               fwrite (mmdlm1, 1, strlen (mmdlm1), pf);
+                len = strlen(mmdlm1);
+               if (fwrite(mmdlm1, 1, len, pf) < len)
+                   advise (mmdlm1, "fwrite");
                start = ftell (pf);
 
                if (pop_retr (i, pop_pack) == NOTOK)
@@ -607,7 +648,7 @@ go_to_it:
                    adios (packfile, "write error on");
                fseek (pf, start, SEEK_SET);
            } else {
-               cp = getcpy (m_name (msgnum));
+               cp = mh_xstrdup(m_name (msgnum));
                if ((pf = fopen (cp, "w+")) == NULL)
                    adios (cp, "unable to write");
                chmod (cp, m_gmprot ());
@@ -620,10 +661,10 @@ go_to_it:
                    adios (cp, "write error on");
                fseek (pf, 0L, SEEK_SET);
            }
-           switch (p = scan (pf, msgnum, 0, nfs, width,
+           switch (incerr = scan (pf, msgnum, 0, nfs, width,
                              packfile ? 0 : msgnum == mp->hghmsg + 1 && chgflag,
-                             1, NULL, stop - start, noisy)) {
-           case SCNEOF: 
+                             1, NULL, stop - start, noisy, &scanl)) {
+           case SCNEOF:
                printf ("%*d  empty\n", DMAXFOLDER, msgnum);
                break;
 
@@ -634,31 +675,27 @@ go_to_it:
                /* fall thru */
 
            case SCNERR:
-           case SCNNUM: 
+           case SCNNUM:
                break;
 
-           case SCNMSG: 
+           case SCNMSG:
            case SCNENC:
-           default: 
+           default:
                if (aud)
-                   fputs (scanl, aud);
-# ifdef MHE
-               if (mhe)
-                   fputs (scanl, mhe);
-# endif /* MHE */
+                   fputs (charstring_buffer (scanl), aud);
                if (noisy)
                    fflush (stdout);
-               if (!packfile) {
-                   clear_msg_flags (mp, msgnum);
-                   set_exists (mp, msgnum);
-                   set_unseen (mp, msgnum);
-                   mp->msgflags |= SEQMOD;
-               }
                break;
            }
+           charstring_free (scanl);
+
            if (packfile) {
+                size_t len;
+
                fseek (pf, stop, SEEK_SET);
-               fwrite (mmdlm2, 1, strlen (mmdlm2), pf);
+                len = strlen(mmdlm2);
+               if (fwrite(mmdlm2, 1, len, pf) < len)
+                   advise (mmdlm2, "fwrite");
                if (fflush (pf) || ferror (pf)) {
                    int e = errno;
                    pop_quit ();
@@ -669,7 +706,7 @@ go_to_it:
            } else {
                if (ferror(pf) || fclose (pf)) {
                    int e = errno;
-                   unlink (cp);
+                   (void) m_unlink (cp);
                    pop_quit ();
                    errno = e;
                    adios (cp, "write error on");
@@ -679,6 +716,8 @@ go_to_it:
 
            if (trnflag && pop_dele (i) == NOTOK)
                adios (NULL, "%s", response);
+
+           scan_finished();
        }
 
        if (pop_quit () == NOTOK)
@@ -688,45 +727,22 @@ go_to_it:
            pd = NOTOK;
        }
     }
-#endif /* POP */
 
     /*
      * Get the mail from file (usually mail spool)
      */
-    if (inc_type == INC_FILE) {
-       m_unknown (in);         /* the MAGIC invocation... */
+    if (inc_type == INC_FILE && Maildir == NULL) {
+       scan_detect_mbox_style (in);            /* the MAGIC invocation... */
        hghnum = msgnum = mp->hghmsg;
-       for (i = 0;;) {
-           /*
-            * Check if we need to allocate more space for message status.
-            * If so, then add space for an additional 100 messages.
-            */
-           if (msgnum >= mp->hghoff
-               && !(mp = folder_realloc (mp, mp->lowoff, mp->hghoff + 100))) {
-               advise (NULL, "unable to allocate folder storage");
-               i = NOTOK;
-               break;
-           }
-
-#if 0
-           /* copy file from spool to tmp file */
-           tmpfilenam = m_scratch ("", invo_name);
-           if ((fd = creat (tmpfilenam, m_gmprot ())) == NOTOK)
-               adios (tmpfilenam, "unable to create");
-           chmod (tmpfilenam, m_gmprot ());
-           if (!(in2 = fdopen (fd, "r+")))
-               adios (tmpfilenam, "unable to access");
-           cpymsg (in, in2);
-
-           /* link message into folder */
-           newmsg = folder_addmsg(mp, tmpfilenam);
-#endif
+       for (;;) {
+           charstring_t scanl = NULL;
 
            /* create scanline for new message */
-           switch (i = scan (in, msgnum + 1, msgnum + 1, nfs, width,
-                             msgnum == hghnum && chgflag, 1, NULL, 0L, noisy)) {
+           switch (incerr = scan (in, msgnum + 1, msgnum + 1, nfs, width,
+                             msgnum == hghnum && chgflag, 1, NULL, 0L, noisy,
+                             &scanl)) {
            case SCNFAT:
-           case SCNEOF: 
+           case SCNEOF:
                break;
 
            case SCNERR:
@@ -735,56 +751,139 @@ go_to_it:
                advise (NULL, "aborted!");      /* doesn't clean up locks! */
                break;
 
-           case SCNNUM: 
+           case SCNNUM:
                advise (NULL, "BUG in %s, number out of range", invo_name);
                break;
 
-           default: 
-               advise (NULL, "BUG in %s, scan() botch (%d)", invo_name, i);
+           default:
+               advise (NULL, "BUG in %s, scan() botch (%d)", invo_name, incerr);
                break;
 
            case SCNMSG:
            case SCNENC:
+               /*
+                *  Run the external program hook on the message.
+                */
+
+               (void)snprintf(b, sizeof (b), "%s/%d", maildir_copy, msgnum + 1);
+               (void)ext_hook("add-hook", b, NULL);
+
                if (aud)
-                   fputs (scanl, aud);
-#ifdef MHE
-               if (mhe)
-                   fputs (scanl, mhe);
-#endif /* MHE */
+                   fputs (charstring_buffer (scanl), aud);
                if (noisy)
                    fflush (stdout);
 
                msgnum++;
-               mp->hghmsg++;
-               clear_msg_flags (mp, msgnum);
-               set_exists (mp, msgnum);
-               set_unseen (mp, msgnum);
-               mp->msgflags |= SEQMOD;
                continue;
            }
+           charstring_free (scanl);
+
+           /* If we get here there was some sort of error from scan(),
+            * so stop processing anything more from the spool.
+            */
            break;
        }
-    }
+    } else if (inc_type == INC_FILE) { /* Maildir inbox to process */
+       char *sp;
+       FILE *sf;
+       int i;
 
-#ifdef POP
-    if (p < 0) {               /* error */
-#else
-    if (i < 0) {               /* error */
-#endif
-       if (locked) {
-#ifdef MAILGROUP
-           /* Be sure we can unlock mail file */
-           setgid(return_gid);
-#endif /* MAILGROUP */
+       hghnum = msgnum = mp->hghmsg;
+       for (i = 0; i < num_maildir_entries; i++) {
+           charstring_t scanl = NULL;
+
+           msgnum++;
 
-           lkfclose (in, newmail);
+           sp = Maildir[i].filename;
+           cp = mh_xstrdup(m_name (msgnum));
+           pf = NULL;
+           if (!trnflag || link(sp, cp) == -1) {
+               static char buf[65536];
+               size_t nrd;
 
-#ifdef MAILGROUP
-           /* And then return us to normal privileges */
-           setgid(getgid());
-#endif /* MAILGROUP */
+               if ((sf = fopen (sp, "r")) == NULL)
+                   adios (sp, "unable to read for copy");
+               if ((pf = fopen (cp, "w+")) == NULL)
+                   adios (cp, "unable to write for copy");
+               while ((nrd = fread(buf, 1, sizeof(buf), sf)) > 0)
+                   if (fwrite(buf, 1, nrd, pf) != nrd)
+                       break;
+               if (ferror(sf) || fflush(pf) || ferror(pf)) {
+                       int e = errno;
+                       fclose(pf); fclose(sf); (void) m_unlink(cp);
+                       errno = e;
+                       adios(cp, "copy error %s -> %s", sp, cp);
+               }
+               fclose (sf);
+               sf = NULL;
+           }
+           if (pf == NULL && (pf = fopen (cp, "r")) == NULL)
+               adios (cp, "not available");
+           chmod (cp, m_gmprot ());
+
+           fseek (pf, 0L, SEEK_SET);
+           switch (incerr = scan (pf, msgnum, 0, nfs, width,
+                             msgnum == mp->hghmsg + 1 && chgflag,
+                             1, NULL, stop - start, noisy, &scanl)) {
+           case SCNEOF:
+               printf ("%*d  empty\n", DMAXFOLDER, msgnum);
+               break;
+
+           case SCNFAT:
+               trnflag = 0;
+               noisy++;
+               /* advise (cp, "unable to read"); already advised */
+               /* fall thru */
+
+           case SCNERR:
+           case SCNNUM:
+               break;
+
+           case SCNMSG:
+           case SCNENC:
+           default:
+               /*
+                *  Run the external program hook on the message.
+                */
+
+               (void)snprintf(b, sizeof (b), "%s/%d", maildir_copy, msgnum + 1);
+               (void)ext_hook("add-hook", b, NULL);
+
+               if (aud)
+                   fputs (charstring_buffer (scanl), aud);
+               if (noisy)
+                   fflush (stdout);
+               break;
+           }
+           charstring_free (scanl);
+
+           if (ferror(pf) || fclose (pf)) {
+               int e = errno;
+               (void) m_unlink (cp);
+               errno = e;
+               adios (cp, "write error on");
+           }
+           pf = NULL;
+           free (cp);
+
+           if (trnflag && m_unlink (sp) == NOTOK)
+               adios (sp, "couldn't unlink");
+           free (sp); /* Free Maildir[i]->filename */
+
+           scan_finished();
+       }
+       free (Maildir); /* From now on Maildir is just a flag - don't dref! */
+    }
+
+    scan_finished ();
+
+    if (incerr < 0) {          /* error */
+       if (locked) {
+            GETGROUPPRIVS();      /* Be sure we can unlock mail file */
+            (void) lkfclosespool (in, newmail); in = NULL;
+            DROPGROUPPRIVS();    /* And then return us to normal privileges */
        } else {
-           fclose (in);
+           fclose (in); in = NULL;
        }
        adios (NULL, "failed");
     }
@@ -792,32 +891,26 @@ go_to_it:
     if (aud)
        fclose (aud);
 
-#ifdef MHE
-    if (mhe)
-       fclose (mhe);
-#endif /* MHE */
-
     if (noisy)
        fflush (stdout);
 
-#ifdef POP
     if ((inc_type == INC_POP) && packfile)
        done (0);
-#endif /* POP */
 
     /*
      * truncate file we are incorporating from
      */
-    if (inc_type == INC_FILE) {
+    if (inc_type == INC_FILE && Maildir == NULL) {
        if (trnflag) {
            if (stat (newmail, &st) != NOTOK && s1.st_mtime != st.st_mtime)
                advise (NULL, "new messages have arrived!\007");
            else {
-               if ((i = creat (newmail, 0600)) != NOTOK)
-                   close (i);
+               int newfd;
+               if ((newfd = creat (newmail, 0600)) != NOTOK)
+                   close (newfd);
                else
                    admonish (newmail, "error zero'ing");
-               unlink(map_name(newmail));
+               (void) m_unlink(map_name(newmail));
            }
        } else {
            if (noisy)
@@ -828,84 +921,84 @@ go_to_it:
     if (msgnum == hghnum) {
        admonish (NULL, "no messages incorporated");
     } else {
+       /*
+        * Lock the sequence file now, and loop to set the right flags
+        * in the folder structure
+        */
+
+       struct msgs *mp2;
+       int i;
+
        context_replace (pfolder, folder);      /* update current folder */
+
+       if ((mp2 = folder_read(folder, 1)) == NULL) {
+           admonish(NULL, "Unable to reread folder %s", folder);
+           goto skip;
+       }
+
+       /*
+        * Shouldn't happen, but just in case ...
+        */
+
+       if (msgnum >= mp2->hghoff
+               && !(mp2 = folder_realloc (mp2, mp2->lowoff, msgnum + 1))) {
+           advise (NULL, "unable to reallocate folder storage");
+           goto skip;
+       }
+
        if (chgflag)
-           mp->curmsg = hghnum + 1;
-       mp->hghmsg = msgnum;
-       if (mp->lowmsg == 0)
-           mp->lowmsg = 1;
+           mp2->curmsg = hghnum + 1;
+       mp2->hghmsg = msgnum;
+
+       if (mp2->lowmsg == 0)
+           mp2->lowmsg = 1;
        if (chgflag)            /* sigh... */
-           seq_setcur (mp, mp->curmsg);
+           seq_setcur (mp2, mp2->curmsg);
+
+       for (i = hghnum + 1; i <= msgnum; i++) {
+           clear_msg_flags (mp2, i);
+           set_exists (mp2, i);
+           set_unseen (mp2, i);
+       }
+       mp2->msgflags |= SEQMOD;
+       seq_setunseen(mp2, 0);  /* Set the Unseen-Sequence */
+       seq_save(mp2);          /* Save the sequence file */
+       folder_free(mp2);
     }
+skip:
 
     /*
      * unlock the mail spool
      */
-    if (inc_type == INC_FILE) {
+    if (inc_type == INC_FILE && Maildir == NULL) {
        if (locked) {
-#ifdef MAILGROUP
-           setgid(return_gid); /* Be sure we can unlock mail file */
-#endif /* MAILGROUP */
-
-           lkfclose (in, newmail);
-
-#ifdef MAILGROUP
-           setgid(getgid());   /* And then return us to normal privileges */
-#endif /* MAILGROUP */
+           GETGROUPPRIVS();        /* Be sure we can unlock mail file */
+           (void) lkfclosespool (in, newmail); in = NULL;
+           DROPGROUPPRIVS();       /* And then return us to normal privileges */
        } else {
-           fclose (in);
+           fclose (in); in = NULL;
        }
     }
 
-    seq_setunseen (mp, 0);     /* set the Unseen-Sequence */
-    seq_save (mp);             /* synchronize sequences   */
     context_save ();           /* save the context file   */
-    return done (0);
-}
-
-
-#if 0
-
-/*
- * Copy message message from spool into
- * temporary file.  Massage the "From " line
- * while copying.
- */
-
-cpymsg (FILE *in, FILE *out)
-{
-    int state;
-    char *tmpbuf, name[NAMESZ];
-
-    for (;;) {
-       state = m_getfld (state, name, tmpbuf, rlwidth, in);
-       switch (state) {
-       case FLD:
-       case FLDPLUS:
-           break;
-       case BODY:
-           break;
-       case LENERR:
-       case FMTERR:
-           break;
-       case FILEEOF:
-           break;
-       default:
-       }
-    }
+    done (0);
+    return 1;
 }
-#endif /* if 0 */
 
 
-#ifdef POP
-int
-done (int status)
+static void
+inc_done (int status)
 {
+    done = exit;
     if (packfile && pd != NOTOK)
        mbx_close (packfile, pd);
-
+    if (locked)
+    {
+        GETGROUPPRIVS();
+        lkfclosespool(in, newmail);
+        DROPGROUPPRIVS();
+    }
     exit (status);
-    return 1;  /* dead code to satisfy the compiler */
 }
 
 static int
@@ -923,9 +1016,9 @@ pop_pack (char *s)
     char buffer[BUFSIZ];
 
     snprintf (buffer, sizeof(buffer), "%s\n", s);
-    for (j = 0; (j = stringdex (mmdlm1, buffer)) >= 0; buffer[j]++)
+    for ( ; (j = stringdex (mmdlm1, buffer)) >= 0; buffer[j]++)
        continue;
-    for (j = 0; (j = stringdex (mmdlm2, buffer)) >= 0; buffer[j]++)
+    for ( ; (j = stringdex (mmdlm2, buffer)) >= 0; buffer[j]++)
        continue;
     fputs (buffer, pf);
     size += strlen (buffer) + 1;
@@ -951,4 +1044,3 @@ map_count (void)
     close (md);
     return (d.d_id);
 }
-#endif /* POP */