]> diplodocus.org Git - nmh/blobdiff - uip/mhparse.c
context_replace.c: Move interface to own file.
[nmh] / uip / mhparse.c
index 79fbb716fcbf77bedbfcf183bc5580121b0d52d3..9b8eb973f3e1b765b57973188d35f5a9ec5a6490 100644 (file)
@@ -1,31 +1,34 @@
-
-/*
- * mhparse.c -- routines to parse the contents of MIME messages
+/* mhparse.c -- routines to parse the contents of MIME messages
  *
  * This code is Copyright (c) 2002, by the authors of nmh.  See the
  * COPYRIGHT file in the root directory of the nmh distribution for
  * complete copyright information.
  */
 
-#include <h/mh.h>
+#include "h/mh.h"
+#include "sbr/context_find.h"
+#include "sbr/pidstatus.h"
+#include "sbr/arglist.h"
+#include "sbr/error.h"
 #include <fcntl.h>
-#include <h/signals.h>
-#include <h/md5.h>
-#include <h/mts.h>
-#include <h/tws.h>
-#include <h/mime.h>
-#include <h/mhparse.h>
-#include <h/utils.h>
+#include "h/md5.h"
+#include "h/mts.h"
+#include "h/tws.h"
+#include "h/mime.h"
+#include "h/mhparse.h"
+#include "h/utils.h"
+#include "mhmisc.h"
+#include "h/mhcachesbr.h"
+#include "sbr/m_mktemp.h"
+#include "mhfree.h"
+#ifdef HAVE_ICONV
+# include <iconv.h>
+#endif /* HAVE_ICONV */
+#include "sbr/base64.h"
 
 
 extern int debugsw;
 
-extern pid_t xpid;     /* mhshowsbr.c  */
-
-/* cache policies */
-extern int rcachesw;   /* mhcachesbr.c */
-extern int wcachesw;   /* mhcachesbr.c */
-
 int checksw = 0;       /* check Content-MD5 field */
 
 /*
@@ -33,18 +36,31 @@ int checksw = 0;    /* check Content-MD5 field */
  * 1) Instruct parser not to detect invalid Content-Transfer-Encoding
  *    in a multipart.
  * 2) Suppress the warning about bogus multipart content, and report it.
+ * 3) Suppress the warning about extraneous trailing ';' in header parameter
+ *    lists.
  */
-int skip_mp_cte_check;
-int suppress_bogus_mp_content_warning;
-int bogus_mp_content;
+bool skip_mp_cte_check;
+bool suppress_bogus_mp_content_warning;
+bool bogus_mp_content;
+bool suppress_extraneous_trailing_semicolon_warning;
+
+/*
+ * By default, suppress warning about multiple MIME-Version header fields.
+ */
+bool suppress_multiple_mime_version_warning = true;
+
+/* list of preferred type/subtype pairs, for -prefer */
+mime_type_subtype mime_preference[NPREFS];
+int npreferred;
+
 
 /*
  * Structures for TEXT messages
  */
 struct k2v SubText[] = {
     { "plain",    TEXT_PLAIN },
-    { "richtext", TEXT_RICHTEXT },  /* defined in RFC-1341    */
-    { "enriched", TEXT_ENRICHED },  /* defined in RFC-1896    */
+    { "richtext", TEXT_RICHTEXT },  /* defined in RFC 1341    */
+    { "enriched", TEXT_ENRICHED },  /* defined in RFC 1896    */
     { NULL,       TEXT_UNKNOWN }    /* this one must be last! */
 };
 
@@ -58,6 +74,7 @@ struct k2v SubMultiPart[] = {
     { "alternative", MULTI_ALTERNATE },
     { "digest",      MULTI_DIGEST },
     { "parallel",    MULTI_PARALLEL },
+    { "related",     MULTI_RELATED },
     { NULL,          MULTI_UNKNOWN }    /* this one must be last! */
 };
 
@@ -94,17 +111,6 @@ static struct k2v EncodingType[] = {
 };
 
 
-/* mhcachesbr.c */
-int find_cache (CT, int, int *, char *, char *, int);
-
-/* mhmisc.c */
-int part_ok (CT, int);
-int type_ok (CT, int);
-void content_error (char *, CT, char *, ...);
-
-/* mhfree.c */
-void free_encoding (CT, int);
-
 /*
  * static prototypes
  */
@@ -114,7 +120,8 @@ static int get_comment (const char *, const char *, char **, char **);
 static int InitGeneric (CT);
 static int InitText (CT);
 static int InitMultiPart (CT);
-void reverse_parts (CT);
+static void reverse_parts (CT);
+static void prefer_parts(CT ct);
 static int InitMessage (CT);
 static int InitApplication (CT);
 static int init_encoding (CT, OpenCEFunc);
@@ -135,10 +142,11 @@ static int readDigest (CT, char *);
 static int get_leftover_mp_content (CT, int);
 static int InitURL (CT);
 static int openURL (CT, char **);
-static size_t param_len(PM, int, size_t, int *);
-static size_t encode_param(PM, char *, size_t, size_t, size_t, int);
+static int parse_header_attrs (const char *, const char *, char **, PM *,
+                              PM *, char **);
+static size_t param_len(PM, int, size_t, int *, int *, size_t *);
 static size_t normal_param(PM, char *, size_t, size_t, size_t);
-static int get_dispo (char *, CT);
+static int get_dispo (char *, CT, int);
 
 struct str2init str2cts[] = {
     { "application", CT_APPLICATION, InitApplication },
@@ -165,7 +173,7 @@ struct str2init str2ces[] = {
 /*
  * NOTE WELL: si_key MUST NOT have value of NOTOK
  *
- * si_key is 1 if access method is anonymous.
+ * si_val is 1 if access method is anonymous.
  */
 struct str2init str2methods[] = {
     { "afs",         1,        InitFile },
@@ -178,19 +186,6 @@ struct str2init str2methods[] = {
 };
 
 
-int
-pidcheck (int status)
-{
-    if ((status & 0xff00) == 0xff00 || (status & 0x007f) != SIGQUIT)
-       return status;
-
-    fflush (stdout);
-    fflush (stderr);
-    done (1);
-    return 1;
-}
-
-
 /*
  * Main entry point for parsing a MIME message or file.
  * It returns the Content structure for the top level
@@ -204,6 +199,10 @@ parse_mime (char *file)
     char buffer[BUFSIZ];
     FILE *fp;
     CT ct;
+    size_t n;
+    struct stat statbuf;
+
+    bogus_mp_content = false;
 
     /*
      * Check if file is actually standard input
@@ -215,10 +214,15 @@ parse_mime (char *file)
                   get_temp_dir());
             return NULL;
         }
-       file = add (tfile, NULL);
+       file = mh_xstrdup(tfile);
 
-       while (fgets (buffer, sizeof(buffer), stdin))
-           fputs (buffer, fp);
+       while ((n = fread(buffer, 1, sizeof(buffer), stdin)) > 0) {
+           if (fwrite(buffer, 1, n, fp) != n) {
+               (void) m_unlink (file);
+               advise (file, "error copying to temporary file");
+               return NULL;
+           }
+       }
        fflush (fp);
 
        if (ferror (stdin)) {
@@ -232,6 +236,13 @@ parse_mime (char *file)
            return NULL;
        }
        fseek (fp, 0L, SEEK_SET);
+    } else if (stat (file, &statbuf) == NOTOK) {
+       advise (file, "unable to stat");
+       return NULL;
+    } else if (S_ISDIR(statbuf.st_mode)) {
+       /* Don't try to parse a directory. */
+       inform("%s is a directory", file);
+       return NULL;
     } else if ((fp = fopen (file, "r")) == NULL) {
        advise (file, "unable to read");
        return NULL;
@@ -240,7 +251,7 @@ parse_mime (char *file)
     if (!(ct = get_content (fp, file, 1))) {
        if (is_stdin)
            (void) m_unlink (file);
-       advise (NULL, "unable to decode %s", file);
+       inform("unable to decode %s", file);
        return NULL;
     }
 
@@ -280,40 +291,39 @@ static CT
 get_content (FILE *in, char *file, int toplevel)
 {
     int compnum, state;
-    char buf[BUFSIZ], name[NAMESZ];
+    char buf[NMH_BUFSIZ], name[NAMESZ];
     char *np, *vp;
     CT ct;
     HF hp;
-    m_getfld_state_t gstate = 0;
+    m_getfld_state_t gstate;
 
     /* allocate the content structure */
-    if (!(ct = (CT) calloc (1, sizeof(*ct))))
-       adios (NULL, "out of memory");
-
+    NEW0(ct);
     ct->c_fp = in;
-    ct->c_file = add (file, NULL);
+    ct->c_file = mh_xstrdup(FENDNULL(file));
     ct->c_begin = ftell (ct->c_fp) + 1;
 
     /*
      * Parse the header fields for this
      * content into a linked list.
      */
-    m_getfld_track_filepos (&gstate, in);
+    gstate = m_getfld_state_init(in);
+    m_getfld_track_filepos2(&gstate);
     for (compnum = 1;;) {
        int bufsz = sizeof buf;
-       switch (state = m_getfld (&gstate, name, buf, &bufsz, in)) {
+       switch (state = m_getfld2(&gstate, name, buf, &bufsz)) {
        case FLD:
        case FLDPLUS:
            compnum++;
 
            /* get copies of the buffers */
-           np = add (name, NULL);
-           vp = add (buf, NULL);
+           np = mh_xstrdup(name);
+           vp = mh_xstrdup(buf);
 
            /* if necessary, get rest of field */
            while (state == FLDPLUS) {
                bufsz = sizeof buf;
-               state = m_getfld (&gstate, name, buf, &bufsz, in);
+               state = m_getfld2(&gstate, name, buf, &bufsz);
                vp = add (buf, vp);     /* add to previous value */
            }
 
@@ -325,7 +335,28 @@ get_content (FILE *in, char *file, int toplevel)
            continue;
 
        case BODY:
-           ct->c_begin = ftell (in) - strlen (buf);
+            /* There are two cases.  The unusual one is when there is no
+             * blank line between the headers and the body.  This is
+             * indicated by the name of the header starting with `:'.
+             *
+             * For both cases, normal first, `1' is the desired c_begin
+             * file position for the start of the body, and `2' is the
+             * file position when buf is returned.
+             *
+             *     f o o :   b a r \n \n b o d y \n    bufsz = 6
+             *                          1          2   move -5
+             *     f o o :   b a r \n b o d y \n       bufsz = 4
+             *                       1       2         move -4
+             *
+             * For the normal case, bufsz includes the
+             * header-terminating `\n', even though it is not in buf,
+             * but bufsz isn't affected when it's missing in the unusual
+             * case. */
+           if (name[0] == ':') {
+               ct->c_begin = ftell(in) - bufsz;
+           } else {
+               ct->c_begin = ftell (in) - (bufsz - 1);
+           }
            break;
 
        case FILEEOF:
@@ -334,10 +365,10 @@ get_content (FILE *in, char *file, int toplevel)
 
        case LENERR:
        case FMTERR:
-           adios (NULL, "message format error in component #%d", compnum);
+           die("message format error in component #%d", compnum);
 
        default:
-           adios (NULL, "getfld() returned %d", state);
+           die("getfld() returned %d", state);
        }
 
        /* break out of the loop */
@@ -358,16 +389,12 @@ get_content (FILE *in, char *file, int toplevel)
        if (!strcasecmp (hp->name, VRSN_FIELD)) {
            int ucmp;
            char c, *cp, *dp;
+           char *vrsn;
 
-           if (ct->c_vrsn) {
-               advise (NULL, "message %s has multiple %s: fields",
-                       ct->c_file, VRSN_FIELD);
-               goto next_header;
-           }
-           ct->c_vrsn = add (hp->value, NULL);
+           vrsn = mh_xstrdup(FENDNULL(hp->value));
 
            /* Now, cleanup this field */
-           cp = ct->c_vrsn;
+           cp = vrsn;
 
            while (isspace ((unsigned char) *cp))
                cp++;
@@ -391,9 +418,17 @@ get_content (FILE *in, char *file, int toplevel)
            ucmp = !strcasecmp (cp, VRSN_VALUE);
            *dp = c;
            if (!ucmp) {
-               admonish (NULL, "message %s has unknown value for %s: field (%s)",
+               inform("message %s has unknown value for %s: field (%s), continuing...",
                ct->c_file, VRSN_FIELD, cp);
            }
+           if (!ct->c_vrsn) {
+               ct->c_vrsn = vrsn;
+           } else {
+               if (! suppress_multiple_mime_version_warning)
+                   inform("message %s has multiple %s: fields",
+                           ct->c_file, VRSN_FIELD);
+               free(vrsn);
+           }
        }
        else if (!strcasecmp (hp->name, TYPE_FIELD)) {
        /* Get Content-Type field */
@@ -402,7 +437,7 @@ get_content (FILE *in, char *file, int toplevel)
 
            /* Check if we've already seen a Content-Type header */
            if (ct->c_ctline) {
-               advise (NULL, "message %s has multiple %s: fields",
+               inform("message %s has multiple %s: fields",
                        ct->c_file, TYPE_FIELD);
                goto next_header;
            }
@@ -433,13 +468,13 @@ get_content (FILE *in, char *file, int toplevel)
             * Content-Transfer-Encoding field
             */
            if (ct->c_celine) {
-               advise (NULL, "message %s has multiple %s: fields",
+               inform("message %s has multiple %s: fields",
                        ct->c_file, ENCODING_FIELD);
                goto next_header;
            }
 
            /* get copy of this field */
-           ct->c_celine = cp = add (hp->value, NULL);
+           ct->c_celine = cp = mh_xstrdup(FENDNULL(hp->value));
 
            while (isspace ((unsigned char) *cp))
                cp++;
@@ -472,12 +507,12 @@ get_content (FILE *in, char *file, int toplevel)
                goto next_header;
 
            if (ct->c_digested) {
-               advise (NULL, "message %s has multiple %s: fields",
+               inform("message %s has multiple %s: fields",
                        ct->c_file, MD5_FIELD);
                goto next_header;
            }
 
-           ep = cp = add (hp->value, NULL);    /* get a copy */
+           ep = cp = mh_xstrdup(FENDNULL(hp->value)); /* get a copy */
 
            while (isspace ((unsigned char) *cp))
                cp++;
@@ -514,7 +549,7 @@ get_content (FILE *in, char *file, int toplevel)
        }
        else if (!strcasecmp (hp->name, DISPO_FIELD)) {
        /* Get Content-Disposition field */
-           if (get_dispo(hp->value, ct) == NOTOK)
+           if (get_dispo(hp->value, ct, 0) == NOTOK)
                goto out;
        }
 
@@ -572,7 +607,7 @@ add_header (CT ct, char *name, char *value)
     HF hp;
 
     /* allocate header field structure */
-    hp = mh_xmalloc (sizeof(*hp));
+    NEW(hp);
 
     /* link data into header structure */
     hp->name = name;
@@ -592,88 +627,6 @@ add_header (CT ct, char *name, char *value)
 }
 
 
-/* Make sure that buf contains at least one appearance of name,
-   followed by =.  If not, insert both name and value, just after
-   first semicolon, if any.  Note that name should not contain a
-   trailing =. And quotes will be added around the value.  Typical
-   usage:  make sure that a Content-Disposition header contains
-   filename="foo".  If it doesn't and value does, use value from
-   that. */
-static char *
-incl_name_value (char *buf, char *name, char *value) {
-    char *newbuf = buf;
-
-    /* Assume that name is non-null. */
-    if (buf && value) {
-       char *name_plus_equal = concat (name, "=", NULL);
-
-       if (! strstr (buf, name_plus_equal)) {
-           char *insertion;
-           char *cp, *prefix, *suffix;
-
-           /* Trim trailing space, esp. newline. */
-           for (cp = &buf[strlen (buf) - 1];
-                cp >= buf && isspace ((unsigned char) *cp);
-                --cp) {
-               *cp = '\0';
-           }
-
-           insertion = concat ("; ", name, "=", "\"", value, "\"", NULL);
-
-           /* Insert at first semicolon, if any.  If none, append to
-              end. */
-           prefix = add (buf, NULL);
-           if ((cp = strchr (prefix, ';'))) {
-               suffix = concat (cp, NULL);
-               *cp = '\0';
-               newbuf = concat (prefix, insertion, suffix, "\n", NULL);
-               free (suffix);
-           } else {
-               /* Append to end. */
-               newbuf = concat (buf, insertion, "\n", NULL);
-           }
-
-           free (prefix);
-           free (insertion);
-           free (buf);
-       }
-
-       free (name_plus_equal);
-    }
-
-    return newbuf;
-}
-
-/* Extract just name_suffix="foo", if any, from value. If there isn't
-   one, return the entire value.  Note that, for example, a name_suffix
-   of name will match filename="foo", and return foo. */
-static char *
-extract_name_value (char *name_suffix, char *value) {
-    char *extracted_name_value = value;
-    char *name_suffix_plus_quote = concat (name_suffix, "=\"", NULL);
-    char *name_suffix_equals = strstr (value, name_suffix_plus_quote);
-    char *cp;
-
-    free (name_suffix_plus_quote);
-    if (name_suffix_equals) {
-       char *name_suffix_begin;
-
-       /* Find first \". */
-       for (cp = name_suffix_equals; *cp != '"'; ++cp) /* empty */;
-       name_suffix_begin = ++cp;
-       /* Find second \". */
-       for (; *cp != '"'; ++cp) /* empty */;
-
-       extracted_name_value = mh_xmalloc (cp - name_suffix_begin + 1);
-       memcpy (extracted_name_value,
-               name_suffix_begin,
-               cp - name_suffix_begin);
-       extracted_name_value[cp - name_suffix_begin] = '\0';
-    }
-
-    return extracted_name_value;
-}
-
 /*
  * Parse Content-Type line and (if `magic' is non-zero) mhbuild composition
  * directives.  Fills in the information of the CTinfo structure.
@@ -689,7 +642,7 @@ get_ctinfo (char *cp, CT ct, int magic)
     ci = &ct->c_ctinfo;
 
     /* store copy of Content-Type line */
-    cp = ct->c_ctline = add (cp, NULL);
+    cp = ct->c_ctline = mh_xstrdup(FENDNULL(cp));
 
     while (isspace ((unsigned char) *cp))      /* trim leading spaces */
        cp++;
@@ -713,20 +666,18 @@ get_ctinfo (char *cp, CT ct, int magic)
 
     for (dp = cp; istoken (*dp); dp++)
        continue;
-    c = *dp, *dp = '\0';
-    ci->ci_type = add (cp, NULL);      /* store content type */
-    *dp = c, cp = dp;
+    c = *dp;
+    *dp = '\0';
+    ci->ci_type = mh_xstrdup(cp);      /* store content type */
+    *dp = c;
+    cp = dp;
 
     if (!*ci->ci_type) {
-       advise (NULL, "invalid %s: field in message %s (empty type)", 
+       inform("invalid %s: field in message %s (empty type)",
                TYPE_FIELD, ct->c_file);
        return NOTOK;
     }
-
-    /* down case the content type string */
-    for (dp = ci->ci_type; *dp; dp++)
-       if (isalpha((unsigned char) *dp) && isupper ((unsigned char) *dp))
-           *dp = tolower ((unsigned char) *dp);
+    to_lower(ci->ci_type);
 
     while (isspace ((unsigned char) *cp))
        cp++;
@@ -737,7 +688,7 @@ get_ctinfo (char *cp, CT ct, int magic)
 
     if (*cp != '/') {
        if (!magic)
-           ci->ci_subtype = add ("", NULL);
+           ci->ci_subtype = mh_xstrdup("");
        goto magic_skip;
     }
 
@@ -751,21 +702,18 @@ get_ctinfo (char *cp, CT ct, int magic)
 
     for (dp = cp; istoken (*dp); dp++)
        continue;
-    c = *dp, *dp = '\0';
-    ci->ci_subtype = add (cp, NULL);   /* store the content subtype */
-    *dp = c, cp = dp;
+    c = *dp;
+    *dp = '\0';
+    ci->ci_subtype = mh_xstrdup(cp);   /* store the content subtype */
+    *dp = c;
+    cp = dp;
 
     if (!*ci->ci_subtype) {
-       advise (NULL,
-               "invalid %s: field in message %s (empty subtype for \"%s\")",
-               TYPE_FIELD, ct->c_file, ci->ci_type);
+       inform("invalid %s: field in message %s (empty subtype for \"%s\")",
+            TYPE_FIELD, ct->c_file, ci->ci_type);
        return NOTOK;
     }
-
-    /* down case the content subtype string */
-    for (dp = ci->ci_subtype; *dp; dp++)
-       if (isalpha((unsigned char) *dp) && isupper ((unsigned char) *dp))
-           *dp = tolower ((unsigned char) *dp);
+    to_lower(ci->ci_subtype);
 
 magic_skip:
     while (isspace ((unsigned char) *cp))
@@ -785,12 +733,10 @@ magic_skip:
      * Get any <Content-Id> given in buffer
      */
     if (magic && *cp == '<') {
-       if (ct->c_id) {
-           free (ct->c_id);
-           ct->c_id = NULL;
-       }
+        free(ct->c_id);
+        ct->c_id = NULL;
        if (!(dp = strchr(ct->c_id = ++cp, '>'))) {
-           advise (NULL, "invalid ID in message %s", ct->c_file);
+           inform("invalid ID in message %s", ct->c_file);
            return NOTOK;
        }
        c = *dp;
@@ -815,7 +761,7 @@ magic_skip:
            if (*dp == ']')
                break;
        if (dp < cp) {
-           advise (NULL, "invalid description in message %s", ct->c_file);
+           inform("invalid description in message %s", ct->c_file);
            ct->c_descr = NULL;
            return NOTOK;
        }
@@ -837,22 +783,22 @@ magic_skip:
      * Get any {Content-Disposition} given in buffer.
      */
     if (magic && *cp == '{') {
-        ct->c_dispo = ++cp;
+        ++cp;
        for (dp = cp + strlen (cp) - 1; dp >= cp; dp--)
            if (*dp == '}')
                break;
        if (dp < cp) {
-           advise (NULL, "invalid disposition in message %s", ct->c_file);
+           inform("invalid disposition in message %s", ct->c_file);
            ct->c_dispo = NULL;
            return NOTOK;
        }
        
        c = *dp;
        *dp = '\0';
-       if (*ct->c_dispo)
-           ct->c_dispo = concat (ct->c_dispo, "\n", NULL);
-       else
-           ct->c_dispo = NULL;
+
+       if (get_dispo(cp, ct, 1) != OK)
+           return NOTOK;
+
        *dp++ = c;
        cp = dp;
 
@@ -876,7 +822,7 @@ magic_skip:
            cp++;
 
        if (dp == cp) {
-           advise (NULL, "invalid null transfer encoding specification");
+           inform("invalid null transfer encoding specification");
            return NOTOK;
        }
 
@@ -893,7 +839,7 @@ magic_skip:
        }
 
        if (ct->c_reqencoding == CE_UNKNOWN) {
-           advise (NULL, "invalid CTE specification: \"%s\"", dp);
+           inform("invalid CTE specification: \"%s\"", dp);
            return NOTOK;
        }
 
@@ -906,25 +852,21 @@ magic_skip:
      */
     if (*cp) {
         if (magic) {
-           ci->ci_magic = add (cp, NULL);
+           ci->ci_magic = mh_xstrdup(cp);
 
             /* If there is a Content-Disposition header and it doesn't
                have a *filename=, extract it from the magic contents.
                The r1bindex call skips any leading directory
                components. */
-            if (ct->c_dispo)
-                ct->c_dispo =
-                    incl_name_value (ct->c_dispo,
-                                     "filename",
-                                     r1bindex (extract_name_value ("name",
-                                                                   ci->
-                                                                   ci_magic),
-                                               '/'));
+            if (ct->c_dispo_type &&
+               !get_param(ct->c_dispo_first, "filename", '_', 1)) {
+               add_param(&ct->c_dispo_first, &ct->c_dispo_last, "filename",
+                         r1bindex(ci->ci_magic, '/'), 0);
+           }
         }
        else
-           advise (NULL,
-                   "extraneous information in message %s's %s: field\n%*s(%s)",
-                    ct->c_file, TYPE_FIELD, strlen(invo_name) + 2, "", cp);
+            inform("extraneous information in message %s's %s: field\n"
+                "    (%s)", ct->c_file, TYPE_FIELD, cp);
     }
 
     return OK;
@@ -936,15 +878,20 @@ magic_skip:
  * get_ctinfo().
  */
 static int
-get_dispo (char *cp, CT ct)
+get_dispo (char *cp, CT ct, int buildflag)
 {
-    char *dp;
+    char *dp, *dispoheader;
     char c;
     int status;
 
-    /* Save the whole copy of the Content-Disposition header */
+    /*
+     * Save the whole copy of the Content-Disposition header, unless we're
+     * processing a mhbuild directive.  A NULL c_dispo will be a flag to
+     * mhbuild that the disposition header needs to be generated at that
+     * time.
+     */
 
-    cp = ct->c_dispo = add(cp, NULL);
+    dispoheader = cp = mh_xstrdup(FENDNULL(cp));
 
     while (isspace ((unsigned char) *cp))      /* trim leading spaces */
        cp++;
@@ -962,14 +909,19 @@ get_dispo (char *cp, CT ct)
     if (debugsw)
        fprintf (stderr, "%s: %s\n", DISPO_FIELD, cp);
 
-    if (*cp == '(' && get_comment (ct->c_file, DISPO_FIELD, &cp, NULL) == NOTOK)
+    if (*cp == '(' && get_comment (ct->c_file, DISPO_FIELD, &cp, NULL) ==
+                                                       NOTOK) {
+       free(dispoheader);
        return NOTOK;
+    }
 
     for (dp = cp; istoken (*dp); dp++)
        continue;
-    c = *dp, *dp = '\0';
-    ct->c_dispo_type = add (cp, NULL); /* store disposition type */
-    *dp = c, cp = dp;
+    c = *dp;
+    *dp = '\0';
+    ct->c_dispo_type = mh_xstrdup(cp); /* store disposition type */
+    *dp = c;
+    cp = dp;
 
     if (*cp == '(' && get_comment (ct->c_file, DISPO_FIELD, &cp, NULL) == NOTOK)
        return NOTOK;
@@ -977,14 +929,19 @@ get_dispo (char *cp, CT ct)
     if ((status = parse_header_attrs (ct->c_file, DISPO_FIELD, &cp,
                                      &ct->c_dispo_first, &ct->c_dispo_last,
                                      NULL)) != OK) {
-       return status == NOTOK ? NOTOK : OK;
+       if (status == NOTOK) {
+           free(dispoheader);
+           return NOTOK;
+       }
+    } else if (*cp) {
+        inform("extraneous information in message %s's %s: field\n    (%s)",
+            ct->c_file, DISPO_FIELD, cp);
     }
 
-    if (*cp) {
-       advise (NULL,
-               "extraneous information in message %s's %s: field\n%*s(%s)",
-                    ct->c_file, DISPO_FIELD, strlen(invo_name) + 2, "", cp);
-    }
+    if (buildflag)
+       free(dispoheader);
+    else
+       ct->c_dispo = dispoheader;
 
     return OK;
 }
@@ -1006,7 +963,7 @@ get_comment (const char *filename, const char *fieldname, char **ap,
        switch (c = *cp++) {
        case '\0':
 invalid:
-       advise (NULL, "invalid comment in message %s's %s: field",
+       inform("invalid comment in message %s's %s: field",
                filename, fieldname);
        return NOTOK;
 
@@ -1019,7 +976,7 @@ invalid:
 
        case '(':
            i++;
-           /* and fall... */
+           /* FALLTHRU */
        default:
            *bp++ = c;
            continue;
@@ -1039,7 +996,7 @@ invalid:
            *commentp = concat (dp, " ", buffer, NULL);
            free (dp);
        } else {
-           *commentp = add (buffer, NULL);
+           *commentp = mh_xstrdup(buffer);
        }
     }
 
@@ -1078,7 +1035,6 @@ InitText (CT ct)
     char *chset = NULL;
     char *cp;
     PM pm;
-    struct k2v *kv;
     struct text *t;
     CI ci = &ct->c_ctinfo;
 
@@ -1087,14 +1043,10 @@ InitText (CT ct)
        ci->ci_subtype = add ("plain", ci->ci_subtype);
 
     /* match subtype */
-    for (kv = SubText; kv->kv_key; kv++)
-       if (!strcasecmp (ci->ci_subtype, kv->kv_key))
-           break;
-    ct->c_subtype = kv->kv_value;
+    ct->c_subtype = ct_str_subtype (CT_TEXT, ci->ci_subtype);
 
     /* allocate text character set structure */
-    if ((t = (struct text *) calloc (1, sizeof(*t))) == NULL)
-       adios (NULL, "out of memory");
+    NEW0(t);
     ct->c_ctparams = (void *) t;
 
     /* scan for charset parameter */
@@ -1120,7 +1072,7 @@ InitText (CT ct)
     if (chset != NULL && !check_charset (chset, strlen (chset))) {
        snprintf (buffer, sizeof(buffer), "%s-charset-%s", invo_name, chset);
        if ((cp = context_find (buffer)))
-           ct->c_termproc = getcpy (cp);
+           ct->c_termproc = mh_xstrdup(cp);
     }
 
     return OK;
@@ -1134,13 +1086,15 @@ InitText (CT ct)
 static int
 InitMultiPart (CT ct)
 {
-    int        inout;
+    bool inout;
     long last, pos;
     char *cp, *dp;
     PM pm;
-    char *bp, buffer[BUFSIZ];
+    char *bp;
+    char *bufp = NULL;
+    size_t buflen;
+    ssize_t gotlen;
     struct multipart *m;
-    struct k2v *kv;
     struct part *part, **next;
     CI ci = &ct->c_ctinfo;
     CT p;
@@ -1148,34 +1102,31 @@ InitMultiPart (CT ct)
 
     /*
      * The encoding for multipart messages must be either
-     * 7bit, 8bit, or binary (per RFC2045).
+     * 7bit, 8bit, or binary (per RFC 2045).
      */
     if (! skip_mp_cte_check  &&  ct->c_encoding != CE_7BIT  &&
         ct->c_encoding != CE_8BIT  &&  ct->c_encoding != CE_BINARY) {
        /* Copy the Content-Transfer-Encoding header field body so we can
           remove any trailing whitespace and leading blanks from it. */
-       char *cte = add (ct->c_celine ? ct->c_celine : "(null)", NULL);
+       char *cte = mh_xstrdup(ct->c_celine ? ct->c_celine : "(null)");
 
        bp = cte + strlen (cte) - 1;
        while (bp >= cte && isspace ((unsigned char) *bp)) *bp-- = '\0';
-       for (bp = cte; *bp && isblank ((unsigned char) *bp); ++bp) continue;
-
-       admonish (NULL,
-                 "\"%s/%s\" type in message %s must be encoded in\n"
-                 "7bit, 8bit, or binary, per RFC 2045 (6.4).  One workaround "
-                 "is to\nmanually edit the file and change the \"%s\"\n"
-                 "Content-Transfer-Encoding to one of those.  For now",
-                 ci->ci_type, ci->ci_subtype, ct->c_file, bp);
+       for (bp = cte; isblank((unsigned char)*bp); ++bp) continue;
+
+       inform("\"%s/%s\" type in message %s must be encoded in\n"
+           "7bit, 8bit, or binary, per RFC 2045 (6.4).  "
+           "mhfixmsg -fixcte can fix it, or\n"
+           "manually edit the file and change the \"%s\"\n"
+           "Content-Transfer-Encoding to one of those.  For now, continuing...",
+           ci->ci_type, ci->ci_subtype, ct->c_file, bp);
        free (cte);
 
        return NOTOK;
     }
 
     /* match subtype */
-    for (kv = SubMultiPart; kv->kv_key; kv++)
-       if (!strcasecmp (ci->ci_subtype, kv->kv_key))
-           break;
-    ct->c_subtype = kv->kv_value;
+    ct->c_subtype = ct_str_subtype (CT_MULTIPART, ci->ci_subtype);
 
     /*
      * Check for "boundary" parameter, which is
@@ -1191,22 +1142,20 @@ InitMultiPart (CT ct)
 
     /* complain if boundary parameter is missing */
     if (!pm) {
-       advise (NULL,
-               "a \"boundary\" parameter is mandatory for \"%s/%s\" type in message %s's %s: field",
-               ci->ci_type, ci->ci_subtype, ct->c_file, TYPE_FIELD);
+       inform("a \"boundary\" parameter is mandatory for \"%s/%s\" type in message %s's %s: field",
+            ci->ci_type, ci->ci_subtype, ct->c_file, TYPE_FIELD);
        return NOTOK;
     }
 
     /* allocate primary structure for multipart info */
-    if ((m = (struct multipart *) calloc (1, sizeof(*m))) == NULL)
-       adios (NULL, "out of memory");
+    NEW0(m);
     ct->c_ctparams = (void *) m;
 
     /* check if boundary parameter contains only whitespace characters */
     for (cp = bp; isspace ((unsigned char) *cp); cp++)
        continue;
     if (!*cp) {
-       advise (NULL, "invalid \"boundary\" parameter for \"%s/%s\" type in message %s's %s: field",
+       inform("invalid \"boundary\" parameter for \"%s/%s\" type in message %s's %s: field",
                ci->ci_type, ci->ci_subtype, ct->c_file, TYPE_FIELD);
        return NOTOK;
     }
@@ -1230,26 +1179,26 @@ InitMultiPart (CT ct)
     last = ct->c_end;
     next = &m->mp_parts;
     part = NULL;
-    inout = 1;
+    inout = true;
 
-    while (fgets (buffer, sizeof(buffer) - 1, fp)) {
+    while ((gotlen = getline(&bufp, &buflen, fp)) != -1) {
        if (pos > last)
            break;
 
-       pos += strlen (buffer);
-       if (buffer[0] != '-' || buffer[1] != '-')
+       pos += gotlen;
+       if (bufp[0] != '-' || bufp[1] != '-')
            continue;
        if (inout) {
-           if (strcmp (buffer + 2, m->mp_start))
+           if (strcmp (bufp + 2, m->mp_start))
                continue;
 next_part:
-           if ((part = (struct part *) calloc (1, sizeof(*part))) == NULL)
-               adios (NULL, "out of memory");
+           NEW0(part);
            *next = part;
            next = &part->mp_next;
 
            if (!(p = get_content (fp, ct->c_file,
                        ct->c_subtype == MULTI_DIGEST ? -1 : 0))) {
+               free(bufp);
                ct->c_fp = NULL;
                return NOTOK;
            }
@@ -1257,29 +1206,28 @@ next_part:
            part->mp_part = p;
            pos = p->c_begin;
            fseek (fp, pos, SEEK_SET);
-           inout = 0;
+           inout = false;
        } else {
-           if (strcmp (buffer + 2, m->mp_start) == 0) {
-               inout = 1;
+           if (strcmp (bufp + 2, m->mp_start) == 0) {
+               inout = true;
 end_part:
                p = part->mp_part;
-               p->c_end = ftell(fp) - (strlen(buffer) + 1);
+               p->c_end = ftell(fp) - (gotlen + 1);
                if (p->c_end < p->c_begin)
                    p->c_begin = p->c_end;
                if (inout)
                    goto next_part;
                goto last_part;
-           } else {
-               if (strcmp (buffer + 2, m->mp_stop) == 0)
-                   goto end_part;
            }
+            if (strcmp (bufp + 2, m->mp_stop) == 0)
+                goto end_part;
        }
     }
 
     if (! suppress_bogus_mp_content_warning) {
-        advise (NULL, "bogus multipart content in message %s", ct->c_file);
+        inform("bogus multipart content in message %s", ct->c_file);
     }
-    bogus_mp_content = 1;
+    bogus_mp_content = true;
 
     if (!inout && part) {
        p = part->mp_part;
@@ -1291,14 +1239,16 @@ end_part:
                continue;
            *next = NULL;
            free_content (p);
-           free ((char *) part);
+           free(part);
        }
     }
 
 last_part:
     /* reverse the order of the parts for multipart/alternative */
-    if (ct->c_subtype == MULTI_ALTERNATE)
+    if (ct->c_subtype == MULTI_ALTERNATE) {
        reverse_parts (ct);
+       prefer_parts (ct);
+    }
 
     /*
      * label all subparts with part number, and
@@ -1321,10 +1271,11 @@ last_part:
            p = part->mp_part;
 
            sprintf (pp, "%d", partnum);
-           p->c_partno = add (partnam, NULL);
+           p->c_partno = mh_xstrdup(partnam);
 
            /* initialize the content of the subparts */
            if (p->c_ctinitfnx && (*p->c_ctinitfnx) (p) == NOTOK) {
+               free(bufp);
                fclose (ct->c_fp);
                ct->c_fp = NULL;
                return NOTOK;
@@ -1335,6 +1286,7 @@ last_part:
     get_leftover_mp_content (ct, 1);
     get_leftover_mp_content (ct, 0);
 
+    free(bufp);
     fclose (ct->c_fp);
     ct->c_fp = NULL;
     return OK;
@@ -1342,10 +1294,16 @@ last_part:
 
 
 /*
- * reverse the order of the parts of a multipart/alternative
+ * reverse the order of the parts of a multipart/alternative,
+ * presumably to put the "most favored" alternative first, for
+ * ease of choosing/displaying it later on.  from a mail message on
+ * nmh-workers, from kenh:
+ *  "Stock" MH 6.8.5 did not have a reverse_parts() function, but I
+ *  see code in mhn that did the same thing...  According to the RCS
+ *  logs, that code was around from the initial checkin of mhn.c by
+ *  John Romine in 1992, which is as far back as we have."
  */
-
-void
+static void
 reverse_parts (CT ct)
 {
     struct multipart *m = (struct multipart *) ct->c_ctparams;
@@ -1361,6 +1319,85 @@ reverse_parts (CT ct)
     }
 }
 
+static void
+move_preferred_part(CT ct, mime_type_subtype *pref)
+{
+    struct multipart *m = (struct multipart *) ct->c_ctparams;
+    struct part *part, *prev, *head, *nhead, *ntail;
+    struct part h, n;
+    CI ci;
+
+    /* move the matching part(s) to the head of the list:  walk the
+     * list of parts, move matching parts to a new list (maintaining
+     * their order), and finally, concatenate the old list onto the
+     * new.
+     */
+
+    head = &h;
+    nhead = &n;
+
+    head->mp_next = m->mp_parts;
+    nhead->mp_next = NULL;
+    ntail = nhead;
+
+    prev = head;
+    part = head->mp_next;
+    while (part != NULL) {
+       ci = &part->mp_part->c_ctinfo;
+       if (!strcasecmp(ci->ci_type, pref->type) &&
+            (!pref->subtype ||
+                !strcasecmp(ci->ci_subtype, pref->subtype))) {
+           prev->mp_next = part->mp_next;
+           part->mp_next = NULL;
+           ntail->mp_next = part;
+           ntail = part;
+           part = prev->mp_next;
+       } else {
+           prev = part;
+           part = prev->mp_next;
+       }
+    }
+    ntail->mp_next = head->mp_next;
+    m->mp_parts = nhead->mp_next;
+}
+
+/*
+ * move parts that match the user's preferences (-prefer) to the head
+ * of the line.  process preferences in reverse so first one given
+ * ends up first in line
+ */
+static void
+prefer_parts(CT ct)
+{
+    int i;
+    for (i = 0; i < npreferred; i++)
+       move_preferred_part(ct, mime_preference + i);
+}
+
+
+
+/* parse_mime() arranges alternates in reverse (priority) order.  This
+   function can be used to reverse them back.  This will put, for
+   example, a text/plain part before a text/html part in a
+   multipart/alternative part, for example, where it belongs. */
+void
+reverse_alternative_parts (CT ct)
+{
+    if (ct->c_type == CT_MULTIPART) {
+        struct multipart *m = (struct multipart *) ct->c_ctparams;
+        struct part *part;
+
+        if (ct->c_subtype == MULTI_ALTERNATE) {
+            reverse_parts (ct);
+        }
+
+        /* And call recursively on each part of a multipart. */
+        for (part = m->mp_parts; part; part = part->mp_next) {
+            reverse_alternative_parts (part->mp_part);
+        }
+    }
+}
+
 
 /*
  * MESSAGE
@@ -1369,13 +1406,12 @@ reverse_parts (CT ct)
 static int
 InitMessage (CT ct)
 {
-    struct k2v *kv;
     CI ci = &ct->c_ctinfo;
 
     if ((ct->c_encoding != CE_7BIT) && (ct->c_encoding != CE_8BIT)) {
-       admonish (NULL,
-                 "\"%s/%s\" type in message %s should be encoded in 7bit or 8bit",
-                 ci->ci_type, ci->ci_subtype, ct->c_file);
+       inform("\"%s/%s\" type in message %s should be encoded in "
+           "7bit or 8bit, continuing...", ci->ci_type, ci->ci_subtype,
+           ct->c_file);
        return NOTOK;
     }
 
@@ -1384,10 +1420,7 @@ InitMessage (CT ct)
        ci->ci_subtype = add ("rfc822", ci->ci_subtype);
 
     /* match subtype */
-    for (kv = SubMessage; kv->kv_key; kv++)
-       if (!strcasecmp (ci->ci_subtype, kv->kv_key))
-           break;
-    ct->c_subtype = kv->kv_value;
+    ct->c_subtype = ct_str_subtype (CT_MESSAGE, ci->ci_subtype);
 
     switch (ct->c_subtype) {
        case MESSAGE_RFC822:
@@ -1398,24 +1431,22 @@ InitMessage (CT ct)
                PM pm;
                struct partial *p;
 
-               if ((p = (struct partial *) calloc (1, sizeof(*p))) == NULL)
-                   adios (NULL, "out of memory");
+               NEW0(p);
                ct->c_ctparams = (void *) p;
 
                /* scan for parameters "id", "number", and "total" */
                for (pm = ci->ci_first_pm; pm; pm = pm->pm_next) {
                    if (!strcasecmp (pm->pm_name, "id")) {
-                       p->pm_partid = add (pm->pm_value, NULL);
+                       p->pm_partid = mh_xstrdup(FENDNULL(pm->pm_value));
                        continue;
                    }
                    if (!strcasecmp (pm->pm_name, "number")) {
                        if (sscanf (pm->pm_value, "%d", &p->pm_partno) != 1
                                || p->pm_partno < 1) {
 invalid_param:
-                           advise (NULL,
-                                   "invalid %s parameter for \"%s/%s\" type in message %s's %s field",
-                                   pm->pm_name, ci->ci_type, ci->ci_subtype,
-                                   ct->c_file, TYPE_FIELD);
+                           inform("invalid %s parameter for \"%s/%s\" type in message %s's %s field",
+                                pm->pm_name, ci->ci_type, ci->ci_subtype,
+                                ct->c_file, TYPE_FIELD);
                            return NOTOK;
                        }
                        continue;
@@ -1431,10 +1462,8 @@ invalid_param:
                if (!p->pm_partid
                        || !p->pm_partno
                        || (p->pm_maxno && p->pm_partno > p->pm_maxno)) {
-                   advise (NULL,
-                           "invalid parameters for \"%s/%s\" type in message %s's %s field",
-                           ci->ci_type, ci->ci_subtype,
-                           ct->c_file, TYPE_FIELD);
+                   inform("invalid parameters for \"%s/%s\" type in message %s's %s field",
+                        ci->ci_type, ci->ci_subtype, ct->c_file, TYPE_FIELD);
                    return NOTOK;
                }
            }
@@ -1447,8 +1476,7 @@ invalid_param:
                CT p;
                FILE *fp;
 
-               if ((e = (struct exbody *) calloc (1, sizeof(*e))) == NULL)
-                   adios (NULL, "out of memory");
+               NEW0(e);
                ct->c_ctparams = (void *) e;
 
                if (!ct->c_fp
@@ -1472,14 +1500,14 @@ invalid_param:
                        && p->c_ceopenfnx == openMail) {
                    int cc, size;
                    char *bp;
-                   
+
                    if ((size = ct->c_end - p->c_begin) <= 0) {
                        if (!e->eb_subject)
                            content_error (NULL, ct,
                                           "empty body for access-type=mail-server");
                        goto no_body;
                    }
-                   
+
                    e->eb_body = bp = mh_xmalloc ((unsigned) size);
                    fseek (p->c_fp, p->c_begin, SEEK_SET);
                    while (size > 0)
@@ -1488,7 +1516,7 @@ invalid_param:
                                adios ("failed", "fread");
 
                            case OK:
-                               adios (NULL, "unexpected EOF from fread");
+                               die("unexpected EOF from fread");
 
                            default:
                                bp += cc, size -= cc;
@@ -1515,7 +1543,7 @@ no_body:
                    case CT_MESSAGE:
                        if (p->c_subtype != MESSAGE_RFC822)
                            break;
-                       /* else fall... */
+                       /* FALLTHRU */
                    default:
                        e->eb_partno = ct->c_partno;
                        if (p->c_ctinitfnx)
@@ -1620,9 +1648,8 @@ params_external (CT ct, int composing)
     }
 
     if (!e->eb_access) {
-       advise (NULL,
-               "invalid parameters for \"%s/%s\" type in message %s's %s field",
-               ci->ci_type, ci->ci_subtype, ct->c_file, TYPE_FIELD);
+       inform("invalid parameters for \"%s/%s\" type in message %s's %s field",
+            ci->ci_type, ci->ci_subtype, ct->c_file, TYPE_FIELD);
        return NOTOK;
     }
 
@@ -1637,14 +1664,10 @@ params_external (CT ct, int composing)
 static int
 InitApplication (CT ct)
 {
-    struct k2v *kv;
     CI ci = &ct->c_ctinfo;
 
     /* match subtype */
-    for (kv = SubApplication; kv->kv_key; kv++)
-       if (!strcasecmp (ci->ci_subtype, kv->kv_key))
-           break;
-    ct->c_subtype = kv->kv_value;
+    ct->c_subtype = ct_str_subtype (CT_APPLICATION, ci->ci_subtype);
 
     return OK;
 }
@@ -1692,16 +1715,15 @@ size_encoding (CT ct)
     if (ce->ce_file) {
        if (stat (ce->ce_file, &st) != NOTOK)
            return (long) st.st_size;
-       else
-           return 0L;
+        return 0L;
     }
 
     if (ct->c_encoding == CE_EXTERNAL)
-       return (ct->c_end - ct->c_begin);       
+       return ct->c_end - ct->c_begin; 
 
     file = NULL;
     if ((fd = (*ct->c_ceopenfnx) (ct, &file)) == NOTOK)
-       return (ct->c_end - ct->c_begin);
+       return ct->c_end - ct->c_begin;
 
     if (fstat (fd, &st) != NOTOK)
        size = (long) st.st_size;
@@ -1717,26 +1739,6 @@ size_encoding (CT ct)
  * BASE64
  */
 
-static unsigned char b642nib[0x80] = {
-    0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
-    0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
-    0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
-    0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
-    0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
-    0xff, 0xff, 0xff, 0x3e, 0xff, 0xff, 0xff, 0x3f,
-    0x34, 0x35, 0x36, 0x37, 0x38, 0x39, 0x3a, 0x3b,
-    0x3c, 0x3d, 0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
-    0xff, 0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 
-    0x07, 0x08, 0x09, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e,
-    0x0f, 0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16,
-    0x17, 0x18, 0x19, 0xff, 0xff, 0xff, 0xff, 0xff,
-    0xff, 0x1a, 0x1b, 0x1c, 0x1d, 0x1e, 0x1f, 0x20, 
-    0x21, 0x22, 0x23, 0x24, 0x25, 0x26, 0x27, 0x28,
-    0x29, 0x2a, 0x2b, 0x2c, 0x2d, 0x2e, 0x2f, 0x30,
-    0x31, 0x32, 0x33, 0xff, 0xff, 0xff, 0xff, 0xff
-};
-
-
 static int
 InitBase64 (CT ct)
 {
@@ -1747,15 +1749,16 @@ InitBase64 (CT ct)
 static int
 openBase64 (CT ct, char **file)
 {
-    int        bitno, cc, digested;
-    int fd, len, skip, own_ct_fp = 0, text = ct->c_type == CT_TEXT;
-    uint32_t bits;
-    unsigned char value, b;
-    char *cp, *ep, buffer[BUFSIZ];
+    ssize_t cc, len;
+    int fd;
+    bool own_ct_fp = false;
+    char *cp, *buffer = NULL;
     /* sbeck -- handle suffixes */
     CI ci;
     CE ce = &ct->c_cefile;
-    MD5_CTX mdContext;
+    unsigned char *decoded;
+    size_t decoded_len;
+    unsigned char digest[16];
 
     if (ce->ce_fp) {
        fseek (ce->ce_fp, 0L, SEEK_SET);
@@ -1773,25 +1776,17 @@ openBase64 (CT ct, char **file)
     if (*file == NULL) {
        ce->ce_unlink = 1;
     } else {
-       ce->ce_file = add (*file, NULL);
+       ce->ce_file = mh_xstrdup(*file);
        ce->ce_unlink = 0;
     }
 
     /* sbeck@cise.ufl.edu -- handle suffixes */
     ci = &ct->c_ctinfo;
-    snprintf (buffer, sizeof(buffer), "%s-suffix-%s/%s",
-              invo_name, ci->ci_type, ci->ci_subtype);
-    cp = context_find (buffer);
-    if (cp == NULL || *cp == '\0') {
-        snprintf (buffer, sizeof(buffer), "%s-suffix-%s", invo_name,
-                  ci->ci_type);
-        cp = context_find (buffer);
-    }
-    if (cp != NULL && *cp != '\0') {
+    if ((cp = context_find_by_type ("suffix", ci->ci_type, ci->ci_subtype))) {
        if (ce->ce_unlink) {
            /* Create temporary file with filename extension. */
            if ((ce->ce_file = m_mktemps(invo_name, cp, NULL, NULL)) == NULL) {
-               adios(NULL, "unable to create temporary file in %s",
+               die("unable to create temporary file in %s",
                      get_temp_dir());
            }
        } else {
@@ -1800,10 +1795,10 @@ openBase64 (CT ct, char **file)
     } else if (*file == NULL) {
        char *tempfile;
        if ((tempfile = m_mktemp2(NULL, invo_name, NULL, NULL)) == NULL) {
-           adios(NULL, "unable to create temporary file in %s",
+           die("unable to create temporary file in %s",
                  get_temp_dir());
        }
-       ce->ce_file = add (tempfile, NULL);
+       ce->ce_file = mh_xstrdup(tempfile);
     }
 
     if ((ce->ce_fp = fopen (ce->ce_file, "w+")) == NULL) {
@@ -1812,26 +1807,22 @@ openBase64 (CT ct, char **file)
     }
 
     if ((len = ct->c_end - ct->c_begin) < 0)
-       adios (NULL, "internal error(1)");
+       die("internal error(1)");
+
+    buffer = mh_xmalloc (len + 1);
 
     if (! ct->c_fp) {
        if ((ct->c_fp = fopen (ct->c_file, "r")) == NULL) {
            content_error (ct->c_file, ct, "unable to open for reading");
            return NOTOK;
        }
-       own_ct_fp = 1;
+       own_ct_fp = true;
     }
-    
-    if ((digested = ct->c_digested))
-       MD5Init (&mdContext);
-
-    bitno = 18;
-    bits = 0L;
-    skip = 0;
 
     lseek (fd = fileno (ct->c_fp), (off_t) ct->c_begin, SEEK_SET);
+    cp = buffer;
     while (len > 0) {
-       switch (cc = read (fd, buffer, sizeof(buffer) - 1)) {
+       switch (cc = read (fd, cp, len)) {
        case NOTOK:
            content_error (ct->c_file, ct, "error reading from");
            goto clean_up;
@@ -1844,75 +1835,42 @@ openBase64 (CT ct, char **file)
            if (cc > len)
                cc = len;
            len -= cc;
+            cp += cc;
+        }
+    }
 
-           for (ep = (cp = buffer) + cc; cp < ep; cp++) {
-               switch (*cp) {
-               default:
-                   if (isspace ((unsigned char) *cp))
-                       break;
-                   if (skip || (((unsigned char) *cp) & 0x80)
-                       || (value = b642nib[((unsigned char) *cp) & 0x7f]) > 0x3f) {
-                       if (debugsw) {
-                           fprintf (stderr, "*cp=0x%x pos=%ld skip=%d\n",
-                               (unsigned char) *cp,
-                               (long) (lseek (fd, (off_t) 0, SEEK_CUR) - (ep - cp)),
-                               skip);
-                       }
-                       content_error (NULL, ct,
-                                      "invalid BASE64 encoding -- continuing");
-                       continue;
-                   }
-
-                   bits |= value << bitno;
-test_end:
-                   if ((bitno -= 6) < 0) {
-                       b = (bits >> 16) & 0xff;
-                       if (!text || b != '\r')
-                           putc ((char) b, ce->ce_fp);
-                       if (digested)
-                           MD5Update (&mdContext, &b, 1);
-                       if (skip < 2) {
-                           b = (bits >> 8) & 0xff;
-                           if (! text || b != '\r')
-                               putc ((char) b, ce->ce_fp);
-                           if (digested)
-                               MD5Update (&mdContext, &b, 1);
-                           if (skip < 1) {
-                               b = bits & 0xff;
-                               if (! text || b != '\r')
-                                   putc ((char) b, ce->ce_fp);
-                               if (digested)
-                                   MD5Update (&mdContext, &b, 1);
-                           }
-                       }
+    /* decodeBase64() requires null-terminated input. */
+    *cp = '\0';
 
-                       if (ferror (ce->ce_fp)) {
-                           content_error (ce->ce_file, ct,
-                                          "error writing to");
-                           goto clean_up;
-                       }
-                       bitno = 18, bits = 0L, skip = 0;
-                   }
-                   break;
+    if (decodeBase64 (buffer, &decoded, &decoded_len, ct->c_type == CT_TEXT,
+                      ct->c_digested ? digest : NULL) != OK)
+        goto clean_up;
 
-               case '=':
-                   if (++skip > 3)
-                       goto self_delimiting;
-                   goto test_end;
-               }
-           }
-       }
-    }
-
-    if (bitno != 18) {
-       if (debugsw)
-           fprintf (stderr, "premature ending (bitno %d)\n", bitno);
+    {
+        size_t i;
+        unsigned char *decoded_p = decoded;
+        for (i = 0; i < decoded_len; ++i) {
+            putc (*decoded_p++, ce->ce_fp);
+        }
+        free(decoded);
+        if (ferror (ce->ce_fp)) {
+            content_error (ce->ce_file, ct, "error writing to");
+            goto clean_up;
+        }
 
-       content_error (NULL, ct, "invalid BASE64 encoding");
-       goto clean_up;
+        if (ct->c_digested) {
+            if (memcmp(digest, ct->c_digest,
+                       sizeof digest)) {
+                content_error (NULL, ct,
+                               "content integrity suspect (digest mismatch) -- continuing");
+            } else {
+                if (debugsw) {
+                    fprintf (stderr, "content integrity confirmed\n");
+                }
+            }
+        }
     }
 
-self_delimiting:
     fseek (ct->c_fp, 0L, SEEK_SET);
 
     if (fflush (ce->ce_fp)) {
@@ -1920,19 +1878,6 @@ self_delimiting:
        goto clean_up;
     }
 
-    if (digested) {
-       unsigned char digest[16];
-
-       MD5Final (digest, &mdContext);
-       if (memcmp((char *) digest, (char *) ct->c_digest,
-                  sizeof(digest) / sizeof(digest[0])))
-           content_error (NULL, ct,
-                          "content integrity suspect (digest mismatch) -- continuing");
-       else
-           if (debugsw)
-               fprintf (stderr, "content integrity confirmed\n");
-    }
-
     fseek (ce->ce_fp, 0L, SEEK_SET);
 
 ready_to_go:
@@ -1941,6 +1886,7 @@ ready_to_go:
       fclose (ct->c_fp);
       ct->c_fp = NULL;
     }
+    free (buffer);
     return fileno (ce->ce_fp);
 
 clean_up:
@@ -1949,6 +1895,7 @@ clean_up:
       ct->c_fp = NULL;
     }
     free_encoding (ct, 0);
+    free (buffer);
     return NOTOK;
 }
 
@@ -1966,18 +1913,18 @@ static char hex2nib[0x80] = {
     0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
     0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07,
     0x08, 0x09, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
-    0x00, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0x00, 
+    0x00, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0x00,
     0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
     0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
     0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
-    0x00, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f, 0x00, 
+    0x00, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f, 0x00,
     0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
     0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
     0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00
 };
 
 
-static int 
+static int
 InitQuoted (CT ct)
 {
     return init_encoding (ct, openQuoted);
@@ -1987,9 +1934,12 @@ InitQuoted (CT ct)
 static int
 openQuoted (CT ct, char **file)
 {
-    int        cc, digested, len, quoted, own_ct_fp = 0;
+    int        cc, digested, len, quoted;
+    bool own_ct_fp = false;
     char *cp, *ep;
-    char buffer[BUFSIZ];
+    char *bufp = NULL;
+    size_t buflen;
+    ssize_t gotlen;
     unsigned char mask;
     CE ce = &ct->c_cefile;
     /* sbeck -- handle suffixes */
@@ -2012,25 +1962,17 @@ openQuoted (CT ct, char **file)
     if (*file == NULL) {
        ce->ce_unlink = 1;
     } else {
-       ce->ce_file = add (*file, NULL);
+       ce->ce_file = mh_xstrdup(*file);
        ce->ce_unlink = 0;
     }
 
     /* sbeck@cise.ufl.edu -- handle suffixes */
     ci = &ct->c_ctinfo;
-    snprintf (buffer, sizeof(buffer), "%s-suffix-%s/%s",
-              invo_name, ci->ci_type, ci->ci_subtype);
-    cp = context_find (buffer);
-    if (cp == NULL || *cp == '\0') {
-        snprintf (buffer, sizeof(buffer), "%s-suffix-%s", invo_name,
-                  ci->ci_type);
-        cp = context_find (buffer);
-    }
-    if (cp != NULL && *cp != '\0') {
+    if ((cp = context_find_by_type ("suffix", ci->ci_type, ci->ci_subtype))) {
        if (ce->ce_unlink) {
            /* Create temporary file with filename extension. */
            if ((ce->ce_file = m_mktemps(invo_name, cp, NULL, NULL)) == NULL) {
-               adios(NULL, "unable to create temporary file in %s",
+               die("unable to create temporary file in %s",
                      get_temp_dir());
            }
        } else {
@@ -2039,10 +1981,10 @@ openQuoted (CT ct, char **file)
     } else if (*file == NULL) {
        char *tempfile;
        if ((tempfile = m_mktemp2(NULL, invo_name, NULL, NULL)) == NULL) {
-           adios(NULL, "unable to create temporary file in %s",
+           die("unable to create temporary file in %s",
                  get_temp_dir());
        }
-       ce->ce_file = add (tempfile, NULL);
+       ce->ce_file = mh_xstrdup(tempfile);
     }
 
     if ((ce->ce_fp = fopen (ce->ce_file, "w+")) == NULL) {
@@ -2051,39 +1993,37 @@ openQuoted (CT ct, char **file)
     }
 
     if ((len = ct->c_end - ct->c_begin) < 0)
-       adios (NULL, "internal error(2)");
+       die("internal error(2)");
 
     if (! ct->c_fp) {
        if ((ct->c_fp = fopen (ct->c_file, "r")) == NULL) {
            content_error (ct->c_file, ct, "unable to open for reading");
            return NOTOK;
        }
-       own_ct_fp = 1;
+       own_ct_fp = true;
     }
 
     if ((digested = ct->c_digested))
        MD5Init (&mdContext);
 
     quoted = 0;
-#ifdef lint
-    mask = 0;
-#endif
 
     fseek (ct->c_fp, ct->c_begin, SEEK_SET);
     while (len > 0) {
-       if (fgets (buffer, sizeof(buffer) - 1, ct->c_fp) == NULL) {
+       if ((gotlen = getline(&bufp, &buflen, ct->c_fp)) == -1) {
            content_error (NULL, ct, "premature eof");
            goto clean_up;
        }
 
-       if ((cc = strlen (buffer)) > len)
+       if ((cc = gotlen) > len)
            cc = len;
        len -= cc;
 
-       for (ep = (cp = buffer) + cc - 1; cp <= ep; ep--)
+       for (ep = (cp = bufp) + cc - 1; cp <= ep; ep--)
            if (!isspace ((unsigned char) *ep))
                break;
-       *++ep = '\n', ep++;
+        *++ep = '\n';
+        ep++;
 
        for (; cp < ep; cp++) {
            if (quoted > 0) {
@@ -2129,11 +2069,10 @@ openQuoted (CT ct, char **file)
                     * sequence; let's decode it (above). */
                    quoted = 1;
                    continue;
-               } else {
-                   /* One or both of the next 2 is out of range, making this
-                    * an invalid escape sequence; just show the raw bytes
-                    * (below). */
                }
+                /* One or both of the next 2 is out of range, making this
+                 * an invalid escape sequence; just show the raw bytes
+                 * (below). */
            }
 
            /* Just show the raw byte. */
@@ -2168,13 +2107,12 @@ openQuoted (CT ct, char **file)
        unsigned char digest[16];
 
        MD5Final (digest, &mdContext);
-       if (memcmp((char *) digest, (char *) ct->c_digest,
-                  sizeof(digest) / sizeof(digest[0])))
+       if (memcmp(digest, ct->c_digest,
+                  sizeof digest))
            content_error (NULL, ct,
                           "content integrity suspect (digest mismatch) -- continuing");
-       else
-           if (debugsw)
-               fprintf (stderr, "content integrity confirmed\n");
+       else if (debugsw)
+            fprintf (stderr, "content integrity confirmed\n");
     }
 
     fseek (ce->ce_fp, 0L, SEEK_SET);
@@ -2185,6 +2123,7 @@ ready_to_go:
       fclose (ct->c_fp);
       ct->c_fp = NULL;
     }
+    free (bufp);
     return fileno (ce->ce_fp);
 
 clean_up:
@@ -2193,6 +2132,7 @@ clean_up:
       fclose (ct->c_fp);
       ct->c_fp = NULL;
     }
+    free (bufp);
     return NOTOK;
 }
 
@@ -2215,7 +2155,8 @@ Init7Bit (CT ct)
 int
 open7Bit (CT ct, char **file)
 {
-    int        cc, fd, len, own_ct_fp = 0;
+    int        cc, fd, len;
+    bool own_ct_fp = false;
     char buffer[BUFSIZ];
     /* sbeck -- handle suffixes */
     char *cp;
@@ -2238,25 +2179,17 @@ open7Bit (CT ct, char **file)
     if (*file == NULL) {
        ce->ce_unlink = 1;
     } else {
-       ce->ce_file = add (*file, NULL);
+       ce->ce_file = mh_xstrdup(*file);
        ce->ce_unlink = 0;
     }
 
     /* sbeck@cise.ufl.edu -- handle suffixes */
     ci = &ct->c_ctinfo;
-    snprintf (buffer, sizeof(buffer), "%s-suffix-%s/%s",
-              invo_name, ci->ci_type, ci->ci_subtype);
-    cp = context_find (buffer);
-    if (cp == NULL || *cp == '\0') {
-        snprintf (buffer, sizeof(buffer), "%s-suffix-%s", invo_name,
-                  ci->ci_type);
-        cp = context_find (buffer);
-    }
-    if (cp != NULL && *cp != '\0') {
+    if ((cp = context_find_by_type ("suffix", ci->ci_type, ci->ci_subtype))) {
        if (ce->ce_unlink) {
            /* Create temporary file with filename extension. */
            if ((ce->ce_file = m_mktemps(invo_name, cp, NULL, NULL)) == NULL) {
-               adios(NULL, "unable to create temporary file in %s",
+               die("unable to create temporary file in %s",
                      get_temp_dir());
            }
        } else {
@@ -2265,10 +2198,10 @@ open7Bit (CT ct, char **file)
     } else if (*file == NULL) {
        char *tempfile;
        if ((tempfile = m_mktemp2(NULL, invo_name, NULL, NULL)) == NULL) {
-           adios(NULL, "unable to create temporary file in %s",
+           die("unable to create temporary file in %s",
                  get_temp_dir());
        }
-       ce->ce_file = add (tempfile, NULL);
+       ce->ce_file = mh_xstrdup(tempfile);
     }
 
     if ((ce->ce_fp = fopen (ce->ce_file, "w+")) == NULL) {
@@ -2282,9 +2215,9 @@ open7Bit (CT ct, char **file)
 
        len = 0;
        fprintf (ce->ce_fp, "%s: %s/%s", TYPE_FIELD, ci->ci_type, ci->ci_subtype);
-       len += strlen (TYPE_FIELD) + 2 + strlen (ci->ci_type)
+       len += LEN(TYPE_FIELD) + 2 + strlen (ci->ci_type)
            + 1 + strlen (ci->ci_subtype);
-       buffer = output_params(len, ci->ci_first_pm, &len);
+       buffer = output_params(len, ci->ci_first_pm, &len, 0);
 
        if (buffer) {
            fputs (buffer, ce->ce_fp);
@@ -2314,14 +2247,14 @@ open7Bit (CT ct, char **file)
     }
 
     if ((len = ct->c_end - ct->c_begin) < 0)
-       adios (NULL, "internal error(3)");
+       die("internal error(3)");
 
     if (! ct->c_fp) {
        if ((ct->c_fp = fopen (ct->c_file, "r")) == NULL) {
            content_error (ct->c_file, ct, "unable to open for reading");
            return NOTOK;
        }
-       own_ct_fp = 1;
+       own_ct_fp = true;
     }
 
     lseek (fd = fileno (ct->c_fp), (off_t) ct->c_begin, SEEK_SET);
@@ -2340,7 +2273,9 @@ open7Bit (CT ct, char **file)
                cc = len;
            len -= cc;
 
-           fwrite (buffer, sizeof(*buffer), cc, ce->ce_fp);
+           if ((int) fwrite (buffer, sizeof(*buffer), cc, ce->ce_fp) < cc) {
+               advise ("open7Bit", "fwrite");
+           }
            if (ferror (ce->ce_fp)) {
                content_error (ce->ce_file, ct, "error writing to");
                goto clean_up;
@@ -2396,17 +2331,17 @@ openExternal (CT ct, CT cb, CE ce, char **file, int *fd)
        goto ready_already;
     }
 
-    if (find_cache (ct, rcachesw, (int *) 0, cb->c_id,
+    if (find_cache(ct, rcachesw, NULL, cb->c_id,
                cachefile, sizeof(cachefile)) != NOTOK) {
        if ((ce->ce_fp = fopen (cachefile, "r"))) {
-           ce->ce_file = getcpy (cachefile);
+           ce->ce_file = mh_xstrdup(cachefile);
            ce->ce_unlink = 0;
            goto ready_already;
-       } else {
-           admonish (cachefile, "unable to fopen for reading");
        }
+        admonish (cachefile, "unable to fopen for reading");
     }
 
+    *fd = ce->ce_fp ? fileno (ce->ce_fp) : -1;
     return OK;
 
 ready_already:
@@ -2450,7 +2385,7 @@ openFile (CT ct, char **file)
        return NOTOK;
     }
 
-    ce->ce_file = getcpy (e->eb_name);
+    ce->ce_file = mh_xstrdup(e->eb_name);
     ce->ce_unlink = 0;
 
     if ((ce->ce_fp = fopen (ce->ce_file, "r")) == NULL) {
@@ -2474,18 +2409,18 @@ openFile (CT ct, char **file)
 
            while ((cc = fread (buffer, sizeof(*buffer), sizeof(buffer), gp))
                       > 0)
-               fwrite (buffer, sizeof(*buffer), cc, fp);
+               if ((int) fwrite (buffer, sizeof(*buffer), cc, fp) < cc) {
+                   advise ("openFile", "fwrite");
+               }
            fflush (fp);
 
            if (ferror (gp)) {
                admonish (ce->ce_file, "error reading");
                (void) m_unlink (cachefile);
-           }
-           else
-               if (ferror (fp)) {
-                   admonish (cachefile, "error writing");
-                   (void) m_unlink (cachefile);
-               }
+           } else if (ferror (fp)) {
+                admonish (cachefile, "error writing");
+                (void) m_unlink (cachefile);
+            }
            fclose (fp);
        }
        umask (mask);
@@ -2510,7 +2445,9 @@ InitFTP (CT ct)
 static int
 openFTP (CT ct, char **file)
 {
-    int        cachetype, caching, fd;
+    int        cachetype;
+    bool caching;
+    int fd;
     int len, buflen;
     char *bp, *ftp, *user, *pass;
     char buffer[BUFSIZ], cachefile[BUFSIZ];
@@ -2544,13 +2481,6 @@ openFTP (CT ct, char **file)
        return NOTOK;
     }
 
-    if (xpid) {
-       if (xpid < 0)
-           xpid = -xpid;
-       pidcheck (pidwait (xpid, NOTOK));
-       xpid = 0;
-    }
-
     /* Get the buffer ready to go */
     bp = buffer;
     buflen = sizeof(buffer);
@@ -2587,7 +2517,7 @@ openFTP (CT ct, char **file)
     /*
      * Now, check the answer
      */
-    if (!getanswer (buffer))
+    if (!read_yes_or_no_if_tty (buffer))
        return NOTOK;
 
     if (e->eb_flags) {
@@ -2596,34 +2526,34 @@ openFTP (CT ct, char **file)
                  LocalName (1));
        pass = buffer;
     } else {
-       ruserpass (e->eb_site, &username, &password);
+       ruserpass (e->eb_site, &username, &password, 0);
        user = username;
        pass = password;
     }
 
     ce->ce_unlink = (*file == NULL);
-    caching = 0;
+    caching = false;
     cachefile[0] = '\0';
     if ((!e->eb_permission || strcasecmp (e->eb_permission, "read-write"))
            && find_cache (NULL, wcachesw, &cachetype, e->eb_content->c_id,
                cachefile, sizeof(cachefile)) != NOTOK) {
        if (*file == NULL) {
            ce->ce_unlink = 0;
-           caching = 1;
+           caching = true;
        }
     }
 
     if (*file)
-       ce->ce_file = add (*file, NULL);
+       ce->ce_file = mh_xstrdup(*file);
     else if (caching)
-       ce->ce_file = add (cachefile, NULL);
+       ce->ce_file = mh_xstrdup(cachefile);
     else {
        char *tempfile;
        if ((tempfile = m_mktemp2(NULL, invo_name, NULL, NULL)) == NULL) {
-           adios(NULL, "unable to create temporary file in %s",
+           die("unable to create temporary file in %s",
                  get_temp_dir());
        }
-       ce->ce_file = add (tempfile, NULL);
+       ce->ce_file = mh_xstrdup(tempfile);
     }
 
     if ((ce->ce_fp = fopen (ce->ce_file, "w+")) == NULL) {
@@ -2632,7 +2562,7 @@ openFTP (CT ct, char **file)
     }
 
     {
-       int child_id, i, vecp;
+       int child_id, vecp;
        char *vec[9];
 
        vecp = 0;
@@ -2649,8 +2579,7 @@ openFTP (CT ct, char **file)
 
        fflush (stdout);
 
-       for (i = 0; (child_id = fork()) == NOTOK && i < 5; i++)
-           sleep (5);
+       child_id = fork();
        switch (child_id) {
            case NOTOK:
                adios ("fork", "unable to");
@@ -2661,7 +2590,7 @@ openFTP (CT ct, char **file)
                execvp (ftp, vec);
                fprintf (stderr, "unable to exec ");
                perror (ftp);
-               _exit (-1);
+               _exit(1);
                /* NOTREACHED */
 
            default:
@@ -2690,18 +2619,18 @@ openFTP (CT ct, char **file)
 
                while ((cc= fread (buffer, sizeof(*buffer), sizeof(buffer), gp))
                           > 0)
-                   fwrite (buffer, sizeof(*buffer), cc, fp);
+                   if ((int) fwrite (buffer, sizeof(*buffer), cc, fp) < cc) {
+                       advise ("openFTP", "fwrite");
+                   }
                fflush (fp);
 
                if (ferror (gp)) {
                    admonish (ce->ce_file, "error reading");
                    (void) m_unlink (cachefile);
-               }
-               else
-                   if (ferror (fp)) {
-                       admonish (cachefile, "error writing");
-                       (void) m_unlink (cachefile);
-                   }
+               } else if (ferror (fp)) {
+                    admonish (cachefile, "error writing");
+                    (void) m_unlink (cachefile);
+                }
                fclose (fp);
            }
            umask (mask);
@@ -2728,7 +2657,7 @@ InitMail (CT ct)
 static int
 openMail (CT ct, char **file)
 {
-    int        child_id, fd, i, vecp;
+    int child_id, fd, vecp;
     int len, buflen;
     char *bp, buffer[BUFSIZ], *vec[7];
     struct exbody *e = ct->c_ctexbody;
@@ -2750,13 +2679,6 @@ openMail (CT ct, char **file)
        return NOTOK;
     }
 
-    if (xpid) {
-       if (xpid < 0)
-           xpid = -xpid;
-       pidcheck (pidwait (xpid, NOTOK));
-       xpid = 0;
-    }
-
     /* Get buffer ready to go */
     bp = buffer;
     buflen = sizeof(buffer);
@@ -2779,7 +2701,7 @@ openMail (CT ct, char **file)
                    e->eb_subject ? e->eb_subject : e->eb_body);
 
     /* Now, check answer */
-    if (!getanswer (buffer))
+    if (!read_yes_or_no_if_tty (buffer))
        return NOTOK;
 
     vecp = 0;
@@ -2791,8 +2713,7 @@ openMail (CT ct, char **file)
     vec[vecp++] = e->eb_body;
     vec[vecp] = NULL;
 
-    for (i = 0; (child_id = fork()) == NOTOK && i < 5; i++)
-       sleep (5);
+    child_id = fork();
     switch (child_id) {
        case NOTOK:
            advise ("fork", "unable to");
@@ -2802,25 +2723,25 @@ openMail (CT ct, char **file)
            execvp (mailproc, vec);
            fprintf (stderr, "unable to exec ");
            perror (mailproc);
-           _exit (-1);
+           _exit(1);
            /* NOTREACHED */
 
        default:
            if (pidXwait (child_id, NULL) == OK)
-               advise (NULL, "request sent");
+               inform("request sent");
            break;
     }
 
     if (*file == NULL) {
        char *tempfile;
        if ((tempfile = m_mktemp2(NULL, invo_name, NULL, NULL)) == NULL) {
-           adios(NULL, "unable to create temporary file in %s",
+           die("unable to create temporary file in %s",
                  get_temp_dir());
        }
-       ce->ce_file = add (tempfile, NULL);
+       ce->ce_file = mh_xstrdup(tempfile);
        ce->ce_unlink = 1;
     } else {
-       ce->ce_file = add (*file, NULL);
+       ce->ce_file = mh_xstrdup(*file);
        ce->ce_unlink = 0;
     }
 
@@ -2831,9 +2752,8 @@ openMail (CT ct, char **file)
 
     /* showproc is for mhshow and mhstore, though mhlist -debug
      * prints it, too. */
-    if (ct->c_showproc)
-       free (ct->c_showproc);
-    ct->c_showproc = add ("true", NULL);
+    free(ct->c_showproc);
+    ct->c_showproc = mh_xstrdup("true");
 
     fseek (ce->ce_fp, 0L, SEEK_SET);
     *file = ce->ce_file;
@@ -2859,7 +2779,9 @@ openURL (CT ct, char **file)
     CE ce = &ct->c_cefile;
     char *urlprog, *program;
     char buffer[BUFSIZ], cachefile[BUFSIZ];
-    int fd, caching, cachetype;
+    int fd;
+    bool caching;
+    int cachetype;
     struct msgs_array args = { 0, 0, NULL};
     pid_t child_id;
 
@@ -2887,36 +2809,29 @@ openURL (CT ct, char **file)
        return NOTOK;
     }
 
-    if (xpid) {
-       if (xpid < 0)
-           xpid = -xpid;
-       pidcheck (pidwait (xpid, NOTOK));
-       xpid = 0;
-    }
-
     ce->ce_unlink = (*file == NULL);
-    caching = 0;
+    caching = false;
     cachefile[0] = '\0';
 
     if (find_cache(NULL, wcachesw, &cachetype, e->eb_content->c_id,
                   cachefile, sizeof(cachefile)) != NOTOK) {
        if (*file == NULL) {
            ce->ce_unlink = 0;
-           caching = 1;
+           caching = true;
        }
     }
 
     if (*file)
-       ce->ce_file = add(*file, NULL);
+        ce->ce_file = mh_xstrdup(*file);
     else if (caching)
-       ce->ce_file = add(cachefile, NULL);
+        ce->ce_file = mh_xstrdup(cachefile);
     else {
        char *tempfile;
        if ((tempfile = m_mktemp2(NULL, invo_name, NULL, NULL)) == NULL) {
-           adios(NULL, "unable to create temporary file in %s",
+           die("unable to create temporary file in %s",
                  get_temp_dir());
        }
-       ce->ce_file = add (tempfile, NULL);
+       ce->ce_file = mh_xstrdup(tempfile);
     }
 
     if ((ce->ce_fp = fopen(ce->ce_file, "w+")) == NULL) {
@@ -2938,7 +2853,7 @@ openURL (CT ct, char **file)
        execvp(program, args.msgs);
        fprintf(stderr, "Unable to exec ");
        perror(program);
-       _exit(-1);
+       _exit(1);
        /* NOTREACHED */
 
     default:
@@ -2964,7 +2879,9 @@ openURL (CT ct, char **file)
 
                while ((cc = fread(buffer, sizeof(*buffer),
                                   sizeof(buffer), gp)) > 0)
-                   fwrite(buffer, sizeof(*buffer), cc, fp);
+                   if ((int) fwrite(buffer, sizeof(*buffer), cc, fp) < cc) {
+                       advise ("openURL", "fwrite");
+                   }
 
                fflush(fp);
 
@@ -2979,82 +2896,47 @@ openURL (CT ct, char **file)
 
     fseeko(ce->ce_fp, 0, SEEK_SET);
     *file = ce->ce_file;
-    return fd;
+    return fileno(ce->ce_fp);
 }
 
+
+/*
+ * Stores MD5 digest (in cp, from Content-MD5 header) in ct->c_digest.  It
+ * has to be base64 decoded.
+ */
 static int
 readDigest (CT ct, char *cp)
 {
-    int        bitno, skip;
-    uint32_t bits;
-    char *bp = cp;
-    unsigned char *dp, value, *ep;
-
-    bitno = 18;
-    bits = 0L;
-    skip = 0;
-
-    for (ep = (dp = ct->c_digest)
-                + sizeof(ct->c_digest) / sizeof(ct->c_digest[0]); *cp; cp++)
-       switch (*cp) {
-           default:
-               if (skip
-                       || (*cp & 0x80)
-                       || (value = b642nib[*cp & 0x7f]) > 0x3f) {
-                   if (debugsw)
-                       fprintf (stderr, "invalid BASE64 encoding\n");
-                   return NOTOK;
-               }
+    unsigned char *digest;
 
-               bits |= value << bitno;
-test_end:
-               if ((bitno -= 6) < 0) {
-                   if (dp + (3 - skip) > ep)
-                       goto invalid_digest;
-                   *dp++ = (bits >> 16) & 0xff;
-                   if (skip < 2) {
-                       *dp++ = (bits >> 8) & 0xff;
-                       if (skip < 1)
-                           *dp++ = bits & 0xff;
-                   }
-                   bitno = 18;
-                   bits = 0L;
-                   skip = 0;
-               }
-               break;
+    size_t len;
+    if (decodeBase64 (cp, &digest, &len, 0, NULL) == OK) {
+        const size_t maxlen = sizeof ct->c_digest;
 
-           case '=':
-               if (++skip > 3)
-                   goto self_delimiting;
-               goto test_end;
-       }
-    if (bitno != 18) {
-       if (debugsw)
-           fprintf (stderr, "premature ending (bitno %d)\n", bitno);
+        if (strlen ((char *) digest) <= maxlen) {
+            memcpy (ct->c_digest, digest, maxlen);
 
-       return NOTOK;
-    }
-self_delimiting:
-    if (dp != ep) {
-invalid_digest:
-       if (debugsw) {
-           while (*cp)
-               cp++;
-           fprintf (stderr, "invalid MD5 digest (got %d octets)\n",
-                    (int)(cp - bp));
-       }
+            if (debugsw) {
+                size_t i;
 
-       return NOTOK;
-    }
+                fprintf (stderr, "MD5 digest=");
+                for (i = 0; i < maxlen; ++i) {
+                    fprintf (stderr, "%02x", ct->c_digest[i] & 0xff);
+                }
+                fprintf (stderr, "\n");
+            }
+
+            return OK;
+        }
+        if (debugsw) {
+            fprintf (stderr, "invalid MD5 digest (got %d octets)\n",
+                     (int) strlen ((char *) digest));
+        }
 
-    if (debugsw) {
-       fprintf (stderr, "MD5 digest=");
-       for (dp = ct->c_digest; dp < ep; dp++)
-           fprintf (stderr, "%02x", *dp & 0xff);
-       fprintf (stderr, "\n");
+        return NOTOK;
     }
 
-    return OK;
+    return NOTOK;
 }
 
 
@@ -3062,12 +2944,15 @@ invalid_digest:
    after the last subpart that hasn't been stored anywhere else, so do
    that. */
 int
-get_leftover_mp_content (CT ct, int before /* or after */) {
+get_leftover_mp_content (CT ct, int before /* or after */)
+{
     struct multipart *m = (struct multipart *) ct->c_ctparams;
     char *boundary;
-    int found_boundary = 0;
-    char buffer[BUFSIZ];
+    bool found_boundary = false;
     int max = BUFSIZ;
+    char *bufp = NULL;
+    size_t buflen;
+    ssize_t gotlen;
     int read = 0;
     char *content = NULL;
 
@@ -3100,19 +2985,19 @@ get_leftover_mp_content (CT ct, int before /* or after */) {
     }
 
     /* Back up by 1 to pick up the newline. */
-    while (fgets (buffer, sizeof(buffer) - 1, ct->c_fp)) {
-        read += strlen (buffer);
+    while ((gotlen = getline(&bufp, &buflen, ct->c_fp)) != -1) {
+        read += gotlen;
         /* Don't look beyond beginning of first subpart (before) or
            next part (after). */
-        if (read > max) buffer[read-max] = '\0';
+        if (read > max) bufp[read-max] = '\0';
 
         if (before) {
-            if (! strcmp (buffer, boundary)) {
-                found_boundary = 1;
+            if (! strcmp (bufp, boundary)) {
+                found_boundary = true;
             }
         } else {
-            if (! found_boundary  &&  ! strcmp (buffer, boundary)) {
-                found_boundary = 1;
+            if (! found_boundary  &&  ! strcmp (bufp, boundary)) {
+                found_boundary = true;
                 continue;
             }
         }
@@ -3120,12 +3005,12 @@ get_leftover_mp_content (CT ct, int before /* or after */) {
         if ((before && ! found_boundary)  ||  (! before && found_boundary)) {
             if (content) {
                 char *old_content = content;
-                content = concat (content, buffer, NULL);
+                content = concat (content, bufp, NULL);
                 free (old_content);
             } else {
                 content = before
-                    ?  concat ("\n", buffer, NULL)
-                    :  concat (buffer, NULL);
+                    ?  concat ("\n", bufp, NULL)
+                    :  concat (bufp, NULL);
             }
         }
 
@@ -3159,13 +3044,15 @@ get_leftover_mp_content (CT ct, int before /* or after */) {
     }
 
     free (boundary);
+    free (bufp);
 
     return OK;
 }
 
 
 char *
-ct_type_str (int type) {
+ct_type_str (int type)
+{
     switch (type) {
     case CT_APPLICATION:
         return "application";
@@ -3190,7 +3077,8 @@ ct_type_str (int type) {
 
 
 char *
-ct_subtype_str (int type, int subtype) {
+ct_subtype_str (int type, int subtype)
+{
     switch (type) {
     case CT_APPLICATION:
         switch (subtype) {
@@ -3222,6 +3110,8 @@ ct_subtype_str (int type, int subtype) {
             return "digest";
         case MULTI_PARALLEL:
             return "parallel";
+        case MULTI_RELATED:
+            return "related";
         default:
             return "unknown_multipart_subtype";
         }
@@ -3242,9 +3132,68 @@ ct_subtype_str (int type, int subtype) {
 }
 
 
+int
+ct_str_type (const char *type)
+{
+    struct str2init *s2i;
+
+    for (s2i = str2cts; s2i->si_key; ++s2i) {
+        if (! strcasecmp (type, s2i->si_key)) {
+            break;
+        }
+    }
+    if (! s2i->si_key  &&  ! uprf (type, "X-")) {
+        ++s2i;
+    }
+
+    return s2i->si_val;
+}
+
+
+int
+ct_str_subtype (int type, const char *subtype)
+{
+    struct k2v *kv;
+
+    switch (type) {
+    case CT_APPLICATION:
+        for (kv = SubApplication; kv->kv_key; ++kv) {
+            if (! strcasecmp (subtype, kv->kv_key)) {
+                break;
+            }
+        }
+        return kv->kv_value;
+    case CT_MESSAGE:
+        for (kv = SubMessage; kv->kv_key; ++kv) {
+            if (! strcasecmp (subtype, kv->kv_key)) {
+                break;
+            }
+        }
+        return kv->kv_value;
+    case CT_MULTIPART:
+        for (kv = SubMultiPart; kv->kv_key; ++kv) {
+            if (! strcasecmp (subtype, kv->kv_key)) {
+                break;
+            }
+        }
+        return kv->kv_value;
+    case CT_TEXT:
+        for (kv = SubText; kv->kv_key; ++kv) {
+            if (! strcasecmp (subtype, kv->kv_key)) {
+                break;
+            }
+        }
+        return kv->kv_value;
+    default:
+        return 0;
+    }
+}
+
+
 /* Find the content type and InitFunc for the CT. */
 const struct str2init *
-get_ct_init (int type) {
+get_ct_init (int type)
+{
     const struct str2init *sp;
 
     for (sp = str2cts; sp->si_key; ++sp) {
@@ -3257,7 +3206,8 @@ get_ct_init (int type) {
 }
 
 const char *
-ce_str (int encoding) {
+ce_str (int encoding)
+{
     switch (encoding) {
     case CE_BASE64:
         return "base64";
@@ -3280,7 +3230,8 @@ ce_str (int encoding) {
 
 /* Find the content type and InitFunc for the content encoding method. */
 const struct str2init *
-get_ce_method (const char *method) {
+get_ce_method (const char *method)
+{
     struct str2init *sp;
 
     for (sp = str2ces; sp->si_key; ++sp) {
@@ -3292,16 +3243,51 @@ get_ce_method (const char *method) {
     return NULL;
 }
 
-int
+/*
+ * Parse a series of MIME attributes (or parameters) given a header as
+ * input.
+ *
+ * Arguments include:
+ *
+ * filename    - Name of input file (for error messages)
+ * fieldname   - Name of field being processed
+ * headerp     - Pointer to pointer of the beginning of the MIME attributes.
+ *               Updated to point to end of attributes when finished.
+ * param_head  - Pointer to head of parameter list
+ * param_tail  - Pointer to tail of parameter list
+ * commentp    - Pointer to header comment pointer (may be NULL)
+ *
+ * Returns OK if parsing was successful, NOTOK if parsing failed, and
+ * DONE to indicate a benign error (minor parsing error, but the program
+ * should continue).
+ */
+
+static int
 parse_header_attrs (const char *filename, const char *fieldname,
                    char **header_attrp, PM *param_head, PM *param_tail,
                    char **commentp)
 {
     char *cp = *header_attrp;
     PM pm;
+    struct sectlist {
+       char *value;
+       int index;
+       int len;
+       struct sectlist *next;
+    } *sp, *sp2;
+    struct parmlist {
+       char *name;
+       char *charset;
+       char *lang;
+       struct sectlist *sechead;
+       struct parmlist *next;
+    } *pp, *pp2, *phead = NULL;
 
     while (*cp == ';') {
-       char *dp, *vp, *up, c;
+       char *dp, *vp, *up, *nameptr, *valptr, *charset = NULL, *lang = NULL;
+       bool encoded = false;
+        bool partial = false;
+        int len = 0, index = 0;
 
        cp++;
        while (isspace ((unsigned char) *cp))
@@ -3313,82 +3299,302 @@ parse_header_attrs (const char *filename, const char *fieldname,
         }
 
        if (*cp == 0) {
-           advise (NULL,
-                   "extraneous trailing ';' in message %s's %s: "
-                    "parameter list",
-                   filename, fieldname);
+           if (! suppress_extraneous_trailing_semicolon_warning) {
+               inform("extraneous trailing ';' in message %s's %s: "
+                    "parameter list", filename, fieldname);
+           }
            return DONE;
        }
 
        /* down case the attribute name */
        for (dp = cp; istoken ((unsigned char) *dp); dp++)
-           if (isalpha((unsigned char) *dp) && isupper ((unsigned char) *dp))
-               *dp = tolower ((unsigned char) *dp);
+            *dp = tolower ((unsigned char) *dp);
 
        for (up = dp; isspace ((unsigned char) *dp);)
            dp++;
        if (dp == cp || *dp != '=') {
-           advise (NULL,
-                   "invalid parameter in message %s's %s: "
-                    "field\n%*sparameter %s (error detected at offset %d)",
-                   filename, fieldname, strlen(invo_name) + 2, "",cp, dp - cp);
+            inform("invalid parameter in message %s's %s: field\n"
+                "    parameter %s (error detected at offset %ld)",
+                filename, fieldname, cp, (long)(dp - cp));
            return NOTOK;
        }
 
-       pm = mh_xmalloc(sizeof(*pm));
-       memset(pm, 0, sizeof(*pm));
+       /*
+        * To handle RFC 2231, we have to deal with the following extensions:
+        *
+        * name*=encoded-value
+        * name*<N>=part-N-of-a-parameter-value
+        * name*<N>*=encoded-part-N-of-a-parameter-value
+        *
+        * So the rule is:
+        * If there's a * right before the equal sign, it's encoded.
+        * If there's a * and one or more digits, then it's section N.
+        *
+        * Remember we can have one or the other, or both.  cp points to
+        * beginning of name, up points past the last character in the
+        * parameter name.
+        */
+
+       for (vp = cp; vp < up; vp++) {
+           if (*vp == '*' && vp < up - 1) {
+               partial = true;
+               continue;
+           }
+            if (*vp == '*' && vp == up - 1) {
+               encoded = true;
+           } else if (partial) {
+               if (isdigit((unsigned char) *vp))
+                   index = *vp - '0' + index * 10;
+               else {
+                    inform("invalid parameter index in message %s's %s: field"
+                        "\n    (parameter %s)", filename, fieldname, cp);
+                   return NOTOK;
+               }
+           } else {
+               len++;
+           }
+       }
+
+       /*
+        * Break out the parameter name and value sections and allocate
+        * memory for each.
+        */
+
+       nameptr = mh_xmalloc(len + 1);
+       strncpy(nameptr, cp, len);
+       nameptr[len] = '\0';
 
-       /* This is all mega-bozo and needs cleanup */
-       vp = (pm->pm_name = add (cp, NULL)) + (up - cp);
-       *vp = '\0';
        for (dp++; isspace ((unsigned char) *dp);)
            dp++;
 
-       /* Now store the attribute value. */
+       if (encoded) {
+           /*
+            * Single quotes delimit the character set and language tag.
+            * They are required on the first section (or a complete
+            * parameter).
+            */
+           if (index == 0) {
+               vp = dp;
+               while (*vp != '\'' && !isspace((unsigned char) *vp) &&
+                                                       *vp != '\0')
+                   vp++;
+               if (*vp == '\'') {
+                   if (vp != dp) {
+                       len = vp - dp;
+                       charset = mh_xmalloc(len + 1);
+                       strncpy(charset, dp, len);
+                       charset[len] = '\0';
+                   } else {
+                       charset = NULL;
+                   }
+                   vp++;
+               } else {
+                    inform("missing charset in message %s's %s: field\n"
+                        "    (parameter %s)", filename, fieldname, nameptr);
+                   free(nameptr);
+                   return NOTOK;
+               }
+               dp = vp;
+
+               while (*vp != '\'' && !isspace((unsigned char) *vp) &&
+                                                       *vp != '\0')
+                   vp++;
+
+               if (*vp == '\'') {
+                   if (vp != dp) {
+                       len = vp - dp;
+                       lang = mh_xmalloc(len + 1);
+                       strncpy(lang, dp, len);
+                       lang[len] = '\0';
+                   } else {
+                       lang = NULL;
+                   }
+                   vp++;
+               } else {
+                    inform("missing language tag in message %s's %s: field\n"
+                        "    (parameter %s)", filename, fieldname, nameptr);
+                   free(nameptr);
+                    free(charset);
+                   return NOTOK;
+               }
+
+               dp = vp;
+           }
+
+           /*
+            * At this point vp should be pointing at the beginning
+            * of the encoded value/section.  Continue until we reach
+            * the end or get whitespace.  But first, calculate the
+            * length so we can allocate the correct buffer size.
+            */
+
+           for (vp = dp, len = 0; istoken(*vp); vp++) {
+               if (*vp == '%') {
+                    if (*(vp + 1) == '\0' ||
+                               !isxdigit((unsigned char) *(vp + 1)) ||
+                               *(vp + 2) == '\0' ||
+                               !isxdigit((unsigned char) *(vp + 2))) {
+                        inform("invalid encoded sequence in message %s's %s: field\n"
+                            "    (parameter %s)", filename, fieldname, nameptr);
+                       free(nameptr);
+                        free(charset);
+                        free(lang);
+                       return NOTOK;
+                   }
+                   vp += 2;
+               }
+               len++;
+           }
+
+           up = valptr = mh_xmalloc(len + 1);
+
+           for (vp = dp; istoken(*vp); vp++) {
+               if (*vp == '%') {
+                   *up++ = decode_qp(*(vp + 1), *(vp + 2));
+                   vp += 2;
+               } else {
+                   *up++ = *vp;
+               }
+           }
+
+           *up = '\0';
+           cp = vp;
+       } else {
+           /*
+            * A "normal" string.  If it's got a leading quote, then we
+            * strip the quotes out.  Otherwise go until we reach the end
+            * or get whitespace.  Note we scan it twice; once to get the
+            * length, then the second time copies it into the destination
+            * buffer.
+            */
 
-       vp = pm->pm_name + (dp - cp);
+           len = 0;
 
-       if (*dp == '"') {
-           for (cp = ++dp, dp = vp;;) {
-               switch (c = *cp++) {
+           if (*dp == '"') {
+               for (cp = dp + 1;;) {
+                   switch (*cp++) {
                    case '\0':
 bad_quote:
-                       advise (NULL,
-                               "invalid quoted-string in message %s's %s: "
-                                "field\n%*s(parameter %s)",
-                               filename, fieldname, strlen(invo_name) + 2, "",
-                               pm->pm_name);
+                        inform("invalid quoted-string in message %s's %s: field\n"
+                            "    (parameter %s)", filename, fieldname, nameptr);
+                       free(nameptr);
+                        free(charset);
+                        free(lang);
                        return NOTOK;
+                   case '"':
+                       break;
 
                    case '\\':
-                       *dp++ = c;
-                       if ((c = *cp++) == '\0')
+                       if (*++cp == '\0')
                            goto bad_quote;
-                       /* else fall... */
-
+                       /* FALLTHRU */
                    default:
-                       *dp++ = c;
+                       len++;
                        continue;
+                   }
+                   break;
+               }
 
-                   case '"':
-                       *dp = '\0';
+           } else {
+               for (cp = dp; istoken (*cp); cp++) {
+                   len++;
+               }
+           }
+
+           valptr = mh_xmalloc(len + 1);
+
+           if (*dp == '"') {
+               int i;
+               for (cp = dp + 1, vp = valptr, i = 0; i < len; i++) {
+                   if (*cp == '\\') {
+                       cp++;
+                   }
+                   *vp++ = *cp++;
+               }
+               cp++;
+           } else {
+               strncpy(valptr, cp = dp, len);
+               cp += len;
+           }
+
+           valptr[len] = '\0';
+       }
+
+       /*
+        * If 'partial' is set, we don't allocate a parameter now.  We
+        * put it on the parameter linked list to be reassembled later.
+        *
+        * "phead" points to a list of all parameters we need to reassemble.
+        * Each parameter has a list of sections. We insert the sections in
+        * order.
+        */
+
+       if (partial) {
+           for (pp = phead; pp != NULL; pp = pp->next) {
+               if (strcasecmp(nameptr, pp->name) == 0) {
+                    free (nameptr);
+                    nameptr = pp->name;
+                   break;
+                }
+           }
+
+           if (pp == NULL) {
+               NEW0(pp);
+               pp->name = nameptr;
+               pp->next = phead;
+               phead = pp;
+           }
+
+           /*
+            * Insert this into the section linked list
+            */
+
+           NEW0(sp);
+           sp->value = valptr;
+           sp->index = index;
+           sp->len = len;
+
+           if (pp->sechead == NULL || pp->sechead->index > index) {
+               sp->next = pp->sechead;
+               pp->sechead = sp;
+           } else {
+               for (sp2 = pp->sechead; sp2 != NULL; sp2 = sp2->next) {
+                   if (sp2->index == sp->index) {
+                        inform("duplicate index (%d) in message %s's %s: field"
+                            "\n    (parameter %s)", sp->index, filename,
+                            fieldname, nameptr);
+                       return NOTOK;
+                   }
+                   if (sp2->index < sp->index &&
+                       (sp2->next == NULL || sp2->next->index > sp->index)) {
+                       sp->next = sp2->next;
+                       sp2->next = sp;
                        break;
+                   }
+               }
+
+               if (sp2 == NULL) {
+                    inform("Internal error: cannot insert partial param "
+                        "in message %s's %s: field\n    (parameter %s)",
+                        filename, fieldname, nameptr);
+                   return NOTOK;
                }
-               break;
+           }
+
+           /*
+            * Save our charset and lang tags.
+            */
+
+           if (index == 0 && encoded) {
+                free(pp->charset);
+               pp->charset = charset;
+                free(pp->lang);
+               pp->lang = lang;
            }
        } else {
-           for (cp = dp, dp = vp; istoken (*cp); cp++, dp++)
-               continue;
-           *dp = '\0';
-       }
-       pm->pm_value = getcpy(vp); 
-       if (!*vp) {
-           advise (NULL,
-                   "invalid parameter in message %s's %s: "
-                    "field\n%*s(parameter %s)",
-                   filename, fieldname, strlen(invo_name) + 2, "",
-                   pm->pm_name);
-           return NOTOK;
+           pm = add_param(param_head, param_tail, nameptr, valptr, 1);
+           pm->pm_charset = charset;
+           pm->pm_lang = lang;
        }
 
        while (isspace ((unsigned char) *cp))
@@ -3398,20 +3604,65 @@ bad_quote:
             get_comment (filename, fieldname, &cp, commentp) == NOTOK) {
            return NOTOK;
         }
+    }
 
-       if (*param_head == NULL) {
-           *param_head = pm;
-           *param_tail = pm;
-       } else {
-           (*param_tail)->pm_next = pm;
-           *param_tail = pm;
+    /*
+     * Now that we're done, reassemble all of the partial parameters.
+     */
+
+    for (pp = phead; pp != NULL; ) {
+       char *p, *q;
+       size_t tlen = 0;
+       int pindex = 0;
+       for (sp = pp->sechead; sp != NULL; sp = sp->next) {
+           if (sp->index != pindex++) {
+                inform("missing section %d for parameter in message "
+                    "%s's %s: field\n    (parameter %s)", pindex - 1,
+                    filename, fieldname, pp->name);
+               return NOTOK;
+           }
+           tlen += sp->len;
+       }
+
+       p = q = mh_xmalloc(tlen + 1);
+       for (sp = pp->sechead; sp != NULL; ) {
+           memcpy(q, sp->value, sp->len);
+           q += sp->len;
+           free(sp->value);
+           sp2 = sp->next;
+           free(sp);
+           sp = sp2;
        }
+
+       p[tlen] = '\0';
+
+       pm = add_param(param_head, param_tail, pp->name, p, 1);
+       pm->pm_charset = pp->charset;
+       pm->pm_lang = pp->lang;
+       pp2 = pp->next;
+       free(pp);
+       pp = pp2;
     }
 
     *header_attrp = cp;
     return OK;
 }
 
+/*
+ * Return the charset for a particular content type.
+ */
+
+char *
+content_charset (CT ct)
+{
+    char *ret_charset = NULL;
+
+    ret_charset = get_param(ct->c_ctinfo.ci_first_pm, "charset", '?', 0);
+
+    return ret_charset ? ret_charset : mh_xstrdup("US-ASCII");
+}
+
+
 /*
  * Create a string based on a list of output parameters.  Assume that this
  * parameter string will be appended to an existing header, so start out
@@ -3419,12 +3670,12 @@ bad_quote:
  */
 
 char *
-output_params(size_t initialwidth, PM params, int *offsetout)
+output_params(size_t initialwidth, PM params, int *offsetout, int external)
 {
     char *paramout = NULL;
     char line[CPERLIN * 2], *q;
-    int curlen, index, eightbit, encode, i;
-    size_t valoff;
+    int curlen, index, cont, encode, i;
+    size_t valoff, numchars;
 
     while (params != NULL) {
        encode = 0;
@@ -3432,14 +3683,16 @@ output_params(size_t initialwidth, PM params, int *offsetout)
        valoff = 0;
        q = line;
 
+       if (external && strcasecmp(params->pm_name, "body") == 0)
+           continue;
+
        if (strlen(params->pm_name) > CPERLIN) {
-           advise(NULL, "Parameter name \"%s\" is too long", params->pm_name);
-           if (paramout)
-               free(paramout);
+           inform("Parameter name \"%s\" is too long", params->pm_name);
+            free(paramout);
            return NULL;
        }
 
-       curlen = param_len(params, index, valoff, &eightbit);
+       curlen = param_len(params, index, valoff, &encode, &cont, &numchars);
 
        /*
         * Loop until we get a parameter that fits within a line.  We
@@ -3447,22 +3700,11 @@ output_params(size_t initialwidth, PM params, int *offsetout)
         * on that.
         */
 
-       while (curlen + 8 > CPERLIN - 1) {
-           int curvallen = strlen(params->pm_value + valoff) -
-                               (initialwidth + curlen - (CPERLIN - 1));
-
+       while (cont) {
            *q++ = ';';
            *q++ = '\n';
            *q++ = '\t';
 
-           /*
-            * curvallen holds how many characters we take from this
-            * current value.  Make sure it's at least 1.
-            */
-
-           if (curvallen < 1)
-               curvallen = 1;
-
            /*
             * At this point we're definitely continuing the line, so
             * be sure to include the parameter name and section index.
@@ -3471,38 +3713,26 @@ output_params(size_t initialwidth, PM params, int *offsetout)
            q += snprintf(q, sizeof(line) - (q - line), "%s*%d",
                          params->pm_name, index);
 
-           /*
-            * If eightbit was set and we're on index 0, we need to include
-            * the character set and encode the first section.  Otherwise
-            * only encode if the section we're on contains an 8bit character.
-            */
-
-           if (eightbit && index == 0)
-               encode = 1;
-           else if (eightbit && contains8bit(params->pm_value + valoff,
-                                       params->pm_value + valoff + curvallen))
-               encode = 1;
-
            /*
             * Both of these functions do a NUL termination
             */
 
            if (encode)
                i = encode_param(params, q, sizeof(line) - (q - line),
-                                curvallen, valoff, index);
+                                numchars, valoff, index);
            else
                i = normal_param(params, q, sizeof(line) - (q - line),
-                                curvallen, valoff);
+                                numchars, valoff);
 
            if (i == 0) {
-               if (paramout)
-                   free(paramout);
+                free(paramout);
                return NULL;
            }
 
-           valoff += curvallen;
+           valoff += numchars;
            index++;
-           curlen = param_len(params, index, valoff, &eightbit);
+           curlen = param_len(params, index, valoff, &encode, &cont,
+                              &numchars);
            q = line;
 
            /*
@@ -3538,7 +3768,7 @@ output_params(size_t initialwidth, PM params, int *offsetout)
        }
 
        /*
-        * At this point, we're either finishing a contined parameter, or
+        * At this point, we're either finishing a continued parameter, or
         * we're working on a new one.
         */
 
@@ -3546,10 +3776,11 @@ output_params(size_t initialwidth, PM params, int *offsetout)
            q += snprintf(q, sizeof(line) - (q - line), "%s*%d",
                          params->pm_name, index);
        } else {
-           q = strncpy(q, params->pm_name, sizeof(line) - (q - line));
+           strncpy(q, params->pm_name, sizeof(line) - (q - line));
+           q += strlen(q);
        }
 
-       if (eightbit)
+       if (encode)
            i = encode_param(params, q, sizeof(line) - (q - line),
                             strlen(params->pm_value + valoff), valoff, index);
        else
@@ -3557,8 +3788,7 @@ output_params(size_t initialwidth, PM params, int *offsetout)
                             strlen(params->pm_value + valoff), valoff);
 
        if (i == 0) {
-           if (paramout)
-               free(paramout);
+            free(paramout);
            return NULL;
        }
 
@@ -3575,65 +3805,125 @@ output_params(size_t initialwidth, PM params, int *offsetout)
 }
 
 /*
- * Calculate the size of a parameter.  Include any necessary encoding.
- * Start the length computation from where "offset" is marked.
+ * Calculate the size of a parameter.
+ *
+ * Arguments include
+ *
+ * pm          - The parameter being output
+ * index       - If continuing the parameter, the index of the section
+ *               we're on.
+ * valueoff    - The current offset into the parameter value that we're
+ *               working on (previous sections have consumed valueoff bytes).
+ * encode      - Set if we should perform encoding on this parameter section
+ *               (given that we're consuming bytesfit bytes).
+ * cont                - Set if the remaining data in value will not fit on a single
+ *               line and will need to be continued.
+ * bytesfit    - The number of bytes that we can consume from the parameter
+ *               value and still fit on a completely new line.  The
+ *               calculation assumes the new line starts with a tab,
+ *               includes the parameter name and any encoding, and fits
+ *               within CPERLIN bytes.  Will always be at least 1.
  */
 
 static size_t
-param_len(PM pm, int index, size_t valueoff, int *eightbit)
+param_len(PM pm, int index, size_t valueoff, int *encode, int *cont,
+         size_t *bytesfit)
 {
-    char *start = pm->pm_value + valueoff, *p;
-    size_t len = 0;
+    char *start = pm->pm_value + valueoff, *p, indexchar[32];
+    size_t len = 0, fit = 0;
+    int fitlimit = 0, eightbit, maxfit;
+
+    *encode = 0;
 
     /*
-     * Add up the length.  First, start with the parameter name, and include
-     * the equal sign.
+     * Add up the length.  First, start with the parameter name.
      */
 
-    len += strlen(pm->pm_name) + 1;
+    len = strlen(pm->pm_name);
 
     /*
-     * Scan the parameter value.  If we find an 8-bit character, then
-     * we need to compute the locale name for the length.
+     * Scan the parameter value and see if we need to do encoding for this
+     * section.
      */
 
-    *eightbit = contains8bit(start, NULL);
+    eightbit = contains8bit(start, NULL);
 
     /*
-     * If we've got 8-bit character, put the locale on the front (if we're
-     * doing part 0.  Also compute the length of the string based on the
-     * encoding we need to do.
+     * Determine if we need to encode this section.  Encoding is necessary if:
+     *
+     * - There are any 8-bit characters at all and we're on the first
+     *   section.
+     * - There are 8-bit characters within N bytes of our section start.
+     *   N is calculated based on the number of bytes it would take to
+     *   reach CPERLIN.  Specifically:
+     *         8 (starting tab) +
+     *         strlen(param name) +
+     *         4 ('* for section marker, '=', opening/closing '"')
+     *         strlen (index)
+     * is the number of bytes used by everything that isn't part of the
+     *  value.  So that gets subtracted from CPERLIN.
      */
 
-    if (*eightbit) {
+    snprintf(indexchar, sizeof(indexchar), "%d", index);
+    maxfit = CPERLIN - (12 + len + strlen(indexchar));
+    if ((eightbit && index == 0) || contains8bit(start, start + maxfit)) {
+       *encode = 1;
+    }
+
+    len++;     /* Add in equal sign */
+
+    if (*encode) {
+       /*
+        * We're using maxfit as a marker for how many characters we can
+        * fit into the line.  Bump it by two because we're not using quotes
+        * when encoding.
+        */
+
+       maxfit += 2;
+
        /*
         * If we don't have a charset or language tag in this parameter,
         * add them now.
         */
 
-       if (! pm->pm_charset)
-           pm->pm_charset = getcpy(write_charset_8bit());
+       if (! pm->pm_charset) {
+           pm->pm_charset = mh_xstrdup(write_charset_8bit());
+           if (strcasecmp(pm->pm_charset, "US-ASCII") == 0)
+               die("8-bit characters in parameter \"%s\", but "
+                     "local character set is US-ASCII", pm->pm_name);
+       }
        if (! pm->pm_lang)
-           pm->pm_lang = getcpy(NULL); /* Default to a blank lang tag */
+           pm->pm_lang = mh_xstrdup("");       /* Default to a blank lang tag */
 
-       len++;          /* For the encoding we need to do */
+       len++;          /* For the encoding marker */
+       maxfit--;
        if (index == 0) {
-           len += strlen(pm->pm_charset) + strlen(pm->pm_lang) + 2;
+           int enclen = strlen(pm->pm_charset) + strlen(pm->pm_lang) + 2;
+           len += enclen;
+           maxfit-= enclen;
        } else {
            /*
-            * We know we definitely need to include an index.
-            * This will get the length wrong if we have more than 99
-            * sections. I can live with that.
+            * We know we definitely need to include an index.  maxfit already
+            * includes the section marker.
             */
-           len += 2;   /* *<N> */
-           if (index > 9)
-               len++;
+           len += strlen(indexchar);
        }
        for (p = start; *p != '\0'; p++) {
-           if (isparamencode(*p))
+           if (isparamencode(*p)) {
                len += 3;
-           else
+               maxfit -= 3;
+           } else {
                len++;
+               maxfit--;
+           }
+           /*
+            * Just so there's no confusion: maxfit is counting OUTPUT
+            * characters (post-encoding).  fit is counting INPUT characters.
+            */
+           if (! fitlimit && maxfit >= 0)
+               fit++;
+           else if (! fitlimit)
+               fitlimit++;
        }
     } else {
        /*
@@ -3646,15 +3936,27 @@ param_len(PM pm, int index, size_t valueoff, int *eightbit)
            case '"':
            case '\\':
                len++;
-           /* FALL THROUGH */
+               maxfit--;
+           /* FALLTHRU */
            default:
                len++;
+               maxfit--;
            }
+           if (! fitlimit && maxfit >= 0)
+               fit++;
+           else if (! fitlimit)
+               fitlimit++;
        }
 
        len += 2;
     }
 
+    if (fit < 1)
+       fit = 1;
+
+    *cont = fitlimit;
+    *bytesfit = fit;
+
     return len;
 }
 
@@ -3662,7 +3964,7 @@ param_len(PM pm, int index, size_t valueoff, int *eightbit)
  * Output an encoded parameter string.
  */
 
-static size_t
+size_t
 encode_param(PM pm, char *output, size_t len, size_t valuelen,
              size_t valueoff, int index)
 {
@@ -3689,7 +3991,7 @@ encode_param(PM pm, char *output, size_t len, size_t valuelen,
        output += n;
        outlen += n;
        if (output > endptr) {
-           advise(NULL, "Internal error: parameter buffer overflow");
+           inform("Internal error: parameter buffer overflow");
            return 0;
        }
     }
@@ -3709,7 +4011,7 @@ encode_param(PM pm, char *output, size_t len, size_t valuelen,
            outlen++;
        }
        if (output > endptr) {
-           advise(NULL, "Internal error: parameter buffer overflow");
+           inform("Internal error: parameter buffer overflow");
            return 0;
        }
     }
@@ -3743,18 +4045,19 @@ normal_param(PM pm, char *output, size_t len, size_t valuelen,
        case '"':
            *output++ = '\\';
            outlen++;
+           /* FALLTHRU */
        default:
            *output++ = *p++;
            outlen++;
        }
        if (output > endptr) {
-           advise(NULL, "Internal error: parameter buffer overflow");
+           inform("Internal error: parameter buffer overflow");
            return 0;
        }
     }
 
     if (output - 2 > endptr) {
-       advise(NULL, "Internal error: parameter buffer overflow");
+       inform("Internal error: parameter buffer overflow");
        return 0;
     }
 
@@ -3769,14 +4072,13 @@ normal_param(PM pm, char *output, size_t len, size_t valuelen,
  */
 
 PM
-add_param(PM *first, PM *last, const char *name, const char *value)
+add_param(PM *first, PM *last, char *name, char *value, int nocopy)
 {
-    PM pm = mh_xmalloc(sizeof(*pm));
-
-    memset(pm, 0, sizeof(*pm));
+    PM pm;
 
-    pm->pm_name = getcpy(name);
-    pm->pm_value = getcpy(value);
+    NEW0(pm);
+    pm->pm_name = nocopy ? name : getcpy(name);
+    pm->pm_value = nocopy ? value : getcpy(value);
 
     if (*first) {
        (*last)->pm_next = pm;
@@ -3788,3 +4090,165 @@ add_param(PM *first, PM *last, const char *name, const char *value)
 
     return pm;
 }
+
+/*
+ * Either replace a current parameter with a new value, or add the parameter
+ * to the parameter linked list.
+ */
+
+PM
+replace_param(PM *first, PM *last, char *name, char *value, int nocopy)
+{
+    PM pm;
+
+    for (pm = *first; pm != NULL; pm = pm->pm_next) {
+       if (strcasecmp(name, pm->pm_name) == 0) {
+           /*
+            * If nocopy is set, it's assumed that we own both name
+            * and value.  We don't need name, so we discard it now.
+            */
+           if (nocopy)
+               free(name);
+           free(pm->pm_value);
+           pm->pm_value = nocopy ? value : getcpy(value);
+           return pm;
+       }
+    }
+
+    return add_param(first, last, name, value, nocopy);
+}
+
+/*
+ * Retrieve a parameter value from a parameter linked list.  If the parameter
+ * value needs converted to the local character set, do that now.
+ */
+
+char *
+get_param(PM first, const char *name, char replace, int fetchonly)
+{
+    while (first != NULL) {
+       if (strcasecmp(name, first->pm_name) == 0) {
+           if (fetchonly)
+               return first->pm_value;
+            return getcpy(get_param_value(first, replace));
+       }
+       first = first->pm_next;
+    }
+
+    return NULL;
+}
+
+/*
+ * Return a parameter value, converting to the local character set if
+ * necessary
+ */
+
+char *
+get_param_value(PM pm, char replace)
+{
+    static char buffer[4096];          /* I hope no parameters are larger */
+    size_t bufsize = sizeof(buffer);
+#ifdef HAVE_ICONV
+    size_t inbytes;
+    int utf8;
+    iconv_t cd;
+    ICONV_CONST char *p;
+#else /* HAVE_ICONV */
+    char *p;
+#endif /* HAVE_ICONV */
+
+    char *q;
+
+    /*
+     * If we don't have a character set indicated, it's assumed to be
+     * US-ASCII.  If it matches our character set, we don't need to convert
+     * anything.
+     */
+
+    if (!pm->pm_charset || check_charset(pm->pm_charset,
+                                        strlen(pm->pm_charset))) {
+       return pm->pm_value;
+    }
+
+    /*
+     * In this case, we need to convert.  If we have iconv support, use
+     * that.  Otherwise, go through and simply replace every non-ASCII
+     * character with the substitution character.
+     */
+
+#ifdef HAVE_ICONV
+    q = buffer;
+    bufsize = sizeof(buffer);
+    utf8 = strcasecmp(pm->pm_charset, "UTF-8") == 0;
+
+    cd = iconv_open(get_charset(), pm->pm_charset);
+    if (cd == (iconv_t) -1) {
+       goto noiconv;
+    }
+
+    inbytes = strlen(pm->pm_value);
+    p = pm->pm_value;
+
+    while (inbytes) {
+       if (iconv(cd, &p, &inbytes, &q, &bufsize) == (size_t)-1) {
+           if (errno != EILSEQ) {
+               iconv_close(cd);
+               goto noiconv;
+           }
+           /*
+            * Reset shift state, substitute our character,
+            * try to restart conversion.
+            */
+
+           iconv(cd, NULL, NULL, &q, &bufsize);
+
+           if (bufsize == 0) {
+               iconv_close(cd);
+               goto noiconv;
+           }
+           *q++ = replace;
+           bufsize--;
+           if (bufsize == 0) {
+               iconv_close(cd);
+               goto noiconv;
+           }
+           if (utf8) {
+               for (++p, --inbytes;
+                    inbytes > 0 && (((unsigned char) *p) & 0xc0) == 0x80;
+                    ++p, --inbytes)
+                   continue;
+           } else {
+               p++;
+               inbytes--;
+           }
+       }
+    }
+
+    iconv_close(cd);
+
+    if (bufsize == 0)
+       q--;
+    *q = '\0';
+
+    return buffer;
+
+noiconv:
+#endif /* HAVE_ICONV */
+
+    /*
+     * Take everything non-ASCII and substitute the replacement character
+     */
+
+    q = buffer;
+    bufsize = sizeof(buffer);
+    for (p = pm->pm_value; *p != '\0' && bufsize > 1; p++, q++, bufsize--) {
+       if (isascii((unsigned char) *p) && isprint((unsigned char) *p))
+           *q = *p;
+       else
+           *q = replace;
+    }
+
+    *q = '\0';
+
+    return buffer;
+}