OSDN Git Service

* some improvements arround -M
[nkf/nkf.git] / nkf.c
diff --git a/nkf.c b/nkf.c
index 2db8123..5f56527 100644 (file)
--- a/nkf.c
+++ b/nkf.c
@@ -39,9 +39,9 @@
 **        E-Mail: furukawa@tcp-ip.or.jp
 **    \e$B$^$G8fO"Mm$r$*4j$$$7$^$9!#\e(B
 ***********************************************************************/
-/* $Id: nkf.c,v 1.39 2004/11/15 14:44:49 naruse Exp $ */
+/* $Id: nkf.c,v 1.54 2005/01/02 05:46:01 naruse Exp $ */
 #define NKF_VERSION "2.0.4"
-#define NKF_RELEASE_DATE "2004-11-15"
+#define NKF_RELEASE_DATE "2005-01-01"
 #include "config.h"
 
 static char *CopyRight =
@@ -182,6 +182,7 @@ static char *CopyRight =
 #define         X0201           2
 #define         ISO8859_1       8
 #define         NO_X0201        3
+#define         X0212           16
 
 /* Input Assumption */
 
@@ -298,7 +299,7 @@ STATIC  void    w_oconv PROTO((int c2,int c1));
 STATIC  void    w_oconv16 PROTO((int c2,int c1));
 #endif
 STATIC  void    e_oconv PROTO((int c2,int c1));
-STATIC  void    e2s_conv PROTO((int c2, int c1, int *p2, int *p1));
+STATIC  int     e2s_conv PROTO((int c2, int c1, int *p2, int *p1));
 STATIC  void    s_oconv PROTO((int c2,int c1));
 STATIC  void    j_oconv PROTO((int c2,int c1));
 STATIC  void    fold_conv PROTO((int c2,int c1));
@@ -433,12 +434,19 @@ STATIC int cp932_f = TRUE;
 #define CP932_TABLE_BEGIN (0xfa)
 #define CP932_TABLE_END   (0xfc)
 
-STATIC int cp932inv_f = FALSE;
+STATIC int cp932inv_f = TRUE;
 #define CP932INV_TABLE_BEGIN (0xed)
 #define CP932INV_TABLE_END   (0xee)
 
+/* STATIC int cp932_conv PROTO((int c2, int c1)); */
 #endif /* SHIFTJIS_CP932 */
 
+#ifdef X0212_ENABLE
+STATIC int x0212_f = FALSE;
+static int x0212_shift PROTO((int c));
+static int x0212_unshift PROTO((int c));
+#endif
+
 STATIC unsigned char prefix_table[256];
 
 STATIC void e_status PROTO((struct input_code *, int));
@@ -647,7 +655,7 @@ main(argc, argv)
     FILE  *fin;
     unsigned char  *cp;
 
-    char *outfname;
+    char *outfname = NULL;
     char *origfname;
 
 #ifdef EASYWIN /*Easy Win */
@@ -723,8 +731,8 @@ main(argc, argv)
               return(-1);
           } else {
 #ifdef OVERWRITE
-              int fd;
-              int fd_backup;
+              int fd = 0;
+              int fd_backup = 0;
 #endif
 
 /* reopen file for stdout */
@@ -893,6 +901,11 @@ struct {
     {"katakana","h2"},
     {"katakana-hiragana","h3"},
     {"guess", "g"},
+    {"cp932", ""},
+    {"no-cp932", ""},
+#ifdef X0212_ENABLE
+    {"x0212", ""},
+#endif
 #ifdef UTF8_OUTPUT_ENABLE
     {"utf8", "w"},
     {"utf16", "w16"},
@@ -917,7 +930,6 @@ struct {
     {"debug", ""},
 #endif
 #ifdef SHIFTJIS_CP932
-    {"no-cp932", ""},
     {"cp932inv", ""},
 #endif
 #ifdef EXEC_IO
@@ -934,7 +946,7 @@ options(cp)
      unsigned char *cp;
 {
     int i;
-    unsigned char *p;
+    unsigned char *p = NULL;
 
     if (option_mode==1)
        return;
@@ -955,7 +967,7 @@ options(cp)
                int j;
                 p = (unsigned char *)long_option[i].name;
                 for (j=0;*p && (*p != '=') && *p == cp[j];p++, j++);
-               if (!*p || *p == cp[j]){
+               if (*p == cp[j]){
                    p = &cp[j];
                    break;
                }
@@ -997,16 +1009,40 @@ options(cp)
                     continue;
                 }
 #endif
+                if (strcmp(long_option[i].name, "cp932") == 0){
 #ifdef SHIFTJIS_CP932
+                    cp932_f = TRUE;
+                    cp932inv_f = TRUE;
+#endif
+#ifdef UTF8_OUTPUT_ENABLE
+                    ms_ucs_map_f = TRUE;
+#endif
+                    continue;
+                }
                 if (strcmp(long_option[i].name, "no-cp932") == 0){
+#ifdef SHIFTJIS_CP932
                     cp932_f = FALSE;
+                    cp932inv_f = FALSE;
+#endif
+#ifdef UTF8_OUTPUT_ENABLE
+                    ms_ucs_map_f = FALSE;
+#endif
                     continue;
                 }
+#ifdef SHIFTJIS_CP932
                 if (strcmp(long_option[i].name, "cp932inv") == 0){
                     cp932inv_f = TRUE;
                     continue;
                 }
 #endif
+
+#ifdef X0212_ENABLE
+                if (strcmp(long_option[i].name, "x0212") == 0){
+                    x0212_f = TRUE;
+                    continue;
+                }
+#endif
+
 #ifdef EXEC_IO
                   if (strcmp(long_option[i].name, "exec-in") == 0){
                       exec_f = 1;
@@ -1466,6 +1502,11 @@ void s_status(ptr, c)
               ptr->stat = 2;
               status_push_ch(ptr, c);
 #endif /* SHIFTJIS_CP932 */
+#ifdef X0212_ENABLE
+          }else if (x0212_f && 0xf0 <= c && c <= 0xfc){
+              ptr->stat = 1;
+              status_push_ch(ptr, c);
+#endif /* X0212_ENABLE */
           }else{
               status_disable(ptr);
           }
@@ -1480,8 +1521,8 @@ void s_status(ptr, c)
               status_disable(ptr);
           }
           break;
-#ifdef SHIFTJIS_CP932
       case 2:
+#ifdef SHIFTJIS_CP932
           if ((0x40 <= c && c <= 0x7e) || (0x80 <= c && c <= 0xfc)){
               status_push_ch(ptr, c);
               if (s2e_conv(ptr->buf[0], ptr->buf[1], &ptr->buf[0], &ptr->buf[1]) == 0){
@@ -1490,9 +1531,11 @@ void s_status(ptr, c)
                   break;
               }
           }
+#endif /* SHIFTJIS_CP932 */
+#ifndef X0212_ENABLE
           status_disable(ptr);
           break;
-#endif /* SHIFTJIS_CP932 */
+#endif
     }
 }
 
@@ -1514,6 +1557,11 @@ void e_status(ptr, c)
           }else if (SSO == c || (0xa1 <= c && c <= 0xfe)){
               ptr->stat = 1;
               status_push_ch(ptr, c);
+#ifdef X0212_ENABLE
+          }else if (0x8f == c){
+              ptr->stat = 2;
+              status_push_ch(ptr, c);
+#endif /* X0212_ENABLE */
           }else{
               status_disable(ptr);
           }
@@ -1527,6 +1575,15 @@ void e_status(ptr, c)
               status_disable(ptr);
           }
           break;
+#ifdef X0212_ENABLE
+      case 2:
+          if (0xa1 <= c && c <= 0xfe){
+              ptr->stat = 1;
+              status_push_ch(ptr, c);
+          }else{
+              status_disable(ptr);
+          }
+#endif /* X0212_ENABLE */
     }
 }
 
@@ -1660,21 +1717,17 @@ code_status(c)
     }
 }
 
-#ifdef PERL_XS
 #define STD_GC_BUFSIZE (256)
 int std_gc_buf[STD_GC_BUFSIZE];
 int std_gc_ndx;
-#endif
 
 int 
 std_getc(f)
 FILE *f;
 {
-#ifdef PERL_XS
     if (std_gc_ndx){
         return std_gc_buf[--std_gc_ndx];
     }
-#endif
     return getc(f);
 }
 
@@ -1683,14 +1736,11 @@ std_ungetc(c,f)
 int c;
 FILE *f;
 {
-#ifdef PERL_XS
     if (std_gc_ndx == STD_GC_BUFSIZE){
         return EOF;
     }
     std_gc_buf[std_gc_ndx++] = c;
     return c;
-#endif
-    return ungetc(c,f);
 }
 
 void 
@@ -2004,6 +2054,12 @@ kanji_convert(f)
                             input_mode = X0208;
                             shift_mode = FALSE;
                             NEXT;
+#ifdef X0212_ENABLE
+                        } else if (c1 == 'D'){
+                            input_mode = X0212;
+                            shift_mode = FALSE;
+                            NEXT;
+#endif /* X0212_ENABLE */
                         } else {
                             /* could be some special code */
                             (*oconv)(0, ESC);
@@ -2069,9 +2125,22 @@ kanji_convert(f)
             } else if ((c1 == NL || c1 == CR) && broken_f&4) {
                 input_mode = ASCII; set_iconv(FALSE, 0);
                 SEND;
+           /*
+           } else if (c1 == NL && mime_f && !mime_decode_mode ) {
+               if ((c1=(*i_getc)(f))!=EOF && c1 == SPACE) {
+                   i_ungetc(SPACE,f);
+                   continue;
+               } else {
+                   i_ungetc(c1,f);
+               }
+               c1 = NL;
+               SEND;
            } else if (c1 == CR && mime_f && !mime_decode_mode ) {
-               if ((c1=(*i_getc)(f))!=EOF && c1 == NL) {
-                   if ((c1=(*i_getc)(f))!=EOF && c1 == SPACE) {
+               if ((c1=(*i_getc)(f))!=EOF) {
+                   if (c1==SPACE) {
+                       i_ungetc(SPACE,f);
+                       continue;
+                   } else if (c1 == NL && (c1=(*i_getc)(f))!=EOF && c1 == SPACE) {
                        i_ungetc(SPACE,f);
                        continue;
                    } else {
@@ -2083,12 +2152,17 @@ kanji_convert(f)
                }
                c1 = CR;
                SEND;
+           */
            } else 
                 SEND;
         }
         /* send: */
         if (input_mode == X0208) 
             (*oconv)(c2, c1);  /* this is JIS, not SJIS/EUC case */
+#ifdef X0212_ENABLE
+        else if (input_mode == X0212) 
+            (*oconv)((0x8f << 8) | c2, c1);
+#endif /* X0212_ENABLE */
         else if (input_mode) 
             (*oconv)(input_mode, c1);  /* other special case */
         else if ((*iconv)(c2, c1, 0) < 0){  /* can be EUC/SJIS */
@@ -2223,15 +2297,35 @@ int s2e_conv(c2, c1, p2, p1)
      int c2, c1;
      int *p2, *p1;
 {
+    int val;
 #ifdef SHIFTJIS_CP932
     if (cp932_f && CP932_TABLE_BEGIN <= c2 && c2 <= CP932_TABLE_END){
         extern unsigned short shiftjis_cp932[3][189];
-        c1 = shiftjis_cp932[c2 - CP932_TABLE_BEGIN][c1 - 0x40];
-        if (c1 == 0) return 1;
-        c2 = c1 >> 8;
-        c1 &= 0xff;
+        val = shiftjis_cp932[c2 - CP932_TABLE_BEGIN][c1 - 0x40];
+        if (val){
+            c2 = val >> 8;
+            c1 = val & 0xff;
+        }
     }
 #endif /* SHIFTJIS_CP932 */
+#ifdef X0212_ENABLE
+    if (x0212_f && 0xfa <= c2 && c2 <= 0xfc){
+        extern unsigned short shiftjis_x0212[3][189];
+        val = shiftjis_x0212[c2 - 0xfa][c1 - 0x40];
+        if (val){
+            if (val & 0x8000){
+                c2 = (0x8f << 8) | (val >> 8);
+                c1 = val & 0xff;
+            }else{
+                c2 = val >> 8;
+                c1 = val & 0xff;
+            }
+            if (p2) *p2 = c2;
+            if (p1) *p1 = c1;
+            return 0;
+        }
+    }
+#endif
     c2 = c2 + c2 - ((c2 <= 0x9f) ? SJ0162 : SJ6394);
     if (c1 < 0x9f)
         c1 = c1 - ((c1 > DEL) ? SPACE : 0x1f);
@@ -2239,6 +2333,12 @@ int s2e_conv(c2, c1, p2, p1)
         c1 = c1 - 0x7e;
         c2++;
     }
+
+#ifdef X0212_ENABLE
+    if (x0212_f){
+        c2 = x0212_unshift(c2);
+    }
+#endif
     if (p2) *p2 = c2;
     if (p1) *p1 = c1;
     return 0;
@@ -2268,6 +2368,26 @@ e_iconv(c2, c1, c0)
 {
     if (c2 == X0201) {
        c1 &= 0x7f;
+#ifdef X0212_ENABLE
+    }else if (c2 == 0x8f){
+        if (c0 == 0){
+            return -1;
+        }
+        c2 = (c2 << 8) | (c1 & 0x7f);
+        c1 = c0 & 0x7f;
+#ifdef SHIFTJIS_CP932
+        if (cp932_f){
+            int s2, s1;
+            if (e2s_conv(c2, c1, &s2, &s1) == 0){
+                s2e_conv(s2, s1, &c2, &c1);
+                if ((c2 & 0xff00) == 0){
+                    c1 &= 0x7f;
+                    c2 &= 0x7f;
+                }
+            }
+        }
+#endif /* SHIFTJIS_CP932 */
+#endif /* X0212_ENABLE */
     } else if (c2 == SSO){
         c2 = X0201;
         c1 &= 0x7f;
@@ -2360,7 +2480,7 @@ ww16_conv(c2, c1, c0)
         val |= (c0 & 0x3f);
     }else if (c2 >= 0xc0){
         val = (c2 & 0x1f) << 6;
-        val |= (c1 & 0x3f) << 6;
+        val |= (c1 & 0x3f);
     }else{
         val = c2;
     }
@@ -2397,6 +2517,9 @@ w16e_conv(val, p2, p1)
             ret = 0;
         }
 #endif
+    }else{
+        *p2 = 0;
+        *p1 = c2;
     }
     return ret;
 }
@@ -2452,6 +2575,10 @@ w_iconv_common(c1, c0, pp, psize, p2, p1)
     if (val == 0) return 1;
 
     c2 = val >> 8;
+    if (val & 0x8000){
+        c2 &= 0x7f;
+        c2 |= 0x8f00;
+    }
     if (c2 == SO) c2 = X0201;
     c1 = val & 0x7f;
     if (p2) *p2 = c2;
@@ -2473,6 +2600,15 @@ e2w_conv(c2, c1)
 
     if (c2 == X0201) {
         p = euc_to_utf8_1byte;
+#ifdef X0212_ENABLE
+    } else if (c2 >> 8 == 0x8f){
+        extern unsigned short * x0212_to_utf8_2bytes[];
+        c2 = (c2&0x7f) - 0x21;
+        if (0<=c2 && c2<sizeof_euc_to_utf8_2bytes)
+           p = x0212_to_utf8_2bytes[c2];
+        else
+            return 0;
+#endif
     } else {
         c2 &= 0x7f;
         c2 = (c2&0x7f) - 0x21;
@@ -2494,16 +2630,6 @@ w_oconv(c2, c1)
                     c1;
 {
     int c0;
-#ifdef NUMCHAR_OPTION
-    if (c2 == 0 && (c1 & CLASS_MASK) == CLASS_UTF16){
-        w16w_conv(c1, &c2, &c1, &c0);
-        (*o_putc)(c2);
-        if (c1){
-            (*o_putc)(c1);
-            if (c0) (*o_putc)(c0);
-        }
-    }
-#endif
     if (c2 == EOF) {
         (*o_putc)(EOF);
         return;
@@ -2516,6 +2642,18 @@ w_oconv(c2, c1)
        unicode_bom_f=1;
     }
 
+#ifdef NUMCHAR_OPTION
+    if (c2 == 0 && (c1 & CLASS_MASK) == CLASS_UTF16){
+        w16w_conv(c1, &c2, &c1, &c0);
+        (*o_putc)(c2);
+        if (c1){
+            (*o_putc)(c1);
+            if (c0) (*o_putc)(c0);
+        }
+        return;
+    }
+#endif
+
     if (c2 == 0) { 
        output_mode = ASCII;
         (*o_putc)(c1);
@@ -2523,12 +2661,16 @@ w_oconv(c2, c1)
        output_mode = ISO8859_1;
         (*o_putc)(c1 | 0x080);
     } else {
+        unsigned short val;
         output_mode = UTF8;
-        w16w_conv((unsigned short)e2w_conv(c2, c1), &c2, &c1, &c0);
-        (*o_putc)(c2);
-        if (c1){
-            (*o_putc)(c1);
-            if (c0) (*o_putc)(c0);
+        val = e2w_conv(c2, c1);
+        if (val){
+            w16w_conv(val, &c2, &c1, &c0);
+            (*o_putc)(c2);
+            if (c1){
+                (*o_putc)(c1);
+                if (c0) (*o_putc)(c0);
+            }
         }
     }
 }
@@ -2563,7 +2705,7 @@ w_oconv16(c2, c1)
         c1 &= 0xff;
 #endif
     } else if (c2) {
-        unsigned short val = (unsigned short)e2w_conv(c2, c1);
+        unsigned short val = e2w_conv(c2, c1);
         c2 = (val >> 8) & 0xff;
         c1 = val & 0xff;
     }
@@ -2586,6 +2728,9 @@ e_oconv(c2, c1)
 #ifdef NUMCHAR_OPTION
     if (c2 == 0 && (c1 & CLASS_MASK) == CLASS_UTF16){
         w16e_conv(c1, &c2, &c1);
+        if (c2 == 0 && (c1 & CLASS_MASK) == CLASS_UTF16){
+            return;
+        }
     }
 #endif
     if (c2 == EOF) {
@@ -2600,6 +2745,28 @@ e_oconv(c2, c1)
     } else if (c2 == ISO8859_1) {
        output_mode = ISO8859_1;
         (*o_putc)(c1 | 0x080);
+#ifdef X0212_ENABLE
+    } else if ((c2 & 0xff00) >> 8 == 0x8f){
+       output_mode = JAPANESE_EUC;
+#ifdef SHIFTJIS_CP932
+        if (cp932_f){
+            int s2, s1;
+            if (e2s_conv(c2, c1, &s2, &s1) == 0){
+                s2e_conv(s2, s1, &c2, &c1);
+            }
+        }
+#endif
+        if ((c2 & 0xff00) >> 8 == 0x8f){
+            if (x0212_f){
+                (*o_putc)(0x8f);
+                (*o_putc)((c2 & 0x7f) | 0x080);
+                (*o_putc)(c1 | 0x080);
+            }
+        }else{
+            (*o_putc)((c2 & 0x7f) | 0x080);
+            (*o_putc)(c1 | 0x080);
+        }
+#endif
     } else {
         if ((c1<0x21 || 0x7e<c1) ||
            (c2<0x21 || 0x7e<c2)) {
@@ -2612,12 +2779,71 @@ e_oconv(c2, c1)
     }
 }
 
-void
+#ifdef X0212_ENABLE
+int x0212_shift(c)
+     int c;
+{
+    int ret = c;
+    c &= 0x7f;
+    if ((ret & 0xff00) == 0x8f00){
+        if (0x75 <= c && c <= 0x7f){
+            ret = c + (0x109 - 0x75);
+        }
+    }else{
+        if (0x75 <= c && c <= 0x7f){
+            ret = c + (0x113 - 0x75);
+        }
+    }
+    return ret;
+}
+
+
+int x0212_unshift(c)
+     int c;
+{
+    int ret = c;
+    if (0x7f <= c && c <= 0x88){
+        ret = c + (0x75 - 0x7f);
+    }else if (0x89 <= c && c <= 0x92){
+        ret = (0x8f << 8) | 0x80 | (c + (0x75 - 0x89));
+    }
+    return ret;
+}
+#endif /* X0212_ENABLE */
+
+int
 e2s_conv(c2, c1, p2, p1)
      int c2, c1, *p2, *p1;
 {
+    int val = 0;
+    unsigned short *ptr;
+    int ndx;
+    extern unsigned short *x0212_shiftjis[];
+#ifdef X0212_ENABLE
+    if ((c2 & 0xff00) == 0x8f00){
+        ndx = c2 & 0x7f;
+        if (0x21 <= ndx && ndx <= 0x7e){
+            ptr = x0212_shiftjis[ndx - 0x21];
+            if (ptr){
+                val = ptr[(c1 & 0x7f) - 0x21];
+            }
+            if (val){
+                c2 = val >> 8;
+                c1 = val & 0xff;
+                if (p2) *p2 = c2;
+                if (p1) *p1 = c1;
+                return 0;
+            }
+        }
+        c2 = x0212_shift(c2);
+    }
+#endif /* X0212_ENABLE */
+    if ((c2 & 0xff00) == 0x8f00){
+        return 1;
+    }
     if (p2) *p2 = ((c2 - 1) >> 1) + ((c2 <= 0x5e) ? 0x71 : 0xb1);
     if (p1) *p1 = c1 + ((c2 & 1) ? ((c1 < 0x60) ? 0x1f : 0x20) : 0x7e);
+    return 0;
 }
 
 void
@@ -2642,6 +2868,14 @@ s_oconv(c2, c1)
     } else if (c2 == ISO8859_1) {
        output_mode = ISO8859_1;
         (*o_putc)(c1 | 0x080);
+#ifdef X0212_ENABLE
+    } else if ((c2 & 0xff00) >> 8 == 0x8f){
+       output_mode = SHIFT_JIS;
+        if (e2s_conv(c2, c1, &c2, &c1) == 0){
+            (*o_putc)(c2);
+            (*o_putc)(c1);
+        }
+#endif
     } else {
         if ((c1<0x20 || 0x7e<c1) ||
            (c2<0x20 || 0x7e<c2)) {
@@ -2689,6 +2923,18 @@ j_oconv(c2, c1)
            output_mode = ASCII;
         }
         (*o_putc)(EOF);
+#ifdef X0212_ENABLE
+    } else if ((c2 & 0xff00) >> 8 == 0x8f){
+        if (output_mode!=X0212) {
+            output_mode = X0212;
+            (*o_putc)(ESC);
+            (*o_putc)('$');
+            (*o_putc)('(');
+            (*o_putc)('D');
+        }
+        (*o_putc)(c2 & 0x7f);
+        (*o_putc)(c1);
+#endif
     } else if (c2==X0201) {
         if (output_mode!=X0201) {
             output_mode = X0201;
@@ -2733,11 +2979,12 @@ base64_conv(c2, c1)
                     c1;
 {
     if (base64_count>50 && !mimeout_mode && c2==0 && c1==SPACE) {
+       (*o_putc)(EOF);
        (*o_putc)(NL);
     } else if (base64_count>66 && mimeout_mode) {
        (*o_base64conv)(EOF,0);
-       (*o_putc)(NL);
-       (*o_putc)('\t'); base64_count += 7;
+       (*o_base64conv)(NL,0);
+       (*o_base64conv)(SPACE,0);
     }
     (*o_base64conv)(c2,c1);
 }
@@ -3624,19 +3871,30 @@ restart_mime_q:
            }
            while ((c1=(*i_getc)(f))!=EOF) {
                switch (c1) {
+               case NL:
                case CR:
-                   if ((c1=(*i_getc)(f))!=EOF && c1 == NL) {
-                       if ((c1=(*i_getc)(f))!=EOF && c1 == SPACE) {
+                   if (c1==NL) {
+                       if ((c1=(*i_getc)(f))!=EOF && (c1==SPACE||c1==TAB)) {
                            i_ungetc(SPACE,f);
                            continue;
                        } else {
                            i_ungetc(c1,f);
                        }
-                       i_ungetc(NL,f);
+                       c1 = NL;
                    } else {
-                       i_ungetc(c1,f);
+                       if ((c1=(*i_getc)(f))!=EOF && c1 == NL) {
+                           if ((c1=(*i_getc)(f))!=EOF && (c1==SPACE||c1==TAB)) {
+                               i_ungetc(SPACE,f);
+                               continue;
+                           } else {
+                               i_ungetc(c1,f);
+                           }
+                           i_ungetc(NL,f);
+                       } else {
+                           i_ungetc(c1,f);
+                       }
+                       c1 = CR;
                    }
-                   c1 = CR;
                    break;
                case SPACE:
                case TAB:
@@ -3656,11 +3914,15 @@ restart_mime_q:
                }
                break;
            }
-           if (lwsp_count > 0 && c1!='=' && c1!=')') {
-               i_ungetc(c1,f);
-               for(lwsp_count--;lwsp_count>0;lwsp_count--)
-                   i_ungetc(lwsp_buf[lwsp_count],f);
-               c1 = lwsp_buf[lwsp_count];
+           if (lwsp_count > 0) {
+               if (c1=='=' && (lwsp_buf[lwsp_count-1]==SPACE||lwsp_buf[lwsp_count-1]==TAB)) {
+                   lwsp_count = 0;
+               } else {
+                   i_ungetc(c1,f);
+                   for(lwsp_count--;lwsp_count>0;lwsp_count--)
+                       i_ungetc(lwsp_buf[lwsp_count],f);
+                   c1 = lwsp_buf[0];
+               }
            }
            free(lwsp_buf);
            lwsp_buf = NULL;
@@ -3725,19 +3987,33 @@ mime_c2_retry:
        }
        while ((c1=(*i_getc)(f))!=EOF) {
            switch (c1) {
+           case NL:
            case CR:
-               if ((c1=(*i_getc)(f))!=EOF && c1 == NL) {
-                   if ((c1=(*i_getc)(f))!=EOF && c1 == SPACE) {
+               if (c1==NL) {
+                   if ((c1=(*i_getc)(f))!=EOF && (c1==SPACE||c1==TAB)) {
                        i_ungetc(SPACE,f);
                        continue;
                    } else {
                        i_ungetc(c1,f);
                    }
-                   i_ungetc(NL,f);
+                   c1 = NL;
                } else {
-                   i_ungetc(c1,f);
+                   if ((c1=(*i_getc)(f))!=EOF) {
+                       if (c1==SPACE) {
+                           i_ungetc(SPACE,f);
+                           continue;
+                       } else if ((c1=(*i_getc)(f))!=EOF && (c1==SPACE||c1==TAB)) {
+                           i_ungetc(SPACE,f);
+                           continue;
+                       } else {
+                           i_ungetc(c1,f);
+                       }
+                       i_ungetc(NL,f);
+                   } else {
+                       i_ungetc(c1,f);
+                   }
+                   c1 = CR;
                }
-               c1 = CR;
                break;
            case SPACE:
            case TAB:
@@ -3757,11 +4033,15 @@ mime_c2_retry:
            }
            break;
        }
-       if (lwsp_count > 0 && c1!='=' && c1!=')') {
-           i_ungetc(c1,f);
-           for(lwsp_count--;lwsp_count>0;lwsp_count--)
-               i_ungetc(lwsp_buf[lwsp_count],f);
-           c1 = lwsp_buf[lwsp_count];
+       if (lwsp_count > 0) {
+           if (c1=='=' && (lwsp_buf[lwsp_count-1]==SPACE||lwsp_buf[lwsp_count-1]==TAB)) {
+               lwsp_count = 0;
+           } else {
+               i_ungetc(c1,f);
+               for(lwsp_count--;lwsp_count>0;lwsp_count--)
+                   i_ungetc(lwsp_buf[lwsp_count],f);
+               c1 = lwsp_buf[0];
+           }
        }
        free(lwsp_buf);
        lwsp_buf = NULL;
@@ -3882,6 +4162,11 @@ static char basis_64[] =
    "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
 
 static int b64c;
+#define MIMEOUT_BUF_LENGTH (60)
+char mimeout_buf[MIMEOUT_BUF_LENGTH+1];
+int mimeout_buf_count = 0;
+int mimeout_preserve_space = 0;
+#define itoh4(c)   (c>=10?c+'A'-10:c+'0')
 
 void
 open_mime(mode)
@@ -3889,20 +4174,49 @@ int mode;
 {
     unsigned char *p;
     int i;
+    int j;
     p  = mime_pattern[0];
     for(i=0;mime_encode[i];i++) {
        if (mode == mime_encode[i]) {
            p = mime_pattern[i];
-               break;
+           break;
        }
     }
     mimeout_mode = mime_encode_method[i];
-           
-    /* (*o_mputc)(' '); */
+    
+    i = 0;
+    if (base64_count>45) {
+       (*o_mputc)(NL);
+       (*o_mputc)(SPACE);
+       base64_count = 1;
+       if (!mimeout_preserve_space && mimeout_buf_count>0
+           && (mimeout_buf[i]==SPACE || mimeout_buf[i]==TAB
+               || mimeout_buf[i]==CR || mimeout_buf[i]==NL )) {
+           i++;
+       }
+    }
+    if (!mimeout_preserve_space) {
+       for (;i<mimeout_buf_count;i++) {
+           if (mimeout_buf[i]==SPACE || mimeout_buf[i]==TAB
+               || mimeout_buf[i]==CR || mimeout_buf[i]==NL ) {
+               (*o_mputc)(mimeout_buf[i]);
+               base64_count ++;
+           } else {
+               break;
+           }
+       }
+    }
+    mimeout_preserve_space = FALSE;
+    
     while(*p) {
         (*o_mputc)(*p++);
         base64_count ++;
     }
+    j = mimeout_buf_count;
+    mimeout_buf_count = 0;
+    for (;i<j;i++) {
+       mime_putc(mimeout_buf[i]);
+    }
 }
 
 void
@@ -3910,80 +4224,57 @@ close_mime()
 {
     (*o_mputc)('?');
     (*o_mputc)('=');
-    (*o_mputc)(' ');
-    base64_count += 3;
+    base64_count += 2;
     mimeout_mode = 0;
 }
 
-#define itoh4(c)   (c>=10?c+'A'-10:c+'0')
+void
+eof_mime()
+{
+    switch(mimeout_mode) {
+    case 'Q':
+    case 'B':
+       break;
+    case 2:
+       (*o_mputc)(basis_64[((b64c & 0x3)<< 4)]);
+       (*o_mputc)('=');
+       (*o_mputc)('=');
+       base64_count += 3;
+       break;
+    case 1:
+       (*o_mputc)(basis_64[((b64c & 0xF) << 2)]);
+       (*o_mputc)('=');
+       base64_count += 2;
+       break;
+    }
+    if (mimeout_mode) {
+       if (mimeout_f!=FIXED_MIME) {
+           close_mime(); 
+       } else if (mimeout_mode != 'Q')
+           mimeout_mode = 'B';
+    }
+}
 
 void
-mime_putc(c)
+mimeout_addchar(c)
     int            c;
 {
-    if (mimeout_f==FIXED_MIME) {
-       if (base64_count>71) {
-            (*o_mputc)('\n');
-            base64_count=0;
-        }
-    } else if (c==NL) {
-       base64_count=0;
-    } 
-    if (c!=EOF) {
-        if ( c<=DEL &&(output_mode==ASCII ||output_mode == ISO8859_1 )
-               && mimeout_f!=FIXED_MIME) {
-           if (mimeout_mode=='Q') {
-               if (c<=SPACE) {
-                   close_mime();
-               }
-               (*o_mputc)(c);
-               return;
-           }
-            if (mimeout_mode!='B' || c!=SPACE) {
-               if (mimeout_mode) {
-                   mime_putc(EOF);
-                   mimeout_mode=0;
-               }
-               (*o_mputc)(c);
-               base64_count ++;
-               return;
-           }
-        } else if (!mimeout_mode && mimeout_f!=FIXED_MIME) {
-           open_mime(output_mode);
-        }
-    } else { /* c==EOF */
-        switch(mimeout_mode) {
-        case 'Q':
-        case 'B':
-            break;
-        case 2:
-            (*o_mputc)(basis_64[((b64c & 0x3)<< 4)]);
-            (*o_mputc)('=');
-            (*o_mputc)('=');
-            base64_count += 3;
-            break;
-        case 1:
-            (*o_mputc)(basis_64[((b64c & 0xF) << 2)]);
-            (*o_mputc)('=');
-            base64_count += 2;
-            break;
-        }
-        if (mimeout_mode) {
-            if (mimeout_f!=FIXED_MIME) {
-                close_mime(); 
-            } else if (mimeout_mode != 'Q')
-                mimeout_mode = 'B';
-        }
-        return;
-    }
     switch(mimeout_mode) {
     case 'Q':
-       if(c>=DEL) {
+       if(c==SPACE){
+           (*o_mputc)('_');
+           base64_count++;
+       } else if (c==CR||c==NL) {
+           (*o_mputc)(c);
+           base64_count = 0;
+       } else if(c<SPACE||c=='='||c=='?'||c=='_'||DEL<=c) {
            (*o_mputc)('=');
            (*o_mputc)(itoh4(((c>>4)&0xf)));
            (*o_mputc)(itoh4((c&0xf)));
+           base64_count += 3;
        } else {
            (*o_mputc)(c);
+           base64_count++;
        }
         break;
     case 'B':
@@ -4004,9 +4295,164 @@ mime_putc(c)
         mimeout_mode='B';
         base64_count += 2;
         break;
+    default:
+       (*o_mputc)(c);
+       base64_count++;
+        break;
     }
 }
 
+void
+mime_putc(c)
+    int            c;
+{
+    int i = 0;
+    int j = 0;
+    
+    if (mimeout_f==FIXED_MIME && base64_count>71) {
+       if (mimeout_mode=='Q') {
+           if (c!=CR && c!=NL) {
+               (*o_mputc)('=');
+               (*o_mputc)(NL);
+           }
+       } else {
+           eof_mime();
+           (*o_mputc)(NL);
+       }
+       base64_count=0;
+    } else if (mimeout_f!=FIXED_MIME && !mimeout_mode && (c==CR||c==NL)) {
+       base64_count=0;
+    }
+    if (c!=EOF && mimeout_f!=FIXED_MIME) {
+        if ( c<=DEL &&(output_mode==ASCII ||output_mode == ISO8859_1 ) ) {
+           if (mimeout_mode=='Q') {
+               if (c<=SPACE) {
+                   close_mime();
+                   (*o_mputc)(SPACE);
+                   base64_count++;
+               }
+               (*o_mputc)(c);
+               base64_count++;
+               return;
+           } else if (mimeout_mode) {
+               if (mimeout_buf_count>0
+                   && (mimeout_buf[mimeout_buf_count-1]==CR || mimeout_buf[mimeout_buf_count-1]==NL)) {
+                   if (c==SPACE || c==TAB) {
+                       for (i=0;i<mimeout_buf_count;i++) {
+                           mimeout_addchar(mimeout_buf[i]);
+                       }
+                       mimeout_buf_count = 0;
+                   } else if (SPACE<c && c<DEL) {
+                       eof_mime();
+                       for (i=0;i<mimeout_buf_count;i++) {
+                           (*o_mputc)(mimeout_buf[i]);
+                       }
+                       base64_count = 0;
+                       mimeout_buf_count = 0;
+                   }
+               }
+               if (c==SPACE || c==TAB || c==CR || c==NL) {
+                   for (i=0;i<mimeout_buf_count;i++) {
+                       if (SPACE<mimeout_buf[i] && mimeout_buf[i]<DEL) {
+                           eof_mime();
+                           for (i=0;i<mimeout_buf_count;i++) {
+                               (*o_mputc)(mimeout_buf[i]);
+                               base64_count++;
+                           }
+                           mimeout_buf_count = 0;
+                       }
+                   }
+                   mimeout_buf[mimeout_buf_count++] = c;
+                   if (mimeout_buf_count>MIMEOUT_BUF_LENGTH) {
+                       eof_mime();
+                       for (i=0;i<mimeout_buf_count;i++) {
+                           (*o_mputc)(mimeout_buf[i]);
+                           base64_count++;
+                       }
+                       mimeout_buf_count = 0;
+                   }
+                   return;
+               }
+               
+               if (mimeout_buf_count>0 && SPACE<c && c!='=') {
+                   mimeout_buf[mimeout_buf_count++] = c;
+                   if (mimeout_buf_count>MIMEOUT_BUF_LENGTH) {
+                       j = mimeout_buf_count;
+                       mimeout_buf_count = 0;
+                       for (i=0;i<j;i++) {
+                           mimeout_addchar(mimeout_buf[i]);
+                       }
+                   }
+                   return;
+               }
+           } else if (!mimeout_mode) {
+               if (c==SPACE || c==TAB || c==CR || c==NL) {
+                   if ((c==CR || c==NL)
+                       &&(mimeout_buf[mimeout_buf_count-1]==SPACE
+                          || mimeout_buf[mimeout_buf_count-1]==TAB)) {
+                       mimeout_buf_count--;
+                   }
+                   for (i=0;i<mimeout_buf_count;i++) {
+                       (*o_mputc)(mimeout_buf[i]);
+                       base64_count++;
+                   }
+                   mimeout_buf_count = 0;
+               }
+               mimeout_buf[mimeout_buf_count++] = c;
+               if (mimeout_buf_count>MIMEOUT_BUF_LENGTH) {
+                   open_mime(output_mode);
+               }
+               return;
+           }
+        } else if (!mimeout_mode) {
+           if (mimeout_buf_count>0 && mimeout_buf[mimeout_buf_count-1]==SPACE) {
+               for (i=0;i<mimeout_buf_count-1;i++) {
+                   (*o_mputc)(mimeout_buf[i]);
+                   base64_count++;
+               }
+               mimeout_buf[0] = SPACE;
+               mimeout_buf_count = 1;
+           }
+           open_mime(output_mode);
+        }
+    } else if (c == EOF) { /* c==EOF */
+       j = mimeout_buf_count;
+       mimeout_buf_count = 0;
+       i = 0;
+       for (;i<j;i++) {
+           if (mimeout_buf[i]==SPACE || mimeout_buf[i]==TAB
+               || mimeout_buf[i]==CR || mimeout_buf[i]==NL)
+               break;
+           mimeout_addchar(mimeout_buf[i]);
+       }
+        eof_mime();
+       for (;i<j;i++) {
+           (*o_mputc)(mimeout_buf[i]);
+           base64_count++;
+       }
+        return;
+    }
+    
+    if (mimeout_buf_count>0) {
+       j = mimeout_buf_count;
+       mimeout_buf_count = 0;
+       for (i=0;i<j;i++) {
+           if (mimeout_buf[i]==CR || mimeout_buf[i]==NL)
+               break;
+           mimeout_addchar(mimeout_buf[i]);
+       }
+       if (i<j) {
+           eof_mime();
+           base64_count=0;
+           for (;i<j;i++) {
+               (*o_mputc)(mimeout_buf[i]);
+           }
+           open_mime(output_mode);
+       }
+    }
+    mimeout_addchar(c);
+}
+
 
 #ifdef PERL_XS
 void 
@@ -4059,7 +4505,7 @@ reinit()
 #endif
 #ifdef SHIFTJIS_CP932
     cp932_f = TRUE;
-    cp932inv_f = FALSE;
+    cp932inv_f = TRUE;
 #endif
     {
         int i;
@@ -4070,6 +4516,7 @@ reinit()
 #ifdef UTF8_INPUT_ENABLE
     utf16_mode = UTF16LE_INPUT;
 #endif
+    mimeout_buf_count = 0;
     mimeout_mode = 0;
     base64_count = 0;
     f_line = 0;
@@ -4178,16 +4625,13 @@ usage()
     fprintf(stderr," --fj,--unix,--mac,--windows                        convert for the system\n");
     fprintf(stderr," --jis,--euc,--sjis,--utf8,--utf16,--mime,--base64  convert for the code\n");
     fprintf(stderr," --hiragana, --katakana    Hiragana/Katakana Conversion\n");
+    fprintf(stderr," --cp932, --no-cp932       CP932 compatible\n");
 #ifdef INPUT_OPTION
-    fprintf(stderr," --cap-input, --url-input  Convert hex after ':' or '%'\n");
+    fprintf(stderr," --cap-input, --url-input  Convert hex after ':' or '%%'\n");
 #endif
 #ifdef NUMCHAR_OPTION
     fprintf(stderr," --numchar-input   Convert Unicode Character Reference\n");
 #endif
-#ifdef SHIFTJIS_CP932
-    fprintf(stderr," --no-cp932        Don't convert Shift_JIS FAxx-FCxx to equivalnet CP932\n");
-    fprintf(stderr," --cp932inv        convert Shift_JIS EDxx-EFxx to equivalnet CP932 FAxx-FCxx\n");
-#endif
 #ifdef UTF8_OUTPUT_ENABLE
     fprintf(stderr," --ms-ucs-map      Microsoft UCS Mapping Compatible\n");
 #endif