OSDN Git Service

* cpphash.h, cpplib.c: Correct erroneous previous checkin.
[pf3gnuchains/gcc-fork.git] / gcc / cpplib.c
index 5c7e4e1..719daaa 100644 (file)
@@ -1,6 +1,6 @@
 /* CPP Library. (Directive handling.)
    Copyright (C) 1986, 1987, 1989, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
-   1999, 2000 Free Software Foundation, Inc.
+   1999, 2000, 2001 Free Software Foundation, Inc.
    Contributed by Per Bothner, 1994-95.
    Based on CCCP program by Paul Rubin, June 1986
    Adapted to ANSI C, Richard Stallman, Jan 1987
@@ -26,7 +26,6 @@ Foundation, 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.  */
 #include "cpphash.h"
 #include "intl.h"
 #include "obstack.h"
-#include "symcat.h"
 
 /* Chained list of answers to an assertion.  */
 struct answer
@@ -44,8 +43,9 @@ struct if_stack
   struct if_stack *next;
   cpp_lexer_pos pos;           /* line and column where condition started */
   const cpp_hashnode *mi_cmacro;/* macro name for #ifndef around entire file */
-  unsigned char was_skipping;  /* Value of pfile->skipping before this if.  */
-  int type;                    /* type of last directive seen in this group */
+  bool skip_elses;             /* Can future #else / #elif be skipped?  */
+  bool was_skipping;           /* If were skipping on entry.  */
+  int type;                    /* Most recent conditional, for diagnostics.  */
 };
 
 /* Values for the origin field of struct directive.  KANDR directives
@@ -84,8 +84,8 @@ static void check_eol         PARAMS ((cpp_reader *));
 static void start_directive    PARAMS ((cpp_reader *));
 static void end_directive      PARAMS ((cpp_reader *, int));
 static void run_directive      PARAMS ((cpp_reader *, int,
-                                        const char *, size_t,
-                                        const char *));
+                                        enum cpp_buffer_type,
+                                        const char *, size_t));
 static int glue_header_name    PARAMS ((cpp_reader *, cpp_token *));
 static int  parse_include      PARAMS ((cpp_reader *, cpp_token *));
 static void push_conditional   PARAMS ((cpp_reader *, int, int,
@@ -95,6 +95,7 @@ static int  strtoul_for_line  PARAMS ((const U_CHAR *, unsigned int,
                                         unsigned long *));
 static void do_diagnostic      PARAMS ((cpp_reader *, enum error_type, int));
 static cpp_hashnode *lex_macro_node    PARAMS ((cpp_reader *));
+static void do_include_common  PARAMS ((cpp_reader *, enum include_type));
 static void do_pragma_once     PARAMS ((cpp_reader *));
 static void do_pragma_poison   PARAMS ((cpp_reader *));
 static void do_pragma_system_header    PARAMS ((cpp_reader *));
@@ -128,7 +129,7 @@ D(else,             T_ELSE,         KANDR,     COND)           /*   9863 */ \
 D(ifndef,      T_IFNDEF,       KANDR,     COND | IF_COND) /*   9675 */ \
 D(undef,       T_UNDEF,        KANDR,     IN_I)           /*   4837 */ \
 D(line,                T_LINE,         KANDR,     IN_I)           /*   2465 */ \
-D(elif,                T_ELIF,         KANDR,     COND)           /*    610 */ \
+D(elif,                T_ELIF,         STDC89,    COND)           /*    610 */ \
 D(error,       T_ERROR,        STDC89,    0)              /*    475 */ \
 D(pragma,      T_PRAGMA,       STDC89,    IN_I)           /*    195 */ \
 D(warning,     T_WARNING,      EXTENSION, 0)              /*     22 */ \
@@ -153,7 +154,7 @@ SCCS_ENTRY                                             /* 0 SVR4? */
    instead of void, because some old compilers have trouble with
    pointers to functions returning void.  */
 
-/* Don't invoke CONCAT2 with any whitespace or K&R cc will fail. */
+/* Don't invoke CONCAT2 with any whitespace or K&R cc will fail.  */
 #define D(name, t, o, f) static void CONCAT2(do_,name) PARAMS ((cpp_reader *));
 DIRECTIVE_TABLE
 #undef D
@@ -161,13 +162,12 @@ DIRECTIVE_TABLE
 #define D(n, tag, o, f) tag,
 enum
 {
-  T_BAD_DIRECTIVE,
   DIRECTIVE_TABLE
   N_DIRECTIVES
 };
 #undef D
 
-/* Don't invoke CONCAT2 with any whitespace or K&R cc will fail. */
+/* Don't invoke CONCAT2 with any whitespace or K&R cc will fail.  */
 #define D(name, t, origin, flags) \
 { CONCAT2(do_,name), (const U_CHAR *) STRINGX(name), \
   sizeof STRINGX(name) - 1, origin, flags },
@@ -178,6 +178,8 @@ DIRECTIVE_TABLE
 #undef D
 #undef DIRECTIVE_TABLE
 
+#define SEEN_EOL() (pfile->lexer_pos.output_line > pfile->line)
+
 /* Skip any remaining tokens in a directive.  */
 static void
 skip_rest_of_line (pfile)
@@ -194,10 +196,8 @@ skip_rest_of_line (pfile)
     _cpp_pop_context (pfile);
 
   /* Sweep up all tokens remaining on the line.  */
-  pfile->state.prevent_expansion++;
-  while (!pfile->state.next_bol)
+  while (! SEEN_EOL ())
     _cpp_lex_token (pfile, &token);
-  pfile->state.prevent_expansion--;
 }
 
 /* Ensure there are no stray tokens at the end of a directive.  */
@@ -205,7 +205,7 @@ static void
 check_eol (pfile)
      cpp_reader *pfile;
 {
-  if (!pfile->state.next_bol)
+  if (! SEEN_EOL ())
     {
       cpp_token token;
 
@@ -221,22 +221,17 @@ static void
 start_directive (pfile)
      cpp_reader *pfile;
 {
-  cpp_buffer *buffer = pfile->buffer;
-
   /* Setup in-directive state.  */
   pfile->state.in_directive = 1;
   pfile->state.save_comments = 0;
 
   /* Some handlers need the position of the # for diagnostics.  */
   pfile->directive_pos = pfile->lexer_pos;
+  pfile->directive_line = pfile->line;
 
   /* Don't save directive tokens for external clients.  */
   pfile->la_saved = pfile->la_write;
   pfile->la_write = 0;
-
-  /* Turn off skipping.  */
-  buffer->was_skipping = pfile->skipping;
-  pfile->skipping = 0;
 }
 
 /* Called when leaving a directive, _Pragma or command-line directive.  */
@@ -245,15 +240,13 @@ end_directive (pfile, skip_line)
      cpp_reader *pfile;
      int skip_line;
 {
-  cpp_buffer *buffer = pfile->buffer;
-
-  /* Restore pfile->skipping before skip_rest_of_line, so that e.g.
-     __VA_ARGS__ in the rest of the directive doesn't warn.  */
-  pfile->skipping = buffer->was_skipping;
-
   /* We don't skip for an assembler #.  */
   if (skip_line)
-    skip_rest_of_line (pfile);
+    {
+      skip_rest_of_line (pfile);
+      /*  "Accept" the newline now.  */
+      pfile->line++;
+    }
 
   /* Restore state.  */
   pfile->la_write = pfile->la_saved;
@@ -271,7 +264,6 @@ _cpp_handle_directive (pfile, indented)
      cpp_reader *pfile;
      int indented;
 {
-  cpp_buffer *buffer = pfile->buffer;
   const directive *dir = 0;
   cpp_token dname;
   int skip = 1;
@@ -294,13 +286,12 @@ _cpp_handle_directive (pfile, indented)
         skipped conditional groups.  Complain about this form if
         we're being pedantic, but not if this is regurgitated input
         (preprocessed or fed back in by the C++ frontend).  */
-      if (! buffer->was_skipping && CPP_OPTION (pfile, lang) != CLK_ASM)
+      if (! pfile->state.skipping && CPP_OPTION (pfile, lang) != CLK_ASM)
        {
          dir = &dtable[T_LINE];
          pfile->state.line_extension = 1;
          _cpp_push_token (pfile, &dname, &pfile->directive_pos);
-         if (CPP_PEDANTIC (pfile) && buffer->inc
-             && ! CPP_OPTION (pfile, preprocessed))
+         if (CPP_PEDANTIC (pfile) && ! CPP_OPTION (pfile, preprocessed))
            cpp_pedwarn (pfile, "# followed by integer");
        }
     }
@@ -313,7 +304,32 @@ _cpp_handle_directive (pfile, indented)
 
       /* If we are rescanning preprocessed input, only directives tagged
         with IN_I are honored, and the warnings below are suppressed.  */
-      if (! CPP_OPTION (pfile, preprocessed) || dir->flags & IN_I)
+      if (CPP_OPTION (pfile, preprocessed))
+       {
+         /* Kluge alert.  In order to be sure that code like this
+            #define HASH #
+            HASH define foo bar
+            does not cause '#define foo bar' to get executed when
+            compiled with -save-temps, we recognize directives in
+            -fpreprocessed mode only if the # is in column 1 and the
+            directive name starts in column 2.  This output can only
+            be generated by the directive callbacks in cppmain.c (see
+            also the special case in scan_buffer).  */
+         if (dir->flags & IN_I && !indented && !(dname.flags & PREV_WHITE))
+           (*dir->handler) (pfile);
+         /* That check misses '# 123' linemarkers.  Let them through too.  */
+         else if (dname.type == CPP_NUMBER)
+           (*dir->handler) (pfile);
+         else
+           {
+             /* We don't want to process this directive.  Put back the
+                tokens so caller will see them (and issue an error,
+                probably).  */
+             _cpp_push_token (pfile, &dname, &pfile->directive_pos);
+             skip = 0;
+           }
+       }
+      else
        {
          /* Traditionally, a directive is ignored unless its # is in
             column 1.  Therefore in code intended to work with K+R
@@ -323,7 +339,10 @@ _cpp_handle_directive (pfile, indented)
             conditional blocks.  */
          if (CPP_WTRADITIONAL (pfile))
            {
-             if (indented && dir->origin == KANDR)
+             if (dir == &dtable[T_ELIF])
+               cpp_warning (pfile,
+                            "suggest not using #elif in traditional C");
+             else if (indented && dir->origin == KANDR)
                cpp_warning (pfile,
                             "traditional C ignores #%s with the # indented",
                             dir->name);
@@ -335,7 +354,7 @@ _cpp_handle_directive (pfile, indented)
 
          /* If we are skipping a failed conditional group, all
             non-conditional directives are ignored.  */
-         if (! buffer->was_skipping || (dir->flags & COND))
+         if (! pfile->state.skipping || (dir->flags & COND))
            {
              /* Issue -pedantic warnings for extensions.   */
              if (CPP_PEDANTIC (pfile) && dir->origin == EXTENSION)
@@ -344,13 +363,13 @@ _cpp_handle_directive (pfile, indented)
              /* If we have a directive that is not an opening
                 conditional, invalidate any control macro.  */
              if (! (dir->flags & IF_COND))
-               pfile->mi_state = MI_FAILED;
+               pfile->mi_valid = false;
 
              (*dir->handler) (pfile);
            }
        }
     }
-  else if (dname.type != CPP_EOF && ! pfile->skipping)
+  else if (dname.type != CPP_EOF && ! pfile->state.skipping)
     {
       /* An unknown directive.  Don't complain about it in assembly
         source: we don't know where the comments are, and # may
@@ -367,54 +386,32 @@ _cpp_handle_directive (pfile, indented)
                   cpp_token_as_text (pfile, &dname));
     }
 
-  end_directive (pfile, skip);
+  if (pfile->state.in_directive)
+    end_directive (pfile, skip);
   return skip;
 }
 
 /* Directive handler wrapper used by the command line option
    processor.  */
 static void
-run_directive (pfile, dir_no, buf, count, name)
+run_directive (pfile, dir_no, type, buf, count)
      cpp_reader *pfile;
      int dir_no;
+     enum cpp_buffer_type type;
      const char *buf;
      size_t count;
-     const char *name;
 {
-  unsigned int output_line = pfile->lexer_pos.output_line;
-  cpp_buffer *buffer = cpp_push_buffer (pfile, (const U_CHAR *) buf, count);
+  cpp_buffer *buffer;
 
-  if (buffer)
-    {
-      const struct directive *dir = &dtable[dir_no];
-
-      if (name)
-       buffer->nominal_fname = name;
-      else
-       buffer->nominal_fname = _("<command line>");
-
-      /* For _Pragma, the text is passed through preprocessing stage 3
-        only, i.e. no trigraphs, no escaped newline removal, and no
-        macro expansion.  Do the same for command-line directives.  */
-      buffer->from_stage3 = 1;
-
-      if (dir_no == T_PRAGMA)
-       {
-         /* A kludge to avoid line markers for _Pragma.  */
-         pfile->lexer_pos.output_line = output_line;
-         /* Avoid interpretation of directives in a _Pragma string.  */
-         pfile->state.next_bol = 0;
-       }
-
-      start_directive (pfile);
-      pfile->state.prevent_expansion++;
-      (void) (*dir->handler) (pfile);
-      pfile->state.prevent_expansion--;
-      check_eol (pfile);
-      end_directive (pfile, 1);
-
-      cpp_pop_buffer (pfile);
-    }
+  buffer = cpp_push_buffer (pfile, (const U_CHAR *) buf, count, type, 0, 1);
+  start_directive (pfile);
+  pfile->state.prevent_expansion++;
+  pfile->directive = &dtable[dir_no];
+  (void) (*pfile->directive->handler) (pfile);
+  pfile->state.prevent_expansion--;
+  check_eol (pfile);
+  end_directive (pfile, 1);
+  _cpp_pop_buffer (pfile);
 }
 
 /* Checks for validity the macro name in #define, #undef, #ifdef and
@@ -424,14 +421,17 @@ lex_macro_node (pfile)
      cpp_reader *pfile;
 {
   cpp_token token;
+  cpp_hashnode *node;
 
   /* Lex the macro name directly.  */
   _cpp_lex_token (pfile, &token);
 
   /* The token immediately after #define must be an identifier.  That
-     identifier is not allowed to be "defined".  See predefined macro
-     names (6.10.8.4).  In C++, it is not allowed to be any of the
-     <iso646.h> macro names (which are keywords in C++) either.  */
+     identifier may not be "defined", per C99 6.10.8p4.
+     In C++, it may not be any of the "named operators" either,
+     per C++98 [lex.digraph], [lex.key].
+     Finally, the identifier may not have been poisoned.  (In that case
+     the lexer has issued the error message for us.)  */
 
   if (token.type != CPP_NAME)
     {
@@ -440,24 +440,26 @@ lex_macro_node (pfile)
                   pfile->directive->name);
       else if (token.flags & NAMED_OP)
        cpp_error (pfile,
-                  "\"%s\" cannot be used as a macro name as it is an operator in C++",
-                  token.val.node->name);
+          "\"%s\" cannot be used as a macro name as it is an operator in C++",
+                  NODE_NAME (token.val.node));
       else
        cpp_error (pfile, "macro names must be identifiers");
+
+      return 0;
     }
-  else
+
+  node = token.val.node;
+  if (node->flags & NODE_POISONED)
+    return 0;
+
+  if (node == pfile->spec_nodes.n_defined)
     {
-      cpp_hashnode *node = token.val.node;
-
-      /* In Objective C, some keywords begin with '@', but general
-        identifiers do not, and you're not allowed to #define them.  */
-      if (node == pfile->spec_nodes.n_defined || node->name[0] == '@')
-       cpp_error (pfile, "\"%s\" cannot be used as a macro name", node->name);
-      else if (!(node->flags & NODE_POISONED))
-       return node;
+      cpp_error (pfile, "\"%s\" cannot be used as a macro name",
+                NODE_NAME (node));
+      return 0;
     }
 
-  return 0;
+  return node;
 }
 
 /* Process a #define directive.  Most work is done in cppmacro.c.  */
@@ -469,15 +471,9 @@ do_define (pfile)
 
   if (node)
     {
-      /* Use the permanent pool for storage.  */
-      pfile->string_pool = &pfile->ident_pool;
-
       if (_cpp_create_definition (pfile, node))
        if (pfile->cb.define)
-         (*pfile->cb.define) (pfile, node);
-
-      /* Revert to the temporary pool.  */
-      pfile->string_pool = &pfile->temp_string_pool;
+         (*pfile->cb.define) (pfile, pfile->directive_line, node);
     }
 }
 
@@ -493,10 +489,10 @@ do_undef (pfile)
   if (node && node->type == NT_MACRO)
     {
       if (pfile->cb.undef)
-       (*pfile->cb.undef) (pfile, node);
+       (*pfile->cb.undef) (pfile, pfile->directive_line, node);
 
-      if (node->flags & NODE_BUILTIN)
-       cpp_warning (pfile, "undefining \"%s\"", node->name);
+      if (node->flags & NODE_WARN)
+       cpp_warning (pfile, "undefining \"%s\"", NODE_NAME (node));
 
       _cpp_free_definition (node);
     }
@@ -543,8 +539,9 @@ glue_header_name (pfile, header)
     cpp_error (pfile, "missing terminating > character");
   else
     {
-      token_mem = _cpp_pool_alloc (pfile->string_pool, total_len);
+      token_mem = _cpp_pool_alloc (&pfile->ident_pool, total_len + 1);
       memcpy (token_mem, buffer, total_len);
+      token_mem[total_len] = '\0';
 
       header->type = CPP_HEADER_NAME;
       header->flags &= ~PREV_WHITE;
@@ -563,10 +560,9 @@ parse_include (pfile, header)
      cpp_reader *pfile;
      cpp_token *header;
 {
-  int is_pragma = pfile->directive == &dtable[T_PRAGMA];
   const unsigned char *dir;
 
-  if (is_pragma)
+  if (pfile->directive == &dtable[T_PRAGMA])
     dir = U"pragma dependency";
   else
     dir = pfile->directive->name;
@@ -590,53 +586,69 @@ parse_include (pfile, header)
       return 1;
     }
 
-  if (!is_pragma)
-    {
-      check_eol (pfile);
-      /* Get out of macro context, if we are.  */
-      skip_rest_of_line (pfile);
-      if (pfile->cb.include)
-       (*pfile->cb.include) (pfile, dir, header);
-    }
-
   return 0;
 }
 
+/* Handle #include, #include_next and #import.  */
 static void
-do_include (pfile)
+do_include_common (pfile, type)
      cpp_reader *pfile;
+     enum include_type type;
 {
   cpp_token header;
 
+  /* For #include_next, if this is the primary source file, warn and
+     use the normal search logic.  */
+  if (type == IT_INCLUDE_NEXT && ! pfile->buffer->prev)
+    {
+      cpp_warning (pfile, "#include_next in primary source file");
+      type = IT_INCLUDE;
+    }
+  else if (type == IT_IMPORT && CPP_OPTION (pfile, warn_import))
+    {
+      CPP_OPTION (pfile, warn_import) = 0;
+      cpp_warning (pfile,
+          "#import is obsolete, use an #ifndef wrapper in the header file");
+    }
+
   if (!parse_include (pfile, &header))
-    _cpp_execute_include (pfile, &header, 0, 0);
+    {
+      /* Prevent #include recursion.  */
+      if (pfile->buffer_stack_depth >= CPP_STACK_MAX)
+       cpp_fatal (pfile, "#include nested too deeply");
+      else
+       {
+         check_eol (pfile);
+         /* Get out of macro context, if we are.  */
+         end_directive (pfile, 1);
+         if (pfile->cb.include)
+           (*pfile->cb.include) (pfile, pfile->directive_line,
+                                 pfile->directive->name, &header);
+
+         _cpp_execute_include (pfile, &header, type);
+       }
+    }
 }
 
 static void
-do_import (pfile)
+do_include (pfile)
      cpp_reader *pfile;
 {
-  cpp_token header;
-
-  if (!pfile->import_warning && CPP_OPTION (pfile, warn_import))
-    {
-      pfile->import_warning = 1;
-      cpp_warning (pfile,
-          "#import is obsolete, use an #ifndef wrapper in the header file");
-    }
+  do_include_common (pfile, IT_INCLUDE);
+}
 
-  if (!parse_include (pfile, &header))
-    _cpp_execute_include (pfile, &header, 1, 0);
+static void
+do_import (pfile)
+     cpp_reader *pfile;
+{
+  do_include_common (pfile, IT_IMPORT);
 }
 
 static void
 do_include_next (pfile)
      cpp_reader *pfile;
 {
-  cpp_token header;
-
-  if (!parse_include (pfile, &header))
-    _cpp_execute_include (pfile, &header, 0, 1);
+  do_include_common (pfile, IT_INCLUDE_NEXT);
 }
 
 /* Subroutine of do_line.  Read possible flags after file name.  LAST
@@ -699,11 +711,9 @@ do_line (pfile)
      cpp_reader *pfile;
 {
   cpp_buffer *buffer = pfile->buffer;
-  const char *filename = buffer->nominal_fname;
-  unsigned int lineno = buffer->lineno;
-  enum cpp_fc_reason reason = FC_RENAME;
+  enum lc_reason reason = LC_RENAME;
   unsigned long new_lineno;
-  unsigned int cap;
+  unsigned int cap, sysp = pfile->map->sysp;
   cpp_token token;
 
   /* C99 raised the minimum limit on #line numbers.  */
@@ -719,39 +729,32 @@ do_line (pfile)
       return;
     }      
 
-  if (CPP_PEDANTIC (pfile) && (new_lineno == 0 || new_lineno > cap))
+  if (CPP_PEDANTIC (pfile) && ! pfile->state.line_extension
+      && (new_lineno == 0 || new_lineno > cap))
     cpp_pedwarn (pfile, "line number out of range");
 
   cpp_get_token (pfile, &token);
   if (token.type == CPP_STRING)
     {
-      char *fname;
-      unsigned int len;
-
-      /* FIXME: memory leak.  */
-      len = token.val.str.len;
-      fname = xmalloc (len + 1);
-      memcpy (fname, token.val.str.text, len);
-      fname[len] = '\0';
-    
-      _cpp_simplify_pathname (fname);
-      buffer->nominal_fname = fname;
-
-      if (! pfile->state.line_extension)
-       check_eol (pfile);
-      else
+      buffer->nominal_fname = (const char *) token.val.str.text;
+
+      /* Only accept flags for the # 55 form.  */
+      if (pfile->state.line_extension)
        {
-         int flag = 0, sysp = 0;
+         int flag;
 
-         flag = read_flag (pfile, flag);
+         sysp = 0;
+         flag = read_flag (pfile, 0);
          if (flag == 1)
            {
-             reason = FC_ENTER;
+             reason = LC_ENTER;
+             /* Fake an include for cpp_included ().  */
+             _cpp_fake_include (pfile, buffer->nominal_fname);
              flag = read_flag (pfile, flag);
            }
          else if (flag == 2)
            {
-             reason = FC_LEAVE;
+             reason = LC_LEAVE;
              flag = read_flag (pfile, flag);
            }
          if (flag == 3)
@@ -759,11 +762,10 @@ do_line (pfile)
              sysp = 1;
              flag = read_flag (pfile, flag);
              if (flag == 4)
-               sysp = 2, read_flag (pfile, flag);
+               sysp = 2;
            }
-
-         cpp_make_system_header (pfile, sysp, sysp == 2);
        }
+      check_eol (pfile);
     }
   else if (token.type != CPP_EOF)
     {
@@ -772,34 +774,28 @@ do_line (pfile)
       return;
     }
 
-  /* Our line number is incremented after the directive is processed.  */
-  buffer->lineno = new_lineno - 1;
-  _cpp_do_file_change (pfile, reason, filename, lineno);
+  end_directive (pfile, 1);
+  _cpp_do_file_change (pfile, reason, (const char *) buffer->nominal_fname,
+                      new_lineno, sysp);
 }
 
-/* Arrange the file_change callback.  The assumption is that the
-   current buffer's lineno is one less than the next line.  */
+/* Arrange the file_change callback.  pfile->line has changed to
+   FILE_LINE of TO_FILE, for reason REASON.  SYSP is 1 for a system
+   header, 2 for a sytem header that needs to be extern "C" protected,
+   and zero otherwise.  */
 void
-_cpp_do_file_change (pfile, reason, from_file, from_lineno)
+_cpp_do_file_change (pfile, reason, to_file, file_line, sysp)
      cpp_reader *pfile;
-     enum cpp_fc_reason reason;
-     const char *from_file;
-     unsigned int from_lineno;
+     enum lc_reason reason;
+     const char *to_file;
+     unsigned int file_line;
+     unsigned int sysp;
 {
-  if (pfile->cb.change_file)
-    {
-      cpp_file_change fc;
-      cpp_buffer *buffer = pfile->buffer;
-
-      fc.reason = reason;
-      fc.from.filename = from_file;
-      fc.from.lineno = from_lineno;
-      fc.to.filename = buffer->nominal_fname;
-      fc.to.lineno = buffer->lineno + 1;
-      fc.sysp = buffer->sysp;
-      fc.externc = CPP_OPTION (pfile, cplusplus) && buffer->sysp == 2;
-      pfile->cb.change_file (pfile, &fc);
-    }
+  pfile->map = add_line_map (&pfile->line_maps, reason, sysp,
+                            pfile->line, to_file, file_line);
+
+  if (pfile->cb.file_change)
+    (*pfile->cb.file_change) (pfile, pfile->map);
 }
 
 /*
@@ -834,7 +830,8 @@ static void
 do_warning (pfile)
      cpp_reader *pfile;
 {
-  do_diagnostic (pfile, WARNING, 1);
+  /* We want #warning diagnostics to be emitted in system headers too.  */
+  do_diagnostic (pfile, WARNING_SYSHDR, 1);
 }
 
 /* Report program identification.  */
@@ -849,7 +846,7 @@ do_ident (pfile)
   if (str.type != CPP_STRING)
     cpp_error (pfile, "invalid #ident");
   else if (pfile->cb.ident)
-    (*pfile->cb.ident) (pfile, &str.val.str);
+    (*pfile->cb.ident) (pfile, pfile->directive_line, &str.val.str);
 
   check_eol (pfile);
 }
@@ -861,7 +858,8 @@ do_ident (pfile)
    This implementation never macro-expands the text after #pragma.  */
 
 /* Sub-handlers for the pragmas needing treatment here.
-   They return 1 if the token buffer is to be popped, 0 if not. */
+   They return 1 if the token buffer is to be popped, 0 if not.  */
+typedef void (*pragma_cb) PARAMS ((cpp_reader *));
 struct pragma_entry
 {
   struct pragma_entry *next;
@@ -869,7 +867,7 @@ struct pragma_entry
   size_t len;
   int isnspace;
   union {
-    void (*handler) PARAMS ((cpp_reader *));
+    pragma_cb handler;
     struct pragma_entry *space;
   } u;
 };
@@ -879,7 +877,7 @@ cpp_register_pragma (pfile, space, name, handler)
      cpp_reader *pfile;
      const char *space;
      const char *name;
-     void (*handler) PARAMS ((cpp_reader *));
+     pragma_cb handler;
 {
   struct pragma_entry **x, *new;
   size_t len;
@@ -961,12 +959,9 @@ static void
 do_pragma (pfile)
      cpp_reader *pfile;
 {
+  pragma_cb handler = NULL;
   const struct pragma_entry *p;
   cpp_token tok;
-  const cpp_hashnode *node;
-  const U_CHAR *name;
-  size_t len;
-  int drop = 0;
 
   p = pfile->pragmas;
   pfile->state.prevent_expansion++;
@@ -976,12 +971,13 @@ do_pragma (pfile)
   cpp_get_token (pfile, &tok);
   if (tok.type == CPP_NAME)
     {
-      node = tok.val.node;
-      name = node->name;
-      len = node->length;
+      const cpp_hashnode *node = tok.val.node;
+      size_t len = NODE_LEN (node);
+
       while (p)
        {
-         if (strlen (p->name) == len && !memcmp (p->name, name, len))
+         if (strlen (p->name) == len
+             && !memcmp (p->name, NODE_NAME (node), len))
            {
              if (p->isnspace)
                {
@@ -990,8 +986,7 @@ do_pragma (pfile)
                }
              else
                {
-                 (*p->u.handler) (pfile);
-                 drop = 1;
+                 handler = p->u.handler;
                  break;
                }
            }
@@ -999,11 +994,13 @@ do_pragma (pfile)
        }
     }
 
-  cpp_stop_lookahead (pfile, drop);
+  cpp_stop_lookahead (pfile, handler != NULL);
   pfile->state.prevent_expansion--;
 
-  if (!drop && pfile->cb.def_pragma)
-    (*pfile->cb.def_pragma) (pfile);
+  if (handler)
+    (*handler) (pfile);
+  else if (pfile->cb.def_pragma)
+    (*pfile->cb.def_pragma) (pfile, pfile->directive_line);
 }
 
 static void
@@ -1046,16 +1043,11 @@ do_pragma_poison (pfile)
        continue;
 
       if (hp->type == NT_MACRO)
-       cpp_warning (pfile, "poisoning existing macro \"%s\"", hp->name);
+       cpp_warning (pfile, "poisoning existing macro \"%s\"", NODE_NAME (hp));
       _cpp_free_definition (hp);
       hp->flags |= NODE_POISONED | NODE_DIAGNOSTIC;
     }
   pfile->state.poisoned_ok = 0;
-
-#if 0                          /* Doesn't quite work yet.  */
-  if (tok.type == CPP_EOF && pfile->cb.poison)
-    (*pfile->cb.poison) (pfile);
-#endif
 }
 
 /* Mark the current header as a system header.  This will suppress
@@ -1073,9 +1065,11 @@ do_pragma_system_header (pfile)
   if (buffer->prev == 0)
     cpp_warning (pfile, "#pragma system_header ignored outside include file");
   else
-    cpp_make_system_header (pfile, 1, 0);
-
-  check_eol (pfile);
+    {
+      check_eol (pfile);
+      end_directive (pfile, 1);
+      cpp_make_system_header (pfile, 1, 0);
+    }
 }
 
 /* Check the modified date of the current include file against a specified
@@ -1157,16 +1151,19 @@ _cpp_do__Pragma (pfile)
   cpp_token string;
   unsigned char *buffer;
   unsigned int len;
+  cpp_lexer_pos orig_pos;
 
+  orig_pos = pfile->lexer_pos;
   if (get__Pragma_string (pfile, &string))
+    cpp_error (pfile, "_Pragma takes a parenthesized string literal");
+  else
     {
-      cpp_error (pfile, "_Pragma takes a parenthesized string literal");
-      return;
+      buffer = destringize (&string.val.str, &len);
+      run_directive (pfile, T_PRAGMA, BUF_PRAGMA, (char *) buffer, len);
+      free ((PTR) buffer);
+      pfile->lexer_pos = orig_pos;
+      pfile->line = pfile->lexer_pos.line;
     }
-
-  buffer = destringize (&string.val.str, &len);
-  run_directive (pfile, T_PRAGMA, (char *) buffer, len, _("<_Pragma>"));
-  free ((PTR) buffer);
 }
 
 /* Just ignore #sccs, on systems where we define it at all.  */
@@ -1184,7 +1181,7 @@ do_ifdef (pfile)
 {
   int skip = 1;
 
-  if (! pfile->buffer->was_skipping)
+  if (! pfile->state.skipping)
     {
       const cpp_hashnode *node = lex_macro_node (pfile);
 
@@ -1205,7 +1202,7 @@ do_ifndef (pfile)
   int skip = 1;
   const cpp_hashnode *node = 0;
 
-  if (! pfile->buffer->was_skipping)
+  if (! pfile->state.skipping)
     {
       node = lex_macro_node (pfile);
       if (node)
@@ -1218,27 +1215,22 @@ do_ifndef (pfile)
   push_conditional (pfile, skip, T_IFNDEF, node);
 }
 
-/* #if cooperates with parse_defined to handle multiple-include
-   optimisations.  If macro expansions or identifiers appear in the
-   expression, we cannot treat it as a controlling conditional, since
-   their values could change in the future.  */
+/* _cpp_parse_expr puts a macro in a "#if !defined ()" expression in
+   pfile->mi_ind_cmacro so we can handle multiple-include
+   optimisations.  If macro expansion occurs in the expression, we
+   cannot treat it as a controlling conditional, since the expansion
+   could change in the future.  That is handled by cpp_get_token.  */
 
 static void
 do_if (pfile)
      cpp_reader *pfile;
 {
   int skip = 1;
-  const cpp_hashnode *cmacro = 0;
 
-  if (! pfile->buffer->was_skipping)
-    {
-      /* Controlling macro of #if ! defined ()  */
-      pfile->mi_ind_cmacro = 0;
-      skip = _cpp_parse_expr (pfile) == 0;
-      cmacro = pfile->mi_ind_cmacro;
-    }
+  if (! pfile->state.skipping)
+    skip = _cpp_parse_expr (pfile) == 0;
 
-  push_conditional (pfile, skip, T_IF, cmacro);
+  push_conditional (pfile, skip, T_IF, pfile->mi_ind_cmacro);
 }
 
 /* Flip skipping state if appropriate and continue without changing
@@ -1264,16 +1256,17 @@ do_else (pfile)
        }
       ifs->type = T_ELSE;
 
-      /* Buffer->was_skipping is 1 if all conditionals in this chain
-        have been false, 2 if a conditional has been true.  */
-      if (! ifs->was_skipping && buffer->was_skipping != 2)
-       buffer->was_skipping = ! buffer->was_skipping;
+      /* Skip any future (erroneous) #elses or #elifs.  */
+      pfile->state.skipping = ifs->skip_elses;
+      ifs->skip_elses = true;
 
       /* Invalidate any controlling macro.  */
       ifs->mi_cmacro = 0;
-    }
 
-  check_eol (pfile);
+      /* Only check EOL if was not originally skipping.  */
+      if (!ifs->was_skipping)
+       check_eol (pfile);
+    }
 }
 
 /* handle a #elif directive by not changing if_stack either.  see the
@@ -1298,23 +1291,23 @@ do_elif (pfile)
        }
       ifs->type = T_ELIF;
 
-      /* Don't evaluate #elif if our higher level is skipping.  */
-      if (! ifs->was_skipping)
+      /* Only evaluate this if we aren't skipping elses.  During
+        evaluation, set skipping to false to get lexer warnings.  */
+      if (ifs->skip_elses)
+       pfile->state.skipping = 1;
+      else
        {
-         /* Buffer->was_skipping is 1 if all conditionals in this
-            chain have been false, 2 if a conditional has been true.  */
-         if (buffer->was_skipping == 1)
-           buffer->was_skipping = ! _cpp_parse_expr (pfile);
-         else
-           buffer->was_skipping = 2;
-
-         /* Invalidate any controlling macro.  */
-         ifs->mi_cmacro = 0;
+         pfile->state.skipping = 0;
+         pfile->state.skipping = ! _cpp_parse_expr (pfile);
+         ifs->skip_elses = ! pfile->state.skipping;
        }
+
+      /* Invalidate any controlling macro.  */
+      ifs->mi_cmacro = 0;
     }
 }
 
-/* #endif pops the if stack and resets pfile->skipping.  */
+/* #endif pops the if stack and resets pfile->state.skipping.  */
 
 static void
 do_endif (pfile)
@@ -1327,24 +1320,26 @@ do_endif (pfile)
     cpp_error (pfile, "#endif without #if");
   else
     {
+      /* Only check EOL if was not originally skipping.  */
+      if (!ifs->was_skipping)
+       check_eol (pfile);
+
       /* If potential control macro, we go back outside again.  */
       if (ifs->next == 0 && ifs->mi_cmacro)
        {
-         pfile->mi_state = MI_OUTSIDE;
+         pfile->mi_valid = true;
          pfile->mi_cmacro = ifs->mi_cmacro;
        }
 
       buffer->if_stack = ifs->next;
-      buffer->was_skipping = ifs->was_skipping;
-      obstack_free (pfile->buffer_ob, ifs);
+      pfile->state.skipping = ifs->was_skipping;
+      obstack_free (&pfile->buffer_ob, ifs);
     }
-
-  check_eol (pfile);
 }
 
-/* Push an if_stack entry and set pfile->skipping accordingly.
-   If this is a #ifndef starting at the beginning of a file,
-   CMACRO is the macro name tested by the #ifndef.  */
+/* Push an if_stack entry and set pfile->state.skipping accordingly.
+   If this is a #if or #ifndef, CMACRO is a potentially controlling
+   macro - we need to check here that we are at the top of the file.  */
 
 static void
 push_conditional (pfile, skip, type, cmacro)
@@ -1356,17 +1351,19 @@ push_conditional (pfile, skip, type, cmacro)
   struct if_stack *ifs;
   cpp_buffer *buffer = pfile->buffer;
 
-  ifs = xobnew (pfile->buffer_ob, struct if_stack);
+  ifs = xobnew (&pfile->buffer_ob, struct if_stack);
   ifs->pos = pfile->directive_pos;
   ifs->next = buffer->if_stack;
-  ifs->was_skipping = buffer->was_skipping;
+  ifs->skip_elses = pfile->state.skipping || !skip;
+  ifs->was_skipping = pfile->state.skipping;
   ifs->type = type;
-  if (pfile->mi_state == MI_OUTSIDE && pfile->mi_cmacro == 0)
+  /* This condition is effectively a test for top-of-file.  */
+  if (pfile->mi_valid && pfile->mi_cmacro == 0)
     ifs->mi_cmacro = cmacro;
   else
     ifs->mi_cmacro = 0;
 
-  buffer->was_skipping = skip;
+  pfile->state.skipping = skip;
   buffer->if_stack = ifs;
 }
 
@@ -1466,9 +1463,6 @@ parse_assertion (pfile, answerp, type)
   /* We don't expand predicates or answers.  */
   pfile->state.prevent_expansion++;
 
-  /* Use the permanent pool for storage (for the answers).  */
-  pfile->string_pool = &pfile->ident_pool;
-
   *answerp = 0;
   cpp_get_token (pfile, &predicate);
   if (predicate.type == CPP_EOF)
@@ -1477,16 +1471,15 @@ parse_assertion (pfile, answerp, type)
     cpp_error (pfile, "predicate must be an identifier");
   else if (parse_answer (pfile, answerp, type) == 0)
     {
-      unsigned int len = predicate.val.node->length;
+      unsigned int len = NODE_LEN (predicate.val.node);
       unsigned char *sym = alloca (len + 1);
 
       /* Prefix '#' to get it out of macro namespace.  */
       sym[0] = '#';
-      memcpy (sym + 1, predicate.val.node->name, len);
+      memcpy (sym + 1, NODE_NAME (predicate.val.node), len);
       result = cpp_lookup (pfile, sym, len + 1);
     }
 
-  pfile->string_pool = &pfile->temp_string_pool;
   pfile->state.prevent_expansion--;
   return result;
 }
@@ -1556,7 +1549,7 @@ do_assert (pfile)
        {
          if (*find_answer (node, new_answer))
            {
-             cpp_warning (pfile, "\"%s\" re-asserted", node->name + 1);
+             cpp_warning (pfile, "\"%s\" re-asserted", NODE_NAME (node) + 1);
              return;
            }
          new_answer->next = node->value.answers;
@@ -1605,7 +1598,7 @@ do_unassert (pfile)
 /* Process the string STR as if it appeared as the body of a #define.
    If STR is just an identifier, define it with value 1.
    If STR has anything after the identifier, then it should
-   be identifier=definition. */
+   be identifier=definition.  */
 
 void
 cpp_define (pfile, str)
@@ -1633,18 +1626,16 @@ cpp_define (pfile, str)
       buf[count++] = '1';
     }
 
-  run_directive (pfile, T_DEFINE, buf, count, 0);
+  run_directive (pfile, T_DEFINE, BUF_CL_OPTION, buf, count);
 }
 
-/* Slight variant of the above for use by initialize_builtins, which (a)
-   knows how to set up the buffer itself, (b) needs a different "filename"
-   tag.  */
+/* Slight variant of the above for use by initialize_builtins.  */
 void
 _cpp_define_builtin (pfile, str)
      cpp_reader *pfile;
      const char *str;
 {
-  run_directive (pfile, T_DEFINE, str, strlen (str), _("<builtin>"));
+  run_directive (pfile, T_DEFINE, BUF_BUILTIN, str, strlen (str));
 }
 
 /* Process MACRO as if it appeared as the body of an #undef.  */
@@ -1653,10 +1644,10 @@ cpp_undef (pfile, macro)
      cpp_reader *pfile;
      const char *macro;
 {
-  run_directive (pfile, T_UNDEF, macro, strlen (macro), 0);
+  run_directive (pfile, T_UNDEF, BUF_CL_OPTION, macro, strlen (macro));
 }
 
-/* Process the string STR as if it appeared as the body of a #assert. */
+/* Process the string STR as if it appeared as the body of a #assert.  */
 void
 cpp_assert (pfile, str)
      cpp_reader *pfile;
@@ -1665,7 +1656,7 @@ cpp_assert (pfile, str)
   handle_assertion (pfile, str, T_ASSERT);
 }
 
-/* Process STR as if it appeared as the body of an #unassert. */
+/* Process STR as if it appeared as the body of an #unassert.  */
 void
 cpp_unassert (pfile, str)
      cpp_reader *pfile;
@@ -1696,49 +1687,109 @@ handle_assertion (pfile, str, type)
       str = buf;
     }
 
-  run_directive (pfile, type, str, count, 0);
+  run_directive (pfile, type, BUF_CL_OPTION, str, count);
+}
+
+/* The number of errors for a given reader.  */
+unsigned int
+cpp_errors (pfile)
+     cpp_reader *pfile;
+{
+  return pfile->errors;
 }
 
-/* Push a new buffer on the buffer stack.  Buffer can be NULL, but
-   then LEN should be 0.  Returns the new buffer; it doesn't fail.  */
+/* The options structure.  */
+cpp_options *
+cpp_get_options (pfile)
+     cpp_reader *pfile;
+{
+  return &pfile->opts;
+}
 
+/* The callbacks structure.  */
+cpp_callbacks *
+cpp_get_callbacks (pfile)
+     cpp_reader *pfile;
+{
+  return &pfile->cb;
+}
+
+/* The line map set.  */
+const struct line_maps *
+cpp_get_line_maps (pfile)
+     cpp_reader *pfile;
+{
+  return &pfile->line_maps;
+}
+
+/* Copy the given callbacks structure to our own.  */
+void
+cpp_set_callbacks (pfile, cb)
+     cpp_reader *pfile;
+     cpp_callbacks *cb;
+{
+  pfile->cb = *cb;
+}
+
+/* Push a new buffer on the buffer stack.  Returns the new buffer; it
+   doesn't fail.  It does not generate a file change call back; that
+   is the responsibility of the caller.  */
 cpp_buffer *
-cpp_push_buffer (pfile, buffer, len)
+cpp_push_buffer (pfile, buffer, len, type, filename, return_at_eof)
      cpp_reader *pfile;
      const U_CHAR *buffer;
      size_t len;
+     enum cpp_buffer_type type;
+     const char *filename;
+     int return_at_eof;
 {
-  cpp_buffer *new = xobnew (pfile->buffer_ob, cpp_buffer);
+  cpp_buffer *new = xobnew (&pfile->buffer_ob, cpp_buffer);
+
+  if (type == BUF_BUILTIN)
+    filename = _("<builtin>");
+  else if (type == BUF_CL_OPTION)
+    filename = _("<command line>");
+  else if (type == BUF_PRAGMA)
+    filename = "<_Pragma>";
 
   /* Clears, amongst other things, if_stack and mi_cmacro.  */
   memset (new, 0, sizeof (cpp_buffer));
+
   new->line_base = new->buf = new->cur = buffer;
   new->rlimit = buffer + len;
-  new->prev = pfile->buffer;
-  new->pfile = pfile;
-  /* Preprocessed files don't do trigraph and escaped newline processing.  */
-  new->from_stage3 = CPP_OPTION (pfile, preprocessed);
+
   /* No read ahead or extra char initially.  */
   new->read_ahead = EOF;
   new->extra_char = EOF;
 
-  pfile->state.next_bol = 1;
-  pfile->buffer_stack_depth++;
-  pfile->lexer_pos.output_line = 1;
+  /* Preprocessed files, builtins, _Pragma and command line
+     options don't do trigraph and escaped newline processing.  */
+  new->from_stage3 = type != BUF_FILE || CPP_OPTION (pfile, preprocessed);
+
+  if (*filename == '\0')
+    new->nominal_fname = _("<stdin>");
+  else
+    new->nominal_fname = filename;
+  new->type = type;
+  new->prev = pfile->buffer;
+  new->pfile = pfile;
+  new->return_at_eof = return_at_eof;
 
+  pfile->buffer_stack_depth++;
   pfile->buffer = new;
+
   return new;
 }
 
-cpp_buffer *
-cpp_pop_buffer (pfile)
+/* If called from do_line, pops a single buffer.  Otherwise pops all
+   buffers until a real file is reached.  Generates appropriate
+   call-backs.  */
+void
+_cpp_pop_buffer (pfile)
      cpp_reader *pfile;
 {
   cpp_buffer *buffer = pfile->buffer;
-  const char *filename = buffer->nominal_fname;
-  unsigned int lineno = buffer->lineno;
-  struct if_stack *ifs = buffer->if_stack;
-  int wfb = (buffer->inc != 0);
+  struct if_stack *ifs;
 
   /* Walk back up the conditional stack till we reach its level at
      entry to this file, issuing error messages.  */
@@ -1746,43 +1797,40 @@ cpp_pop_buffer (pfile)
     cpp_error_with_line (pfile, ifs->pos.line, ifs->pos.col,
                         "unterminated #%s", dtable[ifs->type].name);
 
-  if (wfb)
-    _cpp_pop_file_buffer (pfile, buffer);
-
+  /* Update the reader's buffer before _cpp_do_file_change.  */
   pfile->buffer = buffer->prev;
-  obstack_free (pfile->buffer_ob, buffer);
   pfile->buffer_stack_depth--;
 
-  if (pfile->buffer && wfb)
-    _cpp_do_file_change (pfile, FC_LEAVE, filename, lineno);
-  
-  return pfile->buffer;
+  if (buffer->type == BUF_FILE)
+    {
+      /* Callbacks are not generated for popping the main file.  */
+      if (buffer->prev)
+       _cpp_do_file_change (pfile, LC_LEAVE, 0, 0, 0);
+
+      _cpp_pop_file_buffer (pfile, buffer);
+    }
+
+  obstack_free (&pfile->buffer_ob, buffer);
+
+  /* The output line can fall out of sync if we missed the final
+     newline from the previous buffer, for example because of an
+     unterminated comment.  Similarly, skipping needs to be cleared in
+     case of a missing #endif.  */
+  pfile->lexer_pos.output_line = pfile->line;
+  pfile->state.skipping = 0;
 }
 
-#define obstack_chunk_alloc xmalloc
-#define obstack_chunk_free free
 void
-_cpp_init_stacks (pfile)
+_cpp_init_directives (pfile)
      cpp_reader *pfile;
 {
-  int i;
+  unsigned int i;
   cpp_hashnode *node;
 
-  pfile->buffer_ob = xnew (struct obstack);
-  obstack_init (pfile->buffer_ob);
-
   /* Register the directives.  */
-  for (i = 1; i < N_DIRECTIVES; i++)
+  for (i = 0; i < (unsigned int) N_DIRECTIVES; i++)
     {
-      node = cpp_lookup (pfile, dtable[i - 1].name, dtable[i - 1].length);
-      node->directive_index = i;
+      node = cpp_lookup (pfile, dtable[i].name, dtable[i].length);
+      node->directive_index = i + 1;
     }
 }
-
-void
-_cpp_cleanup_stacks (pfile)
-     cpp_reader *pfile;
-{
-  obstack_free (pfile->buffer_ob, 0);
-  free (pfile->buffer_ob);
-}