OSDN Git Service

gcc/testsuite:
[pf3gnuchains/gcc-fork.git] / libcpp / include / cpplib.h
1 /* Definitions for CPP library.
2    Copyright (C) 1995, 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
3    2004, 2005, 2007, 2008, 2009, 2010, 2011
4    Free Software Foundation, Inc.
5    Written by Per Bothner, 1994-95.
6
7 This program is free software; you can redistribute it and/or modify it
8 under the terms of the GNU General Public License as published by the
9 Free Software Foundation; either version 3, or (at your option) any
10 later version.
11
12 This program is distributed in the hope that it will be useful,
13 but WITHOUT ANY WARRANTY; without even the implied warranty of
14 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 GNU General Public License for more details.
16
17 You should have received a copy of the GNU General Public License
18 along with this program; see the file COPYING3.  If not see
19 <http://www.gnu.org/licenses/>.
20
21  In other words, you are welcome to use, share and improve this program.
22  You are forbidden to forbid anyone else to use, share and improve
23  what you give them.   Help stamp out software-hoarding!  */
24 #ifndef LIBCPP_CPPLIB_H
25 #define LIBCPP_CPPLIB_H
26
27 #include <sys/types.h>
28 #include "symtab.h"
29 #include "line-map.h"
30
31 typedef struct cpp_reader cpp_reader;
32 typedef struct cpp_buffer cpp_buffer;
33 typedef struct cpp_options cpp_options;
34 typedef struct cpp_token cpp_token;
35 typedef struct cpp_string cpp_string;
36 typedef struct cpp_hashnode cpp_hashnode;
37 typedef struct cpp_macro cpp_macro;
38 typedef struct cpp_callbacks cpp_callbacks;
39 typedef struct cpp_dir cpp_dir;
40
41 struct answer;
42 struct _cpp_file;
43
44 /* The first three groups, apart from '=', can appear in preprocessor
45    expressions (+= and -= are used to indicate unary + and - resp.).
46    This allows a lookup table to be implemented in _cpp_parse_expr.
47
48    The first group, to CPP_LAST_EQ, can be immediately followed by an
49    '='.  The lexer needs operators ending in '=', like ">>=", to be in
50    the same order as their counterparts without the '=', like ">>".
51
52    See the cpp_operator table optab in expr.c if you change the order or
53    add or remove anything in the first group.  */
54
55 #define TTYPE_TABLE                                                     \
56   OP(EQ,                "=")                                            \
57   OP(NOT,               "!")                                            \
58   OP(GREATER,           ">")    /* compare */                           \
59   OP(LESS,              "<")                                            \
60   OP(PLUS,              "+")    /* math */                              \
61   OP(MINUS,             "-")                                            \
62   OP(MULT,              "*")                                            \
63   OP(DIV,               "/")                                            \
64   OP(MOD,               "%")                                            \
65   OP(AND,               "&")    /* bit ops */                           \
66   OP(OR,                "|")                                            \
67   OP(XOR,               "^")                                            \
68   OP(RSHIFT,            ">>")                                           \
69   OP(LSHIFT,            "<<")                                           \
70                                                                         \
71   OP(COMPL,             "~")                                            \
72   OP(AND_AND,           "&&")   /* logical */                           \
73   OP(OR_OR,             "||")                                           \
74   OP(QUERY,             "?")                                            \
75   OP(COLON,             ":")                                            \
76   OP(COMMA,             ",")    /* grouping */                          \
77   OP(OPEN_PAREN,        "(")                                            \
78   OP(CLOSE_PAREN,       ")")                                            \
79   TK(EOF,               NONE)                                           \
80   OP(EQ_EQ,             "==")   /* compare */                           \
81   OP(NOT_EQ,            "!=")                                           \
82   OP(GREATER_EQ,        ">=")                                           \
83   OP(LESS_EQ,           "<=")                                           \
84                                                                         \
85   /* These two are unary + / - in preprocessor expressions.  */         \
86   OP(PLUS_EQ,           "+=")   /* math */                              \
87   OP(MINUS_EQ,          "-=")                                           \
88                                                                         \
89   OP(MULT_EQ,           "*=")                                           \
90   OP(DIV_EQ,            "/=")                                           \
91   OP(MOD_EQ,            "%=")                                           \
92   OP(AND_EQ,            "&=")   /* bit ops */                           \
93   OP(OR_EQ,             "|=")                                           \
94   OP(XOR_EQ,            "^=")                                           \
95   OP(RSHIFT_EQ,         ">>=")                                          \
96   OP(LSHIFT_EQ,         "<<=")                                          \
97   /* Digraphs together, beginning with CPP_FIRST_DIGRAPH.  */           \
98   OP(HASH,              "#")    /* digraphs */                          \
99   OP(PASTE,             "##")                                           \
100   OP(OPEN_SQUARE,       "[")                                            \
101   OP(CLOSE_SQUARE,      "]")                                            \
102   OP(OPEN_BRACE,        "{")                                            \
103   OP(CLOSE_BRACE,       "}")                                            \
104   /* The remainder of the punctuation.  Order is not significant.  */   \
105   OP(SEMICOLON,         ";")    /* structure */                         \
106   OP(ELLIPSIS,          "...")                                          \
107   OP(PLUS_PLUS,         "++")   /* increment */                         \
108   OP(MINUS_MINUS,       "--")                                           \
109   OP(DEREF,             "->")   /* accessors */                         \
110   OP(DOT,               ".")                                            \
111   OP(SCOPE,             "::")                                           \
112   OP(DEREF_STAR,        "->*")                                          \
113   OP(DOT_STAR,          ".*")                                           \
114   OP(ATSIGN,            "@")  /* used in Objective-C */                 \
115                                                                         \
116   TK(NAME,              IDENT)   /* word */                             \
117   TK(AT_NAME,           IDENT)   /* @word - Objective-C */              \
118   TK(NUMBER,            LITERAL) /* 34_be+ta  */                        \
119                                                                         \
120   TK(CHAR,              LITERAL) /* 'char' */                           \
121   TK(WCHAR,             LITERAL) /* L'char' */                          \
122   TK(CHAR16,            LITERAL) /* u'char' */                          \
123   TK(CHAR32,            LITERAL) /* U'char' */                          \
124   TK(OTHER,             LITERAL) /* stray punctuation */                \
125                                                                         \
126   TK(STRING,            LITERAL) /* "string" */                         \
127   TK(WSTRING,           LITERAL) /* L"string" */                        \
128   TK(STRING16,          LITERAL) /* u"string" */                        \
129   TK(STRING32,          LITERAL) /* U"string" */                        \
130   TK(UTF8STRING,        LITERAL) /* u8"string" */                       \
131   TK(OBJC_STRING,       LITERAL) /* @"string" - Objective-C */          \
132   TK(HEADER_NAME,       LITERAL) /* <stdio.h> in #include */            \
133                                                                         \
134   TK(COMMENT,           LITERAL) /* Only if output comments.  */        \
135                                  /* SPELL_LITERAL happens to DTRT.  */  \
136   TK(MACRO_ARG,         NONE)    /* Macro argument.  */                 \
137   TK(PRAGMA,            NONE)    /* Only for deferred pragmas.  */      \
138   TK(PRAGMA_EOL,        NONE)    /* End-of-line for deferred pragmas.  */ \
139   TK(PADDING,           NONE)    /* Whitespace for -E.  */
140
141 #define OP(e, s) CPP_ ## e,
142 #define TK(e, s) CPP_ ## e,
143 enum cpp_ttype
144 {
145   TTYPE_TABLE
146   N_TTYPES,
147
148   /* Positions in the table.  */
149   CPP_LAST_EQ        = CPP_LSHIFT,
150   CPP_FIRST_DIGRAPH  = CPP_HASH,
151   CPP_LAST_PUNCTUATOR= CPP_ATSIGN,
152   CPP_LAST_CPP_OP    = CPP_LESS_EQ
153 };
154 #undef OP
155 #undef TK
156
157 /* C language kind, used when calling cpp_create_reader.  */
158 enum c_lang {CLK_GNUC89 = 0, CLK_GNUC99, CLK_GNUC1X,
159              CLK_STDC89, CLK_STDC94, CLK_STDC99, CLK_STDC1X,
160              CLK_GNUCXX, CLK_CXX98, CLK_GNUCXX0X, CLK_CXX0X, CLK_ASM};
161
162 /* Payload of a NUMBER, STRING, CHAR or COMMENT token.  */
163 struct GTY(()) cpp_string {
164   unsigned int len;
165   const unsigned char *text;
166 };
167
168 /* Flags for the cpp_token structure.  */
169 #define PREV_WHITE      (1 << 0) /* If whitespace before this token.  */
170 #define DIGRAPH         (1 << 1) /* If it was a digraph.  */
171 #define STRINGIFY_ARG   (1 << 2) /* If macro argument to be stringified.  */
172 #define PASTE_LEFT      (1 << 3) /* If on LHS of a ## operator.  */
173 #define NAMED_OP        (1 << 4) /* C++ named operators.  */
174 #define NO_EXPAND       (1 << 5) /* Do not macro-expand this token.  */
175 #define BOL             (1 << 6) /* Token at beginning of line.  */
176 #define PURE_ZERO       (1 << 7) /* Single 0 digit, used by the C++ frontend,
177                                     set in c-lex.c.  */
178 #define SP_DIGRAPH      (1 << 8) /* # or ## token was a digraph.  */
179 #define SP_PREV_WHITE   (1 << 9) /* If whitespace before a ##
180                                     operator, or before this token
181                                     after a # operator.  */
182
183 /* Specify which field, if any, of the cpp_token union is used.  */
184
185 enum cpp_token_fld_kind {
186   CPP_TOKEN_FLD_NODE,
187   CPP_TOKEN_FLD_SOURCE,
188   CPP_TOKEN_FLD_STR,
189   CPP_TOKEN_FLD_ARG_NO,
190   CPP_TOKEN_FLD_TOKEN_NO,
191   CPP_TOKEN_FLD_PRAGMA,
192   CPP_TOKEN_FLD_NONE
193 };
194
195 /* A macro argument in the cpp_token union.  */
196 struct GTY(()) cpp_macro_arg {
197   /* Argument number.  */
198   unsigned int arg_no;
199 };
200
201 /* An identifier in the cpp_token union.  */
202 struct GTY(()) cpp_identifier {
203   /* The canonical (UTF-8) spelling of the identifier.  */
204   cpp_hashnode *
205     GTY ((nested_ptr (union tree_node,
206                 "%h ? CPP_HASHNODE (GCC_IDENT_TO_HT_IDENT (%h)) : NULL",
207                         "%h ? HT_IDENT_TO_GCC_IDENT (HT_NODE (%h)) : NULL")))
208        node;
209 };
210
211 /* A preprocessing token.  This has been carefully packed and should
212    occupy 16 bytes on 32-bit hosts and 24 bytes on 64-bit hosts.  */
213 struct GTY(()) cpp_token {
214   source_location src_loc;      /* Location of first char of token.  */
215   ENUM_BITFIELD(cpp_ttype) type : CHAR_BIT;  /* token type */
216   unsigned short flags;         /* flags - see above */
217
218   union cpp_token_u
219   {
220     /* An identifier.  */
221     struct cpp_identifier GTY ((tag ("CPP_TOKEN_FLD_NODE"))) node;
222          
223     /* Inherit padding from this token.  */
224     cpp_token * GTY ((tag ("CPP_TOKEN_FLD_SOURCE"))) source;
225
226     /* A string, or number.  */
227     struct cpp_string GTY ((tag ("CPP_TOKEN_FLD_STR"))) str;
228
229     /* Argument no. for a CPP_MACRO_ARG.  */
230     struct cpp_macro_arg GTY ((tag ("CPP_TOKEN_FLD_ARG_NO"))) macro_arg;
231
232     /* Original token no. for a CPP_PASTE (from a sequence of
233        consecutive paste tokens in a macro expansion).  */
234     unsigned int GTY ((tag ("CPP_TOKEN_FLD_TOKEN_NO"))) token_no;
235
236     /* Caller-supplied identifier for a CPP_PRAGMA.  */
237     unsigned int GTY ((tag ("CPP_TOKEN_FLD_PRAGMA"))) pragma;
238   } GTY ((desc ("cpp_token_val_index (&%1)"))) val;
239 };
240
241 /* Say which field is in use.  */
242 extern enum cpp_token_fld_kind cpp_token_val_index (cpp_token *tok);
243
244 /* A type wide enough to hold any multibyte source character.
245    cpplib's character constant interpreter requires an unsigned type.
246    Also, a typedef for the signed equivalent.
247    The width of this type is capped at 32 bits; there do exist targets
248    where wchar_t is 64 bits, but only in a non-default mode, and there
249    would be no meaningful interpretation for a wchar_t value greater
250    than 2^32 anyway -- the widest wide-character encoding around is
251    ISO 10646, which stops at 2^31.  */
252 #if CHAR_BIT * SIZEOF_INT >= 32
253 # define CPPCHAR_SIGNED_T int
254 #elif CHAR_BIT * SIZEOF_LONG >= 32
255 # define CPPCHAR_SIGNED_T long
256 #else
257 # error "Cannot find a least-32-bit signed integer type"
258 #endif
259 typedef unsigned CPPCHAR_SIGNED_T cppchar_t;
260 typedef CPPCHAR_SIGNED_T cppchar_signed_t;
261
262 /* Style of header dependencies to generate.  */
263 enum cpp_deps_style { DEPS_NONE = 0, DEPS_USER, DEPS_SYSTEM };
264
265 /* The possible normalization levels, from most restrictive to least.  */
266 enum cpp_normalize_level {
267   /* In NFKC.  */
268   normalized_KC = 0,
269   /* In NFC.  */
270   normalized_C,
271   /* In NFC, except for subsequences where being in NFC would make
272      the identifier invalid.  */
273   normalized_identifier_C,
274   /* Not normalized at all.  */
275   normalized_none
276 };
277
278 /* This structure is nested inside struct cpp_reader, and
279    carries all the options visible to the command line.  */
280 struct cpp_options
281 {
282   /* Characters between tab stops.  */
283   unsigned int tabstop;
284
285   /* The language we're preprocessing.  */
286   enum c_lang lang;
287
288   /* Nonzero means use extra default include directories for C++.  */
289   unsigned char cplusplus;
290
291   /* Nonzero means handle cplusplus style comments.  */
292   unsigned char cplusplus_comments;
293
294   /* Nonzero means define __OBJC__, treat @ as a special token, use
295      the OBJC[PLUS]_INCLUDE_PATH environment variable, and allow
296      "#import".  */
297   unsigned char objc;
298
299   /* Nonzero means don't copy comments into the output file.  */
300   unsigned char discard_comments;
301
302   /* Nonzero means don't copy comments into the output file during
303      macro expansion.  */
304   unsigned char discard_comments_in_macro_exp;
305
306   /* Nonzero means process the ISO trigraph sequences.  */
307   unsigned char trigraphs;
308
309   /* Nonzero means process the ISO digraph sequences.  */
310   unsigned char digraphs;
311
312   /* Nonzero means to allow hexadecimal floats and LL suffixes.  */
313   unsigned char extended_numbers;
314
315   /* Nonzero means process u/U prefix literals (UTF-16/32).  */
316   unsigned char uliterals;
317
318   /* Nonzero means process r/R rax strings.  If this is set, uliterals
319      must be set as well.  */
320   unsigned char rliterals;
321
322   /* Nonzero means print names of header files (-H).  */
323   unsigned char print_include_names;
324
325   /* Nonzero means complain about deprecated features.  */
326   unsigned char cpp_warn_deprecated;
327
328   /* Nonzero means warn if slash-star appears in a comment.  */
329   unsigned char warn_comments;
330
331   /* Nonzero means warn if a user-supplied include directory does not
332      exist.  */
333   unsigned char warn_missing_include_dirs;
334
335   /* Nonzero means warn if there are any trigraphs.  */
336   unsigned char warn_trigraphs;
337
338   /* Nonzero means warn about multicharacter charconsts.  */
339   unsigned char warn_multichar;
340
341   /* Nonzero means warn about various incompatibilities with
342      traditional C.  */
343   unsigned char cpp_warn_traditional;
344
345   /* Nonzero means warn about long long numeric constants.  */
346   unsigned char cpp_warn_long_long;
347
348   /* Nonzero means warn about text after an #endif (or #else).  */
349   unsigned char warn_endif_labels;
350
351   /* Nonzero means warn about implicit sign changes owing to integer
352      promotions.  */
353   unsigned char warn_num_sign_change;
354
355   /* Zero means don't warn about __VA_ARGS__ usage in c89 pedantic mode.
356      Presumably the usage is protected by the appropriate #ifdef.  */
357   unsigned char warn_variadic_macros;
358
359   /* Nonzero means warn about builtin macros that are redefined or
360      explicitly undefined.  */
361   unsigned char warn_builtin_macro_redefined;
362
363   /* Nonzero means we should look for header.gcc files that remap file
364      names.  */
365   unsigned char remap;
366
367   /* Zero means dollar signs are punctuation.  */
368   unsigned char dollars_in_ident;
369
370   /* Nonzero means UCNs are accepted in identifiers.  */
371   unsigned char extended_identifiers;
372
373   /* True if we should warn about dollars in identifiers or numbers
374      for this translation unit.  */
375   unsigned char warn_dollars;
376
377   /* Nonzero means warn if undefined identifiers are evaluated in an #if.  */
378   unsigned char warn_undef;
379
380   /* Nonzero means warn of unused macros from the main file.  */
381   unsigned char warn_unused_macros;
382
383   /* Nonzero for the 1999 C Standard, including corrigenda and amendments.  */
384   unsigned char c99;
385
386   /* Nonzero if we are conforming to a specific C or C++ standard.  */
387   unsigned char std;
388
389   /* Nonzero means give all the error messages the ANSI standard requires.  */
390   unsigned char cpp_pedantic;
391
392   /* Nonzero means we're looking at already preprocessed code, so don't
393      bother trying to do macro expansion and whatnot.  */
394   unsigned char preprocessed;
395
396   /* Nonzero means handle C++ alternate operator names.  */
397   unsigned char operator_names;
398
399   /* Nonzero means warn about use of C++ alternate operator names.  */
400   unsigned char warn_cxx_operator_names;
401
402   /* True for traditional preprocessing.  */
403   unsigned char traditional;
404
405   /* Holds the name of the target (execution) character set.  */
406   const char *narrow_charset;
407
408   /* Holds the name of the target wide character set.  */
409   const char *wide_charset;
410
411   /* Holds the name of the input character set.  */
412   const char *input_charset;
413
414   /* The minimum permitted level of normalization before a warning
415      is generated.  */
416   enum cpp_normalize_level warn_normalize;
417
418   /* True to warn about precompiled header files we couldn't use.  */
419   bool warn_invalid_pch;
420
421   /* True if dependencies should be restored from a precompiled header.  */
422   bool restore_pch_deps;
423
424   /* Dependency generation.  */
425   struct
426   {
427     /* Style of header dependencies to generate.  */
428     enum cpp_deps_style style;
429
430     /* Assume missing files are generated files.  */
431     bool missing_files;
432
433     /* Generate phony targets for each dependency apart from the first
434        one.  */
435     bool phony_targets;
436
437     /* If true, no dependency is generated on the main file.  */
438     bool ignore_main_file;
439
440     /* If true, intend to use the preprocessor output (e.g., for compilation)
441        in addition to the dependency info.  */
442     bool need_preprocessor_output;
443   } deps;
444
445   /* Target-specific features set by the front end or client.  */
446
447   /* Precision for target CPP arithmetic, target characters, target
448      ints and target wide characters, respectively.  */
449   size_t precision, char_precision, int_precision, wchar_precision;
450
451   /* True means chars (wide chars) are unsigned.  */
452   bool unsigned_char, unsigned_wchar;
453
454   /* True if the most significant byte in a word has the lowest
455      address in memory.  */
456   bool bytes_big_endian;
457
458   /* Nonzero means __STDC__ should have the value 0 in system headers.  */
459   unsigned char stdc_0_in_system_headers;
460
461   /* True disables tokenization outside of preprocessing directives. */
462   bool directives_only;
463 };
464
465 /* Callback for header lookup for HEADER, which is the name of a
466    source file.  It is used as a method of last resort to find headers
467    that are not otherwise found during the normal include processing.
468    The return value is the malloced name of a header to try and open,
469    if any, or NULL otherwise.  This callback is called only if the
470    header is otherwise unfound.  */
471 typedef const char *(*missing_header_cb)(cpp_reader *, const char *header, cpp_dir **);
472
473 /* Call backs to cpplib client.  */
474 struct cpp_callbacks
475 {
476   /* Called when a new line of preprocessed output is started.  */
477   void (*line_change) (cpp_reader *, const cpp_token *, int);
478
479   /* Called when switching to/from a new file.
480      The line_map is for the new file.  It is NULL if there is no new file.
481      (In C this happens when done with <built-in>+<command line> and also
482      when done with a main file.)  This can be used for resource cleanup.  */
483   void (*file_change) (cpp_reader *, const struct line_map *);
484
485   void (*dir_change) (cpp_reader *, const char *);
486   void (*include) (cpp_reader *, source_location, const unsigned char *,
487                    const char *, int, const cpp_token **);
488   void (*define) (cpp_reader *, source_location, cpp_hashnode *);
489   void (*undef) (cpp_reader *, source_location, cpp_hashnode *);
490   void (*ident) (cpp_reader *, source_location, const cpp_string *);
491   void (*def_pragma) (cpp_reader *, source_location);
492   int (*valid_pch) (cpp_reader *, const char *, int);
493   void (*read_pch) (cpp_reader *, const char *, int, const char *);
494   missing_header_cb missing_header;
495
496   /* Context-sensitive macro support.  Returns macro (if any) that should
497      be expanded.  */
498   cpp_hashnode * (*macro_to_expand) (cpp_reader *, const cpp_token *);
499
500   /* Called to emit a diagnostic.  This callback receives the
501      translated message.  */
502   bool (*error) (cpp_reader *, int, int, source_location, unsigned int,
503                  const char *, va_list *)
504        ATTRIBUTE_FPTR_PRINTF(6,0);
505
506   /* Callbacks for when a macro is expanded, or tested (whether
507      defined or not at the time) in #ifdef, #ifndef or "defined".  */
508   void (*used_define) (cpp_reader *, source_location, cpp_hashnode *);
509   void (*used_undef) (cpp_reader *, source_location, cpp_hashnode *);
510   /* Called before #define and #undef or other macro definition
511      changes are processed.  */
512   void (*before_define) (cpp_reader *);
513   /* Called whenever a macro is expanded or tested.
514      Second argument is the location of the start of the current expansion.  */
515   void (*used) (cpp_reader *, source_location, cpp_hashnode *);
516
517   /* Callback that can change a user builtin into normal macro.  */
518   bool (*user_builtin_macro) (cpp_reader *, cpp_hashnode *);
519 };
520
521 #ifdef VMS
522 #define INO_T_CPP ino_t ino[3]
523 #else
524 #define INO_T_CPP ino_t ino
525 #endif
526
527 /* Chain of directories to look for include files in.  */
528 struct cpp_dir
529 {
530   /* NULL-terminated singly-linked list.  */
531   struct cpp_dir *next;
532
533   /* NAME of the directory, NUL-terminated.  */
534   char *name;
535   unsigned int len;
536
537   /* One if a system header, two if a system header that has extern
538      "C" guards for C++.  */
539   unsigned char sysp;
540
541   /* Is this a user-supplied directory? */
542   bool user_supplied_p;
543
544   /* The canonicalized NAME as determined by lrealpath.  This field 
545      is only used by hosts that lack reliable inode numbers.  */
546   char *canonical_name;
547
548   /* Mapping of file names for this directory for MS-DOS and related
549      platforms.  A NULL-terminated array of (from, to) pairs.  */
550   const char **name_map;
551
552   /* Routine to construct pathname, given the search path name and the
553      HEADER we are trying to find, return a constructed pathname to
554      try and open.  If this is NULL, the constructed pathname is as
555      constructed by append_file_to_dir.  */
556   char *(*construct) (const char *header, cpp_dir *dir);
557
558   /* The C front end uses these to recognize duplicated
559      directories in the search path.  */
560   INO_T_CPP;
561   dev_t dev;
562 };
563
564 /* The structure of a node in the hash table.  The hash table has
565    entries for all identifiers: either macros defined by #define
566    commands (type NT_MACRO), assertions created with #assert
567    (NT_ASSERTION), or neither of the above (NT_VOID).  Builtin macros
568    like __LINE__ are flagged NODE_BUILTIN.  Poisoned identifiers are
569    flagged NODE_POISONED.  NODE_OPERATOR (C++ only) indicates an
570    identifier that behaves like an operator such as "xor".
571    NODE_DIAGNOSTIC is for speed in lex_token: it indicates a
572    diagnostic may be required for this node.  Currently this only
573    applies to __VA_ARGS__, poisoned identifiers, and -Wc++-compat
574    warnings about NODE_OPERATOR.  */
575
576 /* Hash node flags.  */
577 #define NODE_OPERATOR   (1 << 0)        /* C++ named operator.  */
578 #define NODE_POISONED   (1 << 1)        /* Poisoned identifier.  */
579 #define NODE_BUILTIN    (1 << 2)        /* Builtin macro.  */
580 #define NODE_DIAGNOSTIC (1 << 3)        /* Possible diagnostic when lexed.  */
581 #define NODE_WARN       (1 << 4)        /* Warn if redefined or undefined.  */
582 #define NODE_DISABLED   (1 << 5)        /* A disabled macro.  */
583 #define NODE_MACRO_ARG  (1 << 6)        /* Used during #define processing.  */
584 #define NODE_USED       (1 << 7)        /* Dumped with -dU.  */
585 #define NODE_CONDITIONAL (1 << 8)       /* Conditional macro */
586 #define NODE_WARN_OPERATOR (1 << 9)     /* Warn about C++ named operator.  */
587
588 /* Different flavors of hash node.  */
589 enum node_type
590 {
591   NT_VOID = 0,     /* No definition yet.  */
592   NT_MACRO,        /* A macro of some form.  */
593   NT_ASSERTION     /* Predicate for #assert.  */
594 };
595
596 /* Different flavors of builtin macro.  _Pragma is an operator, but we
597    handle it with the builtin code for efficiency reasons.  */
598 enum cpp_builtin_type
599 {
600   BT_SPECLINE = 0,              /* `__LINE__' */
601   BT_DATE,                      /* `__DATE__' */
602   BT_FILE,                      /* `__FILE__' */
603   BT_BASE_FILE,                 /* `__BASE_FILE__' */
604   BT_INCLUDE_LEVEL,             /* `__INCLUDE_LEVEL__' */
605   BT_TIME,                      /* `__TIME__' */
606   BT_STDC,                      /* `__STDC__' */
607   BT_PRAGMA,                    /* `_Pragma' operator */
608   BT_TIMESTAMP,                 /* `__TIMESTAMP__' */
609   BT_COUNTER,                   /* `__COUNTER__' */
610   BT_FIRST_USER,                /* User defined builtin macros.  */
611   BT_LAST_USER = BT_FIRST_USER + 31
612 };
613
614 #define CPP_HASHNODE(HNODE)     ((cpp_hashnode *) (HNODE))
615 #define HT_NODE(NODE)           ((ht_identifier *) (NODE))
616 #define NODE_LEN(NODE)          HT_LEN (&(NODE)->ident)
617 #define NODE_NAME(NODE)         HT_STR (&(NODE)->ident)
618
619 /* Specify which field, if any, of the union is used.  */
620
621 enum {
622   NTV_MACRO,
623   NTV_ANSWER,
624   NTV_BUILTIN,
625   NTV_ARGUMENT,
626   NTV_NONE
627 };
628
629 #define CPP_HASHNODE_VALUE_IDX(HNODE)                           \
630   ((HNODE.flags & NODE_MACRO_ARG) ? NTV_ARGUMENT                \
631    : HNODE.type == NT_MACRO ? ((HNODE.flags & NODE_BUILTIN)     \
632                                ? NTV_BUILTIN : NTV_MACRO)       \
633    : HNODE.type == NT_ASSERTION ? NTV_ANSWER                    \
634    : NTV_NONE)
635
636 /* The common part of an identifier node shared amongst all 3 C front
637    ends.  Also used to store CPP identifiers, which are a superset of
638    identifiers in the grammatical sense.  */
639
640 union GTY(()) _cpp_hashnode_value {
641   /* If a macro.  */
642   cpp_macro * GTY((tag ("NTV_MACRO"))) macro;
643   /* Answers to an assertion.  */
644   struct answer * GTY ((tag ("NTV_ANSWER"))) answers;
645   /* Code for a builtin macro.  */
646   enum cpp_builtin_type GTY ((tag ("NTV_BUILTIN"))) builtin;
647   /* Macro argument index.  */
648   unsigned short GTY ((tag ("NTV_ARGUMENT"))) arg_index;
649 };
650
651 struct GTY(()) cpp_hashnode {
652   struct ht_identifier ident;
653   unsigned int is_directive : 1;
654   unsigned int directive_index : 7;     /* If is_directive,
655                                            then index into directive table.
656                                            Otherwise, a NODE_OPERATOR.  */
657   unsigned char rid_code;               /* Rid code - for front ends.  */
658   ENUM_BITFIELD(node_type) type : 6;    /* CPP node type.  */
659   unsigned int flags : 10;              /* CPP flags.  */
660
661   union _cpp_hashnode_value GTY ((desc ("CPP_HASHNODE_VALUE_IDX (%1)"))) value;
662 };
663
664 /* Call this first to get a handle to pass to other functions.
665
666    If you want cpplib to manage its own hashtable, pass in a NULL
667    pointer.  Otherwise you should pass in an initialized hash table
668    that cpplib will share; this technique is used by the C front
669    ends.  */
670 extern cpp_reader *cpp_create_reader (enum c_lang, struct ht *,
671                                       struct line_maps *);
672
673 /* Reset the cpp_reader's line_map.  This is only used after reading a
674    PCH file.  */
675 extern void cpp_set_line_map (cpp_reader *, struct line_maps *);
676
677 /* Call this to change the selected language standard (e.g. because of
678    command line options).  */
679 extern void cpp_set_lang (cpp_reader *, enum c_lang);
680
681 /* Set the include paths.  */
682 extern void cpp_set_include_chains (cpp_reader *, cpp_dir *, cpp_dir *, int);
683
684 /* Call these to get pointers to the options, callback, and deps
685    structures for a given reader.  These pointers are good until you
686    call cpp_finish on that reader.  You can either edit the callbacks
687    through the pointer returned from cpp_get_callbacks, or set them
688    with cpp_set_callbacks.  */
689 extern cpp_options *cpp_get_options (cpp_reader *);
690 extern cpp_callbacks *cpp_get_callbacks (cpp_reader *);
691 extern void cpp_set_callbacks (cpp_reader *, cpp_callbacks *);
692 extern struct deps *cpp_get_deps (cpp_reader *);
693
694 /* This function reads the file, but does not start preprocessing.  It
695    returns the name of the original file; this is the same as the
696    input file, except for preprocessed input.  This will generate at
697    least one file change callback, and possibly a line change callback
698    too.  If there was an error opening the file, it returns NULL.  */
699 extern const char *cpp_read_main_file (cpp_reader *, const char *);
700
701 /* Set up built-ins with special behavior.  Use cpp_init_builtins()
702    instead unless your know what you are doing.  */
703 extern void cpp_init_special_builtins (cpp_reader *);
704
705 /* Set up built-ins like __FILE__.  */
706 extern void cpp_init_builtins (cpp_reader *, int);
707
708 /* This is called after options have been parsed, and partially
709    processed.  */
710 extern void cpp_post_options (cpp_reader *);
711
712 /* Set up translation to the target character set.  */
713 extern void cpp_init_iconv (cpp_reader *);
714
715 /* Call this to finish preprocessing.  If you requested dependency
716    generation, pass an open stream to write the information to,
717    otherwise NULL.  It is your responsibility to close the stream.  */
718 extern void cpp_finish (cpp_reader *, FILE *deps_stream);
719
720 /* Call this to release the handle at the end of preprocessing.  Any
721    use of the handle after this function returns is invalid.  */
722 extern void cpp_destroy (cpp_reader *);
723
724 extern unsigned int cpp_token_len (const cpp_token *);
725 extern unsigned char *cpp_token_as_text (cpp_reader *, const cpp_token *);
726 extern unsigned char *cpp_spell_token (cpp_reader *, const cpp_token *,
727                                        unsigned char *, bool);
728 extern void cpp_register_pragma (cpp_reader *, const char *, const char *,
729                                  void (*) (cpp_reader *), bool);
730 extern void cpp_register_deferred_pragma (cpp_reader *, const char *,
731                                           const char *, unsigned, bool, bool);
732 extern int cpp_avoid_paste (cpp_reader *, const cpp_token *,
733                             const cpp_token *);
734 extern const cpp_token *cpp_get_token (cpp_reader *);
735 extern const cpp_token *cpp_get_token_with_location (cpp_reader *,
736                                                      source_location *);
737 extern const unsigned char *cpp_macro_definition (cpp_reader *,
738                                                   cpp_hashnode *);
739 extern void _cpp_backup_tokens (cpp_reader *, unsigned int);
740 extern const cpp_token *cpp_peek_token (cpp_reader *, int);
741
742 /* Evaluate a CPP_*CHAR* token.  */
743 extern cppchar_t cpp_interpret_charconst (cpp_reader *, const cpp_token *,
744                                           unsigned int *, int *);
745 /* Evaluate a vector of CPP_*STRING* tokens.  */
746 extern bool cpp_interpret_string (cpp_reader *,
747                                   const cpp_string *, size_t,
748                                   cpp_string *, enum cpp_ttype);
749 extern bool cpp_interpret_string_notranslate (cpp_reader *,
750                                               const cpp_string *, size_t,
751                                               cpp_string *, enum cpp_ttype);
752
753 /* Convert a host character constant to the execution character set.  */
754 extern cppchar_t cpp_host_to_exec_charset (cpp_reader *, cppchar_t);
755
756 /* Used to register macros and assertions, perhaps from the command line.
757    The text is the same as the command line argument.  */
758 extern void cpp_define (cpp_reader *, const char *);
759 extern void cpp_define_formatted (cpp_reader *pfile, 
760                                   const char *fmt, ...) ATTRIBUTE_PRINTF_2;
761 extern void cpp_assert (cpp_reader *, const char *);
762 extern void cpp_undef (cpp_reader *, const char *);
763 extern void cpp_unassert (cpp_reader *, const char *);
764
765 /* Undefine all macros and assertions.  */
766 extern void cpp_undef_all (cpp_reader *);
767
768 extern cpp_buffer *cpp_push_buffer (cpp_reader *, const unsigned char *,
769                                     size_t, int);
770 extern int cpp_defined (cpp_reader *, const unsigned char *, int);
771
772 /* A preprocessing number.  Code assumes that any unused high bits of
773    the double integer are set to zero.  */
774 typedef unsigned HOST_WIDE_INT cpp_num_part;
775 typedef struct cpp_num cpp_num;
776 struct cpp_num
777 {
778   cpp_num_part high;
779   cpp_num_part low;
780   bool unsignedp;  /* True if value should be treated as unsigned.  */
781   bool overflow;   /* True if the most recent calculation overflowed.  */
782 };
783
784 /* cpplib provides two interfaces for interpretation of preprocessing
785    numbers.
786
787    cpp_classify_number categorizes numeric constants according to
788    their field (integer, floating point, or invalid), radix (decimal,
789    octal, hexadecimal), and type suffixes.  */
790
791 #define CPP_N_CATEGORY  0x000F
792 #define CPP_N_INVALID   0x0000
793 #define CPP_N_INTEGER   0x0001
794 #define CPP_N_FLOATING  0x0002
795
796 #define CPP_N_WIDTH     0x00F0
797 #define CPP_N_SMALL     0x0010  /* int, float, shrot _Fract/Accum  */
798 #define CPP_N_MEDIUM    0x0020  /* long, double, long _Fract/_Accum.  */
799 #define CPP_N_LARGE     0x0040  /* long long, long double,
800                                    long long _Fract/Accum.  */
801
802 #define CPP_N_WIDTH_MD  0xF0000 /* machine defined.  */
803 #define CPP_N_MD_W      0x10000
804 #define CPP_N_MD_Q      0x20000
805
806 #define CPP_N_RADIX     0x0F00
807 #define CPP_N_DECIMAL   0x0100
808 #define CPP_N_HEX       0x0200
809 #define CPP_N_OCTAL     0x0400
810 #define CPP_N_BINARY    0x0800
811
812 #define CPP_N_UNSIGNED  0x1000  /* Properties.  */
813 #define CPP_N_IMAGINARY 0x2000
814 #define CPP_N_DFLOAT    0x4000
815 #define CPP_N_DEFAULT   0x8000
816
817 #define CPP_N_FRACT     0x100000 /* Fract types.  */
818 #define CPP_N_ACCUM     0x200000 /* Accum types.  */
819
820 /* Classify a CPP_NUMBER token.  The return value is a combination of
821    the flags from the above sets.  */
822 extern unsigned cpp_classify_number (cpp_reader *, const cpp_token *);
823
824 /* Evaluate a token classified as category CPP_N_INTEGER.  */
825 extern cpp_num cpp_interpret_integer (cpp_reader *, const cpp_token *,
826                                       unsigned int type);
827
828 /* Sign extend a number, with PRECISION significant bits and all
829    others assumed clear, to fill out a cpp_num structure.  */
830 cpp_num cpp_num_sign_extend (cpp_num, size_t);
831
832 /* Diagnostic levels.  To get a diagnostic without associating a
833    position in the translation unit with it, use cpp_error_with_line
834    with a line number of zero.  */
835
836 enum {
837   /* Warning, an error with -Werror.  */
838   CPP_DL_WARNING = 0,
839   /* Same as CPP_DL_WARNING, except it is not suppressed in system headers.  */
840   CPP_DL_WARNING_SYSHDR,
841   /* Warning, an error with -pedantic-errors or -Werror.  */
842   CPP_DL_PEDWARN,
843   /* An error.  */
844   CPP_DL_ERROR,
845   /* An internal consistency check failed.  Prints "internal error: ",
846      otherwise the same as CPP_DL_ERROR.  */
847   CPP_DL_ICE,
848   /* An informative note following a warning.  */
849   CPP_DL_NOTE,
850   /* A fatal error.  */
851   CPP_DL_FATAL
852 };
853
854 /* Warning reason codes. Use a reason code of zero for unclassified warnings
855    and errors that are not warnings.  */
856 enum {
857   CPP_W_NONE = 0,
858   CPP_W_DEPRECATED,
859   CPP_W_COMMENTS,
860   CPP_W_MISSING_INCLUDE_DIRS,
861   CPP_W_TRIGRAPHS,
862   CPP_W_MULTICHAR,
863   CPP_W_TRADITIONAL,
864   CPP_W_LONG_LONG,
865   CPP_W_ENDIF_LABELS,
866   CPP_W_NUM_SIGN_CHANGE,
867   CPP_W_VARIADIC_MACROS,
868   CPP_W_BUILTIN_MACRO_REDEFINED,
869   CPP_W_DOLLARS,
870   CPP_W_UNDEF,
871   CPP_W_UNUSED_MACROS,
872   CPP_W_CXX_OPERATOR_NAMES,
873   CPP_W_NORMALIZE,
874   CPP_W_INVALID_PCH,
875   CPP_W_WARNING_DIRECTIVE
876 };
877
878 /* Output a diagnostic of some kind.  */
879 extern bool cpp_error (cpp_reader *, int, const char *msgid, ...)
880   ATTRIBUTE_PRINTF_3;
881 extern bool cpp_warning (cpp_reader *, int, const char *msgid, ...)
882   ATTRIBUTE_PRINTF_3;
883 extern bool cpp_pedwarning (cpp_reader *, int, const char *msgid, ...)
884   ATTRIBUTE_PRINTF_3;
885 extern bool cpp_warning_syshdr (cpp_reader *, int, const char *msgid, ...)
886   ATTRIBUTE_PRINTF_3;
887
888 /* Output a diagnostic with "MSGID: " preceding the
889    error string of errno.  No location is printed.  */
890 extern bool cpp_errno (cpp_reader *, int, const char *msgid);
891
892 /* Same as cpp_error, except additionally specifies a position as a
893    (translation unit) physical line and physical column.  If the line is
894    zero, then no location is printed.  */
895 extern bool cpp_error_with_line (cpp_reader *, int, source_location,
896                                  unsigned, const char *msgid, ...)
897   ATTRIBUTE_PRINTF_5;
898 extern bool cpp_warning_with_line (cpp_reader *, int, source_location,
899                                    unsigned, const char *msgid, ...)
900   ATTRIBUTE_PRINTF_5;
901 extern bool cpp_pedwarning_with_line (cpp_reader *, int, source_location,
902                                       unsigned, const char *msgid, ...)
903   ATTRIBUTE_PRINTF_5;
904 extern bool cpp_warning_with_line_syshdr (cpp_reader *, int, source_location,
905                                           unsigned, const char *msgid, ...)
906   ATTRIBUTE_PRINTF_5;
907
908 /* In lex.c */
909 extern int cpp_ideq (const cpp_token *, const char *);
910 extern void cpp_output_line (cpp_reader *, FILE *);
911 extern unsigned char *cpp_output_line_to_string (cpp_reader *,
912                                                  const unsigned char *);
913 extern void cpp_output_token (const cpp_token *, FILE *);
914 extern const char *cpp_type2name (enum cpp_ttype, unsigned char flags);
915 /* Returns the value of an escape sequence, truncated to the correct
916    target precision.  PSTR points to the input pointer, which is just
917    after the backslash.  LIMIT is how much text we have.  WIDE is true
918    if the escape sequence is part of a wide character constant or
919    string literal.  Handles all relevant diagnostics.  */
920 extern cppchar_t cpp_parse_escape (cpp_reader *, const unsigned char ** pstr,
921                                    const unsigned char *limit, int wide);
922
923 /* Structure used to hold a comment block at a given location in the
924    source code.  */
925
926 typedef struct
927 {
928   /* Text of the comment including the terminators.  */
929   char *comment;
930
931   /* source location for the given comment.  */
932   source_location sloc;
933 } cpp_comment;
934
935 /* Structure holding all comments for a given cpp_reader.  */
936
937 typedef struct
938 {
939   /* table of comment entries.  */
940   cpp_comment *entries;
941
942   /* number of actual entries entered in the table.  */
943   int count;
944
945   /* number of entries allocated currently.  */
946   int allocated;
947 } cpp_comment_table;
948
949 /* Returns the table of comments encountered by the preprocessor. This
950    table is only populated when pfile->state.save_comments is true. */
951 extern cpp_comment_table *cpp_get_comments (cpp_reader *);
952
953 /* In hash.c */
954
955 /* Lookup an identifier in the hashtable.  Puts the identifier in the
956    table if it is not already there.  */
957 extern cpp_hashnode *cpp_lookup (cpp_reader *, const unsigned char *,
958                                  unsigned int);
959
960 typedef int (*cpp_cb) (cpp_reader *, cpp_hashnode *, void *);
961 extern void cpp_forall_identifiers (cpp_reader *, cpp_cb, void *);
962
963 /* In macro.c */
964 extern void cpp_scan_nooutput (cpp_reader *);
965 extern int  cpp_sys_macro_p (cpp_reader *);
966 extern unsigned char *cpp_quote_string (unsigned char *, const unsigned char *,
967                                         unsigned int);
968
969 /* In files.c */
970 extern bool cpp_included (cpp_reader *, const char *);
971 extern bool cpp_included_before (cpp_reader *, const char *, source_location);
972 extern void cpp_make_system_header (cpp_reader *, int, int);
973 extern bool cpp_push_include (cpp_reader *, const char *);
974 extern void cpp_change_file (cpp_reader *, enum lc_reason, const char *);
975 extern const char *cpp_get_path (struct _cpp_file *);
976 extern cpp_dir *cpp_get_dir (struct _cpp_file *);
977 extern cpp_buffer *cpp_get_buffer (cpp_reader *);
978 extern struct _cpp_file *cpp_get_file (cpp_buffer *);
979 extern cpp_buffer *cpp_get_prev (cpp_buffer *);
980 extern void cpp_clear_file_cache (cpp_reader *);
981
982 /* In pch.c */
983 struct save_macro_data;
984 extern int cpp_save_state (cpp_reader *, FILE *);
985 extern int cpp_write_pch_deps (cpp_reader *, FILE *);
986 extern int cpp_write_pch_state (cpp_reader *, FILE *);
987 extern int cpp_valid_state (cpp_reader *, const char *, int);
988 extern void cpp_prepare_state (cpp_reader *, struct save_macro_data **);
989 extern int cpp_read_state (cpp_reader *, const char *, FILE *,
990                            struct save_macro_data *);
991
992 #endif /* ! LIBCPP_CPPLIB_H */