OSDN Git Service

PR driver/40144
[pf3gnuchains/gcc-fork.git] / libcpp / internal.h
1 /* Part of CPP library.
2    Copyright (C) 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2007,
3    2008, 2009 Free Software Foundation, Inc.
4
5 This program is free software; you can redistribute it and/or modify it
6 under the terms of the GNU General Public License as published by the
7 Free Software Foundation; either version 3, or (at your option) any
8 later version.
9
10 This program is distributed in the hope that it will be useful,
11 but WITHOUT ANY WARRANTY; without even the implied warranty of
12 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 GNU General Public License for more details.
14
15 You should have received a copy of the GNU General Public License
16 along with this program; see the file COPYING3.  If not see
17 <http://www.gnu.org/licenses/>.  */
18
19 /* This header defines all the internal data structures and functions
20    that need to be visible across files.  It should not be used outside
21    cpplib.  */
22
23 #ifndef LIBCPP_INTERNAL_H
24 #define LIBCPP_INTERNAL_H
25
26 #include "symtab.h"
27 #include "cpp-id-data.h"
28
29 #if HAVE_ICONV
30 #include <iconv.h>
31 #else
32 #define HAVE_ICONV 0
33 typedef int iconv_t;  /* dummy */
34 #endif
35
36 struct directive;               /* Deliberately incomplete.  */
37 struct pending_option;
38 struct op;
39 struct _cpp_strbuf;
40
41 typedef bool (*convert_f) (iconv_t, const unsigned char *, size_t,
42                            struct _cpp_strbuf *);
43 struct cset_converter
44 {
45   convert_f func;
46   iconv_t cd;
47   int width;
48 };
49
50 #define BITS_PER_CPPCHAR_T (CHAR_BIT * sizeof (cppchar_t))
51
52 /* Test if a sign is valid within a preprocessing number.  */
53 #define VALID_SIGN(c, prevc) \
54   (((c) == '+' || (c) == '-') && \
55    ((prevc) == 'e' || (prevc) == 'E' \
56     || (((prevc) == 'p' || (prevc) == 'P') \
57         && CPP_OPTION (pfile, extended_numbers))))
58
59 #define CPP_OPTION(PFILE, OPTION) ((PFILE)->opts.OPTION)
60 #define CPP_BUFFER(PFILE) ((PFILE)->buffer)
61 #define CPP_BUF_COLUMN(BUF, CUR) ((CUR) - (BUF)->line_base)
62 #define CPP_BUF_COL(BUF) CPP_BUF_COLUMN(BUF, (BUF)->cur)
63
64 #define CPP_INCREMENT_LINE(PFILE, COLS_HINT) do { \
65     const struct line_maps *line_table = PFILE->line_table; \
66     const struct line_map *map = &line_table->maps[line_table->used-1]; \
67     linenum_type line = SOURCE_LINE (map, line_table->highest_line); \
68     linemap_line_start (PFILE->line_table, line + 1, COLS_HINT); \
69   } while (0)
70
71 /* Maximum nesting of cpp_buffers.  We use a static limit, partly for
72    efficiency, and partly to limit runaway recursion.  */
73 #define CPP_STACK_MAX 200
74
75 /* Host alignment handling.  */
76 struct dummy
77 {
78   char c;
79   union
80   {
81     double d;
82     int *p;
83   } u;
84 };
85
86 #define DEFAULT_ALIGNMENT offsetof (struct dummy, u)
87 #define CPP_ALIGN2(size, align) (((size) + ((align) - 1)) & ~((align) - 1))
88 #define CPP_ALIGN(size) CPP_ALIGN2 (size, DEFAULT_ALIGNMENT)
89
90 #define _cpp_mark_macro_used(NODE) do {                                 \
91   if ((NODE)->type == NT_MACRO && !((NODE)->flags & NODE_BUILTIN))      \
92     (NODE)->value.macro->used = 1; } while (0)
93
94 /* A generic memory buffer, and operations on it.  */
95 typedef struct _cpp_buff _cpp_buff;
96 struct _cpp_buff
97 {
98   struct _cpp_buff *next;
99   unsigned char *base, *cur, *limit;
100 };
101
102 extern _cpp_buff *_cpp_get_buff (cpp_reader *, size_t);
103 extern void _cpp_release_buff (cpp_reader *, _cpp_buff *);
104 extern void _cpp_extend_buff (cpp_reader *, _cpp_buff **, size_t);
105 extern _cpp_buff *_cpp_append_extend_buff (cpp_reader *, _cpp_buff *, size_t);
106 extern void _cpp_free_buff (_cpp_buff *);
107 extern unsigned char *_cpp_aligned_alloc (cpp_reader *, size_t);
108 extern unsigned char *_cpp_unaligned_alloc (cpp_reader *, size_t);
109
110 #define BUFF_ROOM(BUFF) (size_t) ((BUFF)->limit - (BUFF)->cur)
111 #define BUFF_FRONT(BUFF) ((BUFF)->cur)
112 #define BUFF_LIMIT(BUFF) ((BUFF)->limit)
113
114 /* #include types.  */
115 enum include_type {IT_INCLUDE, IT_INCLUDE_NEXT, IT_IMPORT, IT_CMDLINE};
116
117 union utoken
118 {
119   const cpp_token *token;
120   const cpp_token **ptoken;
121 };
122
123 /* A "run" of tokens; part of a chain of runs.  */
124 typedef struct tokenrun tokenrun;
125 struct tokenrun
126 {
127   tokenrun *next, *prev;
128   cpp_token *base, *limit;
129 };
130
131 /* Accessor macros for struct cpp_context.  */
132 #define FIRST(c) ((c)->u.iso.first)
133 #define LAST(c) ((c)->u.iso.last)
134 #define CUR(c) ((c)->u.trad.cur)
135 #define RLIMIT(c) ((c)->u.trad.rlimit)
136
137 typedef struct cpp_context cpp_context;
138 struct cpp_context
139 {
140   /* Doubly-linked list.  */
141   cpp_context *next, *prev;
142
143   union
144   {
145     /* For ISO macro expansion.  Contexts other than the base context
146        are contiguous tokens.  e.g. macro expansions, expanded
147        argument tokens.  */
148     struct
149     {
150       union utoken first;
151       union utoken last;
152     } iso;
153
154     /* For traditional macro expansion.  */
155     struct
156     {
157       const unsigned char *cur;
158       const unsigned char *rlimit;
159     } trad;
160   } u;
161
162   /* If non-NULL, a buffer used for storage related to this context.
163      When the context is popped, the buffer is released.  */
164   _cpp_buff *buff;
165
166   /* For a macro context, the macro node, otherwise NULL.  */
167   cpp_hashnode *macro;
168
169   /* True if utoken element is token, else ptoken.  */
170   bool direct_p;
171 };
172
173 struct lexer_state
174 {
175   /* Nonzero if first token on line is CPP_HASH.  */
176   unsigned char in_directive;
177
178   /* Nonzero if in a directive that will handle padding tokens itself.
179      #include needs this to avoid problems with computed include and
180      spacing between tokens.  */
181   unsigned char directive_wants_padding;
182
183   /* True if we are skipping a failed conditional group.  */
184   unsigned char skipping;
185
186   /* Nonzero if in a directive that takes angle-bracketed headers.  */
187   unsigned char angled_headers;
188
189   /* Nonzero if in a #if or #elif directive.  */
190   unsigned char in_expression;
191
192   /* Nonzero to save comments.  Turned off if discard_comments, and in
193      all directives apart from #define.  */
194   unsigned char save_comments;
195
196   /* Nonzero if lexing __VA_ARGS__ is valid.  */
197   unsigned char va_args_ok;
198
199   /* Nonzero if lexing poisoned identifiers is valid.  */
200   unsigned char poisoned_ok;
201
202   /* Nonzero to prevent macro expansion.  */
203   unsigned char prevent_expansion;
204
205   /* Nonzero when parsing arguments to a function-like macro.  */
206   unsigned char parsing_args;
207
208   /* Nonzero if prevent_expansion is true only because output is
209      being discarded.  */
210   unsigned char discarding_output;
211
212   /* Nonzero to skip evaluating part of an expression.  */
213   unsigned int skip_eval;
214
215   /* Nonzero when handling a deferred pragma.  */
216   unsigned char in_deferred_pragma;
217
218   /* Nonzero if the deferred pragma being handled allows macro expansion.  */
219   unsigned char pragma_allow_expansion;
220 };
221
222 /* Special nodes - identifiers with predefined significance.  */
223 struct spec_nodes
224 {
225   cpp_hashnode *n_defined;              /* defined operator */
226   cpp_hashnode *n_true;                 /* C++ keyword true */
227   cpp_hashnode *n_false;                /* C++ keyword false */
228   cpp_hashnode *n__VA_ARGS__;           /* C99 vararg macros */
229 };
230
231 typedef struct _cpp_line_note _cpp_line_note;
232 struct _cpp_line_note
233 {
234   /* Location in the clean line the note refers to.  */
235   const unsigned char *pos;
236
237   /* Type of note.  The 9 'from' trigraph characters represent those
238      trigraphs, '\\' an escaped newline, ' ' an escaped newline with
239      intervening space, and anything else is invalid.  */
240   unsigned int type;
241 };
242
243 /* Represents the contents of a file cpplib has read in.  */
244 struct cpp_buffer
245 {
246   const unsigned char *cur;        /* Current location.  */
247   const unsigned char *line_base;  /* Start of current physical line.  */
248   const unsigned char *next_line;  /* Start of to-be-cleaned logical line.  */
249
250   const unsigned char *buf;        /* Entire character buffer.  */
251   const unsigned char *rlimit;     /* Writable byte at end of file.  */
252
253   _cpp_line_note *notes;           /* Array of notes.  */
254   unsigned int cur_note;           /* Next note to process.  */
255   unsigned int notes_used;         /* Number of notes.  */
256   unsigned int notes_cap;          /* Size of allocated array.  */
257
258   struct cpp_buffer *prev;
259
260   /* Pointer into the file table; non-NULL if this is a file buffer.
261      Used for include_next and to record control macros.  */
262   struct _cpp_file *file;
263
264   /* Saved value of __TIMESTAMP__ macro - date and time of last modification
265      of the assotiated file.  */
266   const unsigned char *timestamp;
267
268   /* Value of if_stack at start of this file.
269      Used to prohibit unmatched #endif (etc) in an include file.  */
270   struct if_stack *if_stack;
271
272   /* True if we need to get the next clean line.  */
273   bool need_line;
274
275   /* True if we have already warned about C++ comments in this file.
276      The warning happens only for C89 extended mode with -pedantic on,
277      or for -Wtraditional, and only once per file (otherwise it would
278      be far too noisy).  */
279   unsigned int warned_cplusplus_comments : 1;
280
281   /* True if we don't process trigraphs and escaped newlines.  True
282      for preprocessed input, command line directives, and _Pragma
283      buffers.  */
284   unsigned int from_stage3 : 1;
285
286   /* At EOF, a buffer is automatically popped.  If RETURN_AT_EOF is
287      true, a CPP_EOF token is then returned.  Otherwise, the next
288      token from the enclosing buffer is returned.  */
289   unsigned int return_at_eof : 1;
290
291   /* One for a system header, two for a C system header file that therefore
292      needs to be extern "C" protected in C++, and zero otherwise.  */
293   unsigned char sysp;
294
295   /* The directory of the this buffer's file.  Its NAME member is not
296      allocated, so we don't need to worry about freeing it.  */
297   struct cpp_dir dir;
298
299   /* Descriptor for converting from the input character set to the
300      source character set.  */
301   struct cset_converter input_cset_desc;
302 };
303
304 /* A cpp_reader encapsulates the "state" of a pre-processor run.
305    Applying cpp_get_token repeatedly yields a stream of pre-processor
306    tokens.  Usually, there is only one cpp_reader object active.  */
307 struct cpp_reader
308 {
309   /* Top of buffer stack.  */
310   cpp_buffer *buffer;
311
312   /* Overlaid buffer (can be different after processing #include).  */
313   cpp_buffer *overlaid_buffer;
314
315   /* Lexer state.  */
316   struct lexer_state state;
317
318   /* Source line tracking.  */
319   struct line_maps *line_table;
320
321   /* The line of the '#' of the current directive.  */
322   source_location directive_line;
323
324   /* Memory buffers.  */
325   _cpp_buff *a_buff;            /* Aligned permanent storage.  */
326   _cpp_buff *u_buff;            /* Unaligned permanent storage.  */
327   _cpp_buff *free_buffs;        /* Free buffer chain.  */
328
329   /* Context stack.  */
330   struct cpp_context base_context;
331   struct cpp_context *context;
332
333   /* If in_directive, the directive if known.  */
334   const struct directive *directive;
335
336   /* Token generated while handling a directive, if any. */
337   cpp_token directive_result;
338
339   /* When expanding a macro at top-level, this is the location of the
340      macro invocation.  */
341   source_location invocation_location;
342
343   /* True if this call to cpp_get_token should consider setting
344      invocation_location.  */
345   bool set_invocation_location;
346
347   /* Search paths for include files.  */
348   struct cpp_dir *quote_include;        /* "" */
349   struct cpp_dir *bracket_include;      /* <> */
350   struct cpp_dir no_search_path;        /* No path.  */
351
352   /* Chain of all hashed _cpp_file instances.  */
353   struct _cpp_file *all_files;
354
355   struct _cpp_file *main_file;
356
357   /* File and directory hash table.  */
358   struct htab *file_hash;
359   struct htab *dir_hash;
360   struct file_hash_entry_pool *file_hash_entries;
361
362   /* Negative path lookup hash table.  */
363   struct htab *nonexistent_file_hash;
364   struct obstack nonexistent_file_ob;
365
366   /* Nonzero means don't look for #include "foo" the source-file
367      directory.  */
368   bool quote_ignores_source_dir;
369
370   /* Nonzero if any file has contained #pragma once or #import has
371      been used.  */
372   bool seen_once_only;
373
374   /* Multiple include optimization.  */
375   const cpp_hashnode *mi_cmacro;
376   const cpp_hashnode *mi_ind_cmacro;
377   bool mi_valid;
378
379   /* Lexing.  */
380   cpp_token *cur_token;
381   tokenrun base_run, *cur_run;
382   unsigned int lookaheads;
383
384   /* Nonzero prevents the lexer from re-using the token runs.  */
385   unsigned int keep_tokens;
386
387   /* Buffer to hold macro definition string.  */
388   unsigned char *macro_buffer;
389   unsigned int macro_buffer_len;
390
391   /* Descriptor for converting from the source character set to the
392      execution character set.  */
393   struct cset_converter narrow_cset_desc;
394
395   /* Descriptor for converting from the source character set to the
396      UTF-16 execution character set.  */
397   struct cset_converter char16_cset_desc;
398
399   /* Descriptor for converting from the source character set to the
400      UTF-32 execution character set.  */
401   struct cset_converter char32_cset_desc;
402
403   /* Descriptor for converting from the source character set to the
404      wide execution character set.  */
405   struct cset_converter wide_cset_desc;
406
407   /* Date and time text.  Calculated together if either is requested.  */
408   const unsigned char *date;
409   const unsigned char *time;
410
411   /* EOF token, and a token forcing paste avoidance.  */
412   cpp_token avoid_paste;
413   cpp_token eof;
414
415   /* Opaque handle to the dependencies of mkdeps.c.  */
416   struct deps *deps;
417
418   /* Obstack holding all macro hash nodes.  This never shrinks.
419      See identifiers.c */
420   struct obstack hash_ob;
421
422   /* Obstack holding buffer and conditional structures.  This is a
423      real stack.  See directives.c.  */
424   struct obstack buffer_ob;
425
426   /* Pragma table - dynamic, because a library user can add to the
427      list of recognized pragmas.  */
428   struct pragma_entry *pragmas;
429
430   /* Call backs to cpplib client.  */
431   struct cpp_callbacks cb;
432
433   /* Identifier hash table.  */
434   struct ht *hash_table;
435
436   /* Expression parser stack.  */
437   struct op *op_stack, *op_limit;
438
439   /* User visible options.  */
440   struct cpp_options opts;
441
442   /* Special nodes - identifiers with predefined significance to the
443      preprocessor.  */
444   struct spec_nodes spec_nodes;
445
446   /* Whether cpplib owns the hashtable.  */
447   bool our_hashtable;
448
449   /* Traditional preprocessing output buffer (a logical line).  */
450   struct
451   {
452     unsigned char *base;
453     unsigned char *limit;
454     unsigned char *cur;
455     source_location first_line;
456   } out;
457
458   /* Used for buffer overlays by traditional.c.  */
459   const unsigned char *saved_cur, *saved_rlimit, *saved_line_base;
460
461   /* A saved list of the defined macros, for dependency checking
462      of precompiled headers.  */
463   struct cpp_savedstate *savedstate;
464
465   /* Next value of __COUNTER__ macro. */
466   unsigned int counter;
467
468   /* Table of comments, when state.save_comments is true.  */
469   cpp_comment_table comments;
470 };
471
472 /* Character classes.  Based on the more primitive macros in safe-ctype.h.
473    If the definition of `numchar' looks odd to you, please look up the
474    definition of a pp-number in the C standard [section 6.4.8 of C99].
475
476    In the unlikely event that characters other than \r and \n enter
477    the set is_vspace, the macro handle_newline() in lex.c must be
478    updated.  */
479 #define _dollar_ok(x)   ((x) == '$' && CPP_OPTION (pfile, dollars_in_ident))
480
481 #define is_idchar(x)    (ISIDNUM(x) || _dollar_ok(x))
482 #define is_numchar(x)   ISIDNUM(x)
483 #define is_idstart(x)   (ISIDST(x) || _dollar_ok(x))
484 #define is_numstart(x)  ISDIGIT(x)
485 #define is_hspace(x)    ISBLANK(x)
486 #define is_vspace(x)    IS_VSPACE(x)
487 #define is_nvspace(x)   IS_NVSPACE(x)
488 #define is_space(x)     IS_SPACE_OR_NUL(x)
489
490 /* This table is constant if it can be initialized at compile time,
491    which is the case if cpp was compiled with GCC >=2.7, or another
492    compiler that supports C99.  */
493 #if HAVE_DESIGNATED_INITIALIZERS
494 extern const unsigned char _cpp_trigraph_map[UCHAR_MAX + 1];
495 #else
496 extern unsigned char _cpp_trigraph_map[UCHAR_MAX + 1];
497 #endif
498
499 /* Macros.  */
500
501 static inline int cpp_in_system_header (cpp_reader *);
502 static inline int
503 cpp_in_system_header (cpp_reader *pfile)
504 {
505   return pfile->buffer ? pfile->buffer->sysp : 0;
506 }
507 #define CPP_PEDANTIC(PF) CPP_OPTION (PF, pedantic)
508 #define CPP_WTRADITIONAL(PF) CPP_OPTION (PF, warn_traditional)
509
510 static inline int cpp_in_primary_file (cpp_reader *);
511 static inline int
512 cpp_in_primary_file (cpp_reader *pfile)
513 {
514   return pfile->line_table->depth == 1;
515 }
516
517 /* In macro.c */
518 extern void _cpp_free_definition (cpp_hashnode *);
519 extern bool _cpp_create_definition (cpp_reader *, cpp_hashnode *);
520 extern void _cpp_pop_context (cpp_reader *);
521 extern void _cpp_push_text_context (cpp_reader *, cpp_hashnode *,
522                                     const unsigned char *, size_t);
523 extern bool _cpp_save_parameter (cpp_reader *, cpp_macro *, cpp_hashnode *);
524 extern bool _cpp_arguments_ok (cpp_reader *, cpp_macro *, const cpp_hashnode *,
525                                unsigned int);
526 extern const unsigned char *_cpp_builtin_macro_text (cpp_reader *,
527                                                      cpp_hashnode *);
528 extern int _cpp_warn_if_unused_macro (cpp_reader *, cpp_hashnode *, void *);
529 extern void _cpp_push_token_context (cpp_reader *, cpp_hashnode *,
530                                      const cpp_token *, unsigned int);
531 extern void _cpp_backup_tokens_direct (cpp_reader *, unsigned int);
532
533 /* In identifiers.c */
534 extern void _cpp_init_hashtable (cpp_reader *, hash_table *);
535 extern void _cpp_destroy_hashtable (cpp_reader *);
536
537 /* In files.c */
538 typedef struct _cpp_file _cpp_file;
539 extern _cpp_file *_cpp_find_file (cpp_reader *, const char *, cpp_dir *,
540                                   bool, int);
541 extern bool _cpp_find_failed (_cpp_file *);
542 extern void _cpp_mark_file_once_only (cpp_reader *, struct _cpp_file *);
543 extern void _cpp_fake_include (cpp_reader *, const char *);
544 extern bool _cpp_stack_file (cpp_reader *, _cpp_file*, bool);
545 extern bool _cpp_stack_include (cpp_reader *, const char *, int,
546                                 enum include_type);
547 extern int _cpp_compare_file_date (cpp_reader *, const char *, int);
548 extern void _cpp_report_missing_guards (cpp_reader *);
549 extern void _cpp_init_files (cpp_reader *);
550 extern void _cpp_cleanup_files (cpp_reader *);
551 extern void _cpp_pop_file_buffer (cpp_reader *, struct _cpp_file *);
552 extern bool _cpp_save_file_entries (cpp_reader *pfile, FILE *f);
553 extern bool _cpp_read_file_entries (cpp_reader *, FILE *);
554 extern struct stat *_cpp_get_file_stat (_cpp_file *);
555
556 /* In expr.c */
557 extern bool _cpp_parse_expr (cpp_reader *, bool);
558 extern struct op *_cpp_expand_op_stack (cpp_reader *);
559
560 /* In lex.c */
561 extern void _cpp_process_line_notes (cpp_reader *, int);
562 extern void _cpp_clean_line (cpp_reader *);
563 extern bool _cpp_get_fresh_line (cpp_reader *);
564 extern bool _cpp_skip_block_comment (cpp_reader *);
565 extern cpp_token *_cpp_temp_token (cpp_reader *);
566 extern const cpp_token *_cpp_lex_token (cpp_reader *);
567 extern cpp_token *_cpp_lex_direct (cpp_reader *);
568 extern int _cpp_equiv_tokens (const cpp_token *, const cpp_token *);
569 extern void _cpp_init_tokenrun (tokenrun *, unsigned int);
570
571 /* In init.c.  */
572 extern void _cpp_maybe_push_include_file (cpp_reader *);
573 extern const char *cpp_named_operator2name (enum cpp_ttype type);
574
575 /* In directives.c */
576 extern int _cpp_test_assertion (cpp_reader *, unsigned int *);
577 extern int _cpp_handle_directive (cpp_reader *, int);
578 extern void _cpp_define_builtin (cpp_reader *, const char *);
579 extern char ** _cpp_save_pragma_names (cpp_reader *);
580 extern void _cpp_restore_pragma_names (cpp_reader *, char **);
581 extern int _cpp_do__Pragma (cpp_reader *);
582 extern void _cpp_init_directives (cpp_reader *);
583 extern void _cpp_init_internal_pragmas (cpp_reader *);
584 extern void _cpp_do_file_change (cpp_reader *, enum lc_reason, const char *,
585                                  linenum_type, unsigned int);
586 extern void _cpp_pop_buffer (cpp_reader *);
587
588 /* In directives.c */
589 struct _cpp_dir_only_callbacks
590 {
591   /* Called to print a block of lines. */
592   void (*print_lines) (int, const void *, size_t);
593   void (*maybe_print_line) (source_location);
594 };
595
596 extern void _cpp_preprocess_dir_only (cpp_reader *,
597                                       const struct _cpp_dir_only_callbacks *);
598
599 /* In traditional.c.  */
600 extern bool _cpp_scan_out_logical_line (cpp_reader *, cpp_macro *);
601 extern bool _cpp_read_logical_line_trad (cpp_reader *);
602 extern void _cpp_overlay_buffer (cpp_reader *pfile, const unsigned char *,
603                                  size_t);
604 extern void _cpp_remove_overlay (cpp_reader *);
605 extern bool _cpp_create_trad_definition (cpp_reader *, cpp_macro *);
606 extern bool _cpp_expansions_different_trad (const cpp_macro *,
607                                             const cpp_macro *);
608 extern unsigned char *_cpp_copy_replacement_text (const cpp_macro *,
609                                                   unsigned char *);
610 extern size_t _cpp_replacement_text_len (const cpp_macro *);
611
612 /* In charset.c.  */
613
614 /* The normalization state at this point in the sequence.
615    It starts initialized to all zeros, and at the end
616    'level' is the normalization level of the sequence.  */
617
618 struct normalize_state 
619 {
620   /* The previous character.  */
621   cppchar_t previous;
622   /* The combining class of the previous character.  */
623   unsigned char prev_class;
624   /* The lowest normalization level so far.  */
625   enum cpp_normalize_level level;
626 };
627 #define INITIAL_NORMALIZE_STATE { 0, 0, normalized_KC }
628 #define NORMALIZE_STATE_RESULT(st) ((st)->level)
629
630 /* We saw a character that matches ISIDNUM(), update a
631    normalize_state appropriately.  */
632 #define NORMALIZE_STATE_UPDATE_IDNUM(st) \
633   ((st)->previous = 0, (st)->prev_class = 0)
634
635 extern cppchar_t _cpp_valid_ucn (cpp_reader *, const unsigned char **,
636                                  const unsigned char *, int,
637                                  struct normalize_state *state);
638 extern void _cpp_destroy_iconv (cpp_reader *);
639 extern unsigned char *_cpp_convert_input (cpp_reader *, const char *,
640                                           unsigned char *, size_t, size_t,
641                                           const unsigned char **, off_t *);
642 extern const char *_cpp_default_encoding (void);
643 extern cpp_hashnode * _cpp_interpret_identifier (cpp_reader *pfile,
644                                                  const unsigned char *id,
645                                                  size_t len);
646
647 /* Utility routines and macros.  */
648 #define DSC(str) (const unsigned char *)str, sizeof str - 1
649
650 /* These are inline functions instead of macros so we can get type
651    checking.  */
652 static inline int ustrcmp (const unsigned char *, const unsigned char *);
653 static inline int ustrncmp (const unsigned char *, const unsigned char *,
654                             size_t);
655 static inline size_t ustrlen (const unsigned char *);
656 static inline unsigned char *uxstrdup (const unsigned char *);
657 static inline unsigned char *ustrchr (const unsigned char *, int);
658 static inline int ufputs (const unsigned char *, FILE *);
659
660 /* Use a const char for the second parameter since it is usually a literal.  */
661 static inline int ustrcspn (const unsigned char *, const char *);
662
663 static inline int
664 ustrcmp (const unsigned char *s1, const unsigned char *s2)
665 {
666   return strcmp ((const char *)s1, (const char *)s2);
667 }
668
669 static inline int
670 ustrncmp (const unsigned char *s1, const unsigned char *s2, size_t n)
671 {
672   return strncmp ((const char *)s1, (const char *)s2, n);
673 }
674
675 static inline int
676 ustrcspn (const unsigned char *s1, const char *s2)
677 {
678   return strcspn ((const char *)s1, s2);
679 }
680
681 static inline size_t
682 ustrlen (const unsigned char *s1)
683 {
684   return strlen ((const char *)s1);
685 }
686
687 static inline unsigned char *
688 uxstrdup (const unsigned char *s1)
689 {
690   return (unsigned char *) xstrdup ((const char *)s1);
691 }
692
693 static inline unsigned char *
694 ustrchr (const unsigned char *s1, int c)
695 {
696   return (unsigned char *) strchr ((const char *)s1, c);
697 }
698
699 static inline int
700 ufputs (const unsigned char *s, FILE *f)
701 {
702   return fputs ((const char *)s, f);
703 }
704
705 #endif /* ! LIBCPP_INTERNAL_H */