gcc/cpppch.c

   1 /* Part of CPP library.  (Precompiled header reading/writing.)
   2    Copyright (C) 2000, 2001, 2002 Free Software Foundation, Inc.
   3
   4 This program is free software; you can redistribute it and/or modify it
   5 under the terms of the GNU General Public License as published by the
   6 Free Software Foundation; either version 2, or (at your option) any
   7 later version.
   8
   9 This program is distributed in the hope that it will be useful,
  10 but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 GNU General Public License for more details.
  13
  14 You should have received a copy of the GNU General Public License
  15 along with this program; if not, write to the Free Software
  16 Foundation, 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.  */
  17
  18 #include "config.h"
  19 #include "system.h"
  20 #include "cpplib.h"
  21 #include "cpphash.h"
  22 #include "intl.h"
  23 #include "hashtab.h"
  24 #include "mkdeps.h"
  25
  26 static int write_macdef (cpp_reader *, cpp_hashnode *, void *);
  27 static int save_idents (cpp_reader *, cpp_hashnode *, void *);
  28 static hashval_t hashmem (const void *, size_t);
  29 static hashval_t cpp_string_hash (const void *);
  30 static int cpp_string_eq (const void *, const void *);
  31 static int count_defs (cpp_reader *, cpp_hashnode *, void *);
  32 static int comp_hashnodes (const void *, const void *);
  33 static int collect_ht_nodes (cpp_reader *, cpp_hashnode *, void *);
  34 static int write_defs (cpp_reader *, cpp_hashnode *, void *);
  35 static int save_macros (cpp_reader *, cpp_hashnode *, void *);
  36
  37 /* This structure represents a macro definition on disk.  */
  38 struct macrodef_struct
  39 {
  40   unsigned int definition_length;
  41   unsigned short name_length;
  42   unsigned short flags;
  43 };
  44
  45 /* This is how we write out a macro definition.
  46    Suitable for being called by cpp_forall_identifiers.  */
  47
  48 static int
  49 write_macdef (cpp_reader *pfile, cpp_hashnode *hn, void *file_p)
  50 {
  51   FILE *f = (FILE *) file_p;
  52   switch (hn->type)
  53     {
  54     case NT_VOID:
  55       if (! (hn->flags & NODE_POISONED))
  56         return 1;
  57
  58     case NT_MACRO:
  59       if ((hn->flags & NODE_BUILTIN))
  60         return 1;
  61
  62       {
  63         struct macrodef_struct s;
  64         const unsigned char *defn;
  65
  66         s.name_length = NODE_LEN (hn);
  67         s.flags = hn->flags & NODE_POISONED;
  68
  69         if (hn->type == NT_MACRO)
  70           {
  71             defn = cpp_macro_definition (pfile, hn);
  72             s.definition_length = ustrlen (defn);
  73           }
  74         else
  75           {
  76             defn = NODE_NAME (hn);
  77             s.definition_length = s.name_length;
  78           }
  79
  80         if (fwrite (&s, sizeof (s), 1, f) != 1
  81             || fwrite (defn, 1, s.definition_length, f) != s.definition_length)
  82           {
  83             cpp_errno (pfile, DL_ERROR, "while writing precompiled header");
  84             return 0;
  85           }
  86       }
  87       return 1;
  88
  89     case NT_ASSERTION:
  90       /* Not currently implemented.  */
  91       return 1;
  92
  93     default:
  94       abort ();
  95     }
  96 }
  97
  98 /* This structure records the names of the defined macros.
  99    It's also used as a callback structure for size_initial_idents
 100    and save_idents.  */
 101
 102 struct cpp_savedstate
 103 {
 104   /* A hash table of the defined identifiers.  */
 105   htab_t definedhash;
 106   /* The size of the definitions of those identifiers (the size of
 107      'definedstrs').  */
 108   size_t hashsize;
 109   /* Number of definitions */
 110   size_t n_defs;
 111   /* Array of definitions.  In cpp_write_pch_deps it is used for sorting.  */
 112   cpp_hashnode **defs;
 113   /* Space for the next definition.  Definitions are null-terminated
 114      strings.  */
 115   unsigned char *definedstrs;
 116 };
 117
 118 /* Save this identifier into the state: put it in the hash table,
 119    put the definition in 'definedstrs'.  */
 120
 121 static int
 122 save_idents (cpp_reader *pfile ATTRIBUTE_UNUSED, cpp_hashnode *hn, void *ss_p)
 123 {
 124   struct cpp_savedstate *const ss = (struct cpp_savedstate *)ss_p;
 125
 126   if (hn->type != NT_VOID)
 127     {
 128       struct cpp_string news;
 129       void **slot;
 130
 131       news.len = NODE_LEN (hn);
 132       news.text= NODE_NAME (hn);
 133       slot = htab_find_slot (ss->definedhash, &news, INSERT);
 134       if (*slot == NULL)
 135         {
 136           struct cpp_string *sp;
 137           unsigned char *text;
 138
 139           sp = xmalloc (sizeof (struct cpp_string));
 140           *slot = sp;
 141
 142           sp->len = NODE_LEN (hn);
 143           sp->text = text = xmalloc (NODE_LEN (hn));
 144           memcpy (text, NODE_NAME (hn), NODE_LEN (hn));
 145         }
 146     }
 147
 148   return 1;
 149 }
 150
 151 /* Hash some memory in a generic way.  */
 152
 153 static hashval_t
 154 hashmem (const void *p_p, size_t sz)
 155 {
 156   const unsigned char *p = (const unsigned char *)p_p;
 157   size_t i;
 158   hashval_t h;
 159
 160   h = 0;
 161   for (i = 0; i < sz; i++)
 162     h = h * 67 - (*p++ - 113);
 163   return h;
 164 }
 165
 166 /* Hash a cpp string for the hashtable machinery.  */
 167
 168 static hashval_t
 169 cpp_string_hash (const void *a_p)
 170 {
 171   const struct cpp_string *a = (const struct cpp_string *) a_p;
 172   return hashmem (a->text, a->len);
 173 }
 174
 175 /* Compare two cpp strings for the hashtable machinery.  */
 176
 177 static int
 178 cpp_string_eq (const void *a_p, const void *b_p)
 179 {
 180   const struct cpp_string *a = (const struct cpp_string *) a_p;
 181   const struct cpp_string *b = (const struct cpp_string *) b_p;
 182   return (a->len == b->len
 183           && memcmp (a->text, b->text, a->len) == 0);
 184 }
 185
 186 /* Save the current definitions of the cpp_reader for dependency
 187    checking purposes.  When writing a precompiled header, this should
 188    be called at the same point in the compilation as cpp_valid_state
 189    would be called when reading the precompiled header back in.  */
 190
 191 int
 192 cpp_save_state (cpp_reader *r, FILE *f)
 193 {
 194   /* Save the list of non-void identifiers for the dependency checking.  */
 195   r->savedstate = xmalloc (sizeof (struct cpp_savedstate));
 196   r->savedstate->definedhash = htab_create (100, cpp_string_hash,
 197                                             cpp_string_eq, NULL);
 198   cpp_forall_identifiers (r, save_idents, r->savedstate);
 199
 200   /* Write out the list of defined identifiers.  */
 201   cpp_forall_identifiers (r, write_macdef, f);
 202
 203   return 0;
 204 }
 205
 206 /* Calculate the 'hashsize' field of the saved state.  */
 207
 208 static int
 209 count_defs (cpp_reader *pfile ATTRIBUTE_UNUSED, cpp_hashnode *hn, void *ss_p)
 210 {
 211   struct cpp_savedstate *const ss = (struct cpp_savedstate *)ss_p;
 212
 213   switch (hn->type)
 214     {
 215     case NT_MACRO:
 216       if (hn->flags & NODE_BUILTIN)
 217         return 1;
 218
 219       /* else fall through.  */
 220
 221     case NT_VOID:
 222       {
 223         struct cpp_string news;
 224         void **slot;
 225
 226         news.len = NODE_LEN (hn);
 227         news.text = NODE_NAME (hn);
 228         slot = htab_find (ss->definedhash, &news);
 229         if (slot == NULL)
 230           {
 231             ss->hashsize += NODE_LEN (hn) + 1;
 232             ss->n_defs += 1;
 233           }
 234       }
 235       return 1;
 236
 237     case NT_ASSERTION:
 238       /* Not currently implemented.  */
 239       return 1;
 240
 241     default:
 242       abort ();
 243     }
 244 }
 245
 246 /* Collect the identifiers into the state's string table.  */
 247 static int
 248 write_defs (cpp_reader *pfile ATTRIBUTE_UNUSED, cpp_hashnode *hn, void *ss_p)
 249 {
 250   struct cpp_savedstate *const ss = (struct cpp_savedstate *)ss_p;
 251
 252   switch (hn->type)
 253     {
 254     case NT_MACRO:
 255       if (hn->flags & NODE_BUILTIN)
 256         return 1;
 257
 258       /* else fall through.  */
 259
 260     case NT_VOID:
 261       {
 262         struct cpp_string news;
 263         void **slot;
 264
 265         news.len = NODE_LEN (hn);
 266         news.text = NODE_NAME (hn);
 267         slot = htab_find (ss->definedhash, &news);
 268         if (slot == NULL)
 269           {
 270             ss->defs[ss->n_defs] = hn;
 271             ss->n_defs += 1;
 272           }
 273       }
 274       return 1;
 275
 276     case NT_ASSERTION:
 277       /* Not currently implemented.  */
 278       return 1;
 279
 280     default:
 281       abort ();
 282     }
 283 }
 284
 285 /* Comparison function for qsort.  The arguments point to pointers of
 286    type ht_hashnode *.  */
 287 static int
 288 comp_hashnodes (const void *px, const void *py)
 289 {
 290   cpp_hashnode *x = *(cpp_hashnode **) px;
 291   cpp_hashnode *y = *(cpp_hashnode **) py;
 292   return ustrcmp (NODE_NAME (x), NODE_NAME (y));
 293 }
 294
 295 /* Write out the remainder of the dependency information.  This should be
 296    called after the PCH is ready to be saved.  */
 297
 298 int
 299 cpp_write_pch_deps (cpp_reader *r, FILE *f)
 300 {
 301   struct macrodef_struct z;
 302   struct cpp_savedstate *const ss = r->savedstate;
 303   unsigned char *definedstrs;
 304   size_t i;
 305
 306   /* Collect the list of identifiers which have been seen and
 307      weren't defined to anything previously.  */
 308   ss->hashsize = 0;
 309   ss->n_defs = 0;
 310   cpp_forall_identifiers (r, count_defs, ss);
 311
 312   ss->defs = xmalloc (ss->n_defs * sizeof (cpp_hashnode *));
 313   ss->n_defs = 0;
 314   cpp_forall_identifiers (r, write_defs, ss);
 315
 316   /* Sort the list, copy it into a buffer, and write it out.  */
 317   qsort (ss->defs, ss->n_defs, sizeof (cpp_hashnode *), &comp_hashnodes);
 318   definedstrs = ss->definedstrs = xmalloc (ss->hashsize);
 319   for (i = 0; i < ss->n_defs; ++i)
 320     {
 321       size_t len = NODE_LEN (ss->defs[i]);
 322       memcpy (definedstrs, NODE_NAME (ss->defs[i]), len + 1);
 323       definedstrs += len + 1;
 324     }
 325
 326   memset (&z, 0, sizeof (z));
 327   z.definition_length = ss->hashsize;
 328   if (fwrite (&z, sizeof (z), 1, f) != 1
 329       || fwrite (ss->definedstrs, ss->hashsize, 1, f) != 1)
 330     {
 331       cpp_errno (r, DL_ERROR, "while writing precompiled header");
 332       return -1;
 333     }
 334   free (ss->definedstrs);
 335
 336   /* Free the saved state.  */
 337   free (ss);
 338   r->savedstate = NULL;
 339   return 0;
 340 }
 341
 342 /* Write out the definitions of the preprocessor, in a form suitable for
 343    cpp_read_state.  */
 344
 345 int
 346 cpp_write_pch_state (cpp_reader *r, FILE *f)
 347 {
 348   struct macrodef_struct z;
 349
 350   /* Write out the list of defined identifiers.  */
 351   cpp_forall_identifiers (r, write_macdef, f);
 352   memset (&z, 0, sizeof (z));
 353   if (fwrite (&z, sizeof (z), 1, f) != 1)
 354     {
 355       cpp_errno (r, DL_ERROR, "while writing precompiled header");
 356       return -1;
 357     }
 358
 359   if (!r->deps)
 360     r->deps = deps_init ();
 361
 362   if (deps_save (r->deps, f) != 0)
 363     {
 364       cpp_errno (r, DL_ERROR, "while writing precompiled header");
 365       return -1;
 366     }
 367
 368   return 0;
 369 }
 370
 371
 372 /* Data structure to transform hash table nodes into a sorted list */
 373
 374 struct ht_node_list
 375 {
 376   /* Array of nodes */
 377   cpp_hashnode **defs;
 378   /* Number of nodes in the array */
 379   size_t n_defs;
 380   /* Size of the allocated array */
 381   size_t asize;
 382 };
 383
 384 /* Callback for collecting identifiers from hash table */
 385
 386 static int
 387 collect_ht_nodes (cpp_reader *pfile ATTRIBUTE_UNUSED, cpp_hashnode *hn,
 388                   void *nl_p)
 389 {
 390   struct ht_node_list *const nl = (struct ht_node_list *)nl_p;
 391
 392   if (hn->type != NT_VOID || hn->flags & NODE_POISONED)
 393     {
 394       if (nl->n_defs == nl->asize)
 395         {
 396           nl->asize *= 2;
 397           nl->defs = xrealloc (nl->defs, nl->asize * sizeof (cpp_hashnode *));
 398         }
 399
 400       nl->defs[nl->n_defs] = hn;
 401       ++nl->n_defs;
 402     }
 403   return 1;
 404 }
 405
 406
 407 /* Return nonzero if FD is a precompiled header which is consistent
 408    with the preprocessor's current definitions.  It will be consistent
 409    when:
 410
 411    - anything that was defined just before the PCH was generated
 412      is defined the same way now; and
 413    - anything that was not defined then, but is defined now, was not
 414      used by the PCH.
 415
 416    NAME is used to print warnings if `warn_invalid_pch' is set in the
 417    reader's flags.
 418 */
 419
 420 int
 421 cpp_valid_state (cpp_reader *r, const char *name, int fd)
 422 {
 423   struct macrodef_struct m;
 424   size_t namebufsz = 256;
 425   unsigned char *namebuf = xmalloc (namebufsz);
 426   unsigned char *undeftab = NULL;
 427   struct ht_node_list nl = { 0, 0, 0 };
 428   unsigned char *first, *last;
 429   unsigned int i;
 430
 431   /* Read in the list of identifiers that must be defined
 432      Check that they are defined in the same way.  */
 433   for (;;)
 434     {
 435       cpp_hashnode *h;
 436       const unsigned char *newdefn;
 437
 438       if (read (fd, &m, sizeof (m)) != sizeof (m))
 439         goto error;
 440
 441       if (m.name_length == 0)
 442         break;
 443
 444       if (m.definition_length > namebufsz)
 445         {
 446           free (namebuf);
 447           namebufsz = m.definition_length + 256;
 448           namebuf = xmalloc (namebufsz);
 449         }
 450
 451       if ((size_t)read (fd, namebuf, m.definition_length)
 452           != m.definition_length)
 453         goto error;
 454
 455       h = cpp_lookup (r, namebuf, m.name_length);
 456       if (m.flags & NODE_POISONED
 457           || h->type != NT_MACRO
 458           || h->flags & NODE_POISONED)
 459         {
 460           if (CPP_OPTION (r, warn_invalid_pch))
 461             cpp_error (r, DL_WARNING_SYSHDR,
 462                        "%s: not used because `%.*s' not defined",
 463                        name, m.name_length, namebuf);
 464           goto fail;
 465         }
 466
 467       newdefn = cpp_macro_definition (r, h);
 468
 469       if (m.definition_length != ustrlen (newdefn)
 470           || memcmp (namebuf, newdefn, m.definition_length) != 0)
 471         {
 472           if (CPP_OPTION (r, warn_invalid_pch))
 473             cpp_error (r, DL_WARNING_SYSHDR,
 474                "%s: not used because `%.*s' defined as `%s' not `%.*s'",
 475                        name, m.name_length, namebuf, newdefn + m.name_length,
 476                        m.definition_length - m.name_length,
 477                        namebuf +  m.name_length);
 478           goto fail;
 479         }
 480     }
 481   free (namebuf);
 482   namebuf = NULL;
 483
 484   /* Read in the list of identifiers that must not be defined.
 485      Check that they really aren't.  */
 486   undeftab = xmalloc (m.definition_length);
 487   if ((size_t) read (fd, undeftab, m.definition_length) != m.definition_length)
 488     goto error;
 489
 490   /* Collect identifiers from the current hash table.  */
 491   nl.n_defs = 0;
 492   nl.asize = 10;
 493   nl.defs = xmalloc (nl.asize * sizeof (cpp_hashnode *));
 494   cpp_forall_identifiers (r, &collect_ht_nodes, &nl);
 495   qsort (nl.defs, nl.n_defs, sizeof (cpp_hashnode *), &comp_hashnodes);
 496
 497   /* Loop through nl.defs and undeftab, both of which are sorted lists.
 498      There should be no matches.  */
 499   first = undeftab;
 500   last = undeftab + m.definition_length;
 501   i = 0;
 502
 503   while (first < last && i < nl.n_defs)
 504     {
 505       int cmp = ustrcmp (first, NODE_NAME (nl.defs[i]));
 506
 507       if (cmp < 0)
 508         first += ustrlen (first) + 1;
 509       else if (cmp > 0)
 510         ++i;
 511       else
 512         {
 513           if (CPP_OPTION (r, warn_invalid_pch))
 514             cpp_error (r, DL_WARNING_SYSHDR,
 515                        "%s: not used because `%s' is defined",
 516                        name, first);
 517           goto fail;
 518         }
 519     }
 520
 521   free(nl.defs);
 522   free (undeftab);
 523
 524   /* We win!  */
 525   return 0;
 526
 527  error:
 528   cpp_errno (r, DL_ERROR, "while reading precompiled header");
 529   return -1;
 530
 531  fail:
 532   if (namebuf != NULL)
 533     free (namebuf);
 534   if (undeftab != NULL)
 535     free (undeftab);
 536   if (nl.defs != NULL)
 537     free (nl.defs);
 538   return 1;
 539 }
 540
 541 /* Save all the existing macros and assertions.
 542    This code assumes that there might be hundreds, but not thousands of
 543    existing definitions.  */
 544
 545 struct save_macro_item {
 546   struct save_macro_item *next;
 547   struct cpp_hashnode macs[64];
 548 };
 549
 550 struct save_macro_data
 551 {
 552   struct save_macro_item *macros;
 553   size_t count;
 554   char **saved_pragmas;
 555 };
 556
 557 /* Save the definition of a single macro, so that it will persist across
 558    a PCH restore.  */
 559
 560 static int
 561 save_macros (cpp_reader *r ATTRIBUTE_UNUSED, cpp_hashnode *h, void *data_p)
 562 {
 563   struct save_macro_data *data = (struct save_macro_data *)data_p;
 564   if (h->type != NT_VOID
 565       && (h->flags & NODE_BUILTIN) == 0)
 566     {
 567       cpp_hashnode *save;
 568       if (data->count == ARRAY_SIZE (data->macros->macs))
 569         {
 570           struct save_macro_item *d = data->macros;
 571           data->macros = xmalloc (sizeof (struct save_macro_item));
 572           data->macros->next = d;
 573           data->count = 0;
 574         }
 575       save = data->macros->macs + data->count;
 576       data->count++;
 577       memcpy (save, h, sizeof (struct cpp_hashnode));
 578       HT_STR (&save->ident) = xmemdup (HT_STR (HT_NODE (save)),
 579                                        HT_LEN (HT_NODE (save)),
 580                                        HT_LEN (HT_NODE (save)) + 1);
 581     }
 582   return 1;
 583 }
 584
 585 /* Prepare to restore the state, by saving the currently-defined
 586    macros in 'data'.  */
 587
 588 void
 589 cpp_prepare_state (cpp_reader *r, struct save_macro_data **data)
 590 {
 591   struct save_macro_data *d = xmalloc (sizeof (struct save_macro_data));
 592
 593   d->macros = NULL;
 594   d->count = ARRAY_SIZE (d->macros->macs);
 595   cpp_forall_identifiers (r, save_macros, d);
 596   d->saved_pragmas = _cpp_save_pragma_names (r);
 597   *data = d;
 598 }
 599
 600 /* Given a precompiled header that was previously determined to be valid,
 601    apply all its definitions (and undefinitions) to the current state.
 602    DEPNAME is passed to deps_restore.  */
 603
 604 int
 605 cpp_read_state (cpp_reader *r, const char *name, FILE *f,
 606                 struct save_macro_data *data)
 607 {
 608   struct macrodef_struct m;
 609   size_t defnlen = 256;
 610   unsigned char *defn = xmalloc (defnlen);
 611   struct lexer_state old_state;
 612   struct save_macro_item *d;
 613   size_t i, mac_count;
 614   int saved_line = r->line;
 615
 616   /* Restore spec_nodes, which will be full of references to the old
 617      hashtable entries and so will now be invalid.  */
 618   {
 619     struct spec_nodes *s = &r->spec_nodes;
 620     s->n_defined        = cpp_lookup (r, DSC("defined"));
 621     s->n_true           = cpp_lookup (r, DSC("true"));
 622     s->n_false          = cpp_lookup (r, DSC("false"));
 623     s->n__VA_ARGS__     = cpp_lookup (r, DSC("__VA_ARGS__"));
 624   }
 625
 626   /* Run through the carefully-saved macros, insert them.  */
 627   d = data->macros;
 628   mac_count = data->count;
 629   while (d)
 630     {
 631       struct save_macro_item *nextd;
 632       for (i = 0; i < mac_count; i++)
 633         {
 634           cpp_hashnode *h;
 635
 636           h = cpp_lookup (r, HT_STR (HT_NODE (&d->macs[i])),
 637                           HT_LEN (HT_NODE (&d->macs[i])));
 638           h->type = d->macs[i].type;
 639           h->flags = d->macs[i].flags;
 640           h->value = d->macs[i].value;
 641           free ((void *)HT_STR (HT_NODE (&d->macs[i])));
 642         }
 643       nextd = d->next;
 644       free (d);
 645       d = nextd;
 646       mac_count = ARRAY_SIZE (d->macs);
 647     }
 648
 649   _cpp_restore_pragma_names (r, data->saved_pragmas);
 650
 651   free (data);
 652
 653   old_state = r->state;
 654
 655   r->state.in_directive = 1;
 656   r->state.prevent_expansion = 1;
 657   r->state.angled_headers = 0;
 658
 659   /* Read in the identifiers that must be defined.  */
 660   for (;;)
 661     {
 662       cpp_hashnode *h;
 663
 664       if (fread (&m, sizeof (m), 1, f) != 1)
 665         goto error;
 666
 667       if (m.name_length == 0)
 668         break;
 669
 670       if (defnlen < m.definition_length + 1)
 671         {
 672           defnlen = m.definition_length + 256;
 673           defn = xrealloc (defn, defnlen);
 674         }
 675
 676       if (fread (defn, 1, m.definition_length, f) != m.definition_length)
 677         goto error;
 678       defn[m.definition_length] = '\n';
 679
 680       h = cpp_lookup (r, defn, m.name_length);
 681
 682       if (h->type == NT_MACRO)
 683         _cpp_free_definition (h);
 684       if (m.flags & NODE_POISONED)
 685         h->flags |= NODE_POISONED | NODE_DIAGNOSTIC;
 686       else if (m.name_length != m.definition_length)
 687         {
 688           if (cpp_push_buffer (r, defn + m.name_length,
 689                                m.definition_length - m.name_length,
 690                                true, 1) != NULL)
 691             {
 692               _cpp_clean_line (r);
 693               if (!_cpp_create_definition (r, h))
 694                 abort ();
 695               _cpp_pop_buffer (r);
 696             }
 697           else
 698             abort ();
 699         }
 700     }
 701
 702   r->state = old_state;
 703   r->line = saved_line;
 704   free (defn);
 705   defn = NULL;
 706
 707   if (deps_restore (r->deps, f, CPP_OPTION (r, restore_pch_deps) ? name : NULL)
 708       != 0)
 709     goto error;
 710
 711   return 0;
 712
 713  error:
 714   cpp_errno (r, DL_ERROR, "while reading precompiled header");
 715   return -1;
 716 }