gcc/go/gofrontend/lex.cc

   1 // lex.cc -- Go frontend lexer.
   2
   3 // Copyright 2009 The Go Authors. All rights reserved.
   4 // Use of this source code is governed by a BSD-style
   5 // license that can be found in the LICENSE file.
   6
   7 #include "go-system.h"
   8
   9 #include "lex.h"
  10
  11 // Manage mapping from keywords to the Keyword codes.
  12
  13 class Keywords
  14 {
  15  public:
  16   // The structure which maps keywords to codes.
  17   struct Mapping
  18   {
  19     // Keyword string.
  20     const char* keystring;
  21     // Keyword code.
  22     Keyword keycode;
  23   };
  24
  25   // Return the parsecode corresponding to KEYSTRING, or
  26   // KEYWORD_INVALID if it is not a keyword.
  27   Keyword
  28   keyword_to_code(const char* keyword, size_t len) const;
  29
  30   // Return the string for a keyword.
  31   const char*
  32   keyword_to_string(Keyword) const;
  33
  34  private:
  35   static const Mapping mapping_[];
  36   static const int count_;
  37 };
  38
  39 // Mapping from keyword string to keyword code.  This array must be
  40 // kept in sorted order, and the order must match the Keyword enum.
  41 // Strings are looked up using bsearch.
  42
  43 const Keywords::Mapping
  44 Keywords::mapping_[] =
  45 {
  46   { NULL,          KEYWORD_INVALID },
  47   { "__asm__",     KEYWORD_ASM },
  48   { "break",       KEYWORD_BREAK },
  49   { "case",        KEYWORD_CASE },
  50   { "chan",        KEYWORD_CHAN },
  51   { "const",       KEYWORD_CONST },
  52   { "continue",    KEYWORD_CONTINUE },
  53   { "default",     KEYWORD_DEFAULT },
  54   { "defer",       KEYWORD_DEFER },
  55   { "else",        KEYWORD_ELSE },
  56   { "fallthrough", KEYWORD_FALLTHROUGH },
  57   { "for",         KEYWORD_FOR },
  58   { "func",        KEYWORD_FUNC },
  59   { "go",          KEYWORD_GO },
  60   { "goto",        KEYWORD_GOTO },
  61   { "if",          KEYWORD_IF },
  62   { "import",      KEYWORD_IMPORT },
  63   { "interface",   KEYWORD_INTERFACE },
  64   { "map",         KEYWORD_MAP },
  65   { "package",     KEYWORD_PACKAGE },
  66   { "range",       KEYWORD_RANGE },
  67   { "return",      KEYWORD_RETURN },
  68   { "select",      KEYWORD_SELECT },
  69   { "struct",      KEYWORD_STRUCT },
  70   { "switch",      KEYWORD_SWITCH },
  71   { "type",        KEYWORD_TYPE },
  72   { "var",         KEYWORD_VAR }
  73 };
  74
  75 // Number of entries in the map.
  76
  77 const int Keywords::count_ =
  78   sizeof(Keywords::mapping_) / sizeof(Keywords::mapping_[0]);
  79
  80 // Comparison function passed to bsearch.
  81
  82 extern "C"
  83 {
  84
  85 struct Keywords_search_key
  86 {
  87   const char* str;
  88   size_t len;
  89 };
  90
  91 static int
  92 keyword_compare(const void* keyv, const void* mapv)
  93 {
  94   const Keywords_search_key* key =
  95     static_cast<const Keywords_search_key*>(keyv);
  96   const Keywords::Mapping* map =
  97     static_cast<const Keywords::Mapping*>(mapv);
  98   if (map->keystring == NULL)
  99     return 1;
 100   int i = strncmp(key->str, map->keystring, key->len);
 101   if (i != 0)
 102     return i;
 103   if (map->keystring[key->len] != '\0')
 104     return -1;
 105   return 0;
 106 }
 107
 108 } // End extern "C".
 109
 110 // Convert a string to a keyword code.  Return KEYWORD_INVALID if the
 111 // string is not a keyword.
 112
 113 Keyword
 114 Keywords::keyword_to_code(const char* keyword, size_t len) const
 115 {
 116   Keywords_search_key key;
 117   key.str = keyword;
 118   key.len = len;
 119   void* mapv = bsearch(&key,
 120                        this->mapping_,
 121                        this->count_,
 122                        sizeof(this->mapping_[0]),
 123                        keyword_compare);
 124   if (mapv == NULL)
 125     return KEYWORD_INVALID;
 126   Mapping* map = static_cast<Mapping*>(mapv);
 127   return map->keycode;
 128 }
 129
 130 // Convert a keyword code to a string.
 131
 132 const char*
 133 Keywords::keyword_to_string(Keyword code) const
 134 {
 135   gcc_assert(code > KEYWORD_INVALID && code < this->count_);
 136   const Mapping* map = &this->mapping_[code];
 137   gcc_assert(map->keycode == code);
 138   return map->keystring;
 139 }
 140
 141 // There is one instance of the Keywords class.
 142
 143 static Keywords keywords;
 144
 145 // Class Token.
 146
 147 // Make a general token.
 148
 149 Token::Token(Classification classification, source_location location)
 150   : classification_(classification), location_(location)
 151 {
 152 }
 153
 154 // Destroy a token.
 155
 156 Token::~Token()
 157 {
 158   this->clear();
 159 }
 160
 161 // Clear a token--release memory.
 162
 163 void
 164 Token::clear()
 165 {
 166   if (this->classification_ == TOKEN_INTEGER)
 167     mpz_clear(this->u_.integer_value);
 168   else if (this->classification_ == TOKEN_FLOAT
 169            || this->classification_ == TOKEN_IMAGINARY)
 170     mpfr_clear(this->u_.float_value);
 171 }
 172
 173 // Construct a token.
 174
 175 Token::Token(const Token& tok)
 176   : classification_(tok.classification_), location_(tok.location_)
 177 {
 178   switch (this->classification_)
 179     {
 180     case TOKEN_INVALID:
 181     case TOKEN_EOF:
 182       break;
 183     case TOKEN_KEYWORD:
 184       this->u_.keyword = tok.u_.keyword;
 185       break;
 186     case TOKEN_IDENTIFIER:
 187     case TOKEN_STRING:
 188       this->u_.string_value = tok.u_.string_value;
 189       break;
 190     case TOKEN_OPERATOR:
 191       this->u_.op = tok.u_.op;
 192       break;
 193     case TOKEN_INTEGER:
 194       mpz_init_set(this->u_.integer_value, tok.u_.integer_value);
 195       break;
 196     case TOKEN_FLOAT:
 197     case TOKEN_IMAGINARY:
 198       mpfr_init_set(this->u_.float_value, tok.u_.float_value, GMP_RNDN);
 199       break;
 200     default:
 201       gcc_unreachable();
 202     }
 203 }
 204
 205 // Assign to a token.
 206
 207 Token&
 208 Token::operator=(const Token& tok)
 209 {
 210   this->clear();
 211   this->classification_ = tok.classification_;
 212   this->location_ = tok.location_;
 213   switch (tok.classification_)
 214     {
 215     case TOKEN_INVALID:
 216     case TOKEN_EOF:
 217       break;
 218     case TOKEN_KEYWORD:
 219       this->u_.keyword = tok.u_.keyword;
 220       break;
 221     case TOKEN_IDENTIFIER:
 222       this->u_.identifier_value.name = tok.u_.identifier_value.name;
 223       this->u_.identifier_value.is_exported =
 224         tok.u_.identifier_value.is_exported;
 225       break;
 226     case TOKEN_STRING:
 227       this->u_.string_value = tok.u_.string_value;
 228       break;
 229     case TOKEN_OPERATOR:
 230       this->u_.op = tok.u_.op;
 231       break;
 232     case TOKEN_INTEGER:
 233       mpz_init_set(this->u_.integer_value, tok.u_.integer_value);
 234       break;
 235     case TOKEN_FLOAT:
 236     case TOKEN_IMAGINARY:
 237       mpfr_init_set(this->u_.float_value, tok.u_.float_value, GMP_RNDN);
 238       break;
 239     default:
 240       gcc_unreachable();
 241     }
 242   return *this;
 243 }
 244
 245 // Print the token for debugging.
 246
 247 void
 248 Token::print(FILE* file) const
 249 {
 250   switch (this->classification_)
 251     {
 252     case TOKEN_INVALID:
 253       fprintf(file, "invalid");
 254       break;
 255     case TOKEN_EOF:
 256       fprintf(file, "EOF");
 257       break;
 258     case TOKEN_KEYWORD:
 259       fprintf(file, "keyword %s", keywords.keyword_to_string(this->u_.keyword));
 260       break;
 261     case TOKEN_IDENTIFIER:
 262       fprintf(file, "identifier \"%s\"", this->u_.string_value->c_str());
 263       break;
 264     case TOKEN_STRING:
 265       fprintf(file, "quoted string \"%s\"", this->u_.string_value->c_str());
 266       break;
 267     case TOKEN_INTEGER:
 268       fprintf(file, "integer ");
 269       mpz_out_str(file, 10, this->u_.integer_value);
 270       break;
 271     case TOKEN_FLOAT:
 272       fprintf(file, "float ");
 273       mpfr_out_str(file, 10, 0, this->u_.float_value, GMP_RNDN);
 274       break;
 275     case TOKEN_IMAGINARY:
 276       fprintf(file, "imaginary ");
 277       mpfr_out_str(file, 10, 0, this->u_.float_value, GMP_RNDN);
 278       break;
 279     case TOKEN_OPERATOR:
 280       fprintf(file, "operator ");
 281       switch (this->u_.op)
 282         {
 283         case OPERATOR_INVALID:
 284           fprintf(file, "invalid");
 285           break;
 286         case OPERATOR_OROR:
 287           fprintf(file, "||");
 288           break;
 289         case OPERATOR_ANDAND:
 290           fprintf(file, "&&");
 291           break;
 292         case OPERATOR_EQEQ:
 293           fprintf(file, "==");
 294           break;
 295         case OPERATOR_NOTEQ:
 296           fprintf(file, "!=");
 297           break;
 298         case OPERATOR_LT:
 299           fprintf(file, "<");
 300           break;
 301         case OPERATOR_LE:
 302           fprintf(file, "<=");
 303           break;
 304         case OPERATOR_GT:
 305           fprintf(file, ">");
 306           break;
 307         case OPERATOR_GE:
 308           fprintf(file, ">=");
 309           break;
 310         case OPERATOR_PLUS:
 311           fprintf(file, "+");
 312           break;
 313         case OPERATOR_MINUS:
 314           fprintf(file, "-");
 315           break;
 316         case OPERATOR_OR:
 317           fprintf(file, "|");
 318           break;
 319         case OPERATOR_XOR:
 320           fprintf(file, "^");
 321           break;
 322         case OPERATOR_MULT:
 323           fprintf(file, "*");
 324           break;
 325         case OPERATOR_DIV:
 326           fprintf(file, "/");
 327           break;
 328         case OPERATOR_MOD:
 329           fprintf(file, "%%");
 330           break;
 331         case OPERATOR_LSHIFT:
 332           fprintf(file, "<<");
 333           break;
 334         case OPERATOR_RSHIFT:
 335           fprintf(file, ">>");
 336           break;
 337         case OPERATOR_AND:
 338           fprintf(file, "&");
 339           break;
 340         case OPERATOR_BITCLEAR:
 341           fprintf(file, "&^");
 342           break;
 343         case OPERATOR_NOT:
 344           fprintf(file, "!");
 345           break;
 346         case OPERATOR_CHANOP:
 347           fprintf(file, "<-");
 348           break;
 349         case OPERATOR_EQ:
 350           fprintf(file, "=");
 351           break;
 352         case OPERATOR_PLUSEQ:
 353           fprintf(file, "+=");
 354           break;
 355         case OPERATOR_MINUSEQ:
 356           fprintf(file, "-=");
 357           break;
 358         case OPERATOR_OREQ:
 359           fprintf(file, "|=");
 360           break;
 361         case OPERATOR_XOREQ:
 362           fprintf(file, "^=");
 363           break;
 364         case OPERATOR_MULTEQ:
 365           fprintf(file, "*=");
 366           break;
 367         case OPERATOR_DIVEQ:
 368           fprintf(file, "/=");
 369           break;
 370         case OPERATOR_MODEQ:
 371           fprintf(file, "%%=");
 372           break;
 373         case OPERATOR_LSHIFTEQ:
 374           fprintf(file, "<<=");
 375           break;
 376         case OPERATOR_RSHIFTEQ:
 377           fprintf(file, ">>=");
 378           break;
 379         case OPERATOR_ANDEQ:
 380           fprintf(file, "&=");
 381           break;
 382         case OPERATOR_BITCLEAREQ:
 383           fprintf(file, "&^=");
 384           break;
 385         case OPERATOR_PLUSPLUS:
 386           fprintf(file, "++");
 387           break;
 388         case OPERATOR_MINUSMINUS:
 389           fprintf(file, "--");
 390           break;
 391         case OPERATOR_COLON:
 392           fprintf(file, ":");
 393           break;
 394         case OPERATOR_COLONEQ:
 395           fprintf(file, ":=");
 396           break;
 397         case OPERATOR_SEMICOLON:
 398           fprintf(file, ";");
 399           break;
 400         case OPERATOR_DOT:
 401           fprintf(file, ".");
 402           break;
 403         case OPERATOR_COMMA:
 404           fprintf(file, ",");
 405           break;
 406         case OPERATOR_LPAREN:
 407           fprintf(file, "(");
 408           break;
 409         case OPERATOR_RPAREN:
 410           fprintf(file, ")");
 411           break;
 412         case OPERATOR_LCURLY:
 413           fprintf(file, "{");
 414           break;
 415         case OPERATOR_RCURLY:
 416           fprintf(file, "}");
 417           break;
 418         case OPERATOR_LSQUARE:
 419           fprintf(file, "[");
 420           break;
 421         case OPERATOR_RSQUARE:
 422           fprintf(file, "]");
 423           break;
 424         default:
 425           gcc_unreachable();
 426         }
 427       break;
 428     default:
 429       gcc_unreachable();
 430     }
 431 }
 432
 433 // Class Lex.
 434
 435 Lex::Lex(const char* input_file_name, FILE* input_file)
 436   : input_file_name_(input_file_name), input_file_(input_file),
 437     linebuf_(NULL), linebufsize_(120), linesize_(0), lineno_(0),
 438     add_semi_at_eol_(false)
 439 {
 440   this->linebuf_ = new char[this->linebufsize_];
 441   linemap_add(line_table, LC_ENTER, 0, input_file_name, 1);
 442 }
 443
 444 Lex::~Lex()
 445 {
 446   delete[] this->linebuf_;
 447   linemap_add(line_table, LC_LEAVE, 0, NULL, 0);
 448 }
 449
 450 // Read a new line from the file.
 451
 452 ssize_t
 453 Lex::get_line()
 454 {
 455   char* buf = this->linebuf_;
 456   size_t size = this->linebufsize_;
 457
 458   FILE* file = this->input_file_;
 459   size_t cur = 0;
 460   while (true)
 461     {
 462       int c = getc(file);
 463       if (c == EOF)
 464         {
 465           if (cur == 0)
 466             return -1;
 467           break;
 468         }
 469       if (cur + 1 >= size)
 470         {
 471           size_t ns = 2 * size + 1;
 472           if (ns < size || static_cast<ssize_t>(ns) < 0)
 473             error_at(this->location(), "out of memory");
 474           char* nb = new char[ns];
 475           memcpy(nb, buf, cur);
 476           delete[] buf;
 477           buf = nb;
 478           size = ns;
 479         }
 480       buf[cur] = c;
 481       ++cur;
 482
 483       if (c == '\n')
 484         break;
 485     }
 486
 487   buf[cur] = '\0';
 488
 489   this->linebuf_ = buf;
 490   this->linebufsize_ = size;
 491
 492   return cur;
 493 }
 494
 495 // See if we need to read a new line.  Return true if there is a new
 496 // line, false if we are at EOF.
 497
 498 bool
 499 Lex::require_line()
 500 {
 501   if (this->lineoff_ < this->linesize_)
 502     return true;
 503
 504   ssize_t got = this->get_line();
 505   if (got < 0)
 506     return false;
 507   ++this->lineno_;
 508   this->linesize_= got;
 509   this->lineoff_ = 0;
 510
 511   linemap_line_start(line_table, this->lineno_, this->linesize_);
 512
 513   return true;
 514 }
 515
 516 // Get the current location.
 517
 518 source_location
 519 Lex::location() const
 520 {
 521   source_location location;
 522   LINEMAP_POSITION_FOR_COLUMN(location, line_table, this->lineoff_ + 1);
 523   return location;
 524 }
 525
 526 // Get a location slightly before the current one.  This is used for
 527 // slightly more efficient handling of operator tokens.
 528
 529 source_location
 530 Lex::earlier_location(int chars) const
 531 {
 532   source_location location;
 533   LINEMAP_POSITION_FOR_COLUMN(location, line_table, this->lineoff_ + 1 - chars);
 534   return location;
 535 }
 536
 537 // Get the next token.
 538
 539 Token
 540 Lex::next_token()
 541 {
 542   while (true)
 543     {
 544       if (!this->require_line())
 545         {
 546           bool add_semi_at_eol = this->add_semi_at_eol_;
 547           this->add_semi_at_eol_ = false;
 548           if (add_semi_at_eol)
 549             return this->make_operator(OPERATOR_SEMICOLON, 1);
 550           return this->make_eof_token();
 551         }
 552
 553       const char* p = this->linebuf_ + this->lineoff_;
 554       const char* pend = this->linebuf_ + this->linesize_;
 555
 556       while (p < pend)
 557         {
 558           unsigned char cc = *p;
 559           switch (cc)
 560             {
 561             case ' ': case '\t': case '\r':
 562               ++p;
 563               // Skip whitespace quickly.
 564               while (*p == ' ' || *p == '\t' || *p == '\r')
 565                 ++p;
 566               break;
 567
 568             case '\n':
 569               {
 570                 ++p;
 571                 bool add_semi_at_eol = this->add_semi_at_eol_;
 572                 this->add_semi_at_eol_ = false;
 573                 if (add_semi_at_eol)
 574                   {
 575                     this->lineoff_ = p - this->linebuf_;
 576                     return this->make_operator(OPERATOR_SEMICOLON, 1);
 577                   }
 578               }
 579               break;
 580
 581             case '/':
 582               if (p[1] == '/')
 583                 {
 584                   this->lineoff_ = p + 2 - this->linebuf_;
 585                   this->skip_cpp_comment();
 586                   p = pend;
 587                   if (p[-1] == '\n' && this->add_semi_at_eol_)
 588                     --p;
 589                 }
 590               else if (p[1] == '*')
 591                 {
 592                   this->lineoff_ = p - this->linebuf_;
 593                   source_location location = this->location();
 594                   if (!this->skip_c_comment())
 595                     return Token::make_invalid_token(location);
 596                   p = this->linebuf_ + this->lineoff_;
 597                   pend = this->linebuf_ + this->linesize_;
 598                 }
 599               else if (p[1] == '=')
 600                 {
 601                   this->add_semi_at_eol_ = false;
 602                   this->lineoff_ = p + 2 - this->linebuf_;
 603                   return this->make_operator(OPERATOR_DIVEQ, 2);
 604                 }
 605               else
 606                 {
 607                   this->add_semi_at_eol_ = false;
 608                   this->lineoff_ = p + 1 - this->linebuf_;
 609                   return this->make_operator(OPERATOR_DIV, 1);
 610                 }
 611               break;
 612
 613             case 'A': case 'B': case 'C': case 'D': case 'E': case 'F':
 614             case 'G': case 'H': case 'I': case 'J': case 'K': case 'L':
 615             case 'M': case 'N': case 'O': case 'P': case 'Q': case 'R':
 616             case 'S': case 'T': case 'U': case 'V': case 'W': case 'X':
 617             case 'Y': case 'Z':
 618             case 'a': case 'b': case 'c': case 'd': case 'e': case 'f':
 619             case 'g': case 'h': case 'i': case 'j': case 'k': case 'l':
 620             case 'm': case 'n': case 'o': case 'p': case 'q': case 'r':
 621             case 's': case 't': case 'u': case 'v': case 'w': case 'x':
 622             case 'y': case 'z':
 623             case '_':
 624               this->lineoff_ = p - this->linebuf_;
 625               return this->gather_identifier();
 626
 627             case '0': case '1': case '2': case '3': case '4':
 628             case '5': case '6': case '7': case '8': case '9':
 629               this->add_semi_at_eol_ = true;
 630               this->lineoff_ = p - this->linebuf_;
 631               return this->gather_number();
 632
 633             case '\'':
 634               this->add_semi_at_eol_ = true;
 635               this->lineoff_ = p - this->linebuf_;
 636               return this->gather_character();
 637
 638             case '"':
 639               this->add_semi_at_eol_ = true;
 640               this->lineoff_ = p - this->linebuf_;
 641               return this->gather_string();
 642
 643             case '`':
 644               this->add_semi_at_eol_ = true;
 645               this->lineoff_ = p - this->linebuf_;
 646               return this->gather_raw_string();
 647
 648             case '<':
 649             case '>':
 650             case '&':
 651               if (p + 2 < pend)
 652                 {
 653                   this->add_semi_at_eol_ = false;
 654                   Operator op = this->three_character_operator(cc, p[1], p[2]);
 655                   if (op != OPERATOR_INVALID)
 656                     {
 657                       this->lineoff_ = p + 3 - this->linebuf_;
 658                       return this->make_operator(op, 3);
 659                     }
 660                 }
 661               // Fall through.
 662             case '|':
 663             case '=':
 664             case '!':
 665             case '+':
 666             case '-':
 667             case '^':
 668             case '*':
 669               // '/' handled above.
 670             case '%':
 671             case ':':
 672             case ';':
 673             case ',':
 674             case '(': case ')':
 675             case '{': case '}':
 676             case '[': case ']':
 677               {
 678                 this->add_semi_at_eol_ = false;
 679                 Operator op = this->two_character_operator(cc, p[1]);
 680                 int chars;
 681                 if (op != OPERATOR_INVALID)
 682                   {
 683                     ++p;
 684                     chars = 2;
 685                   }
 686                 else
 687                   {
 688                     op = this->one_character_operator(cc);
 689                     chars = 1;
 690                   }
 691                 this->lineoff_ = p + 1 - this->linebuf_;
 692                 return this->make_operator(op, chars);
 693               }
 694
 695             case '.':
 696               if (p[1] >= '0' && p[1] <= '9')
 697                 {
 698                   this->add_semi_at_eol_ = true;
 699                   this->lineoff_ = p - this->linebuf_;
 700                   return this->gather_number();
 701                 }
 702               if (p[1] == '.' && p[2] == '.')
 703                 {
 704                   this->add_semi_at_eol_ = false;
 705                   this->lineoff_ = p + 3 - this->linebuf_;
 706                   return this->make_operator(OPERATOR_ELLIPSIS, 3);
 707                 }
 708               this->add_semi_at_eol_ = false;
 709               this->lineoff_ = p + 1 - this->linebuf_;
 710               return this->make_operator(OPERATOR_DOT, 1);
 711
 712             default:
 713               {
 714                 unsigned int ci;
 715                 bool issued_error;
 716                 this->lineoff_ = p - this->linebuf_;
 717                 this->advance_one_utf8_char(p, &ci, &issued_error);
 718                 if (Lex::is_unicode_letter(ci))
 719                   return this->gather_identifier();
 720
 721                 if (!issued_error)
 722                   error_at(this->location(),
 723                            "invalid character 0x%x in input file",
 724                            ci);
 725
 726                 p = pend;
 727
 728                 break;
 729               }
 730             }
 731         }
 732
 733       this->lineoff_ = p - this->linebuf_;
 734     }
 735 }
 736
 737 // Fetch one UTF-8 character from a string.  Set *VALUE to the value.
 738 // Return the number of bytes read from the string.  Returns 0 if the
 739 // string does not point to a valid UTF-8 character.
 740
 741 int
 742 Lex::fetch_char(const char* p, unsigned int* value)
 743 {
 744   unsigned char c = *p;
 745   if (c == 0)
 746     {
 747       *value = 0xfffd;
 748       return 0;
 749     }
 750   else if (c <= 0x7f)
 751     {
 752       *value = c;
 753       return 1;
 754     }
 755   else if ((c & 0xe0) == 0xc0
 756            && (p[1] & 0xc0) == 0x80)
 757     {
 758       *value = (((c & 0x1f) << 6)
 759                 + (p[1] & 0x3f));
 760       if (*value <= 0x7f)
 761         {
 762           *value = 0xfffd;
 763           return 0;
 764         }
 765       return 2;
 766     }
 767   else if ((c & 0xf0) == 0xe0
 768            && (p[1] & 0xc0) == 0x80
 769            && (p[2] & 0xc0) == 0x80)
 770     {
 771       *value = (((c & 0xf) << 12)
 772                 + ((p[1] & 0x3f) << 6)
 773                 + (p[2] & 0x3f));
 774       if (*value <= 0x7ff)
 775         {
 776           *value = 0xfffd;
 777           return 0;
 778         }
 779       return 3;
 780     }
 781   else if ((c & 0xf8) == 0xf0
 782            && (p[1] & 0xc0) == 0x80
 783            && (p[2] & 0xc0) == 0x80
 784            && (p[3] & 0xc0) == 0x80)
 785     {
 786       *value = (((c & 0x7) << 18)
 787                 + ((p[1] & 0x3f) << 12)
 788                 + ((p[2] & 0x3f) << 6)
 789                 + (p[3] & 0x3f));
 790       if (*value <= 0xffff)
 791         {
 792           *value = 0xfffd;
 793           return 0;
 794         }
 795       return 4;
 796     }
 797   else
 798     {
 799       /* Invalid encoding. Return the Unicode replacement
 800          character.  */
 801       *value = 0xfffd;
 802       return 0;
 803     }
 804 }
 805
 806 // Advance one UTF-8 character.  Return the pointer beyond the
 807 // character.  Set *VALUE to the value.  Set *ISSUED_ERROR if an error
 808 // was issued.
 809
 810 const char*
 811 Lex::advance_one_utf8_char(const char* p, unsigned int* value,
 812                            bool* issued_error)
 813 {
 814   *issued_error = false;
 815   int adv = Lex::fetch_char(p, value);
 816   if (adv == 0)
 817     {
 818       if (*p == '\0')
 819         error_at(this->location(), "invalid NUL byte");
 820       else
 821         error_at(this->location(), "invalid UTF-8 encoding");
 822       *issued_error = true;
 823       return p + 1;
 824     }
 825   return p + adv;
 826 }
 827
 828 // Pick up an identifier.
 829
 830 Token
 831 Lex::gather_identifier()
 832 {
 833   const char* pstart = this->linebuf_ + this->lineoff_;
 834   const char* p = pstart;
 835   const char* pend = this->linebuf_ + this->linesize_;
 836   bool is_first = true;
 837   bool is_exported = false;
 838   bool has_non_ascii_char = false;
 839   std::string buf;
 840   while (p < pend)
 841     {
 842       unsigned char cc = *p;
 843       if (cc <= 0x7f)
 844         {
 845           if ((cc < 'A' || cc > 'Z')
 846               && (cc < 'a' || cc > 'z')
 847               && cc != '_'
 848               && (cc < '0' || cc > '9'))
 849             break;
 850           ++p;
 851           if (is_first)
 852             {
 853               is_exported = cc >= 'A' && cc <= 'Z';
 854               is_first = false;
 855             }
 856           if (has_non_ascii_char)
 857             buf.push_back(cc);
 858         }
 859       else
 860         {
 861           unsigned int ci;
 862           bool issued_error;
 863           this->lineoff_ = p - this->linebuf_;
 864           const char* pnext = this->advance_one_utf8_char(p, &ci,
 865                                                           &issued_error);
 866           if (!Lex::is_unicode_letter(ci) && !Lex::is_unicode_digit(ci))
 867             {
 868               // There is no valid place for a non-ASCII character
 869               // other than an identifier, so we get better error
 870               // handling behaviour if we swallow this character after
 871               // giving an error.
 872               if (!issued_error)
 873                 error_at(this->location(),
 874                          "invalid character 0x%x in identifier",
 875                          ci);
 876             }
 877           if (is_first)
 878             {
 879               is_exported = Lex::is_unicode_uppercase(ci);
 880               is_first = false;
 881             }
 882           if (!has_non_ascii_char)
 883             {
 884               buf.assign(pstart, p - pstart);
 885               has_non_ascii_char = true;
 886             }
 887           p = pnext;
 888           char ubuf[50];
 889           // This assumes that all assemblers can handle an identifier
 890           // with a '$' character.
 891           snprintf(ubuf, sizeof ubuf, "$U%x$", ci);
 892           buf.append(ubuf);
 893         }
 894     }
 895   source_location location = this->location();
 896   this->add_semi_at_eol_ = true;
 897   this->lineoff_ = p - this->linebuf_;
 898   if (has_non_ascii_char)
 899     return Token::make_identifier_token(buf, is_exported, location);
 900   else
 901     {
 902       Keyword code = keywords.keyword_to_code(pstart, p - pstart);
 903       if (code == KEYWORD_INVALID)
 904         return Token::make_identifier_token(std::string(pstart, p - pstart),
 905                                             is_exported, location);
 906       else
 907         {
 908           switch (code)
 909             {
 910             case KEYWORD_BREAK:
 911             case KEYWORD_CONTINUE:
 912             case KEYWORD_FALLTHROUGH:
 913             case KEYWORD_RETURN:
 914               break;
 915             default:
 916               this->add_semi_at_eol_ = false;
 917               break;
 918             }
 919           return Token::make_keyword_token(code, location);
 920         }
 921     }
 922 }
 923
 924 // Return whether C is a hex digit.
 925
 926 bool
 927 Lex::is_hex_digit(char c)
 928 {
 929   return ((c >= '0' && c <= '9')
 930           || (c >= 'A' && c <= 'F')
 931           || (c >= 'a' && c <= 'f'));
 932 }
 933
 934 // Return whether an exponent could start at P.
 935
 936 bool
 937 Lex::could_be_exponent(const char* p, const char* pend)
 938 {
 939   if (*p != 'e' && *p != 'E')
 940     return false;
 941   ++p;
 942   if (p >= pend)
 943     return false;
 944   if (*p == '+' || *p == '-')
 945     {
 946       ++p;
 947       if (p >= pend)
 948         return false;
 949     }
 950   return *p >= '0' && *p <= '9';
 951 }
 952
 953 // Pick up a number.
 954
 955 Token
 956 Lex::gather_number()
 957 {
 958   const char* pstart = this->linebuf_ + this->lineoff_;
 959   const char* p = pstart;
 960   const char* pend = this->linebuf_ + this->linesize_;
 961
 962   source_location location = this->location();
 963
 964   bool neg = false;
 965   if (*p == '+')
 966     ++p;
 967   else if (*p == '-')
 968     {
 969       ++p;
 970       neg = true;
 971     }
 972
 973   const char* pnum = p;
 974   if (*p == '0')
 975     {
 976       int base;
 977       if ((p[1] == 'x' || p[1] == 'X')
 978           && Lex::is_hex_digit(p[2]))
 979         {
 980           base = 16;
 981           p += 2;
 982           pnum = p;
 983           while (p < pend)
 984             {
 985               if (!Lex::is_hex_digit(*p))
 986                 break;
 987               ++p;
 988             }
 989         }
 990       else
 991         {
 992           base = 8;
 993           pnum = p;
 994           while (p < pend)
 995             {
 996               if (*p < '0' || *p > '7')
 997                 break;
 998               ++p;
 999             }
1000         }
1001
1002       if (*p != '.' && *p != 'i' && !Lex::could_be_exponent(p, pend))
1003         {
1004           std::string s(pnum, p - pnum);
1005           mpz_t val;
1006           int r = mpz_init_set_str(val, s.c_str(), base);
1007           gcc_assert(r == 0);
1008
1009           if (neg)
1010             mpz_neg(val, val);
1011
1012           this->lineoff_ = p - this->linebuf_;
1013           Token ret = Token::make_integer_token(val, location);
1014           mpz_clear(val);
1015           return ret;
1016         }
1017     }
1018
1019   while (p < pend)
1020     {
1021       if (*p < '0' || *p > '9')
1022         break;
1023       ++p;
1024     }
1025
1026   if (*p != '.' && *p != 'i' && !Lex::could_be_exponent(p, pend))
1027     {
1028       std::string s(pnum, p - pnum);
1029       mpz_t val;
1030       int r = mpz_init_set_str(val, s.c_str(), 10);
1031       gcc_assert(r == 0);
1032
1033       if (neg)
1034         mpz_neg(val, val);
1035
1036       this->lineoff_ = p - this->linebuf_;
1037       Token ret = Token::make_integer_token(val, location);
1038       mpz_clear(val);
1039       return ret;
1040     }
1041
1042   if (*p != 'i')
1043     {
1044       bool dot = *p == '.';
1045
1046       ++p;
1047
1048       if (!dot)
1049         {
1050           if (*p == '+' || *p == '-')
1051             ++p;
1052         }
1053
1054       while (p < pend)
1055         {
1056           if (*p < '0' || *p > '9')
1057             break;
1058           ++p;
1059         }
1060
1061       if (dot && Lex::could_be_exponent(p, pend))
1062         {
1063           ++p;
1064           if (*p == '+' || *p == '-')
1065             ++p;
1066           while (p < pend)
1067             {
1068               if (*p < '0' || *p > '9')
1069                 break;
1070               ++p;
1071             }
1072         }
1073     }
1074
1075   std::string s(pnum, p - pnum);
1076   mpfr_t val;
1077   int r = mpfr_init_set_str(val, s.c_str(), 10, GMP_RNDN);
1078   gcc_assert(r == 0);
1079
1080   if (neg)
1081     mpfr_neg(val, val, GMP_RNDN);
1082
1083   bool is_imaginary = *p == 'i';
1084   if (is_imaginary)
1085     ++p;
1086
1087   this->lineoff_ = p - this->linebuf_;
1088   if (is_imaginary)
1089     {
1090       Token ret = Token::make_imaginary_token(val, location);
1091       mpfr_clear(val);
1092       return ret;
1093     }
1094   else
1095     {
1096       Token ret = Token::make_float_token(val, location);
1097       mpfr_clear(val);
1098       return ret;
1099     }
1100 }
1101
1102 // Advance one character, possibly escaped.  Return the pointer beyond
1103 // the character.  Set *VALUE to the character.  Set *IS_CHARACTER if
1104 // this is a character (e.g., 'a' or '\u1234') rather than a byte
1105 // value (e.g., '\001').
1106
1107 const char*
1108 Lex::advance_one_char(const char* p, bool is_single_quote, unsigned int* value,
1109                       bool* is_character)
1110 {
1111   *value = 0;
1112   *is_character = true;
1113   if (*p != '\\')
1114     {
1115       bool issued_error;
1116       const char* ret = this->advance_one_utf8_char(p, value, &issued_error);
1117       if (is_single_quote
1118           && (*value == '\'' || *value == '\n')
1119           && !issued_error)
1120         error_at(this->location(), "invalid character literal");
1121       return ret;
1122     }
1123   else
1124     {
1125       ++p;
1126       switch (*p)
1127         {
1128         case '0': case '1': case '2': case '3':
1129         case '4': case '5': case '6': case '7':
1130           *is_character = false;
1131           if (p[1] >= '0' && p[1] <= '7'
1132               && p[2] >= '0' && p[2] <= '7')
1133             {
1134               *value = ((Lex::octal_value(p[0]) << 6)
1135                         + (Lex::octal_value(p[1]) << 3)
1136                         + Lex::octal_value(p[2]));
1137               if (*value > 255)
1138                 {
1139                   error_at(this->location(), "invalid octal constant");
1140                   *value = 255;
1141                 }
1142               return p + 3;
1143             }
1144               error_at(this->location(), "invalid octal character");
1145           return (p[1] >= '0' && p[1] <= '7'
1146                   ? p + 2
1147                   : p + 1);
1148
1149         case 'x':
1150         case 'X':
1151           *is_character = false;
1152           if (Lex::is_hex_digit(p[1]) && Lex::is_hex_digit(p[2]))
1153             {
1154               *value = (hex_value(p[1]) << 4) + hex_value(p[2]);
1155               return p + 3;
1156             }
1157           error_at(this->location(), "invalid hex character");
1158           return (Lex::is_hex_digit(p[1])
1159                   ? p + 2
1160                   : p + 1);
1161
1162         case 'a':
1163           *value = '\a';
1164           return p + 1;
1165         case 'b':
1166           *value = '\b';
1167           return p + 1;
1168         case 'f':
1169           *value = '\f';
1170           return p + 1;
1171         case 'n':
1172           *value = '\n';
1173           return p + 1;
1174         case 'r':
1175           *value = '\r';
1176           return p + 1;
1177         case 't':
1178           *value = '\t';
1179           return p + 1;
1180         case 'v':
1181           *value = '\v';
1182           return p + 1;
1183         case '\\':
1184           *value = '\\';
1185           return p + 1;
1186         case '\'':
1187           if (!is_single_quote)
1188             error_at(this->location(), "invalid quoted character");
1189           *value = '\'';
1190           return p + 1;
1191         case '"':
1192           if (is_single_quote)
1193             error_at(this->location(), "invalid quoted character");
1194           *value = '"';
1195           return p + 1;
1196
1197         case 'u':
1198           if (Lex::is_hex_digit(p[1]) && Lex::is_hex_digit(p[2])
1199               && Lex::is_hex_digit(p[3]) && Lex::is_hex_digit(p[4]))
1200             {
1201               *value = ((hex_value(p[1]) << 12)
1202                         + (hex_value(p[2]) << 8)
1203                         + (hex_value(p[3]) << 4)
1204                         + hex_value(p[4]));
1205               if (*value >= 0xd800 && *value < 0xe000)
1206                 {
1207                   error_at(this->location(),
1208                            "invalid unicode code point 0x%x",
1209                            *value);
1210                   // Use the replacement character.
1211                   *value = 0xfffd;
1212                 }
1213               return p + 5;
1214             }
1215           error_at(this->location(), "invalid little unicode code point");
1216           return p + 1;
1217
1218         case 'U':
1219           if (Lex::is_hex_digit(p[1]) && Lex::is_hex_digit(p[2])
1220               && Lex::is_hex_digit(p[3]) && Lex::is_hex_digit(p[4])
1221               && Lex::is_hex_digit(p[5]) && Lex::is_hex_digit(p[6])
1222               && Lex::is_hex_digit(p[7]) && Lex::is_hex_digit(p[8]))
1223             {
1224               *value = ((hex_value(p[1]) << 28)
1225                         + (hex_value(p[2]) << 24)
1226                         + (hex_value(p[3]) << 20)
1227                         + (hex_value(p[4]) << 16)
1228                         + (hex_value(p[5]) << 12)
1229                         + (hex_value(p[6]) << 8)
1230                         + (hex_value(p[7]) << 4)
1231                         + hex_value(p[8]));
1232               if (*value > 0x10ffff
1233                   || (*value >= 0xd800 && *value < 0xe000))
1234                 {
1235                   error_at(this->location(), "invalid unicode code point 0x%x",
1236                            *value);
1237                   // Use the replacement character.
1238                   *value = 0xfffd;
1239                 }
1240               return p + 9;
1241             }
1242           error_at(this->location(), "invalid big unicode code point");
1243           return p + 1;
1244
1245         default:
1246           error_at(this->location(), "invalid character after %<\\%>");
1247           *value = *p;
1248           return p + 1;
1249         }
1250     }
1251 }
1252
1253 // Append V to STR.  IS_CHARACTER is true for a character which should
1254 // be stored in UTF-8, false for a general byte value which should be
1255 // stored directly.
1256
1257 void
1258 Lex::append_char(unsigned int v, bool is_character, std::string* str,
1259                  source_location location)
1260 {
1261   char buf[4];
1262   size_t len;
1263   if (v <= 0x7f || !is_character)
1264     {
1265       buf[0] = v;
1266       len = 1;
1267     }
1268   else if (v <= 0x7ff)
1269     {
1270       buf[0] = 0xc0 + (v >> 6);
1271       buf[1] = 0x80 + (v & 0x3f);
1272       len = 2;
1273     }
1274   else
1275     {
1276       if (v > 0x10ffff)
1277         {
1278           warning_at(location, 0,
1279                      "unicode code point 0x%x out of range in string", v);
1280           // Turn it into the "replacement character".
1281           v = 0xfffd;
1282         }
1283       if (v <= 0xffff)
1284         {
1285           buf[0] = 0xe0 + (v >> 12);
1286           buf[1] = 0x80 + ((v >> 6) & 0x3f);
1287           buf[2] = 0x80 + (v & 0x3f);
1288           len = 3;
1289         }
1290       else
1291         {
1292           buf[0] = 0xf0 + (v >> 18);
1293           buf[1] = 0x80 + ((v >> 12) & 0x3f);
1294           buf[2] = 0x80 + ((v >> 6) & 0x3f);
1295           buf[3] = 0x80 + (v & 0x3f);
1296           len = 4;
1297         }
1298     }
1299   str->append(buf, len);
1300 }
1301
1302 // Pick up a character literal.
1303
1304 Token
1305 Lex::gather_character()
1306 {
1307   ++this->lineoff_;
1308   const char* pstart = this->linebuf_ + this->lineoff_;
1309   const char* p = pstart;
1310
1311   unsigned int value;
1312   bool is_character;
1313   p = this->advance_one_char(p, true, &value, &is_character);
1314
1315   if (*p != '\'')
1316     {
1317       error_at(this->location(), "unterminated character constant");
1318       this->lineoff_ = p - this->linebuf_;
1319       return this->make_invalid_token();
1320     }
1321
1322   mpz_t val;
1323   mpz_init_set_ui(val, value);
1324
1325   source_location location = this->location();
1326   this->lineoff_ = p + 1 - this->linebuf_;
1327   Token ret = Token::make_integer_token(val, location);
1328   mpz_clear(val);
1329   return ret;
1330 }
1331
1332 // Pick up a quoted string.
1333
1334 Token
1335 Lex::gather_string()
1336 {
1337   const char* pstart = this->linebuf_ + this->lineoff_ + 1;
1338   const char* p = pstart;
1339   const char* pend = this->linebuf_ + this->linesize_;
1340
1341   std::string value;
1342   while (*p != '"')
1343     {
1344       source_location loc = this->location();
1345       unsigned int c;
1346       bool is_character;
1347       this->lineoff_ = p - this->linebuf_;
1348       p = this->advance_one_char(p, false, &c, &is_character);
1349       if (p >= pend)
1350         {
1351           error_at(this->location(), "unterminated string");
1352           --p;
1353           break;
1354         }
1355       Lex::append_char(c, is_character, &value, loc);
1356     }
1357
1358   source_location location = this->location();
1359   this->lineoff_ = p + 1 - this->linebuf_;
1360   return Token::make_string_token(value, location);
1361 }
1362
1363 // Pick up a raw string.
1364
1365 Token
1366 Lex::gather_raw_string()
1367 {
1368   const char* p = this->linebuf_ + this->lineoff_ + 1;
1369   const char* pend = this->linebuf_ + this->linesize_;
1370   source_location location = this->location();
1371
1372   std::string value;
1373   while (true)
1374     {
1375       while (p < pend)
1376         {
1377           if (*p == '`')
1378             {
1379               this->lineoff_ = p + 1 - this->linebuf_;
1380               return Token::make_string_token(value, location);
1381             }
1382           source_location loc = this->location();
1383           unsigned int c;
1384           bool issued_error;
1385           this->lineoff_ = p - this->linebuf_;
1386           p = this->advance_one_utf8_char(p, &c, &issued_error);
1387           Lex::append_char(c, true, &value, loc);
1388         }
1389       this->lineoff_ = p - this->linebuf_;
1390       if (!this->require_line())
1391         {
1392           error_at(location, "unterminated raw string");
1393           return Token::make_string_token(value, location);
1394         }
1395       p = this->linebuf_ + this->lineoff_;
1396       pend = this->linebuf_ + this->linesize_;
1397     }
1398 }
1399
1400 // If C1 C2 C3 are a three character operator, return the code.
1401
1402 Operator
1403 Lex::three_character_operator(char c1, char c2, char c3)
1404 {
1405   if (c3 == '=')
1406     {
1407       if (c1 == '<' && c2 == '<')
1408         return OPERATOR_LSHIFTEQ;
1409       else if (c1 == '>' && c2 == '>')
1410         return OPERATOR_RSHIFTEQ;
1411       else if (c1 == '&' && c2 == '^')
1412         return OPERATOR_BITCLEAREQ;
1413     }
1414   return OPERATOR_INVALID;
1415 }
1416
1417 // If C1 C2 are a two character operator, return the code.
1418
1419 Operator
1420 Lex::two_character_operator(char c1, char c2)
1421 {
1422   switch (c1)
1423     {
1424     case '|':
1425       if (c2 == '|')
1426         return OPERATOR_OROR;
1427       else if (c2 == '=')
1428         return OPERATOR_OREQ;
1429       break;
1430     case '&':
1431       if (c2 == '&')
1432         return OPERATOR_ANDAND;
1433       else if (c2 == '^')
1434         return OPERATOR_BITCLEAR;
1435       else if (c2 == '=')
1436         return OPERATOR_ANDEQ;
1437       break;
1438     case '^':
1439       if (c2 == '=')
1440         return OPERATOR_XOREQ;
1441       break;
1442     case '=':
1443       if (c2 == '=')
1444         return OPERATOR_EQEQ;
1445       break;
1446     case '!':
1447       if (c2 == '=')
1448         return OPERATOR_NOTEQ;
1449       break;
1450     case '<':
1451       if (c2 == '=')
1452         return OPERATOR_LE;
1453       else if (c2 == '<')
1454         return OPERATOR_LSHIFT;
1455       else if (c2 == '-')
1456         return OPERATOR_CHANOP;
1457       break;
1458     case '>':
1459       if (c2 == '=')
1460         return OPERATOR_GE;
1461       else if (c2 == '>')
1462         return OPERATOR_RSHIFT;
1463       break;
1464     case '*':
1465       if (c2 == '=')
1466         return OPERATOR_MULTEQ;
1467       break;
1468     case '/':
1469       if (c2 == '=')
1470         return OPERATOR_DIVEQ;
1471       break;
1472     case '%':
1473       if (c2 == '=')
1474         return OPERATOR_MODEQ;
1475       break;
1476     case '+':
1477       if (c2 == '+')
1478         {
1479           this->add_semi_at_eol_ = true;
1480           return OPERATOR_PLUSPLUS;
1481         }
1482       else if (c2 == '=')
1483         return OPERATOR_PLUSEQ;
1484       break;
1485     case '-':
1486       if (c2 == '-')
1487         {
1488           this->add_semi_at_eol_ = true;
1489           return OPERATOR_MINUSMINUS;
1490         }
1491       else if (c2 == '=')
1492         return OPERATOR_MINUSEQ;
1493       break;
1494     case ':':
1495       if (c2 == '=')
1496         return OPERATOR_COLONEQ;
1497       break;
1498     default:
1499       break;
1500     }
1501   return OPERATOR_INVALID;
1502 }
1503
1504 // If character C is an operator, return the code.
1505
1506 Operator
1507 Lex::one_character_operator(char c)
1508 {
1509   switch (c)
1510     {
1511     case '<':
1512       return OPERATOR_LT;
1513     case '>':
1514       return OPERATOR_GT;
1515     case '+':
1516       return OPERATOR_PLUS;
1517     case '-':
1518       return OPERATOR_MINUS;
1519     case '|':
1520       return OPERATOR_OR;
1521     case '^':
1522       return OPERATOR_XOR;
1523     case '*':
1524       return OPERATOR_MULT;
1525     case '/':
1526       return OPERATOR_DIV;
1527     case '%':
1528       return OPERATOR_MOD;
1529     case '&':
1530       return OPERATOR_AND;
1531     case '!':
1532       return OPERATOR_NOT;
1533     case '=':
1534       return OPERATOR_EQ;
1535     case ':':
1536       return OPERATOR_COLON;
1537     case ';':
1538       return OPERATOR_SEMICOLON;
1539     case '.':
1540       return OPERATOR_DOT;
1541     case ',':
1542       return OPERATOR_COMMA;
1543     case '(':
1544       return OPERATOR_LPAREN;
1545     case ')':
1546       this->add_semi_at_eol_ = true;
1547       return OPERATOR_RPAREN;
1548     case '{':
1549       return OPERATOR_LCURLY;
1550     case '}':
1551       this->add_semi_at_eol_ = true;
1552       return OPERATOR_RCURLY;
1553     case '[':
1554       return OPERATOR_LSQUARE;
1555     case ']':
1556       this->add_semi_at_eol_ = true;
1557       return OPERATOR_RSQUARE;
1558     default:
1559       return OPERATOR_INVALID;
1560     }
1561 }
1562
1563 // Skip a C-style comment.
1564
1565 bool
1566 Lex::skip_c_comment()
1567 {
1568   while (true)
1569     {
1570       if (!this->require_line())
1571         {
1572           error_at(this->location(), "unterminated comment");
1573           return false;
1574         }
1575
1576       const char* p = this->linebuf_ + this->lineoff_;
1577       const char* pend = this->linebuf_ + this->linesize_;
1578
1579       while (p < pend)
1580         {
1581           if (p[0] == '*' && p + 1 < pend && p[1] == '/')
1582             {
1583               this->lineoff_ = p + 2 - this->linebuf_;
1584               return true;
1585             }
1586
1587           this->lineoff_ = p - this->linebuf_;
1588           unsigned int c;
1589           bool issued_error;
1590           p = this->advance_one_utf8_char(p, &c, &issued_error);
1591         }
1592
1593       this->lineoff_ = p - this->linebuf_;
1594     }
1595 }
1596
1597 // Skip a C++-style comment.
1598
1599 void
1600 Lex::skip_cpp_comment()
1601 {
1602   const char* p = this->linebuf_ + this->lineoff_;
1603   const char* pend = this->linebuf_ + this->linesize_;
1604
1605   // By convention, a C++ comment at the start of the line of the form
1606   //   //line FILE:LINENO
1607   // is interpreted as setting the file name and line number of the
1608   // next source line.
1609
1610   if (this->lineoff_ == 2
1611       && pend - p > 5
1612       && memcmp(p, "line ", 5) == 0)
1613     {
1614       p += 5;
1615       while (p < pend && *p == ' ')
1616         ++p;
1617       const char* pcolon = static_cast<const char*>(memchr(p, ':', pend - p));
1618       if (pcolon != NULL
1619           && pcolon[1] >= '0'
1620           && pcolon[1] <= '9')
1621         {
1622           char* plend;
1623           long lineno = strtol(pcolon + 1, &plend, 10);
1624           if (plend > pcolon + 1
1625               && (plend == pend
1626                   || *plend < '0'
1627                   || *plend > '9')
1628               && lineno > 0
1629               && lineno < 0x7fffffff)
1630             {
1631               unsigned int filelen = pcolon - p;
1632               char* file = new char[filelen + 1];
1633               memcpy(file, p, filelen);
1634               file[filelen] = '\0';
1635
1636               linemap_add(line_table, LC_LEAVE, 0, NULL, 0);
1637               linemap_add(line_table, LC_ENTER, 0, file, lineno);
1638               this->lineno_ = lineno - 1;
1639
1640               p = plend;
1641             }
1642         }
1643     }
1644
1645   while (p < pend)
1646     {
1647       this->lineoff_ = p - this->linebuf_;
1648       unsigned int c;
1649       bool issued_error;
1650       p = this->advance_one_utf8_char(p, &c, &issued_error);
1651     }
1652 }
1653
1654 // The Unicode tables use this struct.
1655
1656 struct Unicode_range
1657 {
1658   // The low end of the range.
1659   unsigned int low;
1660   // The high end of the range.
1661   unsigned int high;
1662   // The stride.  This entries represents low, low + stride, low + 2 *
1663   // stride, etc., up to high.
1664   unsigned int stride;
1665 };
1666
1667 // A table of Unicode digits--Unicode code points classified as
1668 // "Digit".
1669
1670 static const Unicode_range unicode_digits[] =
1671 {
1672   { 0x0030, 0x0039, 1},
1673   { 0x0660, 0x0669, 1},
1674   { 0x06f0, 0x06f9, 1},
1675   { 0x07c0, 0x07c9, 1},
1676   { 0x0966, 0x096f, 1},
1677   { 0x09e6, 0x09ef, 1},
1678   { 0x0a66, 0x0a6f, 1},
1679   { 0x0ae6, 0x0aef, 1},
1680   { 0x0b66, 0x0b6f, 1},
1681   { 0x0be6, 0x0bef, 1},
1682   { 0x0c66, 0x0c6f, 1},
1683   { 0x0ce6, 0x0cef, 1},
1684   { 0x0d66, 0x0d6f, 1},
1685   { 0x0e50, 0x0e59, 1},
1686   { 0x0ed0, 0x0ed9, 1},
1687   { 0x0f20, 0x0f29, 1},
1688   { 0x1040, 0x1049, 1},
1689   { 0x17e0, 0x17e9, 1},
1690   { 0x1810, 0x1819, 1},
1691   { 0x1946, 0x194f, 1},
1692   { 0x19d0, 0x19d9, 1},
1693   { 0x1b50, 0x1b59, 1},
1694   { 0xff10, 0xff19, 1},
1695   { 0x104a0, 0x104a9, 1},
1696   { 0x1d7ce, 0x1d7ff, 1},
1697 };
1698
1699 // A table of Unicode letters--Unicode code points classified as
1700 // "Letter".
1701
1702 static const Unicode_range unicode_letters[] =
1703 {
1704   { 0x0041, 0x005a, 1},
1705   { 0x0061, 0x007a, 1},
1706   { 0x00aa, 0x00b5, 11},
1707   { 0x00ba, 0x00ba, 1},
1708   { 0x00c0, 0x00d6, 1},
1709   { 0x00d8, 0x00f6, 1},
1710   { 0x00f8, 0x02c1, 1},
1711   { 0x02c6, 0x02d1, 1},
1712   { 0x02e0, 0x02e4, 1},
1713   { 0x02ec, 0x02ee, 2},
1714   { 0x0370, 0x0374, 1},
1715   { 0x0376, 0x0377, 1},
1716   { 0x037a, 0x037d, 1},
1717   { 0x0386, 0x0386, 1},
1718   { 0x0388, 0x038a, 1},
1719   { 0x038c, 0x038c, 1},
1720   { 0x038e, 0x03a1, 1},
1721   { 0x03a3, 0x03f5, 1},
1722   { 0x03f7, 0x0481, 1},
1723   { 0x048a, 0x0523, 1},
1724   { 0x0531, 0x0556, 1},
1725   { 0x0559, 0x0559, 1},
1726   { 0x0561, 0x0587, 1},
1727   { 0x05d0, 0x05ea, 1},
1728   { 0x05f0, 0x05f2, 1},
1729   { 0x0621, 0x064a, 1},
1730   { 0x066e, 0x066f, 1},
1731   { 0x0671, 0x06d3, 1},
1732   { 0x06d5, 0x06d5, 1},
1733   { 0x06e5, 0x06e6, 1},
1734   { 0x06ee, 0x06ef, 1},
1735   { 0x06fa, 0x06fc, 1},
1736   { 0x06ff, 0x0710, 17},
1737   { 0x0712, 0x072f, 1},
1738   { 0x074d, 0x07a5, 1},
1739   { 0x07b1, 0x07b1, 1},
1740   { 0x07ca, 0x07ea, 1},
1741   { 0x07f4, 0x07f5, 1},
1742   { 0x07fa, 0x07fa, 1},
1743   { 0x0904, 0x0939, 1},
1744   { 0x093d, 0x0950, 19},
1745   { 0x0958, 0x0961, 1},
1746   { 0x0971, 0x0972, 1},
1747   { 0x097b, 0x097f, 1},
1748   { 0x0985, 0x098c, 1},
1749   { 0x098f, 0x0990, 1},
1750   { 0x0993, 0x09a8, 1},
1751   { 0x09aa, 0x09b0, 1},
1752   { 0x09b2, 0x09b2, 1},
1753   { 0x09b6, 0x09b9, 1},
1754   { 0x09bd, 0x09ce, 17},
1755   { 0x09dc, 0x09dd, 1},
1756   { 0x09df, 0x09e1, 1},
1757   { 0x09f0, 0x09f1, 1},
1758   { 0x0a05, 0x0a0a, 1},
1759   { 0x0a0f, 0x0a10, 1},
1760   { 0x0a13, 0x0a28, 1},
1761   { 0x0a2a, 0x0a30, 1},
1762   { 0x0a32, 0x0a33, 1},
1763   { 0x0a35, 0x0a36, 1},
1764   { 0x0a38, 0x0a39, 1},
1765   { 0x0a59, 0x0a5c, 1},
1766   { 0x0a5e, 0x0a5e, 1},
1767   { 0x0a72, 0x0a74, 1},
1768   { 0x0a85, 0x0a8d, 1},
1769   { 0x0a8f, 0x0a91, 1},
1770   { 0x0a93, 0x0aa8, 1},
1771   { 0x0aaa, 0x0ab0, 1},
1772   { 0x0ab2, 0x0ab3, 1},
1773   { 0x0ab5, 0x0ab9, 1},
1774   { 0x0abd, 0x0ad0, 19},
1775   { 0x0ae0, 0x0ae1, 1},
1776   { 0x0b05, 0x0b0c, 1},
1777   { 0x0b0f, 0x0b10, 1},
1778   { 0x0b13, 0x0b28, 1},
1779   { 0x0b2a, 0x0b30, 1},
1780   { 0x0b32, 0x0b33, 1},
1781   { 0x0b35, 0x0b39, 1},
1782   { 0x0b3d, 0x0b3d, 1},
1783   { 0x0b5c, 0x0b5d, 1},
1784   { 0x0b5f, 0x0b61, 1},
1785   { 0x0b71, 0x0b83, 18},
1786   { 0x0b85, 0x0b8a, 1},
1787   { 0x0b8e, 0x0b90, 1},
1788   { 0x0b92, 0x0b95, 1},
1789   { 0x0b99, 0x0b9a, 1},
1790   { 0x0b9c, 0x0b9c, 1},
1791   { 0x0b9e, 0x0b9f, 1},
1792   { 0x0ba3, 0x0ba4, 1},
1793   { 0x0ba8, 0x0baa, 1},
1794   { 0x0bae, 0x0bb9, 1},
1795   { 0x0bd0, 0x0bd0, 1},
1796   { 0x0c05, 0x0c0c, 1},
1797   { 0x0c0e, 0x0c10, 1},
1798   { 0x0c12, 0x0c28, 1},
1799   { 0x0c2a, 0x0c33, 1},
1800   { 0x0c35, 0x0c39, 1},
1801   { 0x0c3d, 0x0c3d, 1},
1802   { 0x0c58, 0x0c59, 1},
1803   { 0x0c60, 0x0c61, 1},
1804   { 0x0c85, 0x0c8c, 1},
1805   { 0x0c8e, 0x0c90, 1},
1806   { 0x0c92, 0x0ca8, 1},
1807   { 0x0caa, 0x0cb3, 1},
1808   { 0x0cb5, 0x0cb9, 1},
1809   { 0x0cbd, 0x0cde, 33},
1810   { 0x0ce0, 0x0ce1, 1},
1811   { 0x0d05, 0x0d0c, 1},
1812   { 0x0d0e, 0x0d10, 1},
1813   { 0x0d12, 0x0d28, 1},
1814   { 0x0d2a, 0x0d39, 1},
1815   { 0x0d3d, 0x0d3d, 1},
1816   { 0x0d60, 0x0d61, 1},
1817   { 0x0d7a, 0x0d7f, 1},
1818   { 0x0d85, 0x0d96, 1},
1819   { 0x0d9a, 0x0db1, 1},
1820   { 0x0db3, 0x0dbb, 1},
1821   { 0x0dbd, 0x0dbd, 1},
1822   { 0x0dc0, 0x0dc6, 1},
1823   { 0x0e01, 0x0e30, 1},
1824   { 0x0e32, 0x0e33, 1},
1825   { 0x0e40, 0x0e46, 1},
1826   { 0x0e81, 0x0e82, 1},
1827   { 0x0e84, 0x0e84, 1},
1828   { 0x0e87, 0x0e88, 1},
1829   { 0x0e8a, 0x0e8d, 3},
1830   { 0x0e94, 0x0e97, 1},
1831   { 0x0e99, 0x0e9f, 1},
1832   { 0x0ea1, 0x0ea3, 1},
1833   { 0x0ea5, 0x0ea7, 2},
1834   { 0x0eaa, 0x0eab, 1},
1835   { 0x0ead, 0x0eb0, 1},
1836   { 0x0eb2, 0x0eb3, 1},
1837   { 0x0ebd, 0x0ebd, 1},
1838   { 0x0ec0, 0x0ec4, 1},
1839   { 0x0ec6, 0x0ec6, 1},
1840   { 0x0edc, 0x0edd, 1},
1841   { 0x0f00, 0x0f00, 1},
1842   { 0x0f40, 0x0f47, 1},
1843   { 0x0f49, 0x0f6c, 1},
1844   { 0x0f88, 0x0f8b, 1},
1845   { 0x1000, 0x102a, 1},
1846   { 0x103f, 0x103f, 1},
1847   { 0x1050, 0x1055, 1},
1848   { 0x105a, 0x105d, 1},
1849   { 0x1061, 0x1061, 1},
1850   { 0x1065, 0x1066, 1},
1851   { 0x106e, 0x1070, 1},
1852   { 0x1075, 0x1081, 1},
1853   { 0x108e, 0x108e, 1},
1854   { 0x10a0, 0x10c5, 1},
1855   { 0x10d0, 0x10fa, 1},
1856   { 0x10fc, 0x10fc, 1},
1857   { 0x1100, 0x1159, 1},
1858   { 0x115f, 0x11a2, 1},
1859   { 0x11a8, 0x11f9, 1},
1860   { 0x1200, 0x1248, 1},
1861   { 0x124a, 0x124d, 1},
1862   { 0x1250, 0x1256, 1},
1863   { 0x1258, 0x1258, 1},
1864   { 0x125a, 0x125d, 1},
1865   { 0x1260, 0x1288, 1},
1866   { 0x128a, 0x128d, 1},
1867   { 0x1290, 0x12b0, 1},
1868   { 0x12b2, 0x12b5, 1},
1869   { 0x12b8, 0x12be, 1},
1870   { 0x12c0, 0x12c0, 1},
1871   { 0x12c2, 0x12c5, 1},
1872   { 0x12c8, 0x12d6, 1},
1873   { 0x12d8, 0x1310, 1},
1874   { 0x1312, 0x1315, 1},
1875   { 0x1318, 0x135a, 1},
1876   { 0x1380, 0x138f, 1},
1877   { 0x13a0, 0x13f4, 1},
1878   { 0x1401, 0x166c, 1},
1879   { 0x166f, 0x1676, 1},
1880   { 0x1681, 0x169a, 1},
1881   { 0x16a0, 0x16ea, 1},
1882   { 0x1700, 0x170c, 1},
1883   { 0x170e, 0x1711, 1},
1884   { 0x1720, 0x1731, 1},
1885   { 0x1740, 0x1751, 1},
1886   { 0x1760, 0x176c, 1},
1887   { 0x176e, 0x1770, 1},
1888   { 0x1780, 0x17b3, 1},
1889   { 0x17d7, 0x17dc, 5},
1890   { 0x1820, 0x1877, 1},
1891   { 0x1880, 0x18a8, 1},
1892   { 0x18aa, 0x18aa, 1},
1893   { 0x1900, 0x191c, 1},
1894   { 0x1950, 0x196d, 1},
1895   { 0x1970, 0x1974, 1},
1896   { 0x1980, 0x19a9, 1},
1897   { 0x19c1, 0x19c7, 1},
1898   { 0x1a00, 0x1a16, 1},
1899   { 0x1b05, 0x1b33, 1},
1900   { 0x1b45, 0x1b4b, 1},
1901   { 0x1b83, 0x1ba0, 1},
1902   { 0x1bae, 0x1baf, 1},
1903   { 0x1c00, 0x1c23, 1},
1904   { 0x1c4d, 0x1c4f, 1},
1905   { 0x1c5a, 0x1c7d, 1},
1906   { 0x1d00, 0x1dbf, 1},
1907   { 0x1e00, 0x1f15, 1},
1908   { 0x1f18, 0x1f1d, 1},
1909   { 0x1f20, 0x1f45, 1},
1910   { 0x1f48, 0x1f4d, 1},
1911   { 0x1f50, 0x1f57, 1},
1912   { 0x1f59, 0x1f5d, 2},
1913   { 0x1f5f, 0x1f7d, 1},
1914   { 0x1f80, 0x1fb4, 1},
1915   { 0x1fb6, 0x1fbc, 1},
1916   { 0x1fbe, 0x1fbe, 1},
1917   { 0x1fc2, 0x1fc4, 1},
1918   { 0x1fc6, 0x1fcc, 1},
1919   { 0x1fd0, 0x1fd3, 1},
1920   { 0x1fd6, 0x1fdb, 1},
1921   { 0x1fe0, 0x1fec, 1},
1922   { 0x1ff2, 0x1ff4, 1},
1923   { 0x1ff6, 0x1ffc, 1},
1924   { 0x2071, 0x207f, 14},
1925   { 0x2090, 0x2094, 1},
1926   { 0x2102, 0x2107, 5},
1927   { 0x210a, 0x2113, 1},
1928   { 0x2115, 0x2115, 1},
1929   { 0x2119, 0x211d, 1},
1930   { 0x2124, 0x2128, 2},
1931   { 0x212a, 0x212d, 1},
1932   { 0x212f, 0x2139, 1},
1933   { 0x213c, 0x213f, 1},
1934   { 0x2145, 0x2149, 1},
1935   { 0x214e, 0x214e, 1},
1936   { 0x2183, 0x2184, 1},
1937   { 0x2c00, 0x2c2e, 1},
1938   { 0x2c30, 0x2c5e, 1},
1939   { 0x2c60, 0x2c6f, 1},
1940   { 0x2c71, 0x2c7d, 1},
1941   { 0x2c80, 0x2ce4, 1},
1942   { 0x2d00, 0x2d25, 1},
1943   { 0x2d30, 0x2d65, 1},
1944   { 0x2d6f, 0x2d6f, 1},
1945   { 0x2d80, 0x2d96, 1},
1946   { 0x2da0, 0x2da6, 1},
1947   { 0x2da8, 0x2dae, 1},
1948   { 0x2db0, 0x2db6, 1},
1949   { 0x2db8, 0x2dbe, 1},
1950   { 0x2dc0, 0x2dc6, 1},
1951   { 0x2dc8, 0x2dce, 1},
1952   { 0x2dd0, 0x2dd6, 1},
1953   { 0x2dd8, 0x2dde, 1},
1954   { 0x2e2f, 0x2e2f, 1},
1955   { 0x3005, 0x3006, 1},
1956   { 0x3031, 0x3035, 1},
1957   { 0x303b, 0x303c, 1},
1958   { 0x3041, 0x3096, 1},
1959   { 0x309d, 0x309f, 1},
1960   { 0x30a1, 0x30fa, 1},
1961   { 0x30fc, 0x30ff, 1},
1962   { 0x3105, 0x312d, 1},
1963   { 0x3131, 0x318e, 1},
1964   { 0x31a0, 0x31b7, 1},
1965   { 0x31f0, 0x31ff, 1},
1966   { 0x3400, 0x4db5, 1},
1967   { 0x4e00, 0x9fc3, 1},
1968   { 0xa000, 0xa48c, 1},
1969   { 0xa500, 0xa60c, 1},
1970   { 0xa610, 0xa61f, 1},
1971   { 0xa62a, 0xa62b, 1},
1972   { 0xa640, 0xa65f, 1},
1973   { 0xa662, 0xa66e, 1},
1974   { 0xa67f, 0xa697, 1},
1975   { 0xa717, 0xa71f, 1},
1976   { 0xa722, 0xa788, 1},
1977   { 0xa78b, 0xa78c, 1},
1978   { 0xa7fb, 0xa801, 1},
1979   { 0xa803, 0xa805, 1},
1980   { 0xa807, 0xa80a, 1},
1981   { 0xa80c, 0xa822, 1},
1982   { 0xa840, 0xa873, 1},
1983   { 0xa882, 0xa8b3, 1},
1984   { 0xa90a, 0xa925, 1},
1985   { 0xa930, 0xa946, 1},
1986   { 0xaa00, 0xaa28, 1},
1987   { 0xaa40, 0xaa42, 1},
1988   { 0xaa44, 0xaa4b, 1},
1989   { 0xac00, 0xd7a3, 1},
1990   { 0xf900, 0xfa2d, 1},
1991   { 0xfa30, 0xfa6a, 1},
1992   { 0xfa70, 0xfad9, 1},
1993   { 0xfb00, 0xfb06, 1},
1994   { 0xfb13, 0xfb17, 1},
1995   { 0xfb1d, 0xfb1d, 1},
1996   { 0xfb1f, 0xfb28, 1},
1997   { 0xfb2a, 0xfb36, 1},
1998   { 0xfb38, 0xfb3c, 1},
1999   { 0xfb3e, 0xfb3e, 1},
2000   { 0xfb40, 0xfb41, 1},
2001   { 0xfb43, 0xfb44, 1},
2002   { 0xfb46, 0xfbb1, 1},
2003   { 0xfbd3, 0xfd3d, 1},
2004   { 0xfd50, 0xfd8f, 1},
2005   { 0xfd92, 0xfdc7, 1},
2006   { 0xfdf0, 0xfdfb, 1},
2007   { 0xfe70, 0xfe74, 1},
2008   { 0xfe76, 0xfefc, 1},
2009   { 0xff21, 0xff3a, 1},
2010   { 0xff41, 0xff5a, 1},
2011   { 0xff66, 0xffbe, 1},
2012   { 0xffc2, 0xffc7, 1},
2013   { 0xffca, 0xffcf, 1},
2014   { 0xffd2, 0xffd7, 1},
2015   { 0xffda, 0xffdc, 1},
2016   { 0x10000, 0x1000b, 1},
2017   { 0x1000d, 0x10026, 1},
2018   { 0x10028, 0x1003a, 1},
2019   { 0x1003c, 0x1003d, 1},
2020   { 0x1003f, 0x1004d, 1},
2021   { 0x10050, 0x1005d, 1},
2022   { 0x10080, 0x100fa, 1},
2023   { 0x10280, 0x1029c, 1},
2024   { 0x102a0, 0x102d0, 1},
2025   { 0x10300, 0x1031e, 1},
2026   { 0x10330, 0x10340, 1},
2027   { 0x10342, 0x10349, 1},
2028   { 0x10380, 0x1039d, 1},
2029   { 0x103a0, 0x103c3, 1},
2030   { 0x103c8, 0x103cf, 1},
2031   { 0x10400, 0x1049d, 1},
2032   { 0x10800, 0x10805, 1},
2033   { 0x10808, 0x10808, 1},
2034   { 0x1080a, 0x10835, 1},
2035   { 0x10837, 0x10838, 1},
2036   { 0x1083c, 0x1083f, 3},
2037   { 0x10900, 0x10915, 1},
2038   { 0x10920, 0x10939, 1},
2039   { 0x10a00, 0x10a00, 1},
2040   { 0x10a10, 0x10a13, 1},
2041   { 0x10a15, 0x10a17, 1},
2042   { 0x10a19, 0x10a33, 1},
2043   { 0x12000, 0x1236e, 1},
2044   { 0x1d400, 0x1d454, 1},
2045   { 0x1d456, 0x1d49c, 1},
2046   { 0x1d49e, 0x1d49f, 1},
2047   { 0x1d4a2, 0x1d4a2, 1},
2048   { 0x1d4a5, 0x1d4a6, 1},
2049   { 0x1d4a9, 0x1d4ac, 1},
2050   { 0x1d4ae, 0x1d4b9, 1},
2051   { 0x1d4bb, 0x1d4bb, 1},
2052   { 0x1d4bd, 0x1d4c3, 1},
2053   { 0x1d4c5, 0x1d505, 1},
2054   { 0x1d507, 0x1d50a, 1},
2055   { 0x1d50d, 0x1d514, 1},
2056   { 0x1d516, 0x1d51c, 1},
2057   { 0x1d51e, 0x1d539, 1},
2058   { 0x1d53b, 0x1d53e, 1},
2059   { 0x1d540, 0x1d544, 1},
2060   { 0x1d546, 0x1d546, 1},
2061   { 0x1d54a, 0x1d550, 1},
2062   { 0x1d552, 0x1d6a5, 1},
2063   { 0x1d6a8, 0x1d6c0, 1},
2064   { 0x1d6c2, 0x1d6da, 1},
2065   { 0x1d6dc, 0x1d6fa, 1},
2066   { 0x1d6fc, 0x1d714, 1},
2067   { 0x1d716, 0x1d734, 1},
2068   { 0x1d736, 0x1d74e, 1},
2069   { 0x1d750, 0x1d76e, 1},
2070   { 0x1d770, 0x1d788, 1},
2071   { 0x1d78a, 0x1d7a8, 1},
2072   { 0x1d7aa, 0x1d7c2, 1},
2073   { 0x1d7c4, 0x1d7cb, 1},
2074   { 0x20000, 0x2a6d6, 1},
2075   { 0x2f800, 0x2fa1d, 1},
2076 };
2077
2078 // A table of Unicode uppercase letters--Unicode code points
2079 // classified as "Letter, uppercase".
2080
2081 static const Unicode_range unicode_uppercase_letters[] =
2082 {
2083   { 0x0041, 0x005a, 1},
2084   { 0x00c0, 0x00d6, 1},
2085   { 0x00d8, 0x00de, 1},
2086   { 0x0100, 0x0136, 2},
2087   { 0x0139, 0x0147, 2},
2088   { 0x014a, 0x0176, 2},
2089   { 0x0178, 0x0179, 1},
2090   { 0x017b, 0x017d, 2},
2091   { 0x0181, 0x0182, 1},
2092   { 0x0184, 0x0184, 1},
2093   { 0x0186, 0x0187, 1},
2094   { 0x0189, 0x018b, 1},
2095   { 0x018e, 0x0191, 1},
2096   { 0x0193, 0x0194, 1},
2097   { 0x0196, 0x0198, 1},
2098   { 0x019c, 0x019d, 1},
2099   { 0x019f, 0x01a0, 1},
2100   { 0x01a2, 0x01a4, 2},
2101   { 0x01a6, 0x01a7, 1},
2102   { 0x01a9, 0x01ac, 3},
2103   { 0x01ae, 0x01af, 1},
2104   { 0x01b1, 0x01b3, 1},
2105   { 0x01b5, 0x01b5, 1},
2106   { 0x01b7, 0x01b8, 1},
2107   { 0x01bc, 0x01c4, 8},
2108   { 0x01c7, 0x01cd, 3},
2109   { 0x01cf, 0x01db, 2},
2110   { 0x01de, 0x01ee, 2},
2111   { 0x01f1, 0x01f4, 3},
2112   { 0x01f6, 0x01f8, 1},
2113   { 0x01fa, 0x0232, 2},
2114   { 0x023a, 0x023b, 1},
2115   { 0x023d, 0x023e, 1},
2116   { 0x0241, 0x0241, 1},
2117   { 0x0243, 0x0246, 1},
2118   { 0x0248, 0x024e, 2},
2119   { 0x0370, 0x0372, 2},
2120   { 0x0376, 0x0386, 16},
2121   { 0x0388, 0x038a, 1},
2122   { 0x038c, 0x038c, 1},
2123   { 0x038e, 0x038f, 1},
2124   { 0x0391, 0x03a1, 1},
2125   { 0x03a3, 0x03ab, 1},
2126   { 0x03cf, 0x03cf, 1},
2127   { 0x03d2, 0x03d4, 1},
2128   { 0x03d8, 0x03ee, 2},
2129   { 0x03f4, 0x03f7, 3},
2130   { 0x03f9, 0x03fa, 1},
2131   { 0x03fd, 0x042f, 1},
2132   { 0x0460, 0x0480, 2},
2133   { 0x048a, 0x04be, 2},
2134   { 0x04c0, 0x04c1, 1},
2135   { 0x04c3, 0x04cd, 2},
2136   { 0x04d0, 0x0522, 2},
2137   { 0x0531, 0x0556, 1},
2138   { 0x10a0, 0x10c5, 1},
2139   { 0x1e00, 0x1e94, 2},
2140   { 0x1e9e, 0x1efe, 2},
2141   { 0x1f08, 0x1f0f, 1},
2142   { 0x1f18, 0x1f1d, 1},
2143   { 0x1f28, 0x1f2f, 1},
2144   { 0x1f38, 0x1f3f, 1},
2145   { 0x1f48, 0x1f4d, 1},
2146   { 0x1f59, 0x1f5f, 2},
2147   { 0x1f68, 0x1f6f, 1},
2148   { 0x1fb8, 0x1fbb, 1},
2149   { 0x1fc8, 0x1fcb, 1},
2150   { 0x1fd8, 0x1fdb, 1},
2151   { 0x1fe8, 0x1fec, 1},
2152   { 0x1ff8, 0x1ffb, 1},
2153   { 0x2102, 0x2107, 5},
2154   { 0x210b, 0x210d, 1},
2155   { 0x2110, 0x2112, 1},
2156   { 0x2115, 0x2115, 1},
2157   { 0x2119, 0x211d, 1},
2158   { 0x2124, 0x2128, 2},
2159   { 0x212a, 0x212d, 1},
2160   { 0x2130, 0x2133, 1},
2161   { 0x213e, 0x213f, 1},
2162   { 0x2145, 0x2183, 62},
2163   { 0x2c00, 0x2c2e, 1},
2164   { 0x2c60, 0x2c60, 1},
2165   { 0x2c62, 0x2c64, 1},
2166   { 0x2c67, 0x2c6b, 2},
2167   { 0x2c6d, 0x2c6f, 1},
2168   { 0x2c72, 0x2c75, 3},
2169   { 0x2c80, 0x2ce2, 2},
2170   { 0xa640, 0xa65e, 2},
2171   { 0xa662, 0xa66c, 2},
2172   { 0xa680, 0xa696, 2},
2173   { 0xa722, 0xa72e, 2},
2174   { 0xa732, 0xa76e, 2},
2175   { 0xa779, 0xa77b, 2},
2176   { 0xa77d, 0xa77e, 1},
2177   { 0xa780, 0xa786, 2},
2178   { 0xa78b, 0xa78b, 1},
2179   { 0xff21, 0xff3a, 1},
2180   { 0x10400, 0x10427, 1},
2181   { 0x1d400, 0x1d419, 1},
2182   { 0x1d434, 0x1d44d, 1},
2183   { 0x1d468, 0x1d481, 1},
2184   { 0x1d49c, 0x1d49c, 1},
2185   { 0x1d49e, 0x1d49f, 1},
2186   { 0x1d4a2, 0x1d4a2, 1},
2187   { 0x1d4a5, 0x1d4a6, 1},
2188   { 0x1d4a9, 0x1d4ac, 1},
2189   { 0x1d4ae, 0x1d4b5, 1},
2190   { 0x1d4d0, 0x1d4e9, 1},
2191   { 0x1d504, 0x1d505, 1},
2192   { 0x1d507, 0x1d50a, 1},
2193   { 0x1d50d, 0x1d514, 1},
2194   { 0x1d516, 0x1d51c, 1},
2195   { 0x1d538, 0x1d539, 1},
2196   { 0x1d53b, 0x1d53e, 1},
2197   { 0x1d540, 0x1d544, 1},
2198   { 0x1d546, 0x1d546, 1},
2199   { 0x1d54a, 0x1d550, 1},
2200   { 0x1d56c, 0x1d585, 1},
2201   { 0x1d5a0, 0x1d5b9, 1},
2202   { 0x1d5d4, 0x1d5ed, 1},
2203   { 0x1d608, 0x1d621, 1},
2204   { 0x1d63c, 0x1d655, 1},
2205   { 0x1d670, 0x1d689, 1},
2206   { 0x1d6a8, 0x1d6c0, 1},
2207   { 0x1d6e2, 0x1d6fa, 1},
2208   { 0x1d71c, 0x1d734, 1},
2209   { 0x1d756, 0x1d76e, 1},
2210   { 0x1d790, 0x1d7a8, 1},
2211   { 0x1d7ca, 0x1d7ca, 1},
2212 };
2213
2214 // Return true if C is in RANGES.
2215
2216 bool
2217 Lex::is_in_unicode_range(unsigned int c, const Unicode_range* ranges,
2218                          size_t range_size)
2219 {
2220   if (c < 0x100)
2221     {
2222       // The common case is a small value, and we know that it will be
2223       // in the first few entries of the table.  Do a linear scan
2224       // rather than a binary search.
2225       for (size_t i = 0; i < range_size; ++i)
2226         {
2227           const Unicode_range* p = &ranges[i];
2228           if (c <= p->high)
2229             {
2230               if (c < p->low)
2231                 return false;
2232               return (c - p->low) % p->stride == 0;
2233             }
2234         }
2235       return false;
2236     }
2237   else
2238     {
2239       size_t lo = 0;
2240       size_t hi = range_size;
2241       while (lo < hi)
2242         {
2243           size_t mid = lo + (hi - lo) / 2;
2244           const Unicode_range* p = &ranges[mid];
2245           if (c < p->low)
2246             hi = mid;
2247           else if (c > p->high)
2248             lo = mid + 1;
2249           else
2250             return (c - p->low) % p->stride == 0;
2251         }
2252       return false;
2253     }
2254 }
2255
2256 // Return whether C is a Unicode digit--a Unicode code point
2257 // classified as "Digit".
2258
2259 bool
2260 Lex::is_unicode_digit(unsigned int c)
2261 {
2262   return Lex::is_in_unicode_range(c, unicode_digits,
2263                                   ARRAY_SIZE(unicode_digits));
2264 }
2265
2266 // Return whether C is a Unicode letter--a Unicode code point
2267 // classified as "Letter".
2268
2269 bool
2270 Lex::is_unicode_letter(unsigned int c)
2271 {
2272   return Lex::is_in_unicode_range(c, unicode_letters,
2273                                   ARRAY_SIZE(unicode_letters));
2274 }
2275
2276 // Return whether C is a Unicode uppercase letter.  a Unicode code
2277 // point classified as "Letter, uppercase".
2278
2279 bool
2280 Lex::is_unicode_uppercase(unsigned int c)
2281 {
2282   return Lex::is_in_unicode_range(c, unicode_uppercase_letters,
2283                                   ARRAY_SIZE(unicode_uppercase_letters));
2284 }
2285
2286 // Return whether the identifier NAME should be exported.  NAME is a
2287 // mangled name which includes only ASCII characters.
2288
2289 bool
2290 Lex::is_exported_name(const std::string& name)
2291 {
2292   unsigned char c = name[0];
2293   if (c != '$')
2294     return c >= 'A' && c <= 'Z';
2295   else
2296     {
2297       const char* p = name.data();
2298       size_t len = name.length();
2299       if (len < 2 || p[1] != 'U')
2300         return false;
2301       unsigned int ci = 0;
2302       for (size_t i = 2; i < len && p[i] != '$'; ++i)
2303         {
2304           c = p[i];
2305           if (!hex_p(c))
2306             return false;
2307           ci <<= 4;
2308           ci |= hex_value(c);
2309         }
2310       return Lex::is_unicode_uppercase(ci);
2311     }
2312 }