gcc/lto-wrapper.c

   1 /* Wrapper to call lto.  Used by collect2 and the linker plugin.
   2    Copyright (C) 2009, 2010 Free Software Foundation, Inc.
   3
   4    Factored out of collect2 by Rafael Espindola <espindola@google.com>
   5
   6 This file is part of GCC.
   7
   8 GCC is free software; you can redistribute it and/or modify it under
   9 the terms of the GNU General Public License as published by the Free
  10 Software Foundation; either version 3, or (at your option) any later
  11 version.
  12
  13 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
  14 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  15 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  16 for more details.
  17
  18 You should have received a copy of the GNU General Public License
  19 along with GCC; see the file COPYING3.  If not see
  20 <http://www.gnu.org/licenses/>.  */
  21
  22
  23 /* This program is passed a gcc, a list of gcc arguments and a list of
  24    object files containing IL. It scans the argument list to check if
  25    we are in whopr mode or not modifies the arguments and needed and
  26    prints a list of output files on stdout.
  27
  28    Example:
  29
  30    $ lto-wrapper gcc/xgcc -B gcc a.o b.o -o test -flto
  31
  32    The above will print something like
  33    /tmp/ccwbQ8B2.lto.o
  34
  35    If WHOPR is used instead, more than one file might be produced
  36    ./ccXj2DTk.lto.ltrans.o
  37    ./ccCJuXGv.lto.ltrans.o
  38 */
  39
  40 #include "config.h"
  41 #include "system.h"
  42 #include "coretypes.h"
  43 #include "intl.h"
  44 #include "diagnostic.h"
  45 #include "obstack.h"
  46 #include "opts.h"
  47 #include "options.h"
  48
  49 int debug;                              /* true if -save-temps.  */
  50 int verbose;                            /* true if -v.  */
  51
  52 enum lto_mode_d {
  53   LTO_MODE_NONE,                        /* Not doing LTO.  */
  54   LTO_MODE_LTO,                         /* Normal LTO.  */
  55   LTO_MODE_WHOPR                        /* WHOPR.  */
  56 };
  57
  58 /* Current LTO mode.  */
  59 static enum lto_mode_d lto_mode = LTO_MODE_NONE;
  60
  61 static char *ltrans_output_file;
  62 static char *flto_out;
  63 static char *args_name;
  64 static unsigned int nr;
  65 static char **input_names;
  66 static char **output_names;
  67 static char *makefile;
  68
  69 static void maybe_unlink_file (const char *);
  70
  71  /* Delete tempfiles.  */
  72
  73 static void
  74 lto_wrapper_cleanup (void)
  75 {
  76   static bool cleanup_done = false;
  77   unsigned int i;
  78
  79   if (cleanup_done)
  80     return;
  81
  82   /* Setting cleanup_done prevents an infinite loop if one of the
  83      calls to maybe_unlink_file fails. */
  84   cleanup_done = true;
  85
  86   if (ltrans_output_file)
  87     maybe_unlink_file (ltrans_output_file);
  88   if (flto_out)
  89     maybe_unlink_file (flto_out);
  90   if (args_name)
  91     maybe_unlink_file (args_name);
  92   if (makefile)
  93     maybe_unlink_file (makefile);
  94   for (i = 0; i < nr; ++i)
  95     {
  96       maybe_unlink_file (input_names[i]);
  97       if (output_names[i])
  98         maybe_unlink_file (output_names[i]);
  99     }
 100 }
 101
 102 static void
 103 fatal_signal (int signum)
 104 {
 105   signal (signum, SIG_DFL);
 106   lto_wrapper_cleanup ();
 107   /* Get the same signal again, this time not handled,
 108      so its normal effect occurs.  */
 109   kill (getpid (), signum);
 110 }
 111
 112 /* Just die. CMSGID is the error message. */
 113
 114 static void __attribute__ ((format (printf, 1, 2)))
 115 fatal (const char * cmsgid, ...)
 116 {
 117   va_list ap;
 118
 119   va_start (ap, cmsgid);
 120   fprintf (stderr, "lto-wrapper: ");
 121   vfprintf (stderr, _(cmsgid), ap);
 122   fprintf (stderr, "\n");
 123   va_end (ap);
 124
 125   lto_wrapper_cleanup ();
 126   exit (FATAL_EXIT_CODE);
 127 }
 128
 129
 130 /* Die when sys call fails. CMSGID is the error message.  */
 131
 132 static void __attribute__ ((format (printf, 1, 2)))
 133 fatal_perror (const char *cmsgid, ...)
 134 {
 135   int e = errno;
 136   va_list ap;
 137
 138   va_start (ap, cmsgid);
 139   fprintf (stderr, "lto-wrapper: ");
 140   vfprintf (stderr, _(cmsgid), ap);
 141   fprintf (stderr, ": %s\n", xstrerror (e));
 142   va_end (ap);
 143
 144   lto_wrapper_cleanup ();
 145   exit (FATAL_EXIT_CODE);
 146 }
 147
 148
 149 /* Execute a program, and wait for the reply. ARGV are the arguments. The
 150    last one must be NULL. */
 151
 152 static struct pex_obj *
 153 collect_execute (char **argv)
 154 {
 155   struct pex_obj *pex;
 156   const char *errmsg;
 157   int err;
 158
 159   if (verbose)
 160     {
 161       char **p_argv;
 162       const char *str;
 163
 164       for (p_argv = argv; (str = *p_argv) != (char *) 0; p_argv++)
 165         fprintf (stderr, " %s", str);
 166
 167       fprintf (stderr, "\n");
 168     }
 169
 170   fflush (stdout);
 171   fflush (stderr);
 172
 173   pex = pex_init (0, "lto-wrapper", NULL);
 174   if (pex == NULL)
 175     fatal_perror ("pex_init failed");
 176
 177   /* Do not use PEX_LAST here, we use our stdout for communicating with
 178      collect2 or the linker-plugin.  Any output from the sub-process
 179      will confuse that.  */
 180   errmsg = pex_run (pex, PEX_SEARCH, argv[0], argv, NULL,
 181                     NULL, &err);
 182   if (errmsg != NULL)
 183     {
 184       if (err != 0)
 185         {
 186           errno = err;
 187           fatal_perror (errmsg);
 188         }
 189       else
 190         fatal (errmsg);
 191     }
 192
 193   return pex;
 194 }
 195
 196
 197 /* Wait for a process to finish, and exit if a nonzero status is found.
 198    PROG is the program name. PEX is the process we should wait for. */
 199
 200 static int
 201 collect_wait (const char *prog, struct pex_obj *pex)
 202 {
 203   int status;
 204
 205   if (!pex_get_status (pex, 1, &status))
 206     fatal_perror ("can't get program status");
 207   pex_free (pex);
 208
 209   if (status)
 210     {
 211       if (WIFSIGNALED (status))
 212         {
 213           int sig = WTERMSIG (status);
 214           if (WCOREDUMP (status))
 215             fatal ("%s terminated with signal %d [%s], core dumped",
 216                    prog, sig, strsignal (sig));
 217           else
 218             fatal ("%s terminated with signal %d [%s]",
 219                    prog, sig, strsignal (sig));
 220         }
 221
 222       if (WIFEXITED (status))
 223         fatal ("%s returned %d exit status", prog, WEXITSTATUS (status));
 224     }
 225
 226   return 0;
 227 }
 228
 229
 230 /* Unlink a temporary LTRANS file unless requested otherwise.  */
 231
 232 static void
 233 maybe_unlink_file (const char *file)
 234 {
 235   if (! debug)
 236     {
 237       if (unlink_if_ordinary (file)
 238           && errno != ENOENT)
 239         fatal_perror ("deleting LTRANS file %s", file);
 240     }
 241   else
 242     fprintf (stderr, "[Leaving LTRANS %s]\n", file);
 243 }
 244
 245
 246 /* Execute program ARGV[0] with arguments ARGV. Wait for it to finish.  */
 247
 248 static void
 249 fork_execute (char **argv)
 250 {
 251   struct pex_obj *pex;
 252   char *new_argv[3];
 253   char *at_args;
 254   FILE *args;
 255   int status;
 256
 257   args_name = make_temp_file (".args");
 258   at_args = concat ("@", args_name, NULL);
 259   args = fopen (args_name, "w");
 260   if (args == NULL)
 261     fatal ("failed to open %s", args_name);
 262
 263   status = writeargv (&argv[1], args);
 264
 265   if (status)
 266     fatal ("could not write to temporary file %s",  args_name);
 267
 268   fclose (args);
 269
 270   new_argv[0] = argv[0];
 271   new_argv[1] = at_args;
 272   new_argv[2] = NULL;
 273
 274   pex = collect_execute (new_argv);
 275   collect_wait (new_argv[0], pex);
 276
 277   maybe_unlink_file (args_name);
 278   args_name = NULL;
 279   free (at_args);
 280 }
 281
 282 /* Template of LTRANS dumpbase suffix.  */
 283 #define DUMPBASE_SUFFIX ".ltrans18446744073709551615"
 284
 285 /* Create decoded options from the COLLECT_GCC and COLLECT_GCC_OPTIONS
 286    environment according to LANG_MASK.  */
 287
 288 static void
 289 get_options_from_collect_gcc_options (const char *collect_gcc,
 290                                       const char *collect_gcc_options,
 291                                       unsigned int lang_mask,
 292                                       struct cl_decoded_option **decoded_options,
 293                                       unsigned int *decoded_options_count)
 294 {
 295   char *argv_storage;
 296   const char **argv;
 297   int i, j, argc;
 298
 299   /* Count arguments.  */
 300   argc = 0;
 301   for (j = 0; collect_gcc_options[j] != '\0'; ++j)
 302     if (collect_gcc_options[j] == '\'')
 303       ++argc;
 304   if (argc % 2 != 0)
 305     fatal ("malformed COLLECT_GCC_OPTIONS");
 306
 307   /* Copy the options to a argv-like array.  */
 308   argc /= 2;
 309   argv = (const char **) xmalloc ((argc + 2) * sizeof (char *));
 310   argv[0] = collect_gcc;
 311   argv_storage = xstrdup (collect_gcc_options);
 312   for (i = 1, j = 0; argv_storage[j] != '\0'; ++j)
 313     {
 314       if (argv_storage[j] == '\'')
 315         {
 316           argv[i++] = &argv_storage[++j];
 317           while (argv_storage[j] != '\'')
 318             ++j;
 319           argv_storage[j] = '\0';
 320         }
 321     }
 322   argv[i] = NULL;
 323
 324   decode_cmdline_options_to_array (argc, (const char **)argv,
 325                                    lang_mask,
 326                                    decoded_options, decoded_options_count);
 327   free (argv);
 328 }
 329
 330
 331 /* Execute gcc. ARGC is the number of arguments. ARGV contains the arguments. */
 332
 333 static void
 334 run_gcc (unsigned argc, char *argv[])
 335 {
 336   unsigned i, j;
 337   const char **new_argv;
 338   const char **argv_ptr;
 339   char *list_option_full = NULL;
 340   const char *linker_output = NULL;
 341   const char *collect_gcc, *collect_gcc_options;
 342   int parallel = 0;
 343   int jobserver = 0;
 344   bool no_partition = false;
 345   struct cl_decoded_option *decoded_options;
 346   unsigned int decoded_options_count;
 347
 348   /* Get the driver and options.  */
 349   collect_gcc = getenv ("COLLECT_GCC");
 350   if (!collect_gcc)
 351     fatal ("environment variable COLLECT_GCC must be set");
 352   collect_gcc_options = getenv ("COLLECT_GCC_OPTIONS");
 353   if (!collect_gcc_options)
 354     fatal ("environment variable COLLECT_GCC_OPTIONS must be set");
 355   get_options_from_collect_gcc_options (collect_gcc, collect_gcc_options,
 356                                         CL_LANG_ALL,
 357                                         &decoded_options,
 358                                         &decoded_options_count);
 359
 360   /* Initalize the common arguments for the driver.  */
 361   new_argv = (const char **) xmalloc ((15 + decoded_options_count + argc)
 362                                       * sizeof (char *));
 363   argv_ptr = new_argv;
 364   *argv_ptr++ = collect_gcc;
 365   *argv_ptr++ = "-xlto";
 366   *argv_ptr++ = "-c";
 367   for (j = 1; j < decoded_options_count; ++j)
 368     {
 369       struct cl_decoded_option *option = &decoded_options[j];
 370
 371       /* Do not pass on frontend specific flags.  */
 372       if (!(cl_options[option->opt_index].flags
 373             & (CL_COMMON|CL_TARGET|CL_DRIVER)))
 374         continue;
 375
 376       switch (option->opt_index)
 377         {
 378         case OPT_o:
 379           linker_output = option->arg;
 380           /* We generate new intermediate output, drop this arg.  */
 381           continue;
 382
 383         case OPT_save_temps:
 384           debug = 1;
 385           break;
 386
 387         case OPT_v:
 388           verbose = 1;
 389           break;
 390
 391         case OPT_flto_partition_none:
 392           no_partition = true;
 393           break;
 394
 395         case OPT_flto_:
 396           if (strcmp (option->arg, "jobserver") == 0)
 397             {
 398               jobserver = 1;
 399               parallel = 1;
 400             }
 401           else
 402             {
 403               parallel = atoi (option->arg);
 404               if (parallel <= 1)
 405                 parallel = 0;
 406             }
 407           /* Fallthru.  */
 408
 409         case OPT_flto:
 410           lto_mode = LTO_MODE_WHOPR;
 411           /* We've handled these LTO options, do not pass them on.  */
 412           continue;
 413
 414         default:
 415           break;
 416         }
 417
 418       /* Pass the option on.  */
 419       *argv_ptr++ = option->orig_option_with_args_text;
 420     }
 421
 422   if (no_partition)
 423     {
 424       lto_mode = LTO_MODE_LTO;
 425       jobserver = 0;
 426       parallel = 0;
 427     }
 428
 429   if (linker_output)
 430     {
 431       char *output_dir, *base, *name;
 432       bool bit_bucket = strcmp (linker_output, HOST_BIT_BUCKET) == 0;
 433
 434       output_dir = xstrdup (linker_output);
 435       base = output_dir;
 436       for (name = base; *name; name++)
 437         if (IS_DIR_SEPARATOR (*name))
 438           base = name + 1;
 439       *base = '\0';
 440
 441       linker_output = &linker_output[base - output_dir];
 442       if (*output_dir == '\0')
 443         {
 444           static char current_dir[] = { '.', DIR_SEPARATOR, '\0' };
 445           output_dir = current_dir;
 446         }
 447       if (!bit_bucket)
 448         {
 449           *argv_ptr++ = "-dumpdir";
 450           *argv_ptr++ = output_dir;
 451         }
 452
 453       *argv_ptr++ = "-dumpbase";
 454     }
 455   else
 456     argv_ptr--;
 457
 458   if (lto_mode == LTO_MODE_LTO)
 459     {
 460       flto_out = make_temp_file (".lto.o");
 461       if (linker_output)
 462         argv_ptr[0] = linker_output;
 463       argv_ptr[1] = "-o";
 464       argv_ptr[2] = flto_out;
 465     }
 466   else
 467     {
 468       const char *list_option = "-fltrans-output-list=";
 469       size_t list_option_len = strlen (list_option);
 470       char *tmp;
 471
 472       if (linker_output)
 473         {
 474           char *dumpbase = (char *) xmalloc (strlen (linker_output)
 475                                              + sizeof (".wpa") + 1);
 476           strcpy (dumpbase, linker_output);
 477           strcat (dumpbase, ".wpa");
 478           argv_ptr[0] = dumpbase;
 479         }
 480
 481       if (linker_output && debug)
 482         {
 483           ltrans_output_file = (char *) xmalloc (strlen (linker_output)
 484                                                  + sizeof (".ltrans.out") + 1);
 485           strcpy (ltrans_output_file, linker_output);
 486           strcat (ltrans_output_file, ".ltrans.out");
 487         }
 488       else
 489         ltrans_output_file = make_temp_file (".ltrans.out");
 490       list_option_full = (char *) xmalloc (sizeof (char) *
 491                          (strlen (ltrans_output_file) + list_option_len + 1));
 492       tmp = list_option_full;
 493
 494       argv_ptr[1] = tmp;
 495       strcpy (tmp, list_option);
 496       tmp += list_option_len;
 497       strcpy (tmp, ltrans_output_file);
 498
 499       argv_ptr[2] = "-fwpa";
 500     }
 501
 502   /* Append the input objects and possible preceeding arguments.  */
 503   for (i = 1; i < argc; ++i)
 504     argv_ptr[2 + i] = argv[i];
 505   argv_ptr[2 + i] = NULL;
 506
 507   fork_execute (CONST_CAST (char **, new_argv));
 508
 509   if (lto_mode == LTO_MODE_LTO)
 510     {
 511       printf("%s\n", flto_out);
 512       free (flto_out);
 513       flto_out = NULL;
 514     }
 515   else
 516     {
 517       FILE *stream = fopen (ltrans_output_file, "r");
 518       FILE *mstream = NULL;
 519       struct obstack env_obstack;
 520
 521       if (!stream)
 522         fatal_perror ("fopen: %s", ltrans_output_file);
 523
 524       /* Parse the list of LTRANS inputs from the WPA stage.  */
 525       obstack_init (&env_obstack);
 526       nr = 0;
 527       for (;;)
 528         {
 529           const unsigned piece = 32;
 530           char *output_name = NULL;
 531           char *buf, *input_name = (char *)xmalloc (piece);
 532           size_t len;
 533
 534           buf = input_name;
 535 cont:
 536           if (!fgets (buf, piece, stream))
 537             break;
 538           len = strlen (input_name);
 539           if (input_name[len - 1] != '\n')
 540             {
 541               input_name = (char *)xrealloc (input_name, len + piece);
 542               buf = input_name + len;
 543               goto cont;
 544             }
 545           input_name[len - 1] = '\0';
 546
 547           if (input_name[0] == '*')
 548             output_name = &input_name[1];
 549
 550           nr++;
 551           input_names = (char **)xrealloc (input_names, nr * sizeof (char *));
 552           output_names = (char **)xrealloc (output_names, nr * sizeof (char *));
 553           input_names[nr-1] = input_name;
 554           output_names[nr-1] = output_name;
 555         }
 556       fclose (stream);
 557       maybe_unlink_file (ltrans_output_file);
 558       ltrans_output_file = NULL;
 559
 560       if (parallel)
 561         {
 562           makefile = make_temp_file (".mk");
 563           mstream = fopen (makefile, "w");
 564         }
 565
 566       /* Execute the LTRANS stage for each input file (or prepare a
 567          makefile to invoke this in parallel).  */
 568       for (i = 0; i < nr; ++i)
 569         {
 570           char *output_name;
 571           char *input_name = input_names[i];
 572           /* If it's a pass-through file do nothing.  */
 573           if (output_names[i])
 574             continue;
 575
 576           /* Replace the .o suffix with a .ltrans.o suffix and write
 577              the resulting name to the LTRANS output list.  */
 578           obstack_grow (&env_obstack, input_name, strlen (input_name) - 2);
 579           obstack_grow (&env_obstack, ".ltrans.o", sizeof (".ltrans.o"));
 580           output_name = XOBFINISH (&env_obstack, char *);
 581
 582           /* Adjust the dumpbase if the linker output file was seen.  */
 583           if (linker_output)
 584             {
 585               char *dumpbase
 586                   = (char *) xmalloc (strlen (linker_output)
 587                                       + sizeof(DUMPBASE_SUFFIX) + 1);
 588               snprintf (dumpbase,
 589                         strlen (linker_output) + sizeof(DUMPBASE_SUFFIX),
 590                         "%s.ltrans%u", linker_output, i);
 591               argv_ptr[0] = dumpbase;
 592             }
 593
 594           argv_ptr[1] = "-fltrans";
 595           argv_ptr[2] = "-o";
 596           argv_ptr[3] = output_name;
 597           argv_ptr[4] = input_name;
 598           argv_ptr[5] = NULL;
 599           if (parallel)
 600             {
 601               fprintf (mstream, "%s:\n\t@%s ", output_name, new_argv[0]);
 602               for (j = 1; new_argv[j] != NULL; ++j)
 603                 fprintf (mstream, " '%s'", new_argv[j]);
 604               fprintf (mstream, "\n");
 605             }
 606           else
 607             fork_execute (CONST_CAST (char **, new_argv));
 608
 609           output_names[i] = output_name;
 610         }
 611       if (parallel)
 612         {
 613           struct pex_obj *pex;
 614           char jobs[32];
 615
 616           fprintf (mstream, "all:");
 617           for (i = 0; i < nr; ++i)
 618             fprintf (mstream, " \\\n\t%s", output_names[i]);
 619           fprintf (mstream, "\n");
 620           fclose (mstream);
 621           if (!jobserver)
 622             {
 623               /* Avoid passing --jobserver-fd= and similar flags
 624                  unless jobserver mode is explicitly enabled.  */
 625               putenv (xstrdup ("MAKEFLAGS="));
 626               putenv (xstrdup ("MFLAGS="));
 627             }
 628           new_argv[0] = getenv ("MAKE");
 629           if (!new_argv[0])
 630             new_argv[0] = "make";
 631           new_argv[1] = "-f";
 632           new_argv[2] = makefile;
 633           i = 3;
 634           if (!jobserver)
 635             {
 636               snprintf (jobs, 31, "-j%d", parallel);
 637               new_argv[i++] = jobs;
 638             }
 639           new_argv[i++] = "all";
 640           new_argv[i++] = NULL;
 641           pex = collect_execute (CONST_CAST (char **, new_argv));
 642           collect_wait (new_argv[0], pex);
 643           maybe_unlink_file (makefile);
 644           makefile = NULL;
 645         }
 646       for (i = 0; i < nr; ++i)
 647         {
 648           fputs (output_names[i], stdout);
 649           putc ('\n', stdout);
 650           maybe_unlink_file (input_names[i]);
 651           free (input_names[i]);
 652         }
 653       nr = 0;
 654       free (output_names);
 655       free (input_names);
 656       free (list_option_full);
 657       obstack_free (&env_obstack, NULL);
 658     }
 659 }
 660
 661
 662 /* Entry point.  */
 663
 664 int
 665 main (int argc, char *argv[])
 666 {
 667   const char *p;
 668
 669   p = argv[0] + strlen (argv[0]);
 670   while (p != argv[0] && !IS_DIR_SEPARATOR (p[-1]))
 671     --p;
 672   progname = p;
 673
 674   xmalloc_set_program_name (progname);
 675
 676   gcc_init_libintl ();
 677
 678   diagnostic_initialize (global_dc, 0);
 679
 680   if (signal (SIGINT, SIG_IGN) != SIG_IGN)
 681     signal (SIGINT, fatal_signal);
 682 #ifdef SIGHUP
 683   if (signal (SIGHUP, SIG_IGN) != SIG_IGN)
 684     signal (SIGHUP, fatal_signal);
 685 #endif
 686   if (signal (SIGTERM, SIG_IGN) != SIG_IGN)
 687     signal (SIGTERM, fatal_signal);
 688 #ifdef SIGPIPE
 689   if (signal (SIGPIPE, SIG_IGN) != SIG_IGN)
 690     signal (SIGPIPE, fatal_signal);
 691 #endif
 692 #ifdef SIGCHLD
 693   /* We *MUST* set SIGCHLD to SIG_DFL so that the wait4() call will
 694      receive the signal.  A different setting is inheritable */
 695   signal (SIGCHLD, SIG_DFL);
 696 #endif
 697
 698   /* We may be called with all the arguments stored in some file and
 699      passed with @file.  Expand them into argv before processing.  */
 700   expandargv (&argc, &argv);
 701
 702   run_gcc (argc, argv);
 703
 704   return 0;
 705 }