gcc/tree-ssa-ter.c

   1 /* Routines for performing Temporary Expression Replacement (TER) in SSA trees.
   2    Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010
   3    Free Software Foundation, Inc.
   4    Contributed by Andrew MacLeod  <amacleod@redhat.com>
   5
   6 This file is part of GCC.
   7
   8 GCC is free software; you can redistribute it and/or modify
   9 it under the terms of the GNU General Public License as published by
  10 the Free Software Foundation; either version 3, or (at your option)
  11 any later version.
  12
  13 GCC is distributed in the hope that it will be useful,
  14 but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 GNU General Public License for more details.
  17
  18 You should have received a copy of the GNU General Public License
  19 along with GCC; see the file COPYING3.  If not see
  20 <http://www.gnu.org/licenses/>.  */
  21
  22
  23 #include "config.h"
  24 #include "system.h"
  25 #include "coretypes.h"
  26 #include "tm.h"
  27 #include "tree.h"
  28 #include "tree-pretty-print.h"
  29 #include "gimple-pretty-print.h"
  30 #include "bitmap.h"
  31 #include "tree-flow.h"
  32 #include "tree-dump.h"
  33 #include "tree-ssa-live.h"
  34 #include "flags.h"
  35
  36
  37 /* Temporary Expression Replacement (TER)
  38
  39    Replace SSA version variables during out-of-ssa with their defining
  40    expression if there is only one use of the variable.
  41
  42    This pass is required in order for the RTL expansion pass to see larger
  43    chunks of code.  This allows it to make better choices on RTL pattern
  44    selection.  When expand is rewritten and merged with out-of-ssa, and
  45    understands SSA, this should be eliminated.
  46
  47    A pass is made through the function, one block at a time.  No cross block
  48    information is tracked.
  49
  50    Variables which only have one use, and whose defining stmt is considered
  51    a replaceable expression (see is_replaceable_p) are tracked to see whether
  52    they can be replaced at their use location.
  53
  54    n_12 = C * 10
  55    a_2 = b_5 + 6
  56    v_9 = a_2 * n_12
  57
  58    if there are the only use of n_12 and a_2, TER will substitute in their
  59    expressions in v_9, and end up with:
  60
  61    v_9 = (b_5 + 6) * (C * 10)
  62
  63    which will then have the ssa_name assigned to regular variables, and the
  64    resulting code which will be passed to the expander looks something like:
  65
  66    v = (b + 6) * (C * 10)
  67
  68
  69    This requires ensuring that none of the variables used by the expression
  70    change between the def point and where it is used.  Furthermore, if any
  71    of the ssa_names used in this expression are themselves replaceable, we
  72    have to ensure none of that expressions' arguments change either.
  73    Although SSA_NAMES themselves don't change, this pass is performed after
  74    coalescing has coalesced different SSA_NAMES together, so there could be a
  75    definition of an SSA_NAME which is coalesced with a use that causes a
  76    problem, i.e.,
  77
  78    PHI b_5 = <b_8(2), b_14(1)>
  79    <...>
  80    a_2 = b_5 + 6
  81    b_8 = c_4 + 4
  82    v_9 = a_2 * n_12
  83    <...>
  84
  85    If b_5, b_8 and b_14 are all coalesced together...
  86    The expression b_5 + 6 CANNOT replace the use in the statement defining v_9
  87    because b_8 is in fact killing the value of b_5 since they share a partition
  88    and will be assigned the same memory or register location.
  89
  90    TER implements this but stepping through the instructions in a block and
  91    tracking potential expressions for replacement, and the partitions they are
  92    dependent on.  Expressions are represented by the SSA_NAME_VERSION of the
  93    DEF on the LHS of a GIMPLE_ASSIGN and the expression is the RHS.
  94
  95    When a stmt is determined to be a possible replacement expression, the
  96    following steps are taken:
  97
  98    EXPR_DECL_UID bitmap is allocated and set to the base variable UID of the
  99    def and any uses in the expression.  non-NULL means the expression is being
 100    tracked.  The UID's themselves are used to prevent TER substitution into
 101    accumulating sequences, i.e.,
 102
 103    x = x + y
 104    x = x + z
 105    x = x + w
 106    etc.
 107    this can result in very large expressions which don't accomplish anything
 108    see PR tree-optimization/17549.
 109
 110    PARTITION_DEPENDENCIES is another bitmap array, and it has a bit set for any
 111    partition which is used in the expression.  This is primarily used to remove
 112    an expression from the partition kill lists when a decision is made whether
 113    to replace it or not.  This is indexed by ssa version number as well, and
 114    indicates a partition number.  virtual operands are not tracked individually,
 115    but they are summarized by an artificial partition called VIRTUAL_PARTITION.
 116    This means a MAY or MUST def will kill *ALL* expressions that are dependent
 117    on a virtual operand.
 118    Note that the EXPR_DECL_UID and this bitmap represent very similar
 119    information, but the info in one is not easy to obtain from the other.
 120
 121    KILL_LIST is yet another bitmap array, this time it is indexed by partition
 122    number, and represents a list of active expressions which will will no
 123    longer be valid if a definition into this partition takes place.
 124
 125    PARTITION_IN_USE is simply a bitmap which is used to track which partitions
 126    currently have something in their kill list.  This is used at the end of
 127    a block to clear out the KILL_LIST bitmaps at the end of each block.
 128
 129    NEW_REPLACEABLE_DEPENDENCIES is used as a temporary place to store
 130    dependencies which will be reused by the current definition. All the uses
 131    on an expression are processed before anything else is done. If a use is
 132    determined to be a replaceable expression AND the current stmt is also going
 133    to be replaceable, all the dependencies of this replaceable use will be
 134    picked up by the current stmt's expression. Rather than recreate them, they
 135    are simply copied here and then copied into the new expression when it is
 136    processed.
 137
 138    a_2 = b_5 + 6
 139    v_8 = a_2 + c_4
 140
 141    a_2's expression 'b_5 + 6' is determined to be replaceable at the use
 142    location. It is dependent on the partition 'b_5' is in. This is cached into
 143    the NEW_REPLACEABLE_DEPENDENCIES bitmap, and when v_8 is examined for
 144    replaceability, it is a candidate, and it is dependent on the partition
 145    b_5 is in *NOT* a_2, as well as c_4's partition.
 146
 147    if v_8 is also replaceable:
 148
 149    x_9 = v_8 * 5
 150
 151    x_9 is dependent on partitions b_5, and c_4
 152
 153    if a statement is found which has either of those partitions written to
 154    before x_9 is used, then x_9 itself is NOT replaceable.  */
 155
 156
 157 /* Temporary Expression Replacement (TER) table information.  */
 158
 159 typedef struct temp_expr_table_d
 160 {
 161   var_map map;
 162   bitmap *partition_dependencies;       /* Partitions expr is dependent on.  */
 163   bitmap replaceable_expressions;       /* Replacement expression table.  */
 164   bitmap *expr_decl_uids;               /* Base uids of exprs.  */
 165   bitmap *kill_list;                    /* Expr's killed by a partition.  */
 166   int virtual_partition;                /* Pseudo partition for virtual ops.  */
 167   bitmap partition_in_use;              /* Partitions with kill entries.  */
 168   bitmap new_replaceable_dependencies;  /* Holding place for pending dep's.  */
 169   int *num_in_part;                     /* # of ssa_names in a partition.  */
 170   int *call_cnt;                        /* Call count at definition.  */
 171 } *temp_expr_table_p;
 172
 173 /* Used to indicate a dependency on VDEFs.  */
 174 #define VIRTUAL_PARTITION(table)        (table->virtual_partition)
 175
 176 #ifdef ENABLE_CHECKING
 177 extern void debug_ter (FILE *, temp_expr_table_p);
 178 #endif
 179
 180
 181 /* Create a new TER table for MAP.  */
 182
 183 static temp_expr_table_p
 184 new_temp_expr_table (var_map map)
 185 {
 186   temp_expr_table_p t;
 187   unsigned x;
 188
 189   t = XNEW (struct temp_expr_table_d);
 190   t->map = map;
 191
 192   t->partition_dependencies = XCNEWVEC (bitmap, num_ssa_names + 1);
 193   t->expr_decl_uids = XCNEWVEC (bitmap, num_ssa_names + 1);
 194   t->kill_list = XCNEWVEC (bitmap, num_var_partitions (map) + 1);
 195
 196   t->partition_in_use = BITMAP_ALLOC (NULL);
 197
 198   t->virtual_partition = num_var_partitions (map);
 199   t->new_replaceable_dependencies = BITMAP_ALLOC (NULL);
 200
 201   t->replaceable_expressions = NULL;
 202   t->num_in_part = XCNEWVEC (int, num_var_partitions (map));
 203   for (x = 1; x < num_ssa_names; x++)
 204     {
 205       int p;
 206       tree name = ssa_name (x);
 207       if (!name)
 208         continue;
 209       p = var_to_partition (map, name);
 210       if (p != NO_PARTITION)
 211         t->num_in_part[p]++;
 212     }
 213   t->call_cnt = XCNEWVEC (int, num_ssa_names + 1);
 214
 215   return t;
 216 }
 217
 218
 219 /* Free TER table T.  If there are valid replacements, return the expression
 220    vector.  */
 221
 222 static bitmap
 223 free_temp_expr_table (temp_expr_table_p t)
 224 {
 225   bitmap ret = NULL;
 226
 227 #ifdef ENABLE_CHECKING
 228   unsigned x;
 229   for (x = 0; x <= num_var_partitions (t->map); x++)
 230     gcc_assert (!t->kill_list[x]);
 231   for (x = 0; x < num_ssa_names; x++)
 232     {
 233       gcc_assert (t->expr_decl_uids[x] == NULL);
 234       gcc_assert (t->partition_dependencies[x] == NULL);
 235     }
 236 #endif
 237
 238   BITMAP_FREE (t->partition_in_use);
 239   BITMAP_FREE (t->new_replaceable_dependencies);
 240
 241   free (t->expr_decl_uids);
 242   free (t->kill_list);
 243   free (t->partition_dependencies);
 244   free (t->num_in_part);
 245   free (t->call_cnt);
 246
 247   if (t->replaceable_expressions)
 248     ret = t->replaceable_expressions;
 249
 250   free (t);
 251   return ret;
 252 }
 253
 254
 255 /* Return TRUE if VERSION is to be replaced by an expression in TAB.  */
 256
 257 static inline bool
 258 version_to_be_replaced_p (temp_expr_table_p tab, int version)
 259 {
 260   if (!tab->replaceable_expressions)
 261     return false;
 262   return bitmap_bit_p (tab->replaceable_expressions, version);
 263 }
 264
 265
 266 /* Add partition P to the list if partitions VERSION is dependent on.  TAB is
 267    the expression table */
 268
 269 static inline void
 270 make_dependent_on_partition (temp_expr_table_p tab, int version, int p)
 271 {
 272   if (!tab->partition_dependencies[version])
 273     tab->partition_dependencies[version] = BITMAP_ALLOC (NULL);
 274
 275   bitmap_set_bit (tab->partition_dependencies[version], p);
 276 }
 277
 278
 279 /* Add VER to the kill list for P.  TAB is the expression table */
 280
 281 static inline void
 282 add_to_partition_kill_list (temp_expr_table_p tab, int p, int ver)
 283 {
 284   if (!tab->kill_list[p])
 285     {
 286       tab->kill_list[p] = BITMAP_ALLOC (NULL);
 287       bitmap_set_bit (tab->partition_in_use, p);
 288     }
 289   bitmap_set_bit (tab->kill_list[p], ver);
 290 }
 291
 292
 293 /* Remove VER from the partition kill list for P.  TAB is the expression
 294    table.  */
 295
 296 static inline void
 297 remove_from_partition_kill_list (temp_expr_table_p tab, int p, int version)
 298 {
 299   gcc_checking_assert (tab->kill_list[p]);
 300   bitmap_clear_bit (tab->kill_list[p], version);
 301   if (bitmap_empty_p (tab->kill_list[p]))
 302     {
 303       bitmap_clear_bit (tab->partition_in_use, p);
 304       BITMAP_FREE (tab->kill_list[p]);
 305     }
 306 }
 307
 308
 309 /* Add a dependency between the def of ssa VERSION and VAR.  If VAR is
 310    replaceable by an expression, add a dependence each of the elements of the
 311    expression.  These are contained in the new_replaceable list.  TAB is the
 312    expression table.  */
 313
 314 static void
 315 add_dependence (temp_expr_table_p tab, int version, tree var)
 316 {
 317   int i;
 318   bitmap_iterator bi;
 319   unsigned x;
 320
 321   i = SSA_NAME_VERSION (var);
 322   if (version_to_be_replaced_p (tab, i))
 323     {
 324       if (!bitmap_empty_p (tab->new_replaceable_dependencies))
 325         {
 326           /* Version will now be killed by a write to any partition the
 327              substituted expression would have been killed by.  */
 328           EXECUTE_IF_SET_IN_BITMAP (tab->new_replaceable_dependencies, 0, x, bi)
 329             add_to_partition_kill_list (tab, x, version);
 330
 331           /* Rather than set partition_dependencies and in_use lists bit by
 332              bit, simply OR in the new_replaceable_dependencies bits.  */
 333           if (!tab->partition_dependencies[version])
 334             tab->partition_dependencies[version] = BITMAP_ALLOC (NULL);
 335           bitmap_ior_into (tab->partition_dependencies[version],
 336                            tab->new_replaceable_dependencies);
 337           bitmap_ior_into (tab->partition_in_use,
 338                            tab->new_replaceable_dependencies);
 339           /* It is only necessary to add these once.  */
 340           bitmap_clear (tab->new_replaceable_dependencies);
 341         }
 342     }
 343   else
 344     {
 345       i = var_to_partition (tab->map, var);
 346       gcc_checking_assert (i != NO_PARTITION);
 347       gcc_checking_assert (tab->num_in_part[i] != 0);
 348       /* Only dependencies on ssa_names which are coalesced with something need
 349          to be tracked.  Partitions with containing only a single SSA_NAME
 350          *cannot* have their value changed.  */
 351       if (tab->num_in_part[i] > 1)
 352         {
 353           add_to_partition_kill_list (tab, i, version);
 354           make_dependent_on_partition (tab, version, i);
 355         }
 356     }
 357 }
 358
 359
 360 /* Return TRUE if expression STMT is suitable for replacement.  */
 361
 362 static inline bool
 363 is_replaceable_p (gimple stmt)
 364 {
 365   use_operand_p use_p;
 366   tree def;
 367   gimple use_stmt;
 368   location_t locus1, locus2;
 369   tree block1, block2;
 370
 371   /* Only consider modify stmts.  */
 372   if (!is_gimple_assign (stmt))
 373     return false;
 374
 375   /* If the statement may throw an exception, it cannot be replaced.  */
 376   if (stmt_could_throw_p (stmt))
 377     return false;
 378
 379   /* Punt if there is more than 1 def.  */
 380   def = SINGLE_SSA_TREE_OPERAND (stmt, SSA_OP_DEF);
 381   if (!def)
 382     return false;
 383
 384   /* Only consider definitions which have a single use.  */
 385   if (!single_imm_use (def, &use_p, &use_stmt))
 386     return false;
 387
 388   /* If the use isn't in this block, it wont be replaced either.  */
 389   if (gimple_bb (use_stmt) != gimple_bb (stmt))
 390     return false;
 391
 392   locus1 = gimple_location (stmt);
 393   block1 = gimple_block (stmt);
 394
 395   if (gimple_code (use_stmt) == GIMPLE_PHI)
 396     {
 397       locus2 = 0;
 398       block2 = NULL_TREE;
 399     }
 400   else
 401     {
 402       locus2 = gimple_location (use_stmt);
 403       block2 = gimple_block (use_stmt);
 404     }
 405
 406   if (!optimize
 407       && ((locus1 && locus1 != locus2) || (block1 && block1 != block2)))
 408     return false;
 409
 410   /* Used in this block, but at the TOP of the block, not the end.  */
 411   if (gimple_code (use_stmt) == GIMPLE_PHI)
 412     return false;
 413
 414   /* There must be no VDEFs.  */
 415   if (gimple_vdef (stmt))
 416     return false;
 417
 418   /* Without alias info we can't move around loads.  */
 419   if (!optimize
 420       && gimple_assign_single_p (stmt)
 421       && !is_gimple_val (gimple_assign_rhs1 (stmt)))
 422     return false;
 423
 424   /* Float expressions must go through memory if float-store is on.  */
 425   if (flag_float_store
 426       && FLOAT_TYPE_P (gimple_expr_type (stmt)))
 427     return false;
 428
 429   /* An assignment with a register variable on the RHS is not
 430      replaceable.  */
 431   if (gimple_assign_rhs_code (stmt) == VAR_DECL
 432       && DECL_HARD_REGISTER (gimple_assign_rhs1 (stmt)))
 433     return false;
 434
 435   /* No function calls can be replaced.  */
 436   if (is_gimple_call (stmt))
 437     return false;
 438
 439   /* Leave any stmt with volatile operands alone as well.  */
 440   if (gimple_has_volatile_ops (stmt))
 441     return false;
 442
 443   return true;
 444 }
 445
 446
 447 /* This function will remove the expression for VERSION from replacement
 448    consideration in table TAB.  If FREE_EXPR is true, then remove the
 449    expression from consideration as well by freeing the decl uid bitmap.  */
 450
 451 static void
 452 finished_with_expr (temp_expr_table_p tab, int version, bool free_expr)
 453 {
 454   unsigned i;
 455   bitmap_iterator bi;
 456
 457   /* Remove this expression from its dependent lists.  The partition dependence
 458      list is retained and transfered later to whomever uses this version.  */
 459   if (tab->partition_dependencies[version])
 460     {
 461       EXECUTE_IF_SET_IN_BITMAP (tab->partition_dependencies[version], 0, i, bi)
 462         remove_from_partition_kill_list (tab, i, version);
 463       BITMAP_FREE (tab->partition_dependencies[version]);
 464     }
 465   if (free_expr)
 466     BITMAP_FREE (tab->expr_decl_uids[version]);
 467 }
 468
 469
 470 /* Create an expression entry for a replaceable expression.  */
 471
 472 static void
 473 process_replaceable (temp_expr_table_p tab, gimple stmt, int call_cnt)
 474 {
 475   tree var, def, basevar;
 476   int version;
 477   ssa_op_iter iter;
 478   bitmap def_vars, use_vars;
 479
 480   gcc_checking_assert (is_replaceable_p (stmt));
 481
 482   def = SINGLE_SSA_TREE_OPERAND (stmt, SSA_OP_DEF);
 483   version = SSA_NAME_VERSION (def);
 484   basevar = SSA_NAME_VAR (def);
 485   def_vars = BITMAP_ALLOC (NULL);
 486
 487   bitmap_set_bit (def_vars, DECL_UID (basevar));
 488
 489   /* Add this expression to the dependency list for each use partition.  */
 490   FOR_EACH_SSA_TREE_OPERAND (var, stmt, iter, SSA_OP_USE)
 491     {
 492       int var_version = SSA_NAME_VERSION (var);
 493
 494       use_vars = tab->expr_decl_uids[var_version];
 495       add_dependence (tab, version, var);
 496       if (use_vars)
 497         {
 498           bitmap_ior_into (def_vars, use_vars);
 499           BITMAP_FREE (tab->expr_decl_uids[var_version]);
 500         }
 501       else
 502         bitmap_set_bit (def_vars, DECL_UID (SSA_NAME_VAR (var)));
 503     }
 504   tab->expr_decl_uids[version] = def_vars;
 505
 506   /* If there are VUSES, add a dependence on virtual defs.  */
 507   if (gimple_vuse (stmt))
 508     {
 509       make_dependent_on_partition (tab, version, VIRTUAL_PARTITION (tab));
 510       add_to_partition_kill_list (tab, VIRTUAL_PARTITION (tab), version);
 511     }
 512
 513   tab->call_cnt[version] = call_cnt;
 514 }
 515
 516
 517 /* This function removes any expression in TAB which is dependent on PARTITION
 518    from consideration, making it not replaceable.  */
 519
 520 static inline void
 521 kill_expr (temp_expr_table_p tab, int partition)
 522 {
 523   unsigned version;
 524
 525   /* Mark every active expr dependent on this var as not replaceable.
 526      finished_with_expr can modify the bitmap, so we can't execute over it.  */
 527   while (tab->kill_list[partition])
 528     {
 529       version = bitmap_first_set_bit (tab->kill_list[partition]);
 530       finished_with_expr (tab, version, true);
 531     }
 532
 533   gcc_checking_assert (!tab->kill_list[partition]);
 534 }
 535
 536
 537 /* This function kills all expressions in TAB which are dependent on virtual
 538    partitions.  */
 539
 540 static inline void
 541 kill_virtual_exprs (temp_expr_table_p tab)
 542 {
 543   kill_expr (tab, VIRTUAL_PARTITION (tab));
 544 }
 545
 546
 547 /* Mark the expression associated with VAR as replaceable, and enter
 548    the defining stmt into the partition_dependencies table TAB.  If
 549    MORE_REPLACING is true, accumulate the pending partition dependencies.  */
 550
 551 static void
 552 mark_replaceable (temp_expr_table_p tab, tree var, bool more_replacing)
 553 {
 554   int version = SSA_NAME_VERSION (var);
 555
 556   /* Move the dependence list to the pending listpending.  */
 557   if (more_replacing && tab->partition_dependencies[version])
 558     bitmap_ior_into (tab->new_replaceable_dependencies,
 559                      tab->partition_dependencies[version]);
 560
 561   finished_with_expr (tab, version, !more_replacing);
 562
 563   /* Set the replaceable expression.  */
 564   if (!tab->replaceable_expressions)
 565     tab->replaceable_expressions = BITMAP_ALLOC (NULL);
 566   bitmap_set_bit (tab->replaceable_expressions, version);
 567 }
 568
 569
 570 /* This function processes basic block BB, and looks for variables which can
 571    be replaced by their expressions.  Results are stored in the table TAB.  */
 572
 573 static void
 574 find_replaceable_in_bb (temp_expr_table_p tab, basic_block bb)
 575 {
 576   gimple_stmt_iterator bsi;
 577   gimple stmt;
 578   tree def, use, fndecl;
 579   int partition;
 580   var_map map = tab->map;
 581   ssa_op_iter iter;
 582   bool stmt_replaceable;
 583   int cur_call_cnt = 0;
 584
 585   for (bsi = gsi_start_bb (bb); !gsi_end_p (bsi); gsi_next (&bsi))
 586     {
 587       stmt = gsi_stmt (bsi);
 588
 589       if (is_gimple_debug (stmt))
 590         continue;
 591
 592       stmt_replaceable = is_replaceable_p (stmt);
 593
 594       /* Determine if this stmt finishes an existing expression.  */
 595       FOR_EACH_SSA_TREE_OPERAND (use, stmt, iter, SSA_OP_USE)
 596         {
 597           unsigned ver = SSA_NAME_VERSION (use);
 598
 599           /* If this use is a potential replacement variable, process it.  */
 600           if (tab->expr_decl_uids[ver])
 601             {
 602               bool same_root_var = false;
 603               ssa_op_iter iter2;
 604               bitmap vars = tab->expr_decl_uids[ver];
 605
 606               /* See if the root variables are the same.  If they are, we
 607                  do not want to do the replacement to avoid problems with
 608                  code size, see PR tree-optimization/17549.  */
 609               if (!bitmap_empty_p (vars))
 610                 FOR_EACH_SSA_TREE_OPERAND (def, stmt, iter2, SSA_OP_DEF)
 611                   {
 612                     if (bitmap_bit_p (vars, DECL_UID (SSA_NAME_VAR (def))))
 613                       {
 614                         same_root_var = true;
 615                         break;
 616                       }
 617                   }
 618
 619               /* If the stmt does a memory store and the replacement
 620                  is a load aliasing it avoid creating overlapping
 621                  assignments which we cannot expand correctly.  */
 622               if (gimple_vdef (stmt)
 623                   && gimple_assign_single_p (stmt))
 624                 {
 625                   gimple def_stmt = SSA_NAME_DEF_STMT (use);
 626                   while (is_gimple_assign (def_stmt)
 627                          && gimple_assign_rhs_code (def_stmt) == SSA_NAME)
 628                     def_stmt
 629                       = SSA_NAME_DEF_STMT (gimple_assign_rhs1 (def_stmt));
 630                   if (gimple_vuse (def_stmt)
 631                       && gimple_assign_single_p (def_stmt)
 632                       && refs_may_alias_p (gimple_assign_lhs (stmt),
 633                                            gimple_assign_rhs1 (def_stmt)))
 634                     same_root_var = true;
 635                 }
 636
 637               /* Mark expression as replaceable unless stmt is volatile, or the
 638                  def variable has the same root variable as something in the
 639                  substitution list, or the def and use span a call such that
 640                  we'll expand lifetimes across a call.  */
 641               if (gimple_has_volatile_ops (stmt) || same_root_var
 642                   || (tab->call_cnt[ver] != cur_call_cnt
 643                       && SINGLE_SSA_USE_OPERAND (SSA_NAME_DEF_STMT (use), SSA_OP_USE)
 644                          == NULL_USE_OPERAND_P))
 645                 finished_with_expr (tab, ver, true);
 646               else
 647                 mark_replaceable (tab, use, stmt_replaceable);
 648             }
 649         }
 650
 651       /* Next, see if this stmt kills off an active expression.  */
 652       FOR_EACH_SSA_TREE_OPERAND (def, stmt, iter, SSA_OP_DEF)
 653         {
 654           partition = var_to_partition (map, def);
 655           if (partition != NO_PARTITION && tab->kill_list[partition])
 656             kill_expr (tab, partition);
 657         }
 658
 659       /* Increment counter if this is a non BUILT_IN call. We allow
 660          replacement over BUILT_IN calls since many will expand to inline
 661          insns instead of a true call.  */
 662       if (is_gimple_call (stmt)
 663           && !((fndecl = gimple_call_fndecl (stmt))
 664                && DECL_BUILT_IN (fndecl)))
 665         cur_call_cnt++;
 666
 667       /* Now see if we are creating a new expression or not.  */
 668       if (stmt_replaceable)
 669         process_replaceable (tab, stmt, cur_call_cnt);
 670
 671       /* Free any unused dependency lists.  */
 672       bitmap_clear (tab->new_replaceable_dependencies);
 673
 674       /* A V_{MAY,MUST}_DEF kills any expression using a virtual operand,
 675          including the current stmt.  */
 676       if (gimple_vdef (stmt))
 677         kill_virtual_exprs (tab);
 678     }
 679 }
 680
 681
 682 /* This function is the driver routine for replacement of temporary expressions
 683    in the SSA->normal phase, operating on MAP.  If there are replaceable
 684    expressions, a table is returned which maps SSA versions to the
 685    expressions they should be replaced with.  A NULL_TREE indicates no
 686    replacement should take place.  If there are no replacements at all,
 687    NULL is returned by the function, otherwise an expression vector indexed
 688    by SSA_NAME version numbers.  */
 689
 690 extern bitmap
 691 find_replaceable_exprs (var_map map)
 692 {
 693   basic_block bb;
 694   temp_expr_table_p table;
 695   bitmap ret;
 696
 697   table = new_temp_expr_table (map);
 698   FOR_EACH_BB (bb)
 699     {
 700       find_replaceable_in_bb (table, bb);
 701       gcc_checking_assert (bitmap_empty_p (table->partition_in_use));
 702     }
 703
 704   ret = free_temp_expr_table (table);
 705   return ret;
 706 }
 707
 708 /* Dump TER expression table EXPR to file F.  */
 709
 710 void
 711 dump_replaceable_exprs (FILE *f, bitmap expr)
 712 {
 713   tree var;
 714   unsigned x;
 715
 716   fprintf (f, "\nReplacing Expressions\n");
 717   for (x = 0; x < num_ssa_names; x++)
 718     if (bitmap_bit_p (expr, x))
 719       {
 720         var = ssa_name (x);
 721         print_generic_expr (f, var, TDF_SLIM);
 722         fprintf (f, " replace with --> ");
 723         print_gimple_stmt (f, SSA_NAME_DEF_STMT (var), 0, TDF_SLIM);
 724         fprintf (f, "\n");
 725       }
 726   fprintf (f, "\n");
 727 }
 728
 729
 730 #ifdef ENABLE_CHECKING
 731 /* Dump the status of the various tables in the expression table.  This is used
 732    exclusively to debug TER.  F is the place to send debug info and T is the
 733    table being debugged.  */
 734
 735 DEBUG_FUNCTION void
 736 debug_ter (FILE *f, temp_expr_table_p t)
 737 {
 738   unsigned x, y;
 739   bitmap_iterator bi;
 740
 741   fprintf (f, "\nDumping current state of TER\n virtual partition = %d\n",
 742            VIRTUAL_PARTITION (t));
 743   if (t->replaceable_expressions)
 744     dump_replaceable_exprs (f, t->replaceable_expressions);
 745   fprintf (f, "Currently tracking the following expressions:\n");
 746
 747   for (x = 1; x < num_ssa_names; x++)
 748     if (t->expr_decl_uids[x])
 749       {
 750         print_generic_expr (f, ssa_name (x), TDF_SLIM);
 751         fprintf (f, " dep-parts : ");
 752         if (t->partition_dependencies[x]
 753             && !bitmap_empty_p (t->partition_dependencies[x]))
 754           {
 755             EXECUTE_IF_SET_IN_BITMAP (t->partition_dependencies[x], 0, y, bi)
 756               fprintf (f, "P%d ",y);
 757           }
 758         fprintf (f, "   basedecls: ");
 759         EXECUTE_IF_SET_IN_BITMAP (t->expr_decl_uids[x], 0, y, bi)
 760           fprintf (f, "%d ",y);
 761         fprintf (f, "   call_cnt : %d",t->call_cnt[x]);
 762         fprintf (f, "\n");
 763       }
 764
 765   bitmap_print (f, t->partition_in_use, "Partitions in use ",
 766                 "\npartition KILL lists:\n");
 767
 768   for (x = 0; x <= num_var_partitions (t->map); x++)
 769     if (t->kill_list[x])
 770       {
 771         fprintf (f, "Partition %d : ", x);
 772         EXECUTE_IF_SET_IN_BITMAP (t->kill_list[x], 0, y, bi)
 773           fprintf (f, "_%d ",y);
 774       }
 775
 776   fprintf (f, "\n----------\n");
 777 }
 778 #endif