gcc/tree-ssa-ter.c

   1 /* Routines for performing Temporary Expression Replacement (TER) in SSA trees.
   2    Copyright (C) 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010
   3    Free Software Foundation, Inc.
   4    Contributed by Andrew MacLeod  <amacleod@redhat.com>
   5
   6 This file is part of GCC.
   7
   8 GCC is free software; you can redistribute it and/or modify
   9 it under the terms of the GNU General Public License as published by
  10 the Free Software Foundation; either version 3, or (at your option)
  11 any later version.
  12
  13 GCC is distributed in the hope that it will be useful,
  14 but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 GNU General Public License for more details.
  17
  18 You should have received a copy of the GNU General Public License
  19 along with GCC; see the file COPYING3.  If not see
  20 <http://www.gnu.org/licenses/>.  */
  21
  22
  23 #include "config.h"
  24 #include "system.h"
  25 #include "coretypes.h"
  26 #include "tm.h"
  27 #include "tree.h"
  28 #include "tree-pretty-print.h"
  29 #include "gimple-pretty-print.h"
  30 #include "bitmap.h"
  31 #include "tree-flow.h"
  32 #include "tree-dump.h"
  33 #include "tree-ssa-live.h"
  34 #include "flags.h"
  35
  36
  37 /* Temporary Expression Replacement (TER)
  38
  39    Replace SSA version variables during out-of-ssa with their defining
  40    expression if there is only one use of the variable.
  41
  42    This pass is required in order for the RTL expansion pass to see larger
  43    chunks of code.  This allows it to make better choices on RTL pattern
  44    selection.  When expand is rewritten and merged with out-of-ssa, and
  45    understands SSA, this should be eliminated.
  46
  47    A pass is made through the function, one block at a time.  No cross block
  48    information is tracked.
  49
  50    Variables which only have one use, and whose defining stmt is considered
  51    a replaceable expression (see is_replaceable_p) are tracked to see whether
  52    they can be replaced at their use location.
  53
  54    n_12 = C * 10
  55    a_2 = b_5 + 6
  56    v_9 = a_2 * n_12
  57
  58    if there are the only use of n_12 and a_2, TER will substitute in their
  59    expressions in v_9, and end up with:
  60
  61    v_9 = (b_5 + 6) * (C * 10)
  62
  63    which will then have the ssa_name assigned to regular variables, and the
  64    resulting code which will be passed to the expander looks something like:
  65
  66    v = (b + 6) * (C * 10)
  67
  68
  69    This requires ensuring that none of the variables used by the expression
  70    change between the def point and where it is used.  Furthermore, if any
  71    of the ssa_names used in this expression are themselves replaceable, we
  72    have to ensure none of that expressions' arguments change either.
  73    Although SSA_NAMES themselves don't change, this pass is performed after
  74    coalescing has coalesced different SSA_NAMES together, so there could be a
  75    definition of an SSA_NAME which is coalesced with a use that causes a
  76    problem, i.e.,
  77
  78    PHI b_5 = <b_8(2), b_14(1)>
  79    <...>
  80    a_2 = b_5 + 6
  81    b_8 = c_4 + 4
  82    v_9 = a_2 * n_12
  83    <...>
  84
  85    If b_5, b_8 and b_14 are all coalesced together...
  86    The expression b_5 + 6 CANNOT replace the use in the statement defining v_9
  87    because b_8 is in fact killing the value of b_5 since they share a partition
  88    and will be assigned the same memory or register location.
  89
  90    TER implements this but stepping through the instructions in a block and
  91    tracking potential expressions for replacement, and the partitions they are
  92    dependent on.  Expressions are represented by the SSA_NAME_VERSION of the
  93    DEF on the LHS of a GIMPLE_ASSIGN and the expression is the RHS.
  94
  95    When a stmt is determined to be a possible replacement expression, the
  96    following steps are taken:
  97
  98    EXPR_DECL_UID bitmap is allocated and set to the base variable UID of the
  99    def and any uses in the expression.  non-NULL means the expression is being
 100    tracked.  The UID's themselves are used to prevent TER substitution into
 101    accumulating sequences, i.e.,
 102
 103    x = x + y
 104    x = x + z
 105    x = x + w
 106    etc.
 107    this can result in very large expressions which don't accomplish anything
 108    see PR tree-optimization/17549.
 109
 110    PARTITION_DEPENDENCIES is another bitmap array, and it has a bit set for any
 111    partition which is used in the expression.  This is primarily used to remove
 112    an expression from the partition kill lists when a decision is made whether
 113    to replace it or not.  This is indexed by ssa version number as well, and
 114    indicates a partition number.  virtual operands are not tracked individually,
 115    but they are summarized by an artificial partition called VIRTUAL_PARTITION.
 116    This means a MAY or MUST def will kill *ALL* expressions that are dependent
 117    on a virtual operand.
 118    Note that the EXPR_DECL_UID and this bitmap represent very similar
 119    information, but the info in one is not easy to obtain from the other.
 120
 121    KILL_LIST is yet another bitmap array, this time it is indexed by partition
 122    number, and represents a list of active expressions which will will no
 123    longer be valid if a definition into this partition takes place.
 124
 125    PARTITION_IN_USE is simply a bitmap which is used to track which partitions
 126    currently have something in their kill list.  This is used at the end of
 127    a block to clear out the KILL_LIST bitmaps at the end of each block.
 128
 129    NEW_REPLACEABLE_DEPENDENCIES is used as a temporary place to store
 130    dependencies which will be reused by the current definition. All the uses
 131    on an expression are processed before anything else is done. If a use is
 132    determined to be a replaceable expression AND the current stmt is also going
 133    to be replaceable, all the dependencies of this replaceable use will be
 134    picked up by the current stmt's expression. Rather than recreate them, they
 135    are simply copied here and then copied into the new expression when it is
 136    processed.
 137
 138    a_2 = b_5 + 6
 139    v_8 = a_2 + c_4
 140
 141    a_2's expression 'b_5 + 6' is determined to be replaceable at the use
 142    location. It is dependent on the partition 'b_5' is in. This is cached into
 143    the NEW_REPLACEABLE_DEPENDENCIES bitmap, and when v_8 is examined for
 144    replaceability, it is a candidate, and it is dependent on the partition
 145    b_5 is in *NOT* a_2, as well as c_4's partition.
 146
 147    if v_8 is also replaceable:
 148
 149    x_9 = v_8 * 5
 150
 151    x_9 is dependent on partitions b_5, and c_4
 152
 153    if a statement is found which has either of those partitions written to
 154    before x_9 is used, then x_9 itself is NOT replaceable.  */
 155
 156
 157 /* Temporary Expression Replacement (TER) table information.  */
 158
 159 typedef struct temp_expr_table_d
 160 {
 161   var_map map;
 162   bitmap *partition_dependencies;       /* Partitions expr is dependent on.  */
 163   bitmap replaceable_expressions;       /* Replacement expression table.  */
 164   bitmap *expr_decl_uids;               /* Base uids of exprs.  */
 165   bitmap *kill_list;                    /* Expr's killed by a partition.  */
 166   int virtual_partition;                /* Pseudo partition for virtual ops.  */
 167   bitmap partition_in_use;              /* Partitions with kill entries.  */
 168   bitmap new_replaceable_dependencies;  /* Holding place for pending dep's.  */
 169   int *num_in_part;                     /* # of ssa_names in a partition.  */
 170 } *temp_expr_table_p;
 171
 172 /* Used to indicate a dependency on VDEFs.  */
 173 #define VIRTUAL_PARTITION(table)        (table->virtual_partition)
 174
 175 #ifdef ENABLE_CHECKING
 176 extern void debug_ter (FILE *, temp_expr_table_p);
 177 #endif
 178
 179
 180 /* Create a new TER table for MAP.  */
 181
 182 static temp_expr_table_p
 183 new_temp_expr_table (var_map map)
 184 {
 185   temp_expr_table_p t;
 186   unsigned x;
 187
 188   t = XNEW (struct temp_expr_table_d);
 189   t->map = map;
 190
 191   t->partition_dependencies = XCNEWVEC (bitmap, num_ssa_names + 1);
 192   t->expr_decl_uids = XCNEWVEC (bitmap, num_ssa_names + 1);
 193   t->kill_list = XCNEWVEC (bitmap, num_var_partitions (map) + 1);
 194
 195   t->partition_in_use = BITMAP_ALLOC (NULL);
 196
 197   t->virtual_partition = num_var_partitions (map);
 198   t->new_replaceable_dependencies = BITMAP_ALLOC (NULL);
 199
 200   t->replaceable_expressions = NULL;
 201   t->num_in_part = XCNEWVEC (int, num_var_partitions (map));
 202   for (x = 1; x < num_ssa_names; x++)
 203     {
 204       int p;
 205       tree name = ssa_name (x);
 206       if (!name)
 207         continue;
 208       p = var_to_partition (map, name);
 209       if (p != NO_PARTITION)
 210         t->num_in_part[p]++;
 211     }
 212
 213   return t;
 214 }
 215
 216
 217 /* Free TER table T.  If there are valid replacements, return the expression
 218    vector.  */
 219
 220 static bitmap
 221 free_temp_expr_table (temp_expr_table_p t)
 222 {
 223   bitmap ret = NULL;
 224
 225 #ifdef ENABLE_CHECKING
 226   unsigned x;
 227   for (x = 0; x <= num_var_partitions (t->map); x++)
 228     gcc_assert (!t->kill_list[x]);
 229   for (x = 0; x < num_ssa_names; x++)
 230     {
 231       gcc_assert (t->expr_decl_uids[x] == NULL);
 232       gcc_assert (t->partition_dependencies[x] == NULL);
 233     }
 234 #endif
 235
 236   BITMAP_FREE (t->partition_in_use);
 237   BITMAP_FREE (t->new_replaceable_dependencies);
 238
 239   free (t->expr_decl_uids);
 240   free (t->kill_list);
 241   free (t->partition_dependencies);
 242   free (t->num_in_part);
 243
 244   if (t->replaceable_expressions)
 245     ret = t->replaceable_expressions;
 246
 247   free (t);
 248   return ret;
 249 }
 250
 251
 252 /* Return TRUE if VERSION is to be replaced by an expression in TAB.  */
 253
 254 static inline bool
 255 version_to_be_replaced_p (temp_expr_table_p tab, int version)
 256 {
 257   if (!tab->replaceable_expressions)
 258     return false;
 259   return bitmap_bit_p (tab->replaceable_expressions, version);
 260 }
 261
 262
 263 /* Add partition P to the list if partitions VERSION is dependent on.  TAB is
 264    the expression table */
 265
 266 static inline void
 267 make_dependent_on_partition (temp_expr_table_p tab, int version, int p)
 268 {
 269   if (!tab->partition_dependencies[version])
 270     tab->partition_dependencies[version] = BITMAP_ALLOC (NULL);
 271
 272   bitmap_set_bit (tab->partition_dependencies[version], p);
 273 }
 274
 275
 276 /* Add VER to the kill list for P.  TAB is the expression table */
 277
 278 static inline void
 279 add_to_partition_kill_list (temp_expr_table_p tab, int p, int ver)
 280 {
 281   if (!tab->kill_list[p])
 282     {
 283       tab->kill_list[p] = BITMAP_ALLOC (NULL);
 284       bitmap_set_bit (tab->partition_in_use, p);
 285     }
 286   bitmap_set_bit (tab->kill_list[p], ver);
 287 }
 288
 289
 290 /* Remove VER from the partition kill list for P.  TAB is the expression
 291    table.  */
 292
 293 static inline void
 294 remove_from_partition_kill_list (temp_expr_table_p tab, int p, int version)
 295 {
 296 #ifdef ENABLE_CHECKING
 297   gcc_assert (tab->kill_list[p]);
 298 #endif
 299   bitmap_clear_bit (tab->kill_list[p], version);
 300   if (bitmap_empty_p (tab->kill_list[p]))
 301     {
 302       bitmap_clear_bit (tab->partition_in_use, p);
 303       BITMAP_FREE (tab->kill_list[p]);
 304     }
 305 }
 306
 307
 308 /* Add a dependency between the def of ssa VERSION and VAR.  If VAR is
 309    replaceable by an expression, add a dependence each of the elements of the
 310    expression.  These are contained in the new_replaceable list.  TAB is the
 311    expression table.  */
 312
 313 static void
 314 add_dependence (temp_expr_table_p tab, int version, tree var)
 315 {
 316   int i;
 317   bitmap_iterator bi;
 318   unsigned x;
 319
 320   i = SSA_NAME_VERSION (var);
 321   if (version_to_be_replaced_p (tab, i))
 322     {
 323       if (!bitmap_empty_p (tab->new_replaceable_dependencies))
 324         {
 325           /* Version will now be killed by a write to any partition the
 326              substituted expression would have been killed by.  */
 327           EXECUTE_IF_SET_IN_BITMAP (tab->new_replaceable_dependencies, 0, x, bi)
 328             add_to_partition_kill_list (tab, x, version);
 329
 330           /* Rather than set partition_dependencies and in_use lists bit by
 331              bit, simply OR in the new_replaceable_dependencies bits.  */
 332           if (!tab->partition_dependencies[version])
 333             tab->partition_dependencies[version] = BITMAP_ALLOC (NULL);
 334           bitmap_ior_into (tab->partition_dependencies[version],
 335                            tab->new_replaceable_dependencies);
 336           bitmap_ior_into (tab->partition_in_use,
 337                            tab->new_replaceable_dependencies);
 338           /* It is only necessary to add these once.  */
 339           bitmap_clear (tab->new_replaceable_dependencies);
 340         }
 341     }
 342   else
 343     {
 344       i = var_to_partition (tab->map, var);
 345 #ifdef ENABLE_CHECKING
 346       gcc_assert (i != NO_PARTITION);
 347       gcc_assert (tab->num_in_part[i] != 0);
 348 #endif
 349       /* Only dependencies on ssa_names which are coalesced with something need
 350          to be tracked.  Partitions with containing only a single SSA_NAME
 351          *cannot* have their value changed.  */
 352       if (tab->num_in_part[i] > 1)
 353         {
 354           add_to_partition_kill_list (tab, i, version);
 355           make_dependent_on_partition (tab, version, i);
 356         }
 357     }
 358 }
 359
 360
 361 /* Return TRUE if expression STMT is suitable for replacement.  */
 362
 363 static inline bool
 364 is_replaceable_p (gimple stmt)
 365 {
 366   use_operand_p use_p;
 367   tree def;
 368   gimple use_stmt;
 369   location_t locus1, locus2;
 370   tree block1, block2;
 371
 372   /* Only consider modify stmts.  */
 373   if (!is_gimple_assign (stmt))
 374     return false;
 375
 376   /* If the statement may throw an exception, it cannot be replaced.  */
 377   if (stmt_could_throw_p (stmt))
 378     return false;
 379
 380   /* Punt if there is more than 1 def.  */
 381   def = SINGLE_SSA_TREE_OPERAND (stmt, SSA_OP_DEF);
 382   if (!def)
 383     return false;
 384
 385   /* Only consider definitions which have a single use.  */
 386   if (!single_imm_use (def, &use_p, &use_stmt))
 387     return false;
 388
 389   /* If the use isn't in this block, it wont be replaced either.  */
 390   if (gimple_bb (use_stmt) != gimple_bb (stmt))
 391     return false;
 392
 393   locus1 = gimple_location (stmt);
 394   block1 = gimple_block (stmt);
 395
 396   if (gimple_code (use_stmt) == GIMPLE_PHI)
 397     {
 398       locus2 = 0;
 399       block2 = NULL_TREE;
 400     }
 401   else
 402     {
 403       locus2 = gimple_location (use_stmt);
 404       block2 = gimple_block (use_stmt);
 405     }
 406
 407   if (!optimize
 408       && ((locus1 && locus1 != locus2) || (block1 && block1 != block2)))
 409     return false;
 410
 411   /* Used in this block, but at the TOP of the block, not the end.  */
 412   if (gimple_code (use_stmt) == GIMPLE_PHI)
 413     return false;
 414
 415   /* There must be no VDEFs.  */
 416   if (gimple_vdef (stmt))
 417     return false;
 418
 419   /* Without alias info we can't move around loads.  */
 420   if (gimple_references_memory_p (stmt) && !optimize)
 421     return false;
 422
 423   /* Float expressions must go through memory if float-store is on.  */
 424   if (flag_float_store
 425       && FLOAT_TYPE_P (gimple_expr_type (stmt)))
 426     return false;
 427
 428   /* An assignment with a register variable on the RHS is not
 429      replaceable.  */
 430   if (gimple_assign_rhs_code (stmt) == VAR_DECL
 431       && DECL_HARD_REGISTER (gimple_assign_rhs1 (stmt)))
 432     return false;
 433
 434   /* No function calls can be replaced.  */
 435   if (is_gimple_call (stmt))
 436     return false;
 437
 438   /* Leave any stmt with volatile operands alone as well.  */
 439   if (gimple_has_volatile_ops (stmt))
 440     return false;
 441
 442   return true;
 443 }
 444
 445
 446 /* This function will remove the expression for VERSION from replacement
 447    consideration in table TAB.  If FREE_EXPR is true, then remove the
 448    expression from consideration as well by freeing the decl uid bitmap.  */
 449
 450 static void
 451 finished_with_expr (temp_expr_table_p tab, int version, bool free_expr)
 452 {
 453   unsigned i;
 454   bitmap_iterator bi;
 455
 456   /* Remove this expression from its dependent lists.  The partition dependence
 457      list is retained and transfered later to whomever uses this version.  */
 458   if (tab->partition_dependencies[version])
 459     {
 460       EXECUTE_IF_SET_IN_BITMAP (tab->partition_dependencies[version], 0, i, bi)
 461         remove_from_partition_kill_list (tab, i, version);
 462       BITMAP_FREE (tab->partition_dependencies[version]);
 463     }
 464   if (free_expr)
 465     BITMAP_FREE (tab->expr_decl_uids[version]);
 466 }
 467
 468
 469 /* Create an expression entry for a replaceable expression.  */
 470
 471 static void
 472 process_replaceable (temp_expr_table_p tab, gimple stmt)
 473 {
 474   tree var, def, basevar;
 475   int version;
 476   ssa_op_iter iter;
 477   bitmap def_vars, use_vars;
 478
 479 #ifdef ENABLE_CHECKING
 480   gcc_assert (is_replaceable_p (stmt));
 481 #endif
 482
 483   def = SINGLE_SSA_TREE_OPERAND (stmt, SSA_OP_DEF);
 484   version = SSA_NAME_VERSION (def);
 485   basevar = SSA_NAME_VAR (def);
 486   def_vars = BITMAP_ALLOC (NULL);
 487
 488   bitmap_set_bit (def_vars, DECL_UID (basevar));
 489
 490   /* Add this expression to the dependency list for each use partition.  */
 491   FOR_EACH_SSA_TREE_OPERAND (var, stmt, iter, SSA_OP_USE)
 492     {
 493       int var_version = SSA_NAME_VERSION (var);
 494
 495       use_vars = tab->expr_decl_uids[var_version];
 496       add_dependence (tab, version, var);
 497       if (use_vars)
 498         {
 499           bitmap_ior_into (def_vars, use_vars);
 500           BITMAP_FREE (tab->expr_decl_uids[var_version]);
 501         }
 502       else
 503         bitmap_set_bit (def_vars, DECL_UID (SSA_NAME_VAR (var)));
 504     }
 505   tab->expr_decl_uids[version] = def_vars;
 506
 507   /* If there are VUSES, add a dependence on virtual defs.  */
 508   if (gimple_vuse (stmt))
 509     {
 510       make_dependent_on_partition (tab, version, VIRTUAL_PARTITION (tab));
 511       add_to_partition_kill_list (tab, VIRTUAL_PARTITION (tab), version);
 512     }
 513 }
 514
 515
 516 /* This function removes any expression in TAB which is dependent on PARTITION
 517    from consideration, making it not replaceable.  */
 518
 519 static inline void
 520 kill_expr (temp_expr_table_p tab, int partition)
 521 {
 522   unsigned version;
 523
 524   /* Mark every active expr dependent on this var as not replaceable.
 525      finished_with_expr can modify the bitmap, so we can't execute over it.  */
 526   while (tab->kill_list[partition])
 527     {
 528       version = bitmap_first_set_bit (tab->kill_list[partition]);
 529       finished_with_expr (tab, version, true);
 530     }
 531
 532 #ifdef ENABLE_CHECKING
 533   gcc_assert (!tab->kill_list[partition]);
 534 #endif
 535 }
 536
 537
 538 /* This function kills all expressions in TAB which are dependent on virtual
 539    partitions.  */
 540
 541 static inline void
 542 kill_virtual_exprs (temp_expr_table_p tab)
 543 {
 544   kill_expr (tab, VIRTUAL_PARTITION (tab));
 545 }
 546
 547
 548 /* Mark the expression associated with VAR as replaceable, and enter
 549    the defining stmt into the partition_dependencies table TAB.  If
 550    MORE_REPLACING is true, accumulate the pending partition dependencies.  */
 551
 552 static void
 553 mark_replaceable (temp_expr_table_p tab, tree var, bool more_replacing)
 554 {
 555   int version = SSA_NAME_VERSION (var);
 556
 557   /* Move the dependence list to the pending listpending.  */
 558   if (more_replacing && tab->partition_dependencies[version])
 559     bitmap_ior_into (tab->new_replaceable_dependencies,
 560                      tab->partition_dependencies[version]);
 561
 562   finished_with_expr (tab, version, !more_replacing);
 563
 564   /* Set the replaceable expression.  */
 565   if (!tab->replaceable_expressions)
 566     tab->replaceable_expressions = BITMAP_ALLOC (NULL);
 567   bitmap_set_bit (tab->replaceable_expressions, version);
 568 }
 569
 570
 571 /* This function processes basic block BB, and looks for variables which can
 572    be replaced by their expressions.  Results are stored in the table TAB.  */
 573
 574 static void
 575 find_replaceable_in_bb (temp_expr_table_p tab, basic_block bb)
 576 {
 577   gimple_stmt_iterator bsi;
 578   gimple stmt;
 579   tree def, use;
 580   int partition;
 581   var_map map = tab->map;
 582   ssa_op_iter iter;
 583   bool stmt_replaceable;
 584
 585   for (bsi = gsi_start_bb (bb); !gsi_end_p (bsi); gsi_next (&bsi))
 586     {
 587       stmt = gsi_stmt (bsi);
 588
 589       if (is_gimple_debug (stmt))
 590         continue;
 591
 592       stmt_replaceable = is_replaceable_p (stmt);
 593
 594       /* Determine if this stmt finishes an existing expression.  */
 595       FOR_EACH_SSA_TREE_OPERAND (use, stmt, iter, SSA_OP_USE)
 596         {
 597           unsigned ver = SSA_NAME_VERSION (use);
 598
 599           /* If this use is a potential replacement variable, process it.  */
 600           if (tab->expr_decl_uids[ver])
 601             {
 602               bool same_root_var = false;
 603               ssa_op_iter iter2;
 604               bitmap vars = tab->expr_decl_uids[ver];
 605
 606               /* See if the root variables are the same.  If they are, we
 607                  do not want to do the replacement to avoid problems with
 608                  code size, see PR tree-optimization/17549.  */
 609               if (!bitmap_empty_p (vars))
 610                 FOR_EACH_SSA_TREE_OPERAND (def, stmt, iter2, SSA_OP_DEF)
 611                   {
 612                     if (bitmap_bit_p (vars, DECL_UID (SSA_NAME_VAR (def))))
 613                       {
 614                         same_root_var = true;
 615                         break;
 616                       }
 617                   }
 618
 619               /* If the stmt does a memory store and the replacement
 620                  is a load aliasing it avoid creating overlapping
 621                  assignments which we cannot expand correctly.  */
 622               if (gimple_vdef (stmt)
 623                   && gimple_assign_single_p (stmt))
 624                 {
 625                   gimple def_stmt = SSA_NAME_DEF_STMT (use);
 626                   while (is_gimple_assign (def_stmt)
 627                          && gimple_assign_rhs_code (def_stmt) == SSA_NAME)
 628                     def_stmt
 629                       = SSA_NAME_DEF_STMT (gimple_assign_rhs1 (def_stmt));
 630                   if (gimple_vuse (def_stmt)
 631                       && gimple_assign_single_p (def_stmt)
 632                       && refs_may_alias_p (gimple_assign_lhs (stmt),
 633                                            gimple_assign_rhs1 (def_stmt)))
 634                     same_root_var = true;
 635                 }
 636
 637               /* Mark expression as replaceable unless stmt is volatile or the
 638                  def variable has the same root variable as something in the
 639                  substitution list.  */
 640               if (gimple_has_volatile_ops (stmt) || same_root_var)
 641                 finished_with_expr (tab, ver, true);
 642               else
 643                 mark_replaceable (tab, use, stmt_replaceable);
 644             }
 645         }
 646
 647       /* Next, see if this stmt kills off an active expression.  */
 648       FOR_EACH_SSA_TREE_OPERAND (def, stmt, iter, SSA_OP_DEF)
 649         {
 650           partition = var_to_partition (map, def);
 651           if (partition != NO_PARTITION && tab->kill_list[partition])
 652             kill_expr (tab, partition);
 653         }
 654
 655       /* Now see if we are creating a new expression or not.  */
 656       if (stmt_replaceable)
 657         process_replaceable (tab, stmt);
 658
 659       /* Free any unused dependency lists.  */
 660       bitmap_clear (tab->new_replaceable_dependencies);
 661
 662       /* A V_{MAY,MUST}_DEF kills any expression using a virtual operand,
 663          including the current stmt.  */
 664       if (gimple_vdef (stmt))
 665         kill_virtual_exprs (tab);
 666     }
 667 }
 668
 669
 670 /* This function is the driver routine for replacement of temporary expressions
 671    in the SSA->normal phase, operating on MAP.  If there are replaceable
 672    expressions, a table is returned which maps SSA versions to the
 673    expressions they should be replaced with.  A NULL_TREE indicates no
 674    replacement should take place.  If there are no replacements at all,
 675    NULL is returned by the function, otherwise an expression vector indexed
 676    by SSA_NAME version numbers.  */
 677
 678 extern bitmap
 679 find_replaceable_exprs (var_map map)
 680 {
 681   basic_block bb;
 682   temp_expr_table_p table;
 683   bitmap ret;
 684
 685   table = new_temp_expr_table (map);
 686   FOR_EACH_BB (bb)
 687     {
 688       find_replaceable_in_bb (table, bb);
 689 #ifdef ENABLE_CHECKING
 690       gcc_assert (bitmap_empty_p (table->partition_in_use));
 691 #endif
 692     }
 693
 694   ret = free_temp_expr_table (table);
 695   return ret;
 696 }
 697
 698 /* Dump TER expression table EXPR to file F.  */
 699
 700 void
 701 dump_replaceable_exprs (FILE *f, bitmap expr)
 702 {
 703   tree var;
 704   unsigned x;
 705
 706   fprintf (f, "\nReplacing Expressions\n");
 707   for (x = 0; x < num_ssa_names; x++)
 708     if (bitmap_bit_p (expr, x))
 709       {
 710         var = ssa_name (x);
 711         print_generic_expr (f, var, TDF_SLIM);
 712         fprintf (f, " replace with --> ");
 713         print_gimple_stmt (f, SSA_NAME_DEF_STMT (var), 0, TDF_SLIM);
 714         fprintf (f, "\n");
 715       }
 716   fprintf (f, "\n");
 717 }
 718
 719
 720 #ifdef ENABLE_CHECKING
 721 /* Dump the status of the various tables in the expression table.  This is used
 722    exclusively to debug TER.  F is the place to send debug info and T is the
 723    table being debugged.  */
 724
 725 DEBUG_FUNCTION void
 726 debug_ter (FILE *f, temp_expr_table_p t)
 727 {
 728   unsigned x, y;
 729   bitmap_iterator bi;
 730
 731   fprintf (f, "\nDumping current state of TER\n virtual partition = %d\n",
 732            VIRTUAL_PARTITION (t));
 733   if (t->replaceable_expressions)
 734     dump_replaceable_exprs (f, t->replaceable_expressions);
 735   fprintf (f, "Currently tracking the following expressions:\n");
 736
 737   for (x = 1; x < num_ssa_names; x++)
 738     if (t->expr_decl_uids[x])
 739       {
 740         print_generic_expr (stderr, ssa_name (x), TDF_SLIM);
 741         fprintf (f, " dep-parts : ");
 742         if (t->partition_dependencies[x]
 743             && !bitmap_empty_p (t->partition_dependencies[x]))
 744           {
 745             EXECUTE_IF_SET_IN_BITMAP (t->partition_dependencies[x], 0, y, bi)
 746               fprintf (f, "P%d ",y);
 747           }
 748         fprintf (stderr, "   basedecls: ");
 749         EXECUTE_IF_SET_IN_BITMAP (t->expr_decl_uids[x], 0, y, bi)
 750           fprintf (f, "%d ",y);
 751         fprintf (stderr, "\n");
 752       }
 753
 754   bitmap_print (f, t->partition_in_use, "Partitions in use ",
 755                 "\npartition KILL lists:\n");
 756
 757   for (x = 0; x <= num_var_partitions (t->map); x++)
 758     if (t->kill_list[x])
 759       {
 760         fprintf (f, "Partition %d : ", x);
 761         EXECUTE_IF_SET_IN_BITMAP (t->kill_list[x], 0, y, bi)
 762           fprintf (f, "_%d ",y);
 763       }
 764
 765   fprintf (f, "\n----------\n");
 766 }
 767 #endif