OSDN Git Service

2011-12-21 Richard Guenther <rguenther@suse.de>
[pf3gnuchains/gcc-fork.git] / gcc / tree-outof-ssa.c
index 5edea64..f52b260 100644 (file)
@@ -1,12 +1,13 @@
 /* Convert a program in SSA form into Normal form.
-   Copyright (C) 2004, 2005 Free Software Foundation, Inc.
+   Copyright (C) 2004, 2005, 2006, 2007, 2008, 2009, 2010
+   Free Software Foundation, Inc.
    Contributed by Andrew Macleod <amacleod@redhat.com>
 
 This file is part of GCC.
 
 GCC is free software; you can redistribute it and/or modify
 it under the terms of the GNU General Public License as published by
-the Free Software Foundation; either version 2, or (at your option)
+the Free Software Foundation; either version 3, or (at your option)
 any later version.
 
 GCC is distributed in the hope that it will be useful,
@@ -15,81 +16,74 @@ MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 GNU General Public License for more details.
 
 You should have received a copy of the GNU General Public License
-along with GCC; see the file COPYING.  If not, write to
-the Free Software Foundation, 51 Franklin Street, Fifth Floor,
-Boston, MA 02110-1301, USA.  */
+along with GCC; see the file COPYING3.  If not see
+<http://www.gnu.org/licenses/>.  */
 
 #include "config.h"
 #include "system.h"
 #include "coretypes.h"
 #include "tm.h"
 #include "tree.h"
-#include "flags.h"
-#include "rtl.h"
-#include "tm_p.h"
 #include "ggc.h"
-#include "langhooks.h"
-#include "hard-reg-set.h"
 #include "basic-block.h"
-#include "output.h"
-#include "expr.h"
-#include "function.h"
-#include "diagnostic.h"
+#include "tree-pretty-print.h"
+#include "gimple-pretty-print.h"
 #include "bitmap.h"
 #include "tree-flow.h"
-#include "tree-gimple.h"
-#include "tree-inline.h"
-#include "varray.h"
 #include "timevar.h"
-#include "hashtab.h"
 #include "tree-dump.h"
-#include "tree-ssa-live.h"
 #include "tree-pass.h"
-#include "toplev.h"
-#include "vecprim.h"
+#include "diagnostic-core.h"
+#include "ssaexpand.h"
+
+/* FIXME: A lot of code here deals with expanding to RTL.  All that code
+   should be in cfgexpand.c.  */
+#include "expr.h"
 
-/* Flags to pass to remove_ssa_form.  */
 
-#define SSANORM_PERFORM_TER            0x1
-#define SSANORM_COALESCE_PARTITIONS    0x4
+DEF_VEC_I(source_location);
+DEF_VEC_ALLOC_I(source_location,heap);
 
 /* Used to hold all the components required to do SSA PHI elimination.
    The node and pred/succ list is a simple linear list of nodes and
    edges represented as pairs of nodes.
 
    The predecessor and successor list:  Nodes are entered in pairs, where
-   [0] ->PRED, [1]->SUCC.  All the even indexes in the array represent 
-   predecessors, all the odd elements are successors. 
-   
+   [0] ->PRED, [1]->SUCC.  All the even indexes in the array represent
+   predecessors, all the odd elements are successors.
+
    Rationale:
-   When implemented as bitmaps, very large programs SSA->Normal times were 
+   When implemented as bitmaps, very large programs SSA->Normal times were
    being dominated by clearing the interference graph.
 
-   Typically this list of edges is extremely small since it only includes 
-   PHI results and uses from a single edge which have not coalesced with 
+   Typically this list of edges is extremely small since it only includes
+   PHI results and uses from a single edge which have not coalesced with
    each other.  This means that no virtual PHI nodes are included, and
    empirical evidence suggests that the number of edges rarely exceed
    3, and in a bootstrap of GCC, the maximum size encountered was 7.
    This also limits the number of possible nodes that are involved to
    rarely more than 6, and in the bootstrap of gcc, the maximum number
    of nodes encountered was 12.  */
+
 typedef struct _elim_graph {
   /* Size of the elimination vectors.  */
   int size;
 
   /* List of nodes in the elimination graph.  */
-  VEC(tree,heap) *nodes;
+  VEC(int,heap) *nodes;
 
   /*  The predecessor and successor edge list.  */
   VEC(int,heap) *edge_list;
 
+  /* Source locus on each edge */
+  VEC(source_location,heap) *edge_locus;
+
   /* Visited vector.  */
   sbitmap visited;
 
   /* Stack for visited nodes.  */
   VEC(int,heap) *stack;
-  
+
   /* The variable partition map.  */
   var_map map;
 
@@ -97,116 +91,247 @@ typedef struct _elim_graph {
   edge e;
 
   /* List of constant copies to emit.  These are pushed on in pairs.  */
+  VEC(int,heap) *const_dests;
   VEC(tree,heap) *const_copies;
+
+  /* Source locations for any constant copies.  */
+  VEC(source_location,heap) *copy_locus;
 } *elim_graph;
 
 
-/* Local functions.  */
-static tree create_temp (tree);
-static void insert_copy_on_edge (edge, tree, tree);
-static elim_graph new_elim_graph (int);
-static inline void delete_elim_graph (elim_graph);
-static inline void clear_elim_graph (elim_graph);
-static inline int elim_graph_size (elim_graph);
-static inline void elim_graph_add_node (elim_graph, tree);
-static inline void elim_graph_add_edge (elim_graph, int, int);
-static inline int elim_graph_remove_succ_edge (elim_graph, int);
-
-static inline void eliminate_name (elim_graph, tree);
-static void eliminate_build (elim_graph, basic_block);
-static void elim_forward (elim_graph, int);
-static int elim_unvisited_predecessor (elim_graph, int);
-static void elim_backward (elim_graph, int);
-static void elim_create (elim_graph, int);
-static void eliminate_phi (edge, elim_graph);
-static tree_live_info_p coalesce_ssa_name (var_map, int);
-static void assign_vars (var_map);
-static bool replace_use_variable (var_map, use_operand_p, tree *);
-static bool replace_def_variable (var_map, def_operand_p, tree *);
-static void eliminate_virtual_phis (void);
-static void coalesce_abnormal_edges (var_map, conflict_graph, root_var_p);
-static void print_exprs (FILE *, const char *, tree, const char *, tree,
-                        const char *);
-static void print_exprs_edge (FILE *, edge, const char *, tree, const char *,
-                             tree);
-
-
-/* Create a temporary variable based on the type of variable T.  Use T's name
-   as the prefix.  */
-
-static tree
-create_temp (tree t)
+/* For an edge E find out a good source location to associate with
+   instructions inserted on edge E.  If E has an implicit goto set,
+   use its location.  Otherwise search instructions in predecessors
+   of E for a location, and use that one.  That makes sense because
+   we insert on edges for PHI nodes, and effects of PHIs happen on
+   the end of the predecessor conceptually.  */
+
+static void
+set_location_for_edge (edge e)
 {
-  tree tmp;
-  const char *name = NULL;
-  tree type;
+  if (e->goto_locus)
+    {
+      set_curr_insn_source_location (e->goto_locus);
+      set_curr_insn_block (e->goto_block);
+    }
+  else
+    {
+      basic_block bb = e->src;
+      gimple_stmt_iterator gsi;
 
-  if (TREE_CODE (t) == SSA_NAME)
-    t = SSA_NAME_VAR (t);
+      do
+       {
+         for (gsi = gsi_last_bb (bb); !gsi_end_p (gsi); gsi_prev (&gsi))
+           {
+             gimple stmt = gsi_stmt (gsi);
+             if (is_gimple_debug (stmt))
+               continue;
+             if (gimple_has_location (stmt) || gimple_block (stmt))
+               {
+                 set_curr_insn_source_location (gimple_location (stmt));
+                 set_curr_insn_block (gimple_block (stmt));
+                 return;
+               }
+           }
+         /* Nothing found in this basic block.  Make a half-assed attempt
+            to continue with another block.  */
+         if (single_pred_p (bb))
+           bb = single_pred (bb);
+         else
+           bb = e->src;
+       }
+      while (bb != e->src);
+    }
+}
 
-  gcc_assert (TREE_CODE (t) == VAR_DECL || TREE_CODE (t) == PARM_DECL);
+/* Emit insns to copy SRC into DEST converting SRC if necessary.  As
+   SRC/DEST might be BLKmode memory locations SIZEEXP is a tree from
+   which we deduce the size to copy in that case.  */
 
-  type = TREE_TYPE (t);
-  tmp = DECL_NAME (t);
-  if (tmp)
-    name = IDENTIFIER_POINTER (tmp);
+static inline rtx
+emit_partition_copy (rtx dest, rtx src, int unsignedsrcp, tree sizeexp)
+{
+  rtx seq;
 
-  if (name == NULL)
-    name = "temp";
-  tmp = create_tmp_var (type, name);
+  start_sequence ();
 
-  if (DECL_DEBUG_EXPR_IS_FROM (t) && DECL_DEBUG_EXPR (t))
+  if (GET_MODE (src) != VOIDmode && GET_MODE (src) != GET_MODE (dest))
+    src = convert_to_mode (GET_MODE (dest), src, unsignedsrcp);
+  if (GET_MODE (src) == BLKmode)
     {
-      SET_DECL_DEBUG_EXPR (tmp, DECL_DEBUG_EXPR (t));  
-      DECL_DEBUG_EXPR_IS_FROM (tmp) = 1;
+      gcc_assert (GET_MODE (dest) == BLKmode);
+      emit_block_move (dest, src, expr_size (sizeexp), BLOCK_OP_NORMAL);
     }
-  else if (!DECL_IGNORED_P (t))
+  else
+    emit_move_insn (dest, src);
+
+  seq = get_insns ();
+  end_sequence ();
+
+  return seq;
+}
+
+/* Insert a copy instruction from partition SRC to DEST onto edge E.  */
+
+static void
+insert_partition_copy_on_edge (edge e, int dest, int src, source_location locus)
+{
+  tree var;
+  rtx seq;
+  if (dump_file && (dump_flags & TDF_DETAILS))
     {
-      SET_DECL_DEBUG_EXPR (tmp, t);
-      DECL_DEBUG_EXPR_IS_FROM (tmp) = 1;
+      fprintf (dump_file,
+              "Inserting a partition copy on edge BB%d->BB%d :"
+              "PART.%d = PART.%d",
+              e->src->index,
+              e->dest->index, dest, src);
+      fprintf (dump_file, "\n");
     }
-  DECL_ARTIFICIAL (tmp) = DECL_ARTIFICIAL (t);
-  DECL_IGNORED_P (tmp) = DECL_IGNORED_P (t);
-  add_referenced_var (tmp);
-
-  /* add_referenced_var will create the annotation and set up some
-     of the flags in the annotation.  However, some flags we need to
-     inherit from our original variable.  */
-  var_ann (tmp)->symbol_mem_tag = var_ann (t)->symbol_mem_tag;
-  if (is_call_clobbered (t))
-    mark_call_clobbered (tmp, var_ann (t)->escape_mask);
-
-  return tmp;
+
+  gcc_assert (SA.partition_to_pseudo[dest]);
+  gcc_assert (SA.partition_to_pseudo[src]);
+
+  set_location_for_edge (e);
+  /* If a locus is provided, override the default.  */
+  if (locus)
+    set_curr_insn_source_location (locus);
+
+  var = partition_to_var (SA.map, src);
+  seq = emit_partition_copy (SA.partition_to_pseudo[dest],
+                            SA.partition_to_pseudo[src],
+                            TYPE_UNSIGNED (TREE_TYPE (var)),
+                            var);
+
+  insert_insn_on_edge (seq, e);
 }
 
+/* Insert a copy instruction from expression SRC to partition DEST
+   onto edge E.  */
+
+static void
+insert_value_copy_on_edge (edge e, int dest, tree src, source_location locus)
+{
+  rtx seq, x;
+  enum machine_mode dest_mode, src_mode;
+  int unsignedp;
+  tree var;
+
+  if (dump_file && (dump_flags & TDF_DETAILS))
+    {
+      fprintf (dump_file,
+              "Inserting a value copy on edge BB%d->BB%d : PART.%d = ",
+              e->src->index,
+              e->dest->index, dest);
+      print_generic_expr (dump_file, src, TDF_SLIM);
+      fprintf (dump_file, "\n");
+    }
+
+  gcc_assert (SA.partition_to_pseudo[dest]);
+
+  set_location_for_edge (e);
+  /* If a locus is provided, override the default.  */
+  if (locus)
+    set_curr_insn_source_location (locus);
+
+  start_sequence ();
+
+  var = SSA_NAME_VAR (partition_to_var (SA.map, dest));
+  src_mode = TYPE_MODE (TREE_TYPE (src));
+  dest_mode = GET_MODE (SA.partition_to_pseudo[dest]);
+  gcc_assert (src_mode == TYPE_MODE (TREE_TYPE (var)));
+  gcc_assert (!REG_P (SA.partition_to_pseudo[dest])
+             || dest_mode == promote_decl_mode (var, &unsignedp));
+
+  if (src_mode != dest_mode)
+    {
+      x = expand_expr (src, NULL, src_mode, EXPAND_NORMAL);
+      x = convert_modes (dest_mode, src_mode, x, unsignedp);
+    }
+  else if (src_mode == BLKmode)
+    {
+      x = SA.partition_to_pseudo[dest];
+      store_expr (src, x, 0, false);
+    }
+  else
+    x = expand_expr (src, SA.partition_to_pseudo[dest],
+                    dest_mode, EXPAND_NORMAL);
+
+  if (x != SA.partition_to_pseudo[dest])
+    emit_move_insn (SA.partition_to_pseudo[dest], x);
+  seq = get_insns ();
+  end_sequence ();
 
-/* This helper function fill insert a copy from a constant or variable SRC to 
-   variable DEST on edge E.  */
+  insert_insn_on_edge (seq, e);
+}
+
+/* Insert a copy instruction from RTL expression SRC to partition DEST
+   onto edge E.  */
 
 static void
-insert_copy_on_edge (edge e, tree dest, tree src)
+insert_rtx_to_part_on_edge (edge e, int dest, rtx src, int unsignedsrcp,
+                           source_location locus)
 {
-  tree copy;
+  rtx seq;
+  if (dump_file && (dump_flags & TDF_DETAILS))
+    {
+      fprintf (dump_file,
+              "Inserting a temp copy on edge BB%d->BB%d : PART.%d = ",
+              e->src->index,
+              e->dest->index, dest);
+      print_simple_rtl (dump_file, src);
+      fprintf (dump_file, "\n");
+    }
 
-  copy = build2 (GIMPLE_MODIFY_STMT, TREE_TYPE (dest), dest, src);
-  set_is_used (dest);
+  gcc_assert (SA.partition_to_pseudo[dest]);
 
-  if (TREE_CODE (src) == ADDR_EXPR)
-    src = TREE_OPERAND (src, 0);
-  if (TREE_CODE (src) == VAR_DECL || TREE_CODE (src) == PARM_DECL)
-    set_is_used (src);
+  set_location_for_edge (e);
+  /* If a locus is provided, override the default.  */
+  if (locus)
+    set_curr_insn_source_location (locus);
 
+  /* We give the destination as sizeexp in case src/dest are BLKmode
+     mems.  Usually we give the source.  As we result from SSA names
+     the left and right size should be the same (and no WITH_SIZE_EXPR
+     involved), so it doesn't matter.  */
+  seq = emit_partition_copy (SA.partition_to_pseudo[dest],
+                            src, unsignedsrcp,
+                            partition_to_var (SA.map, dest));
+
+  insert_insn_on_edge (seq, e);
+}
+
+/* Insert a copy instruction from partition SRC to RTL lvalue DEST
+   onto edge E.  */
+
+static void
+insert_part_to_rtx_on_edge (edge e, rtx dest, int src, source_location locus)
+{
+  tree var;
+  rtx seq;
   if (dump_file && (dump_flags & TDF_DETAILS))
     {
       fprintf (dump_file,
-              "Inserting a copy on edge BB%d->BB%d :",
+              "Inserting a temp copy on edge BB%d->BB%d : ",
               e->src->index,
               e->dest->index);
-      print_generic_expr (dump_file, copy, dump_flags);
-      fprintf (dump_file, "\n");
+      print_simple_rtl (dump_file, dest);
+      fprintf (dump_file, "= PART.%d\n", src);
     }
 
-  bsi_insert_on_edge (e, copy);
+  gcc_assert (SA.partition_to_pseudo[src]);
+
+  set_location_for_edge (e);
+  /* If a locus is provided, override the default.  */
+  if (locus)
+    set_curr_insn_source_location (locus);
+
+  var = partition_to_var (SA.map, src);
+  seq = emit_partition_copy (dest,
+                            SA.partition_to_pseudo[src],
+                            TYPE_UNSIGNED (TREE_TYPE (var)),
+                            var);
+
+  insert_insn_on_edge (seq, e);
 }
 
 
@@ -218,11 +343,14 @@ new_elim_graph (int size)
 {
   elim_graph g = (elim_graph) xmalloc (sizeof (struct _elim_graph));
 
-  g->nodes = VEC_alloc (tree, heap, 30);
+  g->nodes = VEC_alloc (int, heap, 30);
+  g->const_dests = VEC_alloc (int, heap, 20);
   g->const_copies = VEC_alloc (tree, heap, 20);
+  g->copy_locus = VEC_alloc (source_location, heap, 10);
   g->edge_list = VEC_alloc (int, heap, 20);
+  g->edge_locus = VEC_alloc (source_location, heap, 10);
   g->stack = VEC_alloc (int, heap, 30);
-  
+
   g->visited = sbitmap_alloc (size);
 
   return g;
@@ -234,8 +362,9 @@ new_elim_graph (int size)
 static inline void
 clear_elim_graph (elim_graph g)
 {
-  VEC_truncate (tree, g->nodes, 0);
+  VEC_truncate (int, g->nodes, 0);
   VEC_truncate (int, g->edge_list, 0);
+  VEC_truncate (source_location, g->edge_locus, 0);
 }
 
 
@@ -248,7 +377,11 @@ delete_elim_graph (elim_graph g)
   VEC_free (int, heap, g->stack);
   VEC_free (int, heap, g->edge_list);
   VEC_free (tree, heap, g->const_copies);
-  VEC_free (tree, heap, g->nodes);
+  VEC_free (int, heap, g->const_dests);
+  VEC_free (int, heap, g->nodes);
+  VEC_free (source_location, heap, g->copy_locus);
+  VEC_free (source_location, heap, g->edge_locus);
+
   free (g);
 }
 
@@ -258,32 +391,33 @@ delete_elim_graph (elim_graph g)
 static inline int
 elim_graph_size (elim_graph g)
 {
-  return VEC_length (tree, g->nodes);
+  return VEC_length (int, g->nodes);
 }
 
 
 /* Add NODE to graph G, if it doesn't exist already.  */
 
-static inline void 
-elim_graph_add_node (elim_graph g, tree node)
+static inline void
+elim_graph_add_node (elim_graph g, int node)
 {
   int x;
-  tree t;
+  int t;
 
-  for (x = 0; VEC_iterate (tree, g->nodes, x, t); x++)
+  FOR_EACH_VEC_ELT (int, g->nodes, x, t)
     if (t == node)
       return;
-  VEC_safe_push (tree, heap, g->nodes, node);
+  VEC_safe_push (int, heap, g->nodes, node);
 }
 
 
 /* Add the edge PRED->SUCC to graph G.  */
 
 static inline void
-elim_graph_add_edge (elim_graph g, int pred, int succ)
+elim_graph_add_edge (elim_graph g, int pred, int succ, source_location locus)
 {
   VEC_safe_push (int, heap, g->edge_list, pred);
   VEC_safe_push (int, heap, g->edge_list, succ);
+  VEC_safe_push (source_location, heap, g->edge_locus, locus);
 }
 
 
@@ -291,7 +425,7 @@ elim_graph_add_edge (elim_graph g, int pred, int succ)
    return the successor node.  -1 is returned if there is no such edge.  */
 
 static inline int
-elim_graph_remove_succ_edge (elim_graph g, int node)
+elim_graph_remove_succ_edge (elim_graph g, int node, source_location *locus)
 {
   int y;
   unsigned x;
@@ -301,8 +435,11 @@ elim_graph_remove_succ_edge (elim_graph g, int node)
         VEC_replace (int, g->edge_list, x, -1);
        y = VEC_index (int, g->edge_list, x + 1);
        VEC_replace (int, g->edge_list, x + 1, -1);
+       *locus = VEC_index (source_location, g->edge_locus, x / 2);
+       VEC_replace (source_location, g->edge_locus, x / 2, UNKNOWN_LOCATION);
        return y;
       }
+  *locus = UNKNOWN_LOCATION;
   return -1;
 }
 
@@ -311,7 +448,7 @@ elim_graph_remove_succ_edge (elim_graph g, int node)
    edge list.  VAR will hold the partition number found.  CODE is the
    code fragment executed for every node found.  */
 
-#define FOR_EACH_ELIM_GRAPH_SUCC(GRAPH, NODE, VAR, CODE)               \
+#define FOR_EACH_ELIM_GRAPH_SUCC(GRAPH, NODE, VAR, LOCUS, CODE)                \
 do {                                                                   \
   unsigned x_;                                                         \
   int y_;                                                              \
@@ -320,7 +457,9 @@ do {                                                                        \
       y_ = VEC_index (int, (GRAPH)->edge_list, x_);                    \
       if (y_ != (NODE))                                                        \
         continue;                                                      \
-      (VAR) = VEC_index (int, (GRAPH)->edge_list, x_ + 1);             \
+      (void) ((VAR) = VEC_index (int, (GRAPH)->edge_list, x_ + 1));    \
+      (void) ((LOCUS) = VEC_index (source_location,                    \
+                                  (GRAPH)->edge_locus, x_ / 2));       \
       CODE;                                                            \
     }                                                                  \
 } while (0)
@@ -330,7 +469,7 @@ do {                                                                        \
    GRAPH.  VAR will hold the partition number found.  CODE is the
    code fragment executed for every node found.  */
 
-#define FOR_EACH_ELIM_GRAPH_PRED(GRAPH, NODE, VAR, CODE)               \
+#define FOR_EACH_ELIM_GRAPH_PRED(GRAPH, NODE, VAR, LOCUS, CODE)                \
 do {                                                                   \
   unsigned x_;                                                         \
   int y_;                                                              \
@@ -339,7 +478,9 @@ do {                                                                        \
       y_ = VEC_index (int, (GRAPH)->edge_list, x_ + 1);                        \
       if (y_ != (NODE))                                                        \
         continue;                                                      \
-      (VAR) = VEC_index (int, (GRAPH)->edge_list, x_);                 \
+      (void) ((VAR) = VEC_index (int, (GRAPH)->edge_list, x_));                \
+      (void) ((LOCUS) = VEC_index (source_location,                    \
+                                  (GRAPH)->edge_locus, x_ / 2));       \
       CODE;                                                            \
     }                                                                  \
 } while (0)
@@ -348,7 +489,7 @@ do {                                                                        \
 /* Add T to elimination graph G.  */
 
 static inline void
-eliminate_name (elim_graph g, tree T)
+eliminate_name (elim_graph g, int T)
 {
   elim_graph_add_node (g, T);
 }
@@ -358,23 +499,26 @@ eliminate_name (elim_graph g, tree T)
    G->e.  */
 
 static void
-eliminate_build (elim_graph g, basic_block B)
+eliminate_build (elim_graph g)
 {
-  tree phi;
-  tree T0, Ti;
+  tree Ti;
   int p0, pi;
+  gimple_stmt_iterator gsi;
 
   clear_elim_graph (g);
-  
-  for (phi = phi_nodes (B); phi; phi = PHI_CHAIN (phi))
+
+  for (gsi = gsi_start_phis (g->e->dest); !gsi_end_p (gsi); gsi_next (&gsi))
     {
-      T0 = var_to_partition_to_var (g->map, PHI_RESULT (phi));
-      
+      gimple phi = gsi_stmt (gsi);
+      source_location locus;
+
+      p0 = var_to_partition (g->map, gimple_phi_result (phi));
       /* Ignore results which are not in partitions.  */
-      if (T0 == NULL_TREE)
+      if (p0 == NO_PARTITION)
        continue;
 
       Ti = PHI_ARG_DEF (phi, g->e->dest_idx);
+      locus = gimple_phi_arg_location_from_edge (phi, g->e);
 
       /* If this argument is a constant, or a SSA_NAME which is being
         left in SSA form, just queue a copy to be emitted on this
@@ -385,19 +529,18 @@ eliminate_build (elim_graph g, basic_block B)
         {
          /* Save constant copies until all other copies have been emitted
             on this edge.  */
-         VEC_safe_push (tree, heap, g->const_copies, T0);
+         VEC_safe_push (int, heap, g->const_dests, p0);
          VEC_safe_push (tree, heap, g->const_copies, Ti);
+         VEC_safe_push (source_location, heap, g->copy_locus, locus);
        }
       else
         {
-         Ti = var_to_partition_to_var (g->map, Ti);
-         if (T0 != Ti)
+         pi = var_to_partition (g->map, Ti);
+         if (p0 != pi)
            {
-             eliminate_name (g, T0);
-             eliminate_name (g, Ti);
-             p0 = var_to_partition (g->map, T0);
-             pi = var_to_partition (g->map, Ti);
-             elim_graph_add_edge (g, p0, pi);
+             eliminate_name (g, p0);
+             eliminate_name (g, pi);
+             elim_graph_add_edge (g, p0, pi, locus);
            }
        }
     }
@@ -406,12 +549,14 @@ eliminate_build (elim_graph g, basic_block B)
 
 /* Push successors of T onto the elimination stack for G.  */
 
-static void 
+static void
 elim_forward (elim_graph g, int T)
 {
   int S;
+  source_location locus;
+
   SET_BIT (g->visited, T);
-  FOR_EACH_ELIM_GRAPH_SUCC (g, T, S,
+  FOR_EACH_ELIM_GRAPH_SUCC (g, T, S, locus,
     {
       if (!TEST_BIT (g->visited, S))
         elim_forward (g, S);
@@ -426,7 +571,9 @@ static int
 elim_unvisited_predecessor (elim_graph g, int T)
 {
   int P;
-  FOR_EACH_ELIM_GRAPH_PRED (g, T, P, 
+  source_location locus;
+
+  FOR_EACH_ELIM_GRAPH_PRED (g, T, P, locus,
     {
       if (!TEST_BIT (g->visited, P))
         return 1;
@@ -440,64 +587,81 @@ static void
 elim_backward (elim_graph g, int T)
 {
   int P;
+  source_location locus;
+
   SET_BIT (g->visited, T);
-  FOR_EACH_ELIM_GRAPH_PRED (g, T, P, 
+  FOR_EACH_ELIM_GRAPH_PRED (g, T, P, locus,
     {
       if (!TEST_BIT (g->visited, P))
         {
          elim_backward (g, P);
-         insert_copy_on_edge (g->e, 
-                              partition_to_var (g->map, P), 
-                              partition_to_var (g->map, T));
+         insert_partition_copy_on_edge (g->e, P, T, locus);
        }
     });
 }
 
-/* Insert required copies for T in graph G.  Check for a strongly connected 
+/* Allocate a new pseudo register usable for storing values sitting
+   in NAME (a decl or SSA name), i.e. with matching mode and attributes.  */
+
+static rtx
+get_temp_reg (tree name)
+{
+  tree var = TREE_CODE (name) == SSA_NAME ? SSA_NAME_VAR (name) : name;
+  tree type = TREE_TYPE (var);
+  int unsignedp;
+  enum machine_mode reg_mode = promote_decl_mode (var, &unsignedp);
+  rtx x = gen_reg_rtx (reg_mode);
+  if (POINTER_TYPE_P (type))
+    mark_reg_pointer (x, TYPE_ALIGN (TREE_TYPE (TREE_TYPE (var))));
+  return x;
+}
+
+/* Insert required copies for T in graph G.  Check for a strongly connected
    region, and create a temporary to break the cycle if one is found.  */
 
-static void 
+static void
 elim_create (elim_graph g, int T)
 {
-  tree U;
   int P, S;
+  source_location locus;
 
   if (elim_unvisited_predecessor (g, T))
     {
-      U = create_temp (partition_to_var (g->map, T));
-      insert_copy_on_edge (g->e, U, partition_to_var (g->map, T));
-      FOR_EACH_ELIM_GRAPH_PRED (g, T, P, 
+      tree var = partition_to_var (g->map, T);
+      rtx U = get_temp_reg (var);
+      int unsignedsrcp = TYPE_UNSIGNED (TREE_TYPE (var));
+
+      insert_part_to_rtx_on_edge (g->e, U, T, UNKNOWN_LOCATION);
+      FOR_EACH_ELIM_GRAPH_PRED (g, T, P, locus,
        {
          if (!TEST_BIT (g->visited, P))
            {
              elim_backward (g, P);
-             insert_copy_on_edge (g->e, partition_to_var (g->map, P), U);
+             insert_rtx_to_part_on_edge (g->e, P, U, unsignedsrcp, locus);
            }
        });
     }
   else
     {
-      S = elim_graph_remove_succ_edge (g, T);
+      S = elim_graph_remove_succ_edge (g, T, &locus);
       if (S != -1)
        {
          SET_BIT (g->visited, T);
-         insert_copy_on_edge (g->e, 
-                              partition_to_var (g->map, T), 
-                              partition_to_var (g->map, S));
+         insert_partition_copy_on_edge (g->e, T, S, locus);
        }
     }
-  
 }
 
+
 /* Eliminate all the phi nodes on edge E in graph G.  */
 
 static void
 eliminate_phi (edge e, elim_graph g)
 {
   int x;
-  basic_block B = e->dest;
 
   gcc_assert (VEC_length (tree, g->const_copies) == 0);
+  gcc_assert (VEC_length (source_location, g->copy_locus) == 0);
 
   /* Abnormal edges already have everything coalesced.  */
   if (e->flags & EDGE_ABNORMAL)
@@ -505,22 +669,21 @@ eliminate_phi (edge e, elim_graph g)
 
   g->e = e;
 
-  eliminate_build (g, B);
+  eliminate_build (g);
 
   if (elim_graph_size (g) != 0)
     {
-      tree var;
+      int part;
 
       sbitmap_zero (g->visited);
       VEC_truncate (int, g->stack, 0);
 
-      for (x = 0; VEC_iterate (tree, g->nodes, x, var); x++)
+      FOR_EACH_VEC_ELT (int, g->nodes, x, part)
         {
-         int p = var_to_partition (g->map, var);
-         if (!TEST_BIT (g->visited, p))
-           elim_forward (g, p);
+         if (!TEST_BIT (g->visited, part))
+           elim_forward (g, part);
        }
-       
+
       sbitmap_zero (g->visited);
       while (VEC_length (int, g->stack) > 0)
        {
@@ -533,588 +696,107 @@ eliminate_phi (edge e, elim_graph g)
   /* If there are any pending constant copies, issue them now.  */
   while (VEC_length (tree, g->const_copies) > 0)
     {
-      tree src, dest;
-      src = VEC_pop (tree, g->const_copies);
-      dest = VEC_pop (tree, g->const_copies);
-      insert_copy_on_edge (e, dest, src);
-    }
-}
-
-
-/* Shortcut routine to print messages to file F of the form:
-   "STR1 EXPR1 STR2 EXPR2 STR3."  */
-
-static void
-print_exprs (FILE *f, const char *str1, tree expr1, const char *str2,
-            tree expr2, const char *str3)
-{
-  fprintf (f, "%s", str1);
-  print_generic_expr (f, expr1, TDF_SLIM);
-  fprintf (f, "%s", str2);
-  print_generic_expr (f, expr2, TDF_SLIM);
-  fprintf (f, "%s", str3);
-}
-
-
-/* Shortcut routine to print abnormal edge messages to file F of the form:
-   "STR1 EXPR1 STR2 EXPR2 across edge E.  */
-
-static void
-print_exprs_edge (FILE *f, edge e, const char *str1, tree expr1, 
-                 const char *str2, tree expr2)
-{
-  print_exprs (f, str1, expr1, str2, expr2, " across an abnormal edge");
-  fprintf (f, " from BB%d->BB%d\n", e->src->index,
-              e->dest->index);
-}
-
-
-/* Coalesce partitions in MAP which are live across abnormal edges in GRAPH.
-   RV is the root variable groupings of the partitions in MAP.  Since code 
-   cannot be inserted on these edges, failure to coalesce something across
-   an abnormal edge is an error.  */
-
-static void
-coalesce_abnormal_edges (var_map map, conflict_graph graph, root_var_p rv)
-{
-  basic_block bb;
-  edge e;
-  tree phi, var, tmp;
-  int x, y, z;
-  edge_iterator ei;
-
-  /* Code cannot be inserted on abnormal edges. Look for all abnormal 
-     edges, and coalesce any PHI results with their arguments across 
-     that edge.  */
-
-  FOR_EACH_BB (bb)
-    FOR_EACH_EDGE (e, ei, bb->succs)
-      if (e->dest != EXIT_BLOCK_PTR && e->flags & EDGE_ABNORMAL)
-       for (phi = phi_nodes (e->dest); phi; phi = PHI_CHAIN (phi))
-         {
-           /* Visit each PHI on the destination side of this abnormal
-              edge, and attempt to coalesce the argument with the result.  */
-           var = PHI_RESULT (phi);
-           x = var_to_partition (map, var);
-
-           /* Ignore results which are not relevant.  */
-           if (x == NO_PARTITION)
-             continue;
-
-           tmp = PHI_ARG_DEF (phi, e->dest_idx);
-#ifdef ENABLE_CHECKING
-           if (!phi_ssa_name_p (tmp))
-             {
-               print_exprs_edge (stderr, e,
-                                 "\nConstant argument in PHI. Can't insert :",
-                                 var, " = ", tmp);
-               internal_error ("SSA corruption");
-             }
-#else
-           gcc_assert (phi_ssa_name_p (tmp));
-#endif
-           y = var_to_partition (map, tmp);
-           gcc_assert (x != NO_PARTITION);
-           gcc_assert (y != NO_PARTITION);
-#ifdef ENABLE_CHECKING
-           if (root_var_find (rv, x) != root_var_find (rv, y))
-             {
-               print_exprs_edge (stderr, e, "\nDifferent root vars: ",
-                                 root_var (rv, root_var_find (rv, x)), 
-                                 " and ", 
-                                 root_var (rv, root_var_find (rv, y)));
-               internal_error ("SSA corruption");
-             }
-#else
-           gcc_assert (root_var_find (rv, x) == root_var_find (rv, y));
-#endif
-
-           if (x != y)
-             {
-#ifdef ENABLE_CHECKING
-               if (conflict_graph_conflict_p (graph, x, y))
-                 {
-                   print_exprs_edge (stderr, e, "\n Conflict ", 
-                                     partition_to_var (map, x),
-                                     " and ", partition_to_var (map, y));
-                   internal_error ("SSA corruption");
-                 }
-#else
-               gcc_assert (!conflict_graph_conflict_p (graph, x, y));
-#endif
-               
-               /* Now map the partitions back to their real variables.  */
-               var = partition_to_var (map, x);
-               tmp = partition_to_var (map, y);
-               if (dump_file && (dump_flags & TDF_DETAILS))
-                 {
-                   print_exprs_edge (dump_file, e, 
-                                     "ABNORMAL: Coalescing ",
-                                     var, " and ", tmp);
-                 }
-               z = var_union (map, var, tmp);
-#ifdef ENABLE_CHECKING
-               if (z == NO_PARTITION)
-                 {
-                   print_exprs_edge (stderr, e, "\nUnable to coalesce", 
-                                     partition_to_var (map, x), " and ", 
-                                     partition_to_var (map, y));
-                   internal_error ("SSA corruption");
-                 }
-#else
-               gcc_assert (z != NO_PARTITION);
-#endif
-               gcc_assert (z == x || z == y);
-               if (z == x)
-                 conflict_graph_merge_regs (graph, x, y);
-               else
-                 conflict_graph_merge_regs (graph, y, x);
-             }
-         }
-}
-
-/* Coalesce potential copies via PHI arguments.  */
-
-static void
-coalesce_phi_operands (var_map map, coalesce_list_p cl)
-{
-  basic_block bb;
-  tree phi;
-
-  FOR_EACH_BB (bb)
-    {
-      for (phi = phi_nodes (bb); phi; phi = PHI_CHAIN (phi))
-       {
-         tree res = PHI_RESULT (phi);
-         int p = var_to_partition (map, res);
-         int x;
-
-         if (p == NO_PARTITION)
-           continue;
-
-         for (x = 0; x < PHI_NUM_ARGS (phi); x++)
-           {
-             tree arg = PHI_ARG_DEF (phi, x);
-             int p2;
+      int dest;
+      tree src;
+      source_location locus;
 
-             if (TREE_CODE (arg) != SSA_NAME)
-               continue;
-             if (SSA_NAME_VAR (res) != SSA_NAME_VAR (arg))
-               continue;
-             p2 = var_to_partition (map, PHI_ARG_DEF (phi, x));
-             if (p2 != NO_PARTITION)
-               {
-                 edge e = PHI_ARG_EDGE (phi, x);
-                 add_coalesce (cl, p, p2,
-                               coalesce_cost (EDGE_FREQUENCY (e),
-                                              maybe_hot_bb_p (bb),
-                                              EDGE_CRITICAL_P (e)));
-               }
-           }
-       }
+      src = VEC_pop (tree, g->const_copies);
+      dest = VEC_pop (int, g->const_dests);
+      locus = VEC_pop (source_location, g->copy_locus);
+      insert_value_copy_on_edge (e, dest, src, locus);
     }
 }
 
-/* Coalesce all the result decls together.  */
 
-static void
-coalesce_result_decls (var_map map, coalesce_list_p cl)
-{
-  unsigned int i, x;
-  tree var = NULL;
-
-  for (i = x = 0; x < num_var_partitions (map); x++)
-    {
-      tree p = partition_to_var (map, x);
-      if (TREE_CODE (SSA_NAME_VAR (p)) == RESULT_DECL)
-       {
-         if (var == NULL_TREE)
-           {
-             var = p;
-             i = x;
-           }
-         else
-           add_coalesce (cl, i, x,
-                         coalesce_cost (EXIT_BLOCK_PTR->frequency,
-                                        maybe_hot_bb_p (EXIT_BLOCK_PTR),
-                                        false));
-       }
-    }
-}
-
-/* Coalesce matching constraints in asms.  */
+/* Remove each argument from PHI.  If an arg was the last use of an SSA_NAME,
+   check to see if this allows another PHI node to be removed.  */
 
 static void
-coalesce_asm_operands (var_map map, coalesce_list_p cl)
-{
-  basic_block bb;
-
-  FOR_EACH_BB (bb)
-    {
-      block_stmt_iterator bsi;
-      for (bsi = bsi_start (bb); !bsi_end_p (bsi); bsi_next (&bsi))
-       {
-         tree stmt = bsi_stmt (bsi);
-         unsigned long noutputs, i;
-         tree *outputs, link;
-
-         if (TREE_CODE (stmt) != ASM_EXPR)
-           continue;
-
-         noutputs = list_length (ASM_OUTPUTS (stmt));
-         outputs = (tree *) alloca (noutputs * sizeof (tree));
-         for (i = 0, link = ASM_OUTPUTS (stmt); link;
-              ++i, link = TREE_CHAIN (link))
-           outputs[i] = TREE_VALUE (link);
-
-         for (link = ASM_INPUTS (stmt); link; link = TREE_CHAIN (link))
-           {
-             const char *constraint
-               = TREE_STRING_POINTER (TREE_VALUE (TREE_PURPOSE (link)));
-             tree input = TREE_VALUE (link);
-             char *end;
-             unsigned long match;
-             int p1, p2;
-
-             if (TREE_CODE (input) != SSA_NAME && !DECL_P (input))
-               continue;
-
-             match = strtoul (constraint, &end, 10);
-             if (match >= noutputs || end == constraint)
-               continue;
-
-             if (TREE_CODE (outputs[match]) != SSA_NAME
-                 && !DECL_P (outputs[match]))
-               continue;
-
-             p1 = var_to_partition (map, outputs[match]);
-             if (p1 == NO_PARTITION)
-               continue;
-             p2 = var_to_partition (map, input);
-             if (p2 == NO_PARTITION)
-               continue;
-
-             add_coalesce (cl, p1, p2, coalesce_cost (REG_BR_PROB_BASE,
-                                                      maybe_hot_bb_p (bb),
-                                                      false));
-           }
-       }
-    }
-}
-
-/* Reduce the number of live ranges in MAP.  Live range information is 
-   returned if FLAGS indicates that we are combining temporaries, otherwise 
-   NULL is returned.  The only partitions which are associated with actual 
-   variables at this point are those which are forced to be coalesced for 
-   various reason. (live on entry, live across abnormal edges, etc.).  */
-
-static tree_live_info_p
-coalesce_ssa_name (var_map map, int flags)
+remove_gimple_phi_args (gimple phi)
 {
-  unsigned num, x;
-  sbitmap live;
-  root_var_p rv;
-  tree_live_info_p liveinfo;
-  conflict_graph graph;
-  coalesce_list_p cl = NULL;
-  sbitmap_iterator sbi;
-
-  if (num_var_partitions (map) <= 1)
-    return NULL;
-
-  liveinfo = calculate_live_ranges (map);
-  rv = root_var_init (map);
-
-  /* Remove single element variable from the list.  */
-  root_var_compact (rv);
-
-  cl = create_coalesce_list (map);
-
-  coalesce_phi_operands (map, cl);
-  coalesce_result_decls (map, cl);
-  coalesce_asm_operands (map, cl);
-
-  /* Build a conflict graph.  */
-  graph = build_tree_conflict_graph (liveinfo, rv, cl);
-
-  if (cl)
-    {
-      if (dump_file && (dump_flags & TDF_DETAILS))
-       {
-         fprintf (dump_file, "Before sorting:\n");
-         dump_coalesce_list (dump_file, cl);
-       }
-
-      sort_coalesce_list (cl);
-
-      if (dump_file && (dump_flags & TDF_DETAILS))
-       {
-         fprintf (dump_file, "\nAfter sorting:\n");
-         dump_coalesce_list (dump_file, cl);
-       }
-    }
-
-  /* Put the single element variables back in.  */
-  root_var_decompact (rv);
-
-  /* First, coalesce all live on entry variables to their root variable. 
-     This will ensure the first use is coming from the correct location.  */
-
-  num = num_var_partitions (map);
-  live = sbitmap_alloc (num);
-  sbitmap_zero (live);
-
-  /* Set 'live' vector to indicate live on entry partitions.  */
-  for (x = 0 ; x < num; x++)
-    {
-      tree var = partition_to_var (map, x);
-      if (gimple_default_def (cfun, SSA_NAME_VAR (var)) == var)
-       SET_BIT (live, x);
-    }
-
-  delete_tree_live_info (liveinfo);
-  liveinfo = NULL;
-
-  /* Assign root variable as partition representative for each live on entry
-     partition.  */
-  EXECUTE_IF_SET_IN_SBITMAP (live, 0, x, sbi)
-    {
-      tree var = root_var (rv, root_var_find (rv, x));
-      var_ann_t ann = var_ann (var);
-      /* If these aren't already coalesced...  */
-      if (partition_to_var (map, x) != var)
-       {
-         /* This root variable should have not already been assigned
-            to another partition which is not coalesced with this one.  */
-         gcc_assert (!ann->out_of_ssa_tag);
-
-         if (dump_file && (dump_flags & TDF_DETAILS))
-           {
-             print_exprs (dump_file, "Must coalesce ", 
-                          partition_to_var (map, x),
-                          " with the root variable ", var, ".\n");
-           }
-
-         change_partition_var (map, var, x);
-       }
-    }
-
-  sbitmap_free (live);
-
-  /* Coalesce partitions live across abnormal edges.  */
-  coalesce_abnormal_edges (map, graph, rv);
+  use_operand_p arg_p;
+  ssa_op_iter iter;
 
   if (dump_file && (dump_flags & TDF_DETAILS))
-    dump_var_map (dump_file, map);
-
-  /* Coalesce partitions.  */
-  coalesce_tpa_members (rv, graph, map, cl,
-                       ((dump_flags & TDF_DETAILS) ? dump_file
-                        : NULL));
-
-  if (flags & SSANORM_COALESCE_PARTITIONS)
-    coalesce_tpa_members (rv, graph, map, NULL,
-                         ((dump_flags & TDF_DETAILS) ? dump_file
-                          : NULL));
-  if (cl)
-    delete_coalesce_list (cl);
-  root_var_delete (rv);
-  conflict_graph_delete (graph);
-
-  return liveinfo;
-}
-
-
-/* Take the ssa-name var_map MAP, and assign real variables to each 
-   partition.  */
-
-static void
-assign_vars (var_map map)
-{
-  int x, i, num, rep;
-  tree t, var;
-  var_ann_t ann;
-  root_var_p rv;
-
-  rv = root_var_init (map);
-  if (!rv) 
-    return;
-
-  /* Coalescing may already have forced some partitions to their root 
-     variable. Find these and tag them.  */
-
-  num = num_var_partitions (map);
-  for (x = 0; x < num; x++)
     {
-      var = partition_to_var (map, x);
-      if (TREE_CODE (var) != SSA_NAME)
-       {
-         /* Coalescing will already have verified that more than one
-            partition doesn't have the same root variable. Simply marked
-            the variable as assigned.  */
-         ann = var_ann (var);
-         ann->out_of_ssa_tag = 1;
-         if (dump_file && (dump_flags & TDF_DETAILS))
-           {
-             fprintf (dump_file, "partition %d has variable ", x);
-             print_generic_expr (dump_file, var, TDF_SLIM);
-             fprintf (dump_file, " assigned to it.\n");
-           }
-
-       }
+      fprintf (dump_file, "Removing Dead PHI definition: ");
+      print_gimple_stmt (dump_file, phi, 0, TDF_SLIM);
     }
 
-  num = root_var_num (rv);
-  for (x = 0; x < num; x++)
+  FOR_EACH_PHI_ARG (arg_p, phi, iter, SSA_OP_USE)
     {
-      var = root_var (rv, x);
-      ann = var_ann (var);
-      for (i = root_var_first_partition (rv, x);
-          i != ROOT_VAR_NONE;
-          i = root_var_next_partition (rv, i))
-       {
-         t = partition_to_var (map, i);
-
-         if (t == var || TREE_CODE (t) != SSA_NAME)
-           continue;
-
-         rep = var_to_partition (map, t);
-         
-         if (!ann->out_of_ssa_tag)
+      tree arg = USE_FROM_PTR (arg_p);
+      if (TREE_CODE (arg) == SSA_NAME)
+        {
+         /* Remove the reference to the existing argument.  */
+         SET_USE (arg_p, NULL_TREE);
+         if (has_zero_uses (arg))
            {
-             if (dump_file && (dump_flags & TDF_DETAILS))
-               print_exprs (dump_file, "", t, "  --> ", var, "\n");
-             change_partition_var (map, var, rep);
-             continue;
-           }
+             gimple stmt;
+             gimple_stmt_iterator gsi;
 
-         if (dump_file && (dump_flags & TDF_DETAILS))
-           print_exprs (dump_file, "", t, " not coalesced with ", var, 
-                        "");
+             stmt = SSA_NAME_DEF_STMT (arg);
 
-         var = create_temp (t);
-         change_partition_var (map, var, rep);
-         ann = var_ann (var);
+             /* Also remove the def if it is a PHI node.  */
+             if (gimple_code (stmt) == GIMPLE_PHI)
+               {
+                 remove_gimple_phi_args (stmt);
+                 gsi = gsi_for_stmt (stmt);
+                 remove_phi_node (&gsi, true);
+               }
 
-         if (dump_file && (dump_flags & TDF_DETAILS))
-           {
-             fprintf (dump_file, " -->  New temp:  '");
-             print_generic_expr (dump_file, var, TDF_SLIM);
-             fprintf (dump_file, "'\n");
            }
        }
     }
-
-  root_var_delete (rv);
-}
-
-
-/* Replace use operand P with whatever variable it has been rewritten to based 
-   on the partitions in MAP.  EXPR is an optional expression vector over SSA 
-   versions which is used to replace P with an expression instead of a variable.
-   If the stmt is changed, return true.  */ 
-
-static inline bool
-replace_use_variable (var_map map, use_operand_p p, tree *expr)
-{
-  tree new_var;
-  tree var = USE_FROM_PTR (p);
-
-  /* Check if we are replacing this variable with an expression.  */
-  if (expr)
-    {
-      int version = SSA_NAME_VERSION (var);
-      if (expr[version])
-        {
-         tree new_expr = GIMPLE_STMT_OPERAND (expr[version], 1);
-         SET_USE (p, new_expr);
-         /* Clear the stmt's RHS, or GC might bite us.  */
-         GIMPLE_STMT_OPERAND (expr[version], 1) = NULL_TREE;
-         return true;
-       }
-    }
-
-  new_var = var_to_partition_to_var (map, var);
-  if (new_var)
-    {
-      SET_USE (p, new_var);
-      set_is_used (new_var);
-      return true;
-    }
-  return false;
-}
-
-
-/* Replace def operand DEF_P with whatever variable it has been rewritten to 
-   based on the partitions in MAP.  EXPR is an optional expression vector over
-   SSA versions which is used to replace DEF_P with an expression instead of a 
-   variable.  If the stmt is changed, return true.  */ 
-
-static inline bool
-replace_def_variable (var_map map, def_operand_p def_p, tree *expr)
-{
-  tree new_var;
-  tree var = DEF_FROM_PTR (def_p);
-
-  /* Check if we are replacing this variable with an expression.  */
-  if (expr)
-    {
-      int version = SSA_NAME_VERSION (var);
-      if (expr[version])
-        {
-         tree new_expr = TREE_OPERAND (expr[version], 1);
-         SET_DEF (def_p, new_expr);
-         /* Clear the stmt's RHS, or GC might bite us.  */
-         TREE_OPERAND (expr[version], 1) = NULL_TREE;
-         return true;
-       }
-    }
-
-  new_var = var_to_partition_to_var (map, var);
-  if (new_var)
-    {
-      SET_DEF (def_p, new_var);
-      set_is_used (new_var);
-      return true;
-    }
-  return false;
 }
 
-
-/* Remove any PHI node which is a virtual PHI.  */
+/* Remove any PHI node which is a virtual PHI, or a PHI with no uses.  */
 
 static void
-eliminate_virtual_phis (void)
+eliminate_useless_phis (void)
 {
   basic_block bb;
-  tree phi, next;
+  gimple_stmt_iterator gsi;
+  tree result;
 
   FOR_EACH_BB (bb)
     {
-      for (phi = phi_nodes (bb); phi; phi = next)
+      for (gsi = gsi_start_phis (bb); !gsi_end_p (gsi); )
         {
-         next = PHI_CHAIN (phi);
-         if (!is_gimple_reg (SSA_NAME_VAR (PHI_RESULT (phi))))
+         gimple phi = gsi_stmt (gsi);
+         result = gimple_phi_result (phi);
+         if (!is_gimple_reg (SSA_NAME_VAR (result)))
            {
 #ifdef ENABLE_CHECKING
-             int i;
-             /* There should be no arguments of this PHI which are in
-                the partition list, or we get incorrect results.  */
-             for (i = 0; i < PHI_NUM_ARGS (phi); i++)
+             size_t i;
+             /* There should be no arguments which are not virtual, or the
+                results will be incorrect.  */
+             for (i = 0; i < gimple_phi_num_args (phi); i++)
                {
                  tree arg = PHI_ARG_DEF (phi, i);
-                 if (TREE_CODE (arg) == SSA_NAME 
+                 if (TREE_CODE (arg) == SSA_NAME
                      && is_gimple_reg (SSA_NAME_VAR (arg)))
                    {
                      fprintf (stderr, "Argument of PHI is not virtual (");
                      print_generic_expr (stderr, arg, TDF_SLIM);
                      fprintf (stderr, "), but the result is :");
-                     print_generic_stmt (stderr, phi, TDF_SLIM);
+                     print_gimple_stmt (stderr, phi, 0, TDF_SLIM);
                      internal_error ("SSA corruption");
                    }
                }
 #endif
-             remove_phi_node (phi, NULL_TREE);
+             remove_phi_node (&gsi, true);
+           }
+          else
+           {
+             /* Also remove real PHIs with no uses.  */
+             if (has_zero_uses (result))
+               {
+                 remove_gimple_phi_args (phi);
+                 remove_phi_node (&gsi, true);
+               }
+             else
+               gsi_next (&gsi);
            }
        }
     }
@@ -1122,38 +804,30 @@ eliminate_virtual_phis (void)
 
 
 /* This function will rewrite the current program using the variable mapping
-   found in MAP.  If the replacement vector VALUES is provided, any 
-   occurrences of partitions with non-null entries in the vector will be 
-   replaced with the expression in the vector instead of its mapped 
+   found in MAP.  If the replacement vector VALUES is provided, any
+   occurrences of partitions with non-null entries in the vector will be
+   replaced with the expression in the vector instead of its mapped
    variable.  */
 
 static void
-rewrite_trees (var_map map, tree *values)
+rewrite_trees (var_map map ATTRIBUTE_UNUSED)
 {
-  elim_graph g;
-  basic_block bb;
-  block_stmt_iterator si;
-  edge e;
-  tree phi;
-  bool changed;
 #ifdef ENABLE_CHECKING
+  basic_block bb;
   /* Search for PHIs where the destination has no partition, but one
      or more arguments has a partition.  This should not happen and can
      create incorrect code.  */
   FOR_EACH_BB (bb)
     {
-      tree phi;
-
-      for (phi = phi_nodes (bb); phi; phi = PHI_CHAIN (phi))
+      gimple_stmt_iterator gsi;
+      for (gsi = gsi_start_phis (bb); !gsi_end_p (gsi); gsi_next (&gsi))
        {
-         tree T0 = var_to_partition_to_var (map, PHI_RESULT (phi));
-      
+         gimple phi = gsi_stmt (gsi);
+         tree T0 = var_to_partition_to_var (map, gimple_phi_result (phi));
          if (T0 == NULL_TREE)
            {
-             int i;
-
-             for (i = 0; i < PHI_NUM_ARGS (phi); i++)
+             size_t i;
+             for (i = 0; i < gimple_phi_num_args (phi); i++)
                {
                  tree arg = PHI_ARG_DEF (phi, i);
 
@@ -1163,7 +837,7 @@ rewrite_trees (var_map map, tree *values)
                      fprintf (stderr, "Argument of PHI is in a partition :(");
                      print_generic_expr (stderr, arg, TDF_SLIM);
                      fprintf (stderr, "), but the result is not :");
-                     print_generic_stmt (stderr, phi, TDF_SLIM);
+                     print_gimple_stmt (stderr, phi, 0, TDF_SLIM);
                      internal_error ("SSA corruption");
                    }
                }
@@ -1171,458 +845,73 @@ rewrite_trees (var_map map, tree *values)
        }
     }
 #endif
-
-  /* Replace PHI nodes with any required copies.  */
-  g = new_elim_graph (map->num_partitions);
-  g->map = map;
-  FOR_EACH_BB (bb)
-    {
-      for (si = bsi_start (bb); !bsi_end_p (si); )
-       {
-         tree stmt = bsi_stmt (si);
-         use_operand_p use_p, copy_use_p;
-         def_operand_p def_p;
-         bool remove = false, is_copy = false;
-         int num_uses = 0;
-         stmt_ann_t ann;
-         ssa_op_iter iter;
-
-         ann = stmt_ann (stmt);
-         changed = false;
-
-         if (TREE_CODE (stmt) == GIMPLE_MODIFY_STMT 
-             && (TREE_CODE (GIMPLE_STMT_OPERAND (stmt, 1)) == SSA_NAME))
-           is_copy = true;
-
-         copy_use_p = NULL_USE_OPERAND_P;
-         FOR_EACH_SSA_USE_OPERAND (use_p, stmt, iter, SSA_OP_USE)
-           {
-             if (replace_use_variable (map, use_p, values))
-               changed = true;
-             copy_use_p = use_p;
-             num_uses++;
-           }
-
-         if (num_uses != 1)
-           is_copy = false;
-
-         def_p = SINGLE_SSA_DEF_OPERAND (stmt, SSA_OP_DEF);
-
-         if (def_p != NULL)
-           {
-             /* Mark this stmt for removal if it is the list of replaceable 
-                expressions.  */
-             if (values && values[SSA_NAME_VERSION (DEF_FROM_PTR (def_p))])
-               remove = true;
-             else
-               {
-                 if (replace_def_variable (map, def_p, NULL))
-                   changed = true;
-                 /* If both SSA_NAMEs coalesce to the same variable,
-                    mark the now redundant copy for removal.  */
-                 if (is_copy)
-                   {
-                     gcc_assert (copy_use_p != NULL_USE_OPERAND_P);
-                     if (DEF_FROM_PTR (def_p) == USE_FROM_PTR (copy_use_p))
-                       remove = true;
-                   }
-               }
-           }
-         else
-           FOR_EACH_SSA_DEF_OPERAND (def_p, stmt, iter, SSA_OP_DEF)
-             if (replace_def_variable (map, def_p, NULL))
-               changed = true;
-
-         /* Remove any stmts marked for removal.  */
-         if (remove)
-           bsi_remove (&si, true);
-         else
-           bsi_next (&si);
-       }
-
-      phi = phi_nodes (bb);
-      if (phi)
-        {
-         edge_iterator ei;
-         FOR_EACH_EDGE (e, ei, bb->preds)
-           eliminate_phi (e, g);
-       }
-    }
-
-  delete_elim_graph (g);
-}
-
-/* These are the local work structures used to determine the best place to 
-   insert the copies that were placed on edges by the SSA->normal pass..  */
-static VEC(edge,heap) *edge_leader;
-static VEC(tree,heap) *stmt_list;
-static bitmap leader_has_match = NULL;
-static edge leader_match = NULL;
-
-
-/* Pass this function to make_forwarder_block so that all the edges with
-   matching PENDING_STMT lists to 'curr_stmt_list' get redirected.  */
-static bool 
-same_stmt_list_p (edge e)
-{
-  return (e->aux == (PTR) leader_match) ? true : false;
-}
-
-
-/* Return TRUE if S1 and S2 are equivalent copies.  */
-static inline bool
-identical_copies_p (tree s1, tree s2)
-{
-#ifdef ENABLE_CHECKING
-  gcc_assert (TREE_CODE (s1) == GIMPLE_MODIFY_STMT);
-  gcc_assert (TREE_CODE (s2) == GIMPLE_MODIFY_STMT);
-  gcc_assert (DECL_P (GIMPLE_STMT_OPERAND (s1, 0)));
-  gcc_assert (DECL_P (GIMPLE_STMT_OPERAND (s2, 0)));
-#endif
-
-  if (GIMPLE_STMT_OPERAND (s1, 0) != GIMPLE_STMT_OPERAND (s2, 0))
-    return false;
-
-  s1 = GIMPLE_STMT_OPERAND (s1, 1);
-  s2 = GIMPLE_STMT_OPERAND (s2, 1);
-
-  if (s1 != s2)
-    return false;
-
-  return true;
-}
-
-
-/* Compare the PENDING_STMT list for two edges, and return true if the lists
-   contain the same sequence of copies.  */
-
-static inline bool 
-identical_stmt_lists_p (edge e1, edge e2)
-{
-  tree t1 = PENDING_STMT (e1);
-  tree t2 = PENDING_STMT (e2);
-  tree_stmt_iterator tsi1, tsi2;
-
-  gcc_assert (TREE_CODE (t1) == STATEMENT_LIST);
-  gcc_assert (TREE_CODE (t2) == STATEMENT_LIST);
-
-  for (tsi1 = tsi_start (t1), tsi2 = tsi_start (t2);
-       !tsi_end_p (tsi1) && !tsi_end_p (tsi2); 
-       tsi_next (&tsi1), tsi_next (&tsi2))
-    {
-      if (!identical_copies_p (tsi_stmt (tsi1), tsi_stmt (tsi2)))
-        break;
-    }
-
-  if (!tsi_end_p (tsi1) || ! tsi_end_p (tsi2))
-    return false;
-
-  return true;
-}
-
-
-/* Allocate data structures used in analyze_edges_for_bb.   */
-
-static void
-init_analyze_edges_for_bb (void)
-{
-  edge_leader = VEC_alloc (edge, heap, 25);
-  stmt_list = VEC_alloc (tree, heap, 25);
-  leader_has_match = BITMAP_ALLOC (NULL);
-}
-
-
-/* Free data structures used in analyze_edges_for_bb.   */
-
-static void
-fini_analyze_edges_for_bb (void)
-{
-  VEC_free (edge, heap, edge_leader);
-  VEC_free (tree, heap, stmt_list);
-  BITMAP_FREE (leader_has_match);
-}
-
-
-/* Look at all the incoming edges to block BB, and decide where the best place
-   to insert the stmts on each edge are, and perform those insertions.  */
-
-static void
-analyze_edges_for_bb (basic_block bb)
-{
-  edge e;
-  edge_iterator ei;
-  int count;
-  unsigned int x;
-  bool have_opportunity;
-  block_stmt_iterator bsi;
-  tree stmt;
-  edge single_edge = NULL;
-  bool is_label;
-  edge leader;
-
-  count = 0;
-
-  /* Blocks which contain at least one abnormal edge cannot use 
-     make_forwarder_block.  Look for these blocks, and commit any PENDING_STMTs
-     found on edges in these block.  */
-  have_opportunity = true;
-  FOR_EACH_EDGE (e, ei, bb->preds)
-    if (e->flags & EDGE_ABNORMAL)
-      {
-        have_opportunity = false;
-       break;
-      }
-
-  if (!have_opportunity)
-    {
-      FOR_EACH_EDGE (e, ei, bb->preds)
-       if (PENDING_STMT (e))
-         bsi_commit_one_edge_insert (e, NULL);
-      return;
-    }
-  /* Find out how many edges there are with interesting pending stmts on them.  
-     Commit the stmts on edges we are not interested in.  */
-  FOR_EACH_EDGE (e, ei, bb->preds)
-    {
-      if (PENDING_STMT (e))
-        {
-         gcc_assert (!(e->flags & EDGE_ABNORMAL));
-         if (e->flags & EDGE_FALLTHRU)
-           {
-             bsi = bsi_start (e->src);
-             if (!bsi_end_p (bsi))
-               {
-                 stmt = bsi_stmt (bsi);
-                 bsi_next (&bsi);
-                 gcc_assert (stmt != NULL_TREE);
-                 is_label = (TREE_CODE (stmt) == LABEL_EXPR);
-                 /* Punt if it has non-label stmts, or isn't local.  */
-                 if (!is_label || DECL_NONLOCAL (TREE_OPERAND (stmt, 0)) 
-                     || !bsi_end_p (bsi))
-                   {
-                     bsi_commit_one_edge_insert (e, NULL);
-                     continue;
-                   }
-               }
-           }
-         single_edge = e;
-         count++;
-       }
-    }
-
-  /* If there aren't at least 2 edges, no sharing will happen.  */
-  if (count < 2)
-    {
-      if (single_edge)
-        bsi_commit_one_edge_insert (single_edge, NULL);
-      return;
-    }
-
-  /* Ensure that we have empty worklists.  */
-#ifdef ENABLE_CHECKING
-  gcc_assert (VEC_length (edge, edge_leader) == 0);
-  gcc_assert (VEC_length (tree, stmt_list) == 0);
-  gcc_assert (bitmap_empty_p (leader_has_match));
-#endif
-
-  /* Find the "leader" block for each set of unique stmt lists.  Preference is
-     given to FALLTHRU blocks since they would need a GOTO to arrive at another
-     block.  The leader edge destination is the block which all the other edges
-     with the same stmt list will be redirected to.  */
-  have_opportunity = false;
-  FOR_EACH_EDGE (e, ei, bb->preds)
-    {
-      if (PENDING_STMT (e))
-       {
-         bool found = false;
-
-         /* Look for the same stmt list in edge leaders list.  */
-         for (x = 0; VEC_iterate (edge, edge_leader, x, leader); x++)
-           {
-             if (identical_stmt_lists_p (leader, e))
-               {
-                 /* Give this edge the same stmt list pointer.  */
-                 PENDING_STMT (e) = NULL;
-                 e->aux = leader;
-                 bitmap_set_bit (leader_has_match, x);
-                 have_opportunity = found = true;
-                 break;
-               }
-           }
-
-         /* If no similar stmt list, add this edge to the leader list.  */
-         if (!found)
-           {
-             VEC_safe_push (edge, heap, edge_leader, e);
-             VEC_safe_push (tree, heap, stmt_list, PENDING_STMT (e));
-           }
-       }
-     }
-
-  /* If there are no similar lists, just issue the stmts.  */
-  if (!have_opportunity)
-    {
-      for (x = 0; VEC_iterate (edge, edge_leader, x, leader); x++)
-       bsi_commit_one_edge_insert (leader, NULL);
-      VEC_truncate (edge, edge_leader, 0);
-      VEC_truncate (tree, stmt_list, 0);
-      bitmap_clear (leader_has_match);
-      return;
-    }
-
-
-  if (dump_file)
-    fprintf (dump_file, "\nOpportunities in BB %d for stmt/block reduction:\n",
-            bb->index);
-
-  
-  /* For each common list, create a forwarding block and issue the stmt's
-     in that block.  */
-  for (x = 0; VEC_iterate (edge, edge_leader, x, leader); x++)
-    if (bitmap_bit_p (leader_has_match, x))
-      {
-       edge new_edge;
-       block_stmt_iterator bsi;
-       tree curr_stmt_list;
-
-       leader_match = leader;
-
-       /* The tree_* cfg manipulation routines use the PENDING_EDGE field
-          for various PHI manipulations, so it gets cleared when calls are 
-          made to make_forwarder_block(). So make sure the edge is clear, 
-          and use the saved stmt list.  */
-       PENDING_STMT (leader) = NULL;
-       leader->aux = leader;
-       curr_stmt_list = VEC_index (tree, stmt_list, x);
-
-        new_edge = make_forwarder_block (leader->dest, same_stmt_list_p, 
-                                        NULL);
-       bb = new_edge->dest;
-       if (dump_file)
-         {
-           fprintf (dump_file, "Splitting BB %d for Common stmt list.  ", 
-                    leader->dest->index);
-           fprintf (dump_file, "Original block is now BB%d.\n", bb->index);
-           print_generic_stmt (dump_file, curr_stmt_list, TDF_VOPS);
-         }
-
-       FOR_EACH_EDGE (e, ei, new_edge->src->preds)
-         {
-           e->aux = NULL;
-           if (dump_file)
-             fprintf (dump_file, "  Edge (%d->%d) lands here.\n", 
-                      e->src->index, e->dest->index);
-         }
-
-       bsi = bsi_last (leader->dest);
-       bsi_insert_after (&bsi, curr_stmt_list, BSI_NEW_STMT);
-
-       leader_match = NULL;
-       /* We should never get a new block now.  */
-      }
-    else
-      {
-       PENDING_STMT (leader) = VEC_index (tree, stmt_list, x);
-       bsi_commit_one_edge_insert (leader, NULL);
-      }
-
-   
-  /* Clear the working data structures.  */
-  VEC_truncate (edge, edge_leader, 0);
-  VEC_truncate (tree, stmt_list, 0);
-  bitmap_clear (leader_has_match);
 }
 
+/* Given the out-of-ssa info object SA (with prepared partitions)
+   eliminate all phi nodes in all basic blocks.  Afterwards no
+   basic block will have phi nodes anymore and there are possibly
+   some RTL instructions inserted on edges.  */
 
-/* This function will analyze the insertions which were performed on edges,
-   and decide whether they should be left on that edge, or whether it is more
-   efficient to emit some subset of them in a single block.  All stmts are
-   inserted somewhere.  */
-
-static void
-perform_edge_inserts (void)
+void
+expand_phi_nodes (struct ssaexpand *sa)
 {
   basic_block bb;
+  elim_graph g = new_elim_graph (sa->map->num_partitions);
+  g->map = sa->map;
 
-  if (dump_file)
-    fprintf(dump_file, "Analyzing Edge Insertions.\n");
-
-  /* analyze_edges_for_bb calls make_forwarder_block, which tries to
-     incrementally update the dominator information.  Since we don't
-     need dominator information after this pass, go ahead and free the
-     dominator information.  */
-  free_dominance_info (CDI_DOMINATORS);
-  free_dominance_info (CDI_POST_DOMINATORS);
-
-  /* Allocate data structures used in analyze_edges_for_bb.   */
-  init_analyze_edges_for_bb ();
-
-  FOR_EACH_BB (bb)
-    analyze_edges_for_bb (bb);
-
-  analyze_edges_for_bb (EXIT_BLOCK_PTR);
-
-  /* Free data structures used in analyze_edges_for_bb.   */
-  fini_analyze_edges_for_bb ();
-
-#ifdef ENABLE_CHECKING
-  {
-    edge_iterator ei;
-    edge e;
-    FOR_EACH_BB (bb)
+  FOR_BB_BETWEEN (bb, ENTRY_BLOCK_PTR->next_bb, EXIT_BLOCK_PTR, next_bb)
+    if (!gimple_seq_empty_p (phi_nodes (bb)))
       {
+       edge e;
+       edge_iterator ei;
        FOR_EACH_EDGE (e, ei, bb->preds)
+         eliminate_phi (e, g);
+       set_phi_nodes (bb, NULL);
+       /* We can't redirect EH edges in RTL land, so we need to do this
+          here.  Redirection happens only when splitting is necessary,
+          which it is only for critical edges, normally.  For EH edges
+          it might also be necessary when the successor has more than
+          one predecessor.  In that case the edge is either required to
+          be fallthru (which EH edges aren't), or the predecessor needs
+          to end with a jump (which again, isn't the case with EH edges).
+          Hence, split all EH edges on which we inserted instructions
+          and whose successor has multiple predecessors.  */
+       for (ei = ei_start (bb->preds); (e = ei_safe_edge (ei)); )
          {
-           if (PENDING_STMT (e))
-             error (" Pending stmts not issued on PRED edge (%d, %d)\n", 
-                    e->src->index, e->dest->index);
-         }
-       FOR_EACH_EDGE (e, ei, bb->succs)
-         {
-           if (PENDING_STMT (e))
-             error (" Pending stmts not issued on SUCC edge (%d, %d)\n", 
-                    e->src->index, e->dest->index);
+           if (e->insns.r && (e->flags & EDGE_EH)
+               && !single_pred_p (e->dest))
+             {
+               rtx insns = e->insns.r;
+               basic_block bb;
+               e->insns.r = NULL_RTX;
+               bb = split_edge (e);
+               single_pred_edge (bb)->insns.r = insns;
+             }
+           else
+             ei_next (&ei);
          }
       }
-    FOR_EACH_EDGE (e, ei, ENTRY_BLOCK_PTR->succs)
-      {
-       if (PENDING_STMT (e))
-         error (" Pending stmts not issued on ENTRY edge (%d, %d)\n", 
-                e->src->index, e->dest->index);
-      }
-    FOR_EACH_EDGE (e, ei, EXIT_BLOCK_PTR->preds)
-      {
-       if (PENDING_STMT (e))
-         error (" Pending stmts not issued on EXIT edge (%d, %d)\n", 
-                e->src->index, e->dest->index);
-      }
-  }
-#endif
+
+  delete_elim_graph (g);
 }
 
 
-/* Remove the variables specified in MAP from SSA form.  FLAGS indicate what
-   options should be used.  */
+/* Remove the ssa-names in the current function and translate them into normal
+   compiler variables.  PERFORM_TER is true if Temporary Expression Replacement
+   should also be used.  */
 
 static void
-remove_ssa_form (var_map map, int flags)
+remove_ssa_form (bool perform_ter, struct ssaexpand *sa)
 {
-  tree_live_info_p liveinfo;
-  basic_block bb;
-  tree phi, next;
-  tree *values = NULL;
-
-  /* If we are not combining temps, don't calculate live ranges for variables
-     with only one SSA version.  */
-  compact_var_map (map, VARMAP_NO_SINGLE_DEFS);
-
-  if (dump_file && (dump_flags & TDF_DETAILS))
-    dump_var_map (dump_file, map);
+  bitmap values = NULL;
+  var_map map;
+  unsigned i;
 
-  liveinfo = coalesce_ssa_name (map, flags);
+  map = coalesce_ssa_name ();
 
-  /* Make sure even single occurrence variables are in the list now.  */
-  compact_var_map (map, VARMAP_NORMAL);
+  /* Return to viewing the variable list as just all reference variables after
+     coalescing has been performed.  */
+  partition_view_normal (map, false);
 
   if (dump_file && (dump_flags & TDF_DETAILS))
     {
@@ -1630,47 +919,94 @@ remove_ssa_form (var_map map, int flags)
       dump_var_map (dump_file, map);
     }
 
-  if (flags & SSANORM_PERFORM_TER)
+  if (perform_ter)
     {
       values = find_replaceable_exprs (map);
       if (values && dump_file && (dump_flags & TDF_DETAILS))
        dump_replaceable_exprs (dump_file, values);
     }
 
-  /* Assign real variables to the partitions now.  */
-  assign_vars (map);
+  rewrite_trees (map);
 
-  if (dump_file && (dump_flags & TDF_DETAILS))
+  sa->map = map;
+  sa->values = values;
+  sa->partition_has_default_def = BITMAP_ALLOC (NULL);
+  for (i = 1; i < num_ssa_names; i++)
     {
-      fprintf (dump_file, "After Root variable replacement:\n");
-      dump_var_map (dump_file, map);
+      tree t = ssa_name (i);
+      if (t && SSA_NAME_IS_DEFAULT_DEF (t))
+       {
+         int p = var_to_partition (map, t);
+         if (p != NO_PARTITION)
+           bitmap_set_bit (sa->partition_has_default_def, p);
+       }
     }
+}
 
-  if (liveinfo)
-    delete_tree_live_info (liveinfo);
 
-  rewrite_trees (map, values);
+/* If not already done so for basic block BB, assign increasing uids
+   to each of its instructions.  */
 
-  if (values)
-    free (values);
+static void
+maybe_renumber_stmts_bb (basic_block bb)
+{
+  unsigned i = 0;
+  gimple_stmt_iterator gsi;
 
-  /* Remove phi nodes which have been translated back to real variables.  */
-  FOR_EACH_BB (bb)
+  if (!bb->aux)
+    return;
+  bb->aux = NULL;
+  for (gsi = gsi_start_bb (bb); !gsi_end_p (gsi); gsi_next (&gsi))
     {
-      for (phi = phi_nodes (bb); phi; phi = next)
-       {
-         next = PHI_CHAIN (phi);
-         remove_phi_node (phi, NULL_TREE);
-       }
+      gimple stmt = gsi_stmt (gsi);
+      gimple_set_uid (stmt, i);
+      i++;
     }
+}
 
-  /* we no longer maintain the SSA operand cache at this point.  */
-  fini_ssa_operands ();
 
-  /* If any copies were inserted on edges, analyze and insert them now.  */
-  perform_edge_inserts ();
+/* Return true if we can determine that the SSA_NAMEs RESULT (a result
+   of a PHI node) and ARG (one of its arguments) conflict.  Return false
+   otherwise, also when we simply aren't sure.  */
+
+static bool
+trivially_conflicts_p (basic_block bb, tree result, tree arg)
+{
+  use_operand_p use;
+  imm_use_iterator imm_iter;
+  gimple defa = SSA_NAME_DEF_STMT (arg);
+
+  /* If ARG isn't defined in the same block it's too complicated for
+     our little mind.  */
+  if (gimple_bb (defa) != bb)
+    return false;
+
+  FOR_EACH_IMM_USE_FAST (use, imm_iter, result)
+    {
+      gimple use_stmt = USE_STMT (use);
+      if (is_gimple_debug (use_stmt))
+       continue;
+      /* Now, if there's a use of RESULT that lies outside this basic block,
+        then there surely is a conflict with ARG.  */
+      if (gimple_bb (use_stmt) != bb)
+       return true;
+      if (gimple_code (use_stmt) == GIMPLE_PHI)
+       continue;
+      /* The use now is in a real stmt of BB, so if ARG was defined
+         in a PHI node (like RESULT) both conflict.  */
+      if (gimple_code (defa) == GIMPLE_PHI)
+       return true;
+      maybe_renumber_stmts_bb (bb);
+      /* If the use of RESULT occurs after the definition of ARG,
+         the two conflict too.  */
+      if (gimple_uid (defa) < gimple_uid (use_stmt))
+       return true;
+    }
+
+  return false;
 }
 
+
 /* Search every PHI node for arguments associated with backedges which
    we can trivially determine will need a copy (the argument is either
    not an SSA_NAME or the argument has a different underlying variable
@@ -1684,46 +1020,51 @@ static void
 insert_backedge_copies (void)
 {
   basic_block bb;
+  gimple_stmt_iterator gsi;
+
+  mark_dfs_back_edges ();
 
   FOR_EACH_BB (bb)
     {
-      tree phi;
+      /* Mark block as possibly needing calculation of UIDs.  */
+      bb->aux = &bb->aux;
 
-      for (phi = phi_nodes (bb); phi; phi = PHI_CHAIN (phi))
+      for (gsi = gsi_start_phis (bb); !gsi_end_p (gsi); gsi_next (&gsi))
        {
-         tree result = PHI_RESULT (phi);
+         gimple phi = gsi_stmt (gsi);
+         tree result = gimple_phi_result (phi);
          tree result_var;
-         int i;
+         size_t i;
 
          if (!is_gimple_reg (result))
            continue;
 
          result_var = SSA_NAME_VAR (result);
-         for (i = 0; i < PHI_NUM_ARGS (phi); i++)
+         for (i = 0; i < gimple_phi_num_args (phi); i++)
            {
-             tree arg = PHI_ARG_DEF (phi, i);
-             edge e = PHI_ARG_EDGE (phi, i);
-
-             /* If the argument is not an SSA_NAME, then we will
-                need a constant initialization.  If the argument is
-                an SSA_NAME with a different underlying variable and
-                we are not combining temporaries, then we will
-                need a copy statement.  */
+             tree arg = gimple_phi_arg_def (phi, i);
+             edge e = gimple_phi_arg_edge (phi, i);
+
+             /* If the argument is not an SSA_NAME, then we will need a
+                constant initialization.  If the argument is an SSA_NAME with
+                a different underlying variable then a copy statement will be
+                needed.  */
              if ((e->flags & EDGE_DFS_BACK)
                  && (TREE_CODE (arg) != SSA_NAME
-                     || SSA_NAME_VAR (arg) != result_var))
+                     || SSA_NAME_VAR (arg) != result_var
+                     || trivially_conflicts_p (bb, result, arg)))
                {
-                 tree stmt, name, last = NULL;
-                 block_stmt_iterator bsi;
+                 tree name;
+                 gimple stmt, last = NULL;
+                 gimple_stmt_iterator gsi2;
 
-                 bsi = bsi_last (PHI_ARG_EDGE (phi, i)->src);
-                 if (!bsi_end_p (bsi))
-                   last = bsi_stmt (bsi);
+                 gsi2 = gsi_last_bb (gimple_phi_arg_edge (phi, i)->src);
+                 if (!gsi_end_p (gsi2))
+                   last = gsi_stmt (gsi2);
 
                  /* In theory the only way we ought to get back to the
                     start of a loop should be with a COND_EXPR or GOTO_EXPR.
-                    However, better safe than sorry. 
-
+                    However, better safe than sorry.
                     If the block ends with a control statement or
                     something that might throw, then we have to
                     insert this assignment before the last
@@ -1738,36 +1079,55 @@ insert_backedge_copies (void)
                        continue;
                    }
 
-                 /* Create a new instance of the underlying
-                    variable of the PHI result.  */
-                 stmt = build2 (GIMPLE_MODIFY_STMT, TREE_TYPE (result_var),
-                                NULL_TREE, PHI_ARG_DEF (phi, i));
+                 /* Create a new instance of the underlying variable of the
+                    PHI result.  */
+                 stmt = gimple_build_assign (result_var,
+                                             gimple_phi_arg_def (phi, i));
                  name = make_ssa_name (result_var, stmt);
-                 GIMPLE_STMT_OPERAND (stmt, 0) = name;
+                 gimple_assign_set_lhs (stmt, name);
+
+                 /* copy location if present.  */
+                 if (gimple_phi_arg_has_location (phi, i))
+                   gimple_set_location (stmt,
+                                        gimple_phi_arg_location (phi, i));
 
                  /* Insert the new statement into the block and update
                     the PHI node.  */
                  if (last && stmt_ends_bb_p (last))
-                   bsi_insert_before (&bsi, stmt, BSI_NEW_STMT);
+                   gsi_insert_before (&gsi2, stmt, GSI_NEW_STMT);
                  else
-                   bsi_insert_after (&bsi, stmt, BSI_NEW_STMT);
+                   gsi_insert_after (&gsi2, stmt, GSI_NEW_STMT);
                  SET_PHI_ARG_DEF (phi, i, name);
                }
            }
        }
+
+      /* Unmark this block again.  */
+      bb->aux = NULL;
     }
 }
 
-/* Take the current function out of SSA form, as described in
+/* Free all memory associated with going out of SSA form.  SA is
+   the outof-SSA info object.  */
+
+void
+finish_out_of_ssa (struct ssaexpand *sa)
+{
+  free (sa->partition_to_pseudo);
+  if (sa->values)
+    BITMAP_FREE (sa->values);
+  delete_var_map (sa->map);
+  BITMAP_FREE (sa->partition_has_default_def);
+  memset (sa, 0, sizeof *sa);
+}
+
+/* Take the current function out of SSA form, translating PHIs as described in
    R. Morgan, ``Building an Optimizing Compiler'',
    Butterworth-Heinemann, Boston, MA, 1998. pp 176-186.  */
 
-static unsigned int
-rewrite_out_of_ssa (void)
+unsigned int
+rewrite_out_of_ssa (struct ssaexpand *sa)
 {
-  var_map map;
-  int ssa_flags = 0;
-
   /* If elimination of a PHI requires inserting a copy on a backedge,
      then we will have to split the backedge which has numerous
      undesirable performance effects.
@@ -1776,51 +1136,17 @@ rewrite_out_of_ssa (void)
      copies into the loop itself.  */
   insert_backedge_copies ();
 
-  if (!flag_tree_live_range_split)
-    ssa_flags |= SSANORM_COALESCE_PARTITIONS;
-    
-  eliminate_virtual_phis ();
 
-  if (dump_file && (dump_flags & TDF_DETAILS))
-    dump_tree_cfg (dump_file, dump_flags & ~TDF_DETAILS);
+  /* Eliminate PHIs which are of no use, such as virtual or dead phis.  */
+  eliminate_useless_phis ();
 
-  map = create_ssa_var_map ();
-
-  if (flag_tree_ter && !flag_mudflap)
-    ssa_flags |= SSANORM_PERFORM_TER;
+  if (dump_file && (dump_flags & TDF_DETAILS))
+    gimple_dump_cfg (dump_file, dump_flags & ~TDF_DETAILS);
 
-  remove_ssa_form (map, ssa_flags);
+  remove_ssa_form (flag_tree_ter, sa);
 
   if (dump_file && (dump_flags & TDF_DETAILS))
-    dump_tree_cfg (dump_file, dump_flags & ~TDF_DETAILS);
+    gimple_dump_cfg (dump_file, dump_flags & ~TDF_DETAILS);
 
-  /* Flush out flow graph and SSA data.  */
-  delete_var_map (map);
-
-  cfun->gimple_df->in_ssa_p = false;
   return 0;
 }
-
-
-/* Define the parameters of the out of SSA pass.  */
-
-struct tree_opt_pass pass_del_ssa = 
-{
-  "optimized",                         /* name */
-  NULL,                                        /* gate */
-  rewrite_out_of_ssa,                  /* execute */
-  NULL,                                        /* sub */
-  NULL,                                        /* next */
-  0,                                   /* static_pass_number */
-  TV_TREE_SSA_TO_NORMAL,               /* tv_id */
-  PROP_cfg | PROP_ssa | PROP_alias,    /* properties_required */
-  0,                                   /* properties_provided */
-  /* ??? If TER is enabled, we also kill gimple.  */
-  PROP_ssa,                            /* properties_destroyed */
-  TODO_verify_ssa | TODO_verify_flow
-    | TODO_verify_stmts,               /* todo_flags_start */
-  TODO_dump_func
-  | TODO_ggc_collect
-  | TODO_remove_unused_locals,         /* todo_flags_finish */
-  0                                    /* letter */
-};