OSDN Git Service

PR fortran/30820
[pf3gnuchains/gcc-fork.git] / gcc / lambda-code.c
index c59de3c..579c3d3 100644 (file)
@@ -1,5 +1,5 @@
 /*  Loop transformation code generation
-    Copyright (C) 2003, 2004, 2005, 2006 Free Software Foundation, Inc.
+    Copyright (C) 2003, 2004, 2005, 2006, 2007 Free Software Foundation, Inc.
     Contributed by Daniel Berlin <dberlin@dberlin.org>
 
     This file is part of GCC.
  Fourier-Motzkin elimination is used to compute the bounds of the base space
  of the lattice.  */
 
-static bool perfect_nestify (struct loops *, 
-                            struct loop *, VEC(tree,heap) *, 
+static bool perfect_nestify (struct loop *, VEC(tree,heap) *, 
                             VEC(tree,heap) *, VEC(int,heap) *,
                             VEC(tree,heap) *);
 /* Lattice stuff that is internal to the code generation algorithm.  */
@@ -442,8 +441,8 @@ lambda_lattice_compute_base (lambda_loopnest nest)
 
 /* Compute the least common multiple of two numbers A and B .  */
 
-static int
-lcm (int a, int b)
+int
+least_common_multiple (int a, int b)
 {
   return (abs (a) * abs (b) / gcd (a, b));
 }
@@ -577,7 +576,7 @@ compute_nest_using_fourier_motzkin (int size,
                {
                  if (A[k][i] < 0)
                    {
-                     multiple = lcm (A[j][i], A[k][i]);
+                     multiple = least_common_multiple (A[j][i], A[k][i]);
                      f1 = multiple / A[j][i];
                      f2 = -1 * multiple / A[k][i];
 
@@ -623,7 +622,7 @@ compute_nest_using_fourier_motzkin (int size,
    4. Multiply the composed transformation matrix times the matrix form of the
    loop.
    5. Transform the newly created matrix (from step 4) back into a loop nest
-   using fourier motzkin elimination to figure out the bounds.  */
+   using Fourier-Motzkin elimination to figure out the bounds.  */
 
 static lambda_loopnest
 lambda_compute_auxillary_space (lambda_loopnest nest,
@@ -742,7 +741,7 @@ lambda_compute_auxillary_space (lambda_loopnest nest,
   lambda_matrix_add_mc (B, 1, B1, -1, B1, size, invariants);
 
   /* Now compute the auxiliary space bounds by first inverting U, multiplying
-     it by A1, then performing fourier motzkin.  */
+     it by A1, then performing Fourier-Motzkin.  */
 
   invertedtrans = lambda_matrix_new (depth, depth);
 
@@ -1188,12 +1187,11 @@ invariant_in_loop_and_outer_loops (struct loop *loop, tree op)
 {
   if (is_gimple_min_invariant (op))
     return true;
-  if (loop->depth == 0)
+  if (loop_depth (loop) == 0)
     return true;
   if (!expr_invariant_in_loop_p (loop, op))
     return false;
-  if (loop->outer 
-      && !invariant_in_loop_and_outer_loops (loop->outer, op))
+  if (!invariant_in_loop_and_outer_loops (loop_outer (loop), op))
     return false;
   return true;
 }
@@ -1457,8 +1455,7 @@ DEF_VEC_ALLOC_P(lambda_loop,heap);
    during this process.  */
 
 lambda_loopnest
-gcc_loopnest_to_lambda_loopnest (struct loops *currloops,
-                                struct loop *loop_nest,
+gcc_loopnest_to_lambda_loopnest (struct loop *loop_nest,
                                 VEC(tree,heap) **inductionvars,
                                 VEC(tree,heap) **invariants)
 {
@@ -1493,8 +1490,8 @@ gcc_loopnest_to_lambda_loopnest (struct loops *currloops,
 
   if (!perfect_nest)
     {
-      if (!perfect_nestify (currloops, loop_nest, 
-                           lboundvars, uboundvars, steps, *inductionvars))
+      if (!perfect_nestify (loop_nest, lboundvars, uboundvars, steps,
+                           *inductionvars))
        {
          if (dump_file)
            fprintf (dump_file,
@@ -1542,9 +1539,10 @@ lbv_to_gcc_expression (lambda_body_vector lbv,
   add_referenced_var (resvar);
 
   /* Start at 0.  */
-  stmt = build2 (MODIFY_EXPR, void_type_node, resvar, integer_zero_node);
+  stmt = build_gimple_modify_stmt (resvar,
+                                  fold_convert (type, integer_zero_node));
   name = make_ssa_name (resvar, stmt);
-  TREE_OPERAND (stmt, 0) = name;
+  GIMPLE_STMT_OPERAND (stmt, 0) = name;
   tsi = tsi_last (stmts);
   tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
 
@@ -1557,20 +1555,22 @@ lbv_to_gcc_expression (lambda_body_vector lbv,
          
          /* newname = coefficient * induction_variable */
          coeffmult = build_int_cst (type, LBV_COEFFICIENTS (lbv)[i]);
-         stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                        fold_build2 (MULT_EXPR, type, iv, coeffmult));
+         stmt = build_gimple_modify_stmt (resvar,
+                                          fold_build2 (MULT_EXPR, type,
+                                                       iv, coeffmult));
 
          newname = make_ssa_name (resvar, stmt);
-         TREE_OPERAND (stmt, 0) = newname;
+         GIMPLE_STMT_OPERAND (stmt, 0) = newname;
          fold_stmt (&stmt);
          tsi = tsi_last (stmts);
          tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
 
          /* name = name + newname */
-         stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                        build2 (PLUS_EXPR, type, name, newname));
+         stmt = build_gimple_modify_stmt (resvar,
+                                          build2 (PLUS_EXPR, type,
+                                                  name, newname));
          name = make_ssa_name (resvar, stmt);
-         TREE_OPERAND (stmt, 0) = name;
+         GIMPLE_STMT_OPERAND (stmt, 0) = name;
          fold_stmt (&stmt);
          tsi = tsi_last (stmts);
          tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
@@ -1582,10 +1582,11 @@ lbv_to_gcc_expression (lambda_body_vector lbv,
   if (LBV_DENOMINATOR (lbv) != 1)
     {
       tree denominator = build_int_cst (type, LBV_DENOMINATOR (lbv));
-      stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                    build2 (CEIL_DIV_EXPR, type, name, denominator));
+      stmt = build_gimple_modify_stmt (resvar,
+                                      build2 (CEIL_DIV_EXPR, type,
+                                              name, denominator));
       name = make_ssa_name (resvar, stmt);
-      TREE_OPERAND (stmt, 0) = name;
+      GIMPLE_STMT_OPERAND (stmt, 0) = name;
       fold_stmt (&stmt);
       tsi = tsi_last (stmts);
       tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
@@ -1633,9 +1634,10 @@ lle_to_gcc_expression (lambda_linear_expression lle,
   for (; lle != NULL; lle = LLE_NEXT (lle))
     {
       /* Start at name = 0.  */
-      stmt = build2 (MODIFY_EXPR, void_type_node, resvar, integer_zero_node);
+      stmt = build_gimple_modify_stmt (resvar,
+                                      fold_convert (type, integer_zero_node));
       name = make_ssa_name (resvar, stmt);
-      TREE_OPERAND (stmt, 0) = name;
+      GIMPLE_STMT_OPERAND (stmt, 0) = name;
       fold_stmt (&stmt);
       tsi = tsi_last (stmts);
       tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
@@ -1664,18 +1666,19 @@ lle_to_gcc_expression (lambda_linear_expression lle,
                }
 
              /* newname = mult */
-             stmt = build2 (MODIFY_EXPR, void_type_node, resvar, mult);
+             stmt = build_gimple_modify_stmt (resvar, mult);
              newname = make_ssa_name (resvar, stmt);
-             TREE_OPERAND (stmt, 0) = newname;
+             GIMPLE_STMT_OPERAND (stmt, 0) = newname;
              fold_stmt (&stmt);
              tsi = tsi_last (stmts);
              tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
 
              /* name = name + newname */
-             stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                            build2 (PLUS_EXPR, type, name, newname));
+             stmt = build_gimple_modify_stmt (resvar,
+                                              build2 (PLUS_EXPR, type,
+                                                      name, newname));
              name = make_ssa_name (resvar, stmt);
-             TREE_OPERAND (stmt, 0) = name;
+             GIMPLE_STMT_OPERAND (stmt, 0) = name;
              fold_stmt (&stmt);
              tsi = tsi_last (stmts);
              tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
@@ -1705,18 +1708,19 @@ lle_to_gcc_expression (lambda_linear_expression lle,
                }
 
              /* newname = mult */
-             stmt = build2 (MODIFY_EXPR, void_type_node, resvar, mult);
+             stmt = build_gimple_modify_stmt (resvar, mult);
              newname = make_ssa_name (resvar, stmt);
-             TREE_OPERAND (stmt, 0) = newname;
+             GIMPLE_STMT_OPERAND (stmt, 0) = newname;
              fold_stmt (&stmt);
              tsi = tsi_last (stmts);
              tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
 
              /* name = name + newname */
-             stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                            build2 (PLUS_EXPR, type, name, newname));
+             stmt = build_gimple_modify_stmt (resvar,
+                                              build2 (PLUS_EXPR, type,
+                                                      name, newname));
              name = make_ssa_name (resvar, stmt);
-             TREE_OPERAND (stmt, 0) = name;
+             GIMPLE_STMT_OPERAND (stmt, 0) = name;
              fold_stmt (&stmt);
              tsi = tsi_last (stmts);
              tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
@@ -1727,11 +1731,11 @@ lle_to_gcc_expression (lambda_linear_expression lle,
          name = name + constant.  */
       if (LLE_CONSTANT (lle) != 0)
        {
-         stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                        build2 (PLUS_EXPR, type, name, 
-                                build_int_cst (type, LLE_CONSTANT (lle))));
+         tree incr = build_int_cst (type, LLE_CONSTANT (lle));
+         stmt = build_gimple_modify_stmt (resvar, build2 (PLUS_EXPR, type,
+                                                          name, incr));
          name = make_ssa_name (resvar, stmt);
-         TREE_OPERAND (stmt, 0) = name;
+         GIMPLE_STMT_OPERAND (stmt, 0) = name;
          fold_stmt (&stmt);
          tsi = tsi_last (stmts);
          tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
@@ -1741,11 +1745,11 @@ lle_to_gcc_expression (lambda_linear_expression lle,
          name = name + linear offset.  */
       if (LLE_CONSTANT (offset) != 0)
        {
-         stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                        build2 (PLUS_EXPR, type, name, 
-                                build_int_cst (type, LLE_CONSTANT (offset))));
+         tree incr = build_int_cst (type, LLE_CONSTANT (offset));
+         stmt = build_gimple_modify_stmt (resvar, build2 (PLUS_EXPR, type,
+                                                          name, incr));
          name = make_ssa_name (resvar, stmt);
-         TREE_OPERAND (stmt, 0) = name;
+         GIMPLE_STMT_OPERAND (stmt, 0) = name;
          fold_stmt (&stmt);
          tsi = tsi_last (stmts);
          tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
@@ -1757,11 +1761,11 @@ lle_to_gcc_expression (lambda_linear_expression lle,
          stmt = build_int_cst (type, LLE_DENOMINATOR (lle));
          stmt = build2 (wrap == MAX_EXPR ? CEIL_DIV_EXPR : FLOOR_DIV_EXPR,
                         type, name, stmt);
-         stmt = build2 (MODIFY_EXPR, void_type_node, resvar, stmt);
+         stmt = build_gimple_modify_stmt (resvar, stmt);
 
          /* name = {ceil, floor}(name/denominator) */
          name = make_ssa_name (resvar, stmt);
-         TREE_OPERAND (stmt, 0) = name;
+         GIMPLE_STMT_OPERAND (stmt, 0) = name;
          tsi = tsi_last (stmts);
          tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
        }
@@ -1777,10 +1781,9 @@ lle_to_gcc_expression (lambda_linear_expression lle,
     {
       tree op1 = VEC_index (tree, results, 0);
       tree op2 = VEC_index (tree, results, 1);
-      stmt = build2 (MODIFY_EXPR, void_type_node, resvar,
-                    build2 (wrap, type, op1, op2));
+      stmt = build_gimple_modify_stmt (resvar, build2 (wrap, type, op1, op2));
       name = make_ssa_name (resvar, stmt);
-      TREE_OPERAND (stmt, 0) = name;
+      GIMPLE_STMT_OPERAND (stmt, 0) = name;
       tsi = tsi_last (stmts);
       tsi_link_after (&tsi, stmt, TSI_CONTINUE_LINKING);
     }
@@ -1875,7 +1878,7 @@ lambda_loopnest_to_gcc_loopnest (struct loop *old_loopnest,
                                             type,
                                             new_ivs,
                                             invariants, MIN_EXPR, &stmts);
-      exit = temp->single_exit;
+      exit = single_exit (temp);
       exitcond = get_loop_exit_condition (temp);
       bb = bb_for_stmt (exitcond);
       bsi = bsi_start (bb);
@@ -1895,10 +1898,9 @@ lambda_loopnest_to_gcc_loopnest (struct loop *old_loopnest,
         test,  and let redundancy elimination sort it out.  */
       inc_stmt = build2 (PLUS_EXPR, type, 
                         ivvar, build_int_cst (type, LL_STEP (newloop)));
-      inc_stmt = build2 (MODIFY_EXPR, void_type_node, SSA_NAME_VAR (ivvar),
-                        inc_stmt);
+      inc_stmt = build_gimple_modify_stmt (SSA_NAME_VAR (ivvar), inc_stmt);
       ivvarinced = make_ssa_name (SSA_NAME_VAR (ivvar), inc_stmt);
-      TREE_OPERAND (inc_stmt, 0) = ivvarinced;
+      GIMPLE_STMT_OPERAND (inc_stmt, 0) = ivvarinced;
       bsi = bsi_for_stmt (exitcond);
       bsi_insert_before (&bsi, inc_stmt, BSI_SAME_STMT);
 
@@ -2104,11 +2106,17 @@ perfect_nest_p (struct loop *loop)
   return true;
 }
 
-/* Replace the USES of X in STMT, or uses with the same step as X  with Y.  */
+/* Replace the USES of X in STMT, or uses with the same step as X with Y.
+   YINIT is the initial value of Y, REPLACEMENTS is a hash table to
+   avoid creating duplicate temporaries and FIRSTBSI is statement
+   iterator where new temporaries should be inserted at the beginning
+   of body basic block.  */
 
 static void
 replace_uses_equiv_to_x_with_y (struct loop *loop, tree stmt, tree x, 
-                               int xstep, tree y)
+                               int xstep, tree y, tree yinit,
+                               htab_t replacements,
+                               block_stmt_iterator *firstbsi)
 {
   ssa_op_iter iter;
   use_operand_p use_p;
@@ -2117,17 +2125,83 @@ replace_uses_equiv_to_x_with_y (struct loop *loop, tree stmt, tree x,
     {
       tree use = USE_FROM_PTR (use_p);
       tree step = NULL_TREE;
-      tree scev = instantiate_parameters (loop,
-                                         analyze_scalar_evolution (loop, use));
+      tree scev, init, val, var, setstmt;
+      struct tree_map *h, in;
+      void **loc;
 
-      if (scev != NULL_TREE && scev != chrec_dont_know)
-       step = evolution_part_in_loop_num (scev, loop->num);
+      /* Replace uses of X with Y right away.  */
+      if (use == x)
+       {
+         SET_USE (use_p, y);
+         continue;
+       }
+
+      scev = instantiate_parameters (loop,
+                                    analyze_scalar_evolution (loop, use));
+
+      if (scev == NULL || scev == chrec_dont_know)
+       continue;
+
+      step = evolution_part_in_loop_num (scev, loop->num);
+      if (step == NULL
+         || step == chrec_dont_know
+         || TREE_CODE (step) != INTEGER_CST
+         || int_cst_value (step) != xstep)
+       continue;
 
-      if ((step && step != chrec_dont_know 
-          && TREE_CODE (step) == INTEGER_CST
-          && int_cst_value (step) == xstep)
-         || USE_FROM_PTR (use_p) == x)
-       SET_USE (use_p, y);
+      /* Use REPLACEMENTS hash table to cache already created
+        temporaries.  */
+      in.hash = htab_hash_pointer (use);
+      in.base.from = use;
+      h = htab_find_with_hash (replacements, &in, in.hash);
+      if (h != NULL)
+       {
+         SET_USE (use_p, h->to);
+         continue;
+       }
+
+      /* USE which has the same step as X should be replaced
+        with a temporary set to Y + YINIT - INIT.  */
+      init = initial_condition_in_loop_num (scev, loop->num);
+      gcc_assert (init != NULL && init != chrec_dont_know);
+      if (TREE_TYPE (use) == TREE_TYPE (y))
+       {
+         val = fold_build2 (MINUS_EXPR, TREE_TYPE (y), init, yinit);
+         val = fold_build2 (PLUS_EXPR, TREE_TYPE (y), y, val);
+         if (val == y)
+           {
+             /* If X has the same type as USE, the same step
+                and same initial value, it can be replaced by Y.  */
+             SET_USE (use_p, y);
+             continue;
+           }
+       }
+      else
+       {
+         val = fold_build2 (MINUS_EXPR, TREE_TYPE (y), y, yinit);
+         val = fold_convert (TREE_TYPE (use), val);
+         val = fold_build2 (PLUS_EXPR, TREE_TYPE (use), val, init);
+       }
+
+      /* Create a temporary variable and insert it at the beginning
+        of the loop body basic block, right after the PHI node
+        which sets Y.  */
+      var = create_tmp_var (TREE_TYPE (use), "perfecttmp");
+      add_referenced_var (var);
+      val = force_gimple_operand_bsi (firstbsi, val, false, NULL);
+      setstmt = build_gimple_modify_stmt (var, val);
+      var = make_ssa_name (var, setstmt);
+      GIMPLE_STMT_OPERAND (setstmt, 0) = var;
+      bsi_insert_before (firstbsi, setstmt, BSI_SAME_STMT);
+      update_stmt (setstmt);
+      SET_USE (use_p, var);
+      h = ggc_alloc (sizeof (struct tree_map));
+      h->hash = in.hash;
+      h->base.from = use;
+      h->to = var;
+      loc = htab_find_slot_with_hash (replacements, h, in.hash, INSERT);
+      gcc_assert ((*(struct tree_map **)loc) == NULL);
+      *(struct tree_map **) loc = h;
     }
 }
 
@@ -2139,7 +2213,7 @@ exit_phi_for_loop_p (struct loop *loop, tree stmt)
   
   if (TREE_CODE (stmt) != PHI_NODE
       || PHI_NUM_ARGS (stmt) != 1
-      || bb_for_stmt (stmt) != loop->single_exit->dest)
+      || bb_for_stmt (stmt) != single_exit (loop)->dest)
     return false;
   
   return true;
@@ -2154,12 +2228,12 @@ can_put_in_inner_loop (struct loop *inner, tree stmt)
   imm_use_iterator imm_iter;
   use_operand_p use_p;
   
-  gcc_assert (TREE_CODE (stmt) == MODIFY_EXPR);
+  gcc_assert (TREE_CODE (stmt) == GIMPLE_MODIFY_STMT);
   if (!ZERO_SSA_OPERANDS (stmt, SSA_OP_ALL_VIRTUALS)
-      || !expr_invariant_in_loop_p (inner, TREE_OPERAND (stmt, 1)))
+      || !expr_invariant_in_loop_p (inner, GIMPLE_STMT_OPERAND (stmt, 1)))
     return false;
   
-  FOR_EACH_IMM_USE_FAST (use_p, imm_iter, TREE_OPERAND (stmt, 0))
+  FOR_EACH_IMM_USE_FAST (use_p, imm_iter, GIMPLE_STMT_OPERAND (stmt, 0))
     {
       if (!exit_phi_for_loop_p (inner, USE_STMT (use_p)))
        {
@@ -2182,7 +2256,7 @@ can_put_after_inner_loop (struct loop *loop, tree stmt)
   if (!ZERO_SSA_OPERANDS (stmt, SSA_OP_ALL_VIRTUALS))
     return false;
   
-  FOR_EACH_IMM_USE_FAST (use_p, imm_iter, TREE_OPERAND (stmt, 0))
+  FOR_EACH_IMM_USE_FAST (use_p, imm_iter, GIMPLE_STMT_OPERAND (stmt, 0))
     {
       if (!exit_phi_for_loop_p (loop, USE_STMT (use_p)))
        {
@@ -2240,12 +2314,12 @@ can_convert_to_perfect_nest (struct loop *loop)
                 win we get from rearranging the memory walk
                 the loop is doing so that it has better
                 cache behavior.  */
-             if (TREE_CODE (stmt) == MODIFY_EXPR)
+             if (TREE_CODE (stmt) == GIMPLE_MODIFY_STMT)
                {
                  use_operand_p use_a, use_b;
                  imm_use_iterator imm_iter;
                  ssa_op_iter op_iter, op_iter1;
-                 tree op0 = TREE_OPERAND (stmt, 0);
+                 tree op0 = GIMPLE_STMT_OPERAND (stmt, 0);
                  tree scev = instantiate_parameters
                    (loop, analyze_scalar_evolution (loop, op0));
 
@@ -2288,8 +2362,9 @@ can_convert_to_perfect_nest (struct loop *loop)
                              {
                                tree arg_stmt = SSA_NAME_DEF_STMT (arg);
 
-                               if (bb_for_stmt (arg_stmt)->loop_father
-                                   == loop->inner)
+                               if (bb_for_stmt (arg_stmt)
+                                   && (bb_for_stmt (arg_stmt)->loop_father
+                                       == loop->inner))
                                  goto fail;
                              }
                          }
@@ -2315,7 +2390,7 @@ can_convert_to_perfect_nest (struct loop *loop)
   /* We also need to make sure the loop exit only has simple copy phis in it,
      otherwise we don't know how to transform it into a perfect nest right
      now.  */
-  exitdest = loop->single_exit->dest;
+  exitdest = single_exit (loop)->dest;
   
   for (phi = phi_nodes (exitdest); phi; phi = PHI_CHAIN (phi))
     if (PHI_NUM_ARGS (phi) != 1)
@@ -2330,7 +2405,6 @@ can_convert_to_perfect_nest (struct loop *loop)
 }
 
 /* Transform the loop nest into a perfect nest, if possible.
-   LOOPS is the current struct loops *
    LOOP is the loop nest to transform into a perfect nest
    LBOUNDS are the lower bounds for the loops to transform
    UBOUNDS are the upper bounds for the loops to transform
@@ -2367,8 +2441,7 @@ can_convert_to_perfect_nest (struct loop *loop)
    Return FALSE if we can't make this loop into a perfect nest.  */
 
 static bool
-perfect_nestify (struct loops *loops,
-                struct loop *loop,
+perfect_nestify (struct loop *loop,
                 VEC(tree,heap) *lbounds,
                 VEC(tree,heap) *ubounds,
                 VEC(int,heap) *steps,
@@ -2376,10 +2449,10 @@ perfect_nestify (struct loops *loops,
 {
   basic_block *bbs;
   tree exit_condition;
-  tree then_label, else_label, cond_stmt;
+  tree cond_stmt;
   basic_block preheaderbb, headerbb, bodybb, latchbb, olddest;
   int i;
-  block_stmt_iterator bsi;
+  block_stmt_iterator bsi, firstbsi;
   bool insert_after;
   edge e;
   struct loop *newloop;
@@ -2388,10 +2461,11 @@ perfect_nestify (struct loops *loops,
   tree stmt;
   tree oldivvar, ivvar, ivvarinced;
   VEC(tree,heap) *phis = NULL;
-  
+  htab_t replacements = NULL;
+
   /* Create the new loop.  */
-  olddest = loop->single_exit->dest;
-  preheaderbb = loop_split_edge_with (loop->single_exit, NULL);
+  olddest = single_exit (loop)->dest;
+  preheaderbb = split_edge (single_exit (loop));
   headerbb = create_empty_bb (EXIT_BLOCK_PTR->prev_bb);
   
   /* Push the exit phi nodes that we are moving.  */
@@ -2403,13 +2477,9 @@ perfect_nestify (struct loops *loops,
     }
   e = redirect_edge_and_branch (single_succ_edge (preheaderbb), headerbb);
 
-  /* Remove the exit phis from the old basic block.  Make sure to set
-     PHI_RESULT to null so it doesn't get released.  */
+  /* Remove the exit phis from the old basic block.  */
   while (phi_nodes (olddest) != NULL)
-    {
-      SET_PHI_RESULT (phi_nodes (olddest), NULL);
-      remove_phi_node (phi_nodes (olddest), NULL);
-    }      
+    remove_phi_node (phi_nodes (olddest), NULL, false);
 
   /* and add them back to the new basic block.  */
   while (VEC_length (tree, phis) != 0)
@@ -2427,13 +2497,11 @@ perfect_nestify (struct loops *loops,
   bodybb = create_empty_bb (EXIT_BLOCK_PTR->prev_bb);
   latchbb = create_empty_bb (EXIT_BLOCK_PTR->prev_bb);
   make_edge (headerbb, bodybb, EDGE_FALLTHRU); 
-  then_label = build1 (GOTO_EXPR, void_type_node, tree_block_label (latchbb));
-  else_label = build1 (GOTO_EXPR, void_type_node, tree_block_label (olddest));
   cond_stmt = build3 (COND_EXPR, void_type_node,
                      build2 (NE_EXPR, boolean_type_node, 
                              integer_one_node, 
                              integer_zero_node), 
-                     then_label, else_label);
+                     NULL_TREE, NULL_TREE);
   bsi = bsi_start (bodybb);
   bsi_insert_after (&bsi, cond_stmt, BSI_NEW_STMT);
   e = make_edge (bodybb, olddest, EDGE_FALSE_VALUE);
@@ -2441,19 +2509,19 @@ perfect_nestify (struct loops *loops,
   make_edge (latchbb, headerbb, EDGE_FALLTHRU);
 
   /* Update the loop structures.  */
-  newloop = duplicate_loop (loops, loop, olddest->loop_father);  
+  newloop = duplicate_loop (loop, olddest->loop_father);  
   newloop->header = headerbb;
   newloop->latch = latchbb;
-  newloop->single_exit = e;
   add_bb_to_loop (latchbb, newloop);
   add_bb_to_loop (bodybb, newloop);
   add_bb_to_loop (headerbb, newloop);
   set_immediate_dominator (CDI_DOMINATORS, bodybb, headerbb);
   set_immediate_dominator (CDI_DOMINATORS, headerbb, preheaderbb);
   set_immediate_dominator (CDI_DOMINATORS, preheaderbb, 
-                          loop->single_exit->src);
+                          single_exit (loop)->src);
   set_immediate_dominator (CDI_DOMINATORS, latchbb, bodybb);
-  set_immediate_dominator (CDI_DOMINATORS, olddest, bodybb);
+  set_immediate_dominator (CDI_DOMINATORS, olddest,
+                          recount_dominator (CDI_DOMINATORS, olddest));
   /* Create the new iv.  */
   oldivvar = VEC_index (tree, loopivs, 0);
   ivvar = create_tmp_var (TREE_TYPE (oldivvar), "perfectiv");
@@ -2469,10 +2537,9 @@ perfect_nestify (struct loops *loops,
   exit_condition = get_loop_exit_condition (newloop);
   uboundvar = create_tmp_var (integer_type_node, "uboundvar");
   add_referenced_var (uboundvar);
-  stmt = build2 (MODIFY_EXPR, void_type_node, uboundvar, 
-                VEC_index (tree, ubounds, 0));
+  stmt = build_gimple_modify_stmt (uboundvar, VEC_index (tree, ubounds, 0));
   uboundvar = make_ssa_name (uboundvar, stmt);
-  TREE_OPERAND (stmt, 0) = uboundvar;
+  GIMPLE_STMT_OPERAND (stmt, 0) = uboundvar;
 
   if (insert_after)
     bsi_insert_after (&bsi, stmt, BSI_SAME_STMT);
@@ -2484,10 +2551,13 @@ perfect_nestify (struct loops *loops,
                                            uboundvar,
                                            ivvarinced);
   update_stmt (exit_condition);
+  replacements = htab_create_ggc (20, tree_map_hash,
+                                 tree_map_eq, NULL);
   bbs = get_loop_body_in_dom_order (loop); 
   /* Now move the statements, and replace the induction variable in the moved
      statements with the correct loop induction variable.  */
   oldivvar = VEC_index (tree, loopivs, 0);
+  firstbsi = bsi_start (bodybb);
   for (i = loop->num_nodes - 1; i >= 0 ; i--)
     {
       block_stmt_iterator tobsi = bsi_last (bodybb);
@@ -2506,50 +2576,22 @@ perfect_nestify (struct loops *loops,
 
          if (dominated_by_p (CDI_DOMINATORS, loop->inner->header, bbs[i]))
            {
-             for (bsi = bsi_last (bbs[i]); !bsi_end_p (bsi);)
+             block_stmt_iterator header_bsi 
+               = bsi_after_labels (loop->inner->header);
+
+             for (bsi = bsi_start (bbs[i]); !bsi_end_p (bsi);)
                { 
-                 use_operand_p use_p;
-                 imm_use_iterator imm_iter;
-                 tree imm_stmt;
                  tree stmt = bsi_stmt (bsi);
 
                  if (stmt == exit_condition
                      || not_interesting_stmt (stmt)
                      || stmt_is_bumper_for_loop (loop, stmt))
                    {
-                     if (!bsi_end_p (bsi))
-                       bsi_prev (&bsi);
+                     bsi_next (&bsi);
                      continue;
                    }
-                 
-                 /* Make copies of this statement to put it back next
-                    to its uses.  */
-                 FOR_EACH_IMM_USE_STMT (imm_stmt, imm_iter, 
-                                        TREE_OPERAND (stmt, 0))
-                   {
-                     if (!exit_phi_for_loop_p (loop->inner, imm_stmt))
-                       {
-                         block_stmt_iterator tobsi;
-                         tree newname;
-                         tree newstmt;
-                        
-                         newstmt  = unshare_expr (stmt);
-                         tobsi = bsi_after_labels (bb_for_stmt (imm_stmt));
-                         newname = TREE_OPERAND (newstmt, 0);
-                         newname = SSA_NAME_VAR (newname);
-                         newname = make_ssa_name (newname, newstmt);
-                         TREE_OPERAND (newstmt, 0) = newname;
-
-                         FOR_EACH_IMM_USE_ON_STMT (use_p, imm_iter)
-                           SET_USE (use_p, newname);
-
-                         bsi_insert_before (&tobsi, newstmt, BSI_SAME_STMT);
-                         update_stmt (newstmt);
-                         update_stmt (imm_stmt);
-                       } 
-                   }
-                 if (!bsi_end_p (bsi))
-                   bsi_prev (&bsi);                      
+
+                 bsi_move_before (&bsi, &header_bsi);
                }
            }
          else
@@ -2571,7 +2613,8 @@ perfect_nestify (struct loops *loops,
                    }
                  
                  replace_uses_equiv_to_x_with_y 
-                   (loop, stmt, oldivvar, VEC_index (int, steps, 0), ivvar);
+                   (loop, stmt, oldivvar, VEC_index (int, steps, 0), ivvar,
+                    VEC_index (tree, lbounds, 0), replacements, &firstbsi);
 
                  bsi_move_before (&bsi, &tobsi);
                  
@@ -2587,6 +2630,7 @@ perfect_nestify (struct loops *loops,
     }
 
   free (bbs);
+  htab_delete (replacements);
   return perfect_nest_p (loop);
 }