OSDN Git Service

* doc/tm.h (BIGGEST_ALIGNMENT): Clarify the purpose of this macro.
[pf3gnuchains/gcc-fork.git] / gcc / regrename.c
index 80cbcaa..c55f9c4 100644 (file)
@@ -1,5 +1,6 @@
 /* Register renaming for the GNU compiler.
-   Copyright (C) 2000, 2001, 2002, 2003, 2004  Free Software Foundation, Inc.
+   Copyright (C) 2000, 2001, 2002, 2003, 2004, 2005
+   Free Software Foundation, Inc.
 
    This file is part of GCC.
 
@@ -15,8 +16,8 @@
 
    You should have received a copy of the GNU General Public License
    along with GCC; see the file COPYING.  If not, write to the Free
-   Software Foundation, 59 Temple Place - Suite 330, Boston, MA
-   02111-1307, USA.  */
+   Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.  */
 
 #include "config.h"
 #include "system.h"
@@ -26,6 +27,7 @@
 #include "tm_p.h"
 #include "insn-config.h"
 #include "regs.h"
+#include "addresses.h"
 #include "hard-reg-set.h"
 #include "basic-block.h"
 #include "reload.h"
 #include "flags.h"
 #include "toplev.h"
 #include "obstack.h"
-
-#ifndef REG_MODE_OK_FOR_BASE_P
-#define REG_MODE_OK_FOR_BASE_P(REGNO, MODE) REG_OK_FOR_BASE_P (REGNO)
-#endif
-
-static const char *const reg_class_names[] = REG_CLASS_NAMES;
+#include "timevar.h"
+#include "tree-pass.h"
 
 struct du_chain
 {
@@ -61,7 +59,11 @@ enum scan_actions
   terminate_write,
   terminate_dead,
   mark_read,
-  mark_write
+  mark_write,
+  /* mark_access is for marking the destination regs in
+     REG_FRAME_RELATED_EXPR notes (as if they were read) so that the
+     note is updated properly.  */
+  mark_access
 };
 
 static const char * const scan_actions_name[] =
@@ -71,7 +73,8 @@ static const char * const scan_actions_name[] =
   "terminate_write",
   "terminate_dead",
   "mark_read",
-  "mark_write"
+  "mark_write",
+  "mark_access"
 };
 
 static struct obstack rename_obstack;
@@ -99,14 +102,16 @@ note_sets (rtx x, rtx set ATTRIBUTE_UNUSED, void *data)
   HARD_REG_SET *pset = (HARD_REG_SET *) data;
   unsigned int regno;
   int nregs;
+
+  if (GET_CODE (x) == SUBREG)
+    x = SUBREG_REG (x);
   if (!REG_P (x))
     return;
   regno = REGNO (x);
   nregs = hard_regno_nregs[regno][GET_MODE (x)];
 
   /* There must not be pseudos at this point.  */
-  if (regno + nregs > FIRST_PSEUDO_REGISTER)
-    abort ();
+  gcc_assert (regno + nregs <= FIRST_PSEUDO_REGISTER);
 
   while (nregs-- > 0)
     SET_HARD_REG_BIT (*pset, regno + nregs);
@@ -127,8 +132,7 @@ clear_dead_regs (HARD_REG_SET *pset, enum machine_mode kind, rtx notes)
        int nregs = hard_regno_nregs[regno][GET_MODE (reg)];
 
        /* There must not be pseudos at this point.  */
-       if (regno + nregs > FIRST_PSEUDO_REGISTER)
-         abort ();
+       gcc_assert (regno + nregs <= FIRST_PSEUDO_REGISTER);
 
        while (nregs-- > 0)
          CLEAR_HARD_REG_BIT (*pset, regno + nregs);
@@ -146,7 +150,7 @@ merge_overlapping_regs (basic_block b, HARD_REG_SET *pset,
   rtx insn;
   HARD_REG_SET live;
 
-  REG_SET_TO_HARD_REG_SET (live, b->global_live_at_start);
+  REG_SET_TO_HARD_REG_SET (live, b->il.rtl->global_live_at_start);
   insn = BB_HEAD (b);
   while (t)
     {
@@ -181,7 +185,7 @@ merge_overlapping_regs (basic_block b, HARD_REG_SET *pset,
 
 /* Perform register renaming on the current function.  */
 
-void
+static void
 regrename_optimize (void)
 {
   int tick[FIRST_PSEUDO_REGISTER];
@@ -410,8 +414,7 @@ scan_rtx_reg (rtx insn, rtx *loc, enum reg_class cl,
       return;
     }
 
-  if ((type == OP_OUT && action != terminate_write)
-      || (type != OP_OUT && action == terminate_write))
+  if ((type == OP_OUT) != (action == terminate_write || action == mark_access))
     return;
 
   for (p = &open_chains; *p;)
@@ -440,10 +443,9 @@ scan_rtx_reg (rtx insn, rtx *loc, enum reg_class cl,
              continue;
            }
 
-         if (action == mark_read)
+         if (action == mark_read || action == mark_access)
            {
-             if (! exact_match)
-               abort ();
+             gcc_assert (exact_match);
 
              /* ??? Class NO_REGS can happen if the md file makes use of
                 EXTRA_CONSTRAINTS to match registers.  Which is arguably
@@ -512,7 +514,7 @@ scan_rtx_address (rtx insn, rtx *loc, enum reg_class cl,
   const char *fmt;
   int i, j;
 
-  if (action == mark_write)
+  if (action == mark_write || action == mark_access)
     return;
 
   switch (code)
@@ -527,6 +529,7 @@ scan_rtx_address (rtx insn, rtx *loc, enum reg_class cl,
        rtx op1 = orig_op1;
        rtx *locI = NULL;
        rtx *locB = NULL;
+       enum rtx_code index_code = SCRATCH;
 
        if (GET_CODE (op0) == SUBREG)
          {
@@ -545,56 +548,70 @@ scan_rtx_address (rtx insn, rtx *loc, enum reg_class cl,
          {
            locI = &XEXP (x, 0);
            locB = &XEXP (x, 1);
+           index_code = GET_CODE (*locI);
          }
        else if (code1 == MULT || code1 == SIGN_EXTEND || code1 == TRUNCATE
                 || code1 == ZERO_EXTEND || code0 == MEM)
          {
            locI = &XEXP (x, 1);
            locB = &XEXP (x, 0);
+           index_code = GET_CODE (*locI);
          }
        else if (code0 == CONST_INT || code0 == CONST
                 || code0 == SYMBOL_REF || code0 == LABEL_REF)
-         locB = &XEXP (x, 1);
+         {
+           locB = &XEXP (x, 1);
+           index_code = GET_CODE (XEXP (x, 0));
+         }
        else if (code1 == CONST_INT || code1 == CONST
                 || code1 == SYMBOL_REF || code1 == LABEL_REF)
-         locB = &XEXP (x, 0);
+         {
+           locB = &XEXP (x, 0);
+           index_code = GET_CODE (XEXP (x, 1));
+         }
        else if (code0 == REG && code1 == REG)
          {
            int index_op;
+           unsigned regno0 = REGNO (op0), regno1 = REGNO (op1);
 
-           if (REG_OK_FOR_INDEX_P (op0)
-               && REG_MODE_OK_FOR_BASE_P (op1, mode))
+           if (REGNO_OK_FOR_INDEX_P (regno0)
+               && regno_ok_for_base_p (regno1, mode, PLUS, REG))
              index_op = 0;
-           else if (REG_OK_FOR_INDEX_P (op1)
-                    && REG_MODE_OK_FOR_BASE_P (op0, mode))
+           else if (REGNO_OK_FOR_INDEX_P (regno1)
+                    && regno_ok_for_base_p (regno0, mode, PLUS, REG))
              index_op = 1;
-           else if (REG_MODE_OK_FOR_BASE_P (op1, mode))
+           else if (regno_ok_for_base_p (regno1, mode, PLUS, REG))
              index_op = 0;
-           else if (REG_MODE_OK_FOR_BASE_P (op0, mode))
+           else if (regno_ok_for_base_p (regno0, mode, PLUS, REG))
              index_op = 1;
-           else if (REG_OK_FOR_INDEX_P (op1))
+           else if (REGNO_OK_FOR_INDEX_P (regno1))
              index_op = 1;
            else
              index_op = 0;
 
            locI = &XEXP (x, index_op);
            locB = &XEXP (x, !index_op);
+           index_code = GET_CODE (*locI);
          }
        else if (code0 == REG)
          {
            locI = &XEXP (x, 0);
            locB = &XEXP (x, 1);
+           index_code = GET_CODE (*locI);
          }
        else if (code1 == REG)
          {
            locI = &XEXP (x, 1);
            locB = &XEXP (x, 0);
+           index_code = GET_CODE (*locI);
          }
 
        if (locI)
          scan_rtx_address (insn, locI, INDEX_REG_CLASS, action, mode);
        if (locB)
-         scan_rtx_address (insn, locB, MODE_BASE_REG_CLASS (mode), action, mode);
+         scan_rtx_address (insn, locB, base_reg_class (mode, PLUS, index_code),
+                           action, mode);
+
        return;
       }
 
@@ -613,7 +630,7 @@ scan_rtx_address (rtx insn, rtx *loc, enum reg_class cl,
 
     case MEM:
       scan_rtx_address (insn, &XEXP (x, 0),
-                       MODE_BASE_REG_CLASS (GET_MODE (x)), action,
+                       base_reg_class (GET_MODE (x), MEM, SCRATCH), action,
                        GET_MODE (x));
       return;
 
@@ -664,13 +681,14 @@ scan_rtx (rtx insn, rtx *loc, enum reg_class cl,
 
     case MEM:
       scan_rtx_address (insn, &XEXP (x, 0),
-                       MODE_BASE_REG_CLASS (GET_MODE (x)), action,
+                       base_reg_class (GET_MODE (x), MEM, SCRATCH), action,
                        GET_MODE (x));
       return;
 
     case SET:
       scan_rtx (insn, &SET_SRC (x), cl, action, OP_IN, 0);
-      scan_rtx (insn, &SET_DEST (x), cl, action, OP_OUT, 0);
+      scan_rtx (insn, &SET_DEST (x), cl, action,
+               GET_CODE (PATTERN (insn)) == COND_EXEC ? OP_INOUT : OP_OUT, 0);
       return;
 
     case STRICT_LOW_PART:
@@ -692,10 +710,11 @@ scan_rtx (rtx insn, rtx *loc, enum reg_class cl,
     case POST_MODIFY:
     case PRE_MODIFY:
       /* Should only happen inside MEM.  */
-      abort ();
+      gcc_unreachable ();
 
     case CLOBBER:
-      scan_rtx (insn, &SET_DEST (x), cl, action, OP_OUT, 1);
+      scan_rtx (insn, &SET_DEST (x), cl, action,
+               GET_CODE (PATTERN (insn)) == COND_EXEC ? OP_INOUT : OP_OUT, 0);
       return;
 
     case EXPR_LIST:
@@ -863,17 +882,19 @@ build_def_use (basic_block bb)
                scan_rtx (insn, loc, cl, mark_read, type, 0);
            }
 
-         /* Step 4: Close chains for registers that die here.
-            Also record updates for REG_INC notes.  */
+         /* Step 3B: Record updates for regs in REG_INC notes, and
+            source regs in REG_FRAME_RELATED_EXPR notes.  */
          for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
-           {
-             if (REG_NOTE_KIND (note) == REG_DEAD)
-               scan_rtx (insn, &XEXP (note, 0), NO_REGS, terminate_dead,
-                         OP_IN, 0);
-             else if (REG_NOTE_KIND (note) == REG_INC)
-               scan_rtx (insn, &XEXP (note, 0), ALL_REGS, mark_read,
-                         OP_INOUT, 0);
-           }
+           if (REG_NOTE_KIND (note) == REG_INC
+               || REG_NOTE_KIND (note) == REG_FRAME_RELATED_EXPR)
+             scan_rtx (insn, &XEXP (note, 0), ALL_REGS, mark_read,
+                       OP_INOUT, 0);
+
+         /* Step 4: Close chains for registers that die here.  */
+         for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
+           if (REG_NOTE_KIND (note) == REG_DEAD)
+             scan_rtx (insn, &XEXP (note, 0), NO_REGS, terminate_dead,
+                       OP_IN, 0);
 
          /* Step 4B: If this is a call, any chain live at this point
             requires a caller-saved reg.  */
@@ -946,6 +967,13 @@ build_def_use (basic_block bb)
                            recog_op_alt[opn][alt].earlyclobber);
              }
 
+         /* Step 6B: Record destination regs in REG_FRAME_RELATED_EXPR
+            notes for update.  */
+         for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
+           if (REG_NOTE_KIND (note) == REG_FRAME_RELATED_EXPR)
+             scan_rtx (insn, &XEXP (note, 0), ALL_REGS, mark_access,
+                       OP_INOUT, 0);
+
          /* Step 7: Close chains for registers that were never
             really used here.  */
          for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
@@ -1010,7 +1038,8 @@ struct value_data
   unsigned int max_value_regs;
 };
 
-static void kill_value_regno (unsigned, struct value_data *);
+static void kill_value_one_regno (unsigned, struct value_data *);
+static void kill_value_regno (unsigned, unsigned, struct value_data *);
 static void kill_value (rtx, struct value_data *);
 static void set_value_regno (unsigned, enum machine_mode, struct value_data *);
 static void init_value_data (struct value_data *);
@@ -1035,11 +1064,13 @@ extern void debug_value_data (struct value_data *);
 static void validate_value_data (struct value_data *);
 #endif
 
-/* Kill register REGNO.  This involves removing it from any value lists,
-   and resetting the value mode to VOIDmode.  */
+/* Kill register REGNO.  This involves removing it from any value
+   lists, and resetting the value mode to VOIDmode.  This is only a
+   helper function; it does not handle any hard registers overlapping
+   with REGNO.  */
 
 static void
-kill_value_regno (unsigned int regno, struct value_data *vd)
+kill_value_one_regno (unsigned int regno, struct value_data *vd)
 {
   unsigned int i, next;
 
@@ -1066,44 +1097,57 @@ kill_value_regno (unsigned int regno, struct value_data *vd)
 #endif
 }
 
-/* Kill X.  This is a convenience function for kill_value_regno
+/* Kill the value in register REGNO for NREGS, and any other registers
+   whose values overlap.  */
+
+static void
+kill_value_regno (unsigned int regno, unsigned int nregs,
+                 struct value_data *vd)
+{
+  unsigned int j;
+
+  /* Kill the value we're told to kill.  */
+  for (j = 0; j < nregs; ++j)
+    kill_value_one_regno (regno + j, vd);
+
+  /* Kill everything that overlapped what we're told to kill.  */
+  if (regno < vd->max_value_regs)
+    j = 0;
+  else
+    j = regno - vd->max_value_regs;
+  for (; j < regno; ++j)
+    {
+      unsigned int i, n;
+      if (vd->e[j].mode == VOIDmode)
+       continue;
+      n = hard_regno_nregs[j][vd->e[j].mode];
+      if (j + n > regno)
+       for (i = 0; i < n; ++i)
+         kill_value_one_regno (j + i, vd);
+    }
+}
+
+/* Kill X.  This is a convenience function wrapping kill_value_regno
    so that we mind the mode the register is in.  */
 
 static void
 kill_value (rtx x, struct value_data *vd)
 {
-  /* SUBREGS are supposed to have been eliminated by now.  But some
-     ports, e.g. i386 sse, use them to smuggle vector type information
-     through to instruction selection.  Each such SUBREG should simplify,
-     so if we get a NULL  we've done something wrong elsewhere.  */
+  rtx orig_rtx = x;
 
   if (GET_CODE (x) == SUBREG)
-    x = simplify_subreg (GET_MODE (x), SUBREG_REG (x),
-                        GET_MODE (SUBREG_REG (x)), SUBREG_BYTE (x));
+    {
+      x = simplify_subreg (GET_MODE (x), SUBREG_REG (x),
+                          GET_MODE (SUBREG_REG (x)), SUBREG_BYTE (x));
+      if (x == NULL_RTX)
+       x = SUBREG_REG (orig_rtx);
+    }
   if (REG_P (x))
     {
       unsigned int regno = REGNO (x);
       unsigned int n = hard_regno_nregs[regno][GET_MODE (x)];
-      unsigned int i, j;
 
-      /* Kill the value we're told to kill.  */
-      for (i = 0; i < n; ++i)
-       kill_value_regno (regno + i, vd);
-
-      /* Kill everything that overlapped what we're told to kill.  */
-      if (regno < vd->max_value_regs)
-       j = 0;
-      else
-       j = regno - vd->max_value_regs;
-      for (; j < regno; ++j)
-       {
-         if (vd->e[j].mode == VOIDmode)
-           continue;
-         n = hard_regno_nregs[j][vd->e[j].mode];
-         if (j + n > regno)
-           for (i = 0; i < n; ++i)
-             kill_value_regno (j + i, vd);
-       }
+      kill_value_regno (regno, n, vd);
     }
 }
 
@@ -1208,6 +1252,12 @@ copy_value (rtx dest, rtx src, struct value_data *vd)
   if (frame_pointer_needed && dr == HARD_FRAME_POINTER_REGNUM)
     return;
 
+  /* Do not propagate copies to fixed or global registers, patterns
+     can be relying to see particular fixed register or users can
+     expect the chosen global register in asm.  */
+  if (fixed_regs[dr] || global_regs[dr])
+    return;
+
   /* If SRC and DEST overlap, don't record anything.  */
   dn = hard_regno_nregs[dr][GET_MODE (dest)];
   sn = hard_regno_nregs[sr][GET_MODE (dest)];
@@ -1370,7 +1420,7 @@ replace_oldest_value_reg (rtx *loc, enum reg_class cl, rtx insn,
        fprintf (dump_file, "insn %u: replaced reg %u with %u\n",
                 INSN_UID (insn), REGNO (*loc), REGNO (new));
 
-      *loc = new;
+      validate_change (insn, loc, new, 1);
       return true;
     }
   return false;
@@ -1403,6 +1453,7 @@ replace_oldest_value_addr (rtx *loc, enum reg_class cl,
        rtx op1 = orig_op1;
        rtx *locI = NULL;
        rtx *locB = NULL;
+       enum rtx_code index_code = SCRATCH;
 
        if (GET_CODE (op0) == SUBREG)
          {
@@ -1421,50 +1472,62 @@ replace_oldest_value_addr (rtx *loc, enum reg_class cl,
          {
            locI = &XEXP (x, 0);
            locB = &XEXP (x, 1);
+           index_code = GET_CODE (*locI);
          }
        else if (code1 == MULT || code1 == SIGN_EXTEND || code1 == TRUNCATE
                 || code1 == ZERO_EXTEND || code0 == MEM)
          {
            locI = &XEXP (x, 1);
            locB = &XEXP (x, 0);
+           index_code = GET_CODE (*locI);
          }
        else if (code0 == CONST_INT || code0 == CONST
                 || code0 == SYMBOL_REF || code0 == LABEL_REF)
-         locB = &XEXP (x, 1);
+         {
+           locB = &XEXP (x, 1);
+           index_code = GET_CODE (XEXP (x, 0));
+         }
        else if (code1 == CONST_INT || code1 == CONST
                 || code1 == SYMBOL_REF || code1 == LABEL_REF)
-         locB = &XEXP (x, 0);
+         {
+           locB = &XEXP (x, 0);
+           index_code = GET_CODE (XEXP (x, 1));
+         }
        else if (code0 == REG && code1 == REG)
          {
            int index_op;
+           unsigned regno0 = REGNO (op0), regno1 = REGNO (op1);
 
-           if (REG_OK_FOR_INDEX_P (op0)
-               && REG_MODE_OK_FOR_BASE_P (op1, mode))
+           if (REGNO_OK_FOR_INDEX_P (regno0)
+               && regno_ok_for_base_p (regno1, mode, PLUS, REG))
              index_op = 0;
-           else if (REG_OK_FOR_INDEX_P (op1)
-                    && REG_MODE_OK_FOR_BASE_P (op0, mode))
+           else if (REGNO_OK_FOR_INDEX_P (regno1)
+                    && regno_ok_for_base_p (regno0, mode, PLUS, REG))
              index_op = 1;
-           else if (REG_MODE_OK_FOR_BASE_P (op1, mode))
+           else if (regno_ok_for_base_p (regno1, mode, PLUS, REG))
              index_op = 0;
-           else if (REG_MODE_OK_FOR_BASE_P (op0, mode))
+           else if (regno_ok_for_base_p (regno0, mode, PLUS, REG))
              index_op = 1;
-           else if (REG_OK_FOR_INDEX_P (op1))
+           else if (REGNO_OK_FOR_INDEX_P (regno1))
              index_op = 1;
            else
              index_op = 0;
 
            locI = &XEXP (x, index_op);
            locB = &XEXP (x, !index_op);
+           index_code = GET_CODE (*locI);
          }
        else if (code0 == REG)
          {
            locI = &XEXP (x, 0);
            locB = &XEXP (x, 1);
+           index_code = GET_CODE (*locI);
          }
        else if (code1 == REG)
          {
            locI = &XEXP (x, 1);
            locB = &XEXP (x, 0);
+           index_code = GET_CODE (*locI);
          }
 
        if (locI)
@@ -1472,7 +1535,8 @@ replace_oldest_value_addr (rtx *loc, enum reg_class cl,
                                                insn, vd);
        if (locB)
          changed |= replace_oldest_value_addr (locB,
-                                               MODE_BASE_REG_CLASS (mode),
+                                               base_reg_class (mode, PLUS,
+                                                               index_code),
                                                mode, insn, vd);
        return changed;
       }
@@ -1516,7 +1580,8 @@ static bool
 replace_oldest_value_mem (rtx x, rtx insn, struct value_data *vd)
 {
   return replace_oldest_value_addr (&XEXP (x, 0),
-                                   MODE_BASE_REG_CLASS (GET_MODE (x)),
+                                   base_reg_class (GET_MODE (x), MEM,
+                                                   SCRATCH),
                                    GET_MODE (x), insn, vd);
 }
 
@@ -1531,8 +1596,9 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
   for (insn = BB_HEAD (bb); ; insn = NEXT_INSN (insn))
     {
       int n_ops, i, alt, predicated;
-      bool is_asm;
+      bool is_asm, any_replacements;
       rtx set;
+      bool replaced[MAX_RECOG_OPERANDS];
 
       if (! INSN_P (insn))
        {
@@ -1644,11 +1710,13 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
        }
       no_move_special_case:
 
+      any_replacements = false;
+
       /* For each input operand, replace a hard register with the
         eldest live copy that's in an appropriate register class.  */
       for (i = 0; i < n_ops; i++)
        {
-         bool replaced = false;
+         replaced[i] = false;
 
          /* Don't scan match_operand here, since we've no reg class
             information to pass down.  Any operands that we could
@@ -1665,37 +1733,57 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
          if (recog_data.operand_type[i] == OP_IN)
            {
              if (recog_op_alt[i][alt].is_address)
-               replaced
+               replaced[i]
                  = replace_oldest_value_addr (recog_data.operand_loc[i],
                                               recog_op_alt[i][alt].cl,
                                               VOIDmode, insn, vd);
              else if (REG_P (recog_data.operand[i]))
-               replaced
+               replaced[i]
                  = replace_oldest_value_reg (recog_data.operand_loc[i],
                                              recog_op_alt[i][alt].cl,
                                              insn, vd);
              else if (MEM_P (recog_data.operand[i]))
-               replaced = replace_oldest_value_mem (recog_data.operand[i],
-                                                    insn, vd);
+               replaced[i] = replace_oldest_value_mem (recog_data.operand[i],
+                                                       insn, vd);
            }
          else if (MEM_P (recog_data.operand[i]))
-           replaced = replace_oldest_value_mem (recog_data.operand[i],
-                                                insn, vd);
+           replaced[i] = replace_oldest_value_mem (recog_data.operand[i],
+                                                   insn, vd);
 
          /* If we performed any replacement, update match_dups.  */
-         if (replaced)
+         if (replaced[i])
            {
              int j;
              rtx new;
 
-             changed = true;
-
              new = *recog_data.operand_loc[i];
              recog_data.operand[i] = new;
              for (j = 0; j < recog_data.n_dups; j++)
                if (recog_data.dup_num[j] == i)
-                 *recog_data.dup_loc[j] = new;
+                 validate_change (insn, recog_data.dup_loc[j], new, 1);
+
+             any_replacements = true;
+           }
+       }
+
+      if (any_replacements)
+       {
+         if (! apply_change_group ())
+           {
+             for (i = 0; i < n_ops; i++)
+               if (replaced[i])
+                 {
+                   rtx old = *recog_data.operand_loc[i];
+                   recog_data.operand[i] = old;
+                 }
+
+             if (dump_file)
+               fprintf (dump_file,
+                        "insn %u: reg replacements not verified\n",
+                        INSN_UID (insn));
            }
+         else
+           changed = true;
        }
 
     did_replacement:
@@ -1703,7 +1791,7 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
       if (CALL_P (insn))
        for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
          if (TEST_HARD_REG_BIT (regs_invalidated_by_call, i))
-           kill_value_regno (i, vd);
+           kill_value_regno (i, 1, vd);
 
       /* Notice stores.  */
       note_stores (PATTERN (insn), kill_set_value, vd);
@@ -1721,31 +1809,33 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
 
 /* Main entry point for the forward copy propagation optimization.  */
 
-void
+static void
 copyprop_hardreg_forward (void)
 {
   struct value_data *all_vd;
   bool need_refresh;
-  basic_block bb, bbp = 0;
+  basic_block bb;
+  sbitmap visited;
 
   need_refresh = false;
 
-  all_vd = xmalloc (sizeof (struct value_data) * last_basic_block);
+  all_vd = XNEWVEC (struct value_data, last_basic_block);
+
+  visited = sbitmap_alloc (last_basic_block);
+  sbitmap_zero (visited);
 
   FOR_EACH_BB (bb)
     {
+      SET_BIT (visited, bb->index);
+
       /* If a block has a single predecessor, that we've already
         processed, begin with the value data that was live at
         the end of the predecessor block.  */
       /* ??? Ought to use more intelligent queuing of blocks.  */
-      if (bb->pred)
-       for (bbp = bb; bbp && bbp != bb->pred->src; bbp = bbp->prev_bb);
-      if (bb->pred
-         && ! bb->pred->pred_next
-         && ! (bb->pred->flags & (EDGE_ABNORMAL_CALL | EDGE_EH))
-         && bb->pred->src != ENTRY_BLOCK_PTR
-         && bbp)
-       all_vd[bb->index] = all_vd[bb->pred->src->index];
+      if (single_pred_p (bb) 
+         && TEST_BIT (visited, single_pred (bb)->index)
+         && ! (single_pred_edge (bb)->flags & (EDGE_ABNORMAL_CALL | EDGE_EH)))
+       all_vd[bb->index] = all_vd[single_pred (bb)->index];
       else
        init_value_data (all_vd + bb->index);
 
@@ -1753,6 +1843,8 @@ copyprop_hardreg_forward (void)
        need_refresh = true;
     }
 
+  sbitmap_free (visited);  
+
   if (need_refresh)
     {
       if (dump_file)
@@ -1874,3 +1966,39 @@ validate_value_data (struct value_data *vd)
                      vd->e[i].next_regno);
 }
 #endif
+\f
+static bool
+gate_handle_regrename (void)
+{
+  return (optimize > 0 && (flag_rename_registers || flag_cprop_registers));
+}
+
+
+/* Run the regrename and cprop passes.  */
+static unsigned int
+rest_of_handle_regrename (void)
+{
+  if (flag_rename_registers)
+    regrename_optimize ();
+  if (flag_cprop_registers)
+    copyprop_hardreg_forward ();
+  return 0;
+}
+
+struct tree_opt_pass pass_regrename =
+{
+  "rnreg",                              /* name */
+  gate_handle_regrename,                /* gate */
+  rest_of_handle_regrename,             /* execute */
+  NULL,                                 /* sub */
+  NULL,                                 /* next */
+  0,                                    /* static_pass_number */
+  TV_RENAME_REGISTERS,                  /* tv_id */
+  0,                                    /* properties_required */
+  0,                                    /* properties_provided */
+  0,                                    /* properties_destroyed */
+  0,                                    /* todo_flags_start */
+  TODO_dump_func,                       /* todo_flags_finish */
+  'n'                                   /* letter */
+};
+