OSDN Git Service

disable scan-assembler tests in g++.dg/abi/mangle60.C
[pf3gnuchains/gcc-fork.git] / gcc / recog.c
index 95f6e9a..7faa0f0 100644 (file)
@@ -1,6 +1,6 @@
 /* Subroutines used by or related to instruction recognition.
    Copyright (C) 1987, 1988, 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998
-   1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009
+   1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010
    Free Software Foundation, Inc.
 
 This file is part of GCC.
@@ -24,7 +24,7 @@ along with GCC; see the file COPYING3.  If not see
 #include "system.h"
 #include "coretypes.h"
 #include "tm.h"
-#include "rtl.h"
+#include "rtl-error.h"
 #include "tm_p.h"
 #include "insn-config.h"
 #include "insn-attr.h"
@@ -35,8 +35,6 @@ along with GCC; see the file COPYING3.  If not see
 #include "expr.h"
 #include "function.h"
 #include "flags.h"
-#include "real.h"
-#include "toplev.h"
 #include "basic-block.h"
 #include "output.h"
 #include "reload.h"
@@ -286,7 +284,7 @@ canonicalize_change_group (rtx insn, rtx x)
   else
     return false;
 }
-  
+
 
 /* This subroutine of apply_change_group verifies whether the changes to INSN
    were valid; i.e. whether INSN can still be recognized.  */
@@ -376,7 +374,9 @@ verify_changes (int num)
 
       if (MEM_P (object))
        {
-         if (! memory_address_p (GET_MODE (object), XEXP (object, 0)))
+         if (! memory_address_addr_space_p (GET_MODE (object),
+                                            XEXP (object, 0),
+                                            MEM_ADDR_SPACE (object)))
            break;
        }
       else if (REG_P (changes[i].old)
@@ -389,6 +389,8 @@ verify_changes (int num)
             assemblies if they have been defined as register asm ("x").  */
          break;
        }
+      else if (DEBUG_INSN_P (object))
+       continue;
       else if (insn_invalid_p (object))
        {
          rtx pat = PATTERN (object);
@@ -429,7 +431,8 @@ verify_changes (int num)
              validate_change (object, &PATTERN (object), newpat, 1);
              continue;
            }
-         else if (GET_CODE (pat) == USE || GET_CODE (pat) == CLOBBER)
+         else if (GET_CODE (pat) == USE || GET_CODE (pat) == CLOBBER
+                  || GET_CODE (pat) == VAR_LOCATION)
            /* If this insn is a CLOBBER or USE, it is always valid, but is
               never recognized.  */
            continue;
@@ -524,7 +527,7 @@ cancel_changes (int num)
    rtx.  */
 
 static void
-simplify_while_replacing (rtx *loc, rtx to, rtx object, 
+simplify_while_replacing (rtx *loc, rtx to, rtx object,
                           enum machine_mode op0_mode)
 {
   rtx x = *loc;
@@ -550,13 +553,13 @@ simplify_while_replacing (rtx *loc, rtx to, rtx object,
          simplify_gen_binary to try to simplify it.
          ??? We may want later to remove this, once simplification is
          separated from this function.  */
-      if (GET_CODE (XEXP (x, 1)) == CONST_INT && XEXP (x, 1) == to)
+      if (CONST_INT_P (XEXP (x, 1)) && XEXP (x, 1) == to)
        validate_change (object, loc,
                         simplify_gen_binary
                         (PLUS, GET_MODE (x), XEXP (x, 0), XEXP (x, 1)), 1);
       break;
     case MINUS:
-      if (GET_CODE (XEXP (x, 1)) == CONST_INT
+      if (CONST_INT_P (XEXP (x, 1))
          || GET_CODE (XEXP (x, 1)) == CONST_DOUBLE)
        validate_change (object, loc,
                         simplify_gen_binary
@@ -597,8 +600,8 @@ simplify_while_replacing (rtx *loc, rtx to, rtx object,
          happen, we might just fail in some cases).  */
 
       if (MEM_P (XEXP (x, 0))
-         && GET_CODE (XEXP (x, 1)) == CONST_INT
-         && GET_CODE (XEXP (x, 2)) == CONST_INT
+         && CONST_INT_P (XEXP (x, 1))
+         && CONST_INT_P (XEXP (x, 2))
          && !mode_dependent_address_p (XEXP (XEXP (x, 0), 0))
          && !MEM_VOLATILE_P (XEXP (x, 0)))
        {
@@ -655,7 +658,7 @@ simplify_while_replacing (rtx *loc, rtx to, rtx object,
    validate_change passing OBJECT.  */
 
 static void
-validate_replace_rtx_1 (rtx *loc, rtx from, rtx to, rtx object, 
+validate_replace_rtx_1 (rtx *loc, rtx from, rtx to, rtx object,
                         bool simplify)
 {
   int i, j;
@@ -708,7 +711,7 @@ validate_replace_rtx_1 (rtx *loc, rtx from, rtx to, rtx object,
                                      from, to, object, simplify);
            }
          else
-           validate_replace_rtx_1 (&XVECEXP (x, 0, j), from, to, object, 
+           validate_replace_rtx_1 (&XVECEXP (x, 0, j), from, to, object,
                                     simplify);
        }
     }
@@ -719,7 +722,7 @@ validate_replace_rtx_1 (rtx *loc, rtx from, rtx to, rtx object,
          validate_replace_rtx_1 (&XEXP (x, i), from, to, object, simplify);
        else if (fmt[i] == 'E')
          for (j = XVECLEN (x, i) - 1; j >= 0; j--)
-           validate_replace_rtx_1 (&XVECEXP (x, i, j), from, to, object, 
+           validate_replace_rtx_1 (&XVECEXP (x, i, j), from, to, object,
                                     simplify);
       }
 
@@ -738,6 +741,17 @@ validate_replace_rtx_1 (rtx *loc, rtx from, rtx to, rtx object,
     simplify_while_replacing (loc, to, object, op0_mode);
 }
 
+/* Try replacing every occurrence of FROM in subexpression LOC of INSN
+   with TO.  After all changes have been made, validate by seeing
+   if INSN is still valid.  */
+
+int
+validate_replace_rtx_subexp (rtx from, rtx to, rtx insn, rtx *loc)
+{
+  validate_replace_rtx_1 (loc, from, to, insn, true);
+  return apply_change_group ();
+}
+
 /* Try replacing every occurrence of FROM in INSN with TO.  After all
    changes have been made, validate by seeing if INSN is still valid.  */
 
@@ -749,9 +763,9 @@ validate_replace_rtx (rtx from, rtx to, rtx insn)
 }
 
 /* Try replacing every occurrence of FROM in WHERE with TO.  Assume that WHERE
-   is a part of INSN.  After all changes have been made, validate by seeing if 
-   INSN is still valid.  
-   validate_replace_rtx (from, to, insn) is equivalent to 
+   is a part of INSN.  After all changes have been made, validate by seeing if
+   INSN is still valid.
+   validate_replace_rtx (from, to, insn) is equivalent to
    validate_replace_rtx_part (from, to, &PATTERN (insn), insn).  */
 
 int
@@ -762,8 +776,8 @@ validate_replace_rtx_part (rtx from, rtx to, rtx *where, rtx insn)
 }
 
 /* Same as above, but do not simplify rtx afterwards.  */
-int 
-validate_replace_rtx_part_nosimplify (rtx from, rtx to, rtx *where, 
+int
+validate_replace_rtx_part_nosimplify (rtx from, rtx to, rtx *where,
                                       rtx insn)
 {
   validate_replace_rtx_1 (where, from, to, insn, false);
@@ -771,12 +785,18 @@ validate_replace_rtx_part_nosimplify (rtx from, rtx to, rtx *where,
 
 }
 
-/* Try replacing every occurrence of FROM in INSN with TO.  */
+/* Try replacing every occurrence of FROM in INSN with TO.  This also
+   will replace in REG_EQUAL and REG_EQUIV notes.  */
 
 void
 validate_replace_rtx_group (rtx from, rtx to, rtx insn)
 {
+  rtx note;
   validate_replace_rtx_1 (&PATTERN (insn), from, to, insn, true);
+  for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
+    if (REG_NOTE_KIND (note) == REG_EQUAL
+       || REG_NOTE_KIND (note) == REG_EQUIV)
+      validate_replace_rtx_1 (&XEXP (note, 0), from, to, insn, true);
 }
 
 /* Function called by note_uses to replace used subexpressions.  */
@@ -901,7 +921,7 @@ general_operand (rtx op, enum machine_mode mode)
       && GET_MODE_CLASS (mode) != MODE_PARTIAL_INT)
     return 0;
 
-  if (GET_CODE (op) == CONST_INT
+  if (CONST_INT_P (op)
       && mode != VOIDmode
       && trunc_int_for_mode (INTVAL (op), mode) != INTVAL (op))
     return 0;
@@ -964,7 +984,7 @@ general_operand (rtx op, enum machine_mode mode)
        return 0;
 
       /* Use the mem's mode, since it will be reloaded thus.  */
-      if (memory_address_p (GET_MODE (op), y))
+      if (memory_address_addr_space_p (GET_MODE (op), y, MEM_ADDR_SPACE (op)))
        return 1;
     }
 
@@ -1078,7 +1098,7 @@ immediate_operand (rtx op, enum machine_mode mode)
       && GET_MODE_CLASS (mode) != MODE_PARTIAL_INT)
     return 0;
 
-  if (GET_CODE (op) == CONST_INT
+  if (CONST_INT_P (op)
       && mode != VOIDmode
       && trunc_int_for_mode (INTVAL (op), mode) != INTVAL (op))
     return 0;
@@ -1095,7 +1115,7 @@ immediate_operand (rtx op, enum machine_mode mode)
 int
 const_int_operand (rtx op, enum machine_mode mode)
 {
-  if (GET_CODE (op) != CONST_INT)
+  if (!CONST_INT_P (op))
     return 0;
 
   if (mode != VOIDmode
@@ -1118,7 +1138,7 @@ const_double_operand (rtx op, enum machine_mode mode)
       && GET_MODE_CLASS (mode) != MODE_PARTIAL_INT)
     return 0;
 
-  return ((GET_CODE (op) == CONST_DOUBLE || GET_CODE (op) == CONST_INT)
+  return ((GET_CODE (op) == CONST_DOUBLE || CONST_INT_P (op))
          && (mode == VOIDmode || GET_MODE (op) == mode
              || GET_MODE (op) == VOIDmode));
 }
@@ -1137,24 +1157,7 @@ int
 nonmemory_operand (rtx op, enum machine_mode mode)
 {
   if (CONSTANT_P (op))
-    {
-      /* Don't accept CONST_INT or anything similar
-        if the caller wants something floating.  */
-      if (GET_MODE (op) == VOIDmode && mode != VOIDmode
-         && GET_MODE_CLASS (mode) != MODE_INT
-         && GET_MODE_CLASS (mode) != MODE_PARTIAL_INT)
-       return 0;
-
-      if (GET_CODE (op) == CONST_INT
-         && mode != VOIDmode
-         && trunc_int_for_mode (INTVAL (op), mode) != INTVAL (op))
-       return 0;
-
-      return ((GET_MODE (op) == VOIDmode || GET_MODE (op) == mode
-              || mode == VOIDmode)
-             && (! flag_pic || LEGITIMATE_PIC_OPERAND_P (op))
-             && LEGITIMATE_CONSTANT_P (op));
-    }
+    return immediate_operand (op, mode);
 
   if (GET_MODE (op) != mode && mode != VOIDmode)
     return 0;
@@ -1212,7 +1215,7 @@ push_operand (rtx op, enum machine_mode mode)
       if (GET_CODE (op) != PRE_MODIFY
          || GET_CODE (XEXP (op, 1)) != PLUS
          || XEXP (XEXP (op, 1), 0) != XEXP (op, 0)
-         || GET_CODE (XEXP (XEXP (op, 1), 1)) != CONST_INT
+         || !CONST_INT_P (XEXP (XEXP (op, 1), 1))
 #ifdef STACK_GROWS_DOWNWARD
          || INTVAL (XEXP (XEXP (op, 1), 1)) != - (int) rounded_size
 #else
@@ -1248,16 +1251,23 @@ pop_operand (rtx op, enum machine_mode mode)
   return XEXP (op, 0) == stack_pointer_rtx;
 }
 
-/* Return 1 if ADDR is a valid memory address for mode MODE.  */
+/* Return 1 if ADDR is a valid memory address
+   for mode MODE in address space AS.  */
 
 int
-memory_address_p (enum machine_mode mode ATTRIBUTE_UNUSED, rtx addr)
+memory_address_addr_space_p (enum machine_mode mode ATTRIBUTE_UNUSED,
+                            rtx addr, addr_space_t as)
 {
+#ifdef GO_IF_LEGITIMATE_ADDRESS
+  gcc_assert (ADDR_SPACE_GENERIC_P (as));
   GO_IF_LEGITIMATE_ADDRESS (mode, addr, win);
   return 0;
 
  win:
   return 1;
+#else
+  return targetm.addr_space.legitimate_address_p (mode, addr, 0, as);
+#endif
 }
 
 /* Return 1 if OP is a valid memory reference with mode MODE,
@@ -1309,7 +1319,7 @@ indirect_operand (rtx op, enum machine_mode mode)
 
       return ((offset == 0 && general_operand (XEXP (inner, 0), Pmode))
              || (GET_CODE (XEXP (inner, 0)) == PLUS
-                 && GET_CODE (XEXP (XEXP (inner, 0), 1)) == CONST_INT
+                 && CONST_INT_P (XEXP (XEXP (inner, 0), 1))
                  && INTVAL (XEXP (XEXP (inner, 0), 1)) == -offset
                  && general_operand (XEXP (XEXP (inner, 0), 0), Pmode)));
     }
@@ -1355,6 +1365,42 @@ comparison_operator (rtx op, enum machine_mode mode)
          && COMPARISON_P (op));
 }
 \f
+/* If BODY is an insn body that uses ASM_OPERANDS, return it.  */
+
+rtx
+extract_asm_operands (rtx body)
+{
+  rtx tmp;
+  switch (GET_CODE (body))
+    {
+    case ASM_OPERANDS:
+      return body;
+
+    case SET:
+      /* Single output operand: BODY is (set OUTPUT (asm_operands ...)).  */
+      tmp = SET_SRC (body);
+      if (GET_CODE (tmp) == ASM_OPERANDS)
+       return tmp;
+      break;
+
+    case PARALLEL:
+      tmp = XVECEXP (body, 0, 0);
+      if (GET_CODE (tmp) == ASM_OPERANDS)
+       return tmp;
+      if (GET_CODE (tmp) == SET)
+       {
+         tmp = SET_SRC (tmp);
+         if (GET_CODE (tmp) == ASM_OPERANDS)
+           return tmp;
+       }
+      break;
+
+    default:
+      break;
+    }
+  return NULL;
+}
+
 /* If BODY is an insn body that uses ASM_OPERANDS,
    return the number of operands (both input and output) in the insn.
    Otherwise return -1.  */
@@ -1362,26 +1408,22 @@ comparison_operator (rtx op, enum machine_mode mode)
 int
 asm_noperands (const_rtx body)
 {
-  switch (GET_CODE (body))
+  rtx asm_op = extract_asm_operands (CONST_CAST_RTX (body));
+  int n_sets = 0;
+
+  if (asm_op == NULL)
+    return -1;
+
+  if (GET_CODE (body) == SET)
+    n_sets = 1;
+  else if (GET_CODE (body) == PARALLEL)
     {
-    case ASM_OPERANDS:
-      /* No output operands: return number of input operands.  */
-      return ASM_OPERANDS_INPUT_LENGTH (body);
-    case SET:
-      if (GET_CODE (SET_SRC (body)) == ASM_OPERANDS)
-       /* Single output operand: BODY is (set OUTPUT (asm_operands ...)).  */
-       return ASM_OPERANDS_INPUT_LENGTH (SET_SRC (body)) + 1;
-      else
-       return -1;
-    case PARALLEL:
-      if (GET_CODE (XVECEXP (body, 0, 0)) == SET
-         && GET_CODE (SET_SRC (XVECEXP (body, 0, 0))) == ASM_OPERANDS)
+      int i;
+      if (GET_CODE (XVECEXP (body, 0, 0)) == SET)
        {
          /* Multiple output operands, or 1 output plus some clobbers:
-            body is [(set OUTPUT (asm_operands ...))... (clobber (reg ...))...].  */
-         int i;
-         int n_sets;
-
+            body is
+            [(set OUTPUT (asm_operands ...))... (clobber (reg ...))...].  */
          /* Count backwards through CLOBBERs to determine number of SETs.  */
          for (i = XVECLEN (body, 0); i > 0; i--)
            {
@@ -1407,30 +1449,23 @@ asm_noperands (const_rtx body)
              /* If these ASM_OPERANDS rtx's came from different original insns
                 then they aren't allowed together.  */
              if (ASM_OPERANDS_INPUT_VEC (SET_SRC (elt))
-                 != ASM_OPERANDS_INPUT_VEC (SET_SRC (XVECEXP (body, 0, 0))))
+                 != ASM_OPERANDS_INPUT_VEC (asm_op))
                return -1;
            }
-         return (ASM_OPERANDS_INPUT_LENGTH (SET_SRC (XVECEXP (body, 0, 0)))
-                 + n_sets);
        }
-      else if (GET_CODE (XVECEXP (body, 0, 0)) == ASM_OPERANDS)
+      else
        {
          /* 0 outputs, but some clobbers:
             body is [(asm_operands ...) (clobber (reg ...))...].  */
-         int i;
-
          /* Make sure all the other parallel things really are clobbers.  */
          for (i = XVECLEN (body, 0) - 1; i > 0; i--)
            if (GET_CODE (XVECEXP (body, 0, i)) != CLOBBER)
              return -1;
-
-         return ASM_OPERANDS_INPUT_LENGTH (XVECEXP (body, 0, 0));
        }
-      else
-       return -1;
-    default:
-      return -1;
     }
+
+  return (ASM_OPERANDS_INPUT_LENGTH (asm_op)
+         + ASM_OPERANDS_LABEL_LENGTH (asm_op) + n_sets);
 }
 
 /* Assuming BODY is an insn body that uses ASM_OPERANDS,
@@ -1448,28 +1483,19 @@ decode_asm_operands (rtx body, rtx *operands, rtx **operand_locs,
                     const char **constraints, enum machine_mode *modes,
                     location_t *loc)
 {
-  int i;
-  int noperands;
-  rtx asmop = 0;
+  int nbase = 0, n, i;
+  rtx asmop;
 
-  if (GET_CODE (body) == SET && GET_CODE (SET_SRC (body)) == ASM_OPERANDS)
+  switch (GET_CODE (body))
     {
-      asmop = SET_SRC (body);
-      /* Single output operand: BODY is (set OUTPUT (asm_operands ....)).  */
-
-      noperands = ASM_OPERANDS_INPUT_LENGTH (asmop) + 1;
+    case ASM_OPERANDS:
+      /* Zero output asm: BODY is (asm_operands ...).  */
+      asmop = body;
+      break;
 
-      for (i = 1; i < noperands; i++)
-       {
-         if (operand_locs)
-           operand_locs[i] = &ASM_OPERANDS_INPUT (asmop, i - 1);
-         if (operands)
-           operands[i] = ASM_OPERANDS_INPUT (asmop, i - 1);
-         if (constraints)
-           constraints[i] = ASM_OPERANDS_INPUT_CONSTRAINT (asmop, i - 1);
-         if (modes)
-           modes[i] = ASM_OPERANDS_INPUT_MODE (asmop, i - 1);
-       }
+    case SET:
+      /* Single output asm: BODY is (set OUTPUT (asm_operands ...)).  */
+      asmop = SET_SRC (body);
 
       /* The output is in the SET.
         Its constraint is in the ASM_OPERANDS itself.  */
@@ -1481,93 +1507,67 @@ decode_asm_operands (rtx body, rtx *operands, rtx **operand_locs,
        constraints[0] = ASM_OPERANDS_OUTPUT_CONSTRAINT (asmop);
       if (modes)
        modes[0] = GET_MODE (SET_DEST (body));
-    }
-  else if (GET_CODE (body) == ASM_OPERANDS)
-    {
-      asmop = body;
-      /* No output operands: BODY is (asm_operands ....).  */
-
-      noperands = ASM_OPERANDS_INPUT_LENGTH (asmop);
-
-      /* The input operands are found in the 1st element vector.  */
-      /* Constraints for inputs are in the 2nd element vector.  */
-      for (i = 0; i < noperands; i++)
-       {
-         if (operand_locs)
-           operand_locs[i] = &ASM_OPERANDS_INPUT (asmop, i);
-         if (operands)
-           operands[i] = ASM_OPERANDS_INPUT (asmop, i);
-         if (constraints)
-           constraints[i] = ASM_OPERANDS_INPUT_CONSTRAINT (asmop, i);
-         if (modes)
-           modes[i] = ASM_OPERANDS_INPUT_MODE (asmop, i);
-       }
-    }
-  else if (GET_CODE (body) == PARALLEL
-          && GET_CODE (XVECEXP (body, 0, 0)) == SET
-          && GET_CODE (SET_SRC (XVECEXP (body, 0, 0))) == ASM_OPERANDS)
-    {
-      int nparallel = XVECLEN (body, 0); /* Includes CLOBBERs.  */
-      int nin;
-      int nout = 0;            /* Does not include CLOBBERs.  */
-
-      asmop = SET_SRC (XVECEXP (body, 0, 0));
-      nin = ASM_OPERANDS_INPUT_LENGTH (asmop);
+      nbase = 1;
+      break;
 
-      /* At least one output, plus some CLOBBERs.  */
+    case PARALLEL:
+      {
+       int nparallel = XVECLEN (body, 0); /* Includes CLOBBERs.  */
 
-      /* The outputs are in the SETs.
-        Their constraints are in the ASM_OPERANDS itself.  */
-      for (i = 0; i < nparallel; i++)
-       {
-         if (GET_CODE (XVECEXP (body, 0, i)) == CLOBBER)
-           break;              /* Past last SET */
+       asmop = XVECEXP (body, 0, 0);
+       if (GET_CODE (asmop) == SET)
+         {
+           asmop = SET_SRC (asmop);
 
-         if (operands)
-           operands[i] = SET_DEST (XVECEXP (body, 0, i));
-         if (operand_locs)
-           operand_locs[i] = &SET_DEST (XVECEXP (body, 0, i));
-         if (constraints)
-           constraints[i] = XSTR (SET_SRC (XVECEXP (body, 0, i)), 1);
-         if (modes)
-           modes[i] = GET_MODE (SET_DEST (XVECEXP (body, 0, i)));
-         nout++;
-       }
+           /* At least one output, plus some CLOBBERs.  The outputs are in
+              the SETs.  Their constraints are in the ASM_OPERANDS itself.  */
+           for (i = 0; i < nparallel; i++)
+             {
+               if (GET_CODE (XVECEXP (body, 0, i)) == CLOBBER)
+                 break;                /* Past last SET */
+               if (operands)
+                 operands[i] = SET_DEST (XVECEXP (body, 0, i));
+               if (operand_locs)
+                 operand_locs[i] = &SET_DEST (XVECEXP (body, 0, i));
+               if (constraints)
+                 constraints[i] = XSTR (SET_SRC (XVECEXP (body, 0, i)), 1);
+               if (modes)
+                 modes[i] = GET_MODE (SET_DEST (XVECEXP (body, 0, i)));
+             }
+           nbase = i;
+         }
+       break;
+      }
 
-      for (i = 0; i < nin; i++)
-       {
-         if (operand_locs)
-           operand_locs[i + nout] = &ASM_OPERANDS_INPUT (asmop, i);
-         if (operands)
-           operands[i + nout] = ASM_OPERANDS_INPUT (asmop, i);
-         if (constraints)
-           constraints[i + nout] = ASM_OPERANDS_INPUT_CONSTRAINT (asmop, i);
-         if (modes)
-           modes[i + nout] = ASM_OPERANDS_INPUT_MODE (asmop, i);
-       }
+    default:
+      gcc_unreachable ();
     }
-  else if (GET_CODE (body) == PARALLEL
-          && GET_CODE (XVECEXP (body, 0, 0)) == ASM_OPERANDS)
-    {
-      /* No outputs, but some CLOBBERs.  */
-
-      int nin;
 
-      asmop = XVECEXP (body, 0, 0);
-      nin = ASM_OPERANDS_INPUT_LENGTH (asmop);
-
-      for (i = 0; i < nin; i++)
-       {
-         if (operand_locs)
-           operand_locs[i] = &ASM_OPERANDS_INPUT (asmop, i);
-         if (operands)
-           operands[i] = ASM_OPERANDS_INPUT (asmop, i);
-         if (constraints)
-           constraints[i] = ASM_OPERANDS_INPUT_CONSTRAINT (asmop, i);
-         if (modes)
-           modes[i] = ASM_OPERANDS_INPUT_MODE (asmop, i);
-       }
+  n = ASM_OPERANDS_INPUT_LENGTH (asmop);
+  for (i = 0; i < n; i++)
+    {
+      if (operand_locs)
+       operand_locs[nbase + i] = &ASM_OPERANDS_INPUT (asmop, i);
+      if (operands)
+       operands[nbase + i] = ASM_OPERANDS_INPUT (asmop, i);
+      if (constraints)
+       constraints[nbase + i] = ASM_OPERANDS_INPUT_CONSTRAINT (asmop, i);
+      if (modes)
+       modes[nbase + i] = ASM_OPERANDS_INPUT_MODE (asmop, i);
+    }
+  nbase += n;
 
+  n = ASM_OPERANDS_LABEL_LENGTH (asmop);
+  for (i = 0; i < n; i++)
+    {
+      if (operand_locs)
+       operand_locs[nbase + i] = &ASM_OPERANDS_LABEL (asmop, i);
+      if (operands)
+       operands[nbase + i] = ASM_OPERANDS_LABEL (asmop, i);
+      if (constraints)
+       constraints[nbase + i] = "";
+      if (modes)
+       modes[nbase + i] = Pmode;
     }
 
   if (loc)
@@ -1583,10 +1583,18 @@ int
 asm_operand_ok (rtx op, const char *constraint, const char **constraints)
 {
   int result = 0;
+#ifdef AUTO_INC_DEC
+  bool incdec_ok = false;
+#endif
 
   /* Use constrain_operands after reload.  */
   gcc_assert (!reload_completed);
 
+  /* Empty constraint string is the same as "X,...,X", i.e. X for as
+     many alternatives as required to match the other operands.  */
+  if (*constraint == '\0')
+    result = 1;
+
   while (*constraint)
     {
       char c = *constraint;
@@ -1662,6 +1670,9 @@ asm_operand_ok (rtx op, const char *constraint, const char **constraints)
                  || GET_CODE (XEXP (op, 0)) == PRE_DEC
                  || GET_CODE (XEXP (op, 0)) == POST_DEC))
            result = 1;
+#ifdef AUTO_INC_DEC
+         incdec_ok = true;
+#endif
          break;
 
        case '>':
@@ -1670,6 +1681,9 @@ asm_operand_ok (rtx op, const char *constraint, const char **constraints)
                  || GET_CODE (XEXP (op, 0)) == PRE_INC
                  || GET_CODE (XEXP (op, 0)) == POST_INC))
            result = 1;
+#ifdef AUTO_INC_DEC
+         incdec_ok = true;
+#endif
          break;
 
        case 'E':
@@ -1692,7 +1706,7 @@ asm_operand_ok (rtx op, const char *constraint, const char **constraints)
          break;
 
        case 's':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              || (GET_CODE (op) == CONST_DOUBLE
                  && GET_MODE (op) == VOIDmode))
            break;
@@ -1704,49 +1718,49 @@ asm_operand_ok (rtx op, const char *constraint, const char **constraints)
          break;
 
        case 'n':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              || (GET_CODE (op) == CONST_DOUBLE
                  && GET_MODE (op) == VOIDmode))
            result = 1;
          break;
 
        case 'I':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'I', constraint))
            result = 1;
          break;
        case 'J':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'J', constraint))
            result = 1;
          break;
        case 'K':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'K', constraint))
            result = 1;
          break;
        case 'L':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'L', constraint))
            result = 1;
          break;
        case 'M':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'M', constraint))
            result = 1;
          break;
        case 'N':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'N', constraint))
            result = 1;
          break;
        case 'O':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'O', constraint))
            result = 1;
          break;
        case 'P':
-         if (GET_CODE (op) == CONST_INT
+         if (CONST_INT_P (op)
              && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), 'P', constraint))
            result = 1;
          break;
@@ -1791,6 +1805,23 @@ asm_operand_ok (rtx op, const char *constraint, const char **constraints)
        return 0;
     }
 
+#ifdef AUTO_INC_DEC
+  /* For operands without < or > constraints reject side-effects.  */
+  if (!incdec_ok && result && MEM_P (op))
+    switch (GET_CODE (XEXP (op, 0)))
+      {
+      case PRE_INC:
+      case POST_INC:
+      case PRE_DEC:
+      case POST_DEC:
+      case PRE_MODIFY:
+      case POST_MODIFY:
+       return 0;
+      default:
+       break;
+      }
+#endif
+
   return result;
 }
 \f
@@ -1855,7 +1886,8 @@ int
 offsettable_memref_p (rtx op)
 {
   return ((MEM_P (op))
-         && offsettable_address_p (1, GET_MODE (op), XEXP (op, 0)));
+         && offsettable_address_addr_space_p (1, GET_MODE (op), XEXP (op, 0),
+                                              MEM_ADDR_SPACE (op)));
 }
 
 /* Similar, but don't require a strictly valid mem ref:
@@ -1865,12 +1897,13 @@ int
 offsettable_nonstrict_memref_p (rtx op)
 {
   return ((MEM_P (op))
-         && offsettable_address_p (0, GET_MODE (op), XEXP (op, 0)));
+         && offsettable_address_addr_space_p (0, GET_MODE (op), XEXP (op, 0),
+                                              MEM_ADDR_SPACE (op)));
 }
 
 /* Return 1 if Y is a memory address which contains no side effects
-   and would remain valid after the addition of a positive integer
-   less than the size of that mode.
+   and would remain valid for address space AS after the addition of
+   a positive integer less than the size of that mode.
 
    We assume that the original address is valid and do not check it.
    We do check that it is valid for narrower modes.
@@ -1879,14 +1912,16 @@ offsettable_nonstrict_memref_p (rtx op)
    for the sake of use in reload.c.  */
 
 int
-offsettable_address_p (int strictp, enum machine_mode mode, rtx y)
+offsettable_address_addr_space_p (int strictp, enum machine_mode mode, rtx y,
+                                 addr_space_t as)
 {
   enum rtx_code ycode = GET_CODE (y);
   rtx z;
   rtx y1 = y;
   rtx *y2;
-  int (*addressp) (enum machine_mode, rtx) =
-    (strictp ? strict_memory_address_p : memory_address_p);
+  int (*addressp) (enum machine_mode, rtx, addr_space_t) =
+    (strictp ? strict_memory_address_addr_space_p
+            : memory_address_addr_space_p);
   unsigned int mode_sz = GET_MODE_SIZE (mode);
 
   if (CONSTANT_ADDRESS_P (y))
@@ -1916,7 +1951,7 @@ offsettable_address_p (int strictp, enum machine_mode mode, rtx y)
       *y2 = plus_constant (*y2, mode_sz - 1);
       /* Use QImode because an odd displacement may be automatically invalid
         for any wider mode.  But it should be valid for a single byte.  */
-      good = (*addressp) (QImode, y);
+      good = (*addressp) (QImode, y, as);
 
       /* In any case, restore old contents of memory.  */
       *y2 = y1;
@@ -1941,7 +1976,7 @@ offsettable_address_p (int strictp, enum machine_mode mode, rtx y)
 
   /* Use QImode because an odd displacement may be automatically invalid
      for any wider mode.  But it should be valid for a single byte.  */
-  return (*addressp) (QImode, z);
+  return (*addressp) (QImode, z, as);
 }
 
 /* Return 1 if ADDR is an address-expression whose effect depends
@@ -1950,7 +1985,7 @@ offsettable_address_p (int strictp, enum machine_mode mode, rtx y)
    Autoincrement addressing is a typical example of mode-dependence
    because the amount of the increment depends on the mode.  */
 
-int
+bool
 mode_dependent_address_p (rtx addr)
 {
   /* Auto-increment addressing with anything other than post_modify
@@ -1960,13 +1995,9 @@ mode_dependent_address_p (rtx addr)
       || GET_CODE (addr) == POST_INC
       || GET_CODE (addr) == PRE_DEC
       || GET_CODE (addr) == POST_DEC)
-    return 1;
+    return true;
 
-  GO_IF_MODE_DEPENDENT_ADDRESS (addr, win);
-  return 0;
-  /* Label `win' might (not) be used via GO_IF_MODE_DEPENDENT_ADDRESS.  */
- win: ATTRIBUTE_UNUSED_LABEL
-  return 1;
+  return targetm.mode_dependent_address_p (addr);
 }
 \f
 /* Like extract_insn, but save insn extracted and don't extract again, when
@@ -2016,6 +2047,7 @@ extract_insn (rtx insn)
   recog_data.n_operands = 0;
   recog_data.n_alternatives = 0;
   recog_data.n_dups = 0;
+  recog_data.is_asm = false;
 
   switch (GET_CODE (body))
     {
@@ -2024,6 +2056,7 @@ extract_insn (rtx insn)
     case ASM_INPUT:
     case ADDR_VEC:
     case ADDR_DIFF_VEC:
+    case VAR_LOCATION:
       return;
 
     case SET:
@@ -2053,6 +2086,7 @@ extract_insn (rtx insn)
                               recog_data.operand_loc,
                               recog_data.constraints,
                               recog_data.operand_mode, NULL);
+         memset (recog_data.is_operator, 0, sizeof recog_data.is_operator);
          if (noperands > 0)
            {
              const char *p =  recog_data.constraints[0];
@@ -2060,6 +2094,7 @@ extract_insn (rtx insn)
              while (*p)
                recog_data.n_alternatives += (*p++ == ',');
            }
+         recog_data.is_asm = true;
          break;
        }
       fatal_insn_not_found (insn);
@@ -2082,6 +2117,7 @@ extract_insn (rtx insn)
       for (i = 0; i < noperands; i++)
        {
          recog_data.constraints[i] = insn_data[icode].operand[i].constraint;
+         recog_data.is_operator[i] = insn_data[icode].operand[i].is_operator;
          recog_data.operand_mode[i] = insn_data[icode].operand[i].mode;
          /* VOIDmode match_operands gets mode from their real operand.  */
          if (recog_data.operand_mode[i] == VOIDmode)
@@ -2485,11 +2521,14 @@ constrain_operands (int strict)
                if (MEM_P (op))
                  {
                    if (strict > 0
-                       && !strict_memory_address_p (GET_MODE (op),
-                                                    XEXP (op, 0)))
+                       && !strict_memory_address_addr_space_p
+                            (GET_MODE (op), XEXP (op, 0),
+                             MEM_ADDR_SPACE (op)))
                      break;
                    if (strict == 0
-                       && !memory_address_p (GET_MODE (op), XEXP (op, 0)))
+                       && !memory_address_addr_space_p
+                            (GET_MODE (op), XEXP (op, 0),
+                             MEM_ADDR_SPACE (op)))
                      break;
                    win = 1;
                  }
@@ -2532,7 +2571,7 @@ constrain_operands (int strict)
                break;
 
              case 's':
-               if (GET_CODE (op) == CONST_INT
+               if (CONST_INT_P (op)
                    || (GET_CODE (op) == CONST_DOUBLE
                        && GET_MODE (op) == VOIDmode))
                  break;
@@ -2542,7 +2581,7 @@ constrain_operands (int strict)
                break;
 
              case 'n':
-               if (GET_CODE (op) == CONST_INT
+               if (CONST_INT_P (op)
                    || (GET_CODE (op) == CONST_DOUBLE
                        && GET_MODE (op) == VOIDmode))
                  win = 1;
@@ -2556,7 +2595,7 @@ constrain_operands (int strict)
              case 'N':
              case 'O':
              case 'P':
-               if (GET_CODE (op) == CONST_INT
+               if (CONST_INT_P (op)
                    && CONST_OK_FOR_CONSTRAINT_P (INTVAL (op), c, p))
                  win = 1;
                break;
@@ -2670,6 +2709,30 @@ constrain_operands (int strict)
                    = recog_data.operand[funny_match[funny_match_index].this_op];
                }
 
+#ifdef AUTO_INC_DEC
+             /* For operands without < or > constraints reject side-effects.  */
+             if (recog_data.is_asm)
+               {
+                 for (opno = 0; opno < recog_data.n_operands; opno++)
+                   if (MEM_P (recog_data.operand[opno]))
+                     switch (GET_CODE (XEXP (recog_data.operand[opno], 0)))
+                       {
+                       case PRE_INC:
+                       case POST_INC:
+                       case PRE_DEC:
+                       case POST_DEC:
+                       case PRE_MODIFY:
+                       case POST_MODIFY:
+                         if (strchr (recog_data.constraints[opno], '<') == NULL
+                             && strchr (recog_data.constraints[opno], '>')
+                                == NULL)
+                           return 0;
+                         break;
+                       default:
+                         break;
+                       }
+               }
+#endif
              return 1;
            }
        }
@@ -2687,21 +2750,21 @@ constrain_operands (int strict)
     return 0;
 }
 
-/* Return 1 iff OPERAND (assumed to be a REG rtx)
+/* Return true iff OPERAND (assumed to be a REG rtx)
    is a hard reg in class CLASS when its regno is offset by OFFSET
    and changed to mode MODE.
    If REG occupies multiple hard regs, all of them must be in CLASS.  */
 
-int
-reg_fits_class_p (rtx operand, enum reg_class cl, int offset,
+bool
+reg_fits_class_p (const_rtx operand, reg_class_t cl, int offset,
                  enum machine_mode mode)
 {
   int regno = REGNO (operand);
 
   if (cl == NO_REGS)
-    return 0;
+    return false;
 
-  return (regno < FIRST_PSEUDO_REGISTER
+  return (HARD_REGISTER_NUM_P (regno)
          && in_hard_reg_set_p (reg_class_contents[(int) cl],
                                mode, regno + offset));
 }
@@ -2804,15 +2867,8 @@ split_all_insns (void)
                }
              else
                {
-                 rtx last = split_insn (insn);
-                 if (last)
+                 if (split_insn (insn))
                    {
-                     /* The split sequence may include barrier, but the
-                        BB boundary we are interested in will be set to
-                        previous one.  */
-
-                     while (BARRIER_P (last))
-                       last = PREV_INSN (last);
                      SET_BIT (blocks, bb->index);
                      changed = true;
                    }
@@ -2877,6 +2933,10 @@ struct peep2_insn_data
 
 static struct peep2_insn_data peep2_insn_data[MAX_INSNS_PER_PEEP2 + 1];
 static int peep2_current;
+
+static bool peep2_do_rebuild_jump_labels;
+static bool peep2_do_cleanup_cfg;
+
 /* The number of instructions available to match a peep2.  */
 int peep2_current_count;
 
@@ -2885,6 +2945,16 @@ int peep2_current_count;
    DF_LIVE_OUT for the block.  */
 #define PEEP2_EOB      pc_rtx
 
+/* Wrap N to fit into the peep2_insn_data buffer.  */
+
+static int
+peep2_buf_position (int n)
+{
+  if (n >= MAX_INSNS_PER_PEEP2 + 1)
+    n -= MAX_INSNS_PER_PEEP2 + 1;
+  return n;
+}
+
 /* Return the Nth non-note insn after `current', or return NULL_RTX if it
    does not exist.  Used by the recognizer to find the next insn to match
    in a multi-insn pattern.  */
@@ -2894,9 +2964,7 @@ peep2_next_insn (int n)
 {
   gcc_assert (n <= peep2_current_count);
 
-  n += peep2_current;
-  if (n >= MAX_INSNS_PER_PEEP2 + 1)
-    n -= MAX_INSNS_PER_PEEP2 + 1;
+  n = peep2_buf_position (peep2_current + n);
 
   return peep2_insn_data[n].insn;
 }
@@ -2909,9 +2977,7 @@ peep2_regno_dead_p (int ofs, int regno)
 {
   gcc_assert (ofs < MAX_INSNS_PER_PEEP2 + 1);
 
-  ofs += peep2_current;
-  if (ofs >= MAX_INSNS_PER_PEEP2 + 1)
-    ofs -= MAX_INSNS_PER_PEEP2 + 1;
+  ofs = peep2_buf_position (peep2_current + ofs);
 
   gcc_assert (peep2_insn_data[ofs].insn != NULL_RTX);
 
@@ -2927,9 +2993,7 @@ peep2_reg_dead_p (int ofs, rtx reg)
 
   gcc_assert (ofs < MAX_INSNS_PER_PEEP2 + 1);
 
-  ofs += peep2_current;
-  if (ofs >= MAX_INSNS_PER_PEEP2 + 1)
-    ofs -= MAX_INSNS_PER_PEEP2 + 1;
+  ofs = peep2_buf_position (peep2_current + ofs);
 
   gcc_assert (peep2_insn_data[ofs].insn != NULL_RTX);
 
@@ -2959,30 +3023,28 @@ peep2_find_free_register (int from, int to, const char *class_str,
   static int search_ofs;
   enum reg_class cl;
   HARD_REG_SET live;
+  df_ref *def_rec;
   int i;
 
   gcc_assert (from < MAX_INSNS_PER_PEEP2 + 1);
   gcc_assert (to < MAX_INSNS_PER_PEEP2 + 1);
 
-  from += peep2_current;
-  if (from >= MAX_INSNS_PER_PEEP2 + 1)
-    from -= MAX_INSNS_PER_PEEP2 + 1;
-  to += peep2_current;
-  if (to >= MAX_INSNS_PER_PEEP2 + 1)
-    to -= MAX_INSNS_PER_PEEP2 + 1;
+  from = peep2_buf_position (peep2_current + from);
+  to = peep2_buf_position (peep2_current + to);
 
   gcc_assert (peep2_insn_data[from].insn != NULL_RTX);
   REG_SET_TO_HARD_REG_SET (live, peep2_insn_data[from].live_before);
 
   while (from != to)
     {
-      HARD_REG_SET this_live;
-
-      if (++from >= MAX_INSNS_PER_PEEP2 + 1)
-       from = 0;
       gcc_assert (peep2_insn_data[from].insn != NULL_RTX);
-      REG_SET_TO_HARD_REG_SET (this_live, peep2_insn_data[from].live_before);
-      IOR_HARD_REG_SET (live, this_live);
+
+      /* Don't use registers set or clobbered by the insn.  */
+      for (def_rec = DF_INSN_DEFS (peep2_insn_data[from].insn);
+          *def_rec; def_rec++)
+       SET_HARD_REG_BIT (live, DF_REF_REGNO (*def_rec));
+
+      from = peep2_buf_position (from + 1);
     }
 
   cl = (class_str[0] == 'r' ? GENERAL_REGS
@@ -3052,19 +3114,331 @@ peep2_find_free_register (int from, int to, const char *class_str,
   return NULL_RTX;
 }
 
+/* Forget all currently tracked instructions, only remember current
+   LIVE regset.  */
+
+static void
+peep2_reinit_state (regset live)
+{
+  int i;
+
+  /* Indicate that all slots except the last holds invalid data.  */
+  for (i = 0; i < MAX_INSNS_PER_PEEP2; ++i)
+    peep2_insn_data[i].insn = NULL_RTX;
+  peep2_current_count = 0;
+
+  /* Indicate that the last slot contains live_after data.  */
+  peep2_insn_data[MAX_INSNS_PER_PEEP2].insn = PEEP2_EOB;
+  peep2_current = MAX_INSNS_PER_PEEP2;
+
+  COPY_REG_SET (peep2_insn_data[MAX_INSNS_PER_PEEP2].live_before, live);
+}
+
+/* While scanning basic block BB, we found a match of length MATCH_LEN,
+   starting at INSN.  Perform the replacement, removing the old insns and
+   replacing them with ATTEMPT.  Returns the last insn emitted, or NULL
+   if the replacement is rejected.  */
+
+static rtx
+peep2_attempt (basic_block bb, rtx insn, int match_len, rtx attempt)
+{
+  int i;
+  rtx last, note, before_try, x;
+  rtx old_insn, new_insn;
+  bool was_call = false;
+
+  /* If we are splittind an RTX_FRAME_RELATED_P insn, do not allow it to
+     match more than one insn, or to be split into more than one insn.  */
+  old_insn = peep2_insn_data[peep2_current].insn;
+  if (RTX_FRAME_RELATED_P (old_insn))
+    {
+      bool any_note = false;
+
+      if (match_len != 0)
+       return NULL;
+
+      /* Look for one "active" insn.  I.e. ignore any "clobber" insns that
+        may be in the stream for the purpose of register allocation.  */
+      if (active_insn_p (attempt))
+       new_insn = attempt;
+      else
+       new_insn = next_active_insn (attempt);
+      if (next_active_insn (new_insn))
+       return NULL;
+
+      /* We have a 1-1 replacement.  Copy over any frame-related info.  */
+      RTX_FRAME_RELATED_P (new_insn) = 1;
+
+      /* Allow the backend to fill in a note during the split.  */
+      for (note = REG_NOTES (new_insn); note ; note = XEXP (note, 1))
+       switch (REG_NOTE_KIND (note))
+         {
+         case REG_FRAME_RELATED_EXPR:
+         case REG_CFA_DEF_CFA:
+         case REG_CFA_ADJUST_CFA:
+         case REG_CFA_OFFSET:
+         case REG_CFA_REGISTER:
+         case REG_CFA_EXPRESSION:
+         case REG_CFA_RESTORE:
+         case REG_CFA_SET_VDRAP:
+           any_note = true;
+           break;
+         default:
+           break;
+         }
+
+      /* If the backend didn't supply a note, copy one over.  */
+      if (!any_note)
+        for (note = REG_NOTES (old_insn); note ; note = XEXP (note, 1))
+         switch (REG_NOTE_KIND (note))
+           {
+           case REG_FRAME_RELATED_EXPR:
+           case REG_CFA_DEF_CFA:
+           case REG_CFA_ADJUST_CFA:
+           case REG_CFA_OFFSET:
+           case REG_CFA_REGISTER:
+           case REG_CFA_EXPRESSION:
+           case REG_CFA_RESTORE:
+           case REG_CFA_SET_VDRAP:
+             add_reg_note (new_insn, REG_NOTE_KIND (note), XEXP (note, 0));
+             any_note = true;
+             break;
+           default:
+             break;
+           }
+
+      /* If there still isn't a note, make sure the unwind info sees the
+        same expression as before the split.  */
+      if (!any_note)
+       {
+         rtx old_set, new_set;
+
+         /* The old insn had better have been simple, or annotated.  */
+         old_set = single_set (old_insn);
+         gcc_assert (old_set != NULL);
+
+         new_set = single_set (new_insn);
+         if (!new_set || !rtx_equal_p (new_set, old_set))
+           add_reg_note (new_insn, REG_FRAME_RELATED_EXPR, old_set);
+       }
+
+      /* Copy prologue/epilogue status.  This is required in order to keep
+        proper placement of EPILOGUE_BEG and the DW_CFA_remember_state.  */
+      maybe_copy_prologue_epilogue_insn (old_insn, new_insn);
+    }
+
+  /* If we are splitting a CALL_INSN, look for the CALL_INSN
+     in SEQ and copy our CALL_INSN_FUNCTION_USAGE and other
+     cfg-related call notes.  */
+  for (i = 0; i <= match_len; ++i)
+    {
+      int j;
+
+      j = peep2_buf_position (peep2_current + i);
+      old_insn = peep2_insn_data[j].insn;
+      if (!CALL_P (old_insn))
+       continue;
+      was_call = true;
+
+      new_insn = attempt;
+      while (new_insn != NULL_RTX)
+       {
+         if (CALL_P (new_insn))
+           break;
+         new_insn = NEXT_INSN (new_insn);
+       }
+
+      gcc_assert (new_insn != NULL_RTX);
+
+      CALL_INSN_FUNCTION_USAGE (new_insn)
+       = CALL_INSN_FUNCTION_USAGE (old_insn);
+
+      for (note = REG_NOTES (old_insn);
+          note;
+          note = XEXP (note, 1))
+       switch (REG_NOTE_KIND (note))
+         {
+         case REG_NORETURN:
+         case REG_SETJMP:
+           add_reg_note (new_insn, REG_NOTE_KIND (note),
+                         XEXP (note, 0));
+           break;
+         default:
+           /* Discard all other reg notes.  */
+           break;
+         }
+
+      /* Croak if there is another call in the sequence.  */
+      while (++i <= match_len)
+       {
+         j = peep2_buf_position (peep2_current + i);
+         old_insn = peep2_insn_data[j].insn;
+         gcc_assert (!CALL_P (old_insn));
+       }
+      break;
+    }
+
+  i = peep2_buf_position (peep2_current + match_len);
+
+  note = find_reg_note (peep2_insn_data[i].insn, REG_EH_REGION, NULL_RTX);
+
+  /* Replace the old sequence with the new.  */
+  last = emit_insn_after_setloc (attempt,
+                                peep2_insn_data[i].insn,
+                                INSN_LOCATOR (peep2_insn_data[i].insn));
+  before_try = PREV_INSN (insn);
+  delete_insn_chain (insn, peep2_insn_data[i].insn, false);
+
+  /* Re-insert the EH_REGION notes.  */
+  if (note || (was_call && nonlocal_goto_handler_labels))
+    {
+      edge eh_edge;
+      edge_iterator ei;
+
+      FOR_EACH_EDGE (eh_edge, ei, bb->succs)
+       if (eh_edge->flags & (EDGE_EH | EDGE_ABNORMAL_CALL))
+         break;
+
+      if (note)
+       copy_reg_eh_region_note_backward (note, last, before_try);
+
+      if (eh_edge)
+       for (x = last; x != before_try; x = PREV_INSN (x))
+         if (x != BB_END (bb)
+             && (can_throw_internal (x)
+                 || can_nonlocal_goto (x)))
+           {
+             edge nfte, nehe;
+             int flags;
+
+             nfte = split_block (bb, x);
+             flags = (eh_edge->flags
+                      & (EDGE_EH | EDGE_ABNORMAL));
+             if (CALL_P (x))
+               flags |= EDGE_ABNORMAL_CALL;
+             nehe = make_edge (nfte->src, eh_edge->dest,
+                               flags);
+
+             nehe->probability = eh_edge->probability;
+             nfte->probability
+               = REG_BR_PROB_BASE - nehe->probability;
+
+             peep2_do_cleanup_cfg |= purge_dead_edges (nfte->dest);
+             bb = nfte->src;
+             eh_edge = nehe;
+           }
+
+      /* Converting possibly trapping insn to non-trapping is
+        possible.  Zap dummy outgoing edges.  */
+      peep2_do_cleanup_cfg |= purge_dead_edges (bb);
+    }
+
+  /* If we generated a jump instruction, it won't have
+     JUMP_LABEL set.  Recompute after we're done.  */
+  for (x = last; x != before_try; x = PREV_INSN (x))
+    if (JUMP_P (x))
+      {
+       peep2_do_rebuild_jump_labels = true;
+       break;
+      }
+
+  return last;
+}
+
+/* After performing a replacement in basic block BB, fix up the life
+   information in our buffer.  LAST is the last of the insns that we
+   emitted as a replacement.  PREV is the insn before the start of
+   the replacement.  MATCH_LEN is the number of instructions that were
+   matched, and which now need to be replaced in the buffer.  */
+
+static void
+peep2_update_life (basic_block bb, int match_len, rtx last, rtx prev)
+{
+  int i = peep2_buf_position (peep2_current + match_len + 1);
+  rtx x;
+  regset_head live;
+
+  INIT_REG_SET (&live);
+  COPY_REG_SET (&live, peep2_insn_data[i].live_before);
+
+  gcc_assert (peep2_current_count >= match_len + 1);
+  peep2_current_count -= match_len + 1;
+
+  x = last;
+  do
+    {
+      if (INSN_P (x))
+       {
+         df_insn_rescan (x);
+         if (peep2_current_count < MAX_INSNS_PER_PEEP2)
+           {
+             peep2_current_count++;
+             if (--i < 0)
+               i = MAX_INSNS_PER_PEEP2;
+             peep2_insn_data[i].insn = x;
+             df_simulate_one_insn_backwards (bb, x, &live);
+             COPY_REG_SET (peep2_insn_data[i].live_before, &live);
+           }
+       }
+      x = PREV_INSN (x);
+    }
+  while (x != prev);
+  CLEAR_REG_SET (&live);
+
+  peep2_current = i;
+}
+
+/* Add INSN, which is in BB, at the end of the peep2 insn buffer if possible.
+   Return true if we added it, false otherwise.  The caller will try to match
+   peepholes against the buffer if we return false; otherwise it will try to
+   add more instructions to the buffer.  */
+
+static bool
+peep2_fill_buffer (basic_block bb, rtx insn, regset live)
+{
+  int pos;
+
+  /* Once we have filled the maximum number of insns the buffer can hold,
+     allow the caller to match the insns against peepholes.  We wait until
+     the buffer is full in case the target has similar peepholes of different
+     length; we always want to match the longest if possible.  */
+  if (peep2_current_count == MAX_INSNS_PER_PEEP2)
+    return false;
+
+  /* If an insn has RTX_FRAME_RELATED_P set, do not allow it to be matched with
+     any other pattern, lest it change the semantics of the frame info.  */
+  if (RTX_FRAME_RELATED_P (insn))
+    {
+      /* Let the buffer drain first.  */
+      if (peep2_current_count > 0)
+       return false;
+      /* Now the insn will be the only thing in the buffer.  */
+    }
+
+  pos = peep2_buf_position (peep2_current + peep2_current_count);
+  peep2_insn_data[pos].insn = insn;
+  COPY_REG_SET (peep2_insn_data[pos].live_before, live);
+  peep2_current_count++;
+
+  df_simulate_one_insn_forwards (bb, insn, live);
+  return true;
+}
+
 /* Perform the peephole2 optimization pass.  */
 
 static void
 peephole2_optimize (void)
 {
-  rtx insn, prev;
+  rtx insn;
   bitmap live;
   int i;
   basic_block bb;
-  bool do_cleanup_cfg = false;
-  bool do_rebuild_jump_labels = false;
+
+  peep2_do_cleanup_cfg = false;
+  peep2_do_rebuild_jump_labels = false;
 
   df_set_flags (DF_LR_RUN_DCE);
+  df_note_add_problem ();
   df_analyze ();
 
   /* Initialize the regsets we're going to use.  */
@@ -3074,220 +3448,60 @@ peephole2_optimize (void)
 
   FOR_EACH_BB_REVERSE (bb)
     {
-      rtl_profile_for_bb (bb);
-      /* Indicate that all slots except the last holds invalid data.  */
-      for (i = 0; i < MAX_INSNS_PER_PEEP2; ++i)
-       peep2_insn_data[i].insn = NULL_RTX;
-      peep2_current_count = 0;
+      bool past_end = false;
+      int pos;
 
-      /* Indicate that the last slot contains live_after data.  */
-      peep2_insn_data[MAX_INSNS_PER_PEEP2].insn = PEEP2_EOB;
-      peep2_current = MAX_INSNS_PER_PEEP2;
+      rtl_profile_for_bb (bb);
 
       /* Start up propagation.  */
-      bitmap_copy (live, DF_LR_OUT (bb));
-      df_simulate_initialize_backwards (bb, live);
-      bitmap_copy (peep2_insn_data[MAX_INSNS_PER_PEEP2].live_before, live);
+      bitmap_copy (live, DF_LR_IN (bb));
+      df_simulate_initialize_forwards (bb, live);
+      peep2_reinit_state (live);
 
-      for (insn = BB_END (bb); ; insn = prev)
+      insn = BB_HEAD (bb);
+      for (;;)
        {
-         prev = PREV_INSN (insn);
-         if (INSN_P (insn))
-           {
-             rtx attempt, before_try, x;
-             int match_len;
-             rtx note;
-             bool was_call = false;
-
-             /* Record this insn.  */
-             if (--peep2_current < 0)
-               peep2_current = MAX_INSNS_PER_PEEP2;
-             if (peep2_current_count < MAX_INSNS_PER_PEEP2
-                 && peep2_insn_data[peep2_current].insn == NULL_RTX)
-               peep2_current_count++;
-             peep2_insn_data[peep2_current].insn = insn;
-             df_simulate_one_insn_backwards (bb, insn, live);
-             COPY_REG_SET (peep2_insn_data[peep2_current].live_before, live);
-
-             if (RTX_FRAME_RELATED_P (insn))
-               {
-                 /* If an insn has RTX_FRAME_RELATED_P set, peephole
-                    substitution would lose the
-                    REG_FRAME_RELATED_EXPR that is attached.  */
-                 peep2_current_count = 0;
-                 attempt = NULL;
-               }
-             else
-               /* Match the peephole.  */
-               attempt = peephole2_insns (PATTERN (insn), insn, &match_len);
-
-             if (attempt != NULL)
-               {
-                 /* If we are splitting a CALL_INSN, look for the CALL_INSN
-                    in SEQ and copy our CALL_INSN_FUNCTION_USAGE and other
-                    cfg-related call notes.  */
-                 for (i = 0; i <= match_len; ++i)
-                   {
-                     int j;
-                     rtx old_insn, new_insn, note;
-
-                     j = i + peep2_current;
-                     if (j >= MAX_INSNS_PER_PEEP2 + 1)
-                       j -= MAX_INSNS_PER_PEEP2 + 1;
-                     old_insn = peep2_insn_data[j].insn;
-                     if (!CALL_P (old_insn))
-                       continue;
-                     was_call = true;
-
-                     new_insn = attempt;
-                     while (new_insn != NULL_RTX)
-                       {
-                         if (CALL_P (new_insn))
-                           break;
-                         new_insn = NEXT_INSN (new_insn);
-                       }
+         rtx attempt, head;
+         int match_len;
 
-                     gcc_assert (new_insn != NULL_RTX);
-
-                     CALL_INSN_FUNCTION_USAGE (new_insn)
-                       = CALL_INSN_FUNCTION_USAGE (old_insn);
-
-                     for (note = REG_NOTES (old_insn);
-                          note;
-                          note = XEXP (note, 1))
-                       switch (REG_NOTE_KIND (note))
-                         {
-                         case REG_NORETURN:
-                         case REG_SETJMP:
-                           add_reg_note (new_insn, REG_NOTE_KIND (note),
-                                         XEXP (note, 0));
-                           break;
-                         default:
-                           /* Discard all other reg notes.  */
-                           break;
-                         }
-
-                     /* Croak if there is another call in the sequence.  */
-                     while (++i <= match_len)
-                       {
-                         j = i + peep2_current;
-                         if (j >= MAX_INSNS_PER_PEEP2 + 1)
-                           j -= MAX_INSNS_PER_PEEP2 + 1;
-                         old_insn = peep2_insn_data[j].insn;
-                         gcc_assert (!CALL_P (old_insn));
-                       }
-                     break;
-                   }
-
-                 i = match_len + peep2_current;
-                 if (i >= MAX_INSNS_PER_PEEP2 + 1)
-                   i -= MAX_INSNS_PER_PEEP2 + 1;
-
-                 note = find_reg_note (peep2_insn_data[i].insn,
-                                       REG_EH_REGION, NULL_RTX);
-
-                 /* Replace the old sequence with the new.  */
-                 attempt = emit_insn_after_setloc (attempt,
-                                                   peep2_insn_data[i].insn,
-                                      INSN_LOCATOR (peep2_insn_data[i].insn));
-                 before_try = PREV_INSN (insn);
-                 delete_insn_chain (insn, peep2_insn_data[i].insn, false);
-
-                 /* Re-insert the EH_REGION notes.  */
-                 if (note || (was_call && nonlocal_goto_handler_labels))
-                   {
-                     edge eh_edge;
-                     edge_iterator ei;
-
-                     FOR_EACH_EDGE (eh_edge, ei, bb->succs)
-                       if (eh_edge->flags & (EDGE_EH | EDGE_ABNORMAL_CALL))
-                         break;
+         if (!past_end && !NONDEBUG_INSN_P (insn))
+           {
+           next_insn:
+             insn = NEXT_INSN (insn);
+             if (insn == NEXT_INSN (BB_END (bb)))
+               past_end = true;
+             continue;
+           }
+         if (!past_end && peep2_fill_buffer (bb, insn, live))
+           goto next_insn;
 
-                     for (x = attempt ; x != before_try ; x = PREV_INSN (x))
-                       if (CALL_P (x)
-                           || (flag_non_call_exceptions
-                               && may_trap_p (PATTERN (x))
-                               && !find_reg_note (x, REG_EH_REGION, NULL)))
-                         {
-                           if (note)
-                             add_reg_note (x, REG_EH_REGION, XEXP (note, 0));
-
-                           if (x != BB_END (bb) && eh_edge)
-                             {
-                               edge nfte, nehe;
-                               int flags;
-
-                               nfte = split_block (bb, x);
-                               flags = (eh_edge->flags
-                                        & (EDGE_EH | EDGE_ABNORMAL));
-                               if (CALL_P (x))
-                                 flags |= EDGE_ABNORMAL_CALL;
-                               nehe = make_edge (nfte->src, eh_edge->dest,
-                                                 flags);
-
-                               nehe->probability = eh_edge->probability;
-                               nfte->probability
-                                 = REG_BR_PROB_BASE - nehe->probability;
-
-                               do_cleanup_cfg |= purge_dead_edges (nfte->dest);
-                               bb = nfte->src;
-                               eh_edge = nehe;
-                             }
-                         }
-
-                     /* Converting possibly trapping insn to non-trapping is
-                        possible.  Zap dummy outgoing edges.  */
-                     do_cleanup_cfg |= purge_dead_edges (bb);
-                   }
+         /* If we did not fill an empty buffer, it signals the end of the
+            block.  */
+         if (peep2_current_count == 0)
+           break;
 
-#ifdef HAVE_conditional_execution
-                 for (i = 0; i < MAX_INSNS_PER_PEEP2 + 1; ++i)
-                   peep2_insn_data[i].insn = NULL_RTX;
-                 peep2_insn_data[peep2_current].insn = PEEP2_EOB;
-                 peep2_current_count = 0;
-#else
-                 /* Back up lifetime information past the end of the
-                    newly created sequence.  */
-                 if (++i >= MAX_INSNS_PER_PEEP2 + 1)
-                   i = 0;
-                 bitmap_copy (live, peep2_insn_data[i].live_before);
-
-                 /* Update life information for the new sequence.  */
-                 x = attempt;
-                 do
-                   {
-                     if (INSN_P (x))
-                       {
-                         if (--i < 0)
-                           i = MAX_INSNS_PER_PEEP2;
-                         if (peep2_current_count < MAX_INSNS_PER_PEEP2
-                             && peep2_insn_data[i].insn == NULL_RTX)
-                           peep2_current_count++;
-                         peep2_insn_data[i].insn = x;
-                         df_insn_rescan (x);
-                         df_simulate_one_insn_backwards (bb, x, live);
-                         bitmap_copy (peep2_insn_data[i].live_before, live);
-                       }
-                     x = PREV_INSN (x);
-                   }
-                 while (x != prev);
+         /* The buffer filled to the current maximum, so try to match.  */
 
-                 peep2_current = i;
-#endif
+         pos = peep2_buf_position (peep2_current + peep2_current_count);
+         peep2_insn_data[pos].insn = PEEP2_EOB;
+         COPY_REG_SET (peep2_insn_data[pos].live_before, live);
 
-                 /* If we generated a jump instruction, it won't have
-                    JUMP_LABEL set.  Recompute after we're done.  */
-                 for (x = attempt; x != before_try; x = PREV_INSN (x))
-                   if (JUMP_P (x))
-                     {
-                       do_rebuild_jump_labels = true;
-                       break;
-                     }
+         /* Match the peephole.  */
+         head = peep2_insn_data[peep2_current].insn;
+         attempt = peephole2_insns (PATTERN (head), head, &match_len);
+         if (attempt != NULL)
+           {
+             rtx last = peep2_attempt (bb, head, match_len, attempt);
+             if (last)
+               {
+                 peep2_update_life (bb, match_len, last, PREV_INSN (attempt));
+                 continue;
                }
            }
 
-         if (insn == BB_HEAD (bb))
-           break;
+         /* No match: advance the buffer by one insn.  */
+         peep2_current = peep2_buf_position (peep2_current + 1);
+         peep2_current_count--;
        }
     }
 
@@ -3295,7 +3509,7 @@ peephole2_optimize (void)
   for (i = 0; i < MAX_INSNS_PER_PEEP2 + 1; ++i)
     BITMAP_FREE (peep2_insn_data[i].live_before);
   BITMAP_FREE (live);
-  if (do_rebuild_jump_labels)
+  if (peep2_do_rebuild_jump_labels)
     rebuild_jump_labels (get_insns ());
 }
 #endif /* HAVE_peephole2 */
@@ -3500,7 +3714,7 @@ struct rtl_opt_pass pass_split_all_insns =
   NULL,                                 /* sub */
   NULL,                                 /* next */
   0,                                    /* static_pass_number */
-  0,                                    /* tv_id */
+  TV_NONE,                              /* tv_id */
   0,                                    /* properties_required */
   0,                                    /* properties_provided */
   0,                                    /* properties_destroyed */
@@ -3530,7 +3744,7 @@ struct rtl_opt_pass pass_split_after_reload =
   NULL,                                 /* sub */
   NULL,                                 /* next */
   0,                                    /* static_pass_number */
-  0,                                    /* tv_id */
+  TV_NONE,                              /* tv_id */
   0,                                    /* properties_required */
   0,                                    /* properties_provided */
   0,                                    /* properties_destroyed */
@@ -3574,7 +3788,7 @@ struct rtl_opt_pass pass_split_before_regstack =
   NULL,                                 /* sub */
   NULL,                                 /* next */
   0,                                    /* static_pass_number */
-  0,                                    /* tv_id */
+  TV_NONE,                              /* tv_id */
   0,                                    /* properties_required */
   0,                                    /* properties_provided */
   0,                                    /* properties_destroyed */
@@ -3612,7 +3826,7 @@ struct rtl_opt_pass pass_split_before_sched2 =
   NULL,                                 /* sub */
   NULL,                                 /* next */
   0,                                    /* static_pass_number */
-  0,                                    /* tv_id */
+  TV_NONE,                              /* tv_id */
   0,                                    /* properties_required */
   0,                                    /* properties_provided */
   0,                                    /* properties_destroyed */
@@ -3631,7 +3845,7 @@ gate_do_final_split (void)
   return 1;
 #else
   return 0;
-#endif 
+#endif
 }
 
 struct rtl_opt_pass pass_split_for_shorten_branches =
@@ -3644,7 +3858,7 @@ struct rtl_opt_pass pass_split_for_shorten_branches =
   NULL,                                 /* sub */
   NULL,                                 /* next */
   0,                                    /* static_pass_number */
-  0,                                    /* tv_id */
+  TV_NONE,                              /* tv_id */
   0,                                    /* properties_required */
   0,                                    /* properties_provided */
   0,                                    /* properties_destroyed */
@@ -3652,5 +3866,3 @@ struct rtl_opt_pass pass_split_for_shorten_branches =
   TODO_dump_func | TODO_verify_rtl_sharing /* todo_flags_finish */
  }
 };
-
-