OSDN Git Service

* arm.md (tlobits_cbranch): New pattern.
[pf3gnuchains/gcc-fork.git] / gcc / config / arm / arm.c
index 52566be..4e9ae1b 100644 (file)
@@ -1,6 +1,6 @@
 /* Output routines for GCC for ARM.
    Copyright (C) 1991, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001,
-   2002, 2003, 2004  Free Software Foundation, Inc.
+   2002, 2003, 2004, 2005, 2006  Free Software Foundation, Inc.
    Contributed by Pieter `Tiggr' Schoenmakers (rcpieter@win.tue.nl)
    and Martin Simmons (@harleqn.co.uk).
    More major hacks by Richard Earnshaw (rearnsha@arm.com).
@@ -19,8 +19,8 @@
 
    You should have received a copy of the GNU General Public License
    along with GCC; see the file COPYING.  If not, write to
-   the Free Software Foundation, 59 Temple Place - Suite 330,
-   Boston, MA 02111-1307, USA.  */
+   the Free Software Foundation, 51 Franklin Street, Fifth Floor,
+   Boston, MA 02110-1301, USA.  */
 
 #include "config.h"
 #include "system.h"
@@ -71,10 +71,9 @@ static int thumb_base_register_rtx_p (rtx, enum machine_mode, int);
 inline static int thumb_index_register_rtx_p (rtx, int);
 static int thumb_far_jump_used_p (void);
 static bool thumb_force_lr_save (void);
-static unsigned long thumb_compute_save_reg_mask (void);
 static int const_ok_for_op (HOST_WIDE_INT, enum rtx_code);
-static rtx emit_multi_reg_push (int);
 static rtx emit_sfm (int, int);
+static int arm_size_return_regs (void);
 #ifndef AOF_ASSEMBLER
 static bool arm_assemble_integer (rtx, unsigned int, int);
 #endif
@@ -84,13 +83,9 @@ static HOST_WIDE_INT int_log2 (HOST_WIDE_INT);
 static rtx is_jump_table (rtx);
 static const char *output_multi_immediate (rtx *, const char *, const char *,
                                           int, HOST_WIDE_INT);
-static void print_multi_reg (FILE *, const char *, int, int);
 static const char *shift_op (rtx, HOST_WIDE_INT *);
 static struct machine_function *arm_init_machine_status (void);
-static int number_of_first_bit_set (int);
-static void replace_symbols_in_block (tree, rtx, rtx);
 static void thumb_exit (FILE *, int);
-static void thumb_pushpop (FILE *, int, int, int *, int);
 static rtx is_jump_table (rtx);
 static HOST_WIDE_INT get_jump_table_size (rtx);
 static Mnode *move_minipool_fix_forward_ref (Mnode *, Mnode *, HOST_WIDE_INT);
@@ -114,6 +109,9 @@ static unsigned long arm_isr_value (tree);
 static unsigned long arm_compute_func_type (void);
 static tree arm_handle_fndecl_attribute (tree *, tree, tree, int, bool *);
 static tree arm_handle_isr_attribute (tree *, tree, tree, int, bool *);
+#if TARGET_DLLIMPORT_DECL_ATTRIBUTES
+static tree arm_handle_notshared_attribute (tree *, tree, tree, int, bool *);
+#endif
 static void arm_output_function_epilogue (FILE *, HOST_WIDE_INT);
 static void arm_output_function_prologue (FILE *, HOST_WIDE_INT);
 static void thumb_output_function_prologue (FILE *, HOST_WIDE_INT);
@@ -144,19 +142,26 @@ static rtx arm_expand_binop_builtin (enum insn_code, tree, rtx);
 static rtx arm_expand_unop_builtin (enum insn_code, tree, rtx, int);
 static rtx arm_expand_builtin (tree, rtx, rtx, enum machine_mode, int);
 static void emit_constant_insn (rtx cond, rtx pattern);
+static rtx emit_set_insn (rtx, rtx);
+static int arm_arg_partial_bytes (CUMULATIVE_ARGS *, enum machine_mode,
+                                 tree, bool);
 
 #ifdef OBJECT_FORMAT_ELF
-static void arm_elf_asm_named_section (const char *, unsigned int);
+static void arm_elf_asm_constructor (rtx, int);
 #endif
 #ifndef ARM_PE
 static void arm_encode_section_info (tree, rtx, int);
 #endif
+
+static void arm_file_end (void);
+
 #ifdef AOF_ASSEMBLER
 static void aof_globalize_label (FILE *, const char *);
 static void aof_dump_imports (FILE *);
 static void aof_dump_pic_table (FILE *);
 static void aof_file_start (void);
 static void aof_file_end (void);
+static void aof_asm_init_sections (void);
 #endif
 static rtx arm_struct_value_rtx (tree, int);
 static void arm_setup_incoming_varargs (CUMULATIVE_ARGS *, enum machine_mode,
@@ -166,6 +171,12 @@ static bool arm_pass_by_reference (CUMULATIVE_ARGS *,
 static bool arm_promote_prototypes (tree);
 static bool arm_default_short_enums (void);
 static bool arm_align_anon_bitfield (void);
+static bool arm_return_in_msb (tree);
+static bool arm_must_pass_in_stack (enum machine_mode, tree);
+#ifdef TARGET_UNWIND_INFO
+static void arm_unwind_emit (FILE *, rtx);
+static bool arm_output_ttype (rtx);
+#endif
 
 static tree arm_cxx_guard_type (void);
 static bool arm_cxx_guard_mask_bit (void);
@@ -173,8 +184,14 @@ static tree arm_get_cookie_size (tree);
 static bool arm_cookie_has_size (void);
 static bool arm_cxx_cdtor_returns_this (void);
 static bool arm_cxx_key_method_may_be_inline (void);
-static bool arm_cxx_export_class_data (void);
+static void arm_cxx_determine_class_data_visibility (tree);
+static bool arm_cxx_class_data_always_comdat (void);
+static bool arm_cxx_use_aeabi_atexit (void);
 static void arm_init_libfuncs (void);
+static bool arm_handle_option (size_t, const char *, int);
+static unsigned HOST_WIDE_INT arm_shift_truncation_mask (enum machine_mode);
+static bool arm_cannot_copy_insn_p (rtx);
+static bool arm_tls_symbol_p (rtx x);
 
 \f
 /* Initialize the GCC target structure.  */
@@ -186,6 +203,9 @@ static void arm_init_libfuncs (void);
 #undef  TARGET_ATTRIBUTE_TABLE
 #define TARGET_ATTRIBUTE_TABLE arm_attribute_table
 
+#undef TARGET_ASM_FILE_END
+#define TARGET_ASM_FILE_END arm_file_end
+
 #ifdef AOF_ASSEMBLER
 #undef  TARGET_ASM_BYTE_OP
 #define TARGET_ASM_BYTE_OP "\tDCB\t"
@@ -212,6 +232,11 @@ static void arm_init_libfuncs (void);
 #undef  TARGET_ASM_FUNCTION_EPILOGUE
 #define TARGET_ASM_FUNCTION_EPILOGUE arm_output_function_epilogue
 
+#undef  TARGET_DEFAULT_TARGET_FLAGS
+#define TARGET_DEFAULT_TARGET_FLAGS (TARGET_DEFAULT | MASK_SCHED_PROLOG)
+#undef  TARGET_HANDLE_OPTION
+#define TARGET_HANDLE_OPTION arm_handle_option
+
 #undef  TARGET_COMP_TYPE_ATTRIBUTES
 #define TARGET_COMP_TYPE_ATTRIBUTES arm_comp_type_attributes
 
@@ -248,6 +273,8 @@ static void arm_init_libfuncs (void);
 #undef  TARGET_ADDRESS_COST
 #define TARGET_ADDRESS_COST arm_address_cost
 
+#undef TARGET_SHIFT_TRUNCATION_MASK
+#define TARGET_SHIFT_TRUNCATION_MASK arm_shift_truncation_mask
 #undef TARGET_VECTOR_MODE_SUPPORTED_P
 #define TARGET_VECTOR_MODE_SUPPORTED_P arm_vector_mode_supported_p
 
@@ -270,6 +297,8 @@ static void arm_init_libfuncs (void);
 #define TARGET_PROMOTE_PROTOTYPES arm_promote_prototypes
 #undef TARGET_PASS_BY_REFERENCE
 #define TARGET_PASS_BY_REFERENCE arm_pass_by_reference
+#undef TARGET_ARG_PARTIAL_BYTES
+#define TARGET_ARG_PARTIAL_BYTES arm_arg_partial_bytes
 
 #undef TARGET_STRUCT_VALUE_RTX
 #define TARGET_STRUCT_VALUE_RTX arm_struct_value_rtx
@@ -301,8 +330,44 @@ static void arm_init_libfuncs (void);
 #undef TARGET_CXX_KEY_METHOD_MAY_BE_INLINE
 #define TARGET_CXX_KEY_METHOD_MAY_BE_INLINE arm_cxx_key_method_may_be_inline
 
-#undef TARGET_CXX_EXPORT_CLASS_DATA
-#define TARGET_CXX_EXPORT_CLASS_DATA arm_cxx_export_class_data
+#undef TARGET_CXX_USE_AEABI_ATEXIT
+#define TARGET_CXX_USE_AEABI_ATEXIT arm_cxx_use_aeabi_atexit
+
+#undef TARGET_CXX_DETERMINE_CLASS_DATA_VISIBILITY
+#define TARGET_CXX_DETERMINE_CLASS_DATA_VISIBILITY \
+  arm_cxx_determine_class_data_visibility
+
+#undef TARGET_CXX_CLASS_DATA_ALWAYS_COMDAT
+#define TARGET_CXX_CLASS_DATA_ALWAYS_COMDAT arm_cxx_class_data_always_comdat
+
+#undef TARGET_RETURN_IN_MSB
+#define TARGET_RETURN_IN_MSB arm_return_in_msb
+
+#undef TARGET_MUST_PASS_IN_STACK
+#define TARGET_MUST_PASS_IN_STACK arm_must_pass_in_stack
+
+#ifdef TARGET_UNWIND_INFO
+#undef TARGET_UNWIND_EMIT
+#define TARGET_UNWIND_EMIT arm_unwind_emit
+
+/* EABI unwinding tables use a different format for the typeinfo tables.  */
+#undef TARGET_ASM_TTYPE
+#define TARGET_ASM_TTYPE arm_output_ttype
+
+#undef TARGET_ARM_EABI_UNWINDER
+#define TARGET_ARM_EABI_UNWINDER true
+#endif /* TARGET_UNWIND_INFO */
+
+#undef  TARGET_CANNOT_COPY_INSN_P
+#define TARGET_CANNOT_COPY_INSN_P arm_cannot_copy_insn_p
+
+#ifdef HAVE_AS_TLS
+#undef TARGET_HAVE_TLS
+#define TARGET_HAVE_TLS true
+#endif
+
+#undef TARGET_CANNOT_FORCE_CONST_MEM
+#define TARGET_CANNOT_FORCE_CONST_MEM arm_tls_referenced_p
 
 struct gcc_target targetm = TARGET_INITIALIZER;
 \f
@@ -341,22 +406,16 @@ enum float_abi_type arm_float_abi;
 /* Which ABI to use.  */
 enum arm_abi_type arm_abi;
 
-/* Set by the -mfpu=... option.  */
-const char * target_fpu_name = NULL;
-
-/* Set by the -mfpe=... option.  */
-const char * target_fpe_name = NULL;
-
-/* Set by the -mfloat-abi=... option.  */
-const char * target_float_abi_name = NULL;
-
-/* Set by the -mabi=... option.  */
-const char * target_abi_name = NULL;
+/* Which thread pointer model to use.  */
+enum arm_tp_type target_thread_pointer = TP_AUTO;
 
 /* Used to parse -mstructure_size_boundary command line option.  */
-const char * structure_size_string = NULL;
 int    arm_structure_size_boundary = DEFAULT_STRUCTURE_SIZE_BOUNDARY;
 
+/* Used for Thumb call_via trampolines.  */
+rtx thumb_call_via_label[14];
+static int thumb_call_reg_needed;
+
 /* Bit values used to identify processor capabilities.  */
 #define FL_CO_PROC    (1 << 0)        /* Has external co-processor bus */
 #define FL_ARCH3M     (1 << 1)        /* Extended multiply */
@@ -373,6 +432,9 @@ int    arm_structure_size_boundary = DEFAULT_STRUCTURE_SIZE_BOUNDARY;
 #define FL_ARCH6      (1 << 12)       /* Architecture rel 6.  Adds
                                         media instructions.  */
 #define FL_VFPV2      (1 << 13)       /* Vector Floating Point V2.  */
+#define FL_WBUF              (1 << 14)       /* Schedule for write buffer ops.
+                                        Note: ARM6 & 7 derivatives only.  */
+#define FL_ARCH6K     (1 << 15)       /* Architecture rel 6 K extensions.  */
 
 #define FL_IWMMXT     (1 << 29)              /* XScale v2 or "Intel Wireless MMX technology".  */
 
@@ -388,6 +450,9 @@ int    arm_structure_size_boundary = DEFAULT_STRUCTURE_SIZE_BOUNDARY;
 #define FL_FOR_ARCH5TEJ        FL_FOR_ARCH5TE
 #define FL_FOR_ARCH6   (FL_FOR_ARCH5TE | FL_ARCH6)
 #define FL_FOR_ARCH6J  FL_FOR_ARCH6
+#define FL_FOR_ARCH6K  (FL_FOR_ARCH6 | FL_ARCH6K)
+#define FL_FOR_ARCH6Z  FL_FOR_ARCH6
+#define FL_FOR_ARCH6ZK FL_FOR_ARCH6K
 
 /* The bits in this mask specify which
    instructions we are allowed to generate.  */
@@ -418,11 +483,14 @@ int arm_arch5e = 0;
 /* Nonzero if this chip supports the ARM Architecture 6 extensions.  */
 int arm_arch6 = 0;
 
+/* Nonzero if this chip supports the ARM 6K extensions.  */
+int arm_arch6k = 0;
+
 /* Nonzero if this chip can benefit from load scheduling.  */
 int arm_ld_sched = 0;
 
 /* Nonzero if this chip is a StrongARM.  */
-int arm_is_strong = 0;
+int arm_tune_strongarm = 0;
 
 /* Nonzero if this chip is a Cirrus variant.  */
 int arm_arch_cirrus = 0;
@@ -436,8 +504,9 @@ int arm_arch_xscale = 0;
 /* Nonzero if tuning for XScale  */
 int arm_tune_xscale = 0;
 
-/* Nonzero if this chip is an ARM6 or an ARM7.  */
-int arm_is_6_or_7 = 0;
+/* Nonzero if we want to tune for stores that access the write-buffer.
+   This typically means an ARM6 or ARM7 with MMU or MPU.  */
+int arm_tune_wbuf = 0;
 
 /* Nonzero if generating Thumb instructions.  */
 int thumb_code = 0;
@@ -455,8 +524,7 @@ int arm_cpp_interwork = 0;
 enum machine_mode output_memory_reference_mode;
 
 /* The register number to be used for the PIC offset register.  */
-const char * arm_pic_register_string = NULL;
-int arm_pic_register = INVALID_REGNUM;
+unsigned arm_pic_register = INVALID_REGNUM;
 
 /* Set to 1 when a return insn is output, this means that the epilogue
    is not needed.  */
@@ -500,8 +568,8 @@ struct processors
 static const struct processors all_cores[] =
 {
   /* ARM Cores */
-#define ARM_CORE(NAME, ARCH, FLAGS, COSTS) \
-  {#NAME, arm_none, #ARCH, FLAGS | FL_FOR_ARCH##ARCH, arm_##COSTS##_rtx_costs},
+#define ARM_CORE(NAME, IDENT, ARCH, FLAGS, COSTS) \
+  {NAME, arm_none, #ARCH, FLAGS | FL_FOR_ARCH##ARCH, arm_##COSTS##_rtx_costs},
 #include "arm-cores.def"
 #undef ARM_CORE
   {NULL, arm_none, NULL, 0, NULL}
@@ -527,16 +595,26 @@ static const struct processors all_architectures[] =
   {"armv5te", arm1026ejs, "5TE", FL_CO_PROC |             FL_FOR_ARCH5TE, NULL},
   {"armv6",   arm1136js,  "6",   FL_CO_PROC |             FL_FOR_ARCH6, NULL},
   {"armv6j",  arm1136js,  "6J",  FL_CO_PROC |             FL_FOR_ARCH6J, NULL},
+  {"armv6k",  mpcore,    "6K",  FL_CO_PROC |             FL_FOR_ARCH6K, NULL},
+  {"armv6z",  arm1176jzs, "6Z",  FL_CO_PROC |             FL_FOR_ARCH6Z, NULL},
+  {"armv6zk", arm1176jzs, "6ZK", FL_CO_PROC |             FL_FOR_ARCH6ZK, NULL},
   {"ep9312",  ep9312,     "4T",  FL_LDSCHED | FL_CIRRUS | FL_FOR_ARCH4, NULL},
   {"iwmmxt",  iwmmxt,     "5TE", FL_LDSCHED | FL_STRONG | FL_FOR_ARCH5TE | FL_XSCALE | FL_IWMMXT , NULL},
   {NULL, arm_none, NULL, 0 , NULL}
 };
 
+struct arm_cpu_select
+{
+  const char *              string;
+  const char *              name;
+  const struct processors * processors;
+};
+
 /* This is a magic structure.  The 'string' field is magically filled in
    with a pointer to the value specified by the user on the command line
    assuming that the user has specified such a value.  */
 
-struct arm_cpu_select arm_select[] =
+static struct arm_cpu_select arm_select[] =
 {
   /* string      name            processors  */
   { NULL,      "-mcpu=",       all_cores  },
@@ -544,6 +622,10 @@ struct arm_cpu_select arm_select[] =
   { NULL,      "-mtune=",      all_cores }
 };
 
+/* Defines representing the indexes into the above table.  */
+#define ARM_OPT_SET_CPU 0
+#define ARM_OPT_SET_ARCH 1
+#define ARM_OPT_SET_TUNE 2
 
 /* The name of the proprocessor macro to define for this architecture.  */
 
@@ -556,7 +638,7 @@ struct fpu_desc
 };
 
 
-/* Available values for for -mfpu=.  */
+/* Available values for -mfpu=.  */
 
 static const struct fpu_desc all_fpus[] =
 {
@@ -614,9 +696,28 @@ static const struct abi_name arm_all_abis[] =
   {"apcs-gnu",    ARM_ABI_APCS},
   {"atpcs",   ARM_ABI_ATPCS},
   {"aapcs",   ARM_ABI_AAPCS},
-  {"iwmmxt",  ARM_ABI_IWMMXT}
+  {"iwmmxt",  ARM_ABI_IWMMXT},
+  {"aapcs-linux",   ARM_ABI_AAPCS_LINUX}
+};
+
+/* Supported TLS relocations.  */
+
+enum tls_reloc {
+  TLS_GD32,
+  TLS_LDM32,
+  TLS_LDO32,
+  TLS_IE32,
+  TLS_LE32
 };
 
+/* Emit an insn that's a simple single-set.  Both the operands must be known
+   to be valid.  */
+inline static rtx
+emit_set_insn (rtx x, rtx y)
+{
+  return emit_insn (gen_rtx_SET (VOIDmode, x, y));
+}
+
 /* Return the number of bits set in VALUE.  */
 static unsigned
 bit_count (unsigned long value)
@@ -632,7 +733,7 @@ bit_count (unsigned long value)
   return count;
 }
 
-/* Set up library functions uqniue to ARM.  */
+/* Set up library functions unique to ARM.  */
 
 static void
 arm_init_libfuncs (void)
@@ -652,7 +753,7 @@ arm_init_libfuncs (void)
   set_optab_libfunc (neg_optab, DFmode, "__aeabi_dneg");
   set_optab_libfunc (sub_optab, DFmode, "__aeabi_dsub");
 
-  /* Double-precision comparisions.  Table 3.  */
+  /* Double-precision comparisons.  Table 3.  */
   set_optab_libfunc (eq_optab, DFmode, "__aeabi_dcmpeq");
   set_optab_libfunc (ne_optab, DFmode, NULL);
   set_optab_libfunc (lt_optab, DFmode, "__aeabi_dcmplt");
@@ -668,7 +769,7 @@ arm_init_libfuncs (void)
   set_optab_libfunc (neg_optab, SFmode, "__aeabi_fneg");
   set_optab_libfunc (sub_optab, SFmode, "__aeabi_fsub");
 
-  /* Single-precision comparisions.  Table 5.  */
+  /* Single-precision comparisons.  Table 5.  */
   set_optab_libfunc (eq_optab, SFmode, "__aeabi_fcmpeq");
   set_optab_libfunc (ne_optab, SFmode, NULL);
   set_optab_libfunc (lt_optab, SFmode, "__aeabi_fcmplt");
@@ -691,7 +792,7 @@ arm_init_libfuncs (void)
   set_conv_libfunc (trunc_optab, SFmode, DFmode, "__aeabi_d2f");
   set_conv_libfunc (sext_optab, DFmode, SFmode, "__aeabi_f2d");
 
-  /* Integer to floating-point converisons.  Table 8.  */
+  /* Integer to floating-point conversions.  Table 8.  */
   set_conv_libfunc (sfloat_optab, DFmode, SImode, "__aeabi_i2d");
   set_conv_libfunc (ufloat_optab, DFmode, SImode, "__aeabi_ui2d");
   set_conv_libfunc (sfloat_optab, DFmode, DImode, "__aeabi_l2d");
@@ -726,8 +827,50 @@ arm_init_libfuncs (void)
      routines.  */
   set_optab_libfunc (sdiv_optab, DImode, "__aeabi_ldivmod");
   set_optab_libfunc (udiv_optab, DImode, "__aeabi_uldivmod");
-  set_optab_libfunc (sdiv_optab, SImode, "__aeabi_idivmod");
-  set_optab_libfunc (udiv_optab, SImode, "__aeabi_uidivmod");
+
+  /* For SImode division the ABI provides div-without-mod routines,
+     which are faster.  */
+  set_optab_libfunc (sdiv_optab, SImode, "__aeabi_idiv");
+  set_optab_libfunc (udiv_optab, SImode, "__aeabi_uidiv");
+
+  /* We don't have mod libcalls.  Fortunately gcc knows how to use the
+     divmod libcalls instead.  */
+  set_optab_libfunc (smod_optab, DImode, NULL);
+  set_optab_libfunc (umod_optab, DImode, NULL);
+  set_optab_libfunc (smod_optab, SImode, NULL);
+  set_optab_libfunc (umod_optab, SImode, NULL);
+}
+
+/* Implement TARGET_HANDLE_OPTION.  */
+
+static bool
+arm_handle_option (size_t code, const char *arg, int value ATTRIBUTE_UNUSED)
+{
+  switch (code)
+    {
+    case OPT_march_:
+      arm_select[1].string = arg;
+      return true;
+
+    case OPT_mcpu_:
+      arm_select[0].string = arg;
+      return true;
+
+    case OPT_mhard_float:
+      target_float_abi_name = "hard";
+      return true;
+
+    case OPT_msoft_float:
+      target_float_abi_name = "soft";
+      return true;
+
+    case OPT_mtune_:
+      arm_select[2].string = arg;
+      return true;
+
+    default:
+      return true;
+    }
 }
 
 /* Fix up any incompatible options that the user has specified.
@@ -736,6 +879,7 @@ void
 arm_override_options (void)
 {
   unsigned i;
+  enum processor_type target_arch_cpu = arm_none;
 
   /* Set up the flags based on the cpu/architecture selected by the user.  */
   for (i = ARRAY_SIZE (arm_select); i--;)
@@ -750,29 +894,32 @@ arm_override_options (void)
             if (streq (ptr->string, sel->name))
               {
                /* Set the architecture define.  */
-               if (i != 2)
+               if (i != ARM_OPT_SET_TUNE)
                  sprintf (arm_arch_name, "__ARM_ARCH_%s__", sel->arch);
 
                /* Determine the processor core for which we should
                   tune code-generation.  */
                if (/* -mcpu= is a sensible default.  */
-                   i == 0
-                   /* If -march= is used, and -mcpu= has not been used,
-                      assume that we should tune for a representative
-                      CPU from that architecture.  */
-                   || i == 1
+                   i == ARM_OPT_SET_CPU
                    /* -mtune= overrides -mcpu= and -march=.  */
-                   || i == 2)
+                   || i == ARM_OPT_SET_TUNE)
                  arm_tune = (enum processor_type) (sel - ptr->processors);
 
-               if (i != 2)
+               /* Remember the CPU associated with this architecture.
+                  If no other option is used to set the CPU type,
+                  we'll use this to guess the most suitable tuning
+                  options.  */
+               if (i == ARM_OPT_SET_ARCH)
+                 target_arch_cpu = sel->core;
+
+               if (i != ARM_OPT_SET_TUNE)
                  {
                    /* If we have been given an architecture and a processor
                       make sure that they are compatible.  We only generate
                       a warning though, and we prefer the CPU over the
                       architecture.  */
                    if (insn_flags != 0 && (insn_flags ^ sel->flags))
-                     warning ("switch -mcpu=%s conflicts with -march= switch",
+                     warning (0, "switch -mcpu=%s conflicts with -march= switch",
                               ptr->string);
 
                    insn_flags = sel->flags;
@@ -786,6 +933,10 @@ arm_override_options (void)
         }
     }
 
+  /* Guess the tuning options from the architecture if necessary.  */
+  if (arm_tune == arm_none)
+    arm_tune = target_arch_cpu;
+
   /* If the user did not specify a processor, choose one for them.  */
   if (insn_flags == 0)
     {
@@ -863,10 +1014,8 @@ arm_override_options (void)
                      }
                  }
 
-             if (best_fit == NULL)
-               abort ();
-             else
-               sel = best_fit;
+             gcc_assert (best_fit);
+             sel = best_fit;
            }
 
          insn_flags = sel->flags;
@@ -878,8 +1027,7 @@ arm_override_options (void)
 
   /* The processor for which we should tune should now have been
      chosen.  */
-  if (arm_tune == arm_none)
-    abort ();
+  gcc_assert (arm_tune != arm_none);
 
   tune_flags = all_cores[(int)arm_tune].flags;
   if (optimize_size)
@@ -891,64 +1039,68 @@ arm_override_options (void)
      other command line choices.  */
   if (TARGET_INTERWORK && !(insn_flags & FL_THUMB))
     {
-      warning ("target CPU does not support interworking" );
-      target_flags &= ~ARM_FLAG_INTERWORK;
+      warning (0, "target CPU does not support interworking" );
+      target_flags &= ~MASK_INTERWORK;
     }
 
   if (TARGET_THUMB && !(insn_flags & FL_THUMB))
     {
-      warning ("target CPU does not support THUMB instructions");
-      target_flags &= ~ARM_FLAG_THUMB;
+      warning (0, "target CPU does not support THUMB instructions");
+      target_flags &= ~MASK_THUMB;
     }
 
   if (TARGET_APCS_FRAME && TARGET_THUMB)
     {
-      /* warning ("ignoring -mapcs-frame because -mthumb was used"); */
-      target_flags &= ~ARM_FLAG_APCS_FRAME;
+      /* warning (0, "ignoring -mapcs-frame because -mthumb was used"); */
+      target_flags &= ~MASK_APCS_FRAME;
     }
 
+  /* Callee super interworking implies thumb interworking.  Adding
+     this to the flags here simplifies the logic elsewhere.  */
+  if (TARGET_THUMB && TARGET_CALLEE_INTERWORKING)
+      target_flags |= MASK_INTERWORK;
+
   /* TARGET_BACKTRACE calls leaf_function_p, which causes a crash if done
      from here where no function is being compiled currently.  */
-  if ((target_flags & (THUMB_FLAG_LEAF_BACKTRACE | THUMB_FLAG_BACKTRACE))
-      && TARGET_ARM)
-    warning ("enabling backtrace support is only meaningful when compiling for the Thumb");
+  if ((TARGET_TPCS_FRAME || TARGET_TPCS_LEAF_FRAME) && TARGET_ARM)
+    warning (0, "enabling backtrace support is only meaningful when compiling for the Thumb");
 
   if (TARGET_ARM && TARGET_CALLEE_INTERWORKING)
-    warning ("enabling callee interworking support is only meaningful when compiling for the Thumb");
+    warning (0, "enabling callee interworking support is only meaningful when compiling for the Thumb");
 
   if (TARGET_ARM && TARGET_CALLER_INTERWORKING)
-    warning ("enabling caller interworking support is only meaningful when compiling for the Thumb");
+    warning (0, "enabling caller interworking support is only meaningful when compiling for the Thumb");
 
   if (TARGET_APCS_STACK && !TARGET_APCS_FRAME)
     {
-      warning ("-mapcs-stack-check incompatible with -mno-apcs-frame");
-      target_flags |= ARM_FLAG_APCS_FRAME;
+      warning (0, "-mapcs-stack-check incompatible with -mno-apcs-frame");
+      target_flags |= MASK_APCS_FRAME;
     }
 
   if (TARGET_POKE_FUNCTION_NAME)
-    target_flags |= ARM_FLAG_APCS_FRAME;
+    target_flags |= MASK_APCS_FRAME;
 
   if (TARGET_APCS_REENT && flag_pic)
     error ("-fpic and -mapcs-reent are incompatible");
 
   if (TARGET_APCS_REENT)
-    warning ("APCS reentrant code not supported.  Ignored");
+    warning (0, "APCS reentrant code not supported.  Ignored");
 
   /* If this target is normally configured to use APCS frames, warn if they
      are turned off and debugging is turned on.  */
   if (TARGET_ARM
       && write_symbols != NO_DEBUG
       && !TARGET_APCS_FRAME
-      && (TARGET_DEFAULT & ARM_FLAG_APCS_FRAME))
-    warning ("-g with -mno-apcs-frame may not give sensible debugging");
+      && (TARGET_DEFAULT & MASK_APCS_FRAME))
+    warning (0, "-g with -mno-apcs-frame may not give sensible debugging");
 
   /* If stack checking is disabled, we can use r10 as the PIC register,
      which keeps r9 available.  */
-  if (flag_pic)
+  if (flag_pic && TARGET_SINGLE_PIC_BASE)
     arm_pic_register = TARGET_APCS_STACK ? 9 : 10;
 
   if (TARGET_APCS_FLOAT)
-    warning ("passing floating point arguments in fp regs not yet supported");
+    warning (0, "passing floating point arguments in fp regs not yet supported");
 
   /* Initialize boolean versions of the flags, for use in the arm.md file.  */
   arm_arch3m = (insn_flags & FL_ARCH3M) != 0;
@@ -957,14 +1109,14 @@ arm_override_options (void)
   arm_arch5 = (insn_flags & FL_ARCH5) != 0;
   arm_arch5e = (insn_flags & FL_ARCH5E) != 0;
   arm_arch6 = (insn_flags & FL_ARCH6) != 0;
+  arm_arch6k = (insn_flags & FL_ARCH6K) != 0;
   arm_arch_xscale = (insn_flags & FL_XSCALE) != 0;
   arm_arch_cirrus = (insn_flags & FL_CIRRUS) != 0;
 
   arm_ld_sched = (tune_flags & FL_LDSCHED) != 0;
-  arm_is_strong = (tune_flags & FL_STRONG) != 0;
+  arm_tune_strongarm = (tune_flags & FL_STRONG) != 0;
   thumb_code = (TARGET_ARM == 0);
-  arm_is_6_or_7 = (((tune_flags & (FL_MODE26 | FL_MODE32))
-                   && !(tune_flags & FL_ARCH4))) != 0;
+  arm_tune_wbuf = (tune_flags & FL_WBUF) != 0;
   arm_tune_xscale = (tune_flags & FL_XSCALE) != 0;
   arm_arch_iwmmxt = (insn_flags & FL_IWMMXT) != 0;
 
@@ -977,7 +1129,7 @@ arm_override_options (void)
     arm_cpp_interwork = 1;
 
   if (arm_arch5)
-    target_flags &= ~ARM_FLAG_INTERWORK;
+    target_flags &= ~MASK_INTERWORK;
 
   if (target_abi_name)
     {
@@ -1051,8 +1203,7 @@ arm_override_options (void)
       else
        arm_fpu_tune = arm_fpu_arch;
       arm_fp_model = fp_model_for_fpu[arm_fpu_arch];
-      if (arm_fp_model == ARM_FP_MODEL_UNKNOWN)
-       abort ();
+      gcc_assert (arm_fp_model != ARM_FP_MODEL_UNKNOWN);
     }
 
   if (target_float_abi_name != NULL)
@@ -1071,13 +1222,7 @@ arm_override_options (void)
               target_float_abi_name);
     }
   else
-    {
-      /* Use soft-float target flag.  */
-      if (target_flags & ARM_FLAG_SOFT_FLOAT)
-       arm_float_abi = ARM_FLOAT_ABI_SOFT;
-      else
-       arm_float_abi = ARM_FLOAT_ABI_HARD;
-    }
+    arm_float_abi = TARGET_DEFAULT_FLOAT_ABI;
 
   if (arm_float_abi == ARM_FLOAT_ABI_HARD && TARGET_VFP)
     sorry ("-mfloat-abi=hard and VFP");
@@ -1094,8 +1239,32 @@ arm_override_options (void)
       && (tune_flags & FL_MODE32) == 0)
     flag_schedule_insns = flag_schedule_insns_after_reload = 0;
 
+  if (target_thread_switch)
+    {
+      if (strcmp (target_thread_switch, "soft") == 0)
+       target_thread_pointer = TP_SOFT;
+      else if (strcmp (target_thread_switch, "auto") == 0)
+       target_thread_pointer = TP_AUTO;
+      else if (strcmp (target_thread_switch, "cp15") == 0)
+       target_thread_pointer = TP_CP15;
+      else
+       error ("invalid thread pointer option: -mtp=%s", target_thread_switch);
+    }
+
+  /* Use the cp15 method if it is available.  */
+  if (target_thread_pointer == TP_AUTO)
+    {
+      if (arm_arch6k && !TARGET_THUMB)
+       target_thread_pointer = TP_CP15;
+      else
+       target_thread_pointer = TP_SOFT;
+    }
+
+  if (TARGET_HARD_TP && TARGET_THUMB)
+    error ("can not use -mtp=cp15 with -mthumb");
+
   /* Override the default structure alignment for AAPCS ABI.  */
-  if (arm_abi == ARM_ABI_AAPCS)
+  if (TARGET_AAPCS_BASED)
     arm_structure_size_boundary = 8;
 
   if (structure_size_string != NULL)
@@ -1106,7 +1275,7 @@ arm_override_options (void)
          || (ARM_DOUBLEWORD_ALIGN && size == 64))
        arm_structure_size_boundary = size;
       else
-       warning ("structure size boundary can only be set to %s",
+       warning (0, "structure size boundary can only be set to %s",
                 ARM_DOUBLEWORD_ALIGN ? "8, 32 or 64": "8 or 32");
     }
 
@@ -1115,7 +1284,7 @@ arm_override_options (void)
       int pic_register = decode_reg_name (arm_pic_register_string);
 
       if (!flag_pic)
-       warning ("-mpic-register= is useless without -fpic");
+       warning (0, "-mpic-register= is useless without -fpic");
 
       /* Prevent the user from choosing an obviously stupid PIC register.  */
       else if (pic_register < 0 || call_used_regs[pic_register]
@@ -1135,10 +1304,6 @@ arm_override_options (void)
 
   if (optimize_size)
     {
-      /* There's some dispute as to whether this should be 1 or 2.  However,
-        experiments seem to show that in pathological cases a setting of
-        1 degrades less severely than a setting of 2.  This could change if
-        other parts of the compiler change their behavior.  */
       arm_constant_limit = 1;
 
       /* If optimizing for size, bump the number of instructions that we
@@ -1150,7 +1315,7 @@ arm_override_options (void)
       /* For processors with load scheduling, it never costs more than
          2 cycles to load a constant, and the load scheduler may well
         reduce that to 1.  */
-      if (tune_flags & FL_LDSCHED)
+      if (arm_ld_sched)
         arm_constant_limit = 1;
 
       /* On XScale the longer latency of a load makes it more difficult
@@ -1161,7 +1326,7 @@ arm_override_options (void)
 
       /* StrongARM has early execution of branches, so a sequence
          that is worth skipping is shorter.  */
-      if (arm_is_strong)
+      if (arm_tune_strongarm)
         max_insns_skipped = 3;
     }
 
@@ -1241,15 +1406,16 @@ arm_compute_func_type (void)
   tree a;
   tree attr;
 
-  if (TREE_CODE (current_function_decl) != FUNCTION_DECL)
-    abort ();
+  gcc_assert (TREE_CODE (current_function_decl) == FUNCTION_DECL);
 
   /* Decide if the current function is volatile.  Such functions
      never return, and many memory cycles can be saved by not storing
      register values that will never be needed again.  This optimization
      was added to speed up context switching in a kernel application.  */
   if (optimize > 0
-      && TREE_NOTHROW (current_function_decl)
+      && (TREE_NOTHROW (current_function_decl)
+          || !(flag_unwind_tables
+               || (flag_exceptions && !USING_SJLJ_EXCEPTIONS)))
       && TREE_THIS_VOLATILE (current_function_decl))
     type |= ARM_FT_VOLATILE;
 
@@ -1350,13 +1516,14 @@ use_return_insn (int iscond, rtx sibling)
       if (!call_used_regs[3])
        return 0;
 
-      /* ... that it isn't being used for a return value (always true
-        until we implement return-in-regs), or for a tail-call
-        argument ...  */
+      /* ... that it isn't being used for a return value ... */
+      if (arm_size_return_regs () >= (4 * UNITS_PER_WORD))
+       return 0;
+
+      /* ... or for a tail-call argument ...  */
       if (sibling)
        {
-         if (GET_CODE (sibling) != CALL_INSN)
-           abort ();
+         gcc_assert (GET_CODE (sibling) == CALL_INSN);
 
          if (find_regno_fusage (sibling, USE, 3))
            return 0;
@@ -1375,14 +1542,16 @@ use_return_insn (int iscond, rtx sibling)
 
   /* On StrongARM, conditional returns are expensive if they aren't
      taken and multiple registers have been stacked.  */
-  if (iscond && arm_is_strong)
+  if (iscond && arm_tune_strongarm)
     {
       /* Conditional return when just the LR is stored is a simple
         conditional-load instruction, that's not expensive.  */
       if (saved_int_regs != 0 && saved_int_regs != (1 << LR_REGNUM))
        return 0;
 
-      if (flag_pic && regs_ever_live[PIC_OFFSET_TABLE_REGNUM])
+      if (flag_pic 
+         && arm_pic_register != INVALID_REGNUM
+         && regs_ever_live[PIC_OFFSET_TABLE_REGNUM])
        return 0;
     }
 
@@ -1417,7 +1586,7 @@ use_return_insn (int iscond, rtx sibling)
 int
 const_ok_for_arm (HOST_WIDE_INT i)
 {
-  unsigned HOST_WIDE_INT mask = ~(unsigned HOST_WIDE_INT)0xFF;
+  int lowbit;
 
   /* For machines with >32 bit HOST_WIDE_INT, the bits above bit 31 must
      be all zero, or all one.  */
@@ -1427,19 +1596,24 @@ const_ok_for_arm (HOST_WIDE_INT i)
              & ~(unsigned HOST_WIDE_INT) 0xffffffff)))
     return FALSE;
 
-  /* Fast return for 0 and powers of 2 */
-  if ((i & (i - 1)) == 0)
+  i &= (unsigned HOST_WIDE_INT) 0xffffffff;
+
+  /* Fast return for 0 and small values.  We must do this for zero, since
+     the code below can't handle that one case.  */
+  if ((i & ~(unsigned HOST_WIDE_INT) 0xff) == 0)
     return TRUE;
 
-  do
-    {
-      if ((i & mask & (unsigned HOST_WIDE_INT) 0xffffffff) == 0)
-        return TRUE;
-      mask =
-         (mask << 2) | ((mask & (unsigned HOST_WIDE_INT) 0xffffffff)
-                         >> (32 - 2)) | ~(unsigned HOST_WIDE_INT) 0xffffffff;
-    }
-  while (mask != ~(unsigned HOST_WIDE_INT) 0xFF);
+  /* Get the number of trailing zeros, rounded down to the nearest even
+     number.  */
+  lowbit = (ffs ((int) i) - 1) & ~1;
+
+  if ((i & ~(((unsigned HOST_WIDE_INT) 0xff) << lowbit)) == 0)
+    return TRUE;
+  else if (lowbit <= 4
+          && ((i & ~0xc000003f) == 0
+              || (i & ~0xf000000f) == 0
+              || (i & ~0xfc000003) == 0))
+    return TRUE;
 
   return FALSE;
 }
@@ -1465,7 +1639,7 @@ const_ok_for_op (HOST_WIDE_INT i, enum rtx_code code)
       return const_ok_for_arm (ARM_SIGN_EXTEND (~i));
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 }
 
@@ -1513,22 +1687,21 @@ arm_split_constant (enum rtx_code code, enum machine_mode mode, rtx insn,
            {
              /* Currently SET is the only monadic value for CODE, all
                 the rest are diadic.  */
-             emit_insn (gen_rtx_SET (VOIDmode, target, GEN_INT (val)));
+             emit_set_insn (target, GEN_INT (val));
              return 1;
            }
          else
            {
              rtx temp = subtargets ? gen_reg_rtx (mode) : target;
 
-             emit_insn (gen_rtx_SET (VOIDmode, temp, GEN_INT (val)));
+             emit_set_insn (temp, GEN_INT (val));
              /* For MINUS, the value is subtracted from, since we never
                 have subtraction of a constant.  */
              if (code == MINUS)
-               emit_insn (gen_rtx_SET (VOIDmode, target,
-                                       gen_rtx_MINUS (mode, temp, source)));
+               emit_set_insn (target, gen_rtx_MINUS (mode, temp, source));
              else
-               emit_insn (gen_rtx_SET (VOIDmode, target,
-                                       gen_rtx_fmt_ee (code, mode, source, temp)));
+               emit_set_insn (target,
+                              gen_rtx_fmt_ee (code, mode, source, temp));
              return 2;
            }
        }
@@ -1665,17 +1838,15 @@ arm_gen_constant (enum rtx_code code, enum machine_mode mode, rtx cond,
                                gen_rtx_SET (VOIDmode, target, source));
          return 1;
        }
-      if (remainder == 0xffffffff)
-       {
-         if (generate)
-           emit_constant_insn (cond,
-                               gen_rtx_SET (VOIDmode, target,
-                                            gen_rtx_NOT (mode, source)));
-         return 1;
-       }
 
-      /* We don't know how to handle this yet below.  */
-      abort ();
+      /* We don't know how to handle other cases yet.  */
+      gcc_assert (remainder == 0xffffffff);
+
+      if (generate)
+       emit_constant_insn (cond,
+                           gen_rtx_SET (VOIDmode, target,
+                                        gen_rtx_NOT (mode, source)));
+      return 1;
 
     case MINUS:
       /* We treat MINUS as (val - source), since (source - val) is always
@@ -1702,7 +1873,7 @@ arm_gen_constant (enum rtx_code code, enum machine_mode mode, rtx cond,
       break;
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 
   /* If we can do it in one insn get out quickly.  */
@@ -1797,6 +1968,41 @@ arm_gen_constant (enum rtx_code code, enum machine_mode mode, rtx cond,
            }
        }
 
+      /* See if we can calculate the value as the difference between two
+        valid immediates.  */
+      if (clear_sign_bit_copies + clear_zero_bit_copies <= 16)
+       {
+         int topshift = clear_sign_bit_copies & ~1;
+
+         temp1 = ARM_SIGN_EXTEND ((remainder + (0x00800000 >> topshift))
+                                  & (0xff000000 >> topshift));
+
+         /* If temp1 is zero, then that means the 9 most significant
+            bits of remainder were 1 and we've caused it to overflow.
+            When topshift is 0 we don't need to do anything since we
+            can borrow from 'bit 32'.  */
+         if (temp1 == 0 && topshift != 0)
+           temp1 = 0x80000000 >> (topshift - 1);
+
+         temp2 = ARM_SIGN_EXTEND (temp1 - remainder);
+
+         if (const_ok_for_arm (temp2))
+           {
+             if (generate)
+               {
+                 rtx new_src = subtargets ? gen_reg_rtx (mode) : target;
+                 emit_constant_insn (cond,
+                                     gen_rtx_SET (VOIDmode, new_src,
+                                                  GEN_INT (temp1)));
+                 emit_constant_insn (cond,
+                                     gen_addsi3 (target, new_src,
+                                                 GEN_INT (-temp2)));
+               }
+
+             return 2;
+           }
+       }
+
       /* See if we can generate this by setting the bottom (or the top)
         16 bits, and then shifting these into the other half of the
         word.  We only look for the simplest cases, to do more would cost
@@ -2109,7 +2315,7 @@ arm_gen_constant (enum rtx_code code, enum machine_mode mode, rtx cond,
 
        Therefore, we calculate how many insns would be required to emit
        the constant starting from `best_start', and also starting from
-       zero (ie with bit 31 first to be output).  If `best_start' doesn't
+       zero (i.e. with bit 31 first to be output).  If `best_start' doesn't
        yield a shorter sequence, we may as well use zero.  */
     if (best_start != 0
        && ((((unsigned HOST_WIDE_INT) 1) << best_start) < remainder)
@@ -2196,9 +2402,12 @@ arm_gen_constant (enum rtx_code code, enum machine_mode mode, rtx cond,
    immediate value easier to load.  */
 
 enum rtx_code
-arm_canonicalize_comparison (enum rtx_code code, rtx * op1)
+arm_canonicalize_comparison (enum rtx_code code, enum machine_mode mode,
+                            rtx * op1)
 {
   unsigned HOST_WIDE_INT i = INTVAL (*op1);
+  unsigned HOST_WIDE_INT maxval;
+  maxval = (((unsigned HOST_WIDE_INT) 1) << (GET_MODE_BITSIZE(mode) - 1)) - 1;
 
   switch (code)
     {
@@ -2208,7 +2417,7 @@ arm_canonicalize_comparison (enum rtx_code code, rtx * op1)
 
     case GT:
     case LE:
-      if (i != ((((unsigned HOST_WIDE_INT) 1) << (HOST_BITS_PER_WIDE_INT - 1)) - 1)
+      if (i != maxval
          && (const_ok_for_arm (i + 1) || const_ok_for_arm (-(i + 1))))
        {
          *op1 = GEN_INT (i + 1);
@@ -2218,7 +2427,7 @@ arm_canonicalize_comparison (enum rtx_code code, rtx * op1)
 
     case GE:
     case LT:
-      if (i != (((unsigned HOST_WIDE_INT) 1) << (HOST_BITS_PER_WIDE_INT - 1))
+      if (i != ~maxval
          && (const_ok_for_arm (i - 1) || const_ok_for_arm (-(i - 1))))
        {
          *op1 = GEN_INT (i - 1);
@@ -2247,7 +2456,7 @@ arm_canonicalize_comparison (enum rtx_code code, rtx * op1)
       break;
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 
   return code;
@@ -2256,20 +2465,55 @@ arm_canonicalize_comparison (enum rtx_code code, rtx * op1)
 
 /* Define how to find the value returned by a function.  */
 
-rtx arm_function_value(tree type, tree func ATTRIBUTE_UNUSED)
+rtx
+arm_function_value(tree type, tree func ATTRIBUTE_UNUSED)
 {
   enum machine_mode mode;
   int unsignedp ATTRIBUTE_UNUSED;
   rtx r ATTRIBUTE_UNUSED;
 
-
   mode = TYPE_MODE (type);
   /* Promote integer types.  */
   if (INTEGRAL_TYPE_P (type))
     PROMOTE_FUNCTION_MODE (mode, unsignedp, type);
+
+  /* Promotes small structs returned in a register to full-word size
+     for big-endian AAPCS.  */
+  if (arm_return_in_msb (type))
+    {
+      HOST_WIDE_INT size = int_size_in_bytes (type);
+      if (size % UNITS_PER_WORD != 0)
+       {
+         size += UNITS_PER_WORD - size % UNITS_PER_WORD;
+         mode = mode_for_size (size * BITS_PER_UNIT, MODE_INT, 0);
+       }
+    }
+
   return LIBCALL_VALUE(mode);
 }
 
+/* Determine the amount of memory needed to store the possible return
+   registers of an untyped call.  */
+int
+arm_apply_result_size (void)
+{
+  int size = 16;
+
+  if (TARGET_ARM)
+    {
+      if (TARGET_HARD_FLOAT_ABI)
+       {
+         if (TARGET_FPA)
+           size += 12;
+         if (TARGET_MAVERICK)
+           size += 8;
+       }
+      if (TARGET_IWMMXT_ABI)
+       size += 8;
+    }
+
+  return size;
+}
 
 /* Decide whether a type should be returned in memory (true)
    or in a register (false).  This is called by the macro
@@ -2279,8 +2523,11 @@ arm_return_in_memory (tree type)
 {
   HOST_WIDE_INT size;
 
-  if (!AGGREGATE_TYPE_P (type))
-    /* All simple types are returned in registers.  */
+  if (!AGGREGATE_TYPE_P (type) &&
+      (TREE_CODE (type) != VECTOR_TYPE) &&
+      !(TARGET_AAPCS_BASED && TREE_CODE (type) == COMPLEX_TYPE))
+    /* All simple types are returned in registers.
+       For AAPCS, complex types are treated the same as aggregates.  */
     return 0;
 
   size = int_size_in_bytes (type);
@@ -2292,6 +2539,11 @@ arm_return_in_memory (tree type)
       return (size < 0 || size > UNITS_PER_WORD);
     }
 
+  /* To maximize backwards compatibility with previous versions of gcc,
+     return vectors up to 4 words in registers.  */
+  if (TREE_CODE (type) == VECTOR_TYPE)
+    return (size < 0 || size > (4 * UNITS_PER_WORD));
+
   /* For the arm-wince targets we choose to be compatible with Microsoft's
      ARM and Thumb compilers, which always return aggregates in memory.  */
 #ifndef ARM_WINCE
@@ -2514,6 +2766,23 @@ arm_function_arg (CUMULATIVE_ARGS *pcum, enum machine_mode mode,
   return gen_rtx_REG (mode, pcum->nregs);
 }
 
+static int
+arm_arg_partial_bytes (CUMULATIVE_ARGS *pcum, enum machine_mode mode,
+                      tree type, bool named ATTRIBUTE_UNUSED)
+{
+  int nregs = pcum->nregs;
+
+  if (arm_vector_mode_supported_p (mode))
+    return 0;
+
+  if (NUM_ARG_REGS > nregs
+      && (NUM_ARG_REGS < nregs + ARM_NUM_REGS2 (mode, type))
+      && pcum->can_split)
+    return (NUM_ARG_REGS - nregs) * UNITS_PER_WORD;
+
+  return 0;
+}
+
 /* Variable sized types are passed by reference.  This is a GCC
    extension to the ARM ABI.  */
 
@@ -2584,6 +2853,7 @@ const struct attribute_spec arm_attribute_table[] =
 #elif TARGET_DLLIMPORT_DECL_ATTRIBUTES
   { "dllimport",    0, 0, false, false, false, handle_dll_attribute },
   { "dllexport",    0, 0, false, false, false, handle_dll_attribute },
+  { "notshared",    0, 0, false, true, false, arm_handle_notshared_attribute },
 #endif
   { NULL,           0, 0, false, false, false, NULL }
 };
@@ -2596,7 +2866,7 @@ arm_handle_fndecl_attribute (tree *node, tree name, tree args ATTRIBUTE_UNUSED,
 {
   if (TREE_CODE (*node) != FUNCTION_DECL)
     {
-      warning ("`%s' attribute only applies to functions",
+      warning (OPT_Wattributes, "%qs attribute only applies to functions",
               IDENTIFIER_POINTER (name));
       *no_add_attrs = true;
     }
@@ -2614,7 +2884,7 @@ arm_handle_isr_attribute (tree *node, tree name, tree args, int flags,
     {
       if (TREE_CODE (*node) != FUNCTION_DECL)
        {
-         warning ("`%s' attribute only applies to functions",
+         warning (OPT_Wattributes, "%qs attribute only applies to functions",
                   IDENTIFIER_POINTER (name));
          *no_add_attrs = true;
        }
@@ -2628,7 +2898,8 @@ arm_handle_isr_attribute (tree *node, tree name, tree args, int flags,
        {
          if (arm_isr_value (args) == ARM_FT_UNKNOWN)
            {
-             warning ("`%s' attribute ignored", IDENTIFIER_POINTER (name));
+             warning (OPT_Wattributes, "%qs attribute ignored",
+                      IDENTIFIER_POINTER (name));
              *no_add_attrs = true;
            }
        }
@@ -2655,7 +2926,8 @@ arm_handle_isr_attribute (tree *node, tree name, tree args, int flags,
            }
          else
            {
-             warning ("`%s' attribute ignored", IDENTIFIER_POINTER (name));
+             warning (OPT_Wattributes, "%qs attribute ignored",
+                      IDENTIFIER_POINTER (name));
            }
        }
     }
@@ -2663,6 +2935,31 @@ arm_handle_isr_attribute (tree *node, tree name, tree args, int flags,
   return NULL_TREE;
 }
 
+#if TARGET_DLLIMPORT_DECL_ATTRIBUTES
+/* Handle the "notshared" attribute.  This attribute is another way of
+   requesting hidden visibility.  ARM's compiler supports
+   "__declspec(notshared)"; we support the same thing via an
+   attribute.  */
+
+static tree
+arm_handle_notshared_attribute (tree *node,
+                               tree name ATTRIBUTE_UNUSED,
+                               tree args ATTRIBUTE_UNUSED,
+                               int flags ATTRIBUTE_UNUSED,
+                               bool *no_add_attrs)
+{
+  tree decl = TYPE_NAME (*node);
+
+  if (decl)
+    {
+      DECL_VISIBILITY (decl) = VISIBILITY_HIDDEN;
+      DECL_VISIBILITY_SPECIFIED (decl) = 1;
+      *no_add_attrs = false;
+    }
+  return NULL_TREE;
+}
+#endif
+
 /* Return 0 if the attributes for two types are incompatible, 1 if they
    are compatible, and 2 if they are nearly compatible (which causes a
    warning to be generated).  */
@@ -2821,7 +3118,7 @@ arm_is_longcall_p (rtx sym_ref, int call_cookie, int call_symbol)
     {
       if (flag_function_sections
          || DECL_SECTION_NAME (current_function_decl))
-       /* c.3 is handled by the defintion of the
+       /* c.3 is handled by the definition of the
           ARM_DECLARE_FUNCTION_SIZE macro.  */
        return 1;
     }
@@ -2878,16 +3175,14 @@ arm_function_ok_for_sibcall (tree decl, tree exp ATTRIBUTE_UNUSED)
 /* Addressing mode support functions.  */
 
 /* Return nonzero if X is a legitimate immediate operand when compiling
-   for PIC.  */
+   for PIC.  We know that X satisfies CONSTANT_P and flag_pic is true.  */
 int
 legitimate_pic_operand_p (rtx x)
 {
-  if (CONSTANT_P (x)
-      && flag_pic
-      && (GET_CODE (x) == SYMBOL_REF
-         || (GET_CODE (x) == CONST
-             && GET_CODE (XEXP (x, 0)) == PLUS
-             && GET_CODE (XEXP (XEXP (x, 0), 0)) == SYMBOL_REF)))
+  if (GET_CODE (x) == SYMBOL_REF
+      || (GET_CODE (x) == CONST
+         && GET_CODE (XEXP (x, 0)) == PLUS
+         && GET_CODE (XEXP (XEXP (x, 0), 0)) == SYMBOL_REF))
     return 0;
 
   return 1;
@@ -2905,12 +3200,53 @@ legitimize_pic_address (rtx orig, enum machine_mode mode, rtx reg)
       rtx insn;
       int subregs = 0;
 
+      /* If this function doesn't have a pic register, create one now.
+        A lot of the logic here is made obscure by the fact that this
+        routine gets called as part of the rtx cost estimation
+        process.  We don't want those calls to affect any assumptions
+        about the real function; and further, we can't call
+        entry_of_function() until we start the real expansion
+        process.  */
+      if (!current_function_uses_pic_offset_table)
+       {
+         gcc_assert (!no_new_pseudos);
+         if (arm_pic_register != INVALID_REGNUM)
+           {
+             cfun->machine->pic_reg = gen_rtx_REG (Pmode, arm_pic_register);
+
+             /* Play games to avoid marking the function as needing pic
+                if we are being called as part of the cost-estimation
+                process.  */
+             if (!ir_type())
+               current_function_uses_pic_offset_table = 1;
+           }
+         else
+           {
+             rtx seq;
+
+             cfun->machine->pic_reg = gen_reg_rtx (Pmode);
+
+             /* Play games to avoid marking the function as needing pic
+                if we are being called as part of the cost-estimation
+                process.  */
+             if (!ir_type())
+               {
+                 current_function_uses_pic_offset_table = 1;
+                 start_sequence ();
+
+                 arm_load_pic_register (0UL);
+
+                 seq = get_insns ();
+                 end_sequence ();
+                 emit_insn_after (seq, entry_of_function ());
+               }
+           }
+       }
+
       if (reg == 0)
        {
-         if (no_new_pseudos)
-           abort ();
-         else
-           reg = gen_reg_rtx (Pmode);
+         gcc_assert (!no_new_pseudos);
+         reg = gen_reg_rtx (Pmode);
 
          subregs = 1;
        }
@@ -2934,17 +3270,16 @@ legitimize_pic_address (rtx orig, enum machine_mode mode, rtx reg)
           || (GET_CODE (orig) == SYMBOL_REF &&
               SYMBOL_REF_LOCAL_P (orig)))
          && NEED_GOT_RELOC)
-       pic_ref = gen_rtx_PLUS (Pmode, pic_offset_table_rtx, address);
+       pic_ref = gen_rtx_PLUS (Pmode, cfun->machine->pic_reg, address);
       else
        {
          pic_ref = gen_const_mem (Pmode,
-                                  gen_rtx_PLUS (Pmode, pic_offset_table_rtx,
+                                  gen_rtx_PLUS (Pmode, cfun->machine->pic_reg,
                                                 address));
        }
 
       insn = emit_move_insn (reg, pic_ref);
 #endif
-      current_function_uses_pic_offset_table = 1;
       /* Put a REG_EQUAL note on this insn, so that it can be optimized
         by loop.  */
       REG_NOTES (insn) = gen_rtx_EXPR_LIST (REG_EQUAL, orig,
@@ -2956,25 +3291,24 @@ legitimize_pic_address (rtx orig, enum machine_mode mode, rtx reg)
       rtx base, offset;
 
       if (GET_CODE (XEXP (orig, 0)) == PLUS
-         && XEXP (XEXP (orig, 0), 0) == pic_offset_table_rtx)
+         && XEXP (XEXP (orig, 0), 0) == cfun->machine->pic_reg)
+       return orig;
+
+      if (GET_CODE (XEXP (orig, 0)) == UNSPEC
+         && XINT (XEXP (orig, 0), 1) == UNSPEC_TLS)
        return orig;
 
       if (reg == 0)
        {
-         if (no_new_pseudos)
-           abort ();
-         else
-           reg = gen_reg_rtx (Pmode);
+         gcc_assert (!no_new_pseudos);
+         reg = gen_reg_rtx (Pmode);
        }
 
-      if (GET_CODE (XEXP (orig, 0)) == PLUS)
-       {
-         base = legitimize_pic_address (XEXP (XEXP (orig, 0), 0), Pmode, reg);
-         offset = legitimize_pic_address (XEXP (XEXP (orig, 0), 1), Pmode,
-                                          base == reg ? 0 : reg);
-       }
-      else
-       abort ();
+      gcc_assert (GET_CODE (XEXP (orig, 0)) == PLUS);
+
+      base = legitimize_pic_address (XEXP (XEXP (orig, 0), 0), Pmode, reg);
+      offset = legitimize_pic_address (XEXP (XEXP (orig, 0), 1), Pmode,
+                                      base == reg ? 0 : reg);
 
       if (GET_CODE (offset) == CONST_INT)
        {
@@ -2982,10 +3316,8 @@ legitimize_pic_address (rtx orig, enum machine_mode mode, rtx reg)
             test the index for the appropriate mode.  */
          if (!arm_legitimate_index_p (mode, offset, SET, 0))
            {
-             if (!no_new_pseudos)
-               offset = force_reg (Pmode, offset);
-             else
-               abort ();
+             gcc_assert (!no_new_pseudos);
+             offset = force_reg (Pmode, offset);
            }
 
          if (GET_CODE (offset) == CONST_INT)
@@ -3007,48 +3339,88 @@ legitimize_pic_address (rtx orig, enum machine_mode mode, rtx reg)
 }
 
 
-/* Find a spare low register.  */
+/* Find a spare low register to use during the prolog of a function.  */
 
 static int
-thumb_find_work_register (int live_regs_mask)
+thumb_find_work_register (unsigned long pushed_regs_mask)
 {
   int reg;
 
-  /* Use a spare arg register.  */
-  if (!regs_ever_live[LAST_ARG_REGNUM])
+  /* Check the argument registers first as these are call-used.  The
+     register allocation order means that sometimes r3 might be used
+     but earlier argument registers might not, so check them all.  */
+  for (reg = LAST_ARG_REGNUM; reg >= 0; reg --)
+    if (!regs_ever_live[reg])
+      return reg;
+
+  /* Before going on to check the call-saved registers we can try a couple
+     more ways of deducing that r3 is available.  The first is when we are
+     pushing anonymous arguments onto the stack and we have less than 4
+     registers worth of fixed arguments(*).  In this case r3 will be part of
+     the variable argument list and so we can be sure that it will be
+     pushed right at the start of the function.  Hence it will be available
+     for the rest of the prologue.
+     (*): ie current_function_pretend_args_size is greater than 0.  */
+  if (cfun->machine->uses_anonymous_args
+      && current_function_pretend_args_size > 0)
+    return LAST_ARG_REGNUM;
+
+  /* The other case is when we have fixed arguments but less than 4 registers
+     worth.  In this case r3 might be used in the body of the function, but
+     it is not being used to convey an argument into the function.  In theory
+     we could just check current_function_args_size to see how many bytes are
+     being passed in argument registers, but it seems that it is unreliable.
+     Sometimes it will have the value 0 when in fact arguments are being
+     passed.  (See testcase execute/20021111-1.c for an example).  So we also
+     check the args_info.nregs field as well.  The problem with this field is
+     that it makes no allowances for arguments that are passed to the
+     function but which are not used.  Hence we could miss an opportunity
+     when a function has an unused argument in r3.  But it is better to be
+     safe than to be sorry.  */
+  if (! cfun->machine->uses_anonymous_args
+      && current_function_args_size >= 0
+      && current_function_args_size <= (LAST_ARG_REGNUM * UNITS_PER_WORD)
+      && cfun->args_info.nregs < 4)
     return LAST_ARG_REGNUM;
 
-  /* Look for a pushed register.  */
-  for (reg = 0; reg < LAST_LO_REGNUM; reg++)
-    if (live_regs_mask & (1 << reg))
+  /* Otherwise look for a call-saved register that is going to be pushed.  */
+  for (reg = LAST_LO_REGNUM; reg > LAST_ARG_REGNUM; reg --)
+    if (pushed_regs_mask & (1 << reg))
       return reg;
 
-  /* Something went wrong.  */
-  abort ();
+  /* Something went wrong - thumb_compute_save_reg_mask()
+     should have arranged for a suitable register to be pushed.  */
+  gcc_unreachable ();
 }
 
+static GTY(()) int pic_labelno;
 
-/* Generate code to load the PIC register.  */
+/* Generate code to load the PIC register.  In thumb mode SCRATCH is a
+   low register.  */
 
 void
-arm_load_pic_register (void)
+arm_load_pic_register (unsigned long saved_regs ATTRIBUTE_UNUSED)
 {
 #ifndef AOF_ASSEMBLER
-  rtx l1, pic_tmp, pic_tmp2, pic_rtx;
+  rtx l1, labelno, pic_tmp, pic_tmp2, pic_rtx;
   rtx global_offset_table;
 
   if (current_function_uses_pic_offset_table == 0 || TARGET_SINGLE_PIC_BASE)
     return;
 
-  if (!flag_pic)
-    abort ();
+  gcc_assert (flag_pic);
 
-  l1 = gen_label_rtx ();
+  /* We use an UNSPEC rather than a LABEL_REF because this label never appears
+     in the code stream.  */
+
+  labelno = GEN_INT (pic_labelno++);
+  l1 = gen_rtx_UNSPEC (Pmode, gen_rtvec (1, labelno), UNSPEC_PIC_LABEL);
+  l1 = gen_rtx_CONST (VOIDmode, l1);
 
   global_offset_table = gen_rtx_SYMBOL_REF (Pmode, "_GLOBAL_OFFSET_TABLE_");
   /* On the ARM the PC register contains 'dot + 8' at the time of the
      addition, on the Thumb it is 'dot + 4'.  */
-  pic_tmp = plus_constant (gen_rtx_LABEL_REF (Pmode, l1), TARGET_ARM ? 8 : 4);
+  pic_tmp = plus_constant (l1, TARGET_ARM ? 8 : 4);
   if (GOT_PCREL)
     pic_tmp2 = gen_rtx_CONST (VOIDmode,
                            gen_rtx_PLUS (Pmode, global_offset_table, pc_rtx));
@@ -3059,30 +3431,31 @@ arm_load_pic_register (void)
 
   if (TARGET_ARM)
     {
-      emit_insn (gen_pic_load_addr_arm (pic_offset_table_rtx, pic_rtx));
-      emit_insn (gen_pic_add_dot_plus_eight (pic_offset_table_rtx, l1));
+      emit_insn (gen_pic_load_addr_arm (cfun->machine->pic_reg, pic_rtx));
+      emit_insn (gen_pic_add_dot_plus_eight (cfun->machine->pic_reg,
+                                            cfun->machine->pic_reg, labelno));
     }
   else
     {
-      if (REGNO (pic_offset_table_rtx) > LAST_LO_REGNUM)
+      if (arm_pic_register != INVALID_REGNUM
+         && REGNO (cfun->machine->pic_reg) > LAST_LO_REGNUM)
        {
-         int reg;
-
-         /* We will have pushed the pic register, so should always be
+         /* We will have pushed the pic register, so we should always be
             able to find a work register.  */
-         reg = thumb_find_work_register (thumb_compute_save_reg_mask ());
-         pic_tmp = gen_rtx_REG (SImode, reg);
+         pic_tmp = gen_rtx_REG (SImode,
+                                thumb_find_work_register (saved_regs));
          emit_insn (gen_pic_load_addr_thumb (pic_tmp, pic_rtx));
          emit_insn (gen_movsi (pic_offset_table_rtx, pic_tmp));
        }
       else
-       emit_insn (gen_pic_load_addr_thumb (pic_offset_table_rtx, pic_rtx));
-      emit_insn (gen_pic_add_dot_plus_four (pic_offset_table_rtx, l1));
+       emit_insn (gen_pic_load_addr_thumb (cfun->machine->pic_reg, pic_rtx));
+      emit_insn (gen_pic_add_dot_plus_four (cfun->machine->pic_reg,
+                                           cfun->machine->pic_reg, labelno));
     }
 
   /* Need to emit this whether or not we obey regdecls,
      since setjmp/longjmp can cause life info to screw up.  */
-  emit_insn (gen_rtx_USE (VOIDmode, pic_offset_table_rtx));
+  emit_insn (gen_rtx_USE (VOIDmode, cfun->machine->pic_reg));
 #endif /* AOF_ASSEMBLER */
 }
 
@@ -3107,6 +3480,19 @@ arm_address_register_rtx_p (rtx x, int strict_p)
          || regno == ARG_POINTER_REGNUM);
 }
 
+/* Return TRUE if this rtx is the difference of a symbol and a label,
+   and will reduce to a PC-relative relocation in the object file.
+   Expressions like this can be left alone when generating PIC, rather
+   than forced through the GOT.  */
+static int
+pcrel_constant_p (rtx x)
+{
+  if (GET_CODE (x) == MINUS)
+    return symbol_mentioned_p (XEXP (x, 0)) && label_mentioned_p (XEXP (x, 1));
+
+  return FALSE;
+}
+
 /* Return nonzero if X is a valid ARM state address operand.  */
 int
 arm_legitimate_address_p (enum machine_mode mode, rtx x, RTX_CODE outer,
@@ -3134,7 +3520,7 @@ arm_legitimate_address_p (enum machine_mode mode, rtx x, RTX_CODE outer,
     {
       rtx addend = XEXP (XEXP (x, 1), 1);
 
-      /* Don't allow ldrd post increment by register becuase it's hard
+      /* Don't allow ldrd post increment by register because it's hard
         to fixup invalid register choices.  */
       if (use_ldrd
          && GET_CODE (x) == POST_MODIFY
@@ -3185,7 +3571,8 @@ arm_legitimate_address_p (enum machine_mode mode, rtx x, RTX_CODE outer,
           && code == SYMBOL_REF
           && CONSTANT_POOL_ADDRESS_P (x)
           && ! (flag_pic
-                && symbol_mentioned_p (get_pool_constant (x))))
+                && symbol_mentioned_p (get_pool_constant (x))
+                && ! pcrel_constant_p (get_pool_constant (x))))
     return 1;
 
   return 0;
@@ -3348,7 +3735,7 @@ thumb_legitimate_address_p (enum machine_mode mode, rtx x, int strict_p)
   /* This is PC relative data before arm_reorg runs.  */
   else if (GET_MODE_SIZE (mode) >= 4 && CONSTANT_P (x)
           && GET_CODE (x) == SYMBOL_REF
-           && CONSTANT_POOL_ADDRESS_P (x) && ! flag_pic)
+           && CONSTANT_POOL_ADDRESS_P (x) && !flag_pic)
     return 1;
 
   /* This is PC relative data after arm_reorg runs.  */
@@ -3410,8 +3797,9 @@ thumb_legitimate_address_p (enum machine_mode mode, rtx x, int strict_p)
           && GET_MODE_SIZE (mode) == 4
           && GET_CODE (x) == SYMBOL_REF
           && CONSTANT_POOL_ADDRESS_P (x)
-          && !(flag_pic
-               && symbol_mentioned_p (get_pool_constant (x))))
+          && ! (flag_pic
+                && symbol_mentioned_p (get_pool_constant (x))
+                && ! pcrel_constant_p (get_pool_constant (x))))
     return 1;
 
   return 0;
@@ -3437,55 +3825,208 @@ thumb_legitimate_offset_p (enum machine_mode mode, HOST_WIDE_INT val)
     }
 }
 
-/* Try machine-dependent ways of modifying an illegitimate address
-   to be legitimate.  If we find one, return the new, valid address.  */
-rtx
-arm_legitimize_address (rtx x, rtx orig_x, enum machine_mode mode)
+/* Build the SYMBOL_REF for __tls_get_addr.  */
+
+static GTY(()) rtx tls_get_addr_libfunc;
+
+static rtx
+get_tls_get_addr (void)
 {
-  if (GET_CODE (x) == PLUS)
-    {
-      rtx xop0 = XEXP (x, 0);
-      rtx xop1 = XEXP (x, 1);
+  if (!tls_get_addr_libfunc)
+    tls_get_addr_libfunc = init_one_libfunc ("__tls_get_addr");
+  return tls_get_addr_libfunc;
+}
 
-      if (CONSTANT_P (xop0) && !symbol_mentioned_p (xop0))
-       xop0 = force_reg (SImode, xop0);
+static rtx
+arm_load_tp (rtx target)
+{
+  if (!target)
+    target = gen_reg_rtx (SImode);
 
-      if (CONSTANT_P (xop1) && !symbol_mentioned_p (xop1))
-       xop1 = force_reg (SImode, xop1);
+  if (TARGET_HARD_TP)
+    {
+      /* Can return in any reg.  */
+      emit_insn (gen_load_tp_hard (target));
+    }
+  else
+    {
+      /* Always returned in r0.  Immediately copy the result into a pseudo,
+        otherwise other uses of r0 (e.g. setting up function arguments) may
+        clobber the value.  */
 
-      if (ARM_BASE_REGISTER_RTX_P (xop0)
-         && GET_CODE (xop1) == CONST_INT)
-       {
-         HOST_WIDE_INT n, low_n;
-         rtx base_reg, val;
-         n = INTVAL (xop1);
+      rtx tmp;
 
-         /* VFP addressing modes actually allow greater offsets, but for
-            now we just stick with the lowest common denominator.  */
-         if (mode == DImode
-             || ((TARGET_SOFT_FLOAT || TARGET_VFP) && mode == DFmode))
-           {
-             low_n = n & 0x0f;
-             n &= ~0x0f;
-             if (low_n > 4)
-               {
-                 n += 16;
-                 low_n -= 16;
-               }
-           }
-         else
-           {
-             low_n = ((mode) == TImode ? 0
-                      : n >= 0 ? (n & 0xfff) : -((-n) & 0xfff));
-             n -= low_n;
-           }
+      emit_insn (gen_load_tp_soft ());
 
-         base_reg = gen_reg_rtx (SImode);
-         val = force_operand (gen_rtx_PLUS (SImode, xop0,
-                                            GEN_INT (n)), NULL_RTX);
+      tmp = gen_rtx_REG (SImode, 0);
+      emit_move_insn (target, tmp);
+    }
+  return target;
+}
+
+static rtx
+load_tls_operand (rtx x, rtx reg)
+{
+  rtx tmp;
+
+  if (reg == NULL_RTX)
+    reg = gen_reg_rtx (SImode);
+
+  tmp = gen_rtx_CONST (SImode, x);
+
+  emit_move_insn (reg, tmp);
+
+  return reg;
+}
+
+static rtx
+arm_call_tls_get_addr (rtx x, rtx reg, rtx *valuep, int reloc)
+{
+  rtx insns, label, labelno, sum;
+
+  start_sequence ();
+
+  labelno = GEN_INT (pic_labelno++);
+  label = gen_rtx_UNSPEC (Pmode, gen_rtvec (1, labelno), UNSPEC_PIC_LABEL);
+  label = gen_rtx_CONST (VOIDmode, label);
+
+  sum = gen_rtx_UNSPEC (Pmode,
+                       gen_rtvec (4, x, GEN_INT (reloc), label,
+                                  GEN_INT (TARGET_ARM ? 8 : 4)),
+                       UNSPEC_TLS);
+  reg = load_tls_operand (sum, reg);
+
+  if (TARGET_ARM)
+    emit_insn (gen_pic_add_dot_plus_eight (reg, reg, labelno));
+  else
+    emit_insn (gen_pic_add_dot_plus_four (reg, reg, labelno));
+
+  *valuep = emit_library_call_value (get_tls_get_addr (), NULL_RTX, LCT_PURE, /* LCT_CONST?  */
+                                    Pmode, 1, reg, Pmode);
+
+  insns = get_insns ();
+  end_sequence ();
+
+  return insns;
+}
+
+rtx
+legitimize_tls_address (rtx x, rtx reg)
+{
+  rtx dest, tp, label, labelno, sum, insns, ret, eqv, addend;
+  unsigned int model = SYMBOL_REF_TLS_MODEL (x);
+
+  switch (model)
+    {
+    case TLS_MODEL_GLOBAL_DYNAMIC:
+      insns = arm_call_tls_get_addr (x, reg, &ret, TLS_GD32);
+      dest = gen_reg_rtx (Pmode);
+      emit_libcall_block (insns, dest, ret, x);
+      return dest;
+
+    case TLS_MODEL_LOCAL_DYNAMIC:
+      insns = arm_call_tls_get_addr (x, reg, &ret, TLS_LDM32);
+
+      /* Attach a unique REG_EQUIV, to allow the RTL optimizers to
+        share the LDM result with other LD model accesses.  */
+      eqv = gen_rtx_UNSPEC (Pmode, gen_rtvec (1, const1_rtx),
+                           UNSPEC_TLS);
+      dest = gen_reg_rtx (Pmode);
+      emit_libcall_block (insns, dest, ret, eqv);
+
+      /* Load the addend.  */
+      addend = gen_rtx_UNSPEC (Pmode, gen_rtvec (2, x, GEN_INT (TLS_LDO32)),
+                              UNSPEC_TLS);
+      addend = force_reg (SImode, gen_rtx_CONST (SImode, addend));
+      return gen_rtx_PLUS (Pmode, dest, addend);
+
+    case TLS_MODEL_INITIAL_EXEC:
+      labelno = GEN_INT (pic_labelno++);
+      label = gen_rtx_UNSPEC (Pmode, gen_rtvec (1, labelno), UNSPEC_PIC_LABEL);
+      label = gen_rtx_CONST (VOIDmode, label);
+      sum = gen_rtx_UNSPEC (Pmode,
+                           gen_rtvec (4, x, GEN_INT (TLS_IE32), label,
+                                      GEN_INT (TARGET_ARM ? 8 : 4)),
+                           UNSPEC_TLS);
+      reg = load_tls_operand (sum, reg);
+
+      if (TARGET_ARM)
+       emit_insn (gen_tls_load_dot_plus_eight (reg, reg, labelno));
+      else
+       {
+         emit_insn (gen_pic_add_dot_plus_four (reg, reg, labelno));
+         emit_move_insn (reg, gen_const_mem (SImode, reg));
+       }
+
+      tp = arm_load_tp (NULL_RTX);
+
+      return gen_rtx_PLUS (Pmode, tp, reg);
+
+    case TLS_MODEL_LOCAL_EXEC:
+      tp = arm_load_tp (NULL_RTX);
+
+      reg = gen_rtx_UNSPEC (Pmode,
+                           gen_rtvec (2, x, GEN_INT (TLS_LE32)),
+                           UNSPEC_TLS);
+      reg = force_reg (SImode, gen_rtx_CONST (SImode, reg));
+
+      return gen_rtx_PLUS (Pmode, tp, reg);
+
+    default:
+      abort ();
+    }
+}
+
+/* Try machine-dependent ways of modifying an illegitimate address
+   to be legitimate.  If we find one, return the new, valid address.  */
+rtx
+arm_legitimize_address (rtx x, rtx orig_x, enum machine_mode mode)
+{
+  if (arm_tls_symbol_p (x))
+    return legitimize_tls_address (x, NULL_RTX);
+
+  if (GET_CODE (x) == PLUS)
+    {
+      rtx xop0 = XEXP (x, 0);
+      rtx xop1 = XEXP (x, 1);
+
+      if (CONSTANT_P (xop0) && !symbol_mentioned_p (xop0))
+       xop0 = force_reg (SImode, xop0);
+
+      if (CONSTANT_P (xop1) && !symbol_mentioned_p (xop1))
+       xop1 = force_reg (SImode, xop1);
+
+      if (ARM_BASE_REGISTER_RTX_P (xop0)
+         && GET_CODE (xop1) == CONST_INT)
+       {
+         HOST_WIDE_INT n, low_n;
+         rtx base_reg, val;
+         n = INTVAL (xop1);
+
+         /* VFP addressing modes actually allow greater offsets, but for
+            now we just stick with the lowest common denominator.  */
+         if (mode == DImode
+             || ((TARGET_SOFT_FLOAT || TARGET_VFP) && mode == DFmode))
+           {
+             low_n = n & 0x0f;
+             n &= ~0x0f;
+             if (low_n > 4)
+               {
+                 n += 16;
+                 low_n -= 16;
+               }
+           }
+         else
+           {
+             low_n = ((mode) == TImode ? 0
+                      : n >= 0 ? (n & 0xfff) : -((-n) & 0xfff));
+             n -= low_n;
+           }
+
+         base_reg = gen_reg_rtx (SImode);
+         val = force_operand (plus_constant (xop0, n), NULL_RTX);
          emit_move_insn (base_reg, val);
-         x = (low_n == 0 ? base_reg
-              : gen_rtx_PLUS (SImode, base_reg, GEN_INT (low_n)));
+         x = plus_constant (base_reg, low_n);
        }
       else if (xop0 != XEXP (x, 0) || xop1 != XEXP (x, 1))
        x = gen_rtx_PLUS (SImode, xop0, xop1);
@@ -3508,6 +4049,34 @@ arm_legitimize_address (rtx x, rtx orig_x, enum machine_mode mode)
        x = gen_rtx_MINUS (SImode, xop0, xop1);
     }
 
+  /* Make sure to take full advantage of the pre-indexed addressing mode
+     with absolute addresses which often allows for the base register to
+     be factorized for multiple adjacent memory references, and it might
+     even allows for the mini pool to be avoided entirely. */
+  else if (GET_CODE (x) == CONST_INT && optimize > 0)
+    {
+      unsigned int bits;
+      HOST_WIDE_INT mask, base, index;
+      rtx base_reg;
+
+      /* ldr and ldrb can use a 12 bit index, ldrsb and the rest can only
+         use a 8 bit index. So let's use a 12 bit index for SImode only and
+         hope that arm_gen_constant will enable ldrb to use more bits. */
+      bits = (mode == SImode) ? 12 : 8;
+      mask = (1 << bits) - 1;
+      base = INTVAL (x) & ~mask;
+      index = INTVAL (x) & mask;
+      if (bit_count (base & 0xffffffff) > (32 - bits)/2)
+        {
+         /* It'll most probably be more efficient to generate the base
+            with more bits set and use a negative index instead. */
+         base |= mask;
+         index -= mask;
+       }
+      base_reg = force_reg (SImode, GEN_INT (base));
+      x = plus_constant (base_reg, index);
+    }
+
   if (flag_pic)
     {
       /* We need to find and carefully transform any SYMBOL and LABEL
@@ -3527,6 +4096,9 @@ arm_legitimize_address (rtx x, rtx orig_x, enum machine_mode mode)
 rtx
 thumb_legitimize_address (rtx x, rtx orig_x, enum machine_mode mode)
 {
+  if (arm_tls_symbol_p (x))
+    return legitimize_tls_address (x, NULL_RTX);
+
   if (GET_CODE (x) == PLUS
       && GET_CODE (XEXP (x, 1)) == CONST_INT
       && (INTVAL (XEXP (x, 1)) >= 32 * GET_MODE_SIZE (mode)
@@ -3589,8 +4161,93 @@ thumb_legitimize_address (rtx x, rtx orig_x, enum machine_mode mode)
   return x;
 }
 
-\f
+rtx
+thumb_legitimize_reload_address (rtx *x_p,
+                                enum machine_mode mode,
+                                int opnum, int type,
+                                int ind_levels ATTRIBUTE_UNUSED)
+{
+  rtx x = *x_p;
+
+  if (GET_CODE (x) == PLUS
+      && GET_MODE_SIZE (mode) < 4
+      && REG_P (XEXP (x, 0))
+      && XEXP (x, 0) == stack_pointer_rtx
+      && GET_CODE (XEXP (x, 1)) == CONST_INT
+      && !thumb_legitimate_offset_p (mode, INTVAL (XEXP (x, 1))))
+    {
+      rtx orig_x = x;
+
+      x = copy_rtx (x);
+      push_reload (orig_x, NULL_RTX, x_p, NULL, MODE_BASE_REG_CLASS (mode),
+                  Pmode, VOIDmode, 0, 0, opnum, type);
+      return x;
+    }
+
+  /* If both registers are hi-regs, then it's better to reload the
+     entire expression rather than each register individually.  That
+     only requires one reload register rather than two.  */
+  if (GET_CODE (x) == PLUS
+      && REG_P (XEXP (x, 0))
+      && REG_P (XEXP (x, 1))
+      && !REG_MODE_OK_FOR_REG_BASE_P (XEXP (x, 0), mode)
+      && !REG_MODE_OK_FOR_REG_BASE_P (XEXP (x, 1), mode))
+    {
+      rtx orig_x = x;
+
+      x = copy_rtx (x);
+      push_reload (orig_x, NULL_RTX, x_p, NULL, MODE_BASE_REG_CLASS (mode),
+                  Pmode, VOIDmode, 0, 0, opnum, type);
+      return x;
+    }
+
+  return NULL;
+}
+
+/* Test for various thread-local symbols.  */
+
+/* Return TRUE if X is a thread-local symbol.  */
+
+static bool
+arm_tls_symbol_p (rtx x)
+{
+  if (! TARGET_HAVE_TLS)
+    return false;
+
+  if (GET_CODE (x) != SYMBOL_REF)
+    return false;
+
+  return SYMBOL_REF_TLS_MODEL (x) != 0;
+}
+
+/* Helper for arm_tls_referenced_p.  */
+
+static int
+arm_tls_operand_p_1 (rtx *x, void *data ATTRIBUTE_UNUSED)
+{
+  if (GET_CODE (*x) == SYMBOL_REF)
+    return SYMBOL_REF_TLS_MODEL (*x) != 0;
+
+  /* Don't recurse into UNSPEC_TLS looking for TLS symbols; these are
+     TLS offsets, not real symbol references.  */
+  if (GET_CODE (*x) == UNSPEC
+      && XINT (*x, 1) == UNSPEC_TLS)
+    return -1;
+
+  return 0;
+}
+
+/* Return TRUE if X contains any TLS symbol references.  */
+
+bool
+arm_tls_referenced_p (rtx x)
+{
+  if (! TARGET_HAVE_TLS)
+    return false;
 
+  return for_each_rtx (&x, arm_tls_operand_p_1, NULL);
+}
+\f
 #define REG_OR_SUBREG_REG(X)                                           \
   (GET_CODE (X) == REG                                                 \
    || (GET_CODE (X) == SUBREG && GET_CODE (SUBREG_REG (X)) == REG))
@@ -3858,7 +4515,7 @@ arm_rtx_costs_1 (rtx x, enum rtx_code code, enum rtx_code outer)
 
     case MULT:
       /* This should have been handled by the CPU specific routines.  */
-      abort ();
+      gcc_unreachable ();
 
     case TRUNCATE:
       if (arm_arch3m && mode == SImode
@@ -3919,9 +4576,9 @@ arm_rtx_costs_1 (rtx x, enum rtx_code code, enum rtx_code outer)
            return 1;
 
        default:
-         break;
+         gcc_unreachable ();
        }
-      abort ();
+      gcc_unreachable ();
 
     case CONST_INT:
       if (const_ok_for_arm (INTVAL (x)))
@@ -4360,6 +5017,15 @@ arm_xscale_rtx_costs (rtx x, int code, int outer_code, int *total)
                 + (REG_OR_SUBREG_REG (XEXP (x, 1)) ? 0 : 4);
       return true;
 
+    case COMPARE:
+      /* A COMPARE of a MULT is slow on XScale; the muls instruction
+        will stall until the multiplication is complete.  */
+      if (GET_CODE (XEXP (x, 0)) == MULT)
+       *total = 4 + rtx_cost (XEXP (x, 0), code);
+      else
+       *total = arm_rtx_costs_1 (x, code, outer_code);
+      return true;
+
     default:
       *total = arm_rtx_costs_1 (x, code, outer_code);
       return true;
@@ -4669,7 +5335,7 @@ cirrus_memory_offset (rtx op)
   return 0;
 }
 
-/* Return TRUE if OP is a valid VFP memory address pattern.
+/* Return TRUE if OP is a valid coprocessor memory address pattern.
    WB if true if writeback address modes are allowed.  */
 
 int
@@ -4735,6 +5401,15 @@ arm_coproc_mem_operand (rtx op, bool wb)
   return FALSE;
 }
 
+/* Return true if X is a register that will be eliminated later on.  */
+int
+arm_eliminable_register (rtx x)
+{
+  return REG_P (x) && (REGNO (x) == FRAME_POINTER_REGNUM
+                      || REGNO (x) == ARG_POINTER_REGNUM
+                      || (REGNO (x) >= FIRST_VIRTUAL_REGISTER
+                          && REGNO (x) <= LAST_VIRTUAL_REGISTER));
+}
 
 /* Return GENERAL_REGS if a scratch register required to reload x to/from
    VFP registers.  Otherwise return NO_REGS.  */
@@ -4748,6 +5423,17 @@ vfp_secondary_reload_class (enum machine_mode mode, rtx x)
   return GENERAL_REGS;
 }
 
+/* Values which must be returned in the most-significant end of the return
+   register.  */
+
+static bool
+arm_return_in_msb (tree valtype)
+{
+  return (TARGET_AAPCS_BASED
+          && BYTES_BIG_ENDIAN
+          && (AGGREGATE_TYPE_P (valtype)
+              || TREE_CODE (valtype) == COMPLEX_TYPE));
+}
 
 /* Returns TRUE if INSN is an "LDR REG, ADDR" instruction.
    Use by the Cirrus Maverick code which has to workaround
@@ -4790,7 +5476,7 @@ arm_cirrus_insn_p (rtx insn)
 {
   enum attr_cirrus attr;
 
-  /* get_attr aborts on USE and CLOBBER.  */
+  /* get_attr cannot accept USE or CLOBBER.  */
   if (!insn
       || GET_CODE (insn) != INSN
       || GET_CODE (PATTERN (insn)) == USE
@@ -4862,10 +5548,11 @@ cirrus_reorg (rtx first)
          /* Get Arm register number for ldr insn.  */
          if (GET_CODE (lhs) == REG)
            arm_regno = REGNO (lhs);
-         else if (GET_CODE (rhs) == REG)
-           arm_regno = REGNO (rhs);
          else
-           abort ();
+           {
+             gcc_assert (GET_CODE (rhs) == REG);
+             arm_regno = REGNO (rhs);
+           }
 
          /* Next insn.  */
          first = next_nonnote_insn (first);
@@ -4891,7 +5578,7 @@ cirrus_reorg (rtx first)
        }
     }
 
-  /* get_attr aborts on USE and CLOBBER.  */
+  /* get_attr cannot accept USE or CLOBBER.  */
   if (!first
       || GET_CODE (first) != INSN
       || GET_CODE (PATTERN (first)) == USE
@@ -4931,6 +5618,11 @@ symbol_mentioned_p (rtx x)
   if (GET_CODE (x) == SYMBOL_REF)
     return 1;
 
+  /* UNSPEC_TLS entries for a symbol include the SYMBOL_REF, but they
+     are constant offsets, not symbols.  */
+  if (GET_CODE (x) == UNSPEC && XINT (x, 1) == UNSPEC_TLS)
+    return 0;
+
   fmt = GET_RTX_FORMAT (GET_CODE (x));
 
   for (i = GET_RTX_LENGTH (GET_CODE (x)) - 1; i >= 0; i--)
@@ -4960,6 +5652,11 @@ label_mentioned_p (rtx x)
   if (GET_CODE (x) == LABEL_REF)
     return 1;
 
+  /* UNSPEC_TLS entries for a symbol include a LABEL_REF for the referencing
+     instruction, but they are constant offsets, not symbols.  */
+  if (GET_CODE (x) == UNSPEC && XINT (x, 1) == UNSPEC_TLS)
+    return 0;
+
   fmt = GET_RTX_FORMAT (GET_CODE (x));
   for (i = GET_RTX_LENGTH (GET_CODE (x)) - 1; i >= 0; i--)
     {
@@ -4978,27 +5675,76 @@ label_mentioned_p (rtx x)
   return 0;
 }
 
+int
+tls_mentioned_p (rtx x)
+{
+  switch (GET_CODE (x))
+    {
+    case CONST:
+      return tls_mentioned_p (XEXP (x, 0));
+
+    case UNSPEC:
+      if (XINT (x, 1) == UNSPEC_TLS)
+       return 1;
+
+    default:
+      return 0;
+    }
+}
+
+/* Must not copy a SET whose source operand is PC-relative.  */
+
+static bool
+arm_cannot_copy_insn_p (rtx insn)
+{
+  rtx pat = PATTERN (insn);
+
+  if (GET_CODE (pat) == PARALLEL
+      && GET_CODE (XVECEXP (pat, 0, 0)) == SET)
+    {
+      rtx rhs = SET_SRC (XVECEXP (pat, 0, 0));
+
+      if (GET_CODE (rhs) == UNSPEC
+         && XINT (rhs, 1) == UNSPEC_PIC_BASE)
+       return TRUE;
+
+      if (GET_CODE (rhs) == MEM
+         && GET_CODE (XEXP (rhs, 0)) == UNSPEC
+         && XINT (XEXP (rhs, 0), 1) == UNSPEC_PIC_BASE)
+       return TRUE;
+    }
+
+  return FALSE;
+}
+
 enum rtx_code
 minmax_code (rtx x)
 {
   enum rtx_code code = GET_CODE (x);
 
-  if (code == SMAX)
-    return GE;
-  else if (code == SMIN)
-    return LE;
-  else if (code == UMIN)
-    return LEU;
-  else if (code == UMAX)
-    return GEU;
-
-  abort ();
+  switch (code)
+    {
+    case SMAX:
+      return GE;
+    case SMIN:
+      return LE;
+    case UMIN:
+      return LEU;
+    case UMAX:
+      return GEU;
+    default:
+      gcc_unreachable ();
+    }
 }
 
 /* Return 1 if memory locations are adjacent.  */
 int
 adjacent_mem_locations (rtx a, rtx b)
 {
+  /* We don't guarantee to preserve the order of these memory refs.  */
+  if (volatile_refs_p (a) || volatile_refs_p (b))
+    return 0;
+
   if ((GET_CODE (XEXP (a, 0)) == REG
        || (GET_CODE (XEXP (a, 0)) == PLUS
           && GET_CODE (XEXP (XEXP (a, 0), 1)) == CONST_INT))
@@ -5006,24 +5752,25 @@ adjacent_mem_locations (rtx a, rtx b)
          || (GET_CODE (XEXP (b, 0)) == PLUS
              && GET_CODE (XEXP (XEXP (b, 0), 1)) == CONST_INT)))
     {
-      int val0 = 0, val1 = 0;
-      int reg0, reg1;
+      HOST_WIDE_INT val0 = 0, val1 = 0;
+      rtx reg0, reg1;
+      int val_diff;
 
       if (GET_CODE (XEXP (a, 0)) == PLUS)
         {
-         reg0 = REGNO  (XEXP (XEXP (a, 0), 0));
+         reg0 = XEXP (XEXP (a, 0), 0);
          val0 = INTVAL (XEXP (XEXP (a, 0), 1));
         }
       else
-       reg0 = REGNO (XEXP (a, 0));
+       reg0 = XEXP (a, 0);
 
       if (GET_CODE (XEXP (b, 0)) == PLUS)
         {
-         reg1 = REGNO  (XEXP (XEXP (b, 0), 0));
+         reg1 = XEXP (XEXP (b, 0), 0);
          val1 = INTVAL (XEXP (XEXP (b, 0), 1));
         }
       else
-       reg1 = REGNO (XEXP (b, 0));
+       reg1 = XEXP (b, 0);
 
       /* Don't accept any offset that will require multiple
         instructions to handle, since this would cause the
@@ -5031,8 +5778,27 @@ adjacent_mem_locations (rtx a, rtx b)
       if (!const_ok_for_op (PLUS, val0) || !const_ok_for_op (PLUS, val1))
        return 0;
 
-      return (reg0 == reg1) && ((val1 - val0) == 4 || (val0 - val1) == 4);
+      /* Don't allow an eliminable register: register elimination can make
+        the offset too large.  */
+      if (arm_eliminable_register (reg0))
+       return 0;
+
+      val_diff = val1 - val0;
+
+      if (arm_ld_sched)
+       {
+         /* If the target has load delay slots, then there's no benefit
+            to using an ldm instruction unless the offset is zero and
+            we are optimizing for size.  */
+         return (optimize_size && (REGNO (reg0) == REGNO (reg1))
+                 && (val0 == 0 || val1 == 0 || val0 == 4 || val1 == 4)
+                 && (val_diff == 4 || val_diff == -4));
+       }
+
+      return ((REGNO (reg0) == REGNO (reg1))
+             && (val_diff == 4 || val_diff == -4));
     }
+
   return 0;
 }
 
@@ -5048,11 +5814,10 @@ load_multiple_sequence (rtx *operands, int nops, int *regs, int *base,
 
   /* Can only handle 2, 3, or 4 insns at present,
      though could be easily extended if required.  */
-  if (nops < 2 || nops > 4)
-    abort ();
+  gcc_assert (nops >= 2 && nops <= 4);
 
   /* Loop over the operands and check that the memory references are
-     suitable (ie immediate offsets from the same base register).  At
+     suitable (i.e. immediate offsets from the same base register).  At
      the same time, extract the target register, and the memory
      offsets.  */
   for (i = 0; i < nops; i++)
@@ -5064,8 +5829,7 @@ load_multiple_sequence (rtx *operands, int nops, int *regs, int *base,
       if (GET_CODE (operands[nops + i]) == SUBREG)
        operands[nops + i] = alter_subreg (operands + (nops + i));
 
-      if (GET_CODE (operands[nops + i]) != MEM)
-       abort ();
+      gcc_assert (GET_CODE (operands[nops + i]) == MEM);
 
       /* Don't reorder volatile memory references; it doesn't seem worth
         looking for the case where the order is ok anyway.  */
@@ -5249,7 +6013,7 @@ emit_ldm_seq (rtx *operands, int nops)
       break;
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 
   sprintf (buf + strlen (buf), "%s%s, {%s%s", REGISTER_PREFIX,
@@ -5277,11 +6041,10 @@ store_multiple_sequence (rtx *operands, int nops, int *regs, int *base,
 
   /* Can only handle 2, 3, or 4 insns at present, though could be easily
      extended if required.  */
-  if (nops < 2 || nops > 4)
-    abort ();
+  gcc_assert (nops >= 2 && nops <= 4);
 
   /* Loop over the operands and check that the memory references are
-     suitable (ie immediate offsets from the same base register).  At
+     suitable (i.e. immediate offsets from the same base register).  At
      the same time, extract the target register, and the memory
      offsets.  */
   for (i = 0; i < nops; i++)
@@ -5293,8 +6056,7 @@ store_multiple_sequence (rtx *operands, int nops, int *regs, int *base,
       if (GET_CODE (operands[nops + i]) == SUBREG)
        operands[nops + i] = alter_subreg (operands + (nops + i));
 
-      if (GET_CODE (operands[nops + i]) != MEM)
-       abort ();
+      gcc_assert (GET_CODE (operands[nops + i]) == MEM);
 
       /* Don't reorder volatile memory references; it doesn't seem worth
         looking for the case where the order is ok anyway.  */
@@ -5426,7 +6188,7 @@ emit_stm_seq (rtx *operands, int nops)
       break;
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 
   sprintf (buf + strlen (buf), "%s%s, {%s%s", REGISTER_PREFIX,
@@ -5441,7 +6203,6 @@ emit_stm_seq (rtx *operands, int nops)
   output_asm_insn (buf, operands);
   return "";
 }
-
 \f
 /* Routines for use in generating RTL.  */
 
@@ -5514,8 +6275,7 @@ arm_gen_load_multiple (int base_regno, int count, rtx from, int up,
   if (write_back)
     {
       XVECEXP (result, 0, 0)
-       = gen_rtx_SET (GET_MODE (from), from,
-                      plus_constant (from, count * 4 * sign));
+       = gen_rtx_SET (VOIDmode, from, plus_constant (from, count * 4 * sign));
       i = 1;
       count++;
     }
@@ -5578,7 +6338,7 @@ arm_gen_store_multiple (int base_regno, int count, rtx to, int up,
   if (write_back)
     {
       XVECEXP (result, 0, 0)
-       = gen_rtx_SET (GET_MODE (to), to,
+       = gen_rtx_SET (VOIDmode, to,
                       plus_constant (to, count * 4 * sign));
       i = 1;
       count++;
@@ -5677,21 +6437,18 @@ arm_gen_movmemqi (rtx *operands)
       emit_move_insn (mem, sreg);
       in_words_to_go--;
 
-      if (in_words_to_go)      /* Sanity check */
-       abort ();
+      gcc_assert (!in_words_to_go);    /* Sanity check */
     }
 
   if (in_words_to_go)
     {
-      if (in_words_to_go < 0)
-       abort ();
+      gcc_assert (in_words_to_go > 0);
 
       mem = adjust_automodify_address (srcbase, SImode, src, srcoffset);
       part_bytes_reg = copy_to_mode_reg (SImode, mem);
     }
 
-  if (last_bytes && part_bytes_reg == NULL)
-    abort ();
+  gcc_assert (!last_bytes || part_bytes_reg);
 
   if (BYTES_BIG_ENDIAN && last_bytes)
     {
@@ -5745,34 +6502,6 @@ arm_gen_movmemqi (rtx *operands)
   return 1;
 }
 
-/* Generate a memory reference for a half word, such that it will be loaded
-   into the top 16 bits of the word.  We can assume that the address is
-   known to be alignable and of the form reg, or plus (reg, const).  */
-
-rtx
-arm_gen_rotated_half_load (rtx memref)
-{
-  HOST_WIDE_INT offset = 0;
-  rtx base = XEXP (memref, 0);
-
-  if (GET_CODE (base) == PLUS)
-    {
-      offset = INTVAL (XEXP (base, 1));
-      base = XEXP (base, 0);
-    }
-
-  /* If we aren't allowed to generate unaligned addresses, then fail.  */
-  if ((BYTES_BIG_ENDIAN ? 1 : 0) ^ ((offset & 2) == 0))
-    return NULL;
-
-  base = gen_rtx_MEM (SImode, plus_constant (base, offset & ~2));
-
-  if ((BYTES_BIG_ENDIAN ? 1 : 0) ^ ((offset & 2) == 2))
-    return base;
-
-  return gen_rtx_ROTATE (SImode, base, GEN_INT (16));
-}
-
 /* Select a dominance comparison mode if possible for a test of the general
    form (OP (COND_OR (X) (Y)) (const_int 0)).  We support three forms.
    COND_OR == DOM_CC_X_AND_Y => (X && Y)
@@ -5820,78 +6549,108 @@ arm_select_dominance_cc_mode (rtx x, rtx y, HOST_WIDE_INT cond_or)
   switch (cond1)
     {
     case EQ:
-      if (cond2 == EQ || cond_or == DOM_CC_X_AND_Y)
+      if (cond_or == DOM_CC_X_AND_Y)
        return CC_DEQmode;
 
       switch (cond2)
        {
+       case EQ: return CC_DEQmode;
        case LE: return CC_DLEmode;
        case LEU: return CC_DLEUmode;
        case GE: return CC_DGEmode;
        case GEU: return CC_DGEUmode;
-       default: break;
+       default: gcc_unreachable ();
        }
 
-      break;
-
     case LT:
-      if (cond2 == LT || cond_or == DOM_CC_X_AND_Y)
+      if (cond_or == DOM_CC_X_AND_Y)
        return CC_DLTmode;
-      if (cond2 == LE)
-       return CC_DLEmode;
-      if (cond2 == NE)
-       return CC_DNEmode;
-      break;
+
+      switch (cond2)
+       {
+       case  LT:
+           return CC_DLTmode;
+       case LE:
+         return CC_DLEmode;
+       case NE:
+         return CC_DNEmode;
+       default:
+         gcc_unreachable ();
+       }
 
     case GT:
-      if (cond2 == GT || cond_or == DOM_CC_X_AND_Y)
+      if (cond_or == DOM_CC_X_AND_Y)
        return CC_DGTmode;
-      if (cond2 == GE)
-       return CC_DGEmode;
-      if (cond2 == NE)
-       return CC_DNEmode;
-      break;
+
+      switch (cond2)
+       {
+       case GT:
+         return CC_DGTmode;
+       case GE:
+         return CC_DGEmode;
+       case NE:
+         return CC_DNEmode;
+       default:
+         gcc_unreachable ();
+       }
 
     case LTU:
-      if (cond2 == LTU || cond_or == DOM_CC_X_AND_Y)
+      if (cond_or == DOM_CC_X_AND_Y)
        return CC_DLTUmode;
-      if (cond2 == LEU)
-       return CC_DLEUmode;
-      if (cond2 == NE)
-       return CC_DNEmode;
-      break;
+
+      switch (cond2)
+       {
+       case LTU:
+         return CC_DLTUmode;
+       case LEU:
+         return CC_DLEUmode;
+       case NE:
+         return CC_DNEmode;
+       default:
+         gcc_unreachable ();
+       }
 
     case GTU:
-      if (cond2 == GTU || cond_or == DOM_CC_X_AND_Y)
+      if (cond_or == DOM_CC_X_AND_Y)
        return CC_DGTUmode;
-      if (cond2 == GEU)
-       return CC_DGEUmode;
-      if (cond2 == NE)
-       return CC_DNEmode;
-      break;
+
+      switch (cond2)
+       {
+       case GTU:
+         return CC_DGTUmode;
+       case GEU:
+         return CC_DGEUmode;
+       case NE:
+         return CC_DNEmode;
+       default:
+         gcc_unreachable ();
+       }
 
     /* The remaining cases only occur when both comparisons are the
        same.  */
     case NE:
+      gcc_assert (cond1 == cond2);
       return CC_DNEmode;
 
     case LE:
+      gcc_assert (cond1 == cond2);
       return CC_DLEmode;
 
     case GE:
+      gcc_assert (cond1 == cond2);
       return CC_DGEmode;
 
     case LEU:
+      gcc_assert (cond1 == cond2);
       return CC_DLEUmode;
 
     case GEU:
+      gcc_assert (cond1 == cond2);
       return CC_DGEUmode;
 
     default:
-      break;
+      gcc_unreachable ();
     }
-
-  abort ();
 }
 
 enum machine_mode
@@ -5924,7 +6683,7 @@ arm_select_cc_mode (enum rtx_code op, rtx x, rtx y)
          return CCFPEmode;
 
        default:
-         abort ();
+         gcc_unreachable ();
        }
     }
 
@@ -5936,6 +6695,13 @@ arm_select_cc_mode (enum rtx_code op, rtx x, rtx y)
          || GET_CODE (x) == ROTATERT))
     return CC_SWPmode;
 
+  /* This operation is performed swapped, but since we only rely on the Z
+     flag we don't need an additional mode.  */
+  if (GET_MODE (y) == SImode && REG_P (y)
+      && GET_CODE (x) == NEG
+      && (op ==        EQ || op == NE))
+    return CC_Zmode;
+
   /* This is a special case that is used by combine to allow a
      comparison of a shifted byte load to be split into a zero-extend
      followed by a comparison of the shifted integer (only valid for
@@ -5982,7 +6748,8 @@ arm_select_cc_mode (enum rtx_code op, rtx x, rtx y)
   if (TARGET_THUMB
       && GET_MODE (x) == SImode
       && (op == EQ || op == NE)
-      && (GET_CODE (x) == ZERO_EXTRACT))
+      && GET_CODE (x) == ZERO_EXTRACT
+      && XEXP (x, 1) == const1_rtx)
     return CC_Nmode;
 
   /* An operation that sets the condition codes as a side-effect, the
@@ -6022,8 +6789,7 @@ arm_gen_compare_reg (enum rtx_code code, rtx x, rtx y)
   enum machine_mode mode = SELECT_CC_MODE (code, x, y);
   rtx cc_reg = gen_rtx_REG (mode, CC_REGNUM);
 
-  emit_insn (gen_rtx_SET (VOIDmode, cc_reg,
-                         gen_rtx_COMPARE (mode, x, y)));
+  emit_set_insn (cc_reg, gen_rtx_COMPARE (mode, x, y));
 
   return cc_reg;
 }
@@ -6077,7 +6843,7 @@ arm_reload_in_hi (rtx *operands)
     {
       rtx base_plus = gen_rtx_REG (SImode, REGNO (operands[2]) + 1);
 
-      emit_insn (gen_rtx_SET (VOIDmode, base_plus, base));
+      emit_set_insn (base_plus, base);
       base = base_plus;
     }
   else if (GET_CODE (base) == PLUS)
@@ -6104,8 +6870,7 @@ arm_reload_in_hi (rtx *operands)
             ^ (HOST_WIDE_INT) 0x80000000)
            - (HOST_WIDE_INT) 0x80000000);
 
-      if (hi + lo != offset)
-       abort ();
+      gcc_assert (hi + lo == offset);
 
       if (hi != 0)
        {
@@ -6136,20 +6901,19 @@ arm_reload_in_hi (rtx *operands)
                                                plus_constant (base,
                                                               offset + 1))));
   if (!BYTES_BIG_ENDIAN)
-    emit_insn (gen_rtx_SET (VOIDmode, gen_rtx_SUBREG (SImode, operands[0], 0),
-                       gen_rtx_IOR (SImode,
-                                    gen_rtx_ASHIFT
-                                    (SImode,
-                                     gen_rtx_SUBREG (SImode, operands[0], 0),
-                                     GEN_INT (8)),
-                                    scratch)));
+    emit_set_insn (gen_rtx_SUBREG (SImode, operands[0], 0),
+                  gen_rtx_IOR (SImode,
+                               gen_rtx_ASHIFT
+                               (SImode,
+                                gen_rtx_SUBREG (SImode, operands[0], 0),
+                                GEN_INT (8)),
+                               scratch));
   else
-    emit_insn (gen_rtx_SET (VOIDmode, gen_rtx_SUBREG (SImode, operands[0], 0),
-                           gen_rtx_IOR (SImode,
-                                        gen_rtx_ASHIFT (SImode, scratch,
-                                                        GEN_INT (8)),
-                                        gen_rtx_SUBREG (SImode, operands[0],
-                                                        0))));
+    emit_set_insn (gen_rtx_SUBREG (SImode, operands[0], 0),
+                  gen_rtx_IOR (SImode,
+                               gen_rtx_ASHIFT (SImode, scratch,
+                                               GEN_INT (8)),
+                               gen_rtx_SUBREG (SImode, operands[0], 0)));
 }
 
 /* Handle storing a half-word to memory during reload by synthesizing as two
@@ -6224,7 +6988,7 @@ arm_reload_out_hi (rtx *operands)
            }
        }
 
-      emit_insn (gen_rtx_SET (VOIDmode, base_plus, base));
+      emit_set_insn (base_plus, base);
       base = base_plus;
     }
   else if (GET_CODE (base) == PLUS)
@@ -6251,8 +7015,7 @@ arm_reload_out_hi (rtx *operands)
             ^ (HOST_WIDE_INT) 0x80000000)
            - (HOST_WIDE_INT) 0x80000000);
 
-      if (hi + lo != offset)
-       abort ();
+      gcc_assert (hi + lo == offset);
 
       if (hi != 0)
        {
@@ -6315,6 +7078,60 @@ arm_reload_out_hi (rtx *operands)
                            gen_lowpart (QImode, scratch)));
     }
 }
+
+/* Return true if a type must be passed in memory. For AAPCS, small aggregates
+   (padded to the size of a word) should be passed in a register.  */
+
+static bool
+arm_must_pass_in_stack (enum machine_mode mode, tree type)
+{
+  if (TARGET_AAPCS_BASED)
+    return must_pass_in_stack_var_size (mode, type);
+  else
+    return must_pass_in_stack_var_size_or_pad (mode, type);
+}
+
+
+/* For use by FUNCTION_ARG_PADDING (MODE, TYPE).
+   Return true if an argument passed on the stack should be padded upwards,
+   i.e. if the least-significant byte has useful data.
+   For legacy APCS ABIs we use the default.  For AAPCS based ABIs small
+   aggregate types are placed in the lowest memory address.  */
+
+bool
+arm_pad_arg_upward (enum machine_mode mode, tree type)
+{
+  if (!TARGET_AAPCS_BASED)
+    return DEFAULT_FUNCTION_ARG_PADDING(mode, type) == upward;
+
+  if (type && BYTES_BIG_ENDIAN && INTEGRAL_TYPE_P (type))
+    return false;
+
+  return true;
+}
+
+
+/* Similarly, for use by BLOCK_REG_PADDING (MODE, TYPE, FIRST).
+   For non-AAPCS, return !BYTES_BIG_ENDIAN if the least significant
+   byte of the register has useful data, and return the opposite if the
+   most significant byte does.
+   For AAPCS, small aggregates and small complex types are always padded
+   upwards.  */
+
+bool
+arm_pad_reg_upward (enum machine_mode mode ATTRIBUTE_UNUSED,
+                    tree type, int first ATTRIBUTE_UNUSED)
+{
+  if (TARGET_AAPCS_BASED
+      && BYTES_BIG_ENDIAN
+      && (AGGREGATE_TYPE_P (type) || TREE_CODE (type) == COMPLEX_TYPE)
+      && int_size_in_bytes (type) <= 4)
+    return true;
+
+  /* Otherwise, use default padding.  */
+  return !BYTES_BIG_ENDIAN;
+}
+
 \f
 /* Print a symbolic form of X to the debug file, F.  */
 static void
@@ -6527,11 +7344,7 @@ get_jump_table_size (rtx insn)
 {
   /* ADDR_VECs only take room if read-only data does into the text
      section.  */
-  if (JUMP_TABLES_IN_TEXT_SECTION
-#if !defined(READONLY_DATA_SECTION) && !defined(READONLY_DATA_SECTION_ASM_OP)
-      || 1
-#endif
-      )
+  if (JUMP_TABLES_IN_TEXT_SECTION || readonly_data_section == text_section)
     {
       rtx body = PATTERN (insn);
       int elt = GET_CODE (body) == ADDR_DIFF_VEC ? 1 : 0;
@@ -6549,10 +7362,8 @@ static Mnode *
 move_minipool_fix_forward_ref (Mnode *mp, Mnode *max_mp,
                               HOST_WIDE_INT max_address)
 {
-  /* This should never be true and the code below assumes these are
-     different.  */
-  if (mp == max_mp)
-    abort ();
+  /* The code below assumes these are different.  */
+  gcc_assert (mp != max_mp);
 
   if (max_mp == NULL)
     {
@@ -6614,7 +7425,7 @@ add_minipool_forward_ref (Mfix *fix)
   /* If this fix's address is greater than the address of the first
      entry, then we can't put the fix in this pool.  We subtract the
      size of the current fix to ensure that if the table is fully
-     packed we still have enough room to insert this value by suffling
+     packed we still have enough room to insert this value by shuffling
      the other fixes forwards.  */
   if (minipool_vector_head &&
       fix->address >= minipool_vector_head->max_address - fix->fix_size)
@@ -6663,7 +7474,7 @@ add_minipool_forward_ref (Mfix *fix)
      any existing entry.  Otherwise, we insert the new fix before
      MAX_MP and, if necessary, adjust the constraints on the other
      entries.  */
-  mp = xmalloc (sizeof (* mp));
+  mp = XNEW (Mnode);
   mp->fix_size = fix->fix_size;
   mp->mode = fix->mode;
   mp->value = fix->value;
@@ -6724,10 +7535,8 @@ move_minipool_fix_backward_ref (Mnode *mp, Mnode *min_mp,
 {
   HOST_WIDE_INT offset;
 
-  /* This should never be true, and the code below assumes these are
-     different.  */
-  if (mp == min_mp)
-    abort ();
+  /* The code below assumes these are different.  */
+  gcc_assert (mp != min_mp);
 
   if (min_mp == NULL)
     {
@@ -6863,7 +7672,7 @@ add_minipool_backward_ref (Mfix *fix)
     }
 
   /* We need to create a new entry.  */
-  mp = xmalloc (sizeof (* mp));
+  mp = XNEW (Mnode);
   mp->fix_size = fix->fix_size;
   mp->mode = fix->mode;
   mp->value = fix->value;
@@ -7007,8 +7816,7 @@ dump_minipool (rtx scan)
 
 #endif
            default:
-             abort ();
-             break;
+             gcc_unreachable ();
            }
        }
 
@@ -7080,8 +7888,7 @@ create_fix_barrier (Mfix *fix, HOST_WIDE_INT max_address)
 
       /* This code shouldn't have been called if there was a natural barrier
         within range.  */
-      if (GET_CODE (from) == BARRIER)
-       abort ();
+      gcc_assert (GET_CODE (from) != BARRIER);
 
       /* Count the length of this insn.  */
       count += get_attr_length (from);
@@ -7186,10 +7993,9 @@ push_minipool_fix (rtx insn, HOST_WIDE_INT address, rtx *loc,
   fix->minipool = NULL;
 
   /* If an insn doesn't have a range defined for it, then it isn't
-     expecting to be reworked by this code.  Better to abort now than
+     expecting to be reworked by this code.  Better to stop now than
      to generate duff assembly code.  */
-  if (fix->forwards == 0 && fix->backwards == 0)
-    abort ();
+  gcc_assert (fix->forwards || fix->backwards);
 
   /* With AAPCS/iWMMXt enabled, the pool is aligned to an 8-byte boundary.
      So there might be an empty word before the start of the pool.
@@ -7220,9 +8026,72 @@ push_minipool_fix (rtx insn, HOST_WIDE_INT address, rtx *loc,
   minipool_fix_tail = fix;
 }
 
+/* Return the cost of synthesizing a 64-bit constant VAL inline.
+   Returns the number of insns needed, or 99 if we don't know how to
+   do it.  */
+int
+arm_const_double_inline_cost (rtx val)
+{
+  rtx lowpart, highpart;
+  enum machine_mode mode;
+
+  mode = GET_MODE (val);
+
+  if (mode == VOIDmode)
+    mode = DImode;
+
+  gcc_assert (GET_MODE_SIZE (mode) == 8);
+
+  lowpart = gen_lowpart (SImode, val);
+  highpart = gen_highpart_mode (SImode, mode, val);
+
+  gcc_assert (GET_CODE (lowpart) == CONST_INT);
+  gcc_assert (GET_CODE (highpart) == CONST_INT);
+
+  return (arm_gen_constant (SET, SImode, NULL_RTX, INTVAL (lowpart),
+                           NULL_RTX, NULL_RTX, 0, 0)
+         + arm_gen_constant (SET, SImode, NULL_RTX, INTVAL (highpart),
+                             NULL_RTX, NULL_RTX, 0, 0));
+}
+
+/* Return true if it is worthwhile to split a 64-bit constant into two
+   32-bit operations.  This is the case if optimizing for size, or
+   if we have load delay slots, or if one 32-bit part can be done with
+   a single data operation.  */
+bool
+arm_const_double_by_parts (rtx val)
+{
+  enum machine_mode mode = GET_MODE (val);
+  rtx part;
+
+  if (optimize_size || arm_ld_sched)
+    return true;
+
+  if (mode == VOIDmode)
+    mode = DImode;
+
+  part = gen_highpart_mode (SImode, mode, val);
+
+  gcc_assert (GET_CODE (part) == CONST_INT);
+
+  if (const_ok_for_arm (INTVAL (part))
+      || const_ok_for_arm (~INTVAL (part)))
+    return true;
+
+  part = gen_lowpart (SImode, val);
+
+  gcc_assert (GET_CODE (part) == CONST_INT);
+
+  if (const_ok_for_arm (INTVAL (part))
+      || const_ok_for_arm (~INTVAL (part)))
+    return true;
+
+  return false;
+}
+
 /* Scan INSN and note any of its operands that need fixing.
    If DO_PUSHES is false we do not actually push any of the fixups
-   needed.  The function returns TRUE is any fixups were needed/pushed.
+   needed.  The function returns TRUE if any fixups were needed/pushed.
    This is used by arm_memory_load_p() which needs to know about loads
    of constants that will be converted into minipool loads.  */
 static bool
@@ -7239,7 +8108,8 @@ note_invalid_constants (rtx insn, HOST_WIDE_INT address, int do_pushes)
   if (recog_data.n_alternatives == 0)
     return false;
 
-  /* Fill in recog_op_alt with information about the constraints of this insn.  */
+  /* Fill in recog_op_alt with information about the constraints of
+     this insn.  */
   preprocess_constraints ();
 
   for (opno = 0; opno < recog_data.n_operands; opno++)
@@ -7308,8 +8178,7 @@ arm_reorg (void)
   /* The first insn must always be a note, or the code below won't
      scan it properly.  */
   insn = get_insns ();
-  if (GET_CODE (insn) != NOTE)
-    abort ();
+  gcc_assert (GET_CODE (insn) == NOTE);
 
   /* Scan all the insns and record the operands that will need fixing.  */
   for (insn = next_nonnote_insn (insn); insn; insn = next_nonnote_insn (insn))
@@ -7403,8 +8272,7 @@ arm_reorg (void)
          /* The last item on the list of fixes must be a barrier, so
             we can never run off the end of the list of fixes without
             last_barrier being set.  */
-         if (ftmp == NULL)
-           abort ();
+         gcc_assert (ftmp);
 
          max_address = minipool_vector_head->max_address;
          /* Check that there isn't another fix that is in range that
@@ -7474,7 +8342,7 @@ fp_immediate_constant (rtx x)
     if (REAL_VALUES_EQUAL (r, values_fp[i]))
       return strings_fp[i];
 
-  abort ();
+  gcc_unreachable ();
 }
 
 /* As for fp_immediate_constant, but value is passed directly, not in rtx.  */
@@ -7490,18 +8358,20 @@ fp_const_from_val (REAL_VALUE_TYPE *r)
     if (REAL_VALUES_EQUAL (*r, values_fp[i]))
       return strings_fp[i];
 
-  abort ();
+  gcc_unreachable ();
 }
 
 /* Output the operands of a LDM/STM instruction to STREAM.
    MASK is the ARM register set mask of which only bits 0-15 are important.
    REG is the base register, either the frame pointer or the stack pointer,
    INSTR is the possibly suffixed load or store instruction.  */
+
 static void
-print_multi_reg (FILE *stream, const char *instr, int reg, int mask)
+print_multi_reg (FILE *stream, const char *instr, unsigned reg,
+                unsigned long mask)
 {
-  int i;
-  int not_first = FALSE;
+  unsigned i;
+  bool not_first = FALSE;
 
   fputc ('\t', stream);
   asm_fprintf (stream, instr, reg);
@@ -7566,8 +8436,7 @@ vfp_output_fstmx (rtx * operands)
   strcpy (pattern, "fstmfdx\t%m0!, {%P1");
   p = strlen (pattern);
 
-  if (GET_CODE (operands[1]) != REG)
-    abort ();
+  gcc_assert (GET_CODE (operands[1]) == REG);
 
   base = (REGNO (operands[1]) - FIRST_VFP_REGNUM) / 2;
   for (i = 1; i < XVECLEN (operands[2], 0); i++)
@@ -7614,20 +8483,20 @@ vfp_emit_fstmx (int base_reg, int count)
 
   XVECEXP (par, 0, 0)
     = gen_rtx_SET (VOIDmode,
-                  gen_rtx_MEM (BLKmode,
-                               gen_rtx_PRE_DEC (BLKmode, stack_pointer_rtx)),
+                  gen_frame_mem (BLKmode,
+                                 gen_rtx_PRE_DEC (BLKmode,
+                                                  stack_pointer_rtx)),
                   gen_rtx_UNSPEC (BLKmode,
                                   gen_rtvec (1, reg),
                                   UNSPEC_PUSH_MULT));
 
   tmp = gen_rtx_SET (VOIDmode, stack_pointer_rtx,
-                    gen_rtx_PLUS (SImode, stack_pointer_rtx,
-                                  GEN_INT (-(count * 8 + 4))));
+                    plus_constant (stack_pointer_rtx, -(count * 8 + 4)));
   RTX_FRAME_RELATED_P (tmp) = 1;
   XVECEXP (dwarf, 0, 0) = tmp;
 
   tmp = gen_rtx_SET (VOIDmode,
-                    gen_rtx_MEM (DFmode, stack_pointer_rtx),
+                    gen_frame_mem (DFmode, stack_pointer_rtx),
                     reg);
   RTX_FRAME_RELATED_P (tmp) = 1;
   XVECEXP (dwarf, 0, 1) = tmp;
@@ -7639,10 +8508,9 @@ vfp_emit_fstmx (int base_reg, int count)
       XVECEXP (par, 0, i) = gen_rtx_USE (VOIDmode, reg);
 
       tmp = gen_rtx_SET (VOIDmode,
-                        gen_rtx_MEM (DFmode,
-                                     gen_rtx_PLUS (SImode,
-                                                   stack_pointer_rtx,
-                                                   GEN_INT (i * 8))),
+                        gen_frame_mem (DFmode,
+                                       plus_constant (stack_pointer_rtx,
+                                                      i * 8)),
                         reg);
       RTX_FRAME_RELATED_P (tmp) = 1;
       XVECEXP (dwarf, 0, i + 1) = tmp;
@@ -7661,8 +8529,7 @@ vfp_emit_fstmx (int base_reg, int count)
 const char *
 output_call (rtx *operands)
 {
-  if (arm_arch5)
-    abort ();          /* Patterns should call blx <reg> directly.  */
+  gcc_assert (!arm_arch5); /* Patterns should call blx <reg> directly.  */
 
   /* Handle calls to lr using ip (which may be clobbered in subr anyway).  */
   if (REGNO (operands[0]) == LR_REGNUM)
@@ -7698,7 +8565,7 @@ output_call_mem (rtx *operands)
         load since the call will kill it anyway.  */
       output_asm_insn ("ldr%?\t%|ip, %0", operands);
       if (arm_arch5)
-       output_asm_insn ("blx%?%|ip", operands);
+       output_asm_insn ("blx%?\t%|ip", operands);
       else
        {
          output_asm_insn ("mov%?\t%|lr, %|pc", operands);
@@ -7727,8 +8594,7 @@ output_mov_long_double_fpa_from_arm (rtx *operands)
   int arm_reg0 = REGNO (operands[1]);
   rtx ops[3];
 
-  if (arm_reg0 == IP_REGNUM)
-    abort ();
+  gcc_assert (arm_reg0 != IP_REGNUM);
 
   ops[0] = gen_rtx_REG (SImode, arm_reg0);
   ops[1] = gen_rtx_REG (SImode, 1 + arm_reg0);
@@ -7749,8 +8615,7 @@ output_mov_long_double_arm_from_fpa (rtx *operands)
   int arm_reg0 = REGNO (operands[0]);
   rtx ops[3];
 
-  if (arm_reg0 == IP_REGNUM)
-    abort ();
+  gcc_assert (arm_reg0 != IP_REGNUM);
 
   ops[0] = gen_rtx_REG (SImode, arm_reg0);
   ops[1] = gen_rtx_REG (SImode, 1 + arm_reg0);
@@ -7805,8 +8670,7 @@ output_mov_double_fpa_from_arm (rtx *operands)
   int arm_reg0 = REGNO (operands[1]);
   rtx ops[2];
 
-  if (arm_reg0 == IP_REGNUM)
-    abort ();
+  gcc_assert (arm_reg0 != IP_REGNUM);
 
   ops[0] = gen_rtx_REG (SImode, arm_reg0);
   ops[1] = gen_rtx_REG (SImode, 1 + arm_reg0);
@@ -7824,8 +8688,7 @@ output_mov_double_arm_from_fpa (rtx *operands)
   int arm_reg0 = REGNO (operands[0]);
   rtx ops[2];
 
-  if (arm_reg0 == IP_REGNUM)
-    abort ();
+  gcc_assert (arm_reg0 != IP_REGNUM);
 
   ops[0] = gen_rtx_REG (SImode, arm_reg0);
   ops[1] = gen_rtx_REG (SImode, 1 + arm_reg0);
@@ -7850,328 +8713,151 @@ output_move_double (rtx *operands)
 
       otherops[0] = gen_rtx_REG (SImode, 1 + reg0);
 
-      if (code1 == REG)
-       {
-         int reg1 = REGNO (operands[1]);
-         if (reg1 == IP_REGNUM)
-           abort ();
+      gcc_assert (code1 == MEM);  /* Constraints should ensure this.  */
 
-         /* Ensure the second source is not overwritten.  */
-         if (reg1 == reg0 + (WORDS_BIG_ENDIAN ? -1 : 1))
-           output_asm_insn ("mov%?\t%Q0, %Q1\n\tmov%?\t%R0, %R1", operands);
-         else
-           output_asm_insn ("mov%?\t%R0, %R1\n\tmov%?\t%Q0, %Q1", operands);
-       }
-      else if (code1 == CONST_VECTOR)
+      switch (GET_CODE (XEXP (operands[1], 0)))
        {
-         HOST_WIDE_INT hint = 0;
-
-         switch (GET_MODE (operands[1]))
-           {
-           case V2SImode:
-             otherops[1] = GEN_INT (INTVAL (CONST_VECTOR_ELT (operands[1], 1)));
-             operands[1] = GEN_INT (INTVAL (CONST_VECTOR_ELT (operands[1], 0)));
-             break;
-
-           case V4HImode:
-             if (BYTES_BIG_ENDIAN)
-               {
-                 hint = INTVAL (CONST_VECTOR_ELT (operands[1], 2));
-                 hint <<= 16;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 3));
-               }
-             else
-               {
-                 hint = INTVAL (CONST_VECTOR_ELT (operands[1], 3));
-                 hint <<= 16;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 2));
-               }
+       case REG:
+         output_asm_insn ("ldm%?ia\t%m1, %M0", operands);
+         break;
 
-             otherops[1] = GEN_INT (hint);
-             hint = 0;
+       case PRE_INC:
+         gcc_assert (TARGET_LDRD);
+         output_asm_insn ("ldr%?d\t%0, [%m1, #8]!", operands);
+         break;
 
-             if (BYTES_BIG_ENDIAN)
-               {
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 0));
-                 hint <<= 16;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 1));
-               }
-             else
-               {
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 1));
-                 hint <<= 16;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 0));
-               }
+       case PRE_DEC:
+         output_asm_insn ("ldm%?db\t%m1!, %M0", operands);
+         break;
 
-             operands[1] = GEN_INT (hint);
-             break;
+       case POST_INC:
+         output_asm_insn ("ldm%?ia\t%m1!, %M0", operands);
+         break;
 
-           case V8QImode:
-             if (BYTES_BIG_ENDIAN)
-               {
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 4));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 5));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 6));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 7));
-               }
-             else
-               {
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 7));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 6));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 5));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 4));
-               }
+       case POST_DEC:
+         gcc_assert (TARGET_LDRD);
+         output_asm_insn ("ldr%?d\t%0, [%m1], #-8", operands);
+         break;
 
-             otherops[1] = GEN_INT (hint);
-             hint = 0;
+       case PRE_MODIFY:
+       case POST_MODIFY:
+         otherops[0] = operands[0];
+         otherops[1] = XEXP (XEXP (XEXP (operands[1], 0), 1), 0);
+         otherops[2] = XEXP (XEXP (XEXP (operands[1], 0), 1), 1);
 
-             if (BYTES_BIG_ENDIAN)
+         if (GET_CODE (XEXP (operands[1], 0)) == PRE_MODIFY)
+           {
+             if (reg_overlap_mentioned_p (otherops[0], otherops[2]))
                {
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 0));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 1));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 2));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 3));
+                 /* Registers overlap so split out the increment.  */
+                 output_asm_insn ("add%?\t%1, %1, %2", otherops);
+                 output_asm_insn ("ldr%?d\t%0, [%1] @split", otherops);
                }
              else
-               {
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 3));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 2));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 1));
-                 hint <<= 8;
-                 hint |= INTVAL (CONST_VECTOR_ELT (operands[1], 0));
-               }
-
-             operands[1] = GEN_INT (hint);
-             break;
-
-           default:
-             abort ();
-           }
-         output_mov_immediate (operands);
-         output_mov_immediate (otherops);
-       }
-      else if (code1 == CONST_DOUBLE)
-       {
-         if (GET_MODE (operands[1]) == DFmode)
-           {
-             REAL_VALUE_TYPE r;
-             long l[2];
-
-             REAL_VALUE_FROM_CONST_DOUBLE (r, operands[1]);
-             REAL_VALUE_TO_TARGET_DOUBLE (r, l);
-             otherops[1] = GEN_INT (l[1]);
-             operands[1] = GEN_INT (l[0]);
-           }
-         else if (GET_MODE (operands[1]) != VOIDmode)
-           abort ();
-         else if (WORDS_BIG_ENDIAN)
-           {
-             otherops[1] = GEN_INT (CONST_DOUBLE_LOW (operands[1]));
-             operands[1] = GEN_INT (CONST_DOUBLE_HIGH (operands[1]));
-           }
-         else
-           {
-             otherops[1] = GEN_INT (CONST_DOUBLE_HIGH (operands[1]));
-             operands[1] = GEN_INT (CONST_DOUBLE_LOW (operands[1]));
-           }
-
-         output_mov_immediate (operands);
-         output_mov_immediate (otherops);
-       }
-      else if (code1 == CONST_INT)
-       {
-#if HOST_BITS_PER_WIDE_INT > 32
-         /* If HOST_WIDE_INT is more than 32 bits, the intval tells us
-            what the upper word is.  */
-         if (WORDS_BIG_ENDIAN)
-           {
-             otherops[1] = GEN_INT (ARM_SIGN_EXTEND (INTVAL (operands[1])));
-             operands[1] = GEN_INT (INTVAL (operands[1]) >> 32);
+               output_asm_insn ("ldr%?d\t%0, [%1, %2]!", otherops);
            }
          else
            {
-             otherops[1] = GEN_INT (INTVAL (operands[1]) >> 32);
-             operands[1] = GEN_INT (ARM_SIGN_EXTEND (INTVAL (operands[1])));
-           }
-#else
-         /* Sign extend the intval into the high-order word.  */
-         if (WORDS_BIG_ENDIAN)
-           {
-             otherops[1] = operands[1];
-             operands[1] = (INTVAL (operands[1]) < 0
-                            ? constm1_rtx : const0_rtx);
+             /* We only allow constant increments, so this is safe.  */
+             output_asm_insn ("ldr%?d\t%0, [%1], %2", otherops);
            }
-         else
-           otherops[1] = INTVAL (operands[1]) < 0 ? constm1_rtx : const0_rtx;
-#endif
-         output_mov_immediate (otherops);
-         output_mov_immediate (operands);
-       }
-      else if (code1 == MEM)
-       {
-         switch (GET_CODE (XEXP (operands[1], 0)))
-           {
-           case REG:
-             output_asm_insn ("ldm%?ia\t%m1, %M0", operands);
-             break;
-
-           case PRE_INC:
-             if (!TARGET_LDRD)
-               abort (); /* Should never happen now.  */
-             output_asm_insn ("ldr%?d\t%0, [%m1, #8]!", operands);
-             break;
-
-           case PRE_DEC:
-             output_asm_insn ("ldm%?db\t%m1!, %M0", operands);
-             break;
-
-           case POST_INC:
-             output_asm_insn ("ldm%?ia\t%m1!, %M0", operands);
-             break;
+         break;
 
-           case POST_DEC:
-             if (!TARGET_LDRD)
-               abort (); /* Should never happen now.  */
-             output_asm_insn ("ldr%?d\t%0, [%m1], #-8", operands);
-             break;
+       case LABEL_REF:
+       case CONST:
+         output_asm_insn ("adr%?\t%0, %1", operands);
+         output_asm_insn ("ldm%?ia\t%0, %M0", operands);
+         break;
 
-           case PRE_MODIFY:
-           case POST_MODIFY:
+       default:
+         if (arm_add_operand (XEXP (XEXP (operands[1], 0), 1),
+                              GET_MODE (XEXP (XEXP (operands[1], 0), 1))))
+           {
              otherops[0] = operands[0];
-             otherops[1] = XEXP (XEXP (XEXP (operands[1], 0), 1), 0);
-             otherops[2] = XEXP (XEXP (XEXP (operands[1], 0), 1), 1);
-
-             if (GET_CODE (XEXP (operands[1], 0)) == PRE_MODIFY)
-               {
-                 if (reg_overlap_mentioned_p (otherops[0], otherops[2]))
-                   {
-                     /* Registers overlap so split out the increment.  */
-                     output_asm_insn ("add%?\t%1, %1, %2", otherops);
-                     output_asm_insn ("ldr%?d\t%0, [%1] @split", otherops);
-                   }
-                 else
-                   output_asm_insn ("ldr%?d\t%0, [%1, %2]!", otherops);
-               }
-             else
-               {
-                 /* We only allow constant increments, so this is safe.  */
-                 output_asm_insn ("ldr%?d\t%0, [%1], %2", otherops);
-               }
-             break;
-
-           case LABEL_REF:
-           case CONST:
-             output_asm_insn ("adr%?\t%0, %1", operands);
-             output_asm_insn ("ldm%?ia\t%0, %M0", operands);
-             break;
+             otherops[1] = XEXP (XEXP (operands[1], 0), 0);
+             otherops[2] = XEXP (XEXP (operands[1], 0), 1);
 
-           default:
-             if (arm_add_operand (XEXP (XEXP (operands[1], 0), 1),
-                                  GET_MODE (XEXP (XEXP (operands[1], 0), 1))))
+             if (GET_CODE (XEXP (operands[1], 0)) == PLUS)
                {
-                 otherops[0] = operands[0];
-                 otherops[1] = XEXP (XEXP (operands[1], 0), 0);
-                 otherops[2] = XEXP (XEXP (operands[1], 0), 1);
-
-                 if (GET_CODE (XEXP (operands[1], 0)) == PLUS)
+                 if (GET_CODE (otherops[2]) == CONST_INT)
                    {
-                     if (GET_CODE (otherops[2]) == CONST_INT)
+                     switch ((int) INTVAL (otherops[2]))
                        {
-                         switch ((int) INTVAL (otherops[2]))
-                           {
-                           case -8:
-                             output_asm_insn ("ldm%?db\t%1, %M0", otherops);
-                             return "";
-                           case -4:
-                             output_asm_insn ("ldm%?da\t%1, %M0", otherops);
-                             return "";
-                           case 4:
-                             output_asm_insn ("ldm%?ib\t%1, %M0", otherops);
-                             return "";
-                           }
+                       case -8:
+                         output_asm_insn ("ldm%?db\t%1, %M0", otherops);
+                         return "";
+                       case -4:
+                         output_asm_insn ("ldm%?da\t%1, %M0", otherops);
+                         return "";
+                       case 4:
+                         output_asm_insn ("ldm%?ib\t%1, %M0", otherops);
+                         return "";
                        }
-                     if (TARGET_LDRD
-                         && (GET_CODE (otherops[2]) == REG
-                             || (GET_CODE (otherops[2]) == CONST_INT
-                                 && INTVAL (otherops[2]) > -256
-                                 && INTVAL (otherops[2]) < 256)))
+                   }
+                 if (TARGET_LDRD
+                     && (GET_CODE (otherops[2]) == REG
+                         || (GET_CODE (otherops[2]) == CONST_INT
+                             && INTVAL (otherops[2]) > -256
+                             && INTVAL (otherops[2]) < 256)))
+                   {
+                     if (reg_overlap_mentioned_p (otherops[0],
+                                                  otherops[2]))
                        {
-                         if (reg_overlap_mentioned_p (otherops[0],
-                                                      otherops[2]))
-                           {
-                             /* Swap base and index registers over to
-                                avoid a conflict.  */
-                             otherops[1] = XEXP (XEXP (operands[1], 0), 1);
-                             otherops[2] = XEXP (XEXP (operands[1], 0), 0);
-
-                           }
-                         /* If both registers conflict, it will usually
-                            have been fixed by a splitter.  */
-                         if (reg_overlap_mentioned_p (otherops[0],
-                                                       otherops[2]))
-                           {
-                             output_asm_insn ("add%?\t%1, %1, %2", otherops);
-                             output_asm_insn ("ldr%?d\t%0, [%1]",
-                                              otherops);
-                             return "";
-                           }
-                         else
-                           {
-                             output_asm_insn ("ldr%?d\t%0, [%1, %2]",
-                                              otherops);
-                             return "";
-                           }
+                         /* Swap base and index registers over to
+                            avoid a conflict.  */
+                         otherops[1] = XEXP (XEXP (operands[1], 0), 1);
+                         otherops[2] = XEXP (XEXP (operands[1], 0), 0);
                        }
-                     if (GET_CODE (otherops[2]) == CONST_INT)
+                     /* If both registers conflict, it will usually
+                        have been fixed by a splitter.  */
+                     if (reg_overlap_mentioned_p (otherops[0], otherops[2]))
                        {
-                         if (!(const_ok_for_arm (INTVAL (otherops[2]))))
-                           output_asm_insn ("sub%?\t%0, %1, #%n2", otherops);
-                         else
-                           output_asm_insn ("add%?\t%0, %1, %2", otherops);
+                         output_asm_insn ("add%?\t%1, %1, %2", otherops);
+                         output_asm_insn ("ldr%?d\t%0, [%1]",
+                                          otherops);
                        }
                      else
-                       output_asm_insn ("add%?\t%0, %1, %2", otherops);
+                       output_asm_insn ("ldr%?d\t%0, [%1, %2]", otherops);
+                     return "";
                    }
-                 else
-                   output_asm_insn ("sub%?\t%0, %1, %2", otherops);
-
-                 return "ldm%?ia\t%0, %M0";
-                }
-              else
-                {
-                 otherops[1] = adjust_address (operands[1], SImode, 4);
-                 /* Take care of overlapping base/data reg.  */
-                 if (reg_mentioned_p (operands[0], operands[1]))
+
+                 if (GET_CODE (otherops[2]) == CONST_INT)
                    {
-                     output_asm_insn ("ldr%?\t%0, %1", otherops);
-                     output_asm_insn ("ldr%?\t%0, %1", operands);
+                     if (!(const_ok_for_arm (INTVAL (otherops[2]))))
+                       output_asm_insn ("sub%?\t%0, %1, #%n2", otherops);
+                     else
+                       output_asm_insn ("add%?\t%0, %1, %2", otherops);
                    }
                  else
-                   {
-                     output_asm_insn ("ldr%?\t%0, %1", operands);
-                     output_asm_insn ("ldr%?\t%0, %1", otherops);
-                   }
+                   output_asm_insn ("add%?\t%0, %1, %2", otherops);
+               }
+             else
+               output_asm_insn ("sub%?\t%0, %1, %2", otherops);
+
+             return "ldm%?ia\t%0, %M0";
+           }
+         else
+           {
+             otherops[1] = adjust_address (operands[1], SImode, 4);
+             /* Take care of overlapping base/data reg.  */
+             if (reg_mentioned_p (operands[0], operands[1]))
+               {
+                 output_asm_insn ("ldr%?\t%0, %1", otherops);
+                 output_asm_insn ("ldr%?\t%0, %1", operands);
+               }
+             else
+               {
+                 output_asm_insn ("ldr%?\t%0, %1", operands);
+                 output_asm_insn ("ldr%?\t%0, %1", otherops);
                }
            }
        }
-      else
-       abort ();  /* Constraints should prevent this.  */
     }
-  else if (code0 == MEM && code1 == REG)
+  else
     {
-      if (REGNO (operands[1]) == IP_REGNUM)
-       abort ();
+      /* Constraints should ensure this.  */
+      gcc_assert (code0 == MEM && code1 == REG);
+      gcc_assert (REGNO (operands[1]) != IP_REGNUM);
 
       switch (GET_CODE (XEXP (operands[0], 0)))
         {
@@ -8180,8 +8866,7 @@ output_move_double (rtx *operands)
          break;
 
         case PRE_INC:
-         if (!TARGET_LDRD)
-           abort (); /* Should never happen now.  */
+         gcc_assert (TARGET_LDRD);
          output_asm_insn ("str%?d\t%1, [%m0, #8]!", operands);
          break;
 
@@ -8194,8 +8879,7 @@ output_move_double (rtx *operands)
          break;
 
         case POST_DEC:
-         if (!TARGET_LDRD)
-           abort (); /* Should never happen now.  */
+         gcc_assert (TARGET_LDRD);
          output_asm_insn ("str%?d\t%1, [%m0], #-8", operands);
          break;
 
@@ -8250,46 +8934,6 @@ output_move_double (rtx *operands)
          output_asm_insn ("str%?\t%1, %0", otherops);
        }
     }
-  else
-    /* Constraints should prevent this.  */
-    abort ();
-
-  return "";
-}
-
-
-/* Output an arbitrary MOV reg, #n.
-   OPERANDS[0] is a register.  OPERANDS[1] is a const_int.  */
-const char *
-output_mov_immediate (rtx *operands)
-{
-  HOST_WIDE_INT n = INTVAL (operands[1]);
-
-  /* Try to use one MOV.  */
-  if (const_ok_for_arm (n))
-    output_asm_insn ("mov%?\t%0, %1", operands);
-
-  /* Try to use one MVN.  */
-  else if (const_ok_for_arm (~n))
-    {
-      operands[1] = GEN_INT (~n);
-      output_asm_insn ("mvn%?\t%0, %1", operands);
-    }
-  else
-    {
-      int n_ones = 0;
-      int i;
-
-      /* If all else fails, make it out of ORRs or BICs as appropriate.  */
-      for (i = 0; i < 32; i++)
-       if (n & 1 << i)
-         n_ones++;
-
-      if (n_ones > 16)  /* Shorter to use MVN with BIC in this case.  */
-       output_multi_immediate (operands, "mvn%?\t%0, %1", "bic%?\t%0, %0, %1", 1, ~ n);
-      else
-       output_multi_immediate (operands, "mov%?\t%0, %1", "orr%?\t%0, %0, %1", 1, n);
-    }
 
   return "";
 }
@@ -8382,7 +9026,7 @@ arithmetic_instr (rtx op, int shift_first_arg)
       return "and";
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 }
 
@@ -8397,12 +9041,20 @@ shift_op (rtx op, HOST_WIDE_INT *amountp)
   const char * mnem;
   enum rtx_code code = GET_CODE (op);
 
-  if (GET_CODE (XEXP (op, 1)) == REG || GET_CODE (XEXP (op, 1)) == SUBREG)
-    *amountp = -1;
-  else if (GET_CODE (XEXP (op, 1)) == CONST_INT)
-    *amountp = INTVAL (XEXP (op, 1));
-  else
-    abort ();
+  switch (GET_CODE (XEXP (op, 1)))
+    {
+    case REG:
+    case SUBREG:
+      *amountp = -1;
+      break;
+
+    case CONST_INT:
+      *amountp = INTVAL (XEXP (op, 1));
+      break;
+
+    default:
+      gcc_unreachable ();
+    }
 
   switch (code)
     {
@@ -8419,8 +9071,7 @@ shift_op (rtx op, HOST_WIDE_INT *amountp)
       break;
 
     case ROTATE:
-      if (*amountp == -1)
-       abort ();
+      gcc_assert (*amountp != -1);
       *amountp = 32 - *amountp;
 
       /* Fall through.  */
@@ -8432,14 +9083,12 @@ shift_op (rtx op, HOST_WIDE_INT *amountp)
     case MULT:
       /* We never have to worry about the amount being other than a
         power of 2, since this case can never be reloaded from a reg.  */
-      if (*amountp != -1)
-       *amountp = int_log2 (*amountp);
-      else
-       abort ();
+      gcc_assert (*amountp != -1);
+      *amountp = int_log2 (*amountp);
       return "asl";
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 
   if (*amountp != -1)
@@ -8478,16 +9127,21 @@ int_log2 (HOST_WIDE_INT power)
 
   while ((((HOST_WIDE_INT) 1 << shift) & power) == 0)
     {
-      if (shift > 31)
-       abort ();
+      gcc_assert (shift <= 31);
       shift++;
     }
 
   return shift;
 }
 
-/* Output a .ascii pseudo-op, keeping track of lengths.  This is because
-   /bin/as is horribly restrictive.  */
+/* Output a .ascii pseudo-op, keeping track of lengths.  This is
+   because /bin/as is horribly restrictive.  The judgement about
+   whether or not each character is 'printable' (and can be output as
+   is) or not (and must be printed with an octal escape) must be made
+   with reference to the *host* character set -- the situation is
+   similar to that discussed in the comments above pp_c_char in
+   c-pretty-print.c.  */
+
 #define MAX_ASCII_LEN 51
 
 void
@@ -8508,57 +9162,20 @@ output_ascii_pseudo_op (FILE *stream, const unsigned char *p, int len)
          len_so_far = 0;
        }
 
-      switch (c)
+      if (ISPRINT (c))
        {
-       case TARGET_TAB:
-         fputs ("\\t", stream);
-         len_so_far += 2;
-         break;
-
-       case TARGET_FF:
-         fputs ("\\f", stream);
-         len_so_far += 2;
-         break;
-
-       case TARGET_BS:
-         fputs ("\\b", stream);
-         len_so_far += 2;
-         break;
-
-       case TARGET_CR:
-         fputs ("\\r", stream);
-         len_so_far += 2;
-         break;
-
-       case TARGET_NEWLINE:
-         fputs ("\\n", stream);
-         c = p [i + 1];
-         if ((c >= ' ' && c <= '~')
-             || c == TARGET_TAB)
-           /* This is a good place for a line break.  */
-           len_so_far = MAX_ASCII_LEN;
-         else
-           len_so_far += 2;
-         break;
-
-       case '\"':
-       case '\\':
-         putc ('\\', stream);
-         len_so_far++;
-         /* Drop through.  */
-
-       default:
-         if (c >= ' ' && c <= '~')
+         if (c == '\\' || c == '\"')
            {
-             putc (c, stream);
+             putc ('\\', stream);
              len_so_far++;
            }
-         else
-           {
-             fprintf (stream, "\\%03o", c);
-             len_so_far += 4;
-           }
-         break;
+         putc (c, stream);
+         len_so_far++;
+       }
+      else
+       {
+         fprintf (stream, "\\%03o", c);
+         len_so_far += 4;
        }
     }
 
@@ -8567,11 +9184,12 @@ output_ascii_pseudo_op (FILE *stream, const unsigned char *p, int len)
 \f
 /* Compute the register save mask for registers 0 through 12
    inclusive.  This code is used by arm_compute_save_reg_mask.  */
+
 static unsigned long
 arm_compute_save_reg0_reg12_mask (void)
 {
   unsigned long func_type = arm_current_func_type ();
-  unsigned int save_reg_mask = 0;
+  unsigned long save_reg_mask = 0;
   unsigned int reg;
 
   if (IS_INTERRUPT (func_type))
@@ -8597,6 +9215,13 @@ arm_compute_save_reg0_reg12_mask (void)
        if (regs_ever_live[reg]
            || (! current_function_is_leaf && call_used_regs [reg]))
          save_reg_mask |= (1 << reg);
+
+      /* Also save the pic base register if necessary.  */
+      if (flag_pic
+         && !TARGET_SINGLE_PIC_BASE
+         && arm_pic_register != INVALID_REGNUM
+         && current_function_uses_pic_offset_table)
+       save_reg_mask |= 1 << PIC_OFFSET_TABLE_REGNUM;
     }
   else
     {
@@ -8616,8 +9241,10 @@ arm_compute_save_reg0_reg12_mask (void)
       /* If we aren't loading the PIC register,
         don't stack it even though it may be live.  */
       if (flag_pic
-         && ! TARGET_SINGLE_PIC_BASE
-         && regs_ever_live[PIC_OFFSET_TABLE_REGNUM])
+         && !TARGET_SINGLE_PIC_BASE
+         && arm_pic_register != INVALID_REGNUM
+         && (regs_ever_live[PIC_OFFSET_TABLE_REGNUM]
+             || current_function_uses_pic_offset_table))
        save_reg_mask |= 1 << PIC_OFFSET_TABLE_REGNUM;
     }
 
@@ -8724,28 +9351,42 @@ static unsigned long
 thumb_compute_save_reg_mask (void)
 {
   unsigned long mask;
-  int reg;
+  unsigned reg;
 
   mask = 0;
   for (reg = 0; reg < 12; reg ++)
-    {
-      if (regs_ever_live[reg] && !call_used_regs[reg])
-       mask |= 1 << reg;
-    }
+    if (regs_ever_live[reg] && !call_used_regs[reg])
+      mask |= 1 << reg;
+
+  if (flag_pic
+      && !TARGET_SINGLE_PIC_BASE
+      && arm_pic_register != INVALID_REGNUM
+      && current_function_uses_pic_offset_table)
+    mask |= 1 << PIC_OFFSET_TABLE_REGNUM;
 
-  if (flag_pic && !TARGET_SINGLE_PIC_BASE)
-    mask |= PIC_OFFSET_TABLE_REGNUM;
-  if (TARGET_SINGLE_PIC_BASE)
-    mask &= ~(1 << arm_pic_register);
+  /* See if we might need r11 for calls to _interwork_r11_call_via_rN().  */
+  if (!frame_pointer_needed && CALLER_INTERWORKING_SLOT_SIZE > 0)
+    mask |= 1 << ARM_HARD_FRAME_POINTER_REGNUM;
 
-  /* lr will also be pushed if any lo regs are pushed.  */
+  /* LR will also be pushed if any lo regs are pushed.  */
   if (mask & 0xff || thumb_force_lr_save ())
     mask |= (1 << LR_REGNUM);
 
-  /* Make sure we have a low work register if we need one.  */
-  if (((mask & 0xff) == 0 && regs_ever_live[LAST_ARG_REGNUM])
+  /* Make sure we have a low work register if we need one.
+     We will need one if we are going to push a high register,
+     but we are not currently intending to push a low register.  */
+  if ((mask & 0xff) == 0
       && ((mask & 0x0f00) || TARGET_BACKTRACE))
-    mask |= 1 << LAST_LO_REGNUM;
+    {
+      /* Use thumb_find_work_register to choose which register
+        we will use.  If the register is live then we will
+        have to push it.  Use LAST_LO_REGNUM as our fallback
+        choice for the register to select.  */
+      reg = thumb_find_work_register (1 << LAST_LO_REGNUM);
+
+      if (! call_used_regs[reg])
+       mask |= 1 << reg;
+    }
 
   return mask;
 }
@@ -8801,7 +9442,7 @@ output_return_instruction (rtx operand, int really_return, int reverse)
 {
   char conditional[10];
   char instr[100];
-  int reg;
+  unsigned reg;
   unsigned long live_regs_mask;
   unsigned long func_type;
   arm_stack_offsets *offsets;
@@ -8831,8 +9472,7 @@ output_return_instruction (rtx operand, int really_return, int reverse)
       return "";
     }
 
-  if (current_function_calls_alloca && !really_return)
-    abort ();
+  gcc_assert (!current_function_calls_alloca || really_return);
 
   sprintf (conditional, "%%?%%%c0", reverse ? 'D' : 'd');
 
@@ -8845,7 +9485,7 @@ output_return_instruction (rtx operand, int really_return, int reverse)
       const char * return_reg;
 
       /* If we do not have any special requirements for function exit
-        (eg interworking, or ISR) then we can load the return address
+        (e.g. interworking, or ISR) then we can load the return address
         directly into the PC.  Otherwise we must load it into LR.  */
       if (really_return
          && ! TARGET_INTERWORK)
@@ -8867,11 +9507,7 @@ output_return_instruction (rtx operand, int really_return, int reverse)
              live_regs_mask |=   (1 << SP_REGNUM);
            }
          else
-           {
-             if (! IS_INTERRUPT (func_type)
-                 && ! TARGET_REALLY_IWMMXT)
-               abort ();
-           }
+           gcc_assert (IS_INTERRUPT (func_type) || TARGET_REALLY_IWMMXT);
        }
 
       /* On some ARM architectures it is faster to use LDR rather than
@@ -8880,10 +9516,9 @@ output_return_instruction (rtx operand, int really_return, int reverse)
         we have to use LDM to load the PC so that the CPSR is also
         restored.  */
       for (reg = 0; reg <= LAST_ARM_REGNUM; reg++)
-       {
-         if (live_regs_mask == (unsigned int)(1 << reg))
-           break;
-       }
+       if (live_regs_mask == (1U << reg))
+         break;
+
       if (reg <= LAST_ARM_REGNUM
          && (reg != LR_REGNUM
              || ! really_return
@@ -8907,15 +9542,14 @@ output_return_instruction (rtx operand, int really_return, int reverse)
 
              offsets = arm_get_frame_offsets ();
              stack_adjust = offsets->outgoing_args - offsets->saved_regs;
-             if (stack_adjust != 0 && stack_adjust != 4)
-               abort ();
+             gcc_assert (stack_adjust == 0 || stack_adjust == 4);
 
              if (stack_adjust && arm_arch5)
                sprintf (instr, "ldm%sib\t%%|sp, {", conditional);
              else
                {
-                 /* If we can't use ldmib (SA110 bug), then try to pop r3
-                    instead.  */
+                 /* If we can't use ldmib (SA110 bug),
+                    then try to pop r3 instead.  */
                  if (stack_adjust)
                    live_regs_mask |= 1 << 3;
                  sprintf (instr, "ldm%sfd\t%%|sp, {", conditional);
@@ -9057,8 +9691,7 @@ arm_output_function_prologue (FILE *f, HOST_WIDE_INT frame_size)
     }
 
   /* Sanity check.  */
-  if (arm_ccfsm_state || arm_target_insn)
-    abort ();
+  gcc_assert (!arm_ccfsm_state && !arm_target_insn);
 
   func_type = arm_current_func_type ();
 
@@ -9151,11 +9784,9 @@ arm_output_epilogue (rtx sibling)
       return "";
     }
 
-  if (current_function_calls_eh_return
-      && ! really_return)
-    /* If we are throwing an exception, then we really must
-       be doing a return,  so we can't tail-call.  */
-    abort ();
+  /* If we are throwing an exception, then we really must be doing a
+     return, so we can't tail-call.  */
+  gcc_assert (!current_function_calls_eh_return || really_return);
 
   offsets = arm_get_frame_offsets ();
   saved_regs_mask = arm_compute_save_reg_mask ();
@@ -9276,8 +9907,7 @@ arm_output_epilogue (rtx sibling)
         frame generation actually contains the old stack pointer.  So a
         quick way to unwind the stack is just pop the IP register directly
         into the stack pointer.  */
-      if ((saved_regs_mask & (1 << IP_REGNUM)) == 0)
-       abort ();
+      gcc_assert (saved_regs_mask & (1 << IP_REGNUM));
       saved_regs_mask &= ~ (1 << IP_REGNUM);
       saved_regs_mask |=   (1 << SP_REGNUM);
 
@@ -9409,7 +10039,7 @@ arm_output_epilogue (rtx sibling)
        {
          if (saved_regs_mask & (1 << SP_REGNUM))
            /* Note - write back to the stack register is not enabled
-              (ie "ldmfd sp!...").  We know that the stack pointer is
+              (i.e. "ldmfd sp!...").  We know that the stack pointer is
               in the list of registers and if we add writeback the
               instruction becomes UNPREDICTABLE.  */
            print_multi_reg (f, "ldmfd\t%r", SP_REGNUM, saved_regs_mask);
@@ -9470,6 +10100,23 @@ arm_output_function_epilogue (FILE *file ATTRIBUTE_UNUSED,
 
   if (TARGET_THUMB)
     {
+      int regno;
+
+      /* Emit any call-via-reg trampolines that are needed for v4t support
+        of call_reg and call_value_reg type insns.  */
+      for (regno = 0; regno < LR_REGNUM; regno++)
+       {
+         rtx label = cfun->machine->call_via[regno];
+
+         if (label != NULL)
+           {
+             switch_to_section (function_section (current_function_decl));
+             targetm.asm_out.internal_label (asm_out_file, "L",
+                                             CODE_LABEL_NUMBER (label));
+             asm_fprintf (asm_out_file, "\tbx\t%r\n", regno);
+           }
+       }
+
       /* ??? Probably not safe to set this here, since it assumes that a
         function will be emitted as assembly immediately after we generate
         RTL for it.  This does not happen for inline functions.  */
@@ -9480,11 +10127,10 @@ arm_output_function_epilogue (FILE *file ATTRIBUTE_UNUSED,
       /* We need to take into account any stack-frame rounding.  */
       offsets = arm_get_frame_offsets ();
 
-      if (use_return_insn (FALSE, NULL)
-         && return_used_this_function
-         && offsets->saved_regs != offsets->outgoing_args
-         && !frame_pointer_needed)
-       abort ();
+      gcc_assert (!use_return_insn (FALSE, NULL)
+                 || !return_used_this_function
+                 || offsets->saved_regs == offsets->outgoing_args
+                 || frame_pointer_needed);
 
       /* Reset the ARM-specific per-function variables.  */
       after_arm_reorg = 0;
@@ -9496,7 +10142,7 @@ arm_output_function_epilogue (FILE *file ATTRIBUTE_UNUSED,
    semantics of the operation, we need to annotate the insn for the benefit
    of DWARF2 frame unwind information.  */
 static rtx
-emit_multi_reg_push (int mask)
+emit_multi_reg_push (unsigned long mask)
 {
   int num_regs = 0;
   int num_dwarf_regs;
@@ -9510,8 +10156,7 @@ emit_multi_reg_push (int mask)
     if (mask & (1 << i))
       num_regs++;
 
-  if (num_regs == 0 || num_regs > 16)
-    abort ();
+  gcc_assert (num_regs && num_regs <= 16);
 
   /* We don't record the PC in the dwarf frame information.  */
   num_dwarf_regs = num_regs;
@@ -9562,9 +10207,9 @@ emit_multi_reg_push (int mask)
 
          XVECEXP (par, 0, 0)
            = gen_rtx_SET (VOIDmode,
-                          gen_rtx_MEM (BLKmode,
-                                       gen_rtx_PRE_DEC (BLKmode,
-                                                        stack_pointer_rtx)),
+                          gen_frame_mem (BLKmode,
+                                         gen_rtx_PRE_DEC (BLKmode,
+                                                          stack_pointer_rtx)),
                           gen_rtx_UNSPEC (BLKmode,
                                           gen_rtvec (1, reg),
                                           UNSPEC_PUSH_MULT));
@@ -9572,7 +10217,7 @@ emit_multi_reg_push (int mask)
          if (i != PC_REGNUM)
            {
              tmp = gen_rtx_SET (VOIDmode,
-                                gen_rtx_MEM (SImode, stack_pointer_rtx),
+                                gen_frame_mem (SImode, stack_pointer_rtx),
                                 reg);
              RTX_FRAME_RELATED_P (tmp) = 1;
              XVECEXP (dwarf, 0, dwarf_par_index) = tmp;
@@ -9593,11 +10238,12 @@ emit_multi_reg_push (int mask)
 
          if (i != PC_REGNUM)
            {
-             tmp = gen_rtx_SET (VOIDmode,
-                                gen_rtx_MEM (SImode,
+             tmp
+               = gen_rtx_SET (VOIDmode,
+                              gen_frame_mem (SImode,
                                              plus_constant (stack_pointer_rtx,
                                                             4 * j)),
-                                reg);
+                              reg);
              RTX_FRAME_RELATED_P (tmp) = 1;
              XVECEXP (dwarf, 0, dwarf_par_index++) = tmp;
            }
@@ -9608,11 +10254,9 @@ emit_multi_reg_push (int mask)
 
   par = emit_insn (par);
 
-  tmp = gen_rtx_SET (SImode,
+  tmp = gen_rtx_SET (VOIDmode,
                     stack_pointer_rtx,
-                    gen_rtx_PLUS (SImode,
-                                  stack_pointer_rtx,
-                                  GEN_INT (-4 * num_regs)));
+                    plus_constant (stack_pointer_rtx, -4 * num_regs));
   RTX_FRAME_RELATED_P (tmp) = 1;
   XVECEXP (dwarf, 0, 0) = tmp;
 
@@ -9621,6 +10265,20 @@ emit_multi_reg_push (int mask)
   return par;
 }
 
+/* Calculate the size of the return value that is passed in registers.  */
+static int
+arm_size_return_regs (void)
+{
+  enum machine_mode mode;
+
+  if (current_function_return_rtx != 0)
+    mode = GET_MODE (current_function_return_rtx);
+  else
+    mode = DECL_MODE (DECL_RESULT (current_function_decl));
+
+  return GET_MODE_SIZE (mode);
+}
+
 static rtx
 emit_sfm (int base_reg, int count)
 {
@@ -9636,13 +10294,14 @@ emit_sfm (int base_reg, int count)
 
   XVECEXP (par, 0, 0)
     = gen_rtx_SET (VOIDmode,
-                  gen_rtx_MEM (BLKmode,
-                               gen_rtx_PRE_DEC (BLKmode, stack_pointer_rtx)),
+                  gen_frame_mem (BLKmode,
+                                 gen_rtx_PRE_DEC (BLKmode,
+                                                  stack_pointer_rtx)),
                   gen_rtx_UNSPEC (BLKmode,
                                   gen_rtvec (1, reg),
                                   UNSPEC_PUSH_MULT));
   tmp = gen_rtx_SET (VOIDmode,
-                    gen_rtx_MEM (XFmode, stack_pointer_rtx), reg);
+                    gen_frame_mem (XFmode, stack_pointer_rtx), reg);
   RTX_FRAME_RELATED_P (tmp) = 1;
   XVECEXP (dwarf, 0, 1) = tmp;
 
@@ -9652,9 +10311,9 @@ emit_sfm (int base_reg, int count)
       XVECEXP (par, 0, i) = gen_rtx_USE (VOIDmode, reg);
 
       tmp = gen_rtx_SET (VOIDmode,
-                        gen_rtx_MEM (XFmode,
-                                     plus_constant (stack_pointer_rtx,
-                                                    i * 12)),
+                        gen_frame_mem (XFmode,
+                                       plus_constant (stack_pointer_rtx,
+                                                      i * 12)),
                         reg);
       RTX_FRAME_RELATED_P (tmp) = 1;
       XVECEXP (dwarf, 0, i + 1) = tmp;
@@ -9662,9 +10321,8 @@ emit_sfm (int base_reg, int count)
 
   tmp = gen_rtx_SET (VOIDmode,
                     stack_pointer_rtx,
-                    gen_rtx_PLUS (SImode,
-                                  stack_pointer_rtx,
-                                  GEN_INT (-12 * count)));
+                    plus_constant (stack_pointer_rtx, -12 * count));
+
   RTX_FRAME_RELATED_P (tmp) = 1;
   XVECEXP (dwarf, 0, 0) = tmp;
 
@@ -9713,7 +10371,7 @@ thumb_force_lr_save (void)
                             |    | \
                             |    |   local
                             |    |   variables
-                            |    | /
+     locals base pointer -> |    | /
                               --
                             |    | \
                             |    |   outgoing
@@ -9816,7 +10474,7 @@ arm_get_frame_offsets (void)
 
   /* Saved registers include the stack frame.  */
   offsets->saved_regs = offsets->saved_args + saved;
-  offsets->soft_frame = offsets->saved_regs;
+  offsets->soft_frame = offsets->saved_regs + CALLER_INTERWORKING_SLOT_SIZE;
   /* A leaf function does not need any stack alignment if it has nothing
      on the stack.  */
   if (leaf && frame_size == 0)
@@ -9830,16 +10488,16 @@ arm_get_frame_offsets (void)
       && (offsets->soft_frame & 7))
     offsets->soft_frame += 4;
 
-  offsets->outgoing_args = offsets->soft_frame + frame_size
-                          + current_function_outgoing_args_size;
+  offsets->locals_base = offsets->soft_frame + frame_size;
+  offsets->outgoing_args = (offsets->locals_base
+                           + current_function_outgoing_args_size);
 
   if (ARM_DOUBLEWORD_ALIGN)
     {
       /* Ensure SP remains doubleword aligned.  */
       if (offsets->outgoing_args & 7)
        offsets->outgoing_args += 4;
-      if (offsets->outgoing_args & 7)
-       abort ();
+      gcc_assert (!(offsets->outgoing_args & 7));
     }
 
   return offsets;
@@ -9889,9 +10547,9 @@ arm_compute_initial_elimination_offset (unsigned int from, unsigned int to)
          return offsets->outgoing_args - (offsets->saved_args + 4);
 
        default:
-         abort ();
+         gcc_unreachable ();
        }
-      break;
+      gcc_unreachable ();
 
     case FRAME_POINTER_REGNUM:
       switch (to)
@@ -9911,9 +10569,9 @@ arm_compute_initial_elimination_offset (unsigned int from, unsigned int to)
          return offsets->outgoing_args - offsets->soft_frame;
 
        default:
-         abort ();
+         gcc_unreachable ();
        }
-      break;
+      gcc_unreachable ();
 
     default:
       /* You cannot eliminate from the stack pointer.
@@ -9921,7 +10579,7 @@ arm_compute_initial_elimination_offset (unsigned int from, unsigned int to)
         pointer to the stack pointer, but this will never
         happen, since if a stack frame is not needed the
         hard frame pointer will never be used.  */
-      abort ();
+      gcc_unreachable ();
     }
 }
 
@@ -9939,7 +10597,7 @@ arm_expand_prologue (void)
   int fp_offset = 0;
   int saved_pretend_args = 0;
   int saved_regs = 0;
-  unsigned int args_to_push;
+  unsigned HOST_WIDE_INT args_to_push;
   arm_stack_offsets *offsets;
 
   func_type = arm_current_func_type ();
@@ -9970,7 +10628,7 @@ arm_expand_prologue (void)
             stack decrement per function, and this is not it.  If
             this instruction is labeled as being part of the frame
             creation sequence then dwarf2out_frame_debug_expr will
-            abort when it encounters the assignment of IP to FP
+            die when it encounters the assignment of IP to FP
             later on, since the use of SP here establishes SP as
             the CFA register and not IP.
 
@@ -9997,25 +10655,19 @@ arm_expand_prologue (void)
             inherited from the caller.  */
 
          if (regs_ever_live[3] == 0)
-           {
-             insn = gen_rtx_REG (SImode, 3);
-             insn = gen_rtx_SET (SImode, insn, ip_rtx);
-             insn = emit_insn (insn);
-           }
+           insn = emit_set_insn (gen_rtx_REG (SImode, 3), ip_rtx);
          else if (args_to_push == 0)
            {
              rtx dwarf;
-             insn = gen_rtx_PRE_DEC (SImode, stack_pointer_rtx);
-             insn = gen_rtx_MEM (SImode, insn);
-             insn = gen_rtx_SET (VOIDmode, insn, ip_rtx);
-             insn = emit_insn (insn);
 
+             insn = gen_rtx_PRE_DEC (SImode, stack_pointer_rtx);
+             insn = emit_set_insn (gen_frame_mem (SImode, insn), ip_rtx);
              fp_offset = 4;
 
              /* Just tell the dwarf backend that we adjusted SP.  */
              dwarf = gen_rtx_SET (VOIDmode, stack_pointer_rtx,
-                                  gen_rtx_PLUS (SImode, stack_pointer_rtx,
-                                                GEN_INT (-fp_offset)));
+                                  plus_constant (stack_pointer_rtx,
+                                                 -fp_offset));
              RTX_FRAME_RELATED_P (insn) = 1;
              REG_NOTES (insn) = gen_rtx_EXPR_LIST (REG_FRAME_RELATED_EXPR,
                                                    dwarf, REG_NOTES (insn));
@@ -10038,21 +10690,12 @@ arm_expand_prologue (void)
              args_to_push = 0;
 
              /* Now reuse r3 to preserve IP.  */
-             insn = gen_rtx_REG (SImode, 3);
-             insn = gen_rtx_SET (SImode, insn, ip_rtx);
-             (void) emit_insn (insn);
+             emit_set_insn (gen_rtx_REG (SImode, 3), ip_rtx);
            }
        }
 
-      if (fp_offset)
-       {
-         insn = gen_rtx_PLUS (SImode, stack_pointer_rtx, GEN_INT (fp_offset));
-         insn = gen_rtx_SET  (SImode, ip_rtx, insn);
-       }
-      else
-       insn = gen_movsi (ip_rtx, stack_pointer_rtx);
-
-      insn = emit_insn (insn);
+      insn = emit_set_insn (ip_rtx,
+                           plus_constant (stack_pointer_rtx, fp_offset));
       RTX_FRAME_RELATED_P (insn) = 1;
     }
 
@@ -10077,11 +10720,11 @@ arm_expand_prologue (void)
   if ((func_type == ARM_FT_ISR || func_type == ARM_FT_FIQ)
       && (live_regs_mask & (1 << LR_REGNUM)) != 0
       && ! frame_pointer_needed)
-    emit_insn (gen_rtx_SET (SImode,
-                           gen_rtx_REG (SImode, LR_REGNUM),
-                           gen_rtx_PLUS (SImode,
-                                         gen_rtx_REG (SImode, LR_REGNUM),
-                                         GEN_INT (-4))));
+    {
+      rtx lr = gen_rtx_REG (SImode, LR_REGNUM);
+      
+      emit_set_insn (lr, plus_constant (lr, -4));
+    }
 
   if (live_regs_mask)
     {
@@ -10095,9 +10738,8 @@ arm_expand_prologue (void)
       if (regs_ever_live[reg] && ! call_used_regs [reg])
        {
          insn = gen_rtx_PRE_DEC (V2SImode, stack_pointer_rtx);
-         insn = gen_rtx_MEM (V2SImode, insn);
-         insn = emit_insn (gen_rtx_SET (VOIDmode, insn,
-                                        gen_rtx_REG (V2SImode, reg)));
+         insn = gen_frame_mem (V2SImode, insn);
+         insn = emit_set_insn (insn, gen_rtx_REG (V2SImode, reg));
          RTX_FRAME_RELATED_P (insn) = 1;
          saved_regs += 8;
        }
@@ -10114,9 +10756,8 @@ arm_expand_prologue (void)
            if (regs_ever_live[reg] && !call_used_regs[reg])
              {
                insn = gen_rtx_PRE_DEC (XFmode, stack_pointer_rtx);
-               insn = gen_rtx_MEM (XFmode, insn);
-               insn = emit_insn (gen_rtx_SET (VOIDmode, insn,
-                                              gen_rtx_REG (XFmode, reg)));
+               insn = gen_frame_mem (XFmode, insn);
+               insn = emit_set_insn (insn, gen_rtx_REG (XFmode, reg));
                RTX_FRAME_RELATED_P (insn) = 1;
                saved_regs += 12;
              }
@@ -10192,12 +10833,11 @@ arm_expand_prologue (void)
            insn = gen_rtx_REG (SImode, 3);
          else /* if (current_function_pretend_args_size == 0) */
            {
-             insn = gen_rtx_PLUS (SImode, hard_frame_pointer_rtx,
-                                  GEN_INT (4));
-             insn = gen_rtx_MEM (SImode, insn);
+             insn = plus_constant (hard_frame_pointer_rtx, 4);
+             insn = gen_frame_mem (SImode, insn);
            }
 
-         emit_insn (gen_rtx_SET (SImode, ip_rtx, insn));
+         emit_set_insn (ip_rtx, insn);
          /* Add a USE to stop propagate_one_insn() from barfing.  */
          emit_insn (gen_prologue_use (ip_rtx));
        }
@@ -10231,13 +10871,16 @@ arm_expand_prologue (void)
     }
 
 
-  if (flag_pic)
-    arm_load_pic_register ();
+  if (flag_pic && arm_pic_register != INVALID_REGNUM)
+    arm_load_pic_register (0UL);
 
   /* If we are profiling, make sure no instructions are scheduled before
      the call to mcount.  Similarly if the user has requested no
-     scheduling in the prolog.  */
-  if (current_function_profile || TARGET_NO_SCHED_PRO)
+     scheduling in the prolog.  Similarly if we want non-call exceptions
+     using the EABI unwinder, to prevent faulting instructions from being
+     swapped with a stack adjustment.  */
+  if (current_function_profile || !TARGET_SCHED_PROLOG
+      || (ARM_EABI_UNWIND_TABLES && flag_non_call_exceptions))
     emit_insn (gen_blockage ());
 
   /* If the link register is being kept alive, with the return address in it,
@@ -10282,8 +10925,17 @@ arm_print_operand (FILE *stream, rtx x, int code)
     case '?':
       if (arm_ccfsm_state == 3 || arm_ccfsm_state == 4)
        {
-         if (TARGET_THUMB || current_insn_predicate != NULL)
-           abort ();
+         if (TARGET_THUMB)
+           {
+             output_operand_lossage ("predicated Thumb instruction");
+             break;
+           }
+         if (current_insn_predicate != NULL)
+           {
+             output_operand_lossage
+               ("predicated instruction in conditional sequence");
+             break;
+           }
 
          fputs (arm_condition_codes[arm_current_cc], stream);
        }
@@ -10292,7 +10944,10 @@ arm_print_operand (FILE *stream, rtx x, int code)
          enum arm_cond_code code;
 
          if (TARGET_THUMB)
-           abort ();
+           {
+             output_operand_lossage ("predicated Thumb instruction");
+             break;
+           }
 
          code = get_arm_condition_code (current_insn_predicate);
          fputs (arm_condition_codes[code], stream);
@@ -10384,20 +11039,32 @@ arm_print_operand (FILE *stream, rtx x, int code)
         of the memory location is actually held in one of the registers
         being overwritten by the load.  */
     case 'Q':
-      if (REGNO (x) > LAST_ARM_REGNUM)
-       abort ();
+      if (GET_CODE (x) != REG || REGNO (x) > LAST_ARM_REGNUM)
+       {
+         output_operand_lossage ("invalid operand for code '%c'", code);
+         return;
+       }
+
       asm_fprintf (stream, "%r", REGNO (x) + (WORDS_BIG_ENDIAN ? 1 : 0));
       return;
 
     case 'R':
-      if (REGNO (x) > LAST_ARM_REGNUM)
-       abort ();
+      if (GET_CODE (x) != REG || REGNO (x) > LAST_ARM_REGNUM)
+       {
+         output_operand_lossage ("invalid operand for code '%c'", code);
+         return;
+       }
+
       asm_fprintf (stream, "%r", REGNO (x) + (WORDS_BIG_ENDIAN ? 0 : 1));
       return;
 
     case 'H':
-      if (REGNO (x) > LAST_ARM_REGNUM)
-       abort ();
+      if (GET_CODE (x) != REG || REGNO (x) > LAST_ARM_REGNUM)
+       {
+         output_operand_lossage ("invalid operand for code '%c'", code);
+         return;
+       }
+
       asm_fprintf (stream, "%r", REGNO (x) + 1);
       return;
 
@@ -10418,15 +11085,29 @@ arm_print_operand (FILE *stream, rtx x, int code)
       if (x == const_true_rtx)
        return;
 
+      if (!COMPARISON_P (x))
+       {
+         output_operand_lossage ("invalid operand for code '%c'", code);
+         return;
+       }
+
       fputs (arm_condition_codes[get_arm_condition_code (x)],
             stream);
       return;
 
     case 'D':
-      /* CONST_TRUE_RTX means not always -- ie never.  We shouldn't ever
+      /* CONST_TRUE_RTX means not always -- i.e. never.  We shouldn't ever
         want to do that.  */
       if (x == const_true_rtx)
-       abort ();
+       {
+         output_operand_lossage ("instruction never exectued");
+         return;
+       }
+      if (!COMPARISON_P (x))
+       {
+         output_operand_lossage ("invalid operand for code '%c'", code);
+         return;
+       }
 
       fputs (arm_condition_codes[ARM_INVERSE_CONDITION_CODE
                                 (get_arm_condition_code (x))],
@@ -10442,8 +11123,8 @@ arm_print_operand (FILE *stream, rtx x, int code)
     case 'X':                  /* Cirrus register in D mode.  */
     case 'Y':                  /* Cirrus register in FX mode.  */
     case 'Z':                  /* Cirrus register in DX mode.  */
-      if (GET_CODE (x) != REG || REGNO_REG_CLASS (REGNO (x)) != CIRRUS_REGS)
-       abort ();
+      gcc_assert (GET_CODE (x) == REG
+                 && REGNO_REG_CLASS (REGNO (x)) == CIRRUS_REGS);
 
       fprintf (stream, "mv%s%s",
               code == 'W' ? "f"
@@ -10458,7 +11139,10 @@ arm_print_operand (FILE *stream, rtx x, int code)
        int mode = GET_MODE (x);
 
        if (GET_CODE (x) != REG || REGNO_REG_CLASS (REGNO (x)) != CIRRUS_REGS)
-         abort ();
+         {
+           output_operand_lossage ("invalid operand for code '%c'", code);
+           return;
+         }
 
        fprintf (stream, "mv%s%s",
                 mode == DFmode ? "d"
@@ -10474,7 +11158,11 @@ arm_print_operand (FILE *stream, rtx x, int code)
          || REGNO (x) < FIRST_IWMMXT_GR_REGNUM
          || REGNO (x) > LAST_IWMMXT_GR_REGNUM)
        /* Bad value for wCG register number.  */
-       abort ();
+       {
+         output_operand_lossage ("invalid operand for code '%c'", code);
+         return;
+       }
+
       else
        fprintf (stream, "%d", REGNO (x) - FIRST_IWMMXT_GR_REGNUM);
       return;
@@ -10485,7 +11173,11 @@ arm_print_operand (FILE *stream, rtx x, int code)
          || INTVAL (x) < 0
          || INTVAL (x) >= 16)
        /* Bad value for wC register number.  */
-       abort ();
+       {
+         output_operand_lossage ("invalid operand for code '%c'", code);
+         return;
+       }
+
       else
        {
          static const char * wc_reg_names [16] =
@@ -10507,15 +11199,24 @@ arm_print_operand (FILE *stream, rtx x, int code)
        int num;
 
        if (mode != DImode && mode != DFmode)
-         abort ();
+         {
+           output_operand_lossage ("invalid operand for code '%c'", code);
+           return;
+         }
 
        if (GET_CODE (x) != REG
            || !IS_VFP_REGNUM (REGNO (x)))
-         abort ();
+         {
+           output_operand_lossage ("invalid operand for code '%c'", code);
+           return;
+         }
 
        num = REGNO(x) - FIRST_VFP_REGNUM;
        if (num & 1)
-         abort ();
+         {
+           output_operand_lossage ("invalid operand for code '%c'", code);
+           return;
+         }
 
        fprintf (stream, "d%d", num >> 1);
       }
@@ -10523,23 +11224,31 @@ arm_print_operand (FILE *stream, rtx x, int code)
 
     default:
       if (x == 0)
-       abort ();
+       {
+         output_operand_lossage ("missing operand");
+         return;
+       }
 
-      if (GET_CODE (x) == REG)
-       asm_fprintf (stream, "%r", REGNO (x));
-      else if (GET_CODE (x) == MEM)
+      switch (GET_CODE (x))
        {
+       case REG:
+         asm_fprintf (stream, "%r", REGNO (x));
+         break;
+
+       case MEM:
          output_memory_reference_mode = GET_MODE (x);
          output_address (XEXP (x, 0));
-       }
-      else if (GET_CODE (x) == CONST_DOUBLE)
-       fprintf (stream, "#%s", fp_immediate_constant (x));
-      else if (GET_CODE (x) == NEG)
-       abort (); /* This should never happen now.  */
-      else
-       {
+         break;
+
+       case CONST_DOUBLE:
+         fprintf (stream, "#%s", fp_immediate_constant (x));
+         break;
+
+       default:
+         gcc_assert (GET_CODE (x) != NEG);
          fputc ('#', stream);
          output_addr_const (stream, x);
+         break;
        }
     }
 }
@@ -10577,8 +11286,7 @@ arm_assemble_integer (rtx x, unsigned int size, int aligned_p)
     {
       int i, units;
 
-      if (GET_CODE (x) != CONST_VECTOR)
-       abort ();
+      gcc_assert (GET_CODE (x) == CONST_VECTOR);
 
       units = CONST_VECTOR_NUNITS (x);
 
@@ -10588,7 +11296,7 @@ arm_assemble_integer (rtx x, unsigned int size, int aligned_p)
        case V4HImode: size = 2; break;
        case V8QImode: size = 1; break;
        default:
-         abort ();
+         gcc_unreachable ();
        }
 
       for (i = 0; i < units; i++)
@@ -10605,6 +11313,26 @@ arm_assemble_integer (rtx x, unsigned int size, int aligned_p)
 
   return default_assemble_integer (x, size, aligned_p);
 }
+
+
+/* Add a function to the list of static constructors.  */
+
+static void
+arm_elf_asm_constructor (rtx symbol, int priority ATTRIBUTE_UNUSED)
+{
+  if (!TARGET_AAPCS_BASED)
+    {
+      default_named_section_asm_out_constructor (symbol, priority);
+      return;
+    }
+
+  /* Put these in the .init_array section, using a special relocation.  */
+  switch_to_section (ctors_section);
+  assemble_align (POINTER_SIZE);
+  fputs ("\t.word\t", asm_out_file);
+  output_addr_const (asm_out_file, symbol);
+  fputs ("(target1)\n", asm_out_file);
+}
 #endif
 \f
 /* A finite state machine takes care of noticing whether or not instructions
@@ -10666,8 +11394,7 @@ get_arm_condition_code (rtx comparison)
     case CC_DLTUmode: code = ARM_CC;
 
     dominance:
-      if (comp_code != EQ && comp_code != NE)
-       abort ();
+      gcc_assert (comp_code == EQ || comp_code == NE);
 
       if (comp_code == EQ)
        return ARM_INVERSE_CONDITION_CODE (code);
@@ -10680,7 +11407,7 @@ get_arm_condition_code (rtx comparison)
        case EQ: return ARM_EQ;
        case GE: return ARM_PL;
        case LT: return ARM_MI;
-       default: abort ();
+       default: gcc_unreachable ();
        }
 
     case CC_Zmode:
@@ -10688,7 +11415,7 @@ get_arm_condition_code (rtx comparison)
        {
        case NE: return ARM_NE;
        case EQ: return ARM_EQ;
-       default: abort ();
+       default: gcc_unreachable ();
        }
 
     case CC_Nmode:
@@ -10696,7 +11423,7 @@ get_arm_condition_code (rtx comparison)
        {
        case NE: return ARM_MI;
        case EQ: return ARM_PL;
-       default: abort ();
+       default: gcc_unreachable ();
        }
 
     case CCFPEmode:
@@ -10721,7 +11448,7 @@ get_arm_condition_code (rtx comparison)
          /* UNEQ and LTGT do not have a representation.  */
        case UNEQ: /* Fall through.  */
        case LTGT: /* Fall through.  */
-       default: abort ();
+       default: gcc_unreachable ();
        }
 
     case CC_SWPmode:
@@ -10737,7 +11464,7 @@ get_arm_condition_code (rtx comparison)
        case GTU: return ARM_CC;
        case LEU: return ARM_CS;
        case LTU: return ARM_HI;
-       default: abort ();
+       default: gcc_unreachable ();
        }
 
     case CC_Cmode:
@@ -10745,7 +11472,7 @@ get_arm_condition_code (rtx comparison)
       {
       case LTU: return ARM_CS;
       case GEU: return ARM_CC;
-      default: abort ();
+      default: gcc_unreachable ();
       }
 
     case CCmode:
@@ -10761,13 +11488,11 @@ get_arm_condition_code (rtx comparison)
        case GTU: return ARM_HI;
        case LEU: return ARM_LS;
        case LTU: return ARM_CC;
-       default: abort ();
+       default: gcc_unreachable ();
        }
 
-    default: abort ();
+    default: gcc_unreachable ();
     }
-
-  abort ();
 }
 
 void
@@ -10845,8 +11570,7 @@ arm_final_prescan_insn (rtx insn)
        return;
     }
 
-  if (arm_ccfsm_state != 0 && !reverse)
-    abort ();
+  gcc_assert (!arm_ccfsm_state || reverse);
   if (GET_CODE (insn) != JUMP_INSN)
     return;
 
@@ -10894,7 +11618,7 @@ arm_final_prescan_insn (rtx insn)
          then_not_else = FALSE;
         }
       else
-       abort ();
+       gcc_unreachable ();
 
       /* See how many insns this branch skips, and what kind of insns.  If all
         insns are okay, and the label or unconditional branch to the same
@@ -11003,7 +11727,7 @@ arm_final_prescan_insn (rtx insn)
                  else if (GET_CODE (SET_SRC (scanbody)) == IF_THEN_ELSE)
                    fail = TRUE;
                }
-             /* Fail if a conditional return is undesirable (eg on a
+             /* Fail if a conditional return is undesirable (e.g. on a
                 StrongARM), but still allow this if optimizing for size.  */
              else if (GET_CODE (scanbody) == RETURN
                       && !use_return_insn (TRUE, NULL)
@@ -11027,7 +11751,7 @@ arm_final_prescan_insn (rtx insn)
                    }
                }
              else
-               fail = TRUE;    /* Unrecognized jump (eg epilogue).  */
+               fail = TRUE;    /* Unrecognized jump (e.g. epilogue).  */
 
              break;
 
@@ -11061,14 +11785,16 @@ arm_final_prescan_insn (rtx insn)
        {
          if ((!seeking_return) && (arm_ccfsm_state == 1 || reverse))
            arm_target_label = CODE_LABEL_NUMBER (label);
-         else if (seeking_return || arm_ccfsm_state == 2)
+         else
            {
+             gcc_assert (seeking_return || arm_ccfsm_state == 2);
+
              while (this_insn && GET_CODE (PATTERN (this_insn)) == USE)
                {
                  this_insn = next_nonnote_insn (this_insn);
-                 if (this_insn && (GET_CODE (this_insn) == BARRIER
-                                   || GET_CODE (this_insn) == CODE_LABEL))
-                   abort ();
+                 gcc_assert (!this_insn
+                             || (GET_CODE (this_insn) != BARRIER
+                                 && GET_CODE (this_insn) != CODE_LABEL));
                }
              if (!this_insn)
                {
@@ -11080,12 +11806,9 @@ arm_final_prescan_insn (rtx insn)
                }
              arm_target_insn = this_insn;
            }
-         else
-           abort ();
          if (jump_clobbers)
            {
-             if (reverse)
-               abort ();
+             gcc_assert (!reverse);
              arm_current_cc =
                  get_arm_condition_code (XEXP (XEXP (XEXP (SET_SRC (body),
                                                            0), 0), 1));
@@ -11121,7 +11844,9 @@ int
 arm_hard_regno_mode_ok (unsigned int regno, enum machine_mode mode)
 {
   if (GET_MODE_CLASS (mode) == MODE_CC)
-    return regno == CC_REGNUM || regno == VFPCC_REGNUM;
+    return (regno == CC_REGNUM
+           || (TARGET_HARD_FLOAT && TARGET_VFP
+               && regno == VFPCC_REGNUM));
 
   if (TARGET_THUMB)
     /* For the Thumb we only allow values bigger than SImode in
@@ -11131,7 +11856,8 @@ arm_hard_regno_mode_ok (unsigned int regno, enum machine_mode mode)
        start of an even numbered register pair.  */
     return (ARM_NUM_REGS (mode) < 2) || (regno < LAST_LO_REGNUM);
 
-  if (IS_CIRRUS_REGNUM (regno))
+  if (TARGET_HARD_FLOAT && TARGET_MAVERICK
+      && IS_CIRRUS_REGNUM (regno))
     /* We have outlawed SI values in Cirrus registers because they
        reside in the lower 32 bits, but SF values reside in the
        upper 32 bits.  This causes gcc all sorts of grief.  We can't
@@ -11139,7 +11865,8 @@ arm_hard_regno_mode_ok (unsigned int regno, enum machine_mode mode)
        get sign extended to 64bits-- aldyh.  */
     return (GET_MODE_CLASS (mode) == MODE_FLOAT) || (mode == DImode);
 
-  if (IS_VFP_REGNUM (regno))
+  if (TARGET_HARD_FLOAT && TARGET_VFP
+      && IS_VFP_REGNUM (regno))
     {
       if (mode == SFmode || mode == SImode)
        return TRUE;
@@ -11150,28 +11877,32 @@ arm_hard_regno_mode_ok (unsigned int regno, enum machine_mode mode)
       return FALSE;
     }
 
-  if (IS_IWMMXT_GR_REGNUM (regno))
-    return mode == SImode;
-
-  if (IS_IWMMXT_REGNUM (regno))
-    return VALID_IWMMXT_REG_MODE (mode);
+  if (TARGET_REALLY_IWMMXT)
+    {
+      if (IS_IWMMXT_GR_REGNUM (regno))
+       return mode == SImode;
 
+      if (IS_IWMMXT_REGNUM (regno))
+       return VALID_IWMMXT_REG_MODE (mode);
+    }
+  
   /* We allow any value to be stored in the general registers.
      Restrict doubleword quantities to even register pairs so that we can
      use ldrd.  */
   if (regno <= LAST_ARM_REGNUM)
     return !(TARGET_LDRD && GET_MODE_SIZE (mode) > 4 && (regno & 1) != 0);
 
-  if (   regno == FRAME_POINTER_REGNUM
+  if (regno == FRAME_POINTER_REGNUM
       || regno == ARG_POINTER_REGNUM)
     /* We only allow integers in the fake hard registers.  */
     return GET_MODE_CLASS (mode) == MODE_INT;
 
   /* The only registers left are the FPA registers
      which we only allow to hold FP values.  */
-  return GET_MODE_CLASS (mode) == MODE_FLOAT
-    && regno >= FIRST_FPA_REGNUM
-    && regno <= LAST_FPA_REGNUM;
+  return (TARGET_HARD_FLOAT && TARGET_FPA
+         && GET_MODE_CLASS (mode) == MODE_FLOAT
+         && regno >= FIRST_FPA_REGNUM
+         && regno <= LAST_FPA_REGNUM);
 }
 
 int
@@ -11287,7 +12018,7 @@ arm_debugger_arg_offset (int value, rtx addr)
   if (value == 0)
     {
       debug_rtx (addr);
-      warning ("unable to compute real location of stacked parameter");
+      warning (0, "unable to compute real location of stacked parameter");
       value = 8; /* XXX magic hack */
     }
 
@@ -11665,7 +12396,7 @@ arm_init_iwmmxt_builtins (void)
          break;
 
        default:
-         abort ();
+         gcc_unreachable ();
        }
 
       def_mbuiltin (d->mask, d->name, type, d->code);
@@ -11764,8 +12495,23 @@ arm_init_iwmmxt_builtins (void)
 }
 
 static void
+arm_init_tls_builtins (void)
+{
+  tree ftype;
+  tree nothrow = tree_cons (get_identifier ("nothrow"), NULL, NULL);
+  tree const_nothrow = tree_cons (get_identifier ("const"), NULL, nothrow);
+
+  ftype = build_function_type (ptr_type_node, void_list_node);
+  lang_hooks.builtin_function ("__builtin_thread_pointer", ftype,
+                              ARM_BUILTIN_THREAD_POINTER, BUILT_IN_MD,
+                              NULL, const_nothrow);
+}
+
+static void
 arm_init_builtins (void)
 {
+  arm_init_tls_builtins ();
+
   if (TARGET_REALLY_IWMMXT)
     arm_init_iwmmxt_builtins ();
 }
@@ -11795,8 +12541,8 @@ arm_expand_binop_builtin (enum insn_code icode,
   rtx pat;
   tree arg0 = TREE_VALUE (arglist);
   tree arg1 = TREE_VALUE (TREE_CHAIN (arglist));
-  rtx op0 = expand_expr (arg0, NULL_RTX, VOIDmode, 0);
-  rtx op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
+  rtx op0 = expand_normal (arg0);
+  rtx op1 = expand_normal (arg1);
   enum machine_mode tmode = insn_data[icode].operand[0].mode;
   enum machine_mode mode0 = insn_data[icode].operand[1].mode;
   enum machine_mode mode1 = insn_data[icode].operand[2].mode;
@@ -11811,10 +12557,7 @@ arm_expand_binop_builtin (enum insn_code icode,
       || ! (*insn_data[icode].operand[0].predicate) (target, tmode))
     target = gen_reg_rtx (tmode);
 
-  /* In case the insn wants input operands in modes different from
-     the result, abort.  */
-  if (GET_MODE (op0) != mode0 || GET_MODE (op1) != mode1)
-    abort ();
+  gcc_assert (GET_MODE (op0) == mode0 && GET_MODE (op1) == mode1);
 
   if (! (*insn_data[icode].operand[1].predicate) (op0, mode0))
     op0 = copy_to_mode_reg (mode0, op0);
@@ -11836,7 +12579,7 @@ arm_expand_unop_builtin (enum insn_code icode,
 {
   rtx pat;
   tree arg0 = TREE_VALUE (arglist);
-  rtx op0 = expand_expr (arg0, NULL_RTX, VOIDmode, 0);
+  rtx op0 = expand_normal (arg0);
   enum machine_mode tmode = insn_data[icode].operand[0].mode;
   enum machine_mode mode0 = insn_data[icode].operand[1].mode;
 
@@ -11909,8 +12652,8 @@ arm_expand_builtin (tree exp,
 
       arg0 = TREE_VALUE (arglist);
       arg1 = TREE_VALUE (TREE_CHAIN (arglist));
-      op0 = expand_expr (arg0, NULL_RTX, VOIDmode, 0);
-      op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
+      op0 = expand_normal (arg0);
+      op1 = expand_normal (arg1);
       tmode = insn_data[icode].operand[0].mode;
       mode0 = insn_data[icode].operand[1].mode;
       mode1 = insn_data[icode].operand[2].mode;
@@ -11942,9 +12685,9 @@ arm_expand_builtin (tree exp,
       arg0 = TREE_VALUE (arglist);
       arg1 = TREE_VALUE (TREE_CHAIN (arglist));
       arg2 = TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist)));
-      op0 = expand_expr (arg0, NULL_RTX, VOIDmode, 0);
-      op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
-      op2 = expand_expr (arg2, NULL_RTX, VOIDmode, 0);
+      op0 = expand_normal (arg0);
+      op1 = expand_normal (arg1);
+      op2 = expand_normal (arg2);
       tmode = insn_data[icode].operand[0].mode;
       mode0 = insn_data[icode].operand[1].mode;
       mode1 = insn_data[icode].operand[2].mode;
@@ -11973,14 +12716,14 @@ arm_expand_builtin (tree exp,
     case ARM_BUILTIN_SETWCX:
       arg0 = TREE_VALUE (arglist);
       arg1 = TREE_VALUE (TREE_CHAIN (arglist));
-      op0 = force_reg (SImode, expand_expr (arg0, NULL_RTX, VOIDmode, 0));
-      op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
+      op0 = force_reg (SImode, expand_normal (arg0));
+      op1 = expand_normal (arg1);
       emit_insn (gen_iwmmxt_tmcr (op1, op0));
       return 0;
 
     case ARM_BUILTIN_GETWCX:
       arg0 = TREE_VALUE (arglist);
-      op0 = expand_expr (arg0, NULL_RTX, VOIDmode, 0);
+      op0 = expand_normal (arg0);
       target = gen_reg_rtx (SImode);
       emit_insn (gen_iwmmxt_tmrc (target, op0));
       return target;
@@ -11989,8 +12732,8 @@ arm_expand_builtin (tree exp,
       icode = CODE_FOR_iwmmxt_wshufh;
       arg0 = TREE_VALUE (arglist);
       arg1 = TREE_VALUE (TREE_CHAIN (arglist));
-      op0 = expand_expr (arg0, NULL_RTX, VOIDmode, 0);
-      op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
+      op0 = expand_normal (arg0);
+      op1 = expand_normal (arg1);
       tmode = insn_data[icode].operand[0].mode;
       mode1 = insn_data[icode].operand[1].mode;
       mode2 = insn_data[icode].operand[2].mode;
@@ -12044,9 +12787,9 @@ arm_expand_builtin (tree exp,
       arg0 = TREE_VALUE (arglist);
       arg1 = TREE_VALUE (TREE_CHAIN (arglist));
       arg2 = TREE_VALUE (TREE_CHAIN (TREE_CHAIN (arglist)));
-      op0 = expand_expr (arg0, NULL_RTX, VOIDmode, 0);
-      op1 = expand_expr (arg1, NULL_RTX, VOIDmode, 0);
-      op2 = expand_expr (arg2, NULL_RTX, VOIDmode, 0);
+      op0 = expand_normal (arg0);
+      op1 = expand_normal (arg1);
+      op2 = expand_normal (arg2);
       tmode = insn_data[icode].operand[0].mode;
       mode0 = insn_data[icode].operand[1].mode;
       mode1 = insn_data[icode].operand[2].mode;
@@ -12073,6 +12816,9 @@ arm_expand_builtin (tree exp,
       emit_insn (gen_iwmmxt_clrdi (target));
       return target;
 
+    case ARM_BUILTIN_THREAD_POINTER:
+      return arm_load_tp (target);
+
     default:
       break;
     }
@@ -12089,42 +12835,11 @@ arm_expand_builtin (tree exp,
   return NULL_RTX;
 }
 \f
-/* Recursively search through all of the blocks in a function
-   checking to see if any of the variables created in that
-   function match the RTX called 'orig'.  If they do then
-   replace them with the RTX called 'new'.  */
-static void
-replace_symbols_in_block (tree block, rtx orig, rtx new)
-{
-  for (; block; block = BLOCK_CHAIN (block))
-    {
-      tree sym;
-
-      if (!TREE_USED (block))
-       continue;
-
-      for (sym = BLOCK_VARS (block); sym; sym = TREE_CHAIN (sym))
-       {
-         if (  (DECL_NAME (sym) == 0 && TREE_CODE (sym) != TYPE_DECL)
-             || DECL_IGNORED_P (sym)
-             || TREE_CODE (sym) != VAR_DECL
-             || DECL_EXTERNAL (sym)
-             || !rtx_equal_p (DECL_RTL (sym), orig)
-             )
-           continue;
-
-         SET_DECL_RTL (sym, new);
-       }
-
-      replace_symbols_in_block (BLOCK_SUBBLOCKS (block), orig, new);
-    }
-}
-
 /* Return the number (counting from 0) of
    the least significant set bit in MASK.  */
 
 inline static int
-number_of_first_bit_set (int mask)
+number_of_first_bit_set (unsigned mask)
 {
   int bit;
 
@@ -12136,49 +12851,159 @@ number_of_first_bit_set (int mask)
   return bit;
 }
 
-/* Generate code to return from a thumb function.
-   If 'reg_containing_return_addr' is -1, then the return address is
-   actually on the stack, at the stack pointer.  */
+/* Emit code to push or pop registers to or from the stack.  F is the
+   assembly file.  MASK is the registers to push or pop.  PUSH is
+   nonzero if we should push, and zero if we should pop.  For debugging
+   output, if pushing, adjust CFA_OFFSET by the amount of space added
+   to the stack.  REAL_REGS should have the same number of bits set as
+   MASK, and will be used instead (in the same order) to describe which
+   registers were saved - this is used to mark the save slots when we
+   push high registers after moving them to low registers.  */
 static void
-thumb_exit (FILE *f, int reg_containing_return_addr)
+thumb_pushpop (FILE *f, unsigned long mask, int push, int *cfa_offset,
+              unsigned long real_regs)
 {
-  unsigned regs_available_for_popping;
-  unsigned regs_to_pop;
-  int pops_needed;
-  unsigned available;
-  unsigned required;
-  int mode;
-  int size;
-  int restore_a4 = FALSE;
+  int regno;
+  int lo_mask = mask & 0xFF;
+  int pushed_words = 0;
 
-  /* Compute the registers we need to pop.  */
-  regs_to_pop = 0;
-  pops_needed = 0;
+  gcc_assert (mask);
 
-  if (reg_containing_return_addr == -1)
+  if (lo_mask == 0 && !push && (mask & (1 << PC_REGNUM)))
     {
-      regs_to_pop |= 1 << LR_REGNUM;
-      ++pops_needed;
+      /* Special case.  Do not generate a POP PC statement here, do it in
+        thumb_exit() */
+      thumb_exit (f, -1);
+      return;
     }
 
-  if (TARGET_BACKTRACE)
+  if (ARM_EABI_UNWIND_TABLES && push)
     {
-      /* Restore the (ARM) frame pointer and stack pointer.  */
-      regs_to_pop |= (1 << ARM_HARD_FRAME_POINTER_REGNUM) | (1 << SP_REGNUM);
-      pops_needed += 2;
+      fprintf (f, "\t.save\t{");
+      for (regno = 0; regno < 15; regno++)
+       {
+         if (real_regs & (1 << regno))
+           {
+             if (real_regs & ((1 << regno) -1))
+               fprintf (f, ", ");
+             asm_fprintf (f, "%r", regno);
+           }
+       }
+      fprintf (f, "}\n");
     }
 
-  /* If there is nothing to pop then just emit the BX instruction and
-     return.  */
-  if (pops_needed == 0)
+  fprintf (f, "\t%s\t{", push ? "push" : "pop");
+
+  /* Look at the low registers first.  */
+  for (regno = 0; regno <= LAST_LO_REGNUM; regno++, lo_mask >>= 1)
     {
-      if (current_function_calls_eh_return)
-       asm_fprintf (f, "\tadd\t%r, %r\n", SP_REGNUM, ARM_EH_STACKADJ_REGNUM);
+      if (lo_mask & 1)
+       {
+         asm_fprintf (f, "%r", regno);
 
-      asm_fprintf (f, "\tbx\t%r\n", reg_containing_return_addr);
-      return;
+         if ((lo_mask & ~1) != 0)
+           fprintf (f, ", ");
+
+         pushed_words++;
+       }
     }
-  /* Otherwise if we are not supporting interworking and we have not created
+
+  if (push && (mask & (1 << LR_REGNUM)))
+    {
+      /* Catch pushing the LR.  */
+      if (mask & 0xFF)
+       fprintf (f, ", ");
+
+      asm_fprintf (f, "%r", LR_REGNUM);
+
+      pushed_words++;
+    }
+  else if (!push && (mask & (1 << PC_REGNUM)))
+    {
+      /* Catch popping the PC.  */
+      if (TARGET_INTERWORK || TARGET_BACKTRACE
+         || current_function_calls_eh_return)
+       {
+         /* The PC is never poped directly, instead
+            it is popped into r3 and then BX is used.  */
+         fprintf (f, "}\n");
+
+         thumb_exit (f, -1);
+
+         return;
+       }
+      else
+       {
+         if (mask & 0xFF)
+           fprintf (f, ", ");
+
+         asm_fprintf (f, "%r", PC_REGNUM);
+       }
+    }
+
+  fprintf (f, "}\n");
+
+  if (push && pushed_words && dwarf2out_do_frame ())
+    {
+      char *l = dwarf2out_cfi_label ();
+      int pushed_mask = real_regs;
+
+      *cfa_offset += pushed_words * 4;
+      dwarf2out_def_cfa (l, SP_REGNUM, *cfa_offset);
+
+      pushed_words = 0;
+      pushed_mask = real_regs;
+      for (regno = 0; regno <= 14; regno++, pushed_mask >>= 1)
+       {
+         if (pushed_mask & 1)
+           dwarf2out_reg_save (l, regno, 4 * pushed_words++ - *cfa_offset);
+       }
+    }
+}
+
+/* Generate code to return from a thumb function.
+   If 'reg_containing_return_addr' is -1, then the return address is
+   actually on the stack, at the stack pointer.  */
+static void
+thumb_exit (FILE *f, int reg_containing_return_addr)
+{
+  unsigned regs_available_for_popping;
+  unsigned regs_to_pop;
+  int pops_needed;
+  unsigned available;
+  unsigned required;
+  int mode;
+  int size;
+  int restore_a4 = FALSE;
+
+  /* Compute the registers we need to pop.  */
+  regs_to_pop = 0;
+  pops_needed = 0;
+
+  if (reg_containing_return_addr == -1)
+    {
+      regs_to_pop |= 1 << LR_REGNUM;
+      ++pops_needed;
+    }
+
+  if (TARGET_BACKTRACE)
+    {
+      /* Restore the (ARM) frame pointer and stack pointer.  */
+      regs_to_pop |= (1 << ARM_HARD_FRAME_POINTER_REGNUM) | (1 << SP_REGNUM);
+      pops_needed += 2;
+    }
+
+  /* If there is nothing to pop then just emit the BX instruction and
+     return.  */
+  if (pops_needed == 0)
+    {
+      if (current_function_calls_eh_return)
+       asm_fprintf (f, "\tadd\t%r, %r\n", SP_REGNUM, ARM_EH_STACKADJ_REGNUM);
+
+      asm_fprintf (f, "\tbx\t%r\n", reg_containing_return_addr);
+      return;
+    }
+  /* Otherwise if we are not supporting interworking and we have not created
      a backtrace structure and the function was not entered in ARM mode then
      just pop the return address straight into the PC.  */
   else if (!TARGET_INTERWORK
@@ -12413,97 +13238,6 @@ thumb_exit (FILE *f, int reg_containing_return_addr)
   asm_fprintf (f, "\tbx\t%r\n", reg_containing_return_addr);
 }
 
-/* Emit code to push or pop registers to or from the stack.  F is the
-   assembly file.  MASK is the registers to push or pop.  PUSH is
-   nonzero if we should push, and zero if we should pop.  For debugging
-   output, if pushing, adjust CFA_OFFSET by the amount of space added
-   to the stack.  REAL_REGS should have the same number of bits set as
-   MASK, and will be used instead (in the same order) to describe which
-   registers were saved - this is used to mark the save slots when we
-   push high registers after moving them to low registers.  */
-static void
-thumb_pushpop (FILE *f, int mask, int push, int *cfa_offset, int real_regs)
-{
-  int regno;
-  int lo_mask = mask & 0xFF;
-  int pushed_words = 0;
-
-  if (lo_mask == 0 && !push && (mask & (1 << PC_REGNUM)))
-    {
-      /* Special case.  Do not generate a POP PC statement here, do it in
-        thumb_exit() */
-      thumb_exit (f, -1);
-      return;
-    }
-
-  fprintf (f, "\t%s\t{", push ? "push" : "pop");
-
-  /* Look at the low registers first.  */
-  for (regno = 0; regno <= LAST_LO_REGNUM; regno++, lo_mask >>= 1)
-    {
-      if (lo_mask & 1)
-       {
-         asm_fprintf (f, "%r", regno);
-
-         if ((lo_mask & ~1) != 0)
-           fprintf (f, ", ");
-
-         pushed_words++;
-       }
-    }
-
-  if (push && (mask & (1 << LR_REGNUM)))
-    {
-      /* Catch pushing the LR.  */
-      if (mask & 0xFF)
-       fprintf (f, ", ");
-
-      asm_fprintf (f, "%r", LR_REGNUM);
-
-      pushed_words++;
-    }
-  else if (!push && (mask & (1 << PC_REGNUM)))
-    {
-      /* Catch popping the PC.  */
-      if (TARGET_INTERWORK || TARGET_BACKTRACE
-         || current_function_calls_eh_return)
-       {
-         /* The PC is never poped directly, instead
-            it is popped into r3 and then BX is used.  */
-         fprintf (f, "}\n");
-
-         thumb_exit (f, -1);
-
-         return;
-       }
-      else
-       {
-         if (mask & 0xFF)
-           fprintf (f, ", ");
-
-         asm_fprintf (f, "%r", PC_REGNUM);
-       }
-    }
-
-  fprintf (f, "}\n");
-
-  if (push && pushed_words && dwarf2out_do_frame ())
-    {
-      char *l = dwarf2out_cfi_label ();
-      int pushed_mask = real_regs;
-
-      *cfa_offset += pushed_words * 4;
-      dwarf2out_def_cfa (l, SP_REGNUM, *cfa_offset);
-
-      pushed_words = 0;
-      pushed_mask = real_regs;
-      for (regno = 0; regno <= 14; regno++, pushed_mask >>= 1)
-       {
-         if (pushed_mask & 1)
-           dwarf2out_reg_save (l, regno, 4 * pushed_words++ - *cfa_offset);
-       }
-    }
-}
 \f
 void
 thumb_final_prescan_insn (rtx insn)
@@ -12604,10 +13338,9 @@ thumb_far_jump_used_p (void)
 int
 is_called_in_ARM_mode (tree func)
 {
-  if (TREE_CODE (func) != FUNCTION_DECL)
-    abort ();
+  gcc_assert (TREE_CODE (func) == FUNCTION_DECL);
 
-  /* Ignore the problem about functions whoes address is taken.  */
+  /* Ignore the problem about functions whose address is taken.  */
   if (TARGET_CALLEE_INTERWORKING && TREE_PUBLIC (func))
     return TRUE;
 
@@ -12623,11 +13356,10 @@ const char *
 thumb_unexpanded_epilogue (void)
 {
   int regno;
-  int live_regs_mask = 0;
+  unsigned long live_regs_mask = 0;
   int high_regs_pushed = 0;
   int had_to_push_lr;
   int size;
-  int mode;
 
   if (return_used_this_function)
     return "";
@@ -12642,16 +13374,10 @@ thumb_unexpanded_epilogue (void)
      This is more reliable that examining regs_ever_live[] because that
      will be set if the register is ever used in the function, not just if
      the register is used to hold a return value.  */
-
-  if (current_function_return_rtx != 0)
-    mode = GET_MODE (current_function_return_rtx);
-  else
-    mode = DECL_MODE (DECL_RESULT (current_function_decl));
-
-  size = GET_MODE_SIZE (mode);
+  size = arm_size_return_regs ();
 
   /* The prolog may have pushed some high registers to use as
-     work registers.  eg the testsuite file:
+     work registers.  e.g. the testsuite file:
      gcc/testsuite/gcc/gcc.c-torture/execute/complex-2.c
      compiles to produce:
        push    {r4, r5, r6, r7, lr}
@@ -12662,7 +13388,7 @@ thumb_unexpanded_epilogue (void)
 
   if (high_regs_pushed)
     {
-      int mask = live_regs_mask & 0xff;
+      unsigned long mask = live_regs_mask & 0xff;
       int next_hi_reg;
 
       /* The available low registers depend on the size of the value we are
@@ -12823,8 +13549,10 @@ arm_init_expanders (void)
 }
 
 
-/* Like arm_compute_initial_elimination offset.  Simpler because
-   THUMB_HARD_FRAME_POINTER isn't actually the ABI specified frame pointer.  */
+/* Like arm_compute_initial_elimination offset.  Simpler because there
+   isn't an ABI specified frame pointer for Thumb.  Instead, we set it
+   to point at the base of the local variables after static stack
+   space for a function has been allocated.  */
 
 HOST_WIDE_INT
 thumb_compute_initial_elimination_offset (unsigned int from, unsigned int to)
@@ -12844,12 +13572,14 @@ thumb_compute_initial_elimination_offset (unsigned int from, unsigned int to)
        case FRAME_POINTER_REGNUM:
          return offsets->soft_frame - offsets->saved_args;
 
-       case THUMB_HARD_FRAME_POINTER_REGNUM:
        case ARM_HARD_FRAME_POINTER_REGNUM:
          return offsets->saved_regs - offsets->saved_args;
 
+       case THUMB_HARD_FRAME_POINTER_REGNUM:
+         return offsets->locals_base - offsets->saved_args;
+
        default:
-         abort();
+         gcc_unreachable ();
        }
       break;
 
@@ -12859,17 +13589,19 @@ thumb_compute_initial_elimination_offset (unsigned int from, unsigned int to)
        case STACK_POINTER_REGNUM:
          return offsets->outgoing_args - offsets->soft_frame;
 
-       case THUMB_HARD_FRAME_POINTER_REGNUM:
        case ARM_HARD_FRAME_POINTER_REGNUM:
          return offsets->saved_regs - offsets->soft_frame;
 
+       case THUMB_HARD_FRAME_POINTER_REGNUM:
+         return offsets->locals_base - offsets->soft_frame;
+
        default:
-         abort();
+         gcc_unreachable ();
        }
       break;
 
     default:
-      abort ();
+      gcc_unreachable ();
     }
 }
 
@@ -12898,21 +13630,17 @@ thumb_expand_prologue (void)
       return;
     }
 
-  /* Load the pic recister before setting the frame pointer, so we can use r7
-     as a temporary work register.  */
-  if (flag_pic)
-    arm_load_pic_register ();
-
-  offsets = arm_get_frame_offsets ();
+  live_regs_mask = thumb_compute_save_reg_mask ();
+  /* Load the pic register before setting the frame pointer,
+     so we can use r7 as a temporary work register.  */
+  if (flag_pic && arm_pic_register != INVALID_REGNUM)
+    arm_load_pic_register (live_regs_mask);
 
-  if (frame_pointer_needed)
-    {
-      insn = emit_insn (gen_movsi (hard_frame_pointer_rtx,
-                                  stack_pointer_rtx));
-      RTX_FRAME_RELATED_P (insn) = 1;
-    }
+  if (!frame_pointer_needed && CALLER_INTERWORKING_SLOT_SIZE > 0)
+    emit_move_insn (gen_rtx_REG (Pmode, ARM_HARD_FRAME_POINTER_REGNUM),
+                   stack_pointer_rtx);
 
-  live_regs_mask = thumb_compute_save_reg_mask ();
+  offsets = arm_get_frame_offsets ();
   amount = offsets->outgoing_args - offsets->saved_regs;
   if (amount)
     {
@@ -12963,7 +13691,7 @@ thumb_expand_prologue (void)
              insn = emit_insn (gen_addsi3 (stack_pointer_rtx,
                                            stack_pointer_rtx, reg));
              RTX_FRAME_RELATED_P (insn) = 1;
-             dwarf = gen_rtx_SET (SImode, stack_pointer_rtx,
+             dwarf = gen_rtx_SET (VOIDmode, stack_pointer_rtx,
                                   plus_constant (stack_pointer_rtx,
                                                  -amount));
              RTX_FRAME_RELATED_P (dwarf) = 1;
@@ -12989,7 +13717,7 @@ thumb_expand_prologue (void)
              insn = emit_insn (gen_addsi3 (stack_pointer_rtx,
                                            stack_pointer_rtx, reg));
              RTX_FRAME_RELATED_P (insn) = 1;
-             dwarf = gen_rtx_SET (SImode, stack_pointer_rtx,
+             dwarf = gen_rtx_SET (VOIDmode, stack_pointer_rtx,
                                   plus_constant (stack_pointer_rtx,
                                                  -amount));
              RTX_FRAME_RELATED_P (dwarf) = 1;
@@ -12998,15 +13726,38 @@ thumb_expand_prologue (void)
                                     REG_NOTES (insn));
            }
        }
-      /* If the frame pointer is needed, emit a special barrier that
-        will prevent the scheduler from moving stores to the frame
-        before the stack adjustment.  */
-      if (frame_pointer_needed)
-       emit_insn (gen_stack_tie (stack_pointer_rtx,
-                                 hard_frame_pointer_rtx));
     }
 
-  if (current_function_profile || TARGET_NO_SCHED_PRO)
+  if (frame_pointer_needed)
+    {
+      amount = offsets->outgoing_args - offsets->locals_base;
+
+      if (amount < 1024)
+       insn = emit_insn (gen_addsi3 (hard_frame_pointer_rtx,
+                                     stack_pointer_rtx, GEN_INT (amount)));
+      else
+       {
+         emit_insn (gen_movsi (hard_frame_pointer_rtx, GEN_INT (amount)));
+         insn = emit_insn (gen_addsi3 (hard_frame_pointer_rtx,
+                                       hard_frame_pointer_rtx,
+                                       stack_pointer_rtx));
+         dwarf = gen_rtx_SET (VOIDmode, hard_frame_pointer_rtx,
+                              plus_constant (stack_pointer_rtx, amount));
+         RTX_FRAME_RELATED_P (dwarf) = 1;
+         REG_NOTES (insn) = gen_rtx_EXPR_LIST (REG_FRAME_RELATED_EXPR, dwarf,
+                                               REG_NOTES (insn));
+       }
+
+      RTX_FRAME_RELATED_P (insn) = 1;
+    }
+
+  /* If we are profiling, make sure no instructions are scheduled before
+     the call to mcount.  Similarly if the user has requested no
+     scheduling in the prolog.  Similarly if we want non-call exceptions
+     using the EABI unwinder, to prevent faulting instructions from being
+     swapped with a stack adjustment.  */
+  if (current_function_profile || !TARGET_SCHED_PROLOG
+      || (ARM_EABI_UNWIND_TABLES && flag_non_call_exceptions))
     emit_insn (gen_blockage ());
 
   cfun->machine->lr_save_eliminated = !thumb_force_lr_save ();
@@ -13035,8 +13786,12 @@ thumb_expand_epilogue (void)
   amount = offsets->outgoing_args - offsets->saved_regs;
 
   if (frame_pointer_needed)
-    emit_insn (gen_movsi (stack_pointer_rtx, hard_frame_pointer_rtx));
-  else if (amount)
+    {
+      emit_insn (gen_movsi (stack_pointer_rtx, hard_frame_pointer_rtx));
+      amount = offsets->locals_base - offsets->saved_regs;
+    }
+
+  if (amount)
     {
       if (amount < 512)
        emit_insn (gen_addsi3 (stack_pointer_rtx, stack_pointer_rtx,
@@ -13055,7 +13810,7 @@ thumb_expand_epilogue (void)
      the stack adjustment will not be deleted.  */
   emit_insn (gen_prologue_use (stack_pointer_rtx));
 
-  if (current_function_profile || TARGET_NO_SCHED_PRO)
+  if (current_function_profile || !TARGET_SCHED_PROLOG)
     emit_insn (gen_blockage ());
 
   /* Emit a clobber for each insn that will be restored in the epilogue,
@@ -13071,9 +13826,9 @@ thumb_expand_epilogue (void)
 static void
 thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
 {
-  int live_regs_mask = 0;
-  int l_mask;
-  int high_regs_pushed = 0;
+  unsigned long live_regs_mask = 0;
+  unsigned long l_mask;
+  unsigned high_regs_pushed = 0;
   int cfa_offset = 0;
   int regno;
 
@@ -13084,10 +13839,9 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
     {
       const char * name;
 
-      if (GET_CODE (DECL_RTL (current_function_decl)) != MEM)
-       abort ();
-      if (GET_CODE (XEXP (DECL_RTL (current_function_decl), 0)) != SYMBOL_REF)
-       abort ();
+      gcc_assert (GET_CODE (DECL_RTL (current_function_decl)) == MEM);
+      gcc_assert (GET_CODE (XEXP (DECL_RTL (current_function_decl), 0))
+                 == SYMBOL_REF);
       name = XSTR  (XEXP (DECL_RTL (current_function_decl), 0), 0);
 
       /* Generate code sequence to switch us into Thumb mode.  */
@@ -13117,6 +13871,11 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
 
   if (current_function_pretend_args_size)
     {
+      /* Output unwind directive for the stack adjustment.  */
+      if (ARM_EABI_UNWIND_TABLES)
+       fprintf (f, "\t.pad #%d\n",
+                current_function_pretend_args_size);
+
       if (cfun->machine->uses_anonymous_args)
        {
          int num_pushes;
@@ -13144,19 +13903,23 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
       if (dwarf2out_do_frame ())
        {
          char *l = dwarf2out_cfi_label ();
+
          cfa_offset = cfa_offset + current_function_pretend_args_size;
          dwarf2out_def_cfa (l, SP_REGNUM, cfa_offset);
        }
     }
 
+  /* Get the registers we are going to push.  */
   live_regs_mask = thumb_compute_save_reg_mask ();
-  /* Just low regs and lr. */
+  /* Extract a mask of the ones we can give to the Thumb's push instruction.  */
   l_mask = live_regs_mask & 0x40ff;
+  /* Then count how many other high registers will need to be pushed.  */
+  high_regs_pushed = bit_count (live_regs_mask & 0x0f00);
 
   if (TARGET_BACKTRACE)
     {
-      int    offset;
-      int    work_register;
+      unsigned offset;
+      unsigned work_register;
 
       /* We have been asked to create a stack backtrace structure.
          The code looks like this:
@@ -13178,6 +13941,9 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
 
       work_register = thumb_find_work_register (live_regs_mask);
 
+      if (ARM_EABI_UNWIND_TABLES)
+       asm_fprintf (f, "\t.pad #16\n");
+
       asm_fprintf
        (f, "\tsub\t%r, %r, #16\t%@ Create stack backtrace structure\n",
         SP_REGNUM, SP_REGNUM);
@@ -13185,6 +13951,7 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
       if (dwarf2out_do_frame ())
        {
          char *l = dwarf2out_cfi_label ();
+
          cfa_offset = cfa_offset + 16;
          dwarf2out_def_cfa (l, SP_REGNUM, cfa_offset);
        }
@@ -13192,7 +13959,7 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
       if (l_mask)
        {
          thumb_pushpop (f, l_mask, 1, &cfa_offset, l_mask);
-         offset = bit_count (l_mask);
+         offset = bit_count (l_mask) * UNITS_PER_WORD;
        }
       else
        offset = 0;
@@ -13234,15 +14001,18 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
       asm_fprintf (f, "\tmov\t%r, %r\t\t%@ Backtrace structure created\n",
                   ARM_HARD_FRAME_POINTER_REGNUM, work_register);
     }
-  else if (l_mask)
+  /* Optimization:  If we are not pushing any low registers but we are going
+     to push some high registers then delay our first push.  This will just
+     be a push of LR and we can combine it with the push of the first high
+     register.  */
+  else if ((l_mask & 0xff) != 0
+          || (high_regs_pushed == 0 && l_mask))
     thumb_pushpop (f, l_mask, 1, &cfa_offset, l_mask);
 
-  high_regs_pushed = bit_count (live_regs_mask & 0x0f00);
-
   if (high_regs_pushed)
     {
-      int pushable_regs = 0;
-      int next_hi_reg;
+      unsigned pushable_regs;
+      unsigned next_hi_reg;
 
       for (next_hi_reg = 12; next_hi_reg > LAST_LO_REGNUM; next_hi_reg--)
        if (live_regs_mask & (1 << next_hi_reg))
@@ -13255,21 +14025,21 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
 
       while (high_regs_pushed > 0)
        {
-         int real_regs_mask = 0;
+         unsigned long real_regs_mask = 0;
 
-         for (regno = LAST_LO_REGNUM; regno >= 0; regno--)
+         for (regno = LAST_LO_REGNUM; regno >= 0; regno --)
            {
              if (pushable_regs & (1 << regno))
                {
                  asm_fprintf (f, "\tmov\t%r, %r\n", regno, next_hi_reg);
 
-                 high_regs_pushed--;
+                 high_regs_pushed --;
                  real_regs_mask |= (1 << next_hi_reg);
 
                  if (high_regs_pushed)
                    {
-                     for (next_hi_reg--; next_hi_reg > LAST_LO_REGNUM;
-                          next_hi_reg--)
+                     for (next_hi_reg --; next_hi_reg > LAST_LO_REGNUM;
+                          next_hi_reg --)
                        if (live_regs_mask & (1 << next_hi_reg))
                          break;
                    }
@@ -13281,7 +14051,17 @@ thumb_output_function_prologue (FILE *f, HOST_WIDE_INT size ATTRIBUTE_UNUSED)
                }
            }
 
-         thumb_pushpop (f, pushable_regs, 1, &cfa_offset, real_regs_mask);
+         /* If we had to find a work register and we have not yet
+            saved the LR then add it to the list of regs to push.  */
+         if (l_mask == (1 << LR_REGNUM))
+           {
+             thumb_pushpop (f, pushable_regs | (1 << LR_REGNUM),
+                            1, &cfa_offset,
+                            real_regs_mask | (1 << LR_REGNUM));
+             l_mask = 0;
+           }
+         else
+           thumb_pushpop (f, pushable_regs, 1, &cfa_offset, real_regs_mask);
        }
     }
 }
@@ -13298,11 +14078,8 @@ thumb_load_double_from_address (rtx *operands)
   rtx arg1;
   rtx arg2;
 
-  if (GET_CODE (operands[0]) != REG)
-    abort ();
-
-  if (GET_CODE (operands[1]) != MEM)
-    abort ();
+  gcc_assert (GET_CODE (operands[0]) == REG);
+  gcc_assert (GET_CODE (operands[1]) == MEM);
 
   /* Get the memory address.  */
   addr = XEXP (operands[1], 0);
@@ -13311,8 +14088,7 @@ thumb_load_double_from_address (rtx *operands)
   switch (GET_CODE (addr))
     {
     case REG:
-      operands[2] = gen_rtx_MEM (SImode,
-                                plus_constant (XEXP (operands[1], 0), 4));
+      operands[2] = adjust_address (operands[1], SImode, 4);
 
       if (REGNO (operands[0]) == REGNO (addr))
        {
@@ -13328,8 +14104,7 @@ thumb_load_double_from_address (rtx *operands)
 
     case CONST:
       /* Compute <address> + 4 for the high order load.  */
-      operands[2] = gen_rtx_MEM (SImode,
-                                plus_constant (XEXP (operands[1], 0), 4));
+      operands[2] = adjust_address (operands[1], SImode, 4);
 
       output_asm_insn ("ldr\t%0, %1", operands);
       output_asm_insn ("ldr\t%H0, %2", operands);
@@ -13344,8 +14119,7 @@ thumb_load_double_from_address (rtx *operands)
       else
        base = arg1, offset = arg2;
 
-      if (GET_CODE (base) != REG)
-       abort ();
+      gcc_assert (GET_CODE (base) == REG);
 
       /* Catch the case of <address> = <reg> + <reg> */
       if (GET_CODE (offset) == REG)
@@ -13372,8 +14146,7 @@ thumb_load_double_from_address (rtx *operands)
       else
        {
          /* Compute <address> + 4 for the high order load.  */
-         operands[2] = gen_rtx_MEM (SImode,
-                                    plus_constant (XEXP (operands[1], 0), 4));
+         operands[2] = adjust_address (operands[1], SImode, 4);
 
          /* If the computed address is held in the low order register
             then load the high order register first, otherwise always
@@ -13394,16 +14167,14 @@ thumb_load_double_from_address (rtx *operands)
     case LABEL_REF:
       /* With no registers to worry about we can just load the value
          directly.  */
-      operands[2] = gen_rtx_MEM (SImode,
-                                plus_constant (XEXP (operands[1], 0), 4));
+      operands[2] = adjust_address (operands[1], SImode, 4);
 
       output_asm_insn ("ldr\t%H0, %2", operands);
       output_asm_insn ("ldr\t%0, %1", operands);
       break;
 
     default:
-      abort ();
-      break;
+      gcc_unreachable ();
     }
 
   return "";
@@ -13452,9 +14223,40 @@ thumb_output_move_mem_multiple (int n, rtx *operands)
       break;
 
     default:
-      abort ();
+      gcc_unreachable ();
+    }
+
+  return "";
+}
+
+/* Output a call-via instruction for thumb state.  */
+const char *
+thumb_call_via_reg (rtx reg)
+{
+  int regno = REGNO (reg);
+  rtx *labelp;
+
+  gcc_assert (regno < LR_REGNUM);
+
+  /* If we are in the normal text section we can use a single instance
+     per compilation unit.  If we are doing function sections, then we need
+     an entry per section, since we can't rely on reachability.  */
+  if (in_section == text_section)
+    {
+      thumb_call_reg_needed = 1;
+
+      if (thumb_call_via_label[regno] == NULL)
+       thumb_call_via_label[regno] = gen_label_rtx ();
+      labelp = thumb_call_via_label + regno;
+    }
+  else
+    {
+      if (cfun->machine->call_via[regno] == NULL)
+       cfun->machine->call_via[regno] = gen_label_rtx ();
+      labelp = cfun->machine->call_via + regno;
     }
 
+  output_asm_insn ("bl\t%a0", labelp);
   return "";
 }
 
@@ -13519,7 +14321,7 @@ thumb_reload_out_hi (rtx *operands)
 void
 thumb_reload_in_hi (rtx *operands ATTRIBUTE_UNUSED)
 {
-  abort ();
+  gcc_unreachable ();
 }
 
 /* Return the length of a function name prefix
@@ -13568,6 +14370,31 @@ arm_asm_output_labelref (FILE *stream, const char *name)
     asm_fprintf (stream, "%U%s", name);
 }
 
+static void
+arm_file_end (void)
+{
+  int regno;
+
+  if (! thumb_call_reg_needed)
+    return;
+
+  switch_to_section (text_section);
+  asm_fprintf (asm_out_file, "\t.code 16\n");
+  ASM_OUTPUT_ALIGN (asm_out_file, 1);
+
+  for (regno = 0; regno < LR_REGNUM; regno++)
+    {
+      rtx label = thumb_call_via_label[regno];
+
+      if (label != 0)
+       {
+         targetm.asm_out.internal_label (asm_out_file, "L",
+                                         CODE_LABEL_NUMBER (label));
+         asm_fprintf (asm_out_file, "\tbx\t%r\n", regno);
+       }
+    }
+}
+
 rtx aof_pic_label;
 
 #ifdef AOF_ASSEMBLER
@@ -13626,25 +14453,56 @@ aof_dump_pic_table (FILE *f)
 
 int arm_text_section_count = 1;
 
-char *
-aof_text_section (void )
+/* A get_unnamed_section callback for switching to the text section.  */
+
+static void
+aof_output_text_section_asm_op (const void *data ATTRIBUTE_UNUSED)
 {
-  static char buf[100];
-  sprintf (buf, "\tAREA |C$$code%d|, CODE, READONLY",
+  fprintf (asm_out_file, "\tAREA |C$$code%d|, CODE, READONLY",
           arm_text_section_count++);
   if (flag_pic)
-    strcat (buf, ", PIC, REENTRANT");
-  return buf;
+    fprintf (asm_out_file, ", PIC, REENTRANT");
+  fprintf (asm_out_file, "\n");
 }
 
 static int arm_data_section_count = 1;
 
-char *
-aof_data_section (void)
+/* A get_unnamed_section callback for switching to the data section.  */
+
+static void
+aof_output_data_section_asm_op (const void *data ATTRIBUTE_UNUSED)
+{
+  fprintf (asm_out_file, "\tAREA |C$$data%d|, DATA\n",
+          arm_data_section_count++);
+}
+
+/* Implement TARGET_ASM_INIT_SECTIONS.
+
+   AOF Assembler syntax is a nightmare when it comes to areas, since once
+   we change from one area to another, we can't go back again.  Instead,
+   we must create a new area with the same attributes and add the new output
+   to that.  Unfortunately, there is nothing we can do here to guarantee that
+   two areas with the same attributes will be linked adjacently in the
+   resulting executable, so we have to be careful not to do pc-relative
+   addressing across such boundaries.  */
+
+static void
+aof_asm_init_sections (void)
+{
+  text_section = get_unnamed_section (SECTION_CODE,
+                                     aof_output_text_section_asm_op, NULL);
+  data_section = get_unnamed_section (SECTION_WRITE,
+                                     aof_output_data_section_asm_op, NULL);
+  readonly_data_section = text_section;
+}
+
+void
+zero_init_section (void)
 {
-  static char buf[100];
-  sprintf (buf, "\tAREA |C$$data%d|, DATA", arm_data_section_count++);
-  return buf;
+  static int zero_init_count = 1;
+
+  fprintf (asm_out_file, "\tAREA |C$$zidata%d|,NOINIT\n", zero_init_count++);
+  in_section = NULL;
 }
 
 /* The AOF assembler is religiously strict about declarations of
@@ -13705,7 +14563,7 @@ aof_dump_imports (FILE *f)
      automagically.  */
   if (arm_main_function)
     {
-      text_section ();
+      switch_to_section (text_section);
       fputs ("\tIMPORT __main\n", f);
       fputs ("\tDCD __main\n", f);
     }
@@ -13756,7 +14614,7 @@ aof_file_start (void)
   fputs ("__f5\tFN\t5\n", asm_out_file);
   fputs ("__f6\tFN\t6\n", asm_out_file);
   fputs ("__f7\tFN\t7\n", asm_out_file);
-  text_section ();
+  switch_to_section (text_section);
 }
 
 static void
@@ -13764,67 +14622,12 @@ aof_file_end (void)
 {
   if (flag_pic)
     aof_dump_pic_table (asm_out_file);
+  arm_file_end ();
   aof_dump_imports (asm_out_file);
   fputs ("\tEND\n", asm_out_file);
 }
 #endif /* AOF_ASSEMBLER */
 
-#ifdef OBJECT_FORMAT_ELF
-/* Switch to an arbitrary section NAME with attributes as specified
-   by FLAGS.  ALIGN specifies any known alignment requirements for
-   the section; 0 if the default should be used.
-
-   Differs from the default elf version only in the prefix character
-   used before the section type.  */
-
-static void
-arm_elf_asm_named_section (const char *name, unsigned int flags)
-{
-  char flagchars[10], *f = flagchars;
-
-  if (! named_section_first_declaration (name))
-    {
-      fprintf (asm_out_file, "\t.section\t%s\n", name);
-      return;
-    }
-
-  if (!(flags & SECTION_DEBUG))
-    *f++ = 'a';
-  if (flags & SECTION_WRITE)
-    *f++ = 'w';
-  if (flags & SECTION_CODE)
-    *f++ = 'x';
-  if (flags & SECTION_SMALL)
-    *f++ = 's';
-  if (flags & SECTION_MERGE)
-    *f++ = 'M';
-  if (flags & SECTION_STRINGS)
-    *f++ = 'S';
-  if (flags & SECTION_TLS)
-    *f++ = 'T';
-  *f = '\0';
-
-  fprintf (asm_out_file, "\t.section\t%s,\"%s\"", name, flagchars);
-
-  if (!(flags & SECTION_NOTYPE))
-    {
-      const char *type;
-
-      if (flags & SECTION_BSS)
-       type = "nobits";
-      else
-       type = "progbits";
-
-      fprintf (asm_out_file, ",%%%s", type);
-
-      if (flags & SECTION_ENTSIZE)
-       fprintf (asm_out_file, ",%d", flags & SECTION_ENTSIZE);
-    }
-
-  putc ('\n', asm_out_file);
-}
-#endif
-
 #ifndef ARM_PE
 /* Symbols in the text segment can be accessed without indirecting via the
    constant pool; it may take an extra binary operation, but this is still
@@ -13845,13 +14648,15 @@ arm_encode_section_info (tree decl, rtx rtl, int first)
   /* If we are referencing a function that is weak then encode a long call
      flag in the function name, otherwise if the function is static or
      or known to be defined in this file then encode a short call flag.  */
-  if (first && TREE_CODE_CLASS (TREE_CODE (decl)) == 'd')
+  if (first && DECL_P (decl))
     {
       if (TREE_CODE (decl) == FUNCTION_DECL && DECL_WEAK (decl))
         arm_encode_call_attribute (decl, LONG_CALL_FLAG_CHAR);
       else if (! TREE_PUBLIC (decl))
         arm_encode_call_attribute (decl, SHORT_CALL_FLAG_CHAR);
     }
+
+  default_encode_section_info (decl, rtl, first);
 }
 #endif /* !ARM_PE */
 
@@ -13929,15 +14734,14 @@ arm_emit_vector_const (FILE *file, rtx x)
   int i;
   const char * pattern;
 
-  if (GET_CODE (x) != CONST_VECTOR)
-    abort ();
+  gcc_assert (GET_CODE (x) == CONST_VECTOR);
 
   switch (GET_MODE (x))
     {
     case V2SImode: pattern = "%08x"; break;
     case V4HImode: pattern = "%04x"; break;
     case V8QImode: pattern = "%02x"; break;
-    default:       abort ();
+    default:       gcc_unreachable ();
     }
 
   fprintf (file, "0x");
@@ -14148,7 +14952,7 @@ arm_promote_prototypes (tree t ATTRIBUTE_UNUSED)
 static bool
 arm_default_short_enums (void)
 {
-  return TARGET_AAPCS_BASED;
+  return TARGET_AAPCS_BASED && arm_abi != ARM_ABI_AAPCS_LINUX;
 }
 
 
@@ -14170,7 +14974,7 @@ arm_cxx_guard_type (void)
 }
 
 
-/* The EABI says test the least significan bit of a guard variable.  */
+/* The EABI says test the least significant bit of a guard variable.  */
 
 static bool
 arm_cxx_guard_mask_bit (void)
@@ -14221,17 +15025,41 @@ arm_cxx_key_method_may_be_inline (void)
   return !TARGET_AAPCS_BASED;
 }
 
-/* The EABI says that the virtual table, etc., for a class must be
-   exported if it has a key method.  The EABI does not specific the
-   behavior if there is no key method, but there is no harm in
-   exporting the class data in that case too.  */
+static void
+arm_cxx_determine_class_data_visibility (tree decl)
+{
+  if (!TARGET_AAPCS_BASED)
+    return;
+
+  /* In general, \S 3.2.5.5 of the ARM EABI requires that class data
+     is exported.  However, on systems without dynamic vague linkage,
+     \S 3.2.5.6 says that COMDAT class data has hidden linkage.  */
+  if (!TARGET_ARM_DYNAMIC_VAGUE_LINKAGE_P && DECL_COMDAT (decl))
+    DECL_VISIBILITY (decl) = VISIBILITY_HIDDEN;
+  else
+    DECL_VISIBILITY (decl) = VISIBILITY_DEFAULT;
+  DECL_VISIBILITY_SPECIFIED (decl) = 1;
+}
+
+static bool
+arm_cxx_class_data_always_comdat (void)
+{
+  /* \S 3.2.5.4 of the ARM C++ ABI says that class data only have
+     vague linkage if the class has no key function.  */
+  return !TARGET_AAPCS_BASED;
+}
+
+
+/* The EABI says __aeabi_atexit should be used to register static
+   destructors.  */
 
 static bool
-arm_cxx_export_class_data (void)
+arm_cxx_use_aeabi_atexit (void)
 {
   return TARGET_AAPCS_BASED;
 }
 
+
 void
 arm_set_return_address (rtx source, rtx scratch)
 {
@@ -14267,7 +15095,7 @@ arm_set_return_address (rtx source, rtx scratch)
 
          addr = plus_constant (addr, delta);
        }
-      emit_move_insn (gen_rtx_MEM (Pmode, addr), source);
+      emit_move_insn (gen_frame_mem (Pmode, addr), source);
     }
 }
 
@@ -14317,7 +15145,7 @@ thumb_set_return_address (rtx source, rtx scratch)
       else
        addr = plus_constant (addr, delta);
 
-      emit_move_insn (gen_rtx_MEM (Pmode, addr), source);
+      emit_move_insn (gen_frame_mem (Pmode, addr), source);
     }
   else
     emit_move_insn (gen_rtx_REG (Pmode, LR_REGNUM), source);
@@ -14334,3 +15162,372 @@ arm_vector_mode_supported_p (enum machine_mode mode)
 
   return false;
 }
+
+/* Implement TARGET_SHIFT_TRUNCATION_MASK.  SImode shifts use normal
+   ARM insns and therefore guarantee that the shift count is modulo 256.
+   DImode shifts (those implemented by lib1funcs.asm or by optabs.c)
+   guarantee no particular behavior for out-of-range counts.  */
+
+static unsigned HOST_WIDE_INT
+arm_shift_truncation_mask (enum machine_mode mode)
+{
+  return mode == SImode ? 255 : 0;
+}
+
+
+/* Map internal gcc register numbers to DWARF2 register numbers.  */
+
+unsigned int
+arm_dbx_register_number (unsigned int regno)
+{
+  if (regno < 16)
+    return regno;
+
+  /* TODO: Legacy targets output FPA regs as registers 16-23 for backwards
+     compatibility.  The EABI defines them as registers 96-103.  */
+  if (IS_FPA_REGNUM (regno))
+    return (TARGET_AAPCS_BASED ? 96 : 16) + regno - FIRST_FPA_REGNUM;
+
+  if (IS_VFP_REGNUM (regno))
+    return 64 + regno - FIRST_VFP_REGNUM;
+
+  if (IS_IWMMXT_GR_REGNUM (regno))
+    return 104 + regno - FIRST_IWMMXT_GR_REGNUM;
+
+  if (IS_IWMMXT_REGNUM (regno))
+    return 112 + regno - FIRST_IWMMXT_REGNUM;
+
+  gcc_unreachable ();
+}
+
+
+#ifdef TARGET_UNWIND_INFO
+/* Emit unwind directives for a store-multiple instruction.  This should
+   only ever be generated by the function prologue code, so we expect it
+   to have a particular form.  */
+
+static void
+arm_unwind_emit_stm (FILE * asm_out_file, rtx p)
+{
+  int i;
+  HOST_WIDE_INT offset;
+  HOST_WIDE_INT nregs;
+  int reg_size;
+  unsigned reg;
+  unsigned lastreg;
+  rtx e;
+
+  /* First insn will adjust the stack pointer.  */
+  e = XVECEXP (p, 0, 0);
+  if (GET_CODE (e) != SET
+      || GET_CODE (XEXP (e, 0)) != REG
+      || REGNO (XEXP (e, 0)) != SP_REGNUM
+      || GET_CODE (XEXP (e, 1)) != PLUS)
+    abort ();
+
+  offset = -INTVAL (XEXP (XEXP (e, 1), 1));
+  nregs = XVECLEN (p, 0) - 1;
+
+  reg = REGNO (XEXP (XVECEXP (p, 0, 1), 1));
+  if (reg < 16)
+    {
+      /* The function prologue may also push pc, but not annotate it as it is
+        never restored.  We turn this into a stack pointer adjustment.  */
+      if (nregs * 4 == offset - 4)
+       {
+         fprintf (asm_out_file, "\t.pad #4\n");
+         offset -= 4;
+       }
+      reg_size = 4;
+    }
+  else if (IS_VFP_REGNUM (reg))
+    {
+      /* FPA register saves use an additional word.  */
+      offset -= 4;
+      reg_size = 8;
+    }
+  else if (reg >= FIRST_FPA_REGNUM && reg <= LAST_FPA_REGNUM)
+    {
+      /* FPA registers are done differently.  */
+      asm_fprintf (asm_out_file, "\t.save %r, %wd\n", reg, nregs);
+      return;
+    }
+  else
+    /* Unknown register type.  */
+    abort ();
+
+  /* If the stack increment doesn't match the size of the saved registers,
+     something has gone horribly wrong.  */
+  if (offset != nregs * reg_size)
+    abort ();
+
+  fprintf (asm_out_file, "\t.save {");
+
+  offset = 0;
+  lastreg = 0;
+  /* The remaining insns will describe the stores.  */
+  for (i = 1; i <= nregs; i++)
+    {
+      /* Expect (set (mem <addr>) (reg)).
+         Where <addr> is (reg:SP) or (plus (reg:SP) (const_int)).  */
+      e = XVECEXP (p, 0, i);
+      if (GET_CODE (e) != SET
+         || GET_CODE (XEXP (e, 0)) != MEM
+         || GET_CODE (XEXP (e, 1)) != REG)
+       abort ();
+
+      reg = REGNO (XEXP (e, 1));
+      if (reg < lastreg)
+       abort ();
+
+      if (i != 1)
+       fprintf (asm_out_file, ", ");
+      /* We can't use %r for vfp because we need to use the
+        double precision register names.  */
+      if (IS_VFP_REGNUM (reg))
+       asm_fprintf (asm_out_file, "d%d", (reg - FIRST_VFP_REGNUM) / 2);
+      else
+       asm_fprintf (asm_out_file, "%r", reg);
+
+#ifdef ENABLE_CHECKING
+      /* Check that the addresses are consecutive.  */
+      e = XEXP (XEXP (e, 0), 0);
+      if (GET_CODE (e) == PLUS)
+       {
+         offset += reg_size;
+         if (GET_CODE (XEXP (e, 0)) != REG
+             || REGNO (XEXP (e, 0)) != SP_REGNUM
+             || GET_CODE (XEXP (e, 1)) != CONST_INT
+             || offset != INTVAL (XEXP (e, 1)))
+           abort ();
+       }
+      else if (i != 1
+              || GET_CODE (e) != REG
+              || REGNO (e) != SP_REGNUM)
+       abort ();
+#endif
+    }
+  fprintf (asm_out_file, "}\n");
+}
+
+/*  Emit unwind directives for a SET.  */
+
+static void
+arm_unwind_emit_set (FILE * asm_out_file, rtx p)
+{
+  rtx e0;
+  rtx e1;
+
+  e0 = XEXP (p, 0);
+  e1 = XEXP (p, 1);
+  switch (GET_CODE (e0))
+    {
+    case MEM:
+      /* Pushing a single register.  */
+      if (GET_CODE (XEXP (e0, 0)) != PRE_DEC
+         || GET_CODE (XEXP (XEXP (e0, 0), 0)) != REG
+         || REGNO (XEXP (XEXP (e0, 0), 0)) != SP_REGNUM)
+       abort ();
+
+      asm_fprintf (asm_out_file, "\t.save ");
+      if (IS_VFP_REGNUM (REGNO (e1)))
+       asm_fprintf(asm_out_file, "{d%d}\n",
+                   (REGNO (e1) - FIRST_VFP_REGNUM) / 2);
+      else
+       asm_fprintf(asm_out_file, "{%r}\n", REGNO (e1));
+      break;
+
+    case REG:
+      if (REGNO (e0) == SP_REGNUM)
+       {
+         /* A stack increment.  */
+         if (GET_CODE (e1) != PLUS
+             || GET_CODE (XEXP (e1, 0)) != REG
+             || REGNO (XEXP (e1, 0)) != SP_REGNUM
+             || GET_CODE (XEXP (e1, 1)) != CONST_INT)
+           abort ();
+
+         asm_fprintf (asm_out_file, "\t.pad #%wd\n",
+                      -INTVAL (XEXP (e1, 1)));
+       }
+      else if (REGNO (e0) == HARD_FRAME_POINTER_REGNUM)
+       {
+         HOST_WIDE_INT offset;
+         unsigned reg;
+
+         if (GET_CODE (e1) == PLUS)
+           {
+             if (GET_CODE (XEXP (e1, 0)) != REG
+                 || GET_CODE (XEXP (e1, 1)) != CONST_INT)
+               abort ();
+             reg = REGNO (XEXP (e1, 0));
+             offset = INTVAL (XEXP (e1, 1));
+             asm_fprintf (asm_out_file, "\t.setfp %r, %r, #%wd\n",
+                          HARD_FRAME_POINTER_REGNUM, reg,
+                          INTVAL (XEXP (e1, 1)));
+           }
+         else if (GET_CODE (e1) == REG)
+           {
+             reg = REGNO (e1);
+             asm_fprintf (asm_out_file, "\t.setfp %r, %r\n",
+                          HARD_FRAME_POINTER_REGNUM, reg);
+           }
+         else
+           abort ();
+       }
+      else if (GET_CODE (e1) == REG && REGNO (e1) == SP_REGNUM)
+       {
+         /* Move from sp to reg.  */
+         asm_fprintf (asm_out_file, "\t.movsp %r\n", REGNO (e0));
+       }
+      else
+       abort ();
+      break;
+
+    default:
+      abort ();
+    }
+}
+
+
+/* Emit unwind directives for the given insn.  */
+
+static void
+arm_unwind_emit (FILE * asm_out_file, rtx insn)
+{
+  rtx pat;
+
+  if (!ARM_EABI_UNWIND_TABLES)
+    return;
+
+  if (GET_CODE (insn) == NOTE || !RTX_FRAME_RELATED_P (insn))
+    return;
+
+  pat = find_reg_note (insn, REG_FRAME_RELATED_EXPR, NULL_RTX);
+  if (pat)
+    pat = XEXP (pat, 0);
+  else
+    pat = PATTERN (insn);
+
+  switch (GET_CODE (pat))
+    {
+    case SET:
+      arm_unwind_emit_set (asm_out_file, pat);
+      break;
+
+    case SEQUENCE:
+      /* Store multiple.  */
+      arm_unwind_emit_stm (asm_out_file, pat);
+      break;
+
+    default:
+      abort();
+    }
+}
+
+
+/* Output a reference from a function exception table to the type_info
+   object X.  The EABI specifies that the symbol should be relocated by
+   an R_ARM_TARGET2 relocation.  */
+
+static bool
+arm_output_ttype (rtx x)
+{
+  fputs ("\t.word\t", asm_out_file);
+  output_addr_const (asm_out_file, x);
+  /* Use special relocations for symbol references.  */
+  if (GET_CODE (x) != CONST_INT)
+    fputs ("(TARGET2)", asm_out_file);
+  fputc ('\n', asm_out_file);
+
+  return TRUE;
+}
+#endif /* TARGET_UNWIND_INFO */
+
+
+/* Output unwind directives for the start/end of a function.  */
+
+void
+arm_output_fn_unwind (FILE * f, bool prologue)
+{
+  if (!ARM_EABI_UNWIND_TABLES)
+    return;
+
+  if (prologue)
+    fputs ("\t.fnstart\n", f);
+  else
+    fputs ("\t.fnend\n", f);
+}
+
+static bool
+arm_emit_tls_decoration (FILE *fp, rtx x)
+{
+  enum tls_reloc reloc;
+  rtx val;
+
+  val = XVECEXP (x, 0, 0);
+  reloc = INTVAL (XVECEXP (x, 0, 1));
+
+  output_addr_const (fp, val);
+
+  switch (reloc)
+    {
+    case TLS_GD32:
+      fputs ("(tlsgd)", fp);
+      break;
+    case TLS_LDM32:
+      fputs ("(tlsldm)", fp);
+      break;
+    case TLS_LDO32:
+      fputs ("(tlsldo)", fp);
+      break;
+    case TLS_IE32:
+      fputs ("(gottpoff)", fp);
+      break;
+    case TLS_LE32:
+      fputs ("(tpoff)", fp);
+      break;
+    default:
+      gcc_unreachable ();
+    }
+
+  switch (reloc)
+    {
+    case TLS_GD32:
+    case TLS_LDM32:
+    case TLS_IE32:
+      fputs (" + (. - ", fp);
+      output_addr_const (fp, XVECEXP (x, 0, 2));
+      fputs (" - ", fp);
+      output_addr_const (fp, XVECEXP (x, 0, 3));
+      fputc (')', fp);
+      break;
+    default:
+      break;
+    }
+
+  return TRUE;
+}
+
+bool
+arm_output_addr_const_extra (FILE *fp, rtx x)
+{
+  if (GET_CODE (x) == UNSPEC && XINT (x, 1) == UNSPEC_TLS)
+    return arm_emit_tls_decoration (fp, x);
+  else if (GET_CODE (x) == UNSPEC && XINT (x, 1) == UNSPEC_PIC_LABEL)
+    {
+      char label[256];
+      int labelno = INTVAL (XVECEXP (x, 0, 0));
+
+      ASM_GENERATE_INTERNAL_LABEL (label, "LPIC", labelno);
+      assemble_name_raw (fp, label);
+
+      return TRUE;
+    }
+  else if (GET_CODE (x) == CONST_VECTOR)
+    return arm_emit_vector_const (fp, x);
+
+  return FALSE;
+}
+
+#include "gt-arm.h"