OSDN Git Service

* c-typeck.c (common_type): Correct comment.
[pf3gnuchains/gcc-fork.git] / gcc / calls.c
index abd88fe..48d62f8 100644 (file)
@@ -1,6 +1,6 @@
 /* Convert function calls to rtl insns, for GNU C compiler.
-   Copyright (C) 1989, 1992, 1993, 1994, 1995, 1996, 1997, 1998
-   1999, 2000, 2001, 2002, 2003 Free Software Foundation, Inc.
+   Copyright (C) 1989, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
+   1999, 2000, 2001, 2002, 2003, 2004 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -27,6 +27,7 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include "tree.h"
 #include "flags.h"
 #include "expr.h"
+#include "optabs.h"
 #include "libfuncs.h"
 #include "function.h"
 #include "regs.h"
@@ -37,30 +38,8 @@ Software Foundation, 59 Temple Place - Suite 330, Boston, MA
 #include "sbitmap.h"
 #include "langhooks.h"
 #include "target.h"
-
-/* Decide whether a function's arguments should be processed
-   from first to last or from last to first.
-
-   They should if the stack and args grow in opposite directions, but
-   only if we have push insns.  */
-
-#ifdef PUSH_ROUNDING
-
-#ifndef PUSH_ARGS_REVERSED
-#if defined (STACK_GROWS_DOWNWARD) != defined (ARGS_GROW_DOWNWARD)
-#define PUSH_ARGS_REVERSED  PUSH_ARGS
-#endif
-#endif
-
-#endif
-
-#ifndef PUSH_ARGS_REVERSED
-#define PUSH_ARGS_REVERSED 0
-#endif
-
-#ifndef STACK_POINTER_OFFSET
-#define STACK_POINTER_OFFSET    0
-#endif
+#include "cgraph.h"
+#include "except.h"
 
 /* Like PREFERRED_STACK_BOUNDARY but in units of bytes, not bits.  */
 #define STACK_BYTES (PREFERRED_STACK_BOUNDARY / BITS_PER_UNIT)
@@ -96,16 +75,8 @@ struct arg_data
      even though pass_on_stack is zero, just because FUNCTION_ARG says so.
      pass_on_stack identifies arguments that *cannot* go in registers.  */
   int pass_on_stack;
-  /* Offset of this argument from beginning of stack-args.  */
-  struct args_size offset;
-  /* Similar, but offset to the start of the stack slot.  Different from
-     OFFSET if this arg pads downward.  */
-  struct args_size slot_offset;
-  /* Size of this argument on the stack, rounded up for any padding it gets,
-     parts of the argument passed in registers do not count.
-     If REG_PARM_STACK_SPACE is defined, then register parms
-     are counted here as well.  */
-  struct args_size size;
+  /* Some fields packaged up for locate_and_pad_parm.  */
+  struct locate_and_pad_arg_data locate;
   /* Location on the stack at which parameter should be stored.  The store
      has already been done if STACK == VALUE.  */
   rtx stack;
@@ -121,9 +92,6 @@ struct arg_data
      word-sized pseudos we made.  */
   rtx *aligned_regs;
   int n_aligned_regs;
-  /* The amount that the stack pointer needs to be adjusted to
-     force alignment for the next argument.  */
-  struct args_size alignment_pad;
 };
 
 /* A vector of one char per byte of stack space.  A byte if nonzero if
@@ -149,59 +117,42 @@ static sbitmap stored_args_map;
    argument list for the constructor call.  */
 int stack_arg_under_construction;
 
-static int calls_function      PARAMS ((tree, int));
-static int calls_function_1    PARAMS ((tree, int));
-
-static void emit_call_1                PARAMS ((rtx, tree, tree, HOST_WIDE_INT,
-                                        HOST_WIDE_INT, HOST_WIDE_INT, rtx,
-                                        rtx, int, rtx, int,
-                                        CUMULATIVE_ARGS *));
-static void precompute_register_parameters     PARAMS ((int,
-                                                        struct arg_data *,
-                                                        int *));
-static int store_one_arg       PARAMS ((struct arg_data *, rtx, int, int,
-                                        int));
-static void store_unaligned_arguments_into_pseudos PARAMS ((struct arg_data *,
-                                                           int));
-static int finalize_must_preallocate           PARAMS ((int, int,
-                                                        struct arg_data *,
-                                                        struct args_size *));
-static void precompute_arguments               PARAMS ((int, int,
-                                                        struct arg_data *));
-static int compute_argument_block_size         PARAMS ((int,
-                                                        struct args_size *,
-                                                        int));
-static void initialize_argument_information    PARAMS ((int,
-                                                        struct arg_data *,
-                                                        struct args_size *,
-                                                        int, tree, tree,
-                                                        CUMULATIVE_ARGS *,
-                                                        int, rtx *, int *,
-                                                        int *, int *));
-static void compute_argument_addresses         PARAMS ((struct arg_data *,
-                                                        rtx, int));
-static rtx rtx_for_function_call               PARAMS ((tree, tree));
-static void load_register_parameters           PARAMS ((struct arg_data *,
-                                                        int, rtx *, int,
-                                                        int, int *));
-static rtx emit_library_call_value_1           PARAMS ((int, rtx, rtx,
-                                                        enum libcall_type,
-                                                        enum machine_mode,
-                                                        int, va_list));
-static int special_function_p                  PARAMS ((tree, int));
-static rtx try_to_integrate                    PARAMS ((tree, tree, rtx,
-                                                        int, tree, rtx));
-static int check_sibcall_argument_overlap_1    PARAMS ((rtx));
-static int check_sibcall_argument_overlap      PARAMS ((rtx, struct arg_data *,
-                                                        int));
-
-static int combine_pending_stack_adjustment_and_call
-                                                PARAMS ((int, struct args_size *, int));
-static tree fix_unsafe_tree            PARAMS ((tree));
+static int calls_function (tree, int);
+static int calls_function_1 (tree, int);
+
+static void emit_call_1 (rtx, tree, tree, tree, HOST_WIDE_INT, HOST_WIDE_INT,
+                        HOST_WIDE_INT, rtx, rtx, int, rtx, int,
+                        CUMULATIVE_ARGS *);
+static void precompute_register_parameters (int, struct arg_data *, int *);
+static int store_one_arg (struct arg_data *, rtx, int, int, int);
+static void store_unaligned_arguments_into_pseudos (struct arg_data *, int);
+static int finalize_must_preallocate (int, int, struct arg_data *,
+                                     struct args_size *);
+static void precompute_arguments (int, int, struct arg_data *);
+static int compute_argument_block_size (int, struct args_size *, int);
+static void initialize_argument_information (int, struct arg_data *,
+                                            struct args_size *, int, tree,
+                                            tree, CUMULATIVE_ARGS *, int,
+                                            rtx *, int *, int *, int *,
+                                            bool *, bool);
+static void compute_argument_addresses (struct arg_data *, rtx, int);
+static rtx rtx_for_function_call (tree, tree);
+static void load_register_parameters (struct arg_data *, int, rtx *, int,
+                                     int, int *);
+static rtx emit_library_call_value_1 (int, rtx, rtx, enum libcall_type,
+                                     enum machine_mode, int, va_list);
+static int special_function_p (tree, int);
+static int check_sibcall_argument_overlap_1 (rtx);
+static int check_sibcall_argument_overlap (rtx, struct arg_data *, int);
+
+static int combine_pending_stack_adjustment_and_call (int, struct args_size *,
+                                                     int);
+static tree fix_unsafe_tree (tree);
+static bool shift_returned_value (tree, rtx *);
 
 #ifdef REG_PARM_STACK_SPACE
-static rtx save_fixed_argument_area    PARAMS ((int, rtx, int *, int *));
-static void restore_fixed_argument_area        PARAMS ((rtx, rtx, int, int));
+static rtx save_fixed_argument_area (int, rtx, int *, int *);
+static void restore_fixed_argument_area (rtx, rtx, int, int);
 #endif
 \f
 /* If WHICH is 1, return 1 if EXP contains a call to the built-in function
@@ -215,9 +166,7 @@ static void restore_fixed_argument_area     PARAMS ((rtx, rtx, int, int));
 static tree calls_function_save_exprs;
 
 static int
-calls_function (exp, which)
-     tree exp;
-     int which;
+calls_function (tree exp, int which)
 {
   int val;
 
@@ -230,9 +179,7 @@ calls_function (exp, which)
 /* Recursive function to do the work of above function.  */
 
 static int
-calls_function_1 (exp, which)
-     tree exp;
-     int which;
+calls_function_1 (tree exp, int which)
 {
   int i;
   enum tree_code code = TREE_CODE (exp);
@@ -312,8 +259,9 @@ calls_function_1 (exp, which)
       break;
     }
 
-  /* Only expressions, references, and blocks can contain calls.  */
-  if (! IS_EXPR_CODE_CLASS (class) && class != 'r' && class != 'b')
+  /* Only expressions and blocks can contain calls.
+     Blocks were handled above.  */
+  if (! IS_EXPR_CODE_CLASS (class))
     return 0;
 
   for (i = 0; i < length; i++)
@@ -332,22 +280,12 @@ calls_function_1 (exp, which)
    CALL_INSN_FUNCTION_USAGE information.  */
 
 rtx
-prepare_call_address (funexp, fndecl, call_fusage, reg_parm_seen, sibcallp)
-     rtx funexp;
-     tree fndecl;
-     rtx *call_fusage;
-     int reg_parm_seen;
-     int sibcallp;
+prepare_call_address (rtx funexp, rtx static_chain_value,
+                     rtx *call_fusage, int reg_parm_seen, int sibcallp)
 {
-  rtx static_chain_value = 0;
-
   funexp = protect_from_queue (funexp, 0);
 
-  if (fndecl != 0)
-    /* Get possible static chain value for nested function in C.  */
-    static_chain_value = lookup_static_chain (fndecl);
-
-  /* Make a valid memory address and copy constants thru pseudo-regs,
+  /* Make a valid memory address and copy constants through pseudo-regs,
      but not for a constant address if -fno-function-cse.  */
   if (GET_CODE (funexp) != SYMBOL_REF)
     /* If we are using registers for parameters, force the
@@ -359,10 +297,7 @@ prepare_call_address (funexp, fndecl, call_fusage, reg_parm_seen, sibcallp)
     {
 #ifndef NO_FUNCTION_CSE
       if (optimize && ! flag_no_function_cse)
-#ifdef NO_RECURSIVE_FUNCTION_CSE
-       if (fndecl != current_function_decl)
-#endif
-         funexp = force_reg (Pmode, funexp);
+       funexp = force_reg (Pmode, funexp);
 #endif
     }
 
@@ -418,21 +353,14 @@ prepare_call_address (funexp, fndecl, call_fusage, reg_parm_seen, sibcallp)
    denote registers used by the called function.  */
 
 static void
-emit_call_1 (funexp, fndecl, funtype, stack_size, rounded_stack_size,
-            struct_value_size, next_arg_reg, valreg, old_inhibit_defer_pop,
-            call_fusage, ecf_flags, args_so_far)
-     rtx funexp;
-     tree fndecl ATTRIBUTE_UNUSED;
-     tree funtype ATTRIBUTE_UNUSED;
-     HOST_WIDE_INT stack_size ATTRIBUTE_UNUSED;
-     HOST_WIDE_INT rounded_stack_size;
-     HOST_WIDE_INT struct_value_size ATTRIBUTE_UNUSED;
-     rtx next_arg_reg ATTRIBUTE_UNUSED;
-     rtx valreg;
-     int old_inhibit_defer_pop;
-     rtx call_fusage;
-     int ecf_flags;
-     CUMULATIVE_ARGS *args_so_far ATTRIBUTE_UNUSED;
+emit_call_1 (rtx funexp, tree fntree, tree fndecl ATTRIBUTE_UNUSED,
+            tree funtype ATTRIBUTE_UNUSED,
+            HOST_WIDE_INT stack_size ATTRIBUTE_UNUSED,
+            HOST_WIDE_INT rounded_stack_size,
+            HOST_WIDE_INT struct_value_size ATTRIBUTE_UNUSED,
+            rtx next_arg_reg ATTRIBUTE_UNUSED, rtx valreg,
+            int old_inhibit_defer_pop, rtx call_fusage, int ecf_flags,
+            CUMULATIVE_ARGS *args_so_far ATTRIBUTE_UNUSED)
 {
   rtx rounded_stack_size_rtx = GEN_INT (rounded_stack_size);
   rtx call_insn;
@@ -446,7 +374,7 @@ emit_call_1 (funexp, fndecl, funtype, stack_size, rounded_stack_size,
 #ifdef CALL_POPS_ARGS
   n_popped += CALL_POPS_ARGS (* args_so_far);
 #endif
-  
+
   /* Ensure address is valid.  SYMBOL_REF is already valid, so no need,
      and we don't want to load it into a register as an optimization,
      because prepare_call_address already did it if it should be done.  */
@@ -545,14 +473,8 @@ emit_call_1 (funexp, fndecl, funtype, stack_size, rounded_stack_size,
 #endif
     abort ();
 
-  /* Find the CALL insn we just emitted.  */
-  for (call_insn = get_last_insn ();
-       call_insn && GET_CODE (call_insn) != CALL_INSN;
-       call_insn = PREV_INSN (call_insn))
-    ;
-
-  if (! call_insn)
-    abort ();
+  /* Find the call we just emitted.  */
+  call_insn = last_call_insn ();
 
   /* Mark memory as used for "pure" function call.  */
   if (ecf_flags & ECF_PURE)
@@ -563,20 +485,8 @@ emit_call_1 (funexp, fndecl, funtype, stack_size, rounded_stack_size,
                      gen_rtx_MEM (BLKmode, gen_rtx_SCRATCH (VOIDmode))),
         call_fusage);
 
-  /* Put the register usage information on the CALL.  If there is already
-     some usage information, put ours at the end.  */
-  if (CALL_INSN_FUNCTION_USAGE (call_insn))
-    {
-      rtx link;
-
-      for (link = CALL_INSN_FUNCTION_USAGE (call_insn); XEXP (link, 1) != 0;
-          link = XEXP (link, 1))
-       ;
-
-      XEXP (link, 1) = call_fusage;
-    }
-  else
-    CALL_INSN_FUNCTION_USAGE (call_insn) = call_fusage;
+  /* Put the register usage information there.  */
+  add_function_usage_to (call_insn, call_fusage);
 
   /* If this is a const call, then set the insn's unchanging bit.  */
   if (ecf_flags & (ECF_CONST | ECF_PURE))
@@ -587,6 +497,17 @@ emit_call_1 (funexp, fndecl, funtype, stack_size, rounded_stack_size,
   if (ecf_flags & ECF_NOTHROW)
     REG_NOTES (call_insn) = gen_rtx_EXPR_LIST (REG_EH_REGION, const0_rtx,
                                               REG_NOTES (call_insn));
+  else
+    {
+      int rn = lookup_stmt_eh_region (fntree);
+
+      /* If rn < 0, then either (1) tree-ssa not used or (2) doesn't
+        throw, which we already took care of.  */
+      if (rn > 0)
+       REG_NOTES (call_insn) = gen_rtx_EXPR_LIST (REG_EH_REGION, GEN_INT (rn),
+                                                  REG_NOTES (call_insn));
+      note_current_region_may_contain_throw ();
+    }
 
   if (ecf_flags & ECF_NORETURN)
     REG_NOTES (call_insn) = gen_rtx_EXPR_LIST (REG_NORETURN, const0_rtx,
@@ -631,7 +552,7 @@ emit_call_1 (funexp, fndecl, funtype, stack_size, rounded_stack_size,
 
       if (rounded_stack_size != 0)
        {
-         if (ecf_flags & ECF_SP_DEPRESSED)
+         if (ecf_flags & (ECF_SP_DEPRESSED | ECF_NORETURN | ECF_LONGJMP))
            /* Just pretend we did the pop.  */
            stack_pointer_delta -= rounded_stack_size;
          else if (flag_defer_pop && inhibit_defer_pop == 0
@@ -664,24 +585,24 @@ emit_call_1 (funexp, fndecl, funtype, stack_size, rounded_stack_size,
 
    Similarly set LONGJMP for if the function is in the longjmp family.
 
-   Set MALLOC for any of the standard memory allocation functions which
-   allocate from the heap.
-
    Set MAY_BE_ALLOCA for any memory allocation function that might allocate
    space from the stack such as alloca.  */
 
 static int
-special_function_p (fndecl, flags)
-     tree fndecl;
-     int flags;
+special_function_p (tree fndecl, int flags)
 {
-  if (! (flags & ECF_MALLOC)
-      && fndecl && DECL_NAME (fndecl)
+  if (fndecl && DECL_NAME (fndecl)
       && IDENTIFIER_LENGTH (DECL_NAME (fndecl)) <= 17
       /* Exclude functions not at the file scope, or not `extern',
         since they are not the magic functions we would otherwise
-        think they are.  */
-      && DECL_CONTEXT (fndecl) == NULL_TREE && TREE_PUBLIC (fndecl))
+        think they are.
+         FIXME: this should be handled with attributes, not with this
+         hacky imitation of DECL_ASSEMBLER_NAME.  It's (also) wrong
+         because you can declare fork() inside a function if you
+         wish.  */
+      && (DECL_CONTEXT (fndecl) == NULL_TREE 
+         || TREE_CODE (DECL_CONTEXT (fndecl)) == TRANSLATION_UNIT_DECL)
+      && TREE_PUBLIC (fndecl))
     {
       const char *name = IDENTIFIER_POINTER (DECL_NAME (fndecl));
       const char *tname = name;
@@ -732,50 +653,22 @@ special_function_p (fndecl, flags)
       else if (tname[0] == 'l' && tname[1] == 'o'
               && ! strcmp (tname, "longjmp"))
        flags |= ECF_LONGJMP;
-
-      else if ((tname[0] == 'f' && tname[1] == 'o'
-               && ! strcmp (tname, "fork"))
-              /* Linux specific: __clone.  check NAME to insist on the
-                 leading underscores, to avoid polluting the ISO / POSIX
-                 namespace.  */
-              || (name[0] == '_' && name[1] == '_'
-                  && ! strcmp (tname, "clone"))
-              || (tname[0] == 'e' && tname[1] == 'x' && tname[2] == 'e'
-                  && tname[3] == 'c' && (tname[4] == 'l' || tname[4] == 'v')
-                  && (tname[5] == '\0'
-                      || ((tname[5] == 'p' || tname[5] == 'e')
-                          && tname[6] == '\0'))))
-       flags |= ECF_FORK_OR_EXEC;
-
-      /* Do not add any more malloc-like functions to this list,
-         instead mark them as malloc functions using the malloc attribute.
-         Note, realloc is not suitable for attribute malloc since
-         it may return the same address across multiple calls.
-         C++ operator new is not suitable because it is not required
-         to return a unique pointer; indeed, the standard placement new
-        just returns its argument.  */
-      else if (TYPE_MODE (TREE_TYPE (TREE_TYPE (fndecl))) == Pmode
-              && (! strcmp (tname, "malloc")
-                  || ! strcmp (tname, "calloc")
-                  || ! strcmp (tname, "strdup")))
-       flags |= ECF_MALLOC;
     }
+
   return flags;
 }
 
 /* Return nonzero when tree represent call to longjmp.  */
 
 int
-setjmp_call_p (fndecl)
-     tree fndecl;
+setjmp_call_p (tree fndecl)
 {
   return special_function_p (fndecl, 0) & ECF_RETURNS_TWICE;
 }
 
 /* Return true when exp contains alloca call.  */
 bool
-alloca_call_p (exp)
-     tree exp;
+alloca_call_p (tree exp)
 {
   if (TREE_CODE (exp) == CALL_EXPR
       && TREE_CODE (TREE_OPERAND (exp, 0)) == ADDR_EXPR
@@ -790,30 +683,42 @@ alloca_call_p (exp)
 /* Detect flags (function attributes) from the function decl or type node.  */
 
 int
-flags_from_decl_or_type (exp)
-     tree exp;
+flags_from_decl_or_type (tree exp)
 {
   int flags = 0;
   tree type = exp;
-  /* ??? We can't set IS_MALLOC for function types?  */
+
   if (DECL_P (exp))
     {
+      struct cgraph_rtl_info *i = cgraph_rtl_info (exp);
       type = TREE_TYPE (exp);
 
+      if (i)
+       {
+         if (i->pure_function)
+           flags |= ECF_PURE | ECF_LIBCALL_BLOCK;
+         if (i->const_function)
+           flags |= ECF_CONST | ECF_LIBCALL_BLOCK;
+       }
+
       /* The function exp may have the `malloc' attribute.  */
-      if (DECL_P (exp) && DECL_IS_MALLOC (exp))
+      if (DECL_IS_MALLOC (exp))
        flags |= ECF_MALLOC;
 
       /* The function exp may have the `pure' attribute.  */
-      if (DECL_P (exp) && DECL_IS_PURE (exp))
+      if (DECL_IS_PURE (exp))
        flags |= ECF_PURE | ECF_LIBCALL_BLOCK;
 
       if (TREE_NOTHROW (exp))
        flags |= ECF_NOTHROW;
-    }
 
-  if (TREE_READONLY (exp) && ! TREE_THIS_VOLATILE (exp))
-    flags |= ECF_CONST | ECF_LIBCALL_BLOCK;
+      if (TREE_READONLY (exp) && ! TREE_THIS_VOLATILE (exp))
+       flags |= ECF_LIBCALL_BLOCK | ECF_CONST;
+
+      flags = special_function_p (exp, flags);
+    }
+  else if (TYPE_P (exp) && TYPE_READONLY (exp) && ! TREE_THIS_VOLATILE (exp))
+    flags |= ECF_CONST;
 
   if (TREE_THIS_VOLATILE (exp))
     flags |= ECF_NORETURN;
@@ -829,6 +734,28 @@ flags_from_decl_or_type (exp)
   return flags;
 }
 
+/* Detect flags from a CALL_EXPR.  */
+
+int
+call_expr_flags (tree t)
+{
+  int flags;
+  tree decl = get_callee_fndecl (t);
+
+  if (decl)
+    flags = flags_from_decl_or_type (decl);
+  else
+    {
+      t = TREE_TYPE (TREE_OPERAND (t, 0));
+      if (t && TREE_CODE (t) == POINTER_TYPE)
+       flags = flags_from_decl_or_type (TREE_TYPE (t));
+      else
+       flags = 0;
+    }
+
+  return flags;
+}
+
 /* Precompute all register parameters as described by ARGS, storing values
    into fields within the ARGS array.
 
@@ -837,10 +764,7 @@ flags_from_decl_or_type (exp)
    Set REG_PARM_SEEN if we encounter a register parameter.  */
 
 static void
-precompute_register_parameters (num_actuals, args, reg_parm_seen)
-     int num_actuals;
-     struct arg_data *args;
-     int *reg_parm_seen;
+precompute_register_parameters (int num_actuals, struct arg_data *args, int *reg_parm_seen)
 {
   int i;
 
@@ -905,12 +829,7 @@ precompute_register_parameters (num_actuals, args, reg_parm_seen)
      parameters, we must save and restore it.  */
 
 static rtx
-save_fixed_argument_area (reg_parm_stack_space, argblock,
-                         low_to_save, high_to_save)
-     int reg_parm_stack_space;
-     rtx argblock;
-     int *low_to_save;
-     int *high_to_save;
+save_fixed_argument_area (int reg_parm_stack_space, rtx argblock, int *low_to_save, int *high_to_save)
 {
   int low;
   int high;
@@ -977,11 +896,7 @@ save_fixed_argument_area (reg_parm_stack_space, argblock,
 }
 
 static void
-restore_fixed_argument_area (save_area, argblock, high_to_save, low_to_save)
-     rtx save_area;
-     rtx argblock;
-     int high_to_save;
-     int low_to_save;
+restore_fixed_argument_area (rtx save_area, rtx argblock, int high_to_save, int low_to_save)
 {
   enum machine_mode save_mode = GET_MODE (save_area);
   int delta;
@@ -1016,9 +931,7 @@ restore_fixed_argument_area (save_area, argblock, high_to_save, low_to_save)
    the aligned_regs array if it is nonzero.  */
 
 static void
-store_unaligned_arguments_into_pseudos (args, num_actuals)
-     struct arg_data *args;
-     int num_actuals;
+store_unaligned_arguments_into_pseudos (struct arg_data *args, int num_actuals)
 {
   int i, j;
 
@@ -1029,22 +942,26 @@ store_unaligned_arguments_into_pseudos (args, num_actuals)
            < (unsigned int) MIN (BIGGEST_ALIGNMENT, BITS_PER_WORD)))
       {
        int bytes = int_size_in_bytes (TREE_TYPE (args[i].tree_value));
-       int big_endian_correction = 0;
+       int nregs = (bytes + UNITS_PER_WORD - 1) / UNITS_PER_WORD;
+       int endian_correction = 0;
 
-       args[i].n_aligned_regs
-         = args[i].partial ? args[i].partial
-           : (bytes + (UNITS_PER_WORD - 1)) / UNITS_PER_WORD;
+       args[i].n_aligned_regs = args[i].partial ? args[i].partial : nregs;
+       args[i].aligned_regs = xmalloc (sizeof (rtx) * args[i].n_aligned_regs);
 
-       args[i].aligned_regs = (rtx *) xmalloc (sizeof (rtx)
-                                               * args[i].n_aligned_regs);
-
-       /* Structures smaller than a word are aligned to the least
-          significant byte (to the right).  On a BYTES_BIG_ENDIAN machine,
+       /* Structures smaller than a word are normally aligned to the
+          least significant byte.  On a BYTES_BIG_ENDIAN machine,
           this means we must skip the empty high order bytes when
           calculating the bit offset.  */
-       if (BYTES_BIG_ENDIAN
-           && bytes < UNITS_PER_WORD)
-         big_endian_correction = (BITS_PER_WORD  - (bytes * BITS_PER_UNIT));
+       if (bytes < UNITS_PER_WORD
+#ifdef BLOCK_REG_PADDING
+           && (BLOCK_REG_PADDING (args[i].mode,
+                                  TREE_TYPE (args[i].tree_value), 1)
+               == downward)
+#else
+           && BYTES_BIG_ENDIAN
+#endif
+           )
+         endian_correction = BITS_PER_WORD - bytes * BITS_PER_UNIT;
 
        for (j = 0; j < args[i].n_aligned_regs; j++)
          {
@@ -1053,6 +970,8 @@ store_unaligned_arguments_into_pseudos (args, num_actuals)
            int bitsize = MIN (bytes * BITS_PER_UNIT, BITS_PER_WORD);
 
            args[i].aligned_regs[j] = reg;
+           word = extract_bit_field (word, bitsize, 0, 1, NULL_RTX,
+                                     word_mode, word_mode, BITS_PER_WORD);
 
            /* There is no need to restrict this code to loading items
               in TYPE_ALIGN sized hunks.  The bitfield instructions can
@@ -1068,11 +987,8 @@ store_unaligned_arguments_into_pseudos (args, num_actuals)
            emit_move_insn (reg, const0_rtx);
 
            bytes -= bitsize / BITS_PER_UNIT;
-           store_bit_field (reg, bitsize, big_endian_correction, word_mode,
-                            extract_bit_field (word, bitsize, 0, 1, NULL_RTX,
-                                               word_mode, word_mode,
-                                               BITS_PER_WORD),
-                            BITS_PER_WORD);
+           store_bit_field (reg, bitsize, endian_correction, word_mode,
+                            word, BITS_PER_WORD);
          }
       }
 }
@@ -1096,26 +1012,25 @@ store_unaligned_arguments_into_pseudos (args, num_actuals)
    and may be modified by this routine.
 
    OLD_PENDING_ADJ, MUST_PREALLOCATE and FLAGS are pointers to integer
-   flags which may may be modified by this routine.  */
+   flags which may may be modified by this routine. 
+
+   MAY_TAILCALL is cleared if we encounter an invisible pass-by-reference
+   that requires allocation of stack space.
+
+   CALL_FROM_THUNK_P is true if this call is the jump from a thunk to
+   the thunked-to function.  */
 
 static void
-initialize_argument_information (num_actuals, args, args_size, n_named_args,
-                                actparms, fndecl, args_so_far,
-                                reg_parm_stack_space, old_stack_level,
-                                old_pending_adj, must_preallocate,
-                                ecf_flags)
-     int num_actuals ATTRIBUTE_UNUSED;
-     struct arg_data *args;
-     struct args_size *args_size;
-     int n_named_args ATTRIBUTE_UNUSED;
-     tree actparms;
-     tree fndecl;
-     CUMULATIVE_ARGS *args_so_far;
-     int reg_parm_stack_space;
-     rtx *old_stack_level;
-     int *old_pending_adj;
-     int *must_preallocate;
-     int *ecf_flags;
+initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
+                                struct arg_data *args,
+                                struct args_size *args_size,
+                                int n_named_args ATTRIBUTE_UNUSED,
+                                tree actparms, tree fndecl,
+                                CUMULATIVE_ARGS *args_so_far,
+                                int reg_parm_stack_space,
+                                rtx *old_stack_level, int *old_pending_adj,
+                                int *must_preallocate, int *ecf_flags,
+                                bool *may_tailcall, bool call_from_thunk_p)
 {
   /* 1 if scanning parms front to back, -1 if scanning back to front.  */
   int inc;
@@ -1123,7 +1038,6 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
   /* Count arg position in order args appear.  */
   int argpos;
 
-  struct args_size alignment_pad;
   int i;
   tree p;
 
@@ -1179,8 +1093,7 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
         with those made by function.c.  */
 
       /* See if this argument should be passed by invisible reference.  */
-      if ((TREE_CODE (TYPE_SIZE (type)) != INTEGER_CST
-          && contains_placeholder_p (TYPE_SIZE (type)))
+      if (CONTAINS_PLACEHOLDER_P (TYPE_SIZE (type))
          || TREE_ADDRESSABLE (type)
 #ifdef FUNCTION_ARG_PASS_BY_REFERENCE
          || FUNCTION_ARG_PASS_BY_REFERENCE (*args_so_far, TYPE_MODE (type),
@@ -1190,7 +1103,7 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
        {
          /* If we're compiling a thunk, pass through invisible
              references instead of making a copy.  */
-         if (current_function_is_thunk
+         if (call_from_thunk_p
 #ifdef FUNCTION_ARG_CALLEE_COPIES
              || (FUNCTION_ARG_CALLEE_COPIES (*args_so_far, TYPE_MODE (type),
                                             type, argpos < n_named_args)
@@ -1216,6 +1129,13 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
                  && ! REG_P (DECL_RTL (TREE_OPERAND (args[i].tree_value, 1))))
                args[i].tree_value = TREE_OPERAND (args[i].tree_value, 1);
 
+             /* We can't use sibcalls if a callee-copied argument is stored
+                in the current function's frame.  */
+             if (!call_from_thunk_p
+                 && (!DECL_P (args[i].tree_value)
+                     || !TREE_STATIC (args[i].tree_value)))
+               *may_tailcall = false;
+
              args[i].tree_value = build1 (ADDR_EXPR,
                                           build_pointer_type (type),
                                           args[i].tree_value);
@@ -1230,6 +1150,7 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
                                           build_pointer_type (type),
                                           args[i].tree_value);
              type = build_pointer_type (type);
+             *may_tailcall = false;
            }
          else
            {
@@ -1269,15 +1190,15 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
                                           build_pointer_type (type),
                                           make_tree (type, copy));
              type = build_pointer_type (type);
+             *may_tailcall = false;
            }
        }
 
       mode = TYPE_MODE (type);
-      unsignedp = TREE_UNSIGNED (type);
+      unsignedp = TYPE_UNSIGNED (type);
 
-#ifdef PROMOTE_FUNCTION_ARGS
-      mode = promote_mode (type, mode, &unsignedp, 1);
-#endif
+      if (targetm.calls.promote_function_args (fndecl ? TREE_TYPE (fndecl) : 0))
+       mode = promote_mode (type, mode, &unsignedp, 1);
 
       args[i].unsignedp = unsignedp;
       args[i].mode = mode;
@@ -1334,39 +1255,22 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
 #else
                             args[i].reg != 0,
 #endif
-                            fndecl, args_size, &args[i].offset,
-                            &args[i].size, &alignment_pad);
-
-#ifndef ARGS_GROW_DOWNWARD
-      args[i].slot_offset = *args_size;
+                            args[i].pass_on_stack ? 0 : args[i].partial,
+                            fndecl, args_size, &args[i].locate);
+#ifdef BLOCK_REG_PADDING
+      else
+       /* The argument is passed entirely in registers.  See at which
+          end it should be padded.  */
+       args[i].locate.where_pad =
+         BLOCK_REG_PADDING (mode, type,
+                            int_size_in_bytes (type) <= UNITS_PER_WORD);
 #endif
 
-      args[i].alignment_pad = alignment_pad;
-
-      /* If a part of the arg was put into registers,
-        don't include that part in the amount pushed.  */
-      if (reg_parm_stack_space == 0 && ! args[i].pass_on_stack)
-       args[i].size.constant -= ((args[i].partial * UNITS_PER_WORD)
-                                 / (PARM_BOUNDARY / BITS_PER_UNIT)
-                                 * (PARM_BOUNDARY / BITS_PER_UNIT));
-
       /* Update ARGS_SIZE, the total stack space for args so far.  */
 
-      args_size->constant += args[i].size.constant;
-      if (args[i].size.var)
-       {
-         ADD_PARM_SIZE (*args_size, args[i].size.var);
-       }
-
-      /* Since the slot offset points to the bottom of the slot,
-        we must record it after incrementing if the args grow down.  */
-#ifdef ARGS_GROW_DOWNWARD
-      args[i].slot_offset = *args_size;
-
-      args[i].slot_offset.constant = -args_size->constant;
-      if (args_size->var)
-       SUB_PARM_SIZE (args[i].slot_offset, args_size->var);
-#endif
+      args_size->constant += args[i].locate.size.constant;
+      if (args[i].locate.size.var)
+       ADD_PARM_SIZE (*args_size, args[i].locate.size.var);
 
       /* Increment ARGS_SO_FAR, which has info about which arg-registers
         have been used, etc.  */
@@ -1383,11 +1287,9 @@ initialize_argument_information (num_actuals, args, args_size, n_named_args,
    for arguments passed in registers.  */
 
 static int
-compute_argument_block_size (reg_parm_stack_space, args_size,
-                            preferred_stack_boundary)
-     int reg_parm_stack_space;
-     struct args_size *args_size;
-     int preferred_stack_boundary ATTRIBUTE_UNUSED;
+compute_argument_block_size (int reg_parm_stack_space,
+                            struct args_size *args_size,
+                            int preferred_stack_boundary ATTRIBUTE_UNUSED)
 {
   int unadjusted_args_size = args_size->constant;
 
@@ -1447,11 +1349,6 @@ compute_argument_block_size (reg_parm_stack_space, args_size,
       args_size->constant = MAX (args_size->constant,
                                 reg_parm_stack_space);
 
-#ifdef MAYBE_REG_PARM_STACK_SPACE
-      if (reg_parm_stack_space == 0)
-       args_size->constant = 0;
-#endif
-
 #ifndef OUTGOING_REG_PARM_STACK_SPACE
       args_size->constant -= reg_parm_stack_space;
 #endif
@@ -1470,27 +1367,20 @@ compute_argument_block_size (reg_parm_stack_space, args_size,
    precomputed argument.  */
 
 static void
-precompute_arguments (flags, num_actuals, args)
-     int flags;
-     int num_actuals;
-     struct arg_data *args;
+precompute_arguments (int flags, int num_actuals, struct arg_data *args)
 {
   int i;
 
-  /* If this function call is cse'able, precompute all the parameters.
-     Note that if the parameter is constructed into a temporary, this will
-     cause an additional copy because the parameter will be constructed
-     into a temporary location and then copied into the outgoing arguments.
-     If a parameter contains a call to alloca and this function uses the
-     stack, precompute the parameter.  */
-
-  /* If we preallocated the stack space, and some arguments must be passed
-     on the stack, then we must precompute any parameter which contains a
-     function call which will store arguments on the stack.
-     Otherwise, evaluating the parameter may clobber previous parameters
-     which have already been stored into the stack.  (we have code to avoid
-     such case by saving the outgoing stack arguments, but it results in
-     worse code)  */
+  /* If this is a libcall, then precompute all arguments so that we do not
+     get extraneous instructions emitted as part of the libcall sequence.
+
+     If this target defines ACCUMULATE_OUTGOING_ARGS to true, then we must
+     precompute all arguments that contain function calls.  Otherwise,
+     computing arguments for a subcall may clobber arguments for this call.
+
+     If this target defines ACCUMULATE_OUTGOING_ARGS to false, then we only
+     need to precompute arguments that change the stack pointer, such as calls
+     to alloca, and calls that do not pop all of their arguments.  */
 
   for (i = 0; i < num_actuals; i++)
     if ((flags & ECF_LIBCALL_BLOCK)
@@ -1518,7 +1408,7 @@ precompute_arguments (flags, num_actuals, args)
            args[i].value
              = convert_modes (args[i].mode, mode,
                               args[i].value, args[i].unsignedp);
-#ifdef PROMOTE_FOR_CALL_ONLY
+#if defined(PROMOTE_FUNCTION_MODE) && !defined(PROMOTE_MODE)
            /* CSE will replace this only if it contains args[i].value
               pseudo, so convert it down to the declared mode using
               a SUBREG.  */
@@ -1541,11 +1431,7 @@ precompute_arguments (flags, num_actuals, args)
    compute and return the final value for MUST_PREALLOCATE.  */
 
 static int
-finalize_must_preallocate (must_preallocate, num_actuals, args, args_size)
-     int must_preallocate;
-     int num_actuals;
-     struct arg_data *args;
-     struct args_size *args_size;
+finalize_must_preallocate (int must_preallocate, int num_actuals, struct arg_data *args, struct args_size *args_size)
 {
   /* See if we have or want to preallocate stack space.
 
@@ -1604,10 +1490,7 @@ finalize_must_preallocate (must_preallocate, num_actuals, args, args_size)
    ARGBLOCK is an rtx for the address of the outgoing arguments.  */
 
 static void
-compute_argument_addresses (args, argblock, num_actuals)
-     struct arg_data *args;
-     rtx argblock;
-     int num_actuals;
+compute_argument_addresses (struct arg_data *args, rtx argblock, int num_actuals)
 {
   if (argblock)
     {
@@ -1619,8 +1502,8 @@ compute_argument_addresses (args, argblock, num_actuals)
 
       for (i = 0; i < num_actuals; i++)
        {
-         rtx offset = ARGS_SIZE_RTX (args[i].offset);
-         rtx slot_offset = ARGS_SIZE_RTX (args[i].slot_offset);
+         rtx offset = ARGS_SIZE_RTX (args[i].locate.offset);
+         rtx slot_offset = ARGS_SIZE_RTX (args[i].locate.slot_offset);
          rtx addr;
 
          /* Skip this parm if it will not be passed on the stack.  */
@@ -1634,6 +1517,7 @@ compute_argument_addresses (args, argblock, num_actuals)
 
          addr = plus_constant (addr, arg_offset);
          args[i].stack = gen_rtx_MEM (args[i].mode, addr);
+         set_mem_align (args[i].stack, PARM_BOUNDARY);
          set_mem_attributes (args[i].stack,
                              TREE_TYPE (args[i].tree_value), 1);
 
@@ -1644,6 +1528,7 @@ compute_argument_addresses (args, argblock, num_actuals)
 
          addr = plus_constant (addr, arg_offset);
          args[i].stack_slot = gen_rtx_MEM (args[i].mode, addr);
+         set_mem_align (args[i].stack_slot, PARM_BOUNDARY);
          set_mem_attributes (args[i].stack_slot,
                              TREE_TYPE (args[i].tree_value), 1);
 
@@ -1663,12 +1548,10 @@ compute_argument_addresses (args, argblock, num_actuals)
    FNDECL is the tree node for the target function.  For an indirect call
    FNDECL will be NULL_TREE.
 
-   EXP is the CALL_EXPR for this call.  */
+   ADDR is the operand 0 of CALL_EXPR for this call.  */
 
 static rtx
-rtx_for_function_call (fndecl, exp)
-     tree fndecl;
-     tree exp;
+rtx_for_function_call (tree fndecl, tree addr)
 {
   rtx funexp;
 
@@ -1690,7 +1573,7 @@ rtx_for_function_call (fndecl, exp)
     /* Generate an rtx (probably a pseudo-register) for the address.  */
     {
       push_temp_slots ();
-      funexp = expand_expr (TREE_OPERAND (exp, 0), NULL_RTX, VOIDmode, 0);
+      funexp = expand_expr (addr, NULL_RTX, VOIDmode, 0);
       pop_temp_slots ();       /* FUNEXP can't be BLKmode.  */
       emit_queue ();
     }
@@ -1702,60 +1585,83 @@ rtx_for_function_call (fndecl, exp)
    expressions were already evaluated.
 
    Mark all register-parms as living through the call, putting these USE
-   insns in the CALL_INSN_FUNCTION_USAGE field.  
+   insns in the CALL_INSN_FUNCTION_USAGE field.
+
    When IS_SIBCALL, perform the check_sibcall_overlap_argument_overlap
    checking, setting *SIBCALL_FAILURE if appropriate.  */
 
 static void
-load_register_parameters (args, num_actuals, call_fusage, flags, 
-                           is_sibcall, sibcall_failure)
-     struct arg_data *args;
-     int num_actuals;
-     rtx *call_fusage;
-     int flags;
-     int is_sibcall;
-     int *sibcall_failure;
+load_register_parameters (struct arg_data *args, int num_actuals,
+                         rtx *call_fusage, int flags, int is_sibcall,
+                         int *sibcall_failure)
 {
   int i, j;
 
-#ifdef LOAD_ARGS_REVERSED
-  for (i = num_actuals - 1; i >= 0; i--)
-#else
   for (i = 0; i < num_actuals; i++)
-#endif
     {
       rtx reg = ((flags & ECF_SIBCALL)
                 ? args[i].tail_call_reg : args[i].reg);
-      int partial = args[i].partial;
-      int nregs;
-
       if (reg)
        {
+         int partial = args[i].partial;
+         int nregs;
+         int size = 0;
          rtx before_arg = get_last_insn ();
          /* Set to non-negative if must move a word at a time, even if just
             one word (e.g, partial == 1 && mode == DFmode).  Set to -1 if
             we just use a normal move insn.  This value can be zero if the
             argument is a zero size structure with no fields.  */
-         nregs = (partial ? partial
-                  : (TYPE_MODE (TREE_TYPE (args[i].tree_value)) == BLKmode
-                     ? ((int_size_in_bytes (TREE_TYPE (args[i].tree_value))
-                         + (UNITS_PER_WORD - 1)) / UNITS_PER_WORD)
-                     : -1));
+         nregs = -1;
+         if (partial)
+           nregs = partial;
+         else if (TYPE_MODE (TREE_TYPE (args[i].tree_value)) == BLKmode)
+           {
+             size = int_size_in_bytes (TREE_TYPE (args[i].tree_value));
+             nregs = (size + (UNITS_PER_WORD - 1)) / UNITS_PER_WORD;
+           }
+         else
+           size = GET_MODE_SIZE (args[i].mode);
 
          /* Handle calls that pass values in multiple non-contiguous
             locations.  The Irix 6 ABI has examples of this.  */
 
          if (GET_CODE (reg) == PARALLEL)
-           emit_group_load (reg, args[i].value,
-                            int_size_in_bytes (TREE_TYPE (args[i].tree_value)));
+           {
+             tree type = TREE_TYPE (args[i].tree_value);
+             emit_group_load (reg, args[i].value, type,
+                              int_size_in_bytes (type));
+           }
 
          /* If simple case, just do move.  If normal partial, store_one_arg
             has already loaded the register for us.  In all other cases,
             load the register(s) from memory.  */
 
          else if (nregs == -1)
-           emit_move_insn (reg, args[i].value);
+           {
+             emit_move_insn (reg, args[i].value);
+#ifdef BLOCK_REG_PADDING
+             /* Handle case where we have a value that needs shifting
+                up to the msb.  eg. a QImode value and we're padding
+                upward on a BYTES_BIG_ENDIAN machine.  */
+             if (size < UNITS_PER_WORD
+                 && (args[i].locate.where_pad
+                     == (BYTES_BIG_ENDIAN ? upward : downward)))
+               {
+                 rtx x;
+                 int shift = (UNITS_PER_WORD - size) * BITS_PER_UNIT;
+
+                 /* Assigning REG here rather than a temp makes CALL_FUSAGE
+                    report the whole reg as used.  Strictly speaking, the
+                    call only uses SIZE bytes at the msb end, but it doesn't
+                    seem worth generating rtl to say that.  */
+                 reg = gen_rtx_REG (word_mode, REGNO (reg));
+                 x = expand_binop (word_mode, ashl_optab, reg,
+                                   GEN_INT (shift), reg, 1, OPTAB_WIDEN);
+                 if (x != reg)
+                   emit_move_insn (reg, x);
+               }
+#endif
+           }
 
          /* If we have pre-computed the values to put in the registers in
             the case of non-aligned structures, copy them in now.  */
@@ -1766,9 +1672,33 @@ load_register_parameters (args, num_actuals, call_fusage, flags,
                              args[i].aligned_regs[j]);
 
          else if (partial == 0 || args[i].pass_on_stack)
-           move_block_to_reg (REGNO (reg),
-                              validize_mem (args[i].value), nregs,
-                              args[i].mode);
+           {
+             rtx mem = validize_mem (args[i].value);
+
+             /* Handle a BLKmode that needs shifting.  */
+             if (nregs == 1 && size < UNITS_PER_WORD
+#ifdef BLOCK_REG_PADDING
+                 && args[i].locate.where_pad == downward
+#else
+                 && BYTES_BIG_ENDIAN
+#endif
+                )
+               {
+                 rtx tem = operand_subword_force (mem, 0, args[i].mode);
+                 rtx ri = gen_rtx_REG (word_mode, REGNO (reg));
+                 rtx x = gen_reg_rtx (word_mode);
+                 int shift = (UNITS_PER_WORD - size) * BITS_PER_UNIT;
+                 optab dir = BYTES_BIG_ENDIAN ? lshr_optab : ashl_optab;
+
+                 emit_move_insn (x, tem);
+                 x = expand_binop (word_mode, dir, x, GEN_INT (shift),
+                                   ri, 1, OPTAB_WIDEN);
+                 if (x != ri)
+                   emit_move_insn (ri, x);
+               }
+             else
+               move_block_to_reg (REGNO (reg), mem, nregs, args[i].mode);
+           }
 
          /* When a parameter is a block, and perhaps in other cases, it is
             possible that it did a load from an argument slot that was
@@ -1789,128 +1719,6 @@ load_register_parameters (args, num_actuals, call_fusage, flags,
     }
 }
 
-/* Try to integrate function.  See expand_inline_function for documentation
-   about the parameters.  */
-
-static rtx
-try_to_integrate (fndecl, actparms, target, ignore, type, structure_value_addr)
-     tree fndecl;
-     tree actparms;
-     rtx target;
-     int ignore;
-     tree type;
-     rtx structure_value_addr;
-{
-  rtx temp;
-  rtx before_call;
-  int i;
-  rtx old_stack_level = 0;
-  int reg_parm_stack_space = 0;
-
-#ifdef REG_PARM_STACK_SPACE
-#ifdef MAYBE_REG_PARM_STACK_SPACE
-  reg_parm_stack_space = MAYBE_REG_PARM_STACK_SPACE;
-#else
-  reg_parm_stack_space = REG_PARM_STACK_SPACE (fndecl);
-#endif
-#endif
-
-  before_call = get_last_insn ();
-
-  timevar_push (TV_INTEGRATION);
-
-  temp = expand_inline_function (fndecl, actparms, target,
-                                ignore, type,
-                                structure_value_addr);
-
-  timevar_pop (TV_INTEGRATION);
-
-  /* If inlining succeeded, return.  */
-  if (temp != (rtx) (size_t) - 1)
-    {
-      if (ACCUMULATE_OUTGOING_ARGS)
-       {
-         /* If the outgoing argument list must be preserved, push
-            the stack before executing the inlined function if it
-            makes any calls.  */
-
-         i = reg_parm_stack_space;
-         if (i > highest_outgoing_arg_in_use)
-           i = highest_outgoing_arg_in_use;
-         while (--i >= 0 && stack_usage_map[i] == 0)
-           ;
-
-         if (stack_arg_under_construction || i >= 0)
-           {
-             rtx first_insn
-               = before_call ? NEXT_INSN (before_call) : get_insns ();
-             rtx insn = NULL_RTX, seq;
-
-             /* Look for a call in the inline function code.
-                If DECL_SAVED_INSNS (fndecl)->outgoing_args_size is
-                nonzero then there is a call and it is not necessary
-                to scan the insns.  */
-
-             if (DECL_SAVED_INSNS (fndecl)->outgoing_args_size == 0)
-               for (insn = first_insn; insn; insn = NEXT_INSN (insn))
-                 if (GET_CODE (insn) == CALL_INSN)
-                   break;
-
-             if (insn)
-               {
-                 /* Reserve enough stack space so that the largest
-                    argument list of any function call in the inline
-                    function does not overlap the argument list being
-                    evaluated.  This is usually an overestimate because
-                    allocate_dynamic_stack_space reserves space for an
-                    outgoing argument list in addition to the requested
-                    space, but there is no way to ask for stack space such
-                    that an argument list of a certain length can be
-                    safely constructed.
-
-                    Add the stack space reserved for register arguments, if
-                    any, in the inline function.  What is really needed is the
-                    largest value of reg_parm_stack_space in the inline
-                    function, but that is not available.  Using the current
-                    value of reg_parm_stack_space is wrong, but gives
-                    correct results on all supported machines.  */
-
-                 int adjust = (DECL_SAVED_INSNS (fndecl)->outgoing_args_size
-                               + reg_parm_stack_space);
-
-                 start_sequence ();
-                 emit_stack_save (SAVE_BLOCK, &old_stack_level, NULL_RTX);
-                 allocate_dynamic_stack_space (GEN_INT (adjust),
-                                               NULL_RTX, BITS_PER_UNIT);
-                 seq = get_insns ();
-                 end_sequence ();
-                 emit_insn_before (seq, first_insn);
-                 emit_stack_restore (SAVE_BLOCK, old_stack_level, NULL_RTX);
-               }
-           }
-       }
-
-      /* If the result is equivalent to TARGET, return TARGET to simplify
-         checks in store_expr.  They can be equivalent but not equal in the
-         case of a function that returns BLKmode.  */
-      if (temp != target && rtx_equal_p (temp, target))
-       return target;
-      return temp;
-    }
-
-  /* If inlining failed, mark FNDECL as needing to be compiled
-     separately after all.  If function was declared inline,
-     give a warning.  */
-  if (DECL_INLINE (fndecl) && warn_inline && !flag_no_inline
-      && optimize > 0 && !TREE_ADDRESSABLE (fndecl))
-    {
-      warning_with_decl (fndecl, "inlining failed in call to `%s'");
-      warning ("called from here");
-    }
-  (*lang_hooks.mark_addressable) (fndecl);
-  return (rtx) (size_t) - 1;
-}
-
 /* We need to pop PENDING_STACK_ADJUST bytes.  But, if the arguments
    wouldn't fill up an even multiple of PREFERRED_UNIT_STACK_BOUNDARY
    bytes, then we would need to push some additional bytes to pad the
@@ -1921,12 +1729,9 @@ try_to_integrate (fndecl, actparms, target, ignore, type, structure_value_addr)
    be popped after the call.  Returns the adjustment.  */
 
 static int
-combine_pending_stack_adjustment_and_call (unadjusted_args_size,
-                                          args_size,
-                                          preferred_unit_stack_boundary)
-     int unadjusted_args_size;
-     struct args_size *args_size;
-     int preferred_unit_stack_boundary;
+combine_pending_stack_adjustment_and_call (int unadjusted_args_size,
+                                          struct args_size *args_size,
+                                          int preferred_unit_stack_boundary)
 {
   /* The number of bytes to pop so that the stack will be
      under-aligned by UNADJUSTED_ARGS_SIZE bytes.  */
@@ -1977,8 +1782,7 @@ combine_pending_stack_adjustment_and_call (unadjusted_args_size,
    zero otherwise.  */
 
 static int
-check_sibcall_argument_overlap_1 (x)
-     rtx x;
+check_sibcall_argument_overlap_1 (rtx x)
 {
   RTX_CODE code;
   int i, j;
@@ -2041,10 +1845,7 @@ check_sibcall_argument_overlap_1 (x)
    slots, zero otherwise.  */
 
 static int
-check_sibcall_argument_overlap (insn, arg, mark_stored_args_map)
-     rtx insn;
-     struct arg_data *arg;
-     int mark_stored_args_map;
+check_sibcall_argument_overlap (rtx insn, struct arg_data *arg, int mark_stored_args_map)
 {
   int low, high;
 
@@ -2061,20 +1862,19 @@ check_sibcall_argument_overlap (insn, arg, mark_stored_args_map)
   if (mark_stored_args_map)
     {
 #ifdef ARGS_GROW_DOWNWARD
-      low = -arg->slot_offset.constant - arg->size.constant;
+      low = -arg->locate.slot_offset.constant - arg->locate.size.constant;
 #else
-      low = arg->slot_offset.constant;
+      low = arg->locate.slot_offset.constant;
 #endif
 
-      for (high = low + arg->size.constant; low < high; low++)
+      for (high = low + arg->locate.size.constant; low < high; low++)
        SET_BIT (stored_args_map, low);
     }
   return insn != NULL_RTX;
 }
 
 static tree
-fix_unsafe_tree (t)
-     tree t;
+fix_unsafe_tree (tree t)
 {
   switch (unsafe_for_reeval (t))
     {
@@ -2101,6 +1901,97 @@ fix_unsafe_tree (t)
   return t;
 }
 
+
+/* If function value *VALUE was returned at the most significant end of a
+   register, shift it towards the least significant end and convert it to
+   TYPE's mode.  Return true and update *VALUE if some action was needed.
+
+   TYPE is the type of the function's return value, which is known not
+   to have mode BLKmode.  */
+
+static bool
+shift_returned_value (tree type, rtx *value)
+{
+  if (targetm.calls.return_in_msb (type))
+    {
+      HOST_WIDE_INT shift;
+
+      shift = (GET_MODE_BITSIZE (GET_MODE (*value))
+              - BITS_PER_UNIT * int_size_in_bytes (type));
+      if (shift > 0)
+       {
+         *value = expand_binop (GET_MODE (*value), lshr_optab, *value,
+                                GEN_INT (shift), 0, 1, OPTAB_WIDEN);
+         *value = convert_to_mode (TYPE_MODE (type), *value, 0);
+         return true;
+       }
+    }
+  return false;
+}
+
+/* Remove all REG_EQUIV notes found in the insn chain.  */
+
+static void
+purge_reg_equiv_notes (void)
+{
+  rtx insn;
+
+  for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
+    {
+      while (1)
+       {
+         rtx note = find_reg_note (insn, REG_EQUIV, 0);
+         if (note)
+           {
+             /* Remove the note and keep looking at the notes for
+                this insn.  */
+             remove_note (insn, note);
+             continue;
+           }
+         break;
+       }
+    }
+}
+
+/* Clear RTX_UNCHANGING_P flag of incoming argument MEMs.  */
+
+static void
+purge_mem_unchanging_flag (rtx x)
+{
+  RTX_CODE code;
+  int i, j;
+  const char *fmt;
+
+  if (x == NULL_RTX)
+    return;
+
+  code = GET_CODE (x);
+
+  if (code == MEM)
+    {
+      if (RTX_UNCHANGING_P (x)
+         && (XEXP (x, 0) == current_function_internal_arg_pointer
+             || (GET_CODE (XEXP (x, 0)) == PLUS
+                 && XEXP (XEXP (x, 0), 0) ==
+                    current_function_internal_arg_pointer
+                 && GET_CODE (XEXP (XEXP (x, 0), 1)) == CONST_INT)))
+       RTX_UNCHANGING_P (x) = 0;
+      return;
+    }
+
+  /* Scan all subexpressions.  */
+  fmt = GET_RTX_FORMAT (code);
+  for (i = 0; i < GET_RTX_LENGTH (code); i++, fmt++)
+    {
+      if (*fmt == 'e')
+       purge_mem_unchanging_flag (XEXP (x, i));
+      else if (*fmt == 'E')
+       for (j = 0; j < XVECLEN (x, i); j++)
+         purge_mem_unchanging_flag (XVECEXP (x, i, j));
+    }
+}
+
+
 /* Generate all the code for a function call
    and return an rtx for its value.
    Store the value in TARGET (specified as an rtx) if convenient.
@@ -2108,10 +1999,7 @@ fix_unsafe_tree (t)
    If IGNORE is nonzero, then we ignore the value of the function call.  */
 
 rtx
-expand_call (exp, target, ignore)
-     tree exp;
-     rtx target;
-     int ignore;
+expand_call (tree exp, rtx target, int ignore)
 {
   /* Nonzero if we are currently expanding a call.  */
   static int currently_expanding_call = 0;
@@ -2120,20 +2008,19 @@ expand_call (exp, target, ignore)
   tree actparms = TREE_OPERAND (exp, 1);
   /* RTX for the function to be called.  */
   rtx funexp;
-  /* Sequence of insns to perform a tail recursive "call".  */
-  rtx tail_recursion_insns = NULL_RTX;
   /* Sequence of insns to perform a normal "call".  */
   rtx normal_call_insns = NULL_RTX;
-  /* Sequence of insns to perform a tail recursive "call".  */
+  /* Sequence of insns to perform a tail "call".  */
   rtx tail_call_insns = NULL_RTX;
   /* Data type of the function.  */
   tree funtype;
+  tree type_arg_types;
   /* Declaration of the function being called,
      or 0 if the function is computed (not known by name).  */
   tree fndecl = 0;
-  rtx insn;
-  int try_tail_call = 1;
-  int try_tail_recursion = 1;
+  /* The type of the function being called.  */
+  tree fntype;
+  bool try_tail_call = CALL_EXPR_TAILCALL (exp);
   int pass;
 
   /* Register in which non-BLKmode value will be returned,
@@ -2153,6 +2040,7 @@ expand_call (exp, target, ignore)
   /* Nonzero if called function returns an aggregate in memory PCC style,
      by returning the address of where to find it.  */
   int pcc_struct_value = 0;
+  rtx struct_value = 0;
 
   /* Number of actual parameters in this call, including struct value addr.  */
   int num_actuals;
@@ -2193,8 +2081,6 @@ expand_call (exp, target, ignore)
 
   /* Mask of ECF_ flags.  */
   int flags = 0;
-  /* Nonzero if this is a call to an inline function.  */
-  int is_integrable = 0;
 #ifdef REG_PARM_STACK_SPACE
   /* Define the boundary of the register parm stack space that needs to be
      saved, if any.  */
@@ -2204,82 +2090,94 @@ expand_call (exp, target, ignore)
 
   int initial_highest_arg_in_use = highest_outgoing_arg_in_use;
   char *initial_stack_usage_map = stack_usage_map;
-  int old_stack_arg_under_construction = 0;
 
+  int old_stack_allocated;
+
+  /* State variables to track stack modifications.  */
   rtx old_stack_level = 0;
+  int old_stack_arg_under_construction = 0;
   int old_pending_adj = 0;
   int old_inhibit_defer_pop = inhibit_defer_pop;
-  int old_stack_allocated;
+
+  /* Some stack pointer alterations we make are performed via
+     allocate_dynamic_stack_space. This modifies the stack_pointer_delta,
+     which we then also need to save/restore along the way.  */
+  int old_stack_pointer_delta = 0;
+
   rtx call_fusage;
   tree p = TREE_OPERAND (exp, 0);
+  tree addr = TREE_OPERAND (exp, 0);
   int i;
   /* The alignment of the stack, in bits.  */
   HOST_WIDE_INT preferred_stack_boundary;
   /* The alignment of the stack, in bytes.  */
   HOST_WIDE_INT preferred_unit_stack_boundary;
-
+  /* The static chain value to use for this call.  */
+  rtx static_chain_value;
   /* See if this is "nothrow" function call.  */
   if (TREE_NOTHROW (exp))
     flags |= ECF_NOTHROW;
 
-  /* See if we can find a DECL-node for the actual function.
-     As a result, decide whether this is a call to an integrable function.  */
-
+  /* See if we can find a DECL-node for the actual function, and get the
+     function attributes (flags) from the function decl or type node.  */
   fndecl = get_callee_fndecl (exp);
   if (fndecl)
     {
-      if (!flag_no_inline
-         && fndecl != current_function_decl
-         && DECL_INLINE (fndecl)
-         && DECL_SAVED_INSNS (fndecl)
-         && DECL_SAVED_INSNS (fndecl)->inlinable)
-       is_integrable = 1;
-      else if (! TREE_ADDRESSABLE (fndecl))
-       {
-         /* In case this function later becomes inlinable,
-            record that there was already a non-inline call to it.
-
-            Use abstraction instead of setting TREE_ADDRESSABLE
-            directly.  */
-         if (DECL_INLINE (fndecl) && warn_inline && !flag_no_inline
-             && optimize > 0)
-           {
-             warning_with_decl (fndecl, "can't inline call to `%s'");
-             warning ("called from here");
-           }
-         (*lang_hooks.mark_addressable) (fndecl);
-       }
-
+      fntype = TREE_TYPE (fndecl);
       flags |= flags_from_decl_or_type (fndecl);
     }
-
-  /* If we don't have specific function to call, see if we have a
-     attributes set in the type.  */
   else
-    flags |= flags_from_decl_or_type (TREE_TYPE (TREE_TYPE (p)));
+    {
+      fntype = TREE_TYPE (TREE_TYPE (p));
+      flags |= flags_from_decl_or_type (fntype);
+    }
+
+  struct_value = targetm.calls.struct_value_rtx (fntype, 0);
+
+  /* Warn if this value is an aggregate type,
+     regardless of which calling convention we are using for it.  */
+  if (warn_aggregate_return && AGGREGATE_TYPE_P (TREE_TYPE (exp)))
+    warning ("function call has aggregate value");
+
+  /* If the result of a pure or const function call is ignored (or void),
+     and none of its arguments are volatile, we can avoid expanding the
+     call and just evaluate the arguments for side-effects.  */
+  if ((flags & (ECF_CONST | ECF_PURE))
+      && (ignore || target == const0_rtx
+         || TYPE_MODE (TREE_TYPE (exp)) == VOIDmode))
+    {
+      bool volatilep = false;
+      tree arg;
+
+      for (arg = actparms; arg; arg = TREE_CHAIN (arg))
+       if (TREE_THIS_VOLATILE (TREE_VALUE (arg)))
+         {
+           volatilep = true;
+           break;
+         }
+
+      if (! volatilep)
+       {
+         for (arg = actparms; arg; arg = TREE_CHAIN (arg))
+           expand_expr (TREE_VALUE (arg), const0_rtx,
+                        VOIDmode, EXPAND_NORMAL);
+         return const0_rtx;
+       }
+    }
 
 #ifdef REG_PARM_STACK_SPACE
-#ifdef MAYBE_REG_PARM_STACK_SPACE
-  reg_parm_stack_space = MAYBE_REG_PARM_STACK_SPACE;
-#else
   reg_parm_stack_space = REG_PARM_STACK_SPACE (fndecl);
 #endif
-#endif
 
 #ifndef OUTGOING_REG_PARM_STACK_SPACE
   if (reg_parm_stack_space > 0 && PUSH_ARGS)
     must_preallocate = 1;
 #endif
 
-  /* Warn if this value is an aggregate type,
-     regardless of which calling convention we are using for it.  */
-  if (warn_aggregate_return && AGGREGATE_TYPE_P (TREE_TYPE (exp)))
-    warning ("function call has aggregate value");
-
   /* Set up a place to return a structure.  */
 
   /* Cater to broken compilers.  */
-  if (aggregate_value_p (exp))
+  if (aggregate_value_p (exp, fndecl))
     {
       /* This call returns a big structure.  */
       flags &= ~(ECF_CONST | ECF_PURE | ECF_LIBCALL_BLOCK);
@@ -2287,15 +2185,6 @@ expand_call (exp, target, ignore)
 #ifdef PCC_STATIC_STRUCT_RETURN
       {
        pcc_struct_value = 1;
-       /* Easier than making that case work right.  */
-       if (is_integrable)
-         {
-           /* In case this is a static function, note that it has been
-              used.  */
-           if (! TREE_ADDRESSABLE (fndecl))
-             (*lang_hooks.mark_addressable) (fndecl);
-           is_integrable = 0;
-         }
       }
 #else /* not PCC_STATIC_STRUCT_RETURN */
       {
@@ -2328,36 +2217,37 @@ expand_call (exp, target, ignore)
 #endif /* not PCC_STATIC_STRUCT_RETURN */
     }
 
-  /* If called function is inline, try to integrate it.  */
-
-  if (is_integrable)
-    {
-      rtx temp = try_to_integrate (fndecl, actparms, target,
-                                  ignore, TREE_TYPE (exp),
-                                  structure_value_addr);
-      if (temp != (rtx) (size_t) - 1)
-       return temp;
-    }
-
   /* Figure out the amount to which the stack should be aligned.  */
   preferred_stack_boundary = PREFERRED_STACK_BOUNDARY;
+  if (fndecl)
+    {
+      struct cgraph_rtl_info *i = cgraph_rtl_info (fndecl);
+      if (i && i->preferred_incoming_stack_boundary)
+       preferred_stack_boundary = i->preferred_incoming_stack_boundary;
+    }
 
   /* Operand 0 is a pointer-to-function; get the type of the function.  */
-  funtype = TREE_TYPE (TREE_OPERAND (exp, 0));
+  funtype = TREE_TYPE (addr);
   if (! POINTER_TYPE_P (funtype))
     abort ();
   funtype = TREE_TYPE (funtype);
 
-  /* See if this is a call to a function that can return more than once
-     or a call to longjmp or malloc.  */
-  flags |= special_function_p (fndecl, flags);
+  /* Munge the tree to split complex arguments into their imaginary
+     and real parts.  */
+  if (targetm.calls.split_complex_arg)
+    {
+      type_arg_types = split_complex_types (TYPE_ARG_TYPES (funtype));
+      actparms = split_complex_values (actparms);
+    }
+  else
+    type_arg_types = TYPE_ARG_TYPES (funtype);
 
   if (flags & ECF_MAY_BE_ALLOCA)
     current_function_calls_alloca = 1;
 
   /* If struct_value_rtx is 0, it means pass the address
      as if it were an extra parameter.  */
-  if (structure_value_addr && struct_value_rtx == 0)
+  if (structure_value_addr && struct_value == 0)
     {
       /* If structure_value_addr is a REG other than
         virtual_outgoing_args_rtx, we can use always use it.  If it
@@ -2368,7 +2258,8 @@ expand_call (exp, target, ignore)
                  || (ACCUMULATE_OUTGOING_ARGS
                      && stack_arg_under_construction
                      && structure_value_addr == virtual_outgoing_args_rtx)
-                 ? copy_addr_to_reg (structure_value_addr)
+                 ? copy_addr_to_reg (convert_memory_address 
+                                     (Pmode, structure_value_addr))
                  : structure_value_addr);
 
       actparms
@@ -2385,27 +2276,29 @@ expand_call (exp, target, ignore)
 
   /* Compute number of named args.
      Normally, don't include the last named arg if anonymous args follow.
-     We do include the last named arg if STRICT_ARGUMENT_NAMING is nonzero.
+     We do include the last named arg if
+     targetm.calls.strict_argument_naming() returns nonzero.
      (If no anonymous args follow, the result of list_length is actually
      one too large.  This is harmless.)
 
-     If PRETEND_OUTGOING_VARARGS_NAMED is set and STRICT_ARGUMENT_NAMING is
-     zero, this machine will be able to place unnamed args that were
-     passed in registers into the stack.  So treat all args as named.
-     This allows the insns emitting for a specific argument list to be
+     If targetm.calls.pretend_outgoing_varargs_named() returns
+     nonzero, and targetm.calls.strict_argument_naming() returns zero,
+     this machine will be able to place unnamed args that were passed
+     in registers into the stack.  So treat all args as named.  This
+     allows the insns emitting for a specific argument list to be
      independent of the function declaration.
 
-     If PRETEND_OUTGOING_VARARGS_NAMED is not set, we do not have any
-     reliable way to pass unnamed args in registers, so we must force
-     them into memory.  */
+     If targetm.calls.pretend_outgoing_varargs_named() returns zero,
+     we do not have any reliable way to pass unnamed args in
+     registers, so we must force them into memory.  */
 
-  if ((STRICT_ARGUMENT_NAMING
-       || ! PRETEND_OUTGOING_VARARGS_NAMED)
-      && TYPE_ARG_TYPES (funtype) != 0)
+  if ((targetm.calls.strict_argument_naming (&args_so_far)
+       || ! targetm.calls.pretend_outgoing_varargs_named (&args_so_far))
+      && type_arg_types != 0)
     n_named_args
-      = (list_length (TYPE_ARG_TYPES (funtype))
+      = (list_length (type_arg_types)
         /* Don't include the last named arg.  */
-        - (STRICT_ARGUMENT_NAMING ? 0 : 1)
+        - (targetm.calls.strict_argument_naming (&args_so_far) ? 0 : 1)
         /* Count the struct value address, if it is passed as a parm.  */
         + structure_value_addr_parm);
   else
@@ -2415,14 +2308,14 @@ expand_call (exp, target, ignore)
   /* Start updating where the next arg would go.
 
      On some machines (such as the PA) indirect calls have a different
-     calling convention than normal calls.  The last argument in
+     calling convention than normal calls.  The fourth argument in
      INIT_CUMULATIVE_ARGS tells the backend if this is an indirect call
      or not.  */
-  INIT_CUMULATIVE_ARGS (args_so_far, funtype, NULL_RTX, fndecl);
+  INIT_CUMULATIVE_ARGS (args_so_far, funtype, NULL_RTX, fndecl, n_named_args);
 
   /* Make a vector to hold all the information about each arg.  */
-  args = (struct arg_data *) alloca (num_actuals * sizeof (struct arg_data));
-  memset ((char *) args, 0, num_actuals * sizeof (struct arg_data));
+  args = alloca (num_actuals * sizeof (struct arg_data));
+  memset (args, 0, num_actuals * sizeof (struct arg_data));
 
   /* Build up entries in the ARGS array, compute the size of the
      arguments into ARGS_SIZE, etc.  */
@@ -2430,7 +2323,8 @@ expand_call (exp, target, ignore)
                                   n_named_args, actparms, fndecl,
                                   &args_so_far, reg_parm_stack_space,
                                   &old_stack_level, &old_pending_adj,
-                                  &must_preallocate, &flags);
+                                  &must_preallocate, &flags,
+                                  &try_tail_call, CALL_FROM_THUNK_P (exp));
 
   if (args_size.var)
     {
@@ -2469,20 +2363,19 @@ expand_call (exp, target, ignore)
      finished with regular parsing.  Which means that some of the
      machinery we use to generate tail-calls is no longer in place.
      This is most often true of sjlj-exceptions, which we couldn't
-     tail-call to anyway.  */
+     tail-call to anyway.
 
+     If current_nesting_level () == 0, we're being called after
+     the function body has been expanded.  This can happen when
+     setting up trampolines in expand_function_end.  */
   if (currently_expanding_call++ != 0
       || !flag_optimize_sibling_calls
       || !rtx_equal_function_value_matters
-      || any_pending_cleanups (1)
-      || args_size.var)
-    try_tail_call = try_tail_recursion = 0;
-
-  /* Tail recursion fails, when we are not dealing with recursive calls.  */
-  if (!try_tail_recursion
-      || TREE_CODE (TREE_OPERAND (exp, 0)) != ADDR_EXPR
-      || TREE_OPERAND (TREE_OPERAND (exp, 0), 0) != current_function_decl)
-    try_tail_recursion = 0;
+      || current_nesting_level () == 0
+      || any_pending_cleanups ()
+      || args_size.var
+      || lookup_stmt_eh_region (exp) >= 0)
+    try_tail_call = 0;
 
   /*  Rest of purposes for tail call optimizations to fail.  */
   if (
@@ -2499,23 +2392,28 @@ expand_call (exp, target, ignore)
       || structure_value_addr != NULL_RTX
       /* Check whether the target is able to optimize the call
         into a sibcall.  */
-      || !(*targetm.function_ok_for_sibcall) (fndecl, exp)
+      || !targetm.function_ok_for_sibcall (fndecl, exp)
       /* Functions that do not return exactly once may not be sibcall
          optimized.  */
       || (flags & (ECF_RETURNS_TWICE | ECF_LONGJMP | ECF_NORETURN))
-      || TYPE_VOLATILE (TREE_TYPE (TREE_TYPE (TREE_OPERAND (exp, 0))))
+      || TYPE_VOLATILE (TREE_TYPE (TREE_TYPE (addr)))
+      /* If the called function is nested in the current one, it might access
+         some of the caller's arguments, but could clobber them beforehand if
+         the argument areas are shared.  */
+      || (fndecl && decl_function_context (fndecl) == current_function_decl)
       /* If this function requires more stack slots than the current
         function, we cannot change it into a sibling call.  */
       || args_size.constant > current_function_args_size
       /* If the callee pops its own arguments, then it must pop exactly
         the same number of arguments as the current function.  */
-      || RETURN_POPS_ARGS (fndecl, funtype, args_size.constant)
-        != RETURN_POPS_ARGS (current_function_decl,
-                             TREE_TYPE (current_function_decl),
-                             current_function_args_size))
+      || (RETURN_POPS_ARGS (fndecl, funtype, args_size.constant)
+         != RETURN_POPS_ARGS (current_function_decl,
+                              TREE_TYPE (current_function_decl),
+                              current_function_args_size))
+      || !lang_hooks.decls.ok_for_sibcall (fndecl))
     try_tail_call = 0;
 
-  if (try_tail_call || try_tail_recursion)
+  if (try_tail_call)
     {
       int end, inc;
       actparms = NULL_TREE;
@@ -2550,76 +2448,16 @@ expand_call (exp, target, ignore)
       for (; i != end; i += inc)
        {
           args[i].tree_value = fix_unsafe_tree (args[i].tree_value);
-         /* We need to build actparms for optimize_tail_recursion.  We can
-            safely trash away TREE_PURPOSE, since it is unused by this
-            function.  */
-         if (try_tail_recursion)
-           actparms = tree_cons (NULL_TREE, args[i].tree_value, actparms);
        }
-      /* Do the same for the function address if it is an expression. */
+      /* Do the same for the function address if it is an expression.  */
       if (!fndecl)
-        TREE_OPERAND (exp, 0) = fix_unsafe_tree (TREE_OPERAND (exp, 0));
+        addr = fix_unsafe_tree (addr);
       /* Expanding one of those dangerous arguments could have added
         cleanups, but otherwise give it a whirl.  */
-      if (any_pending_cleanups (1))
-       try_tail_call = try_tail_recursion = 0;
-    }
-
-  /* Generate a tail recursion sequence when calling ourselves.  */
-
-  if (try_tail_recursion)
-    {
-      /* We want to emit any pending stack adjustments before the tail
-        recursion "call".  That way we know any adjustment after the tail
-        recursion call can be ignored if we indeed use the tail recursion
-        call expansion.  */
-      int save_pending_stack_adjust = pending_stack_adjust;
-      int save_stack_pointer_delta = stack_pointer_delta;
-
-      /* Emit any queued insns now; otherwise they would end up in
-        only one of the alternates.  */
-      emit_queue ();
-
-      /* Use a new sequence to hold any RTL we generate.  We do not even
-        know if we will use this RTL yet.  The final decision can not be
-        made until after RTL generation for the entire function is
-        complete.  */
-      start_sequence ();
-      /* If expanding any of the arguments creates cleanups, we can't
-        do a tailcall.  So, we'll need to pop the pending cleanups
-        list.  If, however, all goes well, and there are no cleanups
-        then the call to expand_start_target_temps will have no
-        effect.  */
-      expand_start_target_temps ();
-      if (optimize_tail_recursion (actparms, get_last_insn ()))
-       {
-         if (any_pending_cleanups (1))
-           try_tail_call = try_tail_recursion = 0;
-         else
-           tail_recursion_insns = get_insns ();
-       }
-      expand_end_target_temps ();
-      end_sequence ();
-
-      /* Restore the original pending stack adjustment for the sibling and
-        normal call cases below.  */
-      pending_stack_adjust = save_pending_stack_adjust;
-      stack_pointer_delta = save_stack_pointer_delta;
+      if (any_pending_cleanups ())
+       try_tail_call = 0;
     }
 
-  if (profile_arc_flag && (flags & ECF_FORK_OR_EXEC))
-    {
-      /* A fork duplicates the profile information, and an exec discards
-        it.  We can't rely on fork/exec to be paired.  So write out the
-        profile information we have gathered so far, and clear it.  */
-      /* ??? When Linux's __clone is called with CLONE_VM set, profiling
-        is subject to race conditions, just as with multithreaded
-        programs.  */
-
-      emit_library_call (gen_rtx_SYMBOL_REF (Pmode, "__gcov_flush"),
-                        LCT_ALWAYS_RETURN,
-                        VOIDmode, 0);
-    }
 
   /* Ensure current function's preferred stack boundary is at least
      what we need.  We don't have to increase alignment for recursive
@@ -2627,6 +2465,8 @@ expand_call (exp, target, ignore)
   if (cfun->preferred_stack_boundary < preferred_stack_boundary
       && fndecl != current_function_decl)
     cfun->preferred_stack_boundary = preferred_stack_boundary;
+  if (fndecl == current_function_decl)
+    cfun->recursive_call_emit = true;
 
   preferred_unit_stack_boundary = preferred_stack_boundary / BITS_PER_UNIT;
 
@@ -2640,7 +2480,7 @@ expand_call (exp, target, ignore)
       int sibcall_failure = 0;
       /* We want to emit any pending stack adjustments before the tail
         recursion "call".  That way we know any adjustment after the tail
-        recursion call can be ignored if we indeed use the tail recursion
+        recursion call can be ignored if we indeed use the tail 
         call expansion.  */
       int save_pending_stack_adjust = 0;
       int save_stack_pointer_delta = 0;
@@ -2699,10 +2539,6 @@ expand_call (exp, target, ignore)
       if (pass && (flags & ECF_LIBCALL_BLOCK))
        NO_DEFER_POP;
 
-#ifdef FINAL_REG_PARM_STACK_SPACE
-      reg_parm_stack_space = FINAL_REG_PARM_STACK_SPACE (args_size.constant,
-                                                        args_size.var);
-#endif
       /* Precompute any arguments as needed.  */
       if (pass)
        precompute_arguments (flags, num_actuals, args);
@@ -2748,6 +2584,7 @@ expand_call (exp, target, ignore)
          if (old_stack_level == 0)
            {
              emit_stack_save (SAVE_BLOCK, &old_stack_level, NULL_RTX);
+             old_stack_pointer_delta = stack_pointer_delta;
              old_pending_adj = pending_stack_adjust;
              pending_stack_adjust = 0;
              /* stack_arg_under_construction says whether a stack arg is
@@ -2806,8 +2643,7 @@ expand_call (exp, target, ignore)
                  highest_outgoing_arg_in_use = MAX (initial_highest_arg_in_use,
                                                     needed);
 #endif
-                 stack_usage_map
-                   = (char *) alloca (highest_outgoing_arg_in_use);
+                 stack_usage_map = alloca (highest_outgoing_arg_in_use);
 
                  if (initial_highest_arg_in_use)
                    memcpy (stack_usage_map, initial_stack_usage_map,
@@ -2864,7 +2700,12 @@ expand_call (exp, target, ignore)
                  if (needed == 0)
                    argblock = virtual_outgoing_args_rtx;
                  else
-                   argblock = push_block (GEN_INT (needed), 0, 0);
+                   {
+                     argblock = push_block (GEN_INT (needed), 0, 0);
+#ifdef ARGS_GROW_DOWNWARD
+                     argblock = plus_constant (argblock, needed);
+#endif
+                   }
 
                  /* We only really need to call `copy_to_reg' in the case
                     where push insns are going to be used to pass ARGBLOCK
@@ -2874,51 +2715,55 @@ expand_call (exp, target, ignore)
                     VIRTUAL_OUTGOING_ARGS_RTX changes as well.  But might
                     as well always do it.  */
                  argblock = copy_to_reg (argblock);
+               }
+           }
+       }
 
-                 /* The save/restore code in store_one_arg handles all
-                    cases except one: a constructor call (including a C
-                    function returning a BLKmode struct) to initialize
-                    an argument.  */
-                 if (stack_arg_under_construction)
-                   {
+      if (ACCUMULATE_OUTGOING_ARGS)
+       {
+         /* The save/restore code in store_one_arg handles all
+            cases except one: a constructor call (including a C
+            function returning a BLKmode struct) to initialize
+            an argument.  */
+         if (stack_arg_under_construction)
+           {
 #ifndef OUTGOING_REG_PARM_STACK_SPACE
-                     rtx push_size = GEN_INT (reg_parm_stack_space
-                                              + adjusted_args_size.constant);
+             rtx push_size = GEN_INT (reg_parm_stack_space
+                                      + adjusted_args_size.constant);
 #else
-                     rtx push_size = GEN_INT (adjusted_args_size.constant);
+             rtx push_size = GEN_INT (adjusted_args_size.constant);
 #endif
-                     if (old_stack_level == 0)
-                       {
-                         emit_stack_save (SAVE_BLOCK, &old_stack_level,
-                                          NULL_RTX);
-                         old_pending_adj = pending_stack_adjust;
-                         pending_stack_adjust = 0;
-                         /* stack_arg_under_construction says whether a stack
-                            arg is being constructed at the old stack level.
-                            Pushing the stack gets a clean outgoing argument
-                            block.  */
-                         old_stack_arg_under_construction
-                           = stack_arg_under_construction;
-                         stack_arg_under_construction = 0;
-                         /* Make a new map for the new argument list.  */
-                         stack_usage_map = (char *)
-                           alloca (highest_outgoing_arg_in_use);
-                         memset (stack_usage_map, 0, highest_outgoing_arg_in_use);
-                         highest_outgoing_arg_in_use = 0;
-                       }
-                     allocate_dynamic_stack_space (push_size, NULL_RTX,
-                                                   BITS_PER_UNIT);
-                   }
-                 /* If argument evaluation might modify the stack pointer,
-                    copy the address of the argument list to a register.  */
-                 for (i = 0; i < num_actuals; i++)
-                   if (args[i].pass_on_stack)
-                     {
-                       argblock = copy_addr_to_reg (argblock);
-                       break;
-                     }
+             if (old_stack_level == 0)
+               {
+                 emit_stack_save (SAVE_BLOCK, &old_stack_level,
+                                  NULL_RTX);
+                 old_stack_pointer_delta = stack_pointer_delta;
+                 old_pending_adj = pending_stack_adjust;
+                 pending_stack_adjust = 0;
+                 /* stack_arg_under_construction says whether a stack
+                    arg is being constructed at the old stack level.
+                    Pushing the stack gets a clean outgoing argument
+                    block.  */
+                 old_stack_arg_under_construction
+                   = stack_arg_under_construction;
+                 stack_arg_under_construction = 0;
+                 /* Make a new map for the new argument list.  */
+                 stack_usage_map = alloca (highest_outgoing_arg_in_use);
+                 memset (stack_usage_map, 0, highest_outgoing_arg_in_use);
+                 highest_outgoing_arg_in_use = 0;
                }
+             allocate_dynamic_stack_space (push_size, NULL_RTX,
+                                           BITS_PER_UNIT);
            }
+
+         /* If argument evaluation might modify the stack pointer,
+            copy the address of the argument list to a register.  */
+         for (i = 0; i < num_actuals; i++)
+           if (args[i].pass_on_stack)
+             {
+               argblock = copy_addr_to_reg (argblock);
+               break;
+             }
        }
 
       compute_argument_addresses (args, argblock, num_actuals);
@@ -2949,7 +2794,7 @@ expand_call (exp, target, ignore)
         be deferred during the evaluation of the arguments.  */
       NO_DEFER_POP;
 
-      funexp = rtx_for_function_call (fndecl, exp);
+      funexp = rtx_for_function_call (fndecl, addr);
 
       /* Figure out the register where the value, if any, will come back.  */
       valreg = 0;
@@ -2967,6 +2812,12 @@ expand_call (exp, target, ignore)
         once we have started filling any specific hard regs.  */
       precompute_register_parameters (num_actuals, args, &reg_parm_seen);
 
+      if (TREE_OPERAND (exp, 2))
+       static_chain_value = expand_expr (TREE_OPERAND (exp, 2),
+                                         NULL_RTX, VOIDmode, 0);
+      else
+       static_chain_value = 0;
+
 #ifdef REG_PARM_STACK_SPACE
       /* Save the fixed argument area if it's part of the caller's frame and
         is clobbered by argument setup for this call.  */
@@ -2993,6 +2844,14 @@ expand_call (exp, target, ignore)
                    && check_sibcall_argument_overlap (before_arg,
                                                       &args[i], 1)))
              sibcall_failure = 1;
+
+           if (flags & ECF_CONST
+               && args[i].stack
+               && args[i].value == args[i].stack)
+             call_fusage = gen_rtx_EXPR_LIST (VOIDmode,
+                                              gen_rtx_USE (VOIDmode,
+                                                           args[i].value),
+                                              call_fusage);
          }
 
       /* If we have a parm that is passed in registers but not in memory
@@ -3038,17 +2897,19 @@ expand_call (exp, target, ignore)
         structure value.  */
       if (pass != 0 && structure_value_addr && ! structure_value_addr_parm)
        {
-         emit_move_insn (struct_value_rtx,
+         structure_value_addr 
+           = convert_memory_address (Pmode, structure_value_addr);
+         emit_move_insn (struct_value,
                          force_reg (Pmode,
                                     force_operand (structure_value_addr,
                                                    NULL_RTX)));
 
-         if (GET_CODE (struct_value_rtx) == REG)
-           use_reg (&call_fusage, struct_value_rtx);
+         if (GET_CODE (struct_value) == REG)
+           use_reg (&call_fusage, struct_value);
        }
 
-      funexp = prepare_call_address (funexp, fndecl, &call_fusage,
-                                    reg_parm_seen, pass == 0);
+      funexp = prepare_call_address (funexp, static_chain_value,
+                                    &call_fusage, reg_parm_seen, pass == 0);
 
       load_register_parameters (args, num_actuals, &call_fusage, flags,
                                pass == 0, &sibcall_failure);
@@ -3079,16 +2940,11 @@ expand_call (exp, target, ignore)
        abort ();
 
       /* Generate the actual call instruction.  */
-      emit_call_1 (funexp, fndecl, funtype, unadjusted_args_size,
+      emit_call_1 (funexp, exp, fndecl, funtype, unadjusted_args_size,
                   adjusted_args_size.constant, struct_value_size,
                   next_arg_reg, valreg, old_inhibit_defer_pop, call_fusage,
                   flags, & args_so_far);
 
-      /* Verify that we've deallocated all the stack we used.  */
-      if (pass
-         && old_stack_allocated != stack_pointer_delta - pending_stack_adjust)
-       abort ();
-
       /* If call is cse'able, make appropriate pair of reg-notes around it.
         Test valreg so we don't crash; may safely ignore `const'
         if return type is void.  Disable for PARALLEL return values, because
@@ -3096,10 +2952,19 @@ expand_call (exp, target, ignore)
       if (pass && (flags & ECF_LIBCALL_BLOCK))
        {
          rtx insns;
+         rtx insn;
+         bool failed = valreg == 0 || GET_CODE (valreg) == PARALLEL;
 
-         if (valreg == 0 || GET_CODE (valreg) == PARALLEL)
+          insns = get_insns ();
+
+         /* Expansion of block moves possibly introduced a loop that may
+            not appear inside libcall block.  */
+         for (insn = insns; insn; insn = NEXT_INSN (insn))
+           if (GET_CODE (insn) == JUMP_INSN)
+             failed = true;
+
+         if (failed)
            {
-             insns = get_insns ();
              end_sequence ();
              emit_insn (insns);
            }
@@ -3113,23 +2978,33 @@ expand_call (exp, target, ignore)
                mark_reg_pointer (temp,
                                  TYPE_ALIGN (TREE_TYPE (TREE_TYPE (exp))));
 
-             /* Construct an "equal form" for the value which mentions all the
-                arguments in order as well as the function name.  */
-             for (i = 0; i < num_actuals; i++)
-               note = gen_rtx_EXPR_LIST (VOIDmode,
-                                         args[i].initial_value, note);
-             note = gen_rtx_EXPR_LIST (VOIDmode, funexp, note);
-
-             insns = get_insns ();
              end_sequence ();
-
-             if (flags & ECF_PURE)
-               note = gen_rtx_EXPR_LIST (VOIDmode,
+             if (flag_unsafe_math_optimizations
+                 && fndecl
+                 && DECL_BUILT_IN (fndecl)
+                 && (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_SQRT
+                     || DECL_FUNCTION_CODE (fndecl) == BUILT_IN_SQRTF
+                     || DECL_FUNCTION_CODE (fndecl) == BUILT_IN_SQRTL))
+               note = gen_rtx_fmt_e (SQRT, 
+                                     GET_MODE (temp), 
+                                     args[0].initial_value);
+             else
+               {
+                 /* Construct an "equal form" for the value which
+                    mentions all the arguments in order as well as
+                    the function name.  */
+                 for (i = 0; i < num_actuals; i++)
+                   note = gen_rtx_EXPR_LIST (VOIDmode,
+                                             args[i].initial_value, note);
+                 note = gen_rtx_EXPR_LIST (VOIDmode, funexp, note);
+                 
+                 if (flags & ECF_PURE)
+                   note = gen_rtx_EXPR_LIST (VOIDmode,
                        gen_rtx_USE (VOIDmode,
                                     gen_rtx_MEM (BLKmode,
                                                  gen_rtx_SCRATCH (VOIDmode))),
                        note);
-
+               }
              emit_libcall_block (insns, temp, valreg, note);
 
              valreg = temp;
@@ -3179,24 +3054,25 @@ expand_call (exp, target, ignore)
            }
 
          emit_barrier_after (last);
+
+         /* Stack adjustments after a noreturn call are dead code.
+            However when NO_DEFER_POP is in effect, we must preserve
+            stack_pointer_delta.  */
+         if (inhibit_defer_pop == 0)
+           {
+             stack_pointer_delta = old_stack_allocated;
+             pending_stack_adjust = 0;
+           }
        }
 
       if (flags & ECF_LONGJMP)
        current_function_calls_longjmp = 1;
 
-      /* If this function is returning into a memory location marked as
-        readonly, it means it is initializing that location.  But we normally
-        treat functions as not clobbering such locations, so we need to
-        specify that this one does.  */
-      if (target != 0 && GET_CODE (target) == MEM
-         && structure_value_addr != 0 && RTX_UNCHANGING_P (target))
-       emit_insn (gen_rtx_CLOBBER (VOIDmode, target));
-
       /* If value type not void, return an rtx for the value.  */
 
       /* If there are cleanups to be called, don't use a hard reg as target.
         We need to double check this and see if it matters anymore.  */
-      if (any_pending_cleanups (1))
+      if (any_pending_cleanups ())
        {
          if (target && REG_P (target)
              && REGNO (target) < FIRST_PSEUDO_REGISTER)
@@ -3243,7 +3119,7 @@ expand_call (exp, target, ignore)
            }
 
          if (! rtx_equal_p (target, valreg))
-           emit_group_store (target, valreg,
+           emit_group_store (target, valreg, TREE_TYPE (exp),
                              int_size_in_bytes (TREE_TYPE (exp)));
 
          /* We can not support sibling calls for this case.  */
@@ -3260,6 +3136,12 @@ expand_call (exp, target, ignore)
             If they refer to the same register, this move will be a no-op,
             except when function inlining is being done.  */
          emit_move_insn (target, valreg);
+
+         /* If we are setting a MEM, this code must be executed.  Since it is
+            emitted after the call insn, sibcall optimization cannot be
+            performed in that case.  */
+         if (GET_CODE (target) == MEM)
+           sibcall_failure = 1;
        }
       else if (TYPE_MODE (TREE_TYPE (exp)) == BLKmode)
        {
@@ -3269,9 +3151,15 @@ expand_call (exp, target, ignore)
          sibcall_failure = 1;
        }
       else
-       target = copy_to_reg (valreg);
+       {
+         if (shift_returned_value (TREE_TYPE (exp), &valreg))
+           sibcall_failure = 1;
+
+         target = copy_to_reg (valreg);
+       }
 
-#ifdef PROMOTE_FUNCTION_RETURN
+      if (targetm.calls.promote_function_return(funtype))
+       {
       /* If we promoted this return value, make the proper SUBREG.  TARGET
         might be const0_rtx here, so be careful.  */
       if (GET_CODE (target) == REG
@@ -3279,7 +3167,7 @@ expand_call (exp, target, ignore)
          && GET_MODE (target) != TYPE_MODE (TREE_TYPE (exp)))
        {
          tree type = TREE_TYPE (exp);
-         int unsignedp = TREE_UNSIGNED (type);
+         int unsignedp = TYPE_UNSIGNED (type);
          int offset = 0;
 
          /* If we don't promote as expected, something is wrong.  */
@@ -3302,7 +3190,7 @@ expand_call (exp, target, ignore)
          SUBREG_PROMOTED_VAR_P (target) = 1;
          SUBREG_PROMOTED_UNSIGNED_SET (target, unsignedp);
        }
-#endif
+       }
 
       /* If size of args is variable or this was a constructor call for a stack
         argument, restore saved stack-pointer value.  */
@@ -3310,6 +3198,7 @@ expand_call (exp, target, ignore)
       if (old_stack_level && ! (flags & ECF_SP_DEPRESSED))
        {
          emit_stack_restore (SAVE_BLOCK, old_stack_level, NULL_RTX);
+         stack_pointer_delta = old_stack_pointer_delta;
          pending_stack_adjust = old_pending_adj;
          stack_arg_under_construction = old_stack_arg_under_construction;
          highest_outgoing_arg_in_use = initial_highest_arg_in_use;
@@ -3338,7 +3227,7 @@ expand_call (exp, target, ignore)
                  emit_move_insn (stack_area, args[i].save_area);
                else
                  emit_block_move (stack_area, args[i].save_area,
-                                  GEN_INT (args[i].size.constant),
+                                  GEN_INT (args[i].locate.size.constant),
                                   BLOCK_OP_CALL_PARM);
              }
 
@@ -3350,8 +3239,8 @@ expand_call (exp, target, ignore)
         Check for the handler slots since we might not have a save area
         for non-local gotos.  */
 
-      if ((flags & ECF_MAY_BE_ALLOCA) && nonlocal_goto_handler_slots != 0)
-       emit_stack_save (SAVE_NONLOCAL, &nonlocal_goto_stack_level, NULL_RTX);
+      if ((flags & ECF_MAY_BE_ALLOCA) && cfun->nonlocal_goto_save_area != 0)
+       update_nonlocal_goto_save_area ();
 
       /* Free up storage we no longer need.  */
       for (i = 0; i < num_actuals; ++i)
@@ -3366,6 +3255,22 @@ expand_call (exp, target, ignore)
          expand_end_target_temps ();
        }
 
+      /* If this function is returning into a memory location marked as
+        readonly, it means it is initializing that location. We normally treat
+        functions as not clobbering such locations, so we need to specify that
+        this one does. We do this by adding the appropriate CLOBBER to the
+        CALL_INSN function usage list.  This cannot be done by emitting a
+        standalone CLOBBER after the call because the latter would be ignored
+        by at least the delay slot scheduling pass. We do this now instead of
+        adding to call_fusage before the call to emit_call_1 because TARGET
+        may be modified in the meantime.  */
+      if (structure_value_addr != 0 && target != 0
+         && GET_CODE (target) == MEM && RTX_UNCHANGING_P (target))
+       add_function_usage_to
+         (last_call_insn (),
+          gen_rtx_EXPR_LIST (VOIDmode, gen_rtx_CLOBBER (VOIDmode, target),
+                             NULL_RTX));
+
       insns = get_insns ();
       end_sequence ();
 
@@ -3390,54 +3295,30 @@ expand_call (exp, target, ignore)
          sbitmap_free (stored_args_map);
        }
       else
-       normal_call_insns = insns;
+       {
+         normal_call_insns = insns;
+
+         /* Verify that we've deallocated all the stack we used.  */
+         if (! (flags & (ECF_NORETURN | ECF_LONGJMP))
+             && old_stack_allocated != stack_pointer_delta
+                                       - pending_stack_adjust)
+           abort ();
+       }
 
       /* If something prevents making this a sibling call,
         zero out the sequence.  */
       if (sibcall_failure)
        tail_call_insns = NULL_RTX;
+      else
+       break;
     }
 
-  /* The function optimize_sibling_and_tail_recursive_calls doesn't
-     handle CALL_PLACEHOLDERs inside other CALL_PLACEHOLDERs.  This
-     can happen if the arguments to this function call an inline
-     function who's expansion contains another CALL_PLACEHOLDER.
-
-     If there are any C_Ps in any of these sequences, replace them
-     with their normal call.  */
-
-  for (insn = normal_call_insns; insn; insn = NEXT_INSN (insn))
-    if (GET_CODE (insn) == CALL_INSN
-       && GET_CODE (PATTERN (insn)) == CALL_PLACEHOLDER)
-      replace_call_placeholder (insn, sibcall_use_normal);
-
-  for (insn = tail_call_insns; insn; insn = NEXT_INSN (insn))
-    if (GET_CODE (insn) == CALL_INSN
-       && GET_CODE (PATTERN (insn)) == CALL_PLACEHOLDER)
-      replace_call_placeholder (insn, sibcall_use_normal);
-
-  for (insn = tail_recursion_insns; insn; insn = NEXT_INSN (insn))
-    if (GET_CODE (insn) == CALL_INSN
-       && GET_CODE (PATTERN (insn)) == CALL_PLACEHOLDER)
-      replace_call_placeholder (insn, sibcall_use_normal);
-
-  /* If this was a potential tail recursion site, then emit a
-     CALL_PLACEHOLDER with the normal and the tail recursion streams.
-     One of them will be selected later.  */
-  if (tail_recursion_insns || tail_call_insns)
+  /* If tail call production suceeded, we need to remove REG_EQUIV notes on
+     arguments too, as argument area is now clobbered by the call.  */
+  if (tail_call_insns)
     {
-      /* The tail recursion label must be kept around.  We could expose
-        its use in the CALL_PLACEHOLDER, but that creates unwanted edges
-        and makes determining true tail recursion sites difficult.
-
-        So we set LABEL_PRESERVE_P here, then clear it when we select
-        one of the call sequences after rtl generation is complete.  */
-      if (tail_recursion_insns)
-       LABEL_PRESERVE_P (tail_recursion_label) = 1;
-      emit_call_insn (gen_rtx_CALL_PLACEHOLDER (VOIDmode, normal_call_insns,
-                                               tail_call_insns,
-                                               tail_recursion_insns,
-                                               tail_recursion_label));
+      emit_insn (tail_call_insns);
+      cfun->tail_call_emit = true;
     }
   else
     emit_insn (normal_call_insns);
@@ -3450,27 +3331,163 @@ expand_call (exp, target, ignore)
   if (flags & ECF_SP_DEPRESSED)
     {
       clear_pending_stack_adjust ();
-      emit_insn (gen_rtx (CLOBBER, VOIDmode, stack_pointer_rtx));
+      emit_insn (gen_rtx_CLOBBER (VOIDmode, stack_pointer_rtx));
       emit_move_insn (virtual_stack_dynamic_rtx, stack_pointer_rtx);
       save_stack_pointer ();
     }
 
   return target;
 }
+
+/* A sibling call sequence invalidates any REG_EQUIV notes made for
+   this function's incoming arguments.
+
+   At the start of RTL generation we know the only REG_EQUIV notes
+   in the rtl chain are those for incoming arguments, so we can safely
+   flush any REG_EQUIV note.
+
+   This is (slight) overkill.  We could keep track of the highest
+   argument we clobber and be more selective in removing notes, but it
+   does not seem to be worth the effort.  */
+void
+fixup_tail_calls (void)
+{
+  rtx insn;
+  tree arg;
+
+  purge_reg_equiv_notes ();
+
+  /* A sibling call sequence also may invalidate RTX_UNCHANGING_P
+     flag of some incoming arguments MEM RTLs, because it can write into
+     those slots.  We clear all those bits now.
+
+     This is (slight) overkill, we could keep track of which arguments
+     we actually write into.  */
+  for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
+    {
+      if (INSN_P (insn))
+       purge_mem_unchanging_flag (PATTERN (insn));
+    }
+
+  /* Similarly, invalidate RTX_UNCHANGING_P for any incoming
+     arguments passed in registers.  */
+  for (arg = DECL_ARGUMENTS (current_function_decl);
+       arg;
+       arg = TREE_CHAIN (arg))
+    {
+      if (REG_P (DECL_RTL (arg)))
+       RTX_UNCHANGING_P (DECL_RTL (arg)) = false;
+    }
+}
+
+/* Traverse an argument list in VALUES and expand all complex
+   arguments into their components.  */
+tree
+split_complex_values (tree values)
+{
+  tree p;
+
+  /* Before allocating memory, check for the common case of no complex.  */
+  for (p = values; p; p = TREE_CHAIN (p))
+    {
+      tree type = TREE_TYPE (TREE_VALUE (p));
+      if (type && TREE_CODE (type) == COMPLEX_TYPE
+         && targetm.calls.split_complex_arg (type))
+        goto found;
+    }
+  return values;
+
+ found:
+  values = copy_list (values);
+
+  for (p = values; p; p = TREE_CHAIN (p))
+    {
+      tree complex_value = TREE_VALUE (p);
+      tree complex_type;
+
+      complex_type = TREE_TYPE (complex_value);
+      if (!complex_type)
+       continue;
+
+      if (TREE_CODE (complex_type) == COMPLEX_TYPE
+         && targetm.calls.split_complex_arg (complex_type))
+       {
+         tree subtype;
+         tree real, imag, next;
+
+         subtype = TREE_TYPE (complex_type);
+         complex_value = save_expr (complex_value);
+         real = build1 (REALPART_EXPR, subtype, complex_value);
+         imag = build1 (IMAGPART_EXPR, subtype, complex_value);
+
+         TREE_VALUE (p) = real;
+         next = TREE_CHAIN (p);
+         imag = build_tree_list (NULL_TREE, imag);
+         TREE_CHAIN (p) = imag;
+         TREE_CHAIN (imag) = next;
+
+         /* Skip the newly created node.  */
+         p = TREE_CHAIN (p);
+       }
+    }
+
+  return values;
+}
+
+/* Traverse a list of TYPES and expand all complex types into their
+   components.  */
+tree
+split_complex_types (tree types)
+{
+  tree p;
+
+  /* Before allocating memory, check for the common case of no complex.  */
+  for (p = types; p; p = TREE_CHAIN (p))
+    {
+      tree type = TREE_VALUE (p);
+      if (TREE_CODE (type) == COMPLEX_TYPE
+         && targetm.calls.split_complex_arg (type))
+        goto found;
+    }
+  return types;
+
+ found:
+  types = copy_list (types);
+
+  for (p = types; p; p = TREE_CHAIN (p))
+    {
+      tree complex_type = TREE_VALUE (p);
+
+      if (TREE_CODE (complex_type) == COMPLEX_TYPE
+         && targetm.calls.split_complex_arg (complex_type))
+       {
+         tree next, imag;
+
+         /* Rewrite complex type with component type.  */
+         TREE_VALUE (p) = TREE_TYPE (complex_type);
+         next = TREE_CHAIN (p);
+
+         /* Add another component type for the imaginary part.  */
+         imag = build_tree_list (NULL_TREE, TREE_VALUE (p));
+         TREE_CHAIN (p) = imag;
+         TREE_CHAIN (imag) = next;
+
+         /* Skip the newly created node.  */
+         p = TREE_CHAIN (p);
+       }
+    }
+
+  return types;
+}
 \f
 /* Output a library call to function FUN (a SYMBOL_REF rtx).
    The RETVAL parameter specifies whether return value needs to be saved, other
    parameters are documented in the emit_library_call function below.  */
 
 static rtx
-emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
-     int retval;
-     rtx orgfun;
-     rtx value;
-     enum libcall_type fn_type;
-     enum machine_mode outmode;
-     int nargs;
-     va_list p;
+emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
+                          enum libcall_type fn_type,
+                          enum machine_mode outmode, int nargs, va_list p)
 {
   /* Total size in bytes of all the stack-parms scanned so far.  */
   struct args_size args_size;
@@ -3480,7 +3497,6 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
   rtx fun;
   int inc;
   int count;
-  struct args_size alignment_pad;
   rtx argblock = 0;
   CUMULATIVE_ARGS args_so_far;
   struct arg
@@ -3489,8 +3505,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
     enum machine_mode mode;
     rtx reg;
     int partial;
-    struct args_size offset;
-    struct args_size size;
+    struct locate_and_pad_arg_data locate;
     rtx save_area;
   };
   struct arg *argvec;
@@ -3517,13 +3532,11 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
   int initial_highest_arg_in_use = highest_outgoing_arg_in_use;
   char *initial_stack_usage_map = stack_usage_map;
 
+  rtx struct_value = targetm.calls.struct_value_rtx (0, 0);
+
 #ifdef REG_PARM_STACK_SPACE
-#ifdef MAYBE_REG_PARM_STACK_SPACE
-  reg_parm_stack_space = MAYBE_REG_PARM_STACK_SPACE;
-#else
   reg_parm_stack_space = REG_PARM_STACK_SPACE ((tree) 0);
 #endif
-#endif
 
   /* By default, library functions can not throw.  */
   flags = ECF_NOTHROW;
@@ -3568,8 +3581,8 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
      decide where in memory it should come back.  */
   if (outmode != VOIDmode)
     {
-      tfom = (*lang_hooks.types.type_for_mode) (outmode, 0);
-      if (aggregate_value_p (tfom))
+      tfom = lang_hooks.types.type_for_mode (outmode, 0);
+      if (aggregate_value_p (tfom, 0))
        {
 #ifdef PCC_STATIC_STRUCT_RETURN
          rtx pointer_reg
@@ -3601,13 +3614,13 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
      of the full argument passing conventions to limit complexity here since
      library functions shouldn't have many args.  */
 
-  argvec = (struct arg *) alloca ((nargs + 1) * sizeof (struct arg));
-  memset ((char *) argvec, 0, (nargs + 1) * sizeof (struct arg));
+  argvec = alloca ((nargs + 1) * sizeof (struct arg));
+  memset (argvec, 0, (nargs + 1) * sizeof (struct arg));
 
 #ifdef INIT_CUMULATIVE_LIBCALL_ARGS
   INIT_CUMULATIVE_LIBCALL_ARGS (args_so_far, outmode, fun);
 #else
-  INIT_CUMULATIVE_ARGS (args_so_far, NULL_TREE, fun, 0);
+  INIT_CUMULATIVE_ARGS (args_so_far, NULL_TREE, fun, 0, nargs);
 #endif
 
   args_size.constant = 0;
@@ -3624,7 +3637,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
 
   /* If there's a structure value address to be passed,
      either pass it in the special place, or pass it as an extra argument.  */
-  if (mem_value && struct_value_rtx == 0 && ! pcc_struct_value)
+  if (mem_value && struct_value == 0 && ! pcc_struct_value)
     {
       rtx addr = XEXP (mem_value, 0);
       nargs++;
@@ -3650,12 +3663,11 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
 #else
                           argvec[count].reg != 0,
 #endif
-                          NULL_TREE, &args_size, &argvec[count].offset,
-                          &argvec[count].size, &alignment_pad);
+                          0, NULL_TREE, &args_size, &argvec[count].locate);
 
       if (argvec[count].reg == 0 || argvec[count].partial != 0
          || reg_parm_stack_space > 0)
-       args_size.constant += argvec[count].size.constant;
+       args_size.constant += argvec[count].locate.size.constant;
 
       FUNCTION_ARG_ADVANCE (args_so_far, Pmode, (tree) 0, 1);
 
@@ -3673,13 +3685,6 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
          || (GET_MODE (val) != mode && GET_MODE (val) != VOIDmode))
        abort ();
 
-      /* On some machines, there's no way to pass a float to a library fcn.
-        Pass it as a double instead.  */
-#ifdef LIBGCC_NEEDS_DOUBLE
-      if (LIBGCC_NEEDS_DOUBLE && mode == SFmode)
-       val = convert_modes (DFmode, SFmode, val, 0), mode = DFmode;
-#endif
-
       /* There's no need to call protect_from_queue, because
         either emit_move_insn or emit_push_insn will do that.  */
 
@@ -3693,7 +3698,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
        {
          rtx slot;
          int must_copy = 1
-#ifdef FUNCTION_ARG_CALLEE_COPIES        
+#ifdef FUNCTION_ARG_CALLEE_COPIES
            && ! FUNCTION_ARG_CALLEE_COPIES (args_so_far, mode,
                                             NULL_TREE, 1)
 #endif
@@ -3721,13 +3726,13 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
            slot = val;
          else if (must_copy)
            {
-             slot = assign_temp ((*lang_hooks.types.type_for_mode) (mode, 0),
+             slot = assign_temp (lang_hooks.types.type_for_mode (mode, 0),
                                  0, 1, 1);
              emit_move_insn (slot, val);
            }
          else
            {
-             tree type = (*lang_hooks.types.type_for_mode) (mode, 0);
+             tree type = lang_hooks.types.type_for_mode (mode, 0);
 
              slot
                = gen_rtx_MEM (mode,
@@ -3769,26 +3774,19 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
 #else
                           argvec[count].reg != 0,
 #endif
-                          NULL_TREE, &args_size, &argvec[count].offset,
-                          &argvec[count].size, &alignment_pad);
+                          argvec[count].partial,
+                          NULL_TREE, &args_size, &argvec[count].locate);
 
-      if (argvec[count].size.var)
+      if (argvec[count].locate.size.var)
        abort ();
 
-      if (reg_parm_stack_space == 0 && argvec[count].partial)
-       argvec[count].size.constant -= argvec[count].partial * UNITS_PER_WORD;
-
       if (argvec[count].reg == 0 || argvec[count].partial != 0
          || reg_parm_stack_space > 0)
-       args_size.constant += argvec[count].size.constant;
+       args_size.constant += argvec[count].locate.size.constant;
 
       FUNCTION_ARG_ADVANCE (args_so_far, mode, (tree) 0, 1);
     }
 
-#ifdef FINAL_REG_PARM_STACK_SPACE
-  reg_parm_stack_space = FINAL_REG_PARM_STACK_SPACE (args_size.constant,
-                                                    args_size.var);
-#endif
   /* If this machine requires an external definition for library
      functions, write one out.  */
   assemble_external_libcall (fun);
@@ -3841,7 +3839,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
       highest_outgoing_arg_in_use = MAX (initial_highest_arg_in_use,
                                         needed);
 #endif
-      stack_usage_map = (char *) alloca (highest_outgoing_arg_in_use);
+      stack_usage_map = alloca (highest_outgoing_arg_in_use);
 
       if (initial_highest_arg_in_use)
        memcpy (stack_usage_map, initial_stack_usage_map,
@@ -3918,11 +3916,11 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
 #ifdef ARGS_GROW_DOWNWARD
              /* stack_slot is negative, but we want to index stack_usage_map
                 with positive values.  */
-             upper_bound = -argvec[argnum].offset.constant + 1;
-             lower_bound = upper_bound - argvec[argnum].size.constant;
+             upper_bound = -argvec[argnum].locate.offset.constant + 1;
+             lower_bound = upper_bound - argvec[argnum].locate.size.constant;
 #else
-             lower_bound = argvec[argnum].offset.constant;
-             upper_bound = lower_bound + argvec[argnum].size.constant;
+             lower_bound = argvec[argnum].locate.offset.constant;
+             upper_bound = lower_bound + argvec[argnum].locate.size.constant;
 #endif
 
              i = lower_bound;
@@ -3935,29 +3933,43 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
 
              if (i < upper_bound)
                {
-                 /* We need to make a save area.  See what mode we can make
-                    it.  */
+                 /* We need to make a save area.  */
+                 unsigned int size
+                   = argvec[argnum].locate.size.constant * BITS_PER_UNIT;
                  enum machine_mode save_mode
-                   = mode_for_size (argvec[argnum].size.constant
-                                    * BITS_PER_UNIT,
-                                    MODE_INT, 1);
+                   = mode_for_size (size, MODE_INT, 1);
+                 rtx adr
+                   = plus_constant (argblock,
+                                    argvec[argnum].locate.offset.constant);
                  rtx stack_area
-                   = gen_rtx_MEM
-                     (save_mode,
-                      memory_address
-                      (save_mode,
-                       plus_constant (argblock,
-                                      argvec[argnum].offset.constant)));
-                 argvec[argnum].save_area = gen_reg_rtx (save_mode);
-
-                 emit_move_insn (argvec[argnum].save_area, stack_area);
+                   = gen_rtx_MEM (save_mode, memory_address (save_mode, adr));
+
+                 if (save_mode == BLKmode)
+                   {
+                     argvec[argnum].save_area
+                       = assign_stack_temp (BLKmode,
+                                            argvec[argnum].locate.size.constant,
+                                            0);
+
+                     emit_block_move (validize_mem (argvec[argnum].save_area),
+                                      stack_area,
+                                      GEN_INT (argvec[argnum].locate.size.constant),
+                                      BLOCK_OP_CALL_PARM);
+                   }
+                 else
+                   {
+                     argvec[argnum].save_area = gen_reg_rtx (save_mode);
+
+                     emit_move_insn (argvec[argnum].save_area, stack_area);
+                   }
                }
            }
 
          emit_push_insn (val, mode, NULL_TREE, NULL_RTX, PARM_BOUNDARY,
                          partial, reg, 0, argblock,
-                         GEN_INT (argvec[argnum].offset.constant),
-                         reg_parm_stack_space, ARGS_SIZE_RTX (alignment_pad));
+                         GEN_INT (argvec[argnum].locate.offset.constant),
+                         reg_parm_stack_space,
+                         ARGS_SIZE_RTX (argvec[argnum].locate.alignment_pad));
 
          /* Now mark the segment we just used.  */
          if (ACCUMULATE_OUTGOING_ARGS)
@@ -3979,7 +3991,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
   else
     argnum = 0;
 
-  fun = prepare_call_address (fun, NULL_TREE, &call_fusage, 0, 0);
+  fun = prepare_call_address (fun, NULL, &call_fusage, 0, 0);
 
   /* Now load any reg parms into their regs.  */
 
@@ -3994,7 +4006,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
       /* Handle calls that pass values in multiple non-contiguous
         locations.  The PA64 has examples of this for library calls.  */
       if (reg != 0 && GET_CODE (reg) == PARALLEL)
-       emit_group_load (reg, val, GET_MODE_SIZE (GET_MODE (val)));
+       emit_group_load (reg, val, NULL_TREE, GET_MODE_SIZE (GET_MODE (val)));
       else if (reg != 0 && partial == 0)
        emit_move_insn (reg, val);
 
@@ -4012,14 +4024,14 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
     }
 
   /* Pass the function the address in which to return a structure value.  */
-  if (mem_value != 0 && struct_value_rtx != 0 && ! pcc_struct_value)
+  if (mem_value != 0 && struct_value != 0 && ! pcc_struct_value)
     {
-      emit_move_insn (struct_value_rtx,
+      emit_move_insn (struct_value,
                      force_reg (Pmode,
                                 force_operand (XEXP (mem_value, 0),
                                                NULL_RTX)));
-      if (GET_CODE (struct_value_rtx) == REG)
-       use_reg (&call_fusage, struct_value_rtx);
+      if (GET_CODE (struct_value) == REG)
+       use_reg (&call_fusage, struct_value);
     }
 
   /* Don't allow popping to be deferred, since then
@@ -4041,7 +4053,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
      always signed.  We also assume that the list of arguments passed has
      no impact, so we pretend it is unknown.  */
 
-  emit_call_1 (fun,
+  emit_call_1 (fun, NULL,
               get_identifier (XSTR (orgfun, 0)),
               build_function_type (tfom, NULL_TREE),
               original_args_size.constant, args_size.constant,
@@ -4098,7 +4110,8 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
          if (GET_CODE (valreg) == PARALLEL)
            {
              temp = gen_reg_rtx (outmode);
-             emit_group_store (temp, valreg, outmode);
+             emit_group_store (temp, valreg, NULL_TREE, 
+                               GET_MODE_SIZE (outmode));
              valreg = temp;
            }
 
@@ -4141,7 +4154,7 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
        {
          if (value == 0)
            value = gen_reg_rtx (outmode);
-         emit_group_store (value, valreg, outmode);
+         emit_group_store (value, valreg, NULL_TREE, GET_MODE_SIZE (outmode));
        }
       else if (value != 0)
        emit_move_insn (value, valreg);
@@ -4162,14 +4175,18 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
        if (argvec[count].save_area)
          {
            enum machine_mode save_mode = GET_MODE (argvec[count].save_area);
-           rtx stack_area
-             = gen_rtx_MEM (save_mode,
-                            memory_address
-                            (save_mode,
-                             plus_constant (argblock,
-                                            argvec[count].offset.constant)));
-
-           emit_move_insn (stack_area, argvec[count].save_area);
+           rtx adr = plus_constant (argblock,
+                                    argvec[count].locate.offset.constant);
+           rtx stack_area = gen_rtx_MEM (save_mode,
+                                         memory_address (save_mode, adr));
+
+           if (save_mode == BLKmode)
+             emit_block_move (stack_area,
+                              validize_mem (argvec[count].save_area),
+                              GEN_INT (argvec[count].locate.size.constant),
+                              BLOCK_OP_CALL_PARM);
+           else
+             emit_move_insn (stack_area, argvec[count].save_area);
          }
 
       highest_outgoing_arg_in_use = initial_highest_arg_in_use;
@@ -4195,18 +4212,14 @@ emit_library_call_value_1 (retval, orgfun, value, fn_type, outmode, nargs, p)
    or other LCT_ value for other types of library calls.  */
 
 void
-emit_library_call VPARAMS((rtx orgfun, enum libcall_type fn_type,
-                          enum machine_mode outmode, int nargs, ...))
+emit_library_call (rtx orgfun, enum libcall_type fn_type,
+                  enum machine_mode outmode, int nargs, ...)
 {
-  VA_OPEN (p, nargs);
-  VA_FIXEDARG (p, rtx, orgfun);
-  VA_FIXEDARG (p, int, fn_type);
-  VA_FIXEDARG (p, enum machine_mode, outmode);
-  VA_FIXEDARG (p, int, nargs);
+  va_list p;
 
+  va_start (p, nargs);
   emit_library_call_value_1 (0, orgfun, NULL_RTX, fn_type, outmode, nargs, p);
-
-  VA_CLOSE (p);
+  va_end (p);
 }
 \f
 /* Like emit_library_call except that an extra argument, VALUE,
@@ -4218,23 +4231,17 @@ emit_library_call VPARAMS((rtx orgfun, enum libcall_type fn_type,
    If VALUE is nonzero, VALUE is returned.  */
 
 rtx
-emit_library_call_value VPARAMS((rtx orgfun, rtx value,
-                                enum libcall_type fn_type,
-                                enum machine_mode outmode, int nargs, ...))
+emit_library_call_value (rtx orgfun, rtx value,
+                        enum libcall_type fn_type,
+                        enum machine_mode outmode, int nargs, ...)
 {
   rtx result;
-  
-  VA_OPEN (p, nargs);
-  VA_FIXEDARG (p, rtx, orgfun);
-  VA_FIXEDARG (p, rtx, value);
-  VA_FIXEDARG (p, int, fn_type);
-  VA_FIXEDARG (p, enum machine_mode, outmode);
-  VA_FIXEDARG (p, int, nargs);
+  va_list p;
 
+  va_start (p, nargs);
   result = emit_library_call_value_1 (1, orgfun, value, fn_type, outmode,
                                      nargs, p);
-
-  VA_CLOSE (p);
+  va_end (p);
 
   return result;
 }
@@ -4259,12 +4266,8 @@ emit_library_call_value VPARAMS((rtx orgfun, rtx value,
    zero otherwise.  */
 
 static int
-store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
-     struct arg_data *arg;
-     rtx argblock;
-     int flags;
-     int variable_size ATTRIBUTE_UNUSED;
-     int reg_parm_stack_space;
+store_one_arg (struct arg_data *arg, rtx argblock, int flags,
+              int variable_size ATTRIBUTE_UNUSED, int reg_parm_stack_space)
 {
   tree pval = arg->tree_value;
   rtx reg = 0;
@@ -4294,14 +4297,14 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
          else
            upper_bound = 0;
 
-         lower_bound = upper_bound - arg->size.constant;
+         lower_bound = upper_bound - arg->locate.size.constant;
 #else
          if (GET_CODE (XEXP (arg->stack_slot, 0)) == PLUS)
            lower_bound = INTVAL (XEXP (XEXP (arg->stack_slot, 0), 1));
          else
            lower_bound = 0;
 
-         upper_bound = lower_bound + arg->size.constant;
+         upper_bound = lower_bound + arg->locate.size.constant;
 #endif
 
          i = lower_bound;
@@ -4314,13 +4317,11 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
 
          if (i < upper_bound)
            {
-             /* We need to make a save area.  See what mode we can make it.  */
-             enum machine_mode save_mode
-               = mode_for_size (arg->size.constant * BITS_PER_UNIT, MODE_INT, 1);
-             rtx stack_area
-               = gen_rtx_MEM (save_mode,
-                              memory_address (save_mode,
-                                              XEXP (arg->stack_slot, 0)));
+             /* We need to make a save area.  */
+             unsigned int size = arg->locate.size.constant * BITS_PER_UNIT;
+             enum machine_mode save_mode = mode_for_size (size, MODE_INT, 1);
+             rtx adr = memory_address (save_mode, XEXP (arg->stack_slot, 0));
+             rtx stack_area = gen_rtx_MEM (save_mode, adr);
 
              if (save_mode == BLKmode)
                {
@@ -4446,10 +4447,10 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
 
       /* This isn't already where we want it on the stack, so put it there.
         This can either be done with push or copy insns.  */
-      emit_push_insn (arg->value, arg->mode, TREE_TYPE (pval), NULL_RTX, 
+      emit_push_insn (arg->value, arg->mode, TREE_TYPE (pval), NULL_RTX,
                      PARM_BOUNDARY, partial, reg, used - size, argblock,
-                     ARGS_SIZE_RTX (arg->offset), reg_parm_stack_space,
-                     ARGS_SIZE_RTX (arg->alignment_pad));
+                     ARGS_SIZE_RTX (arg->locate.offset), reg_parm_stack_space,
+                     ARGS_SIZE_RTX (arg->locate.alignment_pad));
 
       /* Unless this is a partially-in-register argument, the argument is now
         in the stack.  */
@@ -4471,17 +4472,27 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
       /* Round its size up to a multiple
         of the allocation unit for arguments.  */
 
-      if (arg->size.var != 0)
+      if (arg->locate.size.var != 0)
        {
          excess = 0;
-         size_rtx = ARGS_SIZE_RTX (arg->size);
+         size_rtx = ARGS_SIZE_RTX (arg->locate.size);
        }
       else
        {
          /* PUSH_ROUNDING has no effect on us, because
             emit_push_insn for BLKmode is careful to avoid it.  */
-         excess = (arg->size.constant - int_size_in_bytes (TREE_TYPE (pval))
-                   + partial * UNITS_PER_WORD);
+         if (reg && GET_CODE (reg) == PARALLEL)
+         {
+           /* Use the size of the elt to compute excess.  */
+           rtx elt = XEXP (XVECEXP (reg, 0, 0), 0);
+           excess = (arg->locate.size.constant
+                     - int_size_in_bytes (TREE_TYPE (pval))
+                     + partial * GET_MODE_SIZE (GET_MODE (elt)));
+         } 
+         else
+           excess = (arg->locate.size.constant
+                     - int_size_in_bytes (TREE_TYPE (pval))
+                     + partial * UNITS_PER_WORD);
          size_rtx = expand_expr (size_in_bytes (TREE_TYPE (pval)),
                                  NULL_RTX, TYPE_MODE (sizetype), 0);
        }
@@ -4494,7 +4505,7 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
         PARM_BOUNDARY, but the actual argument isn't.  */
       if (FUNCTION_ARG_PADDING (arg->mode, TREE_TYPE (pval)) == downward)
        {
-         if (arg->size.var)
+         if (arg->locate.size.var)
            parm_align = BITS_PER_UNIT;
          else if (excess)
            {
@@ -4506,7 +4517,7 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
       if ((flags & ECF_SIBCALL) && GET_CODE (arg->value) == MEM)
        {
          /* emit_push_insn might not work properly if arg->value and
-            argblock + arg->offset areas overlap.  */
+            argblock + arg->locate.offset areas overlap.  */
          rtx x = arg->value;
          int i = 0;
 
@@ -4519,18 +4530,18 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
              if (XEXP (x, 0) != current_function_internal_arg_pointer)
                i = INTVAL (XEXP (XEXP (x, 0), 1));
 
-             /* expand_call should ensure this */
-             if (arg->offset.var || GET_CODE (size_rtx) != CONST_INT)
+             /* expand_call should ensure this */
+             if (arg->locate.offset.var || GET_CODE (size_rtx) != CONST_INT)
                abort ();
 
-             if (arg->offset.constant > i)
+             if (arg->locate.offset.constant > i)
                {
-                 if (arg->offset.constant < i + INTVAL (size_rtx))
+                 if (arg->locate.offset.constant < i + INTVAL (size_rtx))
                    sibcall_failure = 1;
                }
-             else if (arg->offset.constant < i)
+             else if (arg->locate.offset.constant < i)
                {
-                 if (i < arg->offset.constant + INTVAL (size_rtx))
+                 if (i < arg->locate.offset.constant + INTVAL (size_rtx))
                    sibcall_failure = 1;
                }
            }
@@ -4538,8 +4549,8 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
 
       emit_push_insn (arg->value, arg->mode, TREE_TYPE (pval), size_rtx,
                      parm_align, partial, reg, excess, argblock,
-                     ARGS_SIZE_RTX (arg->offset), reg_parm_stack_space,
-                     ARGS_SIZE_RTX (arg->alignment_pad));
+                     ARGS_SIZE_RTX (arg->locate.offset), reg_parm_stack_space,
+                     ARGS_SIZE_RTX (arg->locate.alignment_pad));
 
       /* Unless this is a partially-in-register argument, the argument is now
         in the stack.
@@ -4577,7 +4588,6 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
   return sibcall_failure;
 }
 
-
 /* Nonzero if we do not know how to pass TYPE solely in registers.
    We cannot do so in the following cases:
 
@@ -4595,9 +4605,7 @@ store_one_arg (arg, argblock, flags, variable_size, reg_parm_stack_space)
    For a little-endian machine, the reverse is true.  */
 
 bool
-default_must_pass_in_stack (mode, type)
-     enum machine_mode mode;
-     tree type;
+default_must_pass_in_stack (enum machine_mode mode, tree type)
 {
   if (!type)
     return false;