OSDN Git Service

* c-common.h (c_tree_chain_next): New static inline function.
[pf3gnuchains/gcc-fork.git] / gcc / explow.c
1 /* Subroutines for manipulating rtx's in semantically interesting ways.
2    Copyright (C) 1987, 1991, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
3    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011
4    Free Software Foundation, Inc.
5
6 This file is part of GCC.
7
8 GCC is free software; you can redistribute it and/or modify it under
9 the terms of the GNU General Public License as published by the Free
10 Software Foundation; either version 3, or (at your option) any later
11 version.
12
13 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
14 WARRANTY; without even the implied warranty of MERCHANTABILITY or
15 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
16 for more details.
17
18 You should have received a copy of the GNU General Public License
19 along with GCC; see the file COPYING3.  If not see
20 <http://www.gnu.org/licenses/>.  */
21
22
23 #include "config.h"
24 #include "system.h"
25 #include "coretypes.h"
26 #include "tm.h"
27 #include "diagnostic-core.h"
28 #include "rtl.h"
29 #include "tree.h"
30 #include "tm_p.h"
31 #include "flags.h"
32 #include "except.h"
33 #include "function.h"
34 #include "expr.h"
35 #include "optabs.h"
36 #include "libfuncs.h"
37 #include "hard-reg-set.h"
38 #include "insn-config.h"
39 #include "ggc.h"
40 #include "recog.h"
41 #include "langhooks.h"
42 #include "target.h"
43 #include "common/common-target.h"
44 #include "output.h"
45
46 static rtx break_out_memory_refs (rtx);
47
48
49 /* Truncate and perhaps sign-extend C as appropriate for MODE.  */
50
51 HOST_WIDE_INT
52 trunc_int_for_mode (HOST_WIDE_INT c, enum machine_mode mode)
53 {
54   int width = GET_MODE_BITSIZE (mode);
55
56   /* You want to truncate to a _what_?  */
57   gcc_assert (SCALAR_INT_MODE_P (mode));
58
59   /* Canonicalize BImode to 0 and STORE_FLAG_VALUE.  */
60   if (mode == BImode)
61     return c & 1 ? STORE_FLAG_VALUE : 0;
62
63   /* Sign-extend for the requested mode.  */
64
65   if (width < HOST_BITS_PER_WIDE_INT)
66     {
67       HOST_WIDE_INT sign = 1;
68       sign <<= width - 1;
69       c &= (sign << 1) - 1;
70       c ^= sign;
71       c -= sign;
72     }
73
74   return c;
75 }
76
77 /* Return an rtx for the sum of X and the integer C.  */
78
79 rtx
80 plus_constant (rtx x, HOST_WIDE_INT c)
81 {
82   RTX_CODE code;
83   rtx y;
84   enum machine_mode mode;
85   rtx tem;
86   int all_constant = 0;
87
88   if (c == 0)
89     return x;
90
91  restart:
92
93   code = GET_CODE (x);
94   mode = GET_MODE (x);
95   y = x;
96
97   switch (code)
98     {
99     case CONST_INT:
100       return GEN_INT (INTVAL (x) + c);
101
102     case CONST_DOUBLE:
103       {
104         unsigned HOST_WIDE_INT l1 = CONST_DOUBLE_LOW (x);
105         HOST_WIDE_INT h1 = CONST_DOUBLE_HIGH (x);
106         unsigned HOST_WIDE_INT l2 = c;
107         HOST_WIDE_INT h2 = c < 0 ? ~0 : 0;
108         unsigned HOST_WIDE_INT lv;
109         HOST_WIDE_INT hv;
110
111         add_double (l1, h1, l2, h2, &lv, &hv);
112
113         return immed_double_const (lv, hv, VOIDmode);
114       }
115
116     case MEM:
117       /* If this is a reference to the constant pool, try replacing it with
118          a reference to a new constant.  If the resulting address isn't
119          valid, don't return it because we have no way to validize it.  */
120       if (GET_CODE (XEXP (x, 0)) == SYMBOL_REF
121           && CONSTANT_POOL_ADDRESS_P (XEXP (x, 0)))
122         {
123           tem
124             = force_const_mem (GET_MODE (x),
125                                plus_constant (get_pool_constant (XEXP (x, 0)),
126                                               c));
127           if (memory_address_p (GET_MODE (tem), XEXP (tem, 0)))
128             return tem;
129         }
130       break;
131
132     case CONST:
133       /* If adding to something entirely constant, set a flag
134          so that we can add a CONST around the result.  */
135       x = XEXP (x, 0);
136       all_constant = 1;
137       goto restart;
138
139     case SYMBOL_REF:
140     case LABEL_REF:
141       all_constant = 1;
142       break;
143
144     case PLUS:
145       /* The interesting case is adding the integer to a sum.
146          Look for constant term in the sum and combine
147          with C.  For an integer constant term, we make a combined
148          integer.  For a constant term that is not an explicit integer,
149          we cannot really combine, but group them together anyway.
150
151          Restart or use a recursive call in case the remaining operand is
152          something that we handle specially, such as a SYMBOL_REF.
153
154          We may not immediately return from the recursive call here, lest
155          all_constant gets lost.  */
156
157       if (CONST_INT_P (XEXP (x, 1)))
158         {
159           c += INTVAL (XEXP (x, 1));
160
161           if (GET_MODE (x) != VOIDmode)
162             c = trunc_int_for_mode (c, GET_MODE (x));
163
164           x = XEXP (x, 0);
165           goto restart;
166         }
167       else if (CONSTANT_P (XEXP (x, 1)))
168         {
169           x = gen_rtx_PLUS (mode, XEXP (x, 0), plus_constant (XEXP (x, 1), c));
170           c = 0;
171         }
172       else if (find_constant_term_loc (&y))
173         {
174           /* We need to be careful since X may be shared and we can't
175              modify it in place.  */
176           rtx copy = copy_rtx (x);
177           rtx *const_loc = find_constant_term_loc (&copy);
178
179           *const_loc = plus_constant (*const_loc, c);
180           x = copy;
181           c = 0;
182         }
183       break;
184
185     default:
186       break;
187     }
188
189   if (c != 0)
190     x = gen_rtx_PLUS (mode, x, GEN_INT (c));
191
192   if (GET_CODE (x) == SYMBOL_REF || GET_CODE (x) == LABEL_REF)
193     return x;
194   else if (all_constant)
195     return gen_rtx_CONST (mode, x);
196   else
197     return x;
198 }
199 \f
200 /* If X is a sum, return a new sum like X but lacking any constant terms.
201    Add all the removed constant terms into *CONSTPTR.
202    X itself is not altered.  The result != X if and only if
203    it is not isomorphic to X.  */
204
205 rtx
206 eliminate_constant_term (rtx x, rtx *constptr)
207 {
208   rtx x0, x1;
209   rtx tem;
210
211   if (GET_CODE (x) != PLUS)
212     return x;
213
214   /* First handle constants appearing at this level explicitly.  */
215   if (CONST_INT_P (XEXP (x, 1))
216       && 0 != (tem = simplify_binary_operation (PLUS, GET_MODE (x), *constptr,
217                                                 XEXP (x, 1)))
218       && CONST_INT_P (tem))
219     {
220       *constptr = tem;
221       return eliminate_constant_term (XEXP (x, 0), constptr);
222     }
223
224   tem = const0_rtx;
225   x0 = eliminate_constant_term (XEXP (x, 0), &tem);
226   x1 = eliminate_constant_term (XEXP (x, 1), &tem);
227   if ((x1 != XEXP (x, 1) || x0 != XEXP (x, 0))
228       && 0 != (tem = simplify_binary_operation (PLUS, GET_MODE (x),
229                                                 *constptr, tem))
230       && CONST_INT_P (tem))
231     {
232       *constptr = tem;
233       return gen_rtx_PLUS (GET_MODE (x), x0, x1);
234     }
235
236   return x;
237 }
238
239 /* Return an rtx for the size in bytes of the value of EXP.  */
240
241 rtx
242 expr_size (tree exp)
243 {
244   tree size;
245
246   if (TREE_CODE (exp) == WITH_SIZE_EXPR)
247     size = TREE_OPERAND (exp, 1);
248   else
249     {
250       size = tree_expr_size (exp);
251       gcc_assert (size);
252       gcc_assert (size == SUBSTITUTE_PLACEHOLDER_IN_EXPR (size, exp));
253     }
254
255   return expand_expr (size, NULL_RTX, TYPE_MODE (sizetype), EXPAND_NORMAL);
256 }
257
258 /* Return a wide integer for the size in bytes of the value of EXP, or -1
259    if the size can vary or is larger than an integer.  */
260
261 HOST_WIDE_INT
262 int_expr_size (tree exp)
263 {
264   tree size;
265
266   if (TREE_CODE (exp) == WITH_SIZE_EXPR)
267     size = TREE_OPERAND (exp, 1);
268   else
269     {
270       size = tree_expr_size (exp);
271       gcc_assert (size);
272     }
273
274   if (size == 0 || !host_integerp (size, 0))
275     return -1;
276
277   return tree_low_cst (size, 0);
278 }
279 \f
280 /* Return a copy of X in which all memory references
281    and all constants that involve symbol refs
282    have been replaced with new temporary registers.
283    Also emit code to load the memory locations and constants
284    into those registers.
285
286    If X contains no such constants or memory references,
287    X itself (not a copy) is returned.
288
289    If a constant is found in the address that is not a legitimate constant
290    in an insn, it is left alone in the hope that it might be valid in the
291    address.
292
293    X may contain no arithmetic except addition, subtraction and multiplication.
294    Values returned by expand_expr with 1 for sum_ok fit this constraint.  */
295
296 static rtx
297 break_out_memory_refs (rtx x)
298 {
299   if (MEM_P (x)
300       || (CONSTANT_P (x) && CONSTANT_ADDRESS_P (x)
301           && GET_MODE (x) != VOIDmode))
302     x = force_reg (GET_MODE (x), x);
303   else if (GET_CODE (x) == PLUS || GET_CODE (x) == MINUS
304            || GET_CODE (x) == MULT)
305     {
306       rtx op0 = break_out_memory_refs (XEXP (x, 0));
307       rtx op1 = break_out_memory_refs (XEXP (x, 1));
308
309       if (op0 != XEXP (x, 0) || op1 != XEXP (x, 1))
310         x = simplify_gen_binary (GET_CODE (x), GET_MODE (x), op0, op1);
311     }
312
313   return x;
314 }
315
316 /* Given X, a memory address in address space AS' pointer mode, convert it to
317    an address in the address space's address mode, or vice versa (TO_MODE says
318    which way).  We take advantage of the fact that pointers are not allowed to
319    overflow by commuting arithmetic operations over conversions so that address
320    arithmetic insns can be used.  */
321
322 rtx
323 convert_memory_address_addr_space (enum machine_mode to_mode ATTRIBUTE_UNUSED,
324                                    rtx x, addr_space_t as ATTRIBUTE_UNUSED)
325 {
326 #ifndef POINTERS_EXTEND_UNSIGNED
327   gcc_assert (GET_MODE (x) == to_mode || GET_MODE (x) == VOIDmode);
328   return x;
329 #else /* defined(POINTERS_EXTEND_UNSIGNED) */
330   enum machine_mode pointer_mode, address_mode, from_mode;
331   rtx temp;
332   enum rtx_code code;
333
334   /* If X already has the right mode, just return it.  */
335   if (GET_MODE (x) == to_mode)
336     return x;
337
338   pointer_mode = targetm.addr_space.pointer_mode (as);
339   address_mode = targetm.addr_space.address_mode (as);
340   from_mode = to_mode == pointer_mode ? address_mode : pointer_mode;
341
342   /* Here we handle some special cases.  If none of them apply, fall through
343      to the default case.  */
344   switch (GET_CODE (x))
345     {
346     case CONST_INT:
347     case CONST_DOUBLE:
348       if (GET_MODE_SIZE (to_mode) < GET_MODE_SIZE (from_mode))
349         code = TRUNCATE;
350       else if (POINTERS_EXTEND_UNSIGNED < 0)
351         break;
352       else if (POINTERS_EXTEND_UNSIGNED > 0)
353         code = ZERO_EXTEND;
354       else
355         code = SIGN_EXTEND;
356       temp = simplify_unary_operation (code, to_mode, x, from_mode);
357       if (temp)
358         return temp;
359       break;
360
361     case SUBREG:
362       if ((SUBREG_PROMOTED_VAR_P (x) || REG_POINTER (SUBREG_REG (x)))
363           && GET_MODE (SUBREG_REG (x)) == to_mode)
364         return SUBREG_REG (x);
365       break;
366
367     case LABEL_REF:
368       temp = gen_rtx_LABEL_REF (to_mode, XEXP (x, 0));
369       LABEL_REF_NONLOCAL_P (temp) = LABEL_REF_NONLOCAL_P (x);
370       return temp;
371       break;
372
373     case SYMBOL_REF:
374       temp = shallow_copy_rtx (x);
375       PUT_MODE (temp, to_mode);
376       return temp;
377       break;
378
379     case CONST:
380       return gen_rtx_CONST (to_mode,
381                             convert_memory_address_addr_space
382                               (to_mode, XEXP (x, 0), as));
383       break;
384
385     case PLUS:
386     case MULT:
387       /* For addition we can safely permute the conversion and addition
388          operation if one operand is a constant and converting the constant
389          does not change it or if one operand is a constant and we are
390          using a ptr_extend instruction  (POINTERS_EXTEND_UNSIGNED < 0).
391          We can always safely permute them if we are making the address
392          narrower.  */
393       if (GET_MODE_SIZE (to_mode) < GET_MODE_SIZE (from_mode)
394           || (GET_CODE (x) == PLUS
395               && CONST_INT_P (XEXP (x, 1))
396               && (XEXP (x, 1) == convert_memory_address_addr_space
397                                    (to_mode, XEXP (x, 1), as)
398                  || POINTERS_EXTEND_UNSIGNED < 0)))
399         return gen_rtx_fmt_ee (GET_CODE (x), to_mode,
400                                convert_memory_address_addr_space
401                                  (to_mode, XEXP (x, 0), as),
402                                XEXP (x, 1));
403       break;
404
405     default:
406       break;
407     }
408
409   return convert_modes (to_mode, from_mode,
410                         x, POINTERS_EXTEND_UNSIGNED);
411 #endif /* defined(POINTERS_EXTEND_UNSIGNED) */
412 }
413 \f
414 /* Return something equivalent to X but valid as a memory address for something
415    of mode MODE in the named address space AS.  When X is not itself valid,
416    this works by copying X or subexpressions of it into registers.  */
417
418 rtx
419 memory_address_addr_space (enum machine_mode mode, rtx x, addr_space_t as)
420 {
421   rtx oldx = x;
422   enum machine_mode address_mode = targetm.addr_space.address_mode (as);
423
424   x = convert_memory_address_addr_space (address_mode, x, as);
425
426   /* By passing constant addresses through registers
427      we get a chance to cse them.  */
428   if (! cse_not_expected && CONSTANT_P (x) && CONSTANT_ADDRESS_P (x))
429     x = force_reg (address_mode, x);
430
431   /* We get better cse by rejecting indirect addressing at this stage.
432      Let the combiner create indirect addresses where appropriate.
433      For now, generate the code so that the subexpressions useful to share
434      are visible.  But not if cse won't be done!  */
435   else
436     {
437       if (! cse_not_expected && !REG_P (x))
438         x = break_out_memory_refs (x);
439
440       /* At this point, any valid address is accepted.  */
441       if (memory_address_addr_space_p (mode, x, as))
442         goto done;
443
444       /* If it was valid before but breaking out memory refs invalidated it,
445          use it the old way.  */
446       if (memory_address_addr_space_p (mode, oldx, as))
447         {
448           x = oldx;
449           goto done;
450         }
451
452       /* Perform machine-dependent transformations on X
453          in certain cases.  This is not necessary since the code
454          below can handle all possible cases, but machine-dependent
455          transformations can make better code.  */
456       {
457         rtx orig_x = x;
458         x = targetm.addr_space.legitimize_address (x, oldx, mode, as);
459         if (orig_x != x && memory_address_addr_space_p (mode, x, as))
460           goto done;
461       }
462
463       /* PLUS and MULT can appear in special ways
464          as the result of attempts to make an address usable for indexing.
465          Usually they are dealt with by calling force_operand, below.
466          But a sum containing constant terms is special
467          if removing them makes the sum a valid address:
468          then we generate that address in a register
469          and index off of it.  We do this because it often makes
470          shorter code, and because the addresses thus generated
471          in registers often become common subexpressions.  */
472       if (GET_CODE (x) == PLUS)
473         {
474           rtx constant_term = const0_rtx;
475           rtx y = eliminate_constant_term (x, &constant_term);
476           if (constant_term == const0_rtx
477               || ! memory_address_addr_space_p (mode, y, as))
478             x = force_operand (x, NULL_RTX);
479           else
480             {
481               y = gen_rtx_PLUS (GET_MODE (x), copy_to_reg (y), constant_term);
482               if (! memory_address_addr_space_p (mode, y, as))
483                 x = force_operand (x, NULL_RTX);
484               else
485                 x = y;
486             }
487         }
488
489       else if (GET_CODE (x) == MULT || GET_CODE (x) == MINUS)
490         x = force_operand (x, NULL_RTX);
491
492       /* If we have a register that's an invalid address,
493          it must be a hard reg of the wrong class.  Copy it to a pseudo.  */
494       else if (REG_P (x))
495         x = copy_to_reg (x);
496
497       /* Last resort: copy the value to a register, since
498          the register is a valid address.  */
499       else
500         x = force_reg (address_mode, x);
501     }
502
503  done:
504
505   gcc_assert (memory_address_addr_space_p (mode, x, as));
506   /* If we didn't change the address, we are done.  Otherwise, mark
507      a reg as a pointer if we have REG or REG + CONST_INT.  */
508   if (oldx == x)
509     return x;
510   else if (REG_P (x))
511     mark_reg_pointer (x, BITS_PER_UNIT);
512   else if (GET_CODE (x) == PLUS
513            && REG_P (XEXP (x, 0))
514            && CONST_INT_P (XEXP (x, 1)))
515     mark_reg_pointer (XEXP (x, 0), BITS_PER_UNIT);
516
517   /* OLDX may have been the address on a temporary.  Update the address
518      to indicate that X is now used.  */
519   update_temp_slot_address (oldx, x);
520
521   return x;
522 }
523
524 /* Convert a mem ref into one with a valid memory address.
525    Pass through anything else unchanged.  */
526
527 rtx
528 validize_mem (rtx ref)
529 {
530   if (!MEM_P (ref))
531     return ref;
532   ref = use_anchored_address (ref);
533   if (memory_address_addr_space_p (GET_MODE (ref), XEXP (ref, 0),
534                                    MEM_ADDR_SPACE (ref)))
535     return ref;
536
537   /* Don't alter REF itself, since that is probably a stack slot.  */
538   return replace_equiv_address (ref, XEXP (ref, 0));
539 }
540
541 /* If X is a memory reference to a member of an object block, try rewriting
542    it to use an anchor instead.  Return the new memory reference on success
543    and the old one on failure.  */
544
545 rtx
546 use_anchored_address (rtx x)
547 {
548   rtx base;
549   HOST_WIDE_INT offset;
550
551   if (!flag_section_anchors)
552     return x;
553
554   if (!MEM_P (x))
555     return x;
556
557   /* Split the address into a base and offset.  */
558   base = XEXP (x, 0);
559   offset = 0;
560   if (GET_CODE (base) == CONST
561       && GET_CODE (XEXP (base, 0)) == PLUS
562       && CONST_INT_P (XEXP (XEXP (base, 0), 1)))
563     {
564       offset += INTVAL (XEXP (XEXP (base, 0), 1));
565       base = XEXP (XEXP (base, 0), 0);
566     }
567
568   /* Check whether BASE is suitable for anchors.  */
569   if (GET_CODE (base) != SYMBOL_REF
570       || !SYMBOL_REF_HAS_BLOCK_INFO_P (base)
571       || SYMBOL_REF_ANCHOR_P (base)
572       || SYMBOL_REF_BLOCK (base) == NULL
573       || !targetm.use_anchors_for_symbol_p (base))
574     return x;
575
576   /* Decide where BASE is going to be.  */
577   place_block_symbol (base);
578
579   /* Get the anchor we need to use.  */
580   offset += SYMBOL_REF_BLOCK_OFFSET (base);
581   base = get_section_anchor (SYMBOL_REF_BLOCK (base), offset,
582                              SYMBOL_REF_TLS_MODEL (base));
583
584   /* Work out the offset from the anchor.  */
585   offset -= SYMBOL_REF_BLOCK_OFFSET (base);
586
587   /* If we're going to run a CSE pass, force the anchor into a register.
588      We will then be able to reuse registers for several accesses, if the
589      target costs say that that's worthwhile.  */
590   if (!cse_not_expected)
591     base = force_reg (GET_MODE (base), base);
592
593   return replace_equiv_address (x, plus_constant (base, offset));
594 }
595 \f
596 /* Copy the value or contents of X to a new temp reg and return that reg.  */
597
598 rtx
599 copy_to_reg (rtx x)
600 {
601   rtx temp = gen_reg_rtx (GET_MODE (x));
602
603   /* If not an operand, must be an address with PLUS and MULT so
604      do the computation.  */
605   if (! general_operand (x, VOIDmode))
606     x = force_operand (x, temp);
607
608   if (x != temp)
609     emit_move_insn (temp, x);
610
611   return temp;
612 }
613
614 /* Like copy_to_reg but always give the new register mode Pmode
615    in case X is a constant.  */
616
617 rtx
618 copy_addr_to_reg (rtx x)
619 {
620   return copy_to_mode_reg (Pmode, x);
621 }
622
623 /* Like copy_to_reg but always give the new register mode MODE
624    in case X is a constant.  */
625
626 rtx
627 copy_to_mode_reg (enum machine_mode mode, rtx x)
628 {
629   rtx temp = gen_reg_rtx (mode);
630
631   /* If not an operand, must be an address with PLUS and MULT so
632      do the computation.  */
633   if (! general_operand (x, VOIDmode))
634     x = force_operand (x, temp);
635
636   gcc_assert (GET_MODE (x) == mode || GET_MODE (x) == VOIDmode);
637   if (x != temp)
638     emit_move_insn (temp, x);
639   return temp;
640 }
641
642 /* Load X into a register if it is not already one.
643    Use mode MODE for the register.
644    X should be valid for mode MODE, but it may be a constant which
645    is valid for all integer modes; that's why caller must specify MODE.
646
647    The caller must not alter the value in the register we return,
648    since we mark it as a "constant" register.  */
649
650 rtx
651 force_reg (enum machine_mode mode, rtx x)
652 {
653   rtx temp, insn, set;
654
655   if (REG_P (x))
656     return x;
657
658   if (general_operand (x, mode))
659     {
660       temp = gen_reg_rtx (mode);
661       insn = emit_move_insn (temp, x);
662     }
663   else
664     {
665       temp = force_operand (x, NULL_RTX);
666       if (REG_P (temp))
667         insn = get_last_insn ();
668       else
669         {
670           rtx temp2 = gen_reg_rtx (mode);
671           insn = emit_move_insn (temp2, temp);
672           temp = temp2;
673         }
674     }
675
676   /* Let optimizers know that TEMP's value never changes
677      and that X can be substituted for it.  Don't get confused
678      if INSN set something else (such as a SUBREG of TEMP).  */
679   if (CONSTANT_P (x)
680       && (set = single_set (insn)) != 0
681       && SET_DEST (set) == temp
682       && ! rtx_equal_p (x, SET_SRC (set)))
683     set_unique_reg_note (insn, REG_EQUAL, x);
684
685   /* Let optimizers know that TEMP is a pointer, and if so, the
686      known alignment of that pointer.  */
687   {
688     unsigned align = 0;
689     if (GET_CODE (x) == SYMBOL_REF)
690       {
691         align = BITS_PER_UNIT;
692         if (SYMBOL_REF_DECL (x) && DECL_P (SYMBOL_REF_DECL (x)))
693           align = DECL_ALIGN (SYMBOL_REF_DECL (x));
694       }
695     else if (GET_CODE (x) == LABEL_REF)
696       align = BITS_PER_UNIT;
697     else if (GET_CODE (x) == CONST
698              && GET_CODE (XEXP (x, 0)) == PLUS
699              && GET_CODE (XEXP (XEXP (x, 0), 0)) == SYMBOL_REF
700              && CONST_INT_P (XEXP (XEXP (x, 0), 1)))
701       {
702         rtx s = XEXP (XEXP (x, 0), 0);
703         rtx c = XEXP (XEXP (x, 0), 1);
704         unsigned sa, ca;
705
706         sa = BITS_PER_UNIT;
707         if (SYMBOL_REF_DECL (s) && DECL_P (SYMBOL_REF_DECL (s)))
708           sa = DECL_ALIGN (SYMBOL_REF_DECL (s));
709
710         if (INTVAL (c) == 0)
711           align = sa;
712         else
713           {
714             ca = ctz_hwi (INTVAL (c)) * BITS_PER_UNIT;
715             align = MIN (sa, ca);
716           }
717       }
718
719     if (align || (MEM_P (x) && MEM_POINTER (x)))
720       mark_reg_pointer (temp, align);
721   }
722
723   return temp;
724 }
725
726 /* If X is a memory ref, copy its contents to a new temp reg and return
727    that reg.  Otherwise, return X.  */
728
729 rtx
730 force_not_mem (rtx x)
731 {
732   rtx temp;
733
734   if (!MEM_P (x) || GET_MODE (x) == BLKmode)
735     return x;
736
737   temp = gen_reg_rtx (GET_MODE (x));
738
739   if (MEM_POINTER (x))
740     REG_POINTER (temp) = 1;
741
742   emit_move_insn (temp, x);
743   return temp;
744 }
745
746 /* Copy X to TARGET (if it's nonzero and a reg)
747    or to a new temp reg and return that reg.
748    MODE is the mode to use for X in case it is a constant.  */
749
750 rtx
751 copy_to_suggested_reg (rtx x, rtx target, enum machine_mode mode)
752 {
753   rtx temp;
754
755   if (target && REG_P (target))
756     temp = target;
757   else
758     temp = gen_reg_rtx (mode);
759
760   emit_move_insn (temp, x);
761   return temp;
762 }
763 \f
764 /* Return the mode to use to pass or return a scalar of TYPE and MODE.
765    PUNSIGNEDP points to the signedness of the type and may be adjusted
766    to show what signedness to use on extension operations.
767
768    FOR_RETURN is nonzero if the caller is promoting the return value
769    of FNDECL, else it is for promoting args.  */
770
771 enum machine_mode
772 promote_function_mode (const_tree type, enum machine_mode mode, int *punsignedp,
773                        const_tree funtype, int for_return)
774 {
775   /* Called without a type node for a libcall.  */
776   if (type == NULL_TREE)
777     {
778       if (INTEGRAL_MODE_P (mode))
779         return targetm.calls.promote_function_mode (NULL_TREE, mode,
780                                                     punsignedp, funtype,
781                                                     for_return);
782       else
783         return mode;
784     }
785
786   switch (TREE_CODE (type))
787     {
788     case INTEGER_TYPE:   case ENUMERAL_TYPE:   case BOOLEAN_TYPE:
789     case REAL_TYPE:      case OFFSET_TYPE:     case FIXED_POINT_TYPE:
790     case POINTER_TYPE:   case REFERENCE_TYPE:
791       return targetm.calls.promote_function_mode (type, mode, punsignedp, funtype,
792                                                   for_return);
793
794     default:
795       return mode;
796     }
797 }
798 /* Return the mode to use to store a scalar of TYPE and MODE.
799    PUNSIGNEDP points to the signedness of the type and may be adjusted
800    to show what signedness to use on extension operations.  */
801
802 enum machine_mode
803 promote_mode (const_tree type ATTRIBUTE_UNUSED, enum machine_mode mode,
804               int *punsignedp ATTRIBUTE_UNUSED)
805 {
806 #ifdef PROMOTE_MODE
807   enum tree_code code;
808   int unsignedp;
809 #endif
810
811   /* For libcalls this is invoked without TYPE from the backends
812      TARGET_PROMOTE_FUNCTION_MODE hooks.  Don't do anything in that
813      case.  */
814   if (type == NULL_TREE)
815     return mode;
816
817   /* FIXME: this is the same logic that was there until GCC 4.4, but we
818      probably want to test POINTERS_EXTEND_UNSIGNED even if PROMOTE_MODE
819      is not defined.  The affected targets are M32C, S390, SPARC.  */
820 #ifdef PROMOTE_MODE
821   code = TREE_CODE (type);
822   unsignedp = *punsignedp;
823
824   switch (code)
825     {
826     case INTEGER_TYPE:   case ENUMERAL_TYPE:   case BOOLEAN_TYPE:
827     case REAL_TYPE:      case OFFSET_TYPE:     case FIXED_POINT_TYPE:
828       PROMOTE_MODE (mode, unsignedp, type);
829       *punsignedp = unsignedp;
830       return mode;
831       break;
832
833 #ifdef POINTERS_EXTEND_UNSIGNED
834     case REFERENCE_TYPE:
835     case POINTER_TYPE:
836       *punsignedp = POINTERS_EXTEND_UNSIGNED;
837       return targetm.addr_space.address_mode
838                (TYPE_ADDR_SPACE (TREE_TYPE (type)));
839       break;
840 #endif
841
842     default:
843       return mode;
844     }
845 #else
846   return mode;
847 #endif
848 }
849
850
851 /* Use one of promote_mode or promote_function_mode to find the promoted
852    mode of DECL.  If PUNSIGNEDP is not NULL, store there the unsignedness
853    of DECL after promotion.  */
854
855 enum machine_mode
856 promote_decl_mode (const_tree decl, int *punsignedp)
857 {
858   tree type = TREE_TYPE (decl);
859   int unsignedp = TYPE_UNSIGNED (type);
860   enum machine_mode mode = DECL_MODE (decl);
861   enum machine_mode pmode;
862
863   if (TREE_CODE (decl) == RESULT_DECL
864       || TREE_CODE (decl) == PARM_DECL)
865     pmode = promote_function_mode (type, mode, &unsignedp,
866                                    TREE_TYPE (current_function_decl), 2);
867   else
868     pmode = promote_mode (type, mode, &unsignedp);
869
870   if (punsignedp)
871     *punsignedp = unsignedp;
872   return pmode;
873 }
874
875 \f
876 /* Adjust the stack pointer by ADJUST (an rtx for a number of bytes).
877    This pops when ADJUST is positive.  ADJUST need not be constant.  */
878
879 void
880 adjust_stack (rtx adjust)
881 {
882   rtx temp;
883
884   if (adjust == const0_rtx)
885     return;
886
887   /* We expect all variable sized adjustments to be multiple of
888      PREFERRED_STACK_BOUNDARY.  */
889   if (CONST_INT_P (adjust))
890     stack_pointer_delta -= INTVAL (adjust);
891
892   temp = expand_binop (Pmode,
893 #ifdef STACK_GROWS_DOWNWARD
894                        add_optab,
895 #else
896                        sub_optab,
897 #endif
898                        stack_pointer_rtx, adjust, stack_pointer_rtx, 0,
899                        OPTAB_LIB_WIDEN);
900
901   if (temp != stack_pointer_rtx)
902     emit_move_insn (stack_pointer_rtx, temp);
903 }
904
905 /* Adjust the stack pointer by minus ADJUST (an rtx for a number of bytes).
906    This pushes when ADJUST is positive.  ADJUST need not be constant.  */
907
908 void
909 anti_adjust_stack (rtx adjust)
910 {
911   rtx temp;
912
913   if (adjust == const0_rtx)
914     return;
915
916   /* We expect all variable sized adjustments to be multiple of
917      PREFERRED_STACK_BOUNDARY.  */
918   if (CONST_INT_P (adjust))
919     stack_pointer_delta += INTVAL (adjust);
920
921   temp = expand_binop (Pmode,
922 #ifdef STACK_GROWS_DOWNWARD
923                        sub_optab,
924 #else
925                        add_optab,
926 #endif
927                        stack_pointer_rtx, adjust, stack_pointer_rtx, 0,
928                        OPTAB_LIB_WIDEN);
929
930   if (temp != stack_pointer_rtx)
931     emit_move_insn (stack_pointer_rtx, temp);
932 }
933
934 /* Round the size of a block to be pushed up to the boundary required
935    by this machine.  SIZE is the desired size, which need not be constant.  */
936
937 static rtx
938 round_push (rtx size)
939 {
940   rtx align_rtx, alignm1_rtx;
941
942   if (!SUPPORTS_STACK_ALIGNMENT
943       || crtl->preferred_stack_boundary == MAX_SUPPORTED_STACK_ALIGNMENT)
944     {
945       int align = crtl->preferred_stack_boundary / BITS_PER_UNIT;
946
947       if (align == 1)
948         return size;
949
950       if (CONST_INT_P (size))
951         {
952           HOST_WIDE_INT new_size = (INTVAL (size) + align - 1) / align * align;
953
954           if (INTVAL (size) != new_size)
955             size = GEN_INT (new_size);
956           return size;
957         }
958
959       align_rtx = GEN_INT (align);
960       alignm1_rtx = GEN_INT (align - 1);
961     }
962   else
963     {
964       /* If crtl->preferred_stack_boundary might still grow, use
965          virtual_preferred_stack_boundary_rtx instead.  This will be
966          substituted by the right value in vregs pass and optimized
967          during combine.  */
968       align_rtx = virtual_preferred_stack_boundary_rtx;
969       alignm1_rtx = force_operand (plus_constant (align_rtx, -1), NULL_RTX);
970     }
971
972   /* CEIL_DIV_EXPR needs to worry about the addition overflowing,
973      but we know it can't.  So add ourselves and then do
974      TRUNC_DIV_EXPR.  */
975   size = expand_binop (Pmode, add_optab, size, alignm1_rtx,
976                        NULL_RTX, 1, OPTAB_LIB_WIDEN);
977   size = expand_divmod (0, TRUNC_DIV_EXPR, Pmode, size, align_rtx,
978                         NULL_RTX, 1);
979   size = expand_mult (Pmode, size, align_rtx, NULL_RTX, 1);
980
981   return size;
982 }
983 \f
984 /* Save the stack pointer for the purpose in SAVE_LEVEL.  PSAVE is a pointer
985    to a previously-created save area.  If no save area has been allocated,
986    this function will allocate one.  If a save area is specified, it
987    must be of the proper mode.  */
988
989 void
990 emit_stack_save (enum save_level save_level, rtx *psave)
991 {
992   rtx sa = *psave;
993   /* The default is that we use a move insn and save in a Pmode object.  */
994   rtx (*fcn) (rtx, rtx) = gen_move_insn;
995   enum machine_mode mode = STACK_SAVEAREA_MODE (save_level);
996
997   /* See if this machine has anything special to do for this kind of save.  */
998   switch (save_level)
999     {
1000 #ifdef HAVE_save_stack_block
1001     case SAVE_BLOCK:
1002       if (HAVE_save_stack_block)
1003         fcn = gen_save_stack_block;
1004       break;
1005 #endif
1006 #ifdef HAVE_save_stack_function
1007     case SAVE_FUNCTION:
1008       if (HAVE_save_stack_function)
1009         fcn = gen_save_stack_function;
1010       break;
1011 #endif
1012 #ifdef HAVE_save_stack_nonlocal
1013     case SAVE_NONLOCAL:
1014       if (HAVE_save_stack_nonlocal)
1015         fcn = gen_save_stack_nonlocal;
1016       break;
1017 #endif
1018     default:
1019       break;
1020     }
1021
1022   /* If there is no save area and we have to allocate one, do so.  Otherwise
1023      verify the save area is the proper mode.  */
1024
1025   if (sa == 0)
1026     {
1027       if (mode != VOIDmode)
1028         {
1029           if (save_level == SAVE_NONLOCAL)
1030             *psave = sa = assign_stack_local (mode, GET_MODE_SIZE (mode), 0);
1031           else
1032             *psave = sa = gen_reg_rtx (mode);
1033         }
1034     }
1035
1036   do_pending_stack_adjust ();
1037   if (sa != 0)
1038     sa = validize_mem (sa);
1039   emit_insn (fcn (sa, stack_pointer_rtx));
1040 }
1041
1042 /* Restore the stack pointer for the purpose in SAVE_LEVEL.  SA is the save
1043    area made by emit_stack_save.  If it is zero, we have nothing to do.  */
1044
1045 void
1046 emit_stack_restore (enum save_level save_level, rtx sa)
1047 {
1048   /* The default is that we use a move insn.  */
1049   rtx (*fcn) (rtx, rtx) = gen_move_insn;
1050
1051   /* See if this machine has anything special to do for this kind of save.  */
1052   switch (save_level)
1053     {
1054 #ifdef HAVE_restore_stack_block
1055     case SAVE_BLOCK:
1056       if (HAVE_restore_stack_block)
1057         fcn = gen_restore_stack_block;
1058       break;
1059 #endif
1060 #ifdef HAVE_restore_stack_function
1061     case SAVE_FUNCTION:
1062       if (HAVE_restore_stack_function)
1063         fcn = gen_restore_stack_function;
1064       break;
1065 #endif
1066 #ifdef HAVE_restore_stack_nonlocal
1067     case SAVE_NONLOCAL:
1068       if (HAVE_restore_stack_nonlocal)
1069         fcn = gen_restore_stack_nonlocal;
1070       break;
1071 #endif
1072     default:
1073       break;
1074     }
1075
1076   if (sa != 0)
1077     {
1078       sa = validize_mem (sa);
1079       /* These clobbers prevent the scheduler from moving
1080          references to variable arrays below the code
1081          that deletes (pops) the arrays.  */
1082       emit_clobber (gen_rtx_MEM (BLKmode, gen_rtx_SCRATCH (VOIDmode)));
1083       emit_clobber (gen_rtx_MEM (BLKmode, stack_pointer_rtx));
1084     }
1085
1086   discard_pending_stack_adjust ();
1087
1088   emit_insn (fcn (stack_pointer_rtx, sa));
1089 }
1090
1091 /* Invoke emit_stack_save on the nonlocal_goto_save_area for the current
1092    function.  This function should be called whenever we allocate or
1093    deallocate dynamic stack space.  */
1094
1095 void
1096 update_nonlocal_goto_save_area (void)
1097 {
1098   tree t_save;
1099   rtx r_save;
1100
1101   /* The nonlocal_goto_save_area object is an array of N pointers.  The
1102      first one is used for the frame pointer save; the rest are sized by
1103      STACK_SAVEAREA_MODE.  Create a reference to array index 1, the first
1104      of the stack save area slots.  */
1105   t_save = build4 (ARRAY_REF, ptr_type_node, cfun->nonlocal_goto_save_area,
1106                    integer_one_node, NULL_TREE, NULL_TREE);
1107   r_save = expand_expr (t_save, NULL_RTX, VOIDmode, EXPAND_WRITE);
1108
1109   emit_stack_save (SAVE_NONLOCAL, &r_save);
1110 }
1111 \f
1112 /* Return an rtx representing the address of an area of memory dynamically
1113    pushed on the stack.
1114
1115    Any required stack pointer alignment is preserved.
1116
1117    SIZE is an rtx representing the size of the area.
1118
1119    SIZE_ALIGN is the alignment (in bits) that we know SIZE has.  This
1120    parameter may be zero.  If so, a proper value will be extracted 
1121    from SIZE if it is constant, otherwise BITS_PER_UNIT will be assumed.
1122
1123    REQUIRED_ALIGN is the alignment (in bits) required for the region
1124    of memory.
1125
1126    If CANNOT_ACCUMULATE is set to TRUE, the caller guarantees that the
1127    stack space allocated by the generated code cannot be added with itself
1128    in the course of the execution of the function.  It is always safe to
1129    pass FALSE here and the following criterion is sufficient in order to
1130    pass TRUE: every path in the CFG that starts at the allocation point and
1131    loops to it executes the associated deallocation code.  */
1132
1133 rtx
1134 allocate_dynamic_stack_space (rtx size, unsigned size_align,
1135                               unsigned required_align, bool cannot_accumulate)
1136 {
1137   HOST_WIDE_INT stack_usage_size = -1;
1138   rtx final_label, final_target, target;
1139   unsigned extra_align = 0;
1140   bool must_align;
1141
1142   /* If we're asking for zero bytes, it doesn't matter what we point
1143      to since we can't dereference it.  But return a reasonable
1144      address anyway.  */
1145   if (size == const0_rtx)
1146     return virtual_stack_dynamic_rtx;
1147
1148   /* Otherwise, show we're calling alloca or equivalent.  */
1149   cfun->calls_alloca = 1;
1150
1151   /* If stack usage info is requested, look into the size we are passed.
1152      We need to do so this early to avoid the obfuscation that may be
1153      introduced later by the various alignment operations.  */
1154   if (flag_stack_usage_info)
1155     {
1156       if (CONST_INT_P (size))
1157         stack_usage_size = INTVAL (size);
1158       else if (REG_P (size))
1159         {
1160           /* Look into the last emitted insn and see if we can deduce
1161              something for the register.  */
1162           rtx insn, set, note;
1163           insn = get_last_insn ();
1164           if ((set = single_set (insn)) && rtx_equal_p (SET_DEST (set), size))
1165             {
1166               if (CONST_INT_P (SET_SRC (set)))
1167                 stack_usage_size = INTVAL (SET_SRC (set));
1168               else if ((note = find_reg_equal_equiv_note (insn))
1169                        && CONST_INT_P (XEXP (note, 0)))
1170                 stack_usage_size = INTVAL (XEXP (note, 0));
1171             }
1172         }
1173
1174       /* If the size is not constant, we can't say anything.  */
1175       if (stack_usage_size == -1)
1176         {
1177           current_function_has_unbounded_dynamic_stack_size = 1;
1178           stack_usage_size = 0;
1179         }
1180     }
1181
1182   /* Ensure the size is in the proper mode.  */
1183   if (GET_MODE (size) != VOIDmode && GET_MODE (size) != Pmode)
1184     size = convert_to_mode (Pmode, size, 1);
1185
1186   /* Adjust SIZE_ALIGN, if needed.  */
1187   if (CONST_INT_P (size))
1188     {
1189       unsigned HOST_WIDE_INT lsb;
1190
1191       lsb = INTVAL (size);
1192       lsb &= -lsb;
1193
1194       /* Watch out for overflow truncating to "unsigned".  */
1195       if (lsb > UINT_MAX / BITS_PER_UNIT)
1196         size_align = 1u << (HOST_BITS_PER_INT - 1);
1197       else
1198         size_align = (unsigned)lsb * BITS_PER_UNIT;
1199     }
1200   else if (size_align < BITS_PER_UNIT)
1201     size_align = BITS_PER_UNIT;
1202
1203   /* We can't attempt to minimize alignment necessary, because we don't
1204      know the final value of preferred_stack_boundary yet while executing
1205      this code.  */
1206   if (crtl->preferred_stack_boundary < PREFERRED_STACK_BOUNDARY)
1207     crtl->preferred_stack_boundary = PREFERRED_STACK_BOUNDARY;
1208
1209   /* We will need to ensure that the address we return is aligned to
1210      REQUIRED_ALIGN.  If STACK_DYNAMIC_OFFSET is defined, we don't
1211      always know its final value at this point in the compilation (it
1212      might depend on the size of the outgoing parameter lists, for
1213      example), so we must align the value to be returned in that case.
1214      (Note that STACK_DYNAMIC_OFFSET will have a default nonzero value if
1215      STACK_POINTER_OFFSET or ACCUMULATE_OUTGOING_ARGS are defined).
1216      We must also do an alignment operation on the returned value if
1217      the stack pointer alignment is less strict than REQUIRED_ALIGN.
1218
1219      If we have to align, we must leave space in SIZE for the hole
1220      that might result from the alignment operation.  */
1221
1222   must_align = (crtl->preferred_stack_boundary < required_align);
1223   if (must_align)
1224     {
1225       if (required_align > PREFERRED_STACK_BOUNDARY)
1226         extra_align = PREFERRED_STACK_BOUNDARY;
1227       else if (required_align > STACK_BOUNDARY)
1228         extra_align = STACK_BOUNDARY;
1229       else
1230         extra_align = BITS_PER_UNIT;
1231     }
1232
1233   /* ??? STACK_POINTER_OFFSET is always defined now.  */
1234 #if defined (STACK_DYNAMIC_OFFSET) || defined (STACK_POINTER_OFFSET)
1235   must_align = true;
1236   extra_align = BITS_PER_UNIT;
1237 #endif
1238
1239   if (must_align)
1240     {
1241       unsigned extra = (required_align - extra_align) / BITS_PER_UNIT;
1242
1243       size = plus_constant (size, extra);
1244       size = force_operand (size, NULL_RTX);
1245
1246       if (flag_stack_usage_info)
1247         stack_usage_size += extra;
1248
1249       if (extra && size_align > extra_align)
1250         size_align = extra_align;
1251     }
1252
1253   /* Round the size to a multiple of the required stack alignment.
1254      Since the stack if presumed to be rounded before this allocation,
1255      this will maintain the required alignment.
1256
1257      If the stack grows downward, we could save an insn by subtracting
1258      SIZE from the stack pointer and then aligning the stack pointer.
1259      The problem with this is that the stack pointer may be unaligned
1260      between the execution of the subtraction and alignment insns and
1261      some machines do not allow this.  Even on those that do, some
1262      signal handlers malfunction if a signal should occur between those
1263      insns.  Since this is an extremely rare event, we have no reliable
1264      way of knowing which systems have this problem.  So we avoid even
1265      momentarily mis-aligning the stack.  */
1266   if (size_align % MAX_SUPPORTED_STACK_ALIGNMENT != 0)
1267     {
1268       size = round_push (size);
1269
1270       if (flag_stack_usage_info)
1271         {
1272           int align = crtl->preferred_stack_boundary / BITS_PER_UNIT;
1273           stack_usage_size = (stack_usage_size + align - 1) / align * align;
1274         }
1275     }
1276
1277   target = gen_reg_rtx (Pmode);
1278
1279   /* The size is supposed to be fully adjusted at this point so record it
1280      if stack usage info is requested.  */
1281   if (flag_stack_usage_info)
1282     {
1283       current_function_dynamic_stack_size += stack_usage_size;
1284
1285       /* ??? This is gross but the only safe stance in the absence
1286          of stack usage oriented flow analysis.  */
1287       if (!cannot_accumulate)
1288         current_function_has_unbounded_dynamic_stack_size = 1;
1289     }
1290
1291   final_label = NULL_RTX;
1292   final_target = NULL_RTX;
1293
1294   /* If we are splitting the stack, we need to ask the backend whether
1295      there is enough room on the current stack.  If there isn't, or if
1296      the backend doesn't know how to tell is, then we need to call a
1297      function to allocate memory in some other way.  This memory will
1298      be released when we release the current stack segment.  The
1299      effect is that stack allocation becomes less efficient, but at
1300      least it doesn't cause a stack overflow.  */
1301   if (flag_split_stack)
1302     {
1303       rtx available_label, ask, space, func;
1304
1305       available_label = NULL_RTX;
1306
1307 #ifdef HAVE_split_stack_space_check
1308       if (HAVE_split_stack_space_check)
1309         {
1310           available_label = gen_label_rtx ();
1311
1312           /* This instruction will branch to AVAILABLE_LABEL if there
1313              are SIZE bytes available on the stack.  */
1314           emit_insn (gen_split_stack_space_check (size, available_label));
1315         }
1316 #endif
1317
1318       /* The __morestack_allocate_stack_space function will allocate
1319          memory using malloc.  If the alignment of the memory returned
1320          by malloc does not meet REQUIRED_ALIGN, we increase SIZE to
1321          make sure we allocate enough space.  */
1322       if (MALLOC_ABI_ALIGNMENT >= required_align)
1323         ask = size;
1324       else
1325         {
1326           ask = expand_binop (Pmode, add_optab, size,
1327                               GEN_INT (required_align / BITS_PER_UNIT - 1),
1328                               NULL_RTX, 1, OPTAB_LIB_WIDEN);
1329           must_align = true;
1330         }
1331
1332       func = init_one_libfunc ("__morestack_allocate_stack_space");
1333
1334       space = emit_library_call_value (func, target, LCT_NORMAL, Pmode,
1335                                        1, ask, Pmode);
1336
1337       if (available_label == NULL_RTX)
1338         return space;
1339
1340       final_target = gen_reg_rtx (Pmode);
1341
1342       emit_move_insn (final_target, space);
1343
1344       final_label = gen_label_rtx ();
1345       emit_jump (final_label);
1346
1347       emit_label (available_label);
1348     }
1349
1350   do_pending_stack_adjust ();
1351
1352  /* We ought to be called always on the toplevel and stack ought to be aligned
1353     properly.  */
1354   gcc_assert (!(stack_pointer_delta
1355                 % (PREFERRED_STACK_BOUNDARY / BITS_PER_UNIT)));
1356
1357   /* If needed, check that we have the required amount of stack.  Take into
1358      account what has already been checked.  */
1359   if (STACK_CHECK_MOVING_SP)
1360     ;
1361   else if (flag_stack_check == GENERIC_STACK_CHECK)
1362     probe_stack_range (STACK_OLD_CHECK_PROTECT + STACK_CHECK_MAX_FRAME_SIZE,
1363                        size);
1364   else if (flag_stack_check == STATIC_BUILTIN_STACK_CHECK)
1365     probe_stack_range (STACK_CHECK_PROTECT, size);
1366
1367   /* Perform the required allocation from the stack.  Some systems do
1368      this differently than simply incrementing/decrementing from the
1369      stack pointer, such as acquiring the space by calling malloc().  */
1370 #ifdef HAVE_allocate_stack
1371   if (HAVE_allocate_stack)
1372     {
1373       struct expand_operand ops[2];
1374       /* We don't have to check against the predicate for operand 0 since
1375          TARGET is known to be a pseudo of the proper mode, which must
1376          be valid for the operand.  */
1377       create_fixed_operand (&ops[0], target);
1378       create_convert_operand_to (&ops[1], size, STACK_SIZE_MODE, true);
1379       expand_insn (CODE_FOR_allocate_stack, 2, ops);
1380     }
1381   else
1382 #endif
1383     {
1384       int saved_stack_pointer_delta;
1385
1386 #ifndef STACK_GROWS_DOWNWARD
1387       emit_move_insn (target, virtual_stack_dynamic_rtx);
1388 #endif
1389
1390       /* Check stack bounds if necessary.  */
1391       if (crtl->limit_stack)
1392         {
1393           rtx available;
1394           rtx space_available = gen_label_rtx ();
1395 #ifdef STACK_GROWS_DOWNWARD
1396           available = expand_binop (Pmode, sub_optab,
1397                                     stack_pointer_rtx, stack_limit_rtx,
1398                                     NULL_RTX, 1, OPTAB_WIDEN);
1399 #else
1400           available = expand_binop (Pmode, sub_optab,
1401                                     stack_limit_rtx, stack_pointer_rtx,
1402                                     NULL_RTX, 1, OPTAB_WIDEN);
1403 #endif
1404           emit_cmp_and_jump_insns (available, size, GEU, NULL_RTX, Pmode, 1,
1405                                    space_available);
1406 #ifdef HAVE_trap
1407           if (HAVE_trap)
1408             emit_insn (gen_trap ());
1409           else
1410 #endif
1411             error ("stack limits not supported on this target");
1412           emit_barrier ();
1413           emit_label (space_available);
1414         }
1415
1416       saved_stack_pointer_delta = stack_pointer_delta;
1417       if (flag_stack_check && STACK_CHECK_MOVING_SP)
1418         anti_adjust_stack_and_probe (size, false);
1419       else
1420         anti_adjust_stack (size);
1421       /* Even if size is constant, don't modify stack_pointer_delta.
1422          The constant size alloca should preserve
1423          crtl->preferred_stack_boundary alignment.  */
1424       stack_pointer_delta = saved_stack_pointer_delta;
1425
1426 #ifdef STACK_GROWS_DOWNWARD
1427       emit_move_insn (target, virtual_stack_dynamic_rtx);
1428 #endif
1429     }
1430
1431   /* Finish up the split stack handling.  */
1432   if (final_label != NULL_RTX)
1433     {
1434       gcc_assert (flag_split_stack);
1435       emit_move_insn (final_target, target);
1436       emit_label (final_label);
1437       target = final_target;
1438     }
1439
1440   if (must_align)
1441     {
1442       /* CEIL_DIV_EXPR needs to worry about the addition overflowing,
1443          but we know it can't.  So add ourselves and then do
1444          TRUNC_DIV_EXPR.  */
1445       target = expand_binop (Pmode, add_optab, target,
1446                              GEN_INT (required_align / BITS_PER_UNIT - 1),
1447                              NULL_RTX, 1, OPTAB_LIB_WIDEN);
1448       target = expand_divmod (0, TRUNC_DIV_EXPR, Pmode, target,
1449                               GEN_INT (required_align / BITS_PER_UNIT),
1450                               NULL_RTX, 1);
1451       target = expand_mult (Pmode, target,
1452                             GEN_INT (required_align / BITS_PER_UNIT),
1453                             NULL_RTX, 1);
1454     }
1455
1456   /* Now that we've committed to a return value, mark its alignment.  */
1457   mark_reg_pointer (target, required_align);
1458
1459   /* Record the new stack level for nonlocal gotos.  */
1460   if (cfun->nonlocal_goto_save_area != 0)
1461     update_nonlocal_goto_save_area ();
1462
1463   return target;
1464 }
1465 \f
1466 /* A front end may want to override GCC's stack checking by providing a
1467    run-time routine to call to check the stack, so provide a mechanism for
1468    calling that routine.  */
1469
1470 static GTY(()) rtx stack_check_libfunc;
1471
1472 void
1473 set_stack_check_libfunc (const char *libfunc_name)
1474 {
1475   gcc_assert (stack_check_libfunc == NULL_RTX);
1476   stack_check_libfunc = gen_rtx_SYMBOL_REF (Pmode, libfunc_name);
1477 }
1478 \f
1479 /* Emit one stack probe at ADDRESS, an address within the stack.  */
1480
1481 void
1482 emit_stack_probe (rtx address)
1483 {
1484   rtx memref = gen_rtx_MEM (word_mode, address);
1485
1486   MEM_VOLATILE_P (memref) = 1;
1487
1488   /* See if we have an insn to probe the stack.  */
1489 #ifdef HAVE_probe_stack
1490   if (HAVE_probe_stack)
1491     emit_insn (gen_probe_stack (memref));
1492   else
1493 #endif
1494     emit_move_insn (memref, const0_rtx);
1495 }
1496
1497 /* Probe a range of stack addresses from FIRST to FIRST+SIZE, inclusive.
1498    FIRST is a constant and size is a Pmode RTX.  These are offsets from
1499    the current stack pointer.  STACK_GROWS_DOWNWARD says whether to add
1500    or subtract them from the stack pointer.  */
1501
1502 #define PROBE_INTERVAL (1 << STACK_CHECK_PROBE_INTERVAL_EXP)
1503
1504 #ifdef STACK_GROWS_DOWNWARD
1505 #define STACK_GROW_OP MINUS
1506 #define STACK_GROW_OPTAB sub_optab
1507 #define STACK_GROW_OFF(off) -(off)
1508 #else
1509 #define STACK_GROW_OP PLUS
1510 #define STACK_GROW_OPTAB add_optab
1511 #define STACK_GROW_OFF(off) (off)
1512 #endif
1513
1514 void
1515 probe_stack_range (HOST_WIDE_INT first, rtx size)
1516 {
1517   /* First ensure SIZE is Pmode.  */
1518   if (GET_MODE (size) != VOIDmode && GET_MODE (size) != Pmode)
1519     size = convert_to_mode (Pmode, size, 1);
1520
1521   /* Next see if we have a function to check the stack.  */
1522   if (stack_check_libfunc)
1523     {
1524       rtx addr = memory_address (Pmode,
1525                                  gen_rtx_fmt_ee (STACK_GROW_OP, Pmode,
1526                                                  stack_pointer_rtx,
1527                                                  plus_constant (size, first)));
1528       emit_library_call (stack_check_libfunc, LCT_NORMAL, VOIDmode, 1, addr,
1529                          Pmode);
1530       return;
1531     }
1532
1533   /* Next see if we have an insn to check the stack.  */
1534 #ifdef HAVE_check_stack
1535   if (HAVE_check_stack)
1536     {
1537       struct expand_operand ops[1];
1538       rtx addr = memory_address (Pmode,
1539                                  gen_rtx_fmt_ee (STACK_GROW_OP, Pmode,
1540                                                  stack_pointer_rtx,
1541                                                  plus_constant (size, first)));
1542
1543       create_input_operand (&ops[0], addr, Pmode);
1544       if (maybe_expand_insn (CODE_FOR_check_stack, 1, ops))
1545         return;
1546     }
1547 #endif
1548
1549   /* Otherwise we have to generate explicit probes.  If we have a constant
1550      small number of them to generate, that's the easy case.  */
1551   else if (CONST_INT_P (size) && INTVAL (size) < 7 * PROBE_INTERVAL)
1552     {
1553       HOST_WIDE_INT isize = INTVAL (size), i;
1554       rtx addr;
1555
1556       /* Probe at FIRST + N * PROBE_INTERVAL for values of N from 1 until
1557          it exceeds SIZE.  If only one probe is needed, this will not
1558          generate any code.  Then probe at FIRST + SIZE.  */
1559       for (i = PROBE_INTERVAL; i < isize; i += PROBE_INTERVAL)
1560         {
1561           addr = memory_address (Pmode,
1562                                  plus_constant (stack_pointer_rtx,
1563                                                 STACK_GROW_OFF (first + i)));
1564           emit_stack_probe (addr);
1565         }
1566
1567       addr = memory_address (Pmode,
1568                              plus_constant (stack_pointer_rtx,
1569                                             STACK_GROW_OFF (first + isize)));
1570       emit_stack_probe (addr);
1571     }
1572
1573   /* In the variable case, do the same as above, but in a loop.  Note that we
1574      must be extra careful with variables wrapping around because we might be
1575      at the very top (or the very bottom) of the address space and we have to
1576      be able to handle this case properly; in particular, we use an equality
1577      test for the loop condition.  */
1578   else
1579     {
1580       rtx rounded_size, rounded_size_op, test_addr, last_addr, temp;
1581       rtx loop_lab = gen_label_rtx ();
1582       rtx end_lab = gen_label_rtx ();
1583
1584
1585       /* Step 1: round SIZE to the previous multiple of the interval.  */
1586
1587       /* ROUNDED_SIZE = SIZE & -PROBE_INTERVAL  */
1588       rounded_size
1589         = simplify_gen_binary (AND, Pmode, size, GEN_INT (-PROBE_INTERVAL));
1590       rounded_size_op = force_operand (rounded_size, NULL_RTX);
1591
1592
1593       /* Step 2: compute initial and final value of the loop counter.  */
1594
1595       /* TEST_ADDR = SP + FIRST.  */
1596       test_addr = force_operand (gen_rtx_fmt_ee (STACK_GROW_OP, Pmode,
1597                                                  stack_pointer_rtx,
1598                                                  GEN_INT (first)), NULL_RTX);
1599
1600       /* LAST_ADDR = SP + FIRST + ROUNDED_SIZE.  */
1601       last_addr = force_operand (gen_rtx_fmt_ee (STACK_GROW_OP, Pmode,
1602                                                  test_addr,
1603                                                  rounded_size_op), NULL_RTX);
1604
1605
1606       /* Step 3: the loop
1607
1608          while (TEST_ADDR != LAST_ADDR)
1609            {
1610              TEST_ADDR = TEST_ADDR + PROBE_INTERVAL
1611              probe at TEST_ADDR
1612            }
1613
1614          probes at FIRST + N * PROBE_INTERVAL for values of N from 1
1615          until it is equal to ROUNDED_SIZE.  */
1616
1617       emit_label (loop_lab);
1618
1619       /* Jump to END_LAB if TEST_ADDR == LAST_ADDR.  */
1620       emit_cmp_and_jump_insns (test_addr, last_addr, EQ, NULL_RTX, Pmode, 1,
1621                                end_lab);
1622
1623       /* TEST_ADDR = TEST_ADDR + PROBE_INTERVAL.  */
1624       temp = expand_binop (Pmode, STACK_GROW_OPTAB, test_addr,
1625                            GEN_INT (PROBE_INTERVAL), test_addr,
1626                            1, OPTAB_WIDEN);
1627
1628       gcc_assert (temp == test_addr);
1629
1630       /* Probe at TEST_ADDR.  */
1631       emit_stack_probe (test_addr);
1632
1633       emit_jump (loop_lab);
1634
1635       emit_label (end_lab);
1636
1637
1638       /* Step 4: probe at FIRST + SIZE if we cannot assert at compile-time
1639          that SIZE is equal to ROUNDED_SIZE.  */
1640
1641       /* TEMP = SIZE - ROUNDED_SIZE.  */
1642       temp = simplify_gen_binary (MINUS, Pmode, size, rounded_size);
1643       if (temp != const0_rtx)
1644         {
1645           rtx addr;
1646
1647           if (CONST_INT_P (temp))
1648             {
1649               /* Use [base + disp} addressing mode if supported.  */
1650               HOST_WIDE_INT offset = INTVAL (temp);
1651               addr = memory_address (Pmode,
1652                                      plus_constant (last_addr,
1653                                                     STACK_GROW_OFF (offset)));
1654             }
1655           else
1656             {
1657               /* Manual CSE if the difference is not known at compile-time.  */
1658               temp = gen_rtx_MINUS (Pmode, size, rounded_size_op);
1659               addr = memory_address (Pmode,
1660                                      gen_rtx_fmt_ee (STACK_GROW_OP, Pmode,
1661                                                      last_addr, temp));
1662             }
1663
1664           emit_stack_probe (addr);
1665         }
1666     }
1667 }
1668
1669 /* Adjust the stack pointer by minus SIZE (an rtx for a number of bytes)
1670    while probing it.  This pushes when SIZE is positive.  SIZE need not
1671    be constant.  If ADJUST_BACK is true, adjust back the stack pointer
1672    by plus SIZE at the end.  */
1673
1674 void
1675 anti_adjust_stack_and_probe (rtx size, bool adjust_back)
1676 {
1677   /* We skip the probe for the first interval + a small dope of 4 words and
1678      probe that many bytes past the specified size to maintain a protection
1679      area at the botton of the stack.  */
1680   const int dope = 4 * UNITS_PER_WORD;
1681
1682   /* First ensure SIZE is Pmode.  */
1683   if (GET_MODE (size) != VOIDmode && GET_MODE (size) != Pmode)
1684     size = convert_to_mode (Pmode, size, 1);
1685
1686   /* If we have a constant small number of probes to generate, that's the
1687      easy case.  */
1688   if (CONST_INT_P (size) && INTVAL (size) < 7 * PROBE_INTERVAL)
1689     {
1690       HOST_WIDE_INT isize = INTVAL (size), i;
1691       bool first_probe = true;
1692
1693       /* Adjust SP and probe at PROBE_INTERVAL + N * PROBE_INTERVAL for
1694          values of N from 1 until it exceeds SIZE.  If only one probe is
1695          needed, this will not generate any code.  Then adjust and probe
1696          to PROBE_INTERVAL + SIZE.  */
1697       for (i = PROBE_INTERVAL; i < isize; i += PROBE_INTERVAL)
1698         {
1699           if (first_probe)
1700             {
1701               anti_adjust_stack (GEN_INT (2 * PROBE_INTERVAL + dope));
1702               first_probe = false;
1703             }
1704           else
1705             anti_adjust_stack (GEN_INT (PROBE_INTERVAL));
1706           emit_stack_probe (stack_pointer_rtx);
1707         }
1708
1709       if (first_probe)
1710         anti_adjust_stack (plus_constant (size, PROBE_INTERVAL + dope));
1711       else
1712         anti_adjust_stack (plus_constant (size, PROBE_INTERVAL - i));
1713       emit_stack_probe (stack_pointer_rtx);
1714     }
1715
1716   /* In the variable case, do the same as above, but in a loop.  Note that we
1717      must be extra careful with variables wrapping around because we might be
1718      at the very top (or the very bottom) of the address space and we have to
1719      be able to handle this case properly; in particular, we use an equality
1720      test for the loop condition.  */
1721   else
1722     {
1723       rtx rounded_size, rounded_size_op, last_addr, temp;
1724       rtx loop_lab = gen_label_rtx ();
1725       rtx end_lab = gen_label_rtx ();
1726
1727
1728       /* Step 1: round SIZE to the previous multiple of the interval.  */
1729
1730       /* ROUNDED_SIZE = SIZE & -PROBE_INTERVAL  */
1731       rounded_size
1732         = simplify_gen_binary (AND, Pmode, size, GEN_INT (-PROBE_INTERVAL));
1733       rounded_size_op = force_operand (rounded_size, NULL_RTX);
1734
1735
1736       /* Step 2: compute initial and final value of the loop counter.  */
1737
1738       /* SP = SP_0 + PROBE_INTERVAL.  */
1739       anti_adjust_stack (GEN_INT (PROBE_INTERVAL + dope));
1740
1741       /* LAST_ADDR = SP_0 + PROBE_INTERVAL + ROUNDED_SIZE.  */
1742       last_addr = force_operand (gen_rtx_fmt_ee (STACK_GROW_OP, Pmode,
1743                                                  stack_pointer_rtx,
1744                                                  rounded_size_op), NULL_RTX);
1745
1746
1747       /* Step 3: the loop
1748
1749          while (SP != LAST_ADDR)
1750            {
1751              SP = SP + PROBE_INTERVAL
1752              probe at SP
1753            }
1754
1755          adjusts SP and probes at PROBE_INTERVAL + N * PROBE_INTERVAL for
1756          values of N from 1 until it is equal to ROUNDED_SIZE.  */
1757
1758       emit_label (loop_lab);
1759
1760       /* Jump to END_LAB if SP == LAST_ADDR.  */
1761       emit_cmp_and_jump_insns (stack_pointer_rtx, last_addr, EQ, NULL_RTX,
1762                                Pmode, 1, end_lab);
1763
1764       /* SP = SP + PROBE_INTERVAL and probe at SP.  */
1765       anti_adjust_stack (GEN_INT (PROBE_INTERVAL));
1766       emit_stack_probe (stack_pointer_rtx);
1767
1768       emit_jump (loop_lab);
1769
1770       emit_label (end_lab);
1771
1772
1773       /* Step 4: adjust SP and probe at PROBE_INTERVAL + SIZE if we cannot
1774          assert at compile-time that SIZE is equal to ROUNDED_SIZE.  */
1775
1776       /* TEMP = SIZE - ROUNDED_SIZE.  */
1777       temp = simplify_gen_binary (MINUS, Pmode, size, rounded_size);
1778       if (temp != const0_rtx)
1779         {
1780           /* Manual CSE if the difference is not known at compile-time.  */
1781           if (GET_CODE (temp) != CONST_INT)
1782             temp = gen_rtx_MINUS (Pmode, size, rounded_size_op);
1783           anti_adjust_stack (temp);
1784           emit_stack_probe (stack_pointer_rtx);
1785         }
1786     }
1787
1788   /* Adjust back and account for the additional first interval.  */
1789   if (adjust_back)
1790     adjust_stack (plus_constant (size, PROBE_INTERVAL + dope));
1791   else
1792     adjust_stack (GEN_INT (PROBE_INTERVAL + dope));
1793 }
1794
1795 /* Return an rtx representing the register or memory location
1796    in which a scalar value of data type VALTYPE
1797    was returned by a function call to function FUNC.
1798    FUNC is a FUNCTION_DECL, FNTYPE a FUNCTION_TYPE node if the precise
1799    function is known, otherwise 0.
1800    OUTGOING is 1 if on a machine with register windows this function
1801    should return the register in which the function will put its result
1802    and 0 otherwise.  */
1803
1804 rtx
1805 hard_function_value (const_tree valtype, const_tree func, const_tree fntype,
1806                      int outgoing ATTRIBUTE_UNUSED)
1807 {
1808   rtx val;
1809
1810   val = targetm.calls.function_value (valtype, func ? func : fntype, outgoing);
1811
1812   if (REG_P (val)
1813       && GET_MODE (val) == BLKmode)
1814     {
1815       unsigned HOST_WIDE_INT bytes = int_size_in_bytes (valtype);
1816       enum machine_mode tmpmode;
1817
1818       /* int_size_in_bytes can return -1.  We don't need a check here
1819          since the value of bytes will then be large enough that no
1820          mode will match anyway.  */
1821
1822       for (tmpmode = GET_CLASS_NARROWEST_MODE (MODE_INT);
1823            tmpmode != VOIDmode;
1824            tmpmode = GET_MODE_WIDER_MODE (tmpmode))
1825         {
1826           /* Have we found a large enough mode?  */
1827           if (GET_MODE_SIZE (tmpmode) >= bytes)
1828             break;
1829         }
1830
1831       /* No suitable mode found.  */
1832       gcc_assert (tmpmode != VOIDmode);
1833
1834       PUT_MODE (val, tmpmode);
1835     }
1836   return val;
1837 }
1838
1839 /* Return an rtx representing the register or memory location
1840    in which a scalar value of mode MODE was returned by a library call.  */
1841
1842 rtx
1843 hard_libcall_value (enum machine_mode mode, rtx fun)
1844 {
1845   return targetm.calls.libcall_value (mode, fun);
1846 }
1847
1848 /* Look up the tree code for a given rtx code
1849    to provide the arithmetic operation for REAL_ARITHMETIC.
1850    The function returns an int because the caller may not know
1851    what `enum tree_code' means.  */
1852
1853 int
1854 rtx_to_tree_code (enum rtx_code code)
1855 {
1856   enum tree_code tcode;
1857
1858   switch (code)
1859     {
1860     case PLUS:
1861       tcode = PLUS_EXPR;
1862       break;
1863     case MINUS:
1864       tcode = MINUS_EXPR;
1865       break;
1866     case MULT:
1867       tcode = MULT_EXPR;
1868       break;
1869     case DIV:
1870       tcode = RDIV_EXPR;
1871       break;
1872     case SMIN:
1873       tcode = MIN_EXPR;
1874       break;
1875     case SMAX:
1876       tcode = MAX_EXPR;
1877       break;
1878     default:
1879       tcode = LAST_AND_UNUSED_TREE_CODE;
1880       break;
1881     }
1882   return ((int) tcode);
1883 }
1884
1885 #include "gt-explow.h"