OSDN Git Service

a3c0d3e4c2c7e2d23cca68441c77e4a317723076
[pf3gnuchains/gcc-fork.git] / gcc / config / i386 / i386.md
1 ;; GCC machine description for IA-32 and x86-64.
2 ;; Copyright (C) 1988, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
3 ;; 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012
4 ;; Free Software Foundation, Inc.
5 ;; Mostly by William Schelter.
6 ;; x86_64 support added by Jan Hubicka
7 ;;
8 ;; This file is part of GCC.
9 ;;
10 ;; GCC is free software; you can redistribute it and/or modify
11 ;; it under the terms of the GNU General Public License as published by
12 ;; the Free Software Foundation; either version 3, or (at your option)
13 ;; any later version.
14 ;;
15 ;; GCC is distributed in the hope that it will be useful,
16 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18 ;; GNU General Public License for more details.
19 ;;
20 ;; You should have received a copy of the GNU General Public License
21 ;; along with GCC; see the file COPYING3.  If not see
22 ;; <http://www.gnu.org/licenses/>.  */
23 ;;
24 ;; The original PO technology requires these to be ordered by speed,
25 ;; so that assigner will pick the fastest.
26 ;;
27 ;; See file "rtl.def" for documentation on define_insn, match_*, et. al.
28 ;;
29 ;; The special asm out single letter directives following a '%' are:
30 ;; L,W,B,Q,S,T -- print the opcode suffix for specified size of operand.
31 ;; C -- print opcode suffix for set/cmov insn.
32 ;; c -- like C, but print reversed condition
33 ;; F,f -- likewise, but for floating-point.
34 ;; O -- if HAVE_AS_IX86_CMOV_SUN_SYNTAX, expand to "w.", "l." or "q.",
35 ;;      otherwise nothing
36 ;; R -- print the prefix for register names.
37 ;; z -- print the opcode suffix for the size of the current operand.
38 ;; Z -- likewise, with special suffixes for x87 instructions.
39 ;; * -- print a star (in certain assembler syntax)
40 ;; A -- print an absolute memory reference.
41 ;; E -- print address with DImode register names if TARGET_64BIT.
42 ;; w -- print the operand as if it's a "word" (HImode) even if it isn't.
43 ;; s -- print a shift double count, followed by the assemblers argument
44 ;;      delimiter.
45 ;; b -- print the QImode name of the register for the indicated operand.
46 ;;      %b0 would print %al if operands[0] is reg 0.
47 ;; w --  likewise, print the HImode name of the register.
48 ;; k --  likewise, print the SImode name of the register.
49 ;; q --  likewise, print the DImode name of the register.
50 ;; x --  likewise, print the V4SFmode name of the register.
51 ;; t --  likewise, print the V8SFmode name of the register.
52 ;; h -- print the QImode name for a "high" register, either ah, bh, ch or dh.
53 ;; y -- print "st(0)" instead of "st" as a register.
54 ;; d -- print duplicated register operand for AVX instruction.
55 ;; D -- print condition for SSE cmp instruction.
56 ;; P -- if PIC, print an @PLT suffix.
57 ;; p -- print raw symbol name.
58 ;; X -- don't print any sort of PIC '@' suffix for a symbol.
59 ;; & -- print some in-use local-dynamic symbol name.
60 ;; H -- print a memory address offset by 8; used for sse high-parts
61 ;; Y -- print condition for XOP pcom* instruction.
62 ;; + -- print a branch hint as 'cs' or 'ds' prefix
63 ;; ; -- print a semicolon (after prefixes due to bug in older gas).
64 ;; @ -- print a segment register of thread base pointer load
65
66 (define_c_enum "unspec" [
67   ;; Relocation specifiers
68   UNSPEC_GOT
69   UNSPEC_GOTOFF
70   UNSPEC_GOTPCREL
71   UNSPEC_GOTTPOFF
72   UNSPEC_TPOFF
73   UNSPEC_NTPOFF
74   UNSPEC_DTPOFF
75   UNSPEC_GOTNTPOFF
76   UNSPEC_INDNTPOFF
77   UNSPEC_PLTOFF
78   UNSPEC_MACHOPIC_OFFSET
79   UNSPEC_PCREL
80
81   ;; Prologue support
82   UNSPEC_STACK_ALLOC
83   UNSPEC_SET_GOT
84   UNSPEC_SET_RIP
85   UNSPEC_SET_GOT_OFFSET
86   UNSPEC_MEMORY_BLOCKAGE
87   UNSPEC_STACK_CHECK
88
89   ;; TLS support
90   UNSPEC_TP
91   UNSPEC_TLS_GD
92   UNSPEC_TLS_LD_BASE
93   UNSPEC_TLSDESC
94   UNSPEC_TLS_IE_SUN
95
96   ;; Other random patterns
97   UNSPEC_SCAS
98   UNSPEC_FNSTSW
99   UNSPEC_SAHF
100   UNSPEC_PARITY
101   UNSPEC_FSTCW
102   UNSPEC_ADD_CARRY
103   UNSPEC_FLDCW
104   UNSPEC_REP
105   UNSPEC_LD_MPIC        ; load_macho_picbase
106   UNSPEC_TRUNC_NOOP
107   UNSPEC_DIV_ALREADY_SPLIT
108   UNSPEC_MS_TO_SYSV_CALL
109   UNSPEC_CALL_NEEDS_VZEROUPPER
110   UNSPEC_PAUSE
111   UNSPEC_LEA_ADDR
112
113   ;; For SSE/MMX support:
114   UNSPEC_FIX_NOTRUNC
115   UNSPEC_MASKMOV
116   UNSPEC_MOVMSK
117   UNSPEC_RCP
118   UNSPEC_RSQRT
119   UNSPEC_PSADBW
120
121   ;; Generic math support
122   UNSPEC_COPYSIGN
123   UNSPEC_IEEE_MIN       ; not commutative
124   UNSPEC_IEEE_MAX       ; not commutative
125
126   ;; x87 Floating point
127   UNSPEC_SIN
128   UNSPEC_COS
129   UNSPEC_FPATAN
130   UNSPEC_FYL2X
131   UNSPEC_FYL2XP1
132   UNSPEC_FRNDINT
133   UNSPEC_FIST
134   UNSPEC_F2XM1
135   UNSPEC_TAN
136   UNSPEC_FXAM
137
138   ;; x87 Rounding
139   UNSPEC_FRNDINT_FLOOR
140   UNSPEC_FRNDINT_CEIL
141   UNSPEC_FRNDINT_TRUNC
142   UNSPEC_FRNDINT_MASK_PM
143   UNSPEC_FIST_FLOOR
144   UNSPEC_FIST_CEIL
145
146   ;; x87 Double output FP
147   UNSPEC_SINCOS_COS
148   UNSPEC_SINCOS_SIN
149   UNSPEC_XTRACT_FRACT
150   UNSPEC_XTRACT_EXP
151   UNSPEC_FSCALE_FRACT
152   UNSPEC_FSCALE_EXP
153   UNSPEC_FPREM_F
154   UNSPEC_FPREM_U
155   UNSPEC_FPREM1_F
156   UNSPEC_FPREM1_U
157
158   UNSPEC_C2_FLAG
159   UNSPEC_FXAM_MEM
160
161   ;; SSP patterns
162   UNSPEC_SP_SET
163   UNSPEC_SP_TEST
164   UNSPEC_SP_TLS_SET
165   UNSPEC_SP_TLS_TEST
166
167   ;; For ROUND support
168   UNSPEC_ROUND
169
170   ;; For CRC32 support
171   UNSPEC_CRC32
172
173   ;; For BMI support
174   UNSPEC_BEXTR
175
176   ;; For BMI2 support
177   UNSPEC_PDEP
178   UNSPEC_PEXT
179 ])
180
181 (define_c_enum "unspecv" [
182   UNSPECV_BLOCKAGE
183   UNSPECV_STACK_PROBE
184   UNSPECV_PROBE_STACK_RANGE
185   UNSPECV_ALIGN
186   UNSPECV_PROLOGUE_USE
187   UNSPECV_SPLIT_STACK_RETURN
188   UNSPECV_CLD
189   UNSPECV_NOPS
190   UNSPECV_RDTSC
191   UNSPECV_RDTSCP
192   UNSPECV_RDPMC
193   UNSPECV_LLWP_INTRINSIC
194   UNSPECV_SLWP_INTRINSIC
195   UNSPECV_LWPVAL_INTRINSIC
196   UNSPECV_LWPINS_INTRINSIC
197   UNSPECV_RDFSBASE
198   UNSPECV_RDGSBASE
199   UNSPECV_WRFSBASE
200   UNSPECV_WRGSBASE
201
202   ;; For RDRAND support
203   UNSPECV_RDRAND
204 ])
205
206 ;; Constants to represent rounding modes in the ROUND instruction
207 (define_constants
208   [(ROUND_FLOOR                 0x1)
209    (ROUND_CEIL                  0x2)
210    (ROUND_TRUNC                 0x3)
211    (ROUND_MXCSR                 0x4)
212    (ROUND_NO_EXC                0x8)
213   ])
214
215 ;; Constants to represent pcomtrue/pcomfalse variants
216 (define_constants
217   [(PCOM_FALSE                  0)
218    (PCOM_TRUE                   1)
219    (COM_FALSE_S                 2)
220    (COM_FALSE_P                 3)
221    (COM_TRUE_S                  4)
222    (COM_TRUE_P                  5)
223   ])
224
225 ;; Constants used in the XOP pperm instruction
226 (define_constants
227   [(PPERM_SRC                   0x00)   /* copy source */
228    (PPERM_INVERT                0x20)   /* invert source */
229    (PPERM_REVERSE               0x40)   /* bit reverse source */
230    (PPERM_REV_INV               0x60)   /* bit reverse & invert src */
231    (PPERM_ZERO                  0x80)   /* all 0's */
232    (PPERM_ONES                  0xa0)   /* all 1's */
233    (PPERM_SIGN                  0xc0)   /* propagate sign bit */
234    (PPERM_INV_SIGN              0xe0)   /* invert & propagate sign */
235    (PPERM_SRC1                  0x00)   /* use first source byte */
236    (PPERM_SRC2                  0x10)   /* use second source byte */
237    ])
238
239 ;; Registers by name.
240 (define_constants
241   [(AX_REG                       0)
242    (DX_REG                       1)
243    (CX_REG                       2)
244    (BX_REG                       3)
245    (SI_REG                       4)
246    (DI_REG                       5)
247    (BP_REG                       6)
248    (SP_REG                       7)
249    (ST0_REG                      8)
250    (ST1_REG                      9)
251    (ST2_REG                     10)
252    (ST3_REG                     11)
253    (ST4_REG                     12)
254    (ST5_REG                     13)
255    (ST6_REG                     14)
256    (ST7_REG                     15)
257    (FLAGS_REG                   17)
258    (FPSR_REG                    18)
259    (FPCR_REG                    19)
260    (XMM0_REG                    21)
261    (XMM1_REG                    22)
262    (XMM2_REG                    23)
263    (XMM3_REG                    24)
264    (XMM4_REG                    25)
265    (XMM5_REG                    26)
266    (XMM6_REG                    27)
267    (XMM7_REG                    28)
268    (MM0_REG                     29)
269    (MM1_REG                     30)
270    (MM2_REG                     31)
271    (MM3_REG                     32)
272    (MM4_REG                     33)
273    (MM5_REG                     34)
274    (MM6_REG                     35)
275    (MM7_REG                     36)
276    (R8_REG                      37)
277    (R9_REG                      38)
278    (R10_REG                     39)
279    (R11_REG                     40)
280    (R12_REG                     41)
281    (R13_REG                     42)
282    (XMM8_REG                    45)
283    (XMM9_REG                    46)
284    (XMM10_REG                   47)
285    (XMM11_REG                   48)
286    (XMM12_REG                   49)
287    (XMM13_REG                   50)
288    (XMM14_REG                   51)
289    (XMM15_REG                   52)
290   ])
291
292 ;; Insns whose names begin with "x86_" are emitted by gen_FOO calls
293 ;; from i386.c.
294
295 ;; In C guard expressions, put expressions which may be compile-time
296 ;; constants first.  This allows for better optimization.  For
297 ;; example, write "TARGET_64BIT && reload_completed", not
298 ;; "reload_completed && TARGET_64BIT".
299
300 \f
301 ;; Processor type.
302 (define_attr "cpu" "none,pentium,pentiumpro,geode,k6,athlon,k8,core2,corei7,
303                     atom,generic64,amdfam10,bdver1,bdver2,btver1"
304   (const (symbol_ref "ix86_schedule")))
305
306 ;; A basic instruction type.  Refinements due to arguments to be
307 ;; provided in other attributes.
308 (define_attr "type"
309   "other,multi,
310    alu,alu1,negnot,imov,imovx,lea,
311    incdec,ishift,ishiftx,ishift1,rotate,rotatex,rotate1,imul,imulx,idiv,
312    icmp,test,ibr,setcc,icmov,
313    push,pop,call,callv,leave,
314    str,bitmanip,
315    fmov,fop,fsgn,fmul,fdiv,fpspc,fcmov,fcmp,fxch,fistp,fisttp,frndint,
316    sselog,sselog1,sseiadd,sseiadd1,sseishft,sseishft1,sseimul,
317    sse,ssemov,sseadd,ssemul,ssecmp,ssecomi,ssecvt,ssecvt1,sseicvt,ssediv,sseins,
318    ssemuladd,sse4arg,lwp,
319    mmx,mmxmov,mmxadd,mmxmul,mmxcmp,mmxcvt,mmxshft"
320   (const_string "other"))
321
322 ;; Main data type used by the insn
323 (define_attr "mode"
324   "unknown,none,QI,HI,SI,DI,TI,OI,SF,DF,XF,TF,V8SF,V4DF,V4SF,V2DF,V2SF,V1DF"
325   (const_string "unknown"))
326
327 ;; The CPU unit operations uses.
328 (define_attr "unit" "integer,i387,sse,mmx,unknown"
329   (cond [(eq_attr "type" "fmov,fop,fsgn,fmul,fdiv,fpspc,fcmov,fcmp,fxch,fistp,fisttp,frndint")
330            (const_string "i387")
331          (eq_attr "type" "sselog,sselog1,sseiadd,sseiadd1,sseishft,sseishft1,sseimul,
332                           sse,ssemov,sseadd,ssemul,ssecmp,ssecomi,ssecvt,
333                           ssecvt1,sseicvt,ssediv,sseins,ssemuladd,sse4arg")
334            (const_string "sse")
335          (eq_attr "type" "mmx,mmxmov,mmxadd,mmxmul,mmxcmp,mmxcvt,mmxshft")
336            (const_string "mmx")
337          (eq_attr "type" "other")
338            (const_string "unknown")]
339          (const_string "integer")))
340
341 ;; The (bounding maximum) length of an instruction immediate.
342 (define_attr "length_immediate" ""
343   (cond [(eq_attr "type" "incdec,setcc,icmov,str,lea,other,multi,idiv,leave,
344                           bitmanip,imulx")
345            (const_int 0)
346          (eq_attr "unit" "i387,sse,mmx")
347            (const_int 0)
348          (eq_attr "type" "alu,alu1,negnot,imovx,ishift,ishiftx,ishift1,
349                           rotate,rotatex,rotate1,imul,icmp,push,pop")
350            (symbol_ref "ix86_attr_length_immediate_default (insn, true)")
351          (eq_attr "type" "imov,test")
352            (symbol_ref "ix86_attr_length_immediate_default (insn, false)")
353          (eq_attr "type" "call")
354            (if_then_else (match_operand 0 "constant_call_address_operand" "")
355              (const_int 4)
356              (const_int 0))
357          (eq_attr "type" "callv")
358            (if_then_else (match_operand 1 "constant_call_address_operand" "")
359              (const_int 4)
360              (const_int 0))
361          ;; We don't know the size before shorten_branches.  Expect
362          ;; the instruction to fit for better scheduling.
363          (eq_attr "type" "ibr")
364            (const_int 1)
365          ]
366          (symbol_ref "/* Update immediate_length and other attributes! */
367                       gcc_unreachable (),1")))
368
369 ;; The (bounding maximum) length of an instruction address.
370 (define_attr "length_address" ""
371   (cond [(eq_attr "type" "str,other,multi,fxch")
372            (const_int 0)
373          (and (eq_attr "type" "call")
374               (match_operand 0 "constant_call_address_operand" ""))
375              (const_int 0)
376          (and (eq_attr "type" "callv")
377               (match_operand 1 "constant_call_address_operand" ""))
378              (const_int 0)
379          ]
380          (symbol_ref "ix86_attr_length_address_default (insn)")))
381
382 ;; Set when length prefix is used.
383 (define_attr "prefix_data16" ""
384   (cond [(eq_attr "type" "ssemuladd,sse4arg,sseiadd1,ssecvt1")
385            (const_int 0)
386          (eq_attr "mode" "HI")
387            (const_int 1)
388          (and (eq_attr "unit" "sse") (eq_attr "mode" "V2DF,TI"))
389            (const_int 1)
390         ]
391         (const_int 0)))
392
393 ;; Set when string REP prefix is used.
394 (define_attr "prefix_rep" ""
395   (cond [(eq_attr "type" "ssemuladd,sse4arg,sseiadd1,ssecvt1")
396            (const_int 0)
397          (and (eq_attr "unit" "sse") (eq_attr "mode" "SF,DF"))
398            (const_int 1)
399         ]
400         (const_int 0)))
401
402 ;; Set when 0f opcode prefix is used.
403 (define_attr "prefix_0f" ""
404   (if_then_else
405     (ior (eq_attr "type" "imovx,setcc,icmov,bitmanip")
406          (eq_attr "unit" "sse,mmx"))
407     (const_int 1)
408     (const_int 0)))
409
410 ;; Set when REX opcode prefix is used.
411 (define_attr "prefix_rex" ""
412   (cond [(not (match_test "TARGET_64BIT"))
413            (const_int 0)
414          (and (eq_attr "mode" "DI")
415               (and (eq_attr "type" "!push,pop,call,callv,leave,ibr")
416                    (eq_attr "unit" "!mmx")))
417            (const_int 1)
418          (and (eq_attr "mode" "QI")
419               (match_test "x86_extended_QIreg_mentioned_p (insn)"))
420            (const_int 1)
421          (match_test "x86_extended_reg_mentioned_p (insn)")
422            (const_int 1)
423          (and (eq_attr "type" "imovx")
424               (match_operand:QI 1 "ext_QIreg_operand" ""))
425            (const_int 1)
426         ]
427         (const_int 0)))
428
429 ;; There are also additional prefixes in 3DNOW, SSSE3.
430 ;; ssemuladd,sse4arg default to 0f24/0f25 and DREX byte,
431 ;; sseiadd1,ssecvt1 to 0f7a with no DREX byte.
432 ;; 3DNOW has 0f0f prefix, SSSE3 and SSE4_{1,2} 0f38/0f3a.
433 (define_attr "prefix_extra" ""
434   (cond [(eq_attr "type" "ssemuladd,sse4arg")
435            (const_int 2)
436          (eq_attr "type" "sseiadd1,ssecvt1")
437            (const_int 1)
438         ]
439         (const_int 0)))
440
441 ;; Prefix used: original, VEX or maybe VEX.
442 (define_attr "prefix" "orig,vex,maybe_vex"
443   (if_then_else (eq_attr "mode" "OI,V8SF,V4DF")
444     (const_string "vex")
445     (const_string "orig")))
446
447 ;; VEX W bit is used.
448 (define_attr "prefix_vex_w" "" (const_int 0))
449
450 ;; The length of VEX prefix
451 ;; Only instructions with 0f prefix can have 2 byte VEX prefix,
452 ;; 0f38/0f3a prefixes can't.  In i386.md 0f3[8a] is
453 ;; still prefix_0f 1, with prefix_extra 1.
454 (define_attr "length_vex" ""
455   (if_then_else (and (eq_attr "prefix_0f" "1")
456                      (eq_attr "prefix_extra" "0"))
457     (if_then_else (eq_attr "prefix_vex_w" "1")
458       (symbol_ref "ix86_attr_length_vex_default (insn, true, true)")
459       (symbol_ref "ix86_attr_length_vex_default (insn, true, false)"))
460     (if_then_else (eq_attr "prefix_vex_w" "1")
461       (symbol_ref "ix86_attr_length_vex_default (insn, false, true)")
462       (symbol_ref "ix86_attr_length_vex_default (insn, false, false)"))))
463
464 ;; Set when modrm byte is used.
465 (define_attr "modrm" ""
466   (cond [(eq_attr "type" "str,leave")
467            (const_int 0)
468          (eq_attr "unit" "i387")
469            (const_int 0)
470          (and (eq_attr "type" "incdec")
471               (and (not (match_test "TARGET_64BIT"))
472                    (ior (match_operand:SI 1 "register_operand" "")
473                         (match_operand:HI 1 "register_operand" ""))))
474            (const_int 0)
475          (and (eq_attr "type" "push")
476               (not (match_operand 1 "memory_operand" "")))
477            (const_int 0)
478          (and (eq_attr "type" "pop")
479               (not (match_operand 0 "memory_operand" "")))
480            (const_int 0)
481          (and (eq_attr "type" "imov")
482               (and (not (eq_attr "mode" "DI"))
483                    (ior (and (match_operand 0 "register_operand" "")
484                              (match_operand 1 "immediate_operand" ""))
485                         (ior (and (match_operand 0 "ax_reg_operand" "")
486                                   (match_operand 1 "memory_displacement_only_operand" ""))
487                              (and (match_operand 0 "memory_displacement_only_operand" "")
488                                   (match_operand 1 "ax_reg_operand" ""))))))
489            (const_int 0)
490          (and (eq_attr "type" "call")
491               (match_operand 0 "constant_call_address_operand" ""))
492              (const_int 0)
493          (and (eq_attr "type" "callv")
494               (match_operand 1 "constant_call_address_operand" ""))
495              (const_int 0)
496          (and (eq_attr "type" "alu,alu1,icmp,test")
497               (match_operand 0 "ax_reg_operand" ""))
498              (symbol_ref "(get_attr_length_immediate (insn) <= (get_attr_mode (insn) != MODE_QI))")
499          ]
500          (const_int 1)))
501
502 ;; The (bounding maximum) length of an instruction in bytes.
503 ;; ??? fistp and frndint are in fact fldcw/{fistp,frndint}/fldcw sequences.
504 ;; Later we may want to split them and compute proper length as for
505 ;; other insns.
506 (define_attr "length" ""
507   (cond [(eq_attr "type" "other,multi,fistp,frndint")
508            (const_int 16)
509          (eq_attr "type" "fcmp")
510            (const_int 4)
511          (eq_attr "unit" "i387")
512            (plus (const_int 2)
513                  (plus (attr "prefix_data16")
514                        (attr "length_address")))
515          (ior (eq_attr "prefix" "vex")
516               (and (eq_attr "prefix" "maybe_vex")
517                    (match_test "TARGET_AVX")))
518            (plus (attr "length_vex")
519                  (plus (attr "length_immediate")
520                        (plus (attr "modrm")
521                              (attr "length_address"))))]
522          (plus (plus (attr "modrm")
523                      (plus (attr "prefix_0f")
524                            (plus (attr "prefix_rex")
525                                  (plus (attr "prefix_extra")
526                                        (const_int 1)))))
527                (plus (attr "prefix_rep")
528                      (plus (attr "prefix_data16")
529                            (plus (attr "length_immediate")
530                                  (attr "length_address")))))))
531
532 ;; The `memory' attribute is `none' if no memory is referenced, `load' or
533 ;; `store' if there is a simple memory reference therein, or `unknown'
534 ;; if the instruction is complex.
535
536 (define_attr "memory" "none,load,store,both,unknown"
537   (cond [(eq_attr "type" "other,multi,str,lwp")
538            (const_string "unknown")
539          (eq_attr "type" "lea,fcmov,fpspc")
540            (const_string "none")
541          (eq_attr "type" "fistp,leave")
542            (const_string "both")
543          (eq_attr "type" "frndint")
544            (const_string "load")
545          (eq_attr "type" "push")
546            (if_then_else (match_operand 1 "memory_operand" "")
547              (const_string "both")
548              (const_string "store"))
549          (eq_attr "type" "pop")
550            (if_then_else (match_operand 0 "memory_operand" "")
551              (const_string "both")
552              (const_string "load"))
553          (eq_attr "type" "setcc")
554            (if_then_else (match_operand 0 "memory_operand" "")
555              (const_string "store")
556              (const_string "none"))
557          (eq_attr "type" "icmp,test,ssecmp,ssecomi,mmxcmp,fcmp")
558            (if_then_else (ior (match_operand 0 "memory_operand" "")
559                               (match_operand 1 "memory_operand" ""))
560              (const_string "load")
561              (const_string "none"))
562          (eq_attr "type" "ibr")
563            (if_then_else (match_operand 0 "memory_operand" "")
564              (const_string "load")
565              (const_string "none"))
566          (eq_attr "type" "call")
567            (if_then_else (match_operand 0 "constant_call_address_operand" "")
568              (const_string "none")
569              (const_string "load"))
570          (eq_attr "type" "callv")
571            (if_then_else (match_operand 1 "constant_call_address_operand" "")
572              (const_string "none")
573              (const_string "load"))
574          (and (eq_attr "type" "alu1,negnot,ishift1,sselog1")
575               (match_operand 1 "memory_operand" ""))
576            (const_string "both")
577          (and (match_operand 0 "memory_operand" "")
578               (match_operand 1 "memory_operand" ""))
579            (const_string "both")
580          (match_operand 0 "memory_operand" "")
581            (const_string "store")
582          (match_operand 1 "memory_operand" "")
583            (const_string "load")
584          (and (eq_attr "type"
585                  "!alu1,negnot,ishift1,
586                    imov,imovx,icmp,test,bitmanip,
587                    fmov,fcmp,fsgn,
588                    sse,ssemov,ssecmp,ssecomi,ssecvt,ssecvt1,sseicvt,sselog1,
589                    sseiadd1,mmx,mmxmov,mmxcmp,mmxcvt")
590               (match_operand 2 "memory_operand" ""))
591            (const_string "load")
592          (and (eq_attr "type" "icmov,ssemuladd,sse4arg")
593               (match_operand 3 "memory_operand" ""))
594            (const_string "load")
595         ]
596         (const_string "none")))
597
598 ;; Indicates if an instruction has both an immediate and a displacement.
599
600 (define_attr "imm_disp" "false,true,unknown"
601   (cond [(eq_attr "type" "other,multi")
602            (const_string "unknown")
603          (and (eq_attr "type" "icmp,test,imov,alu1,ishift1,rotate1")
604               (and (match_operand 0 "memory_displacement_operand" "")
605                    (match_operand 1 "immediate_operand" "")))
606            (const_string "true")
607          (and (eq_attr "type" "alu,ishift,ishiftx,rotate,rotatex,imul,idiv")
608               (and (match_operand 0 "memory_displacement_operand" "")
609                    (match_operand 2 "immediate_operand" "")))
610            (const_string "true")
611         ]
612         (const_string "false")))
613
614 ;; Indicates if an FP operation has an integer source.
615
616 (define_attr "fp_int_src" "false,true"
617   (const_string "false"))
618
619 ;; Defines rounding mode of an FP operation.
620
621 (define_attr "i387_cw" "trunc,floor,ceil,mask_pm,uninitialized,any"
622   (const_string "any"))
623
624 ;; Define attribute to classify add/sub insns that consumes carry flag (CF)
625 (define_attr "use_carry" "0,1" (const_string "0"))
626
627 ;; Define attribute to indicate unaligned ssemov insns
628 (define_attr "movu" "0,1" (const_string "0"))
629
630 ;; Used to control the "enabled" attribute on a per-instruction basis.
631 (define_attr "isa" "base,sse2,sse2_noavx,sse3,sse4,sse4_noavx,noavx,avx,
632                     bmi2,fma,fma4"
633   (const_string "base"))
634
635 (define_attr "enabled" ""
636   (cond [(eq_attr "isa" "sse2") (symbol_ref "TARGET_SSE2")
637          (eq_attr "isa" "sse2_noavx")
638            (symbol_ref "TARGET_SSE2 && !TARGET_AVX")
639          (eq_attr "isa" "sse3") (symbol_ref "TARGET_SSE3")
640          (eq_attr "isa" "sse4") (symbol_ref "TARGET_SSE4_1")
641          (eq_attr "isa" "sse4_noavx")
642            (symbol_ref "TARGET_SSE4_1 && !TARGET_AVX")
643          (eq_attr "isa" "avx") (symbol_ref "TARGET_AVX")
644          (eq_attr "isa" "noavx") (symbol_ref "!TARGET_AVX")
645          (eq_attr "isa" "bmi2") (symbol_ref "TARGET_BMI2")
646          (eq_attr "isa" "fma") (symbol_ref "TARGET_FMA")
647          ;; Fma instruction selection has to be done based on
648          ;; register pressure. For generating fma4, a cost model
649          ;; based on register pressure is required. Till then,
650          ;; fma4 instruction is disabled for targets that implement
651          ;; both fma and fma4 instruction sets.
652          (eq_attr "isa" "fma4")
653            (symbol_ref "TARGET_FMA4 && !TARGET_FMA")
654         ]
655         (const_int 1)))
656
657 ;; Describe a user's asm statement.
658 (define_asm_attributes
659   [(set_attr "length" "128")
660    (set_attr "type" "multi")])
661
662 (define_code_iterator plusminus [plus minus])
663
664 (define_code_iterator sat_plusminus [ss_plus us_plus ss_minus us_minus])
665
666 ;; Base name for define_insn
667 (define_code_attr plusminus_insn
668   [(plus "add") (ss_plus "ssadd") (us_plus "usadd")
669    (minus "sub") (ss_minus "sssub") (us_minus "ussub")])
670
671 ;; Base name for insn mnemonic.
672 (define_code_attr plusminus_mnemonic
673   [(plus "add") (ss_plus "adds") (us_plus "addus")
674    (minus "sub") (ss_minus "subs") (us_minus "subus")])
675 (define_code_attr plusminus_carry_mnemonic
676   [(plus "adc") (minus "sbb")])
677
678 ;; Mark commutative operators as such in constraints.
679 (define_code_attr comm [(plus "%") (ss_plus "%") (us_plus "%")
680                         (minus "") (ss_minus "") (us_minus "")])
681
682 ;; Mapping of max and min
683 (define_code_iterator maxmin [smax smin umax umin])
684
685 ;; Mapping of signed max and min
686 (define_code_iterator smaxmin [smax smin])
687
688 ;; Mapping of unsigned max and min
689 (define_code_iterator umaxmin [umax umin])
690
691 ;; Base name for integer and FP insn mnemonic
692 (define_code_attr maxmin_int [(smax "maxs") (smin "mins")
693                               (umax "maxu") (umin "minu")])
694 (define_code_attr maxmin_float [(smax "max") (smin "min")])
695
696 ;; Mapping of logic operators
697 (define_code_iterator any_logic [and ior xor])
698 (define_code_iterator any_or [ior xor])
699
700 ;; Base name for insn mnemonic.
701 (define_code_attr logic [(and "and") (ior "or") (xor "xor")])
702
703 ;; Mapping of logic-shift operators
704 (define_code_iterator any_lshift [ashift lshiftrt])
705
706 ;; Mapping of shift-right operators
707 (define_code_iterator any_shiftrt [lshiftrt ashiftrt])
708
709 ;; Base name for define_insn
710 (define_code_attr shift_insn
711   [(ashift "ashl") (lshiftrt "lshr") (ashiftrt "ashr")])
712
713 ;; Base name for insn mnemonic.
714 (define_code_attr shift [(ashift "sll") (lshiftrt "shr") (ashiftrt "sar")])
715 (define_code_attr vshift [(ashift "sll") (lshiftrt "srl") (ashiftrt "sra")])
716
717 ;; Mapping of rotate operators
718 (define_code_iterator any_rotate [rotate rotatert])
719
720 ;; Base name for define_insn
721 (define_code_attr rotate_insn [(rotate "rotl") (rotatert "rotr")])
722
723 ;; Base name for insn mnemonic.
724 (define_code_attr rotate [(rotate "rol") (rotatert "ror")])
725
726 ;; Mapping of abs neg operators
727 (define_code_iterator absneg [abs neg])
728
729 ;; Base name for x87 insn mnemonic.
730 (define_code_attr absneg_mnemonic [(abs "abs") (neg "chs")])
731
732 ;; Used in signed and unsigned widening multiplications.
733 (define_code_iterator any_extend [sign_extend zero_extend])
734
735 ;; Prefix for insn menmonic.
736 (define_code_attr sgnprefix [(sign_extend "i") (zero_extend "")])
737
738 ;; Prefix for define_insn
739 (define_code_attr u [(sign_extend "") (zero_extend "u")])
740 (define_code_attr s [(sign_extend "s") (zero_extend "u")])
741
742 ;; All integer modes.
743 (define_mode_iterator SWI1248x [QI HI SI DI])
744
745 ;; All integer modes without QImode.
746 (define_mode_iterator SWI248x [HI SI DI])
747
748 ;; All integer modes without QImode and HImode.
749 (define_mode_iterator SWI48x [SI DI])
750
751 ;; All integer modes without SImode and DImode.
752 (define_mode_iterator SWI12 [QI HI])
753
754 ;; All integer modes without DImode.
755 (define_mode_iterator SWI124 [QI HI SI])
756
757 ;; All integer modes without QImode and DImode.
758 (define_mode_iterator SWI24 [HI SI])
759
760 ;; Single word integer modes.
761 (define_mode_iterator SWI [QI HI SI (DI "TARGET_64BIT")])
762
763 ;; Single word integer modes without QImode.
764 (define_mode_iterator SWI248 [HI SI (DI "TARGET_64BIT")])
765
766 ;; Single word integer modes without QImode and HImode.
767 (define_mode_iterator SWI48 [SI (DI "TARGET_64BIT")])
768
769 ;; All math-dependant single and double word integer modes.
770 (define_mode_iterator SDWIM [(QI "TARGET_QIMODE_MATH")
771                              (HI "TARGET_HIMODE_MATH")
772                              SI DI (TI "TARGET_64BIT")])
773
774 ;; Math-dependant single word integer modes.
775 (define_mode_iterator SWIM [(QI "TARGET_QIMODE_MATH")
776                             (HI "TARGET_HIMODE_MATH")
777                             SI (DI "TARGET_64BIT")])
778
779 ;; Math-dependant integer modes without DImode.
780 (define_mode_iterator SWIM124 [(QI "TARGET_QIMODE_MATH")
781                                (HI "TARGET_HIMODE_MATH")
782                                SI])
783
784 ;; Math-dependant single word integer modes without QImode.
785 (define_mode_iterator SWIM248 [(HI "TARGET_HIMODE_MATH")
786                                SI (DI "TARGET_64BIT")])
787
788 ;; Double word integer modes.
789 (define_mode_iterator DWI [(DI "!TARGET_64BIT")
790                            (TI "TARGET_64BIT")])
791
792 ;; Double word integer modes as mode attribute.
793 (define_mode_attr DWI [(SI "DI") (DI "TI")])
794 (define_mode_attr dwi [(SI "di") (DI "ti")])
795
796 ;; Half mode for double word integer modes.
797 (define_mode_iterator DWIH [(SI "!TARGET_64BIT")
798                             (DI "TARGET_64BIT")])
799
800 ;; Instruction suffix for integer modes.
801 (define_mode_attr imodesuffix [(QI "b") (HI "w") (SI "l") (DI "q")])
802
803 ;; Pointer size prefix for integer modes (Intel asm dialect)
804 (define_mode_attr iptrsize [(QI "BYTE")
805                             (HI "WORD")
806                             (SI "DWORD")
807                             (DI "QWORD")])
808
809 ;; Register class for integer modes.
810 (define_mode_attr r [(QI "q") (HI "r") (SI "r") (DI "r")])
811
812 ;; Immediate operand constraint for integer modes.
813 (define_mode_attr i [(QI "n") (HI "n") (SI "e") (DI "e")])
814
815 ;; General operand constraint for word modes.
816 (define_mode_attr g [(QI "qmn") (HI "rmn") (SI "rme") (DI "rme")])
817
818 ;; Immediate operand constraint for double integer modes.
819 (define_mode_attr di [(SI "nF") (DI "e")])
820
821 ;; Immediate operand constraint for shifts.
822 (define_mode_attr S [(QI "I") (HI "I") (SI "I") (DI "J") (TI "O")])
823
824 ;; General operand predicate for integer modes.
825 (define_mode_attr general_operand
826         [(QI "general_operand")
827          (HI "general_operand")
828          (SI "x86_64_general_operand")
829          (DI "x86_64_general_operand")
830          (TI "x86_64_general_operand")])
831
832 ;; General sign/zero extend operand predicate for integer modes.
833 (define_mode_attr general_szext_operand
834         [(QI "general_operand")
835          (HI "general_operand")
836          (SI "x86_64_szext_general_operand")
837          (DI "x86_64_szext_general_operand")])
838
839 ;; Immediate operand predicate for integer modes.
840 (define_mode_attr immediate_operand
841         [(QI "immediate_operand")
842          (HI "immediate_operand")
843          (SI "x86_64_immediate_operand")
844          (DI "x86_64_immediate_operand")])
845
846 ;; Nonmemory operand predicate for integer modes.
847 (define_mode_attr nonmemory_operand
848         [(QI "nonmemory_operand")
849          (HI "nonmemory_operand")
850          (SI "x86_64_nonmemory_operand")
851          (DI "x86_64_nonmemory_operand")])
852
853 ;; Operand predicate for shifts.
854 (define_mode_attr shift_operand
855         [(QI "nonimmediate_operand")
856          (HI "nonimmediate_operand")
857          (SI "nonimmediate_operand")
858          (DI "shiftdi_operand")
859          (TI "register_operand")])
860
861 ;; Operand predicate for shift argument.
862 (define_mode_attr shift_immediate_operand
863         [(QI "const_1_to_31_operand")
864          (HI "const_1_to_31_operand")
865          (SI "const_1_to_31_operand")
866          (DI "const_1_to_63_operand")])
867
868 ;; Input operand predicate for arithmetic left shifts.
869 (define_mode_attr ashl_input_operand
870         [(QI "nonimmediate_operand")
871          (HI "nonimmediate_operand")
872          (SI "nonimmediate_operand")
873          (DI "ashldi_input_operand")
874          (TI "reg_or_pm1_operand")])
875
876 ;; SSE and x87 SFmode and DFmode floating point modes
877 (define_mode_iterator MODEF [SF DF])
878
879 ;; All x87 floating point modes
880 (define_mode_iterator X87MODEF [SF DF XF])
881
882 ;; SSE instruction suffix for various modes
883 (define_mode_attr ssemodesuffix
884   [(SF "ss") (DF "sd")
885    (V8SF "ps") (V4DF "pd")
886    (V4SF "ps") (V2DF "pd")
887    (V16QI "b") (V8HI "w") (V4SI "d") (V2DI "q")
888    (V32QI "b") (V16HI "w") (V8SI "d") (V4DI "q")])
889
890 ;; SSE vector suffix for floating point modes
891 (define_mode_attr ssevecmodesuffix [(SF "ps") (DF "pd")])
892
893 ;; SSE vector mode corresponding to a scalar mode
894 (define_mode_attr ssevecmode
895   [(QI "V16QI") (HI "V8HI") (SI "V4SI") (DI "V2DI") (SF "V4SF") (DF "V2DF")])
896
897 ;; Instruction suffix for REX 64bit operators.
898 (define_mode_attr rex64suffix [(SI "") (DI "{q}")])
899
900 ;; This mode iterator allows :P to be used for patterns that operate on
901 ;; pointer-sized quantities.  Exactly one of the two alternatives will match.
902 (define_mode_iterator P [(SI "Pmode == SImode") (DI "Pmode == DImode")])
903
904 ;; This mode iterator allows :PTR to be used for patterns that operate on
905 ;; ptr_mode sized quantities.
906 (define_mode_iterator PTR
907   [(SI "ptr_mode == SImode") (DI "ptr_mode == DImode")])
908 \f
909 ;; Scheduling descriptions
910
911 (include "pentium.md")
912 (include "ppro.md")
913 (include "k6.md")
914 (include "athlon.md")
915 (include "bdver1.md")
916 (include "geode.md")
917 (include "atom.md")
918 (include "core2.md")
919
920 \f
921 ;; Operand and operator predicates and constraints
922
923 (include "predicates.md")
924 (include "constraints.md")
925
926 \f
927 ;; Compare and branch/compare and store instructions.
928
929 (define_expand "cbranch<mode>4"
930   [(set (reg:CC FLAGS_REG)
931         (compare:CC (match_operand:SDWIM 1 "nonimmediate_operand" "")
932                     (match_operand:SDWIM 2 "<general_operand>" "")))
933    (set (pc) (if_then_else
934                (match_operator 0 "ordered_comparison_operator"
935                 [(reg:CC FLAGS_REG) (const_int 0)])
936                (label_ref (match_operand 3 "" ""))
937                (pc)))]
938   ""
939 {
940   if (MEM_P (operands[1]) && MEM_P (operands[2]))
941     operands[1] = force_reg (<MODE>mode, operands[1]);
942   ix86_expand_branch (GET_CODE (operands[0]),
943                       operands[1], operands[2], operands[3]);
944   DONE;
945 })
946
947 (define_expand "cstore<mode>4"
948   [(set (reg:CC FLAGS_REG)
949         (compare:CC (match_operand:SWIM 2 "nonimmediate_operand" "")
950                     (match_operand:SWIM 3 "<general_operand>" "")))
951    (set (match_operand:QI 0 "register_operand" "")
952         (match_operator 1 "ordered_comparison_operator"
953           [(reg:CC FLAGS_REG) (const_int 0)]))]
954   ""
955 {
956   if (MEM_P (operands[2]) && MEM_P (operands[3]))
957     operands[2] = force_reg (<MODE>mode, operands[2]);
958   ix86_expand_setcc (operands[0], GET_CODE (operands[1]),
959                      operands[2], operands[3]);
960   DONE;
961 })
962
963 (define_expand "cmp<mode>_1"
964   [(set (reg:CC FLAGS_REG)
965         (compare:CC (match_operand:SWI48 0 "nonimmediate_operand" "")
966                     (match_operand:SWI48 1 "<general_operand>" "")))])
967
968 (define_insn "*cmp<mode>_ccno_1"
969   [(set (reg FLAGS_REG)
970         (compare (match_operand:SWI 0 "nonimmediate_operand" "<r>,?m<r>")
971                  (match_operand:SWI 1 "const0_operand" "")))]
972   "ix86_match_ccmode (insn, CCNOmode)"
973   "@
974    test{<imodesuffix>}\t%0, %0
975    cmp{<imodesuffix>}\t{%1, %0|%0, %1}"
976   [(set_attr "type" "test,icmp")
977    (set_attr "length_immediate" "0,1")
978    (set_attr "mode" "<MODE>")])
979
980 (define_insn "*cmp<mode>_1"
981   [(set (reg FLAGS_REG)
982         (compare (match_operand:SWI 0 "nonimmediate_operand" "<r>m,<r>")
983                  (match_operand:SWI 1 "<general_operand>" "<r><i>,<r>m")))]
984   "ix86_match_ccmode (insn, CCmode)"
985   "cmp{<imodesuffix>}\t{%1, %0|%0, %1}"
986   [(set_attr "type" "icmp")
987    (set_attr "mode" "<MODE>")])
988
989 (define_insn "*cmp<mode>_minus_1"
990   [(set (reg FLAGS_REG)
991         (compare
992           (minus:SWI (match_operand:SWI 0 "nonimmediate_operand" "<r>m,<r>")
993                      (match_operand:SWI 1 "<general_operand>" "<r><i>,<r>m"))
994           (const_int 0)))]
995   "ix86_match_ccmode (insn, CCGOCmode)"
996   "cmp{<imodesuffix>}\t{%1, %0|%0, %1}"
997   [(set_attr "type" "icmp")
998    (set_attr "mode" "<MODE>")])
999
1000 (define_insn "*cmpqi_ext_1"
1001   [(set (reg FLAGS_REG)
1002         (compare
1003           (match_operand:QI 0 "general_operand" "Qm")
1004           (subreg:QI
1005             (zero_extract:SI
1006               (match_operand 1 "ext_register_operand" "Q")
1007               (const_int 8)
1008               (const_int 8)) 0)))]
1009   "!TARGET_64BIT && ix86_match_ccmode (insn, CCmode)"
1010   "cmp{b}\t{%h1, %0|%0, %h1}"
1011   [(set_attr "type" "icmp")
1012    (set_attr "mode" "QI")])
1013
1014 (define_insn "*cmpqi_ext_1_rex64"
1015   [(set (reg FLAGS_REG)
1016         (compare
1017           (match_operand:QI 0 "register_operand" "Q")
1018           (subreg:QI
1019             (zero_extract:SI
1020               (match_operand 1 "ext_register_operand" "Q")
1021               (const_int 8)
1022               (const_int 8)) 0)))]
1023   "TARGET_64BIT && ix86_match_ccmode (insn, CCmode)"
1024   "cmp{b}\t{%h1, %0|%0, %h1}"
1025   [(set_attr "type" "icmp")
1026    (set_attr "mode" "QI")])
1027
1028 (define_insn "*cmpqi_ext_2"
1029   [(set (reg FLAGS_REG)
1030         (compare
1031           (subreg:QI
1032             (zero_extract:SI
1033               (match_operand 0 "ext_register_operand" "Q")
1034               (const_int 8)
1035               (const_int 8)) 0)
1036           (match_operand:QI 1 "const0_operand" "")))]
1037   "ix86_match_ccmode (insn, CCNOmode)"
1038   "test{b}\t%h0, %h0"
1039   [(set_attr "type" "test")
1040    (set_attr "length_immediate" "0")
1041    (set_attr "mode" "QI")])
1042
1043 (define_expand "cmpqi_ext_3"
1044   [(set (reg:CC FLAGS_REG)
1045         (compare:CC
1046           (subreg:QI
1047             (zero_extract:SI
1048               (match_operand 0 "ext_register_operand" "")
1049               (const_int 8)
1050               (const_int 8)) 0)
1051           (match_operand:QI 1 "immediate_operand" "")))])
1052
1053 (define_insn "*cmpqi_ext_3_insn"
1054   [(set (reg FLAGS_REG)
1055         (compare
1056           (subreg:QI
1057             (zero_extract:SI
1058               (match_operand 0 "ext_register_operand" "Q")
1059               (const_int 8)
1060               (const_int 8)) 0)
1061           (match_operand:QI 1 "general_operand" "Qmn")))]
1062   "!TARGET_64BIT && ix86_match_ccmode (insn, CCmode)"
1063   "cmp{b}\t{%1, %h0|%h0, %1}"
1064   [(set_attr "type" "icmp")
1065    (set_attr "modrm" "1")
1066    (set_attr "mode" "QI")])
1067
1068 (define_insn "*cmpqi_ext_3_insn_rex64"
1069   [(set (reg FLAGS_REG)
1070         (compare
1071           (subreg:QI
1072             (zero_extract:SI
1073               (match_operand 0 "ext_register_operand" "Q")
1074               (const_int 8)
1075               (const_int 8)) 0)
1076           (match_operand:QI 1 "nonmemory_operand" "Qn")))]
1077   "TARGET_64BIT && ix86_match_ccmode (insn, CCmode)"
1078   "cmp{b}\t{%1, %h0|%h0, %1}"
1079   [(set_attr "type" "icmp")
1080    (set_attr "modrm" "1")
1081    (set_attr "mode" "QI")])
1082
1083 (define_insn "*cmpqi_ext_4"
1084   [(set (reg FLAGS_REG)
1085         (compare
1086           (subreg:QI
1087             (zero_extract:SI
1088               (match_operand 0 "ext_register_operand" "Q")
1089               (const_int 8)
1090               (const_int 8)) 0)
1091           (subreg:QI
1092             (zero_extract:SI
1093               (match_operand 1 "ext_register_operand" "Q")
1094               (const_int 8)
1095               (const_int 8)) 0)))]
1096   "ix86_match_ccmode (insn, CCmode)"
1097   "cmp{b}\t{%h1, %h0|%h0, %h1}"
1098   [(set_attr "type" "icmp")
1099    (set_attr "mode" "QI")])
1100
1101 ;; These implement float point compares.
1102 ;; %%% See if we can get away with VOIDmode operands on the actual insns,
1103 ;; which would allow mix and match FP modes on the compares.  Which is what
1104 ;; the old patterns did, but with many more of them.
1105
1106 (define_expand "cbranchxf4"
1107   [(set (reg:CC FLAGS_REG)
1108         (compare:CC (match_operand:XF 1 "nonmemory_operand" "")
1109                     (match_operand:XF 2 "nonmemory_operand" "")))
1110    (set (pc) (if_then_else
1111               (match_operator 0 "ix86_fp_comparison_operator"
1112                [(reg:CC FLAGS_REG)
1113                 (const_int 0)])
1114               (label_ref (match_operand 3 "" ""))
1115               (pc)))]
1116   "TARGET_80387"
1117 {
1118   ix86_expand_branch (GET_CODE (operands[0]),
1119                       operands[1], operands[2], operands[3]);
1120   DONE;
1121 })
1122
1123 (define_expand "cstorexf4"
1124   [(set (reg:CC FLAGS_REG)
1125         (compare:CC (match_operand:XF 2 "nonmemory_operand" "")
1126                     (match_operand:XF 3 "nonmemory_operand" "")))
1127    (set (match_operand:QI 0 "register_operand" "")
1128               (match_operator 1 "ix86_fp_comparison_operator"
1129                [(reg:CC FLAGS_REG)
1130                 (const_int 0)]))]
1131   "TARGET_80387"
1132 {
1133   ix86_expand_setcc (operands[0], GET_CODE (operands[1]),
1134                      operands[2], operands[3]);
1135   DONE;
1136 })
1137
1138 (define_expand "cbranch<mode>4"
1139   [(set (reg:CC FLAGS_REG)
1140         (compare:CC (match_operand:MODEF 1 "cmp_fp_expander_operand" "")
1141                     (match_operand:MODEF 2 "cmp_fp_expander_operand" "")))
1142    (set (pc) (if_then_else
1143               (match_operator 0 "ix86_fp_comparison_operator"
1144                [(reg:CC FLAGS_REG)
1145                 (const_int 0)])
1146               (label_ref (match_operand 3 "" ""))
1147               (pc)))]
1148   "TARGET_80387 || (SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)"
1149 {
1150   ix86_expand_branch (GET_CODE (operands[0]),
1151                       operands[1], operands[2], operands[3]);
1152   DONE;
1153 })
1154
1155 (define_expand "cstore<mode>4"
1156   [(set (reg:CC FLAGS_REG)
1157         (compare:CC (match_operand:MODEF 2 "cmp_fp_expander_operand" "")
1158                     (match_operand:MODEF 3 "cmp_fp_expander_operand" "")))
1159    (set (match_operand:QI 0 "register_operand" "")
1160               (match_operator 1 "ix86_fp_comparison_operator"
1161                [(reg:CC FLAGS_REG)
1162                 (const_int 0)]))]
1163   "TARGET_80387 || (SSE_FLOAT_MODE_P (<MODE>mode) && TARGET_SSE_MATH)"
1164 {
1165   ix86_expand_setcc (operands[0], GET_CODE (operands[1]),
1166                      operands[2], operands[3]);
1167   DONE;
1168 })
1169
1170 (define_expand "cbranchcc4"
1171   [(set (pc) (if_then_else
1172               (match_operator 0 "comparison_operator"
1173                [(match_operand 1 "flags_reg_operand" "")
1174                 (match_operand 2 "const0_operand" "")])
1175               (label_ref (match_operand 3 "" ""))
1176               (pc)))]
1177   ""
1178 {
1179   ix86_expand_branch (GET_CODE (operands[0]),
1180                       operands[1], operands[2], operands[3]);
1181   DONE;
1182 })
1183
1184 (define_expand "cstorecc4"
1185   [(set (match_operand:QI 0 "register_operand" "")
1186               (match_operator 1 "comparison_operator"
1187                [(match_operand 2 "flags_reg_operand" "")
1188                 (match_operand 3 "const0_operand" "")]))]
1189   ""
1190 {
1191   ix86_expand_setcc (operands[0], GET_CODE (operands[1]),
1192                      operands[2], operands[3]);
1193   DONE;
1194 })
1195
1196
1197 ;; FP compares, step 1:
1198 ;; Set the FP condition codes.
1199 ;;
1200 ;; CCFPmode     compare with exceptions
1201 ;; CCFPUmode    compare with no exceptions
1202
1203 ;; We may not use "#" to split and emit these, since the REG_DEAD notes
1204 ;; used to manage the reg stack popping would not be preserved.
1205
1206 (define_insn "*cmpfp_0"
1207   [(set (match_operand:HI 0 "register_operand" "=a")
1208         (unspec:HI
1209           [(compare:CCFP
1210              (match_operand 1 "register_operand" "f")
1211              (match_operand 2 "const0_operand" ""))]
1212         UNSPEC_FNSTSW))]
1213   "X87_FLOAT_MODE_P (GET_MODE (operands[1]))
1214    && GET_MODE (operands[1]) == GET_MODE (operands[2])"
1215   "* return output_fp_compare (insn, operands, false, false);"
1216   [(set_attr "type" "multi")
1217    (set_attr "unit" "i387")
1218    (set (attr "mode")
1219      (cond [(match_operand:SF 1 "" "")
1220               (const_string "SF")
1221             (match_operand:DF 1 "" "")
1222               (const_string "DF")
1223            ]
1224            (const_string "XF")))])
1225
1226 (define_insn_and_split "*cmpfp_0_cc"
1227   [(set (reg:CCFP FLAGS_REG)
1228         (compare:CCFP
1229           (match_operand 1 "register_operand" "f")
1230           (match_operand 2 "const0_operand" "")))
1231    (clobber (match_operand:HI 0 "register_operand" "=a"))]
1232   "X87_FLOAT_MODE_P (GET_MODE (operands[1]))
1233    && TARGET_SAHF && !TARGET_CMOVE
1234    && GET_MODE (operands[1]) == GET_MODE (operands[2])"
1235   "#"
1236   "&& reload_completed"
1237   [(set (match_dup 0)
1238         (unspec:HI
1239           [(compare:CCFP (match_dup 1)(match_dup 2))]
1240         UNSPEC_FNSTSW))
1241    (set (reg:CC FLAGS_REG)
1242         (unspec:CC [(match_dup 0)] UNSPEC_SAHF))]
1243   ""
1244   [(set_attr "type" "multi")
1245    (set_attr "unit" "i387")
1246    (set (attr "mode")
1247      (cond [(match_operand:SF 1 "" "")
1248               (const_string "SF")
1249             (match_operand:DF 1 "" "")
1250               (const_string "DF")
1251            ]
1252            (const_string "XF")))])
1253
1254 (define_insn "*cmpfp_xf"
1255   [(set (match_operand:HI 0 "register_operand" "=a")
1256         (unspec:HI
1257           [(compare:CCFP
1258              (match_operand:XF 1 "register_operand" "f")
1259              (match_operand:XF 2 "register_operand" "f"))]
1260           UNSPEC_FNSTSW))]
1261   "TARGET_80387"
1262   "* return output_fp_compare (insn, operands, false, false);"
1263   [(set_attr "type" "multi")
1264    (set_attr "unit" "i387")
1265    (set_attr "mode" "XF")])
1266
1267 (define_insn_and_split "*cmpfp_xf_cc"
1268   [(set (reg:CCFP FLAGS_REG)
1269         (compare:CCFP
1270           (match_operand:XF 1 "register_operand" "f")
1271           (match_operand:XF 2 "register_operand" "f")))
1272    (clobber (match_operand:HI 0 "register_operand" "=a"))]
1273   "TARGET_80387
1274    && TARGET_SAHF && !TARGET_CMOVE"
1275   "#"
1276   "&& reload_completed"
1277   [(set (match_dup 0)
1278         (unspec:HI
1279           [(compare:CCFP (match_dup 1)(match_dup 2))]
1280         UNSPEC_FNSTSW))
1281    (set (reg:CC FLAGS_REG)
1282         (unspec:CC [(match_dup 0)] UNSPEC_SAHF))]
1283   ""
1284   [(set_attr "type" "multi")
1285    (set_attr "unit" "i387")
1286    (set_attr "mode" "XF")])
1287
1288 (define_insn "*cmpfp_<mode>"
1289   [(set (match_operand:HI 0 "register_operand" "=a")
1290         (unspec:HI
1291           [(compare:CCFP
1292              (match_operand:MODEF 1 "register_operand" "f")
1293              (match_operand:MODEF 2 "nonimmediate_operand" "fm"))]
1294           UNSPEC_FNSTSW))]
1295   "TARGET_80387"
1296   "* return output_fp_compare (insn, operands, false, false);"
1297   [(set_attr "type" "multi")
1298    (set_attr "unit" "i387")
1299    (set_attr "mode" "<MODE>")])
1300
1301 (define_insn_and_split "*cmpfp_<mode>_cc"
1302   [(set (reg:CCFP FLAGS_REG)
1303         (compare:CCFP
1304           (match_operand:MODEF 1 "register_operand" "f")
1305           (match_operand:MODEF 2 "nonimmediate_operand" "fm")))
1306    (clobber (match_operand:HI 0 "register_operand" "=a"))]
1307   "TARGET_80387
1308    && TARGET_SAHF && !TARGET_CMOVE"
1309   "#"
1310   "&& reload_completed"
1311   [(set (match_dup 0)
1312         (unspec:HI
1313           [(compare:CCFP (match_dup 1)(match_dup 2))]
1314         UNSPEC_FNSTSW))
1315    (set (reg:CC FLAGS_REG)
1316         (unspec:CC [(match_dup 0)] UNSPEC_SAHF))]
1317   ""
1318   [(set_attr "type" "multi")
1319    (set_attr "unit" "i387")
1320    (set_attr "mode" "<MODE>")])
1321
1322 (define_insn "*cmpfp_u"
1323   [(set (match_operand:HI 0 "register_operand" "=a")
1324         (unspec:HI
1325           [(compare:CCFPU
1326              (match_operand 1 "register_operand" "f")
1327              (match_operand 2 "register_operand" "f"))]
1328           UNSPEC_FNSTSW))]
1329   "X87_FLOAT_MODE_P (GET_MODE (operands[1]))
1330    && GET_MODE (operands[1]) == GET_MODE (operands[2])"
1331   "* return output_fp_compare (insn, operands, false, true);"
1332   [(set_attr "type" "multi")
1333    (set_attr "unit" "i387")
1334    (set (attr "mode")
1335      (cond [(match_operand:SF 1 "" "")
1336               (const_string "SF")
1337             (match_operand:DF 1 "" "")
1338               (const_string "DF")
1339            ]
1340            (const_string "XF")))])
1341
1342 (define_insn_and_split "*cmpfp_u_cc"
1343   [(set (reg:CCFPU FLAGS_REG)
1344         (compare:CCFPU
1345           (match_operand 1 "register_operand" "f")
1346           (match_operand 2 "register_operand" "f")))
1347    (clobber (match_operand:HI 0 "register_operand" "=a"))]
1348   "X87_FLOAT_MODE_P (GET_MODE (operands[1]))
1349    && TARGET_SAHF && !TARGET_CMOVE
1350    && GET_MODE (operands[1]) == GET_MODE (operands[2])"
1351   "#"
1352   "&& reload_completed"
1353   [(set (match_dup 0)
1354         (unspec:HI
1355           [(compare:CCFPU (match_dup 1)(match_dup 2))]
1356         UNSPEC_FNSTSW))
1357    (set (reg:CC FLAGS_REG)
1358         (unspec:CC [(match_dup 0)] UNSPEC_SAHF))]
1359   ""
1360   [(set_attr "type" "multi")
1361    (set_attr "unit" "i387")
1362    (set (attr "mode")
1363      (cond [(match_operand:SF 1 "" "")
1364               (const_string "SF")
1365             (match_operand:DF 1 "" "")
1366               (const_string "DF")
1367            ]
1368            (const_string "XF")))])
1369
1370 (define_insn "*cmpfp_<mode>"
1371   [(set (match_operand:HI 0 "register_operand" "=a")
1372         (unspec:HI
1373           [(compare:CCFP
1374              (match_operand 1 "register_operand" "f")
1375              (match_operator 3 "float_operator"
1376                [(match_operand:SWI24 2 "memory_operand" "m")]))]
1377           UNSPEC_FNSTSW))]
1378   "X87_FLOAT_MODE_P (GET_MODE (operands[1]))
1379    && (TARGET_USE_<MODE>MODE_FIOP || optimize_function_for_size_p (cfun))
1380    && (GET_MODE (operands [3]) == GET_MODE (operands[1]))"
1381   "* return output_fp_compare (insn, operands, false, false);"
1382   [(set_attr "type" "multi")
1383    (set_attr "unit" "i387")
1384    (set_attr "fp_int_src" "true")
1385    (set_attr "mode" "<MODE>")])
1386
1387 (define_insn_and_split "*cmpfp_<mode>_cc"
1388   [(set (reg:CCFP FLAGS_REG)
1389         (compare:CCFP
1390           (match_operand 1 "register_operand" "f")
1391           (match_operator 3 "float_operator"
1392             [(match_operand:SWI24 2 "memory_operand" "m")])))
1393    (clobber (match_operand:HI 0 "register_operand" "=a"))]
1394   "X87_FLOAT_MODE_P (GET_MODE (operands[1]))
1395    && TARGET_SAHF && !TARGET_CMOVE
1396    && (TARGET_USE_<MODE>MODE_FIOP || optimize_function_for_size_p (cfun))
1397    && (GET_MODE (operands [3]) == GET_MODE (operands[1]))"
1398   "#"
1399   "&& reload_completed"
1400   [(set (match_dup 0)
1401         (unspec:HI
1402           [(compare:CCFP
1403              (match_dup 1)
1404              (match_op_dup 3 [(match_dup 2)]))]
1405         UNSPEC_FNSTSW))
1406    (set (reg:CC FLAGS_REG)
1407         (unspec:CC [(match_dup 0)] UNSPEC_SAHF))]
1408   ""
1409   [(set_attr "type" "multi")
1410    (set_attr "unit" "i387")
1411    (set_attr "fp_int_src" "true")
1412    (set_attr "mode" "<MODE>")])
1413
1414 ;; FP compares, step 2
1415 ;; Move the fpsw to ax.
1416
1417 (define_insn "x86_fnstsw_1"
1418   [(set (match_operand:HI 0 "register_operand" "=a")
1419         (unspec:HI [(reg:CCFP FPSR_REG)] UNSPEC_FNSTSW))]
1420   "TARGET_80387"
1421   "fnstsw\t%0"
1422   [(set (attr "length")
1423         (symbol_ref "ix86_attr_length_address_default (insn) + 2"))
1424    (set_attr "mode" "SI")
1425    (set_attr "unit" "i387")])
1426
1427 ;; FP compares, step 3
1428 ;; Get ax into flags, general case.
1429
1430 (define_insn "x86_sahf_1"
1431   [(set (reg:CC FLAGS_REG)
1432         (unspec:CC [(match_operand:HI 0 "register_operand" "a")]
1433                    UNSPEC_SAHF))]
1434   "TARGET_SAHF"
1435 {
1436 #ifndef HAVE_AS_IX86_SAHF
1437   if (TARGET_64BIT)
1438     return ASM_BYTE "0x9e";
1439   else
1440 #endif
1441   return "sahf";
1442 }
1443   [(set_attr "length" "1")
1444    (set_attr "athlon_decode" "vector")
1445    (set_attr "amdfam10_decode" "direct")
1446    (set_attr "bdver1_decode" "direct")
1447    (set_attr "mode" "SI")])
1448
1449 ;; Pentium Pro can do steps 1 through 3 in one go.
1450 ;; comi*, ucomi*, fcomi*, ficomi*, fucomi*
1451 ;; (these i387 instructions set flags directly)
1452 (define_insn "*cmpfp_i_mixed"
1453   [(set (reg:CCFP FLAGS_REG)
1454         (compare:CCFP (match_operand 0 "register_operand" "f,x")
1455                       (match_operand 1 "nonimmediate_operand" "f,xm")))]
1456   "TARGET_MIX_SSE_I387
1457    && SSE_FLOAT_MODE_P (GET_MODE (operands[0]))
1458    && GET_MODE (operands[0]) == GET_MODE (operands[1])"
1459   "* return output_fp_compare (insn, operands, true, false);"
1460   [(set_attr "type" "fcmp,ssecomi")
1461    (set_attr "prefix" "orig,maybe_vex")
1462    (set (attr "mode")
1463      (if_then_else (match_operand:SF 1 "" "")
1464         (const_string "SF")
1465         (const_string "DF")))
1466    (set (attr "prefix_rep")
1467         (if_then_else (eq_attr "type" "ssecomi")
1468                       (const_string "0")
1469                       (const_string "*")))
1470    (set (attr "prefix_data16")
1471         (cond [(eq_attr "type" "fcmp")
1472                  (const_string "*")
1473                (eq_attr "mode" "DF")
1474                  (const_string "1")
1475               ]
1476               (const_string "0")))
1477    (set_attr "athlon_decode" "vector")
1478    (set_attr "amdfam10_decode" "direct")
1479    (set_attr "bdver1_decode" "double")])
1480
1481 (define_insn "*cmpfp_i_sse"
1482   [(set (reg:CCFP FLAGS_REG)
1483         (compare:CCFP (match_operand 0 "register_operand" "x")
1484                       (match_operand 1 "nonimmediate_operand" "xm")))]
1485   "TARGET_SSE_MATH
1486    && SSE_FLOAT_MODE_P (GET_MODE (operands[0]))
1487    && GET_MODE (operands[0]) == GET_MODE (operands[1])"
1488   "* return output_fp_compare (insn, operands, true, false);"
1489   [(set_attr "type" "ssecomi")
1490    (set_attr "prefix" "maybe_vex")
1491    (set (attr "mode")
1492      (if_then_else (match_operand:SF 1 "" "")
1493         (const_string "SF")
1494         (const_string "DF")))
1495    (set_attr "prefix_rep" "0")
1496    (set (attr "prefix_data16")
1497         (if_then_else (eq_attr "mode" "DF")
1498                       (const_string "1")
1499                       (const_string "0")))
1500    (set_attr "athlon_decode" "vector")
1501    (set_attr "amdfam10_decode" "direct")
1502    (set_attr "bdver1_decode" "double")])
1503
1504 (define_insn "*cmpfp_i_i387"
1505   [(set (reg:CCFP FLAGS_REG)
1506         (compare:CCFP (match_operand 0 "register_operand" "f")
1507                       (match_operand 1 "register_operand" "f")))]
1508   "X87_FLOAT_MODE_P (GET_MODE (operands[0]))
1509    && TARGET_CMOVE
1510    && !(SSE_FLOAT_MODE_P (GET_MODE (operands[0])) && TARGET_SSE_MATH)
1511    && GET_MODE (operands[0]) == GET_MODE (operands[1])"
1512   "* return output_fp_compare (insn, operands, true, false);"
1513   [(set_attr "type" "fcmp")
1514    (set (attr "mode")
1515      (cond [(match_operand:SF 1 "" "")
1516               (const_string "SF")
1517             (match_operand:DF 1 "" "")
1518               (const_string "DF")
1519            ]
1520            (const_string "XF")))
1521    (set_attr "athlon_decode" "vector")
1522    (set_attr "amdfam10_decode" "direct")
1523    (set_attr "bdver1_decode" "double")])
1524
1525 (define_insn "*cmpfp_iu_mixed"
1526   [(set (reg:CCFPU FLAGS_REG)
1527         (compare:CCFPU (match_operand 0 "register_operand" "f,x")
1528                        (match_operand 1 "nonimmediate_operand" "f,xm")))]
1529   "TARGET_MIX_SSE_I387
1530    && SSE_FLOAT_MODE_P (GET_MODE (operands[0]))
1531    && GET_MODE (operands[0]) == GET_MODE (operands[1])"
1532   "* return output_fp_compare (insn, operands, true, true);"
1533   [(set_attr "type" "fcmp,ssecomi")
1534    (set_attr "prefix" "orig,maybe_vex")
1535    (set (attr "mode")
1536      (if_then_else (match_operand:SF 1 "" "")
1537         (const_string "SF")
1538         (const_string "DF")))
1539    (set (attr "prefix_rep")
1540         (if_then_else (eq_attr "type" "ssecomi")
1541                       (const_string "0")
1542                       (const_string "*")))
1543    (set (attr "prefix_data16")
1544         (cond [(eq_attr "type" "fcmp")
1545                  (const_string "*")
1546                (eq_attr "mode" "DF")
1547                  (const_string "1")
1548               ]
1549               (const_string "0")))
1550    (set_attr "athlon_decode" "vector")
1551    (set_attr "amdfam10_decode" "direct")
1552    (set_attr "bdver1_decode" "double")])
1553
1554 (define_insn "*cmpfp_iu_sse"
1555   [(set (reg:CCFPU FLAGS_REG)
1556         (compare:CCFPU (match_operand 0 "register_operand" "x")
1557                        (match_operand 1 "nonimmediate_operand" "xm")))]
1558   "TARGET_SSE_MATH
1559    && SSE_FLOAT_MODE_P (GET_MODE (operands[0]))
1560    && GET_MODE (operands[0]) == GET_MODE (operands[1])"
1561   "* return output_fp_compare (insn, operands, true, true);"
1562   [(set_attr "type" "ssecomi")
1563    (set_attr "prefix" "maybe_vex")
1564    (set (attr "mode")
1565      (if_then_else (match_operand:SF 1 "" "")
1566         (const_string "SF")
1567         (const_string "DF")))
1568    (set_attr "prefix_rep" "0")
1569    (set (attr "prefix_data16")
1570         (if_then_else (eq_attr "mode" "DF")
1571                       (const_string "1")
1572                       (const_string "0")))
1573    (set_attr "athlon_decode" "vector")
1574    (set_attr "amdfam10_decode" "direct")
1575    (set_attr "bdver1_decode" "double")])
1576
1577 (define_insn "*cmpfp_iu_387"
1578   [(set (reg:CCFPU FLAGS_REG)
1579         (compare:CCFPU (match_operand 0 "register_operand" "f")
1580                        (match_operand 1 "register_operand" "f")))]
1581   "X87_FLOAT_MODE_P (GET_MODE (operands[0]))
1582    && TARGET_CMOVE
1583    && !(SSE_FLOAT_MODE_P (GET_MODE (operands[0])) && TARGET_SSE_MATH)
1584    && GET_MODE (operands[0]) == GET_MODE (operands[1])"
1585   "* return output_fp_compare (insn, operands, true, true);"
1586   [(set_attr "type" "fcmp")
1587    (set (attr "mode")
1588      (cond [(match_operand:SF 1 "" "")
1589               (const_string "SF")
1590             (match_operand:DF 1 "" "")
1591               (const_string "DF")
1592            ]
1593            (const_string "XF")))
1594    (set_attr "athlon_decode" "vector")
1595    (set_attr "amdfam10_decode" "direct")
1596    (set_attr "bdver1_decode" "direct")])
1597 \f
1598 ;; Push/pop instructions.
1599
1600 (define_insn "*push<mode>2"
1601   [(set (match_operand:DWI 0 "push_operand" "=<")
1602         (match_operand:DWI 1 "general_no_elim_operand" "riF*o"))]
1603   ""
1604   "#"
1605   [(set_attr "type" "multi")
1606    (set_attr "mode" "<MODE>")])
1607
1608 (define_split
1609   [(set (match_operand:TI 0 "push_operand" "")
1610         (match_operand:TI 1 "general_operand" ""))]
1611   "TARGET_64BIT && reload_completed
1612    && !SSE_REG_P (operands[1])"
1613   [(const_int 0)]
1614   "ix86_split_long_move (operands); DONE;")
1615
1616 (define_insn "*pushdi2_rex64"
1617   [(set (match_operand:DI 0 "push_operand" "=<,!<")
1618         (match_operand:DI 1 "general_no_elim_operand" "re*m,n"))]
1619   "TARGET_64BIT"
1620   "@
1621    push{q}\t%1
1622    #"
1623   [(set_attr "type" "push,multi")
1624    (set_attr "mode" "DI")])
1625
1626 ;; Convert impossible pushes of immediate to existing instructions.
1627 ;; First try to get scratch register and go through it.  In case this
1628 ;; fails, push sign extended lower part first and then overwrite
1629 ;; upper part by 32bit move.
1630 (define_peephole2
1631   [(match_scratch:DI 2 "r")
1632    (set (match_operand:DI 0 "push_operand" "")
1633         (match_operand:DI 1 "immediate_operand" ""))]
1634   "TARGET_64BIT && !symbolic_operand (operands[1], DImode)
1635    && !x86_64_immediate_operand (operands[1], DImode)"
1636   [(set (match_dup 2) (match_dup 1))
1637    (set (match_dup 0) (match_dup 2))])
1638
1639 ;; We need to define this as both peepholer and splitter for case
1640 ;; peephole2 pass is not run.
1641 ;; "&& 1" is needed to keep it from matching the previous pattern.
1642 (define_peephole2
1643   [(set (match_operand:DI 0 "push_operand" "")
1644         (match_operand:DI 1 "immediate_operand" ""))]
1645   "TARGET_64BIT && !symbolic_operand (operands[1], DImode)
1646    && !x86_64_immediate_operand (operands[1], DImode) && 1"
1647   [(set (match_dup 0) (match_dup 1))
1648    (set (match_dup 2) (match_dup 3))]
1649 {
1650   split_double_mode (DImode, &operands[1], 1, &operands[2], &operands[3]);
1651
1652   operands[1] = gen_lowpart (DImode, operands[2]);
1653   operands[2] = gen_rtx_MEM (SImode, gen_rtx_PLUS (DImode, stack_pointer_rtx,
1654                                                    GEN_INT (4)));
1655 })
1656
1657 (define_split
1658   [(set (match_operand:DI 0 "push_operand" "")
1659         (match_operand:DI 1 "immediate_operand" ""))]
1660   "TARGET_64BIT && ((optimize > 0 && flag_peephole2)
1661                     ? epilogue_completed : reload_completed)
1662    && !symbolic_operand (operands[1], DImode)
1663    && !x86_64_immediate_operand (operands[1], DImode)"
1664   [(set (match_dup 0) (match_dup 1))
1665    (set (match_dup 2) (match_dup 3))]
1666 {
1667   split_double_mode (DImode, &operands[1], 1, &operands[2], &operands[3]);
1668
1669   operands[1] = gen_lowpart (DImode, operands[2]);
1670   operands[2] = gen_rtx_MEM (SImode, gen_rtx_PLUS (DImode, stack_pointer_rtx,
1671                                                    GEN_INT (4)));
1672 })
1673
1674 (define_split
1675   [(set (match_operand:DI 0 "push_operand" "")
1676         (match_operand:DI 1 "general_operand" ""))]
1677   "!TARGET_64BIT && reload_completed
1678    && !(MMX_REG_P (operands[1]) || SSE_REG_P (operands[1]))"
1679   [(const_int 0)]
1680   "ix86_split_long_move (operands); DONE;")
1681
1682 (define_insn "*pushsi2"
1683   [(set (match_operand:SI 0 "push_operand" "=<")
1684         (match_operand:SI 1 "general_no_elim_operand" "ri*m"))]
1685   "!TARGET_64BIT"
1686   "push{l}\t%1"
1687   [(set_attr "type" "push")
1688    (set_attr "mode" "SI")])
1689
1690 ;; emit_push_insn when it calls move_by_pieces requires an insn to
1691 ;; "push a byte/word".  But actually we use pushl, which has the effect
1692 ;; of rounding the amount pushed up to a word.
1693
1694 ;; For TARGET_64BIT we always round up to 8 bytes.
1695 (define_insn "*push<mode>2_rex64"
1696   [(set (match_operand:SWI124 0 "push_operand" "=X")
1697         (match_operand:SWI124 1 "nonmemory_no_elim_operand" "r<i>"))]
1698   "TARGET_64BIT"
1699   "push{q}\t%q1"
1700   [(set_attr "type" "push")
1701    (set_attr "mode" "DI")])
1702
1703 (define_insn "*push<mode>2"
1704   [(set (match_operand:SWI12 0 "push_operand" "=X")
1705         (match_operand:SWI12 1 "nonmemory_no_elim_operand" "rn"))]
1706   "!TARGET_64BIT"
1707   "push{l}\t%k1"
1708   [(set_attr "type" "push")
1709    (set_attr "mode" "SI")])
1710
1711 (define_insn "*push<mode>2_prologue"
1712   [(set (match_operand:P 0 "push_operand" "=<")
1713         (match_operand:P 1 "general_no_elim_operand" "r<i>*m"))
1714    (clobber (mem:BLK (scratch)))]
1715   ""
1716   "push{<imodesuffix>}\t%1"
1717   [(set_attr "type" "push")
1718    (set_attr "mode" "<MODE>")])
1719
1720 (define_insn "*pop<mode>1"
1721   [(set (match_operand:P 0 "nonimmediate_operand" "=r*m")
1722         (match_operand:P 1 "pop_operand" ">"))]
1723   ""
1724   "pop{<imodesuffix>}\t%0"
1725   [(set_attr "type" "pop")
1726    (set_attr "mode" "<MODE>")])
1727
1728 (define_insn "*pop<mode>1_epilogue"
1729   [(set (match_operand:P 0 "nonimmediate_operand" "=r*m")
1730         (match_operand:P 1 "pop_operand" ">"))
1731    (clobber (mem:BLK (scratch)))]
1732   ""
1733   "pop{<imodesuffix>}\t%0"
1734   [(set_attr "type" "pop")
1735    (set_attr "mode" "<MODE>")])
1736 \f
1737 ;; Move instructions.
1738
1739 (define_expand "movoi"
1740   [(set (match_operand:OI 0 "nonimmediate_operand" "")
1741         (match_operand:OI 1 "general_operand" ""))]
1742   "TARGET_AVX"
1743   "ix86_expand_move (OImode, operands); DONE;")
1744
1745 (define_expand "movti"
1746   [(set (match_operand:TI 0 "nonimmediate_operand" "")
1747         (match_operand:TI 1 "nonimmediate_operand" ""))]
1748   "TARGET_64BIT || TARGET_SSE"
1749 {
1750   if (TARGET_64BIT)
1751     ix86_expand_move (TImode, operands);
1752   else if (push_operand (operands[0], TImode))
1753     ix86_expand_push (TImode, operands[1]);
1754   else
1755     ix86_expand_vector_move (TImode, operands);
1756   DONE;
1757 })
1758
1759 ;; This expands to what emit_move_complex would generate if we didn't
1760 ;; have a movti pattern.  Having this avoids problems with reload on
1761 ;; 32-bit targets when SSE is present, but doesn't seem to be harmful
1762 ;; to have around all the time.
1763 (define_expand "movcdi"
1764   [(set (match_operand:CDI 0 "nonimmediate_operand" "")
1765         (match_operand:CDI 1 "general_operand" ""))]
1766   ""
1767 {
1768   if (push_operand (operands[0], CDImode))
1769     emit_move_complex_push (CDImode, operands[0], operands[1]);
1770   else
1771     emit_move_complex_parts (operands[0], operands[1]);
1772   DONE;
1773 })
1774
1775 (define_expand "mov<mode>"
1776   [(set (match_operand:SWI1248x 0 "nonimmediate_operand" "")
1777         (match_operand:SWI1248x 1 "general_operand" ""))]
1778   ""
1779   "ix86_expand_move (<MODE>mode, operands); DONE;")
1780
1781 (define_insn "*mov<mode>_xor"
1782   [(set (match_operand:SWI48 0 "register_operand" "=r")
1783         (match_operand:SWI48 1 "const0_operand" ""))
1784    (clobber (reg:CC FLAGS_REG))]
1785   "reload_completed"
1786   "xor{l}\t%k0, %k0"
1787   [(set_attr "type" "alu1")
1788    (set_attr "mode" "SI")
1789    (set_attr "length_immediate" "0")])
1790
1791 (define_insn "*mov<mode>_or"
1792   [(set (match_operand:SWI48 0 "register_operand" "=r")
1793         (match_operand:SWI48 1 "const_int_operand" ""))
1794    (clobber (reg:CC FLAGS_REG))]
1795   "reload_completed
1796    && operands[1] == constm1_rtx"
1797   "or{<imodesuffix>}\t{%1, %0|%0, %1}"
1798   [(set_attr "type" "alu1")
1799    (set_attr "mode" "<MODE>")
1800    (set_attr "length_immediate" "1")])
1801
1802 (define_insn "*movoi_internal_avx"
1803   [(set (match_operand:OI 0 "nonimmediate_operand" "=x,x,m")
1804         (match_operand:OI 1 "vector_move_operand" "C,xm,x"))]
1805   "TARGET_AVX && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
1806 {
1807   switch (which_alternative)
1808     {
1809     case 0:
1810       return standard_sse_constant_opcode (insn, operands[1]);
1811     case 1:
1812     case 2:
1813       if (misaligned_operand (operands[0], OImode)
1814           || misaligned_operand (operands[1], OImode))
1815         return "vmovdqu\t{%1, %0|%0, %1}";
1816       else
1817         return "vmovdqa\t{%1, %0|%0, %1}";
1818     default:
1819       gcc_unreachable ();
1820     }
1821 }
1822   [(set_attr "type" "sselog1,ssemov,ssemov")
1823    (set_attr "prefix" "vex")
1824    (set_attr "mode" "OI")])
1825
1826 (define_insn "*movti_internal_rex64"
1827   [(set (match_operand:TI 0 "nonimmediate_operand" "=!r,o,x,x,xm")
1828         (match_operand:TI 1 "general_operand" "riFo,riF,C,xm,x"))]
1829   "TARGET_64BIT && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
1830 {
1831   switch (which_alternative)
1832     {
1833     case 0:
1834     case 1:
1835       return "#";
1836     case 2:
1837       return standard_sse_constant_opcode (insn, operands[1]);
1838     case 3:
1839     case 4:
1840       /* TDmode values are passed as TImode on the stack.  Moving them
1841          to stack may result in unaligned memory access.  */
1842       if (misaligned_operand (operands[0], TImode)
1843           || misaligned_operand (operands[1], TImode))
1844         {
1845           if (get_attr_mode (insn) == MODE_V4SF)
1846             return "%vmovups\t{%1, %0|%0, %1}";
1847           else
1848             return "%vmovdqu\t{%1, %0|%0, %1}";
1849         }
1850       else
1851         {
1852           if (get_attr_mode (insn) == MODE_V4SF)
1853             return "%vmovaps\t{%1, %0|%0, %1}";
1854           else
1855             return "%vmovdqa\t{%1, %0|%0, %1}";
1856         }
1857     default:
1858       gcc_unreachable ();
1859     }
1860 }
1861   [(set_attr "type" "*,*,sselog1,ssemov,ssemov")
1862    (set_attr "prefix" "*,*,maybe_vex,maybe_vex,maybe_vex")
1863    (set (attr "mode")
1864         (cond [(eq_attr "alternative" "2,3")
1865                  (if_then_else
1866                    (match_test "optimize_function_for_size_p (cfun)")
1867                    (const_string "V4SF")
1868                    (const_string "TI"))
1869                (eq_attr "alternative" "4")
1870                  (if_then_else
1871                    (ior (match_test "TARGET_SSE_TYPELESS_STORES")
1872                         (match_test "optimize_function_for_size_p (cfun)"))
1873                    (const_string "V4SF")
1874                    (const_string "TI"))]
1875                (const_string "DI")))])
1876
1877 (define_split
1878   [(set (match_operand:TI 0 "nonimmediate_operand" "")
1879         (match_operand:TI 1 "general_operand" ""))]
1880   "reload_completed
1881    && !SSE_REG_P (operands[0]) && !SSE_REG_P (operands[1])"
1882   [(const_int 0)]
1883   "ix86_split_long_move (operands); DONE;")
1884
1885 (define_insn "*movti_internal_sse"
1886   [(set (match_operand:TI 0 "nonimmediate_operand" "=x,x,m")
1887         (match_operand:TI 1 "vector_move_operand" "C,xm,x"))]
1888   "TARGET_SSE && !TARGET_64BIT
1889    && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
1890 {
1891   switch (which_alternative)
1892     {
1893     case 0:
1894       return standard_sse_constant_opcode (insn, operands[1]);
1895     case 1:
1896     case 2:
1897       /* TDmode values are passed as TImode on the stack.  Moving them
1898          to stack may result in unaligned memory access.  */
1899       if (misaligned_operand (operands[0], TImode)
1900           || misaligned_operand (operands[1], TImode))
1901         {
1902           if (get_attr_mode (insn) == MODE_V4SF)
1903             return "%vmovups\t{%1, %0|%0, %1}";
1904           else
1905             return "%vmovdqu\t{%1, %0|%0, %1}";
1906         }
1907       else
1908         {
1909           if (get_attr_mode (insn) == MODE_V4SF)
1910             return "%vmovaps\t{%1, %0|%0, %1}";
1911           else
1912             return "%vmovdqa\t{%1, %0|%0, %1}";
1913         }
1914     default:
1915       gcc_unreachable ();
1916     }
1917 }
1918   [(set_attr "type" "sselog1,ssemov,ssemov")
1919    (set_attr "prefix" "maybe_vex")
1920    (set (attr "mode")
1921         (cond [(ior (not (match_test "TARGET_SSE2"))
1922                     (match_test "optimize_function_for_size_p (cfun)"))
1923                  (const_string "V4SF")
1924                (and (eq_attr "alternative" "2")
1925                     (match_test "TARGET_SSE_TYPELESS_STORES"))
1926                  (const_string "V4SF")]
1927               (const_string "TI")))])
1928
1929 (define_insn "*movdi_internal_rex64"
1930   [(set (match_operand:DI 0 "nonimmediate_operand"
1931           "=r,r  ,r,m ,!o,*y,m*y,?*y,?r ,?*Ym,*x,m ,*x,*x,?r ,?*Yi,?*x,?*Ym")
1932         (match_operand:DI 1 "general_operand"
1933           "Z ,rem,i,re,n ,C ,*y ,m  ,*Ym,r   ,C ,*x,*x,m ,*Yi,r   ,*Ym,*x"))]
1934   "TARGET_64BIT && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
1935 {
1936   switch (get_attr_type (insn))
1937     {
1938     case TYPE_SSECVT:
1939       if (SSE_REG_P (operands[0]))
1940         return "movq2dq\t{%1, %0|%0, %1}";
1941       else
1942         return "movdq2q\t{%1, %0|%0, %1}";
1943
1944     case TYPE_SSEMOV:
1945       if (get_attr_mode (insn) == MODE_TI)
1946         return "%vmovdqa\t{%1, %0|%0, %1}";
1947       /* Handle broken assemblers that require movd instead of movq.  */
1948       if (GENERAL_REG_P (operands[0]) || GENERAL_REG_P (operands[1]))
1949         return "%vmovd\t{%1, %0|%0, %1}";
1950       else
1951         return "%vmovq\t{%1, %0|%0, %1}";
1952
1953     case TYPE_MMXMOV:
1954       /* Handle broken assemblers that require movd instead of movq.  */
1955       if (GENERAL_REG_P (operands[0]) || GENERAL_REG_P (operands[1]))
1956         return "movd\t{%1, %0|%0, %1}";
1957       else
1958         return "movq\t{%1, %0|%0, %1}";
1959
1960     case TYPE_SSELOG1:
1961       return standard_sse_constant_opcode (insn, operands[1]);
1962
1963     case TYPE_MMX:
1964       return "pxor\t%0, %0";
1965
1966     case TYPE_MULTI:
1967       return "#";
1968
1969     case TYPE_LEA:
1970       return "lea{q}\t{%E1, %0|%0, %E1}";
1971
1972     default:
1973       gcc_assert (!flag_pic || LEGITIMATE_PIC_OPERAND_P (operands[1]));
1974       if (get_attr_mode (insn) == MODE_SI)
1975         return "mov{l}\t{%k1, %k0|%k0, %k1}";
1976       else if (which_alternative == 2)
1977         return "movabs{q}\t{%1, %0|%0, %1}";
1978       else if (ix86_use_lea_for_mov (insn, operands))
1979         return "lea{q}\t{%E1, %0|%0, %E1}";
1980       else
1981         return "mov{q}\t{%1, %0|%0, %1}";
1982     }
1983 }
1984   [(set (attr "type")
1985      (cond [(eq_attr "alternative" "4")
1986               (const_string "multi")
1987             (eq_attr "alternative" "5")
1988               (const_string "mmx")
1989             (eq_attr "alternative" "6,7,8,9")
1990               (const_string "mmxmov")
1991             (eq_attr "alternative" "10")
1992               (const_string "sselog1")
1993             (eq_attr "alternative" "11,12,13,14,15")
1994               (const_string "ssemov")
1995             (eq_attr "alternative" "16,17")
1996               (const_string "ssecvt")
1997             (match_operand 1 "pic_32bit_operand" "")
1998               (const_string "lea")
1999            ]
2000            (const_string "imov")))
2001    (set (attr "modrm")
2002      (if_then_else
2003        (and (eq_attr "alternative" "2") (eq_attr "type" "imov"))
2004          (const_string "0")
2005          (const_string "*")))
2006    (set (attr "length_immediate")
2007      (if_then_else
2008        (and (eq_attr "alternative" "2") (eq_attr "type" "imov"))
2009          (const_string "8")
2010          (const_string "*")))
2011    (set (attr "prefix_rex")
2012      (if_then_else (eq_attr "alternative" "8,9")
2013        (const_string "1")
2014        (const_string "*")))
2015    (set (attr "prefix_data16")
2016      (if_then_else (eq_attr "alternative" "11")
2017        (const_string "1")
2018        (const_string "*")))
2019    (set (attr "prefix")
2020      (if_then_else (eq_attr "alternative" "10,11,12,13,14,15")
2021        (const_string "maybe_vex")
2022        (const_string "orig")))
2023    (set_attr "mode" "SI,DI,DI,DI,SI,DI,DI,DI,DI,DI,TI,DI,TI,DI,DI,DI,DI,DI")])
2024
2025 ;; Reload patterns to support multi-word load/store
2026 ;; with non-offsetable address.
2027 (define_expand "reload_noff_store"
2028   [(parallel [(match_operand 0 "memory_operand" "=m")
2029               (match_operand 1 "register_operand" "r")
2030               (match_operand:DI 2 "register_operand" "=&r")])]
2031   "TARGET_64BIT"
2032 {
2033   rtx mem = operands[0];
2034   rtx addr = XEXP (mem, 0);
2035
2036   emit_move_insn (operands[2], addr);
2037   mem = replace_equiv_address_nv (mem, operands[2]);
2038
2039   emit_insn (gen_rtx_SET (VOIDmode, mem, operands[1]));
2040   DONE;
2041 })
2042
2043 (define_expand "reload_noff_load"
2044   [(parallel [(match_operand 0 "register_operand" "=r")
2045               (match_operand 1 "memory_operand" "m")
2046               (match_operand:DI 2 "register_operand" "=r")])]
2047   "TARGET_64BIT"
2048 {
2049   rtx mem = operands[1];
2050   rtx addr = XEXP (mem, 0);
2051
2052   emit_move_insn (operands[2], addr);
2053   mem = replace_equiv_address_nv (mem, operands[2]);
2054
2055   emit_insn (gen_rtx_SET (VOIDmode, operands[0], mem));
2056   DONE;
2057 })
2058
2059 ;; Convert impossible stores of immediate to existing instructions.
2060 ;; First try to get scratch register and go through it.  In case this
2061 ;; fails, move by 32bit parts.
2062 (define_peephole2
2063   [(match_scratch:DI 2 "r")
2064    (set (match_operand:DI 0 "memory_operand" "")
2065         (match_operand:DI 1 "immediate_operand" ""))]
2066   "TARGET_64BIT && !symbolic_operand (operands[1], DImode)
2067    && !x86_64_immediate_operand (operands[1], DImode)"
2068   [(set (match_dup 2) (match_dup 1))
2069    (set (match_dup 0) (match_dup 2))])
2070
2071 ;; We need to define this as both peepholer and splitter for case
2072 ;; peephole2 pass is not run.
2073 ;; "&& 1" is needed to keep it from matching the previous pattern.
2074 (define_peephole2
2075   [(set (match_operand:DI 0 "memory_operand" "")
2076         (match_operand:DI 1 "immediate_operand" ""))]
2077   "TARGET_64BIT && !symbolic_operand (operands[1], DImode)
2078    && !x86_64_immediate_operand (operands[1], DImode) && 1"
2079   [(set (match_dup 2) (match_dup 3))
2080    (set (match_dup 4) (match_dup 5))]
2081   "split_double_mode (DImode, &operands[0], 2, &operands[2], &operands[4]);")
2082
2083 (define_split
2084   [(set (match_operand:DI 0 "memory_operand" "")
2085         (match_operand:DI 1 "immediate_operand" ""))]
2086   "TARGET_64BIT && ((optimize > 0 && flag_peephole2)
2087                     ? epilogue_completed : reload_completed)
2088    && !symbolic_operand (operands[1], DImode)
2089    && !x86_64_immediate_operand (operands[1], DImode)"
2090   [(set (match_dup 2) (match_dup 3))
2091    (set (match_dup 4) (match_dup 5))]
2092   "split_double_mode (DImode, &operands[0], 2, &operands[2], &operands[4]);")
2093
2094 (define_insn "*movdi_internal"
2095   [(set (match_operand:DI 0 "nonimmediate_operand"
2096           "=r  ,o  ,*y,m*y,*y,*x,m ,*x,*x,*x,m ,*x,*x,?*x,?*Ym")
2097         (match_operand:DI 1 "general_operand"
2098           "riFo,riF,C ,*y ,m ,C ,*x,*x,m ,C ,*x,*x,m ,*Ym,*x"))]
2099   "!TARGET_64BIT && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
2100 {
2101   switch (get_attr_type (insn))
2102     {
2103     case TYPE_SSECVT:
2104       if (SSE_REG_P (operands[0]))
2105         return "movq2dq\t{%1, %0|%0, %1}";
2106       else
2107         return "movdq2q\t{%1, %0|%0, %1}";
2108
2109     case TYPE_SSEMOV:
2110       switch (get_attr_mode (insn))
2111         {
2112         case MODE_TI:
2113           return "%vmovdqa\t{%1, %0|%0, %1}";
2114         case MODE_DI:
2115            return "%vmovq\t{%1, %0|%0, %1}";
2116         case MODE_V4SF:
2117           return "movaps\t{%1, %0|%0, %1}";
2118         case MODE_V2SF:
2119           return "movlps\t{%1, %0|%0, %1}";
2120         default:
2121           gcc_unreachable ();
2122         }
2123
2124     case TYPE_MMXMOV:
2125       return "movq\t{%1, %0|%0, %1}";
2126
2127     case TYPE_SSELOG1:
2128       return standard_sse_constant_opcode (insn, operands[1]);
2129
2130     case TYPE_MMX:
2131       return "pxor\t%0, %0";
2132
2133     case TYPE_MULTI:
2134       return "#";
2135
2136     default:
2137       gcc_unreachable ();
2138     }
2139 }
2140   [(set (attr "isa")
2141      (cond [(eq_attr "alternative" "5,6,7,8,13,14")
2142               (const_string "sse2")
2143             (eq_attr "alternative" "9,10,11,12")
2144               (const_string "noavx")
2145            ]
2146            (const_string "*")))
2147    (set (attr "type")
2148      (cond [(eq_attr "alternative" "0,1")
2149               (const_string "multi")
2150             (eq_attr "alternative" "2")
2151               (const_string "mmx")
2152             (eq_attr "alternative" "3,4")
2153               (const_string "mmxmov")
2154             (eq_attr "alternative" "5,9")
2155               (const_string "sselog1")
2156             (eq_attr "alternative" "13,14")
2157               (const_string "ssecvt")
2158            ]
2159            (const_string "ssemov")))
2160    (set (attr "prefix")
2161      (if_then_else (eq_attr "alternative" "5,6,7,8")
2162        (const_string "maybe_vex")
2163        (const_string "orig")))
2164    (set_attr "mode" "DI,DI,DI,DI,DI,TI,DI,TI,DI,V4SF,V2SF,V4SF,V2SF,DI,DI")])
2165
2166 (define_split
2167   [(set (match_operand:DI 0 "nonimmediate_operand" "")
2168         (match_operand:DI 1 "general_operand" ""))]
2169   "!TARGET_64BIT && reload_completed
2170    && !(MMX_REG_P (operands[0]) || SSE_REG_P (operands[0]))
2171    && !(MMX_REG_P (operands[1]) || SSE_REG_P (operands[1]))"
2172   [(const_int 0)]
2173   "ix86_split_long_move (operands); DONE;")
2174
2175 (define_insn "*movsi_internal"
2176   [(set (match_operand:SI 0 "nonimmediate_operand"
2177                         "=r,m ,*y,*y,?rm,?*y,*x,*x,?r ,m ,?*Yi,*x")
2178         (match_operand:SI 1 "general_operand"
2179                         "g ,re,C ,*y,*y ,rm ,C ,*x,*Yi,*x,r   ,m "))]
2180   "!(MEM_P (operands[0]) && MEM_P (operands[1]))"
2181 {
2182   switch (get_attr_type (insn))
2183     {
2184     case TYPE_SSELOG1:
2185       return standard_sse_constant_opcode (insn, operands[1]);
2186
2187     case TYPE_SSEMOV:
2188       switch (get_attr_mode (insn))
2189         {
2190         case MODE_TI:
2191           return "%vmovdqa\t{%1, %0|%0, %1}";
2192         case MODE_V4SF:
2193           return "%vmovaps\t{%1, %0|%0, %1}";
2194         case MODE_SI:
2195           return "%vmovd\t{%1, %0|%0, %1}";
2196         case MODE_SF:
2197           return "%vmovss\t{%1, %0|%0, %1}";
2198         default:
2199           gcc_unreachable ();
2200         }
2201
2202     case TYPE_MMX:
2203       return "pxor\t%0, %0";
2204
2205     case TYPE_MMXMOV:
2206       if (get_attr_mode (insn) == MODE_DI)
2207         return "movq\t{%1, %0|%0, %1}";
2208       return "movd\t{%1, %0|%0, %1}";
2209
2210     case TYPE_LEA:
2211       return "lea{l}\t{%E1, %0|%0, %E1}";
2212
2213     default:
2214       gcc_assert (!flag_pic || LEGITIMATE_PIC_OPERAND_P (operands[1]));
2215       if (ix86_use_lea_for_mov (insn, operands))
2216         return "lea{l}\t{%E1, %0|%0, %E1}";
2217       else
2218         return "mov{l}\t{%1, %0|%0, %1}";
2219     }
2220 }
2221   [(set (attr "type")
2222      (cond [(eq_attr "alternative" "2")
2223               (const_string "mmx")
2224             (eq_attr "alternative" "3,4,5")
2225               (const_string "mmxmov")
2226             (eq_attr "alternative" "6")
2227               (const_string "sselog1")
2228             (eq_attr "alternative" "7,8,9,10,11")
2229               (const_string "ssemov")
2230             (match_operand 1 "pic_32bit_operand" "")
2231               (const_string "lea")
2232            ]
2233            (const_string "imov")))
2234    (set (attr "prefix")
2235      (if_then_else (eq_attr "alternative" "0,1,2,3,4,5")
2236        (const_string "orig")
2237        (const_string "maybe_vex")))
2238    (set (attr "prefix_data16")
2239      (if_then_else (and (eq_attr "type" "ssemov") (eq_attr "mode" "SI"))
2240        (const_string "1")
2241        (const_string "*")))
2242    (set (attr "mode")
2243      (cond [(eq_attr "alternative" "2,3")
2244               (const_string "DI")
2245             (eq_attr "alternative" "6,7")
2246               (if_then_else
2247                 (not (match_test "TARGET_SSE2"))
2248                 (const_string "V4SF")
2249                 (const_string "TI"))
2250             (and (eq_attr "alternative" "8,9,10,11")
2251                  (not (match_test "TARGET_SSE2")))
2252               (const_string "SF")
2253            ]
2254            (const_string "SI")))])
2255
2256 (define_insn "*movhi_internal"
2257   [(set (match_operand:HI 0 "nonimmediate_operand" "=r,r,r,m")
2258         (match_operand:HI 1 "general_operand" "r,rn,rm,rn"))]
2259   "!(MEM_P (operands[0]) && MEM_P (operands[1]))"
2260 {
2261   switch (get_attr_type (insn))
2262     {
2263     case TYPE_IMOVX:
2264       /* movzwl is faster than movw on p2 due to partial word stalls,
2265          though not as fast as an aligned movl.  */
2266       return "movz{wl|x}\t{%1, %k0|%k0, %1}";
2267     default:
2268       if (get_attr_mode (insn) == MODE_SI)
2269         return "mov{l}\t{%k1, %k0|%k0, %k1}";
2270       else
2271         return "mov{w}\t{%1, %0|%0, %1}";
2272     }
2273 }
2274   [(set (attr "type")
2275      (cond [(match_test "optimize_function_for_size_p (cfun)")
2276               (const_string "imov")
2277             (and (eq_attr "alternative" "0")
2278                  (ior (not (match_test "TARGET_PARTIAL_REG_STALL"))
2279                       (not (match_test "TARGET_HIMODE_MATH"))))
2280               (const_string "imov")
2281             (and (eq_attr "alternative" "1,2")
2282                  (match_operand:HI 1 "aligned_operand" ""))
2283               (const_string "imov")
2284             (and (match_test "TARGET_MOVX")
2285                  (eq_attr "alternative" "0,2"))
2286               (const_string "imovx")
2287            ]
2288            (const_string "imov")))
2289     (set (attr "mode")
2290       (cond [(eq_attr "type" "imovx")
2291                (const_string "SI")
2292              (and (eq_attr "alternative" "1,2")
2293                   (match_operand:HI 1 "aligned_operand" ""))
2294                (const_string "SI")
2295              (and (eq_attr "alternative" "0")
2296                   (ior (not (match_test "TARGET_PARTIAL_REG_STALL"))
2297                        (not (match_test "TARGET_HIMODE_MATH"))))
2298                (const_string "SI")
2299             ]
2300             (const_string "HI")))])
2301
2302 ;; Situation is quite tricky about when to choose full sized (SImode) move
2303 ;; over QImode moves.  For Q_REG -> Q_REG move we use full size only for
2304 ;; partial register dependency machines (such as AMD Athlon), where QImode
2305 ;; moves issue extra dependency and for partial register stalls machines
2306 ;; that don't use QImode patterns (and QImode move cause stall on the next
2307 ;; instruction).
2308 ;;
2309 ;; For loads of Q_REG to NONQ_REG we use full sized moves except for partial
2310 ;; register stall machines with, where we use QImode instructions, since
2311 ;; partial register stall can be caused there.  Then we use movzx.
2312 (define_insn "*movqi_internal"
2313   [(set (match_operand:QI 0 "nonimmediate_operand" "=q,q ,q ,r,r ,?r,m")
2314         (match_operand:QI 1 "general_operand"      " q,qn,qm,q,rn,qm,qn"))]
2315   "!(MEM_P (operands[0]) && MEM_P (operands[1]))"
2316 {
2317   switch (get_attr_type (insn))
2318     {
2319     case TYPE_IMOVX:
2320       gcc_assert (ANY_QI_REG_P (operands[1]) || MEM_P (operands[1]));
2321       return "movz{bl|x}\t{%1, %k0|%k0, %1}";
2322     default:
2323       if (get_attr_mode (insn) == MODE_SI)
2324         return "mov{l}\t{%k1, %k0|%k0, %k1}";
2325       else
2326         return "mov{b}\t{%1, %0|%0, %1}";
2327     }
2328 }
2329   [(set (attr "type")
2330      (cond [(and (eq_attr "alternative" "5")
2331                  (not (match_operand:QI 1 "aligned_operand" "")))
2332               (const_string "imovx")
2333             (match_test "optimize_function_for_size_p (cfun)")
2334               (const_string "imov")
2335             (and (eq_attr "alternative" "3")
2336                  (ior (not (match_test "TARGET_PARTIAL_REG_STALL"))
2337                       (not (match_test "TARGET_QIMODE_MATH"))))
2338               (const_string "imov")
2339             (eq_attr "alternative" "3,5")
2340               (const_string "imovx")
2341             (and (match_test "TARGET_MOVX")
2342                  (eq_attr "alternative" "2"))
2343               (const_string "imovx")
2344            ]
2345            (const_string "imov")))
2346    (set (attr "mode")
2347       (cond [(eq_attr "alternative" "3,4,5")
2348                (const_string "SI")
2349              (eq_attr "alternative" "6")
2350                (const_string "QI")
2351              (eq_attr "type" "imovx")
2352                (const_string "SI")
2353              (and (eq_attr "type" "imov")
2354                   (and (eq_attr "alternative" "0,1")
2355                        (and (match_test "TARGET_PARTIAL_REG_DEPENDENCY")
2356                             (and (not (match_test "optimize_function_for_size_p (cfun)"))
2357                                  (not (match_test "TARGET_PARTIAL_REG_STALL"))))))
2358                (const_string "SI")
2359              ;; Avoid partial register stalls when not using QImode arithmetic
2360              (and (eq_attr "type" "imov")
2361                   (and (eq_attr "alternative" "0,1")
2362                        (and (match_test "TARGET_PARTIAL_REG_STALL")
2363                             (not (match_test "TARGET_QIMODE_MATH")))))
2364                (const_string "SI")
2365            ]
2366            (const_string "QI")))])
2367
2368 ;; Stores and loads of ax to arbitrary constant address.
2369 ;; We fake an second form of instruction to force reload to load address
2370 ;; into register when rax is not available
2371 (define_insn "*movabs<mode>_1"
2372   [(set (mem:SWI1248x (match_operand:DI 0 "x86_64_movabs_operand" "i,r"))
2373         (match_operand:SWI1248x 1 "nonmemory_operand" "a,r<i>"))]
2374   "TARGET_LP64 && ix86_check_movabs (insn, 0)"
2375   "@
2376    movabs{<imodesuffix>}\t{%1, %P0|%P0, %1}
2377    mov{<imodesuffix>}\t{%1, %a0|%a0, %1}"
2378   [(set_attr "type" "imov")
2379    (set_attr "modrm" "0,*")
2380    (set_attr "length_address" "8,0")
2381    (set_attr "length_immediate" "0,*")
2382    (set_attr "memory" "store")
2383    (set_attr "mode" "<MODE>")])
2384
2385 (define_insn "*movabs<mode>_2"
2386   [(set (match_operand:SWI1248x 0 "register_operand" "=a,r")
2387         (mem:SWI1248x (match_operand:DI 1 "x86_64_movabs_operand" "i,r")))]
2388   "TARGET_LP64 && ix86_check_movabs (insn, 1)"
2389   "@
2390    movabs{<imodesuffix>}\t{%P1, %0|%0, %P1}
2391    mov{<imodesuffix>}\t{%a1, %0|%0, %a1}"
2392   [(set_attr "type" "imov")
2393    (set_attr "modrm" "0,*")
2394    (set_attr "length_address" "8,0")
2395    (set_attr "length_immediate" "0")
2396    (set_attr "memory" "load")
2397    (set_attr "mode" "<MODE>")])
2398
2399 (define_insn "*swap<mode>"
2400   [(set (match_operand:SWI48 0 "register_operand" "+r")
2401         (match_operand:SWI48 1 "register_operand" "+r"))
2402    (set (match_dup 1)
2403         (match_dup 0))]
2404   ""
2405   "xchg{<imodesuffix>}\t%1, %0"
2406   [(set_attr "type" "imov")
2407    (set_attr "mode" "<MODE>")
2408    (set_attr "pent_pair" "np")
2409    (set_attr "athlon_decode" "vector")
2410    (set_attr "amdfam10_decode" "double")
2411    (set_attr "bdver1_decode" "double")])
2412
2413 (define_insn "*swap<mode>_1"
2414   [(set (match_operand:SWI12 0 "register_operand" "+r")
2415         (match_operand:SWI12 1 "register_operand" "+r"))
2416    (set (match_dup 1)
2417         (match_dup 0))]
2418   "!TARGET_PARTIAL_REG_STALL || optimize_function_for_size_p (cfun)"
2419   "xchg{l}\t%k1, %k0"
2420   [(set_attr "type" "imov")
2421    (set_attr "mode" "SI")
2422    (set_attr "pent_pair" "np")
2423    (set_attr "athlon_decode" "vector")
2424    (set_attr "amdfam10_decode" "double")
2425    (set_attr "bdver1_decode" "double")])
2426
2427 ;; Not added amdfam10_decode since TARGET_PARTIAL_REG_STALL
2428 ;; is disabled for AMDFAM10
2429 (define_insn "*swap<mode>_2"
2430   [(set (match_operand:SWI12 0 "register_operand" "+<r>")
2431         (match_operand:SWI12 1 "register_operand" "+<r>"))
2432    (set (match_dup 1)
2433         (match_dup 0))]
2434   "TARGET_PARTIAL_REG_STALL"
2435   "xchg{<imodesuffix>}\t%1, %0"
2436   [(set_attr "type" "imov")
2437    (set_attr "mode" "<MODE>")
2438    (set_attr "pent_pair" "np")
2439    (set_attr "athlon_decode" "vector")])
2440
2441 (define_expand "movstrict<mode>"
2442   [(set (strict_low_part (match_operand:SWI12 0 "nonimmediate_operand" ""))
2443         (match_operand:SWI12 1 "general_operand" ""))]
2444   ""
2445 {
2446   if (TARGET_PARTIAL_REG_STALL && optimize_function_for_speed_p (cfun))
2447     FAIL;
2448   if (GET_CODE (operands[0]) == SUBREG
2449       && GET_MODE_CLASS (GET_MODE (SUBREG_REG (operands[0]))) != MODE_INT)
2450     FAIL;
2451   /* Don't generate memory->memory moves, go through a register */
2452   if (MEM_P (operands[0]) && MEM_P (operands[1]))
2453     operands[1] = force_reg (<MODE>mode, operands[1]);
2454 })
2455
2456 (define_insn "*movstrict<mode>_1"
2457   [(set (strict_low_part
2458           (match_operand:SWI12 0 "nonimmediate_operand" "+<r>m,<r>"))
2459         (match_operand:SWI12 1 "general_operand" "<r>n,m"))]
2460   "(!TARGET_PARTIAL_REG_STALL || optimize_function_for_size_p (cfun))
2461    && !(MEM_P (operands[0]) && MEM_P (operands[1]))"
2462   "mov{<imodesuffix>}\t{%1, %0|%0, %1}"
2463   [(set_attr "type" "imov")
2464    (set_attr "mode" "<MODE>")])
2465
2466 (define_insn "*movstrict<mode>_xor"
2467   [(set (strict_low_part (match_operand:SWI12 0 "register_operand" "+<r>"))
2468         (match_operand:SWI12 1 "const0_operand" ""))
2469    (clobber (reg:CC FLAGS_REG))]
2470   "reload_completed"
2471   "xor{<imodesuffix>}\t%0, %0"
2472   [(set_attr "type" "alu1")
2473    (set_attr "mode" "<MODE>")
2474    (set_attr "length_immediate" "0")])
2475
2476 (define_insn "*mov<mode>_extv_1"
2477   [(set (match_operand:SWI24 0 "register_operand" "=R")
2478         (sign_extract:SWI24 (match_operand 1 "ext_register_operand" "Q")
2479                             (const_int 8)
2480                             (const_int 8)))]
2481   ""
2482   "movs{bl|x}\t{%h1, %k0|%k0, %h1}"
2483   [(set_attr "type" "imovx")
2484    (set_attr "mode" "SI")])
2485
2486 (define_insn "*movqi_extv_1_rex64"
2487   [(set (match_operand:QI 0 "register_operand" "=Q,?R")
2488         (sign_extract:QI (match_operand 1 "ext_register_operand" "Q,Q")
2489                          (const_int 8)
2490                          (const_int 8)))]
2491   "TARGET_64BIT"
2492 {
2493   switch (get_attr_type (insn))
2494     {
2495     case TYPE_IMOVX:
2496       return "movs{bl|x}\t{%h1, %k0|%k0, %h1}";
2497     default:
2498       return "mov{b}\t{%h1, %0|%0, %h1}";
2499     }
2500 }
2501   [(set (attr "type")
2502      (if_then_else (ior (not (match_operand:QI 0 "QIreg_operand" ""))
2503                         (match_test "TARGET_MOVX"))
2504         (const_string "imovx")
2505         (const_string "imov")))
2506    (set (attr "mode")
2507      (if_then_else (eq_attr "type" "imovx")
2508         (const_string "SI")
2509         (const_string "QI")))])
2510
2511 (define_insn "*movqi_extv_1"
2512   [(set (match_operand:QI 0 "nonimmediate_operand" "=Qm,?r")
2513         (sign_extract:QI (match_operand 1 "ext_register_operand" "Q,Q")
2514                          (const_int 8)
2515                          (const_int 8)))]
2516   "!TARGET_64BIT"
2517 {
2518   switch (get_attr_type (insn))
2519     {
2520     case TYPE_IMOVX:
2521       return "movs{bl|x}\t{%h1, %k0|%k0, %h1}";
2522     default:
2523       return "mov{b}\t{%h1, %0|%0, %h1}";
2524     }
2525 }
2526   [(set (attr "type")
2527      (if_then_else (and (match_operand:QI 0 "register_operand" "")
2528                         (ior (not (match_operand:QI 0 "QIreg_operand" ""))
2529                              (match_test "TARGET_MOVX")))
2530         (const_string "imovx")
2531         (const_string "imov")))
2532    (set (attr "mode")
2533      (if_then_else (eq_attr "type" "imovx")
2534         (const_string "SI")
2535         (const_string "QI")))])
2536
2537 (define_insn "*mov<mode>_extzv_1"
2538   [(set (match_operand:SWI48 0 "register_operand" "=R")
2539         (zero_extract:SWI48 (match_operand 1 "ext_register_operand" "Q")
2540                             (const_int 8)
2541                             (const_int 8)))]
2542   ""
2543   "movz{bl|x}\t{%h1, %k0|%k0, %h1}"
2544   [(set_attr "type" "imovx")
2545    (set_attr "mode" "SI")])
2546
2547 (define_insn "*movqi_extzv_2_rex64"
2548   [(set (match_operand:QI 0 "register_operand" "=Q,?R")
2549         (subreg:QI
2550           (zero_extract:SI (match_operand 1 "ext_register_operand" "Q,Q")
2551                            (const_int 8)
2552                            (const_int 8)) 0))]
2553   "TARGET_64BIT"
2554 {
2555   switch (get_attr_type (insn))
2556     {
2557     case TYPE_IMOVX:
2558       return "movz{bl|x}\t{%h1, %k0|%k0, %h1}";
2559     default:
2560       return "mov{b}\t{%h1, %0|%0, %h1}";
2561     }
2562 }
2563   [(set (attr "type")
2564      (if_then_else (ior (not (match_operand:QI 0 "QIreg_operand" ""))
2565                         (match_test "TARGET_MOVX"))
2566         (const_string "imovx")
2567         (const_string "imov")))
2568    (set (attr "mode")
2569      (if_then_else (eq_attr "type" "imovx")
2570         (const_string "SI")
2571         (const_string "QI")))])
2572
2573 (define_insn "*movqi_extzv_2"
2574   [(set (match_operand:QI 0 "nonimmediate_operand" "=Qm,?R")
2575         (subreg:QI
2576           (zero_extract:SI (match_operand 1 "ext_register_operand" "Q,Q")
2577                            (const_int 8)
2578                            (const_int 8)) 0))]
2579   "!TARGET_64BIT"
2580 {
2581   switch (get_attr_type (insn))
2582     {
2583     case TYPE_IMOVX:
2584       return "movz{bl|x}\t{%h1, %k0|%k0, %h1}";
2585     default:
2586       return "mov{b}\t{%h1, %0|%0, %h1}";
2587     }
2588 }
2589   [(set (attr "type")
2590      (if_then_else (and (match_operand:QI 0 "register_operand" "")
2591                         (ior (not (match_operand:QI 0 "QIreg_operand" ""))
2592                              (match_test "TARGET_MOVX")))
2593         (const_string "imovx")
2594         (const_string "imov")))
2595    (set (attr "mode")
2596      (if_then_else (eq_attr "type" "imovx")
2597         (const_string "SI")
2598         (const_string "QI")))])
2599
2600 (define_expand "mov<mode>_insv_1"
2601   [(set (zero_extract:SWI48 (match_operand 0 "ext_register_operand" "")
2602                             (const_int 8)
2603                             (const_int 8))
2604         (match_operand:SWI48 1 "nonmemory_operand" ""))])
2605
2606 (define_insn "*mov<mode>_insv_1_rex64"
2607   [(set (zero_extract:SWI48x (match_operand 0 "ext_register_operand" "+Q")
2608                              (const_int 8)
2609                              (const_int 8))
2610         (match_operand:SWI48x 1 "nonmemory_operand" "Qn"))]
2611   "TARGET_64BIT"
2612 {
2613   if (CONST_INT_P (operands[1]))
2614     operands[1] = simplify_gen_subreg (QImode, operands[1], <MODE>mode, 0);
2615   return "mov{b}\t{%b1, %h0|%h0, %b1}";
2616 }
2617   [(set_attr "type" "imov")
2618    (set_attr "mode" "QI")])
2619
2620 (define_insn "*movsi_insv_1"
2621   [(set (zero_extract:SI (match_operand 0 "ext_register_operand" "+Q")
2622                          (const_int 8)
2623                          (const_int 8))
2624         (match_operand:SI 1 "general_operand" "Qmn"))]
2625   "!TARGET_64BIT"
2626 {
2627   if (CONST_INT_P (operands[1]))
2628     operands[1] = simplify_gen_subreg (QImode, operands[1], SImode, 0);
2629   return "mov{b}\t{%b1, %h0|%h0, %b1}";
2630 }
2631   [(set_attr "type" "imov")
2632    (set_attr "mode" "QI")])
2633
2634 (define_insn "*movqi_insv_2"
2635   [(set (zero_extract:SI (match_operand 0 "ext_register_operand" "+Q")
2636                          (const_int 8)
2637                          (const_int 8))
2638         (lshiftrt:SI (match_operand:SI 1 "register_operand" "Q")
2639                      (const_int 8)))]
2640   ""
2641   "mov{b}\t{%h1, %h0|%h0, %h1}"
2642   [(set_attr "type" "imov")
2643    (set_attr "mode" "QI")])
2644 \f
2645 ;; Floating point push instructions.
2646
2647 (define_insn "*pushtf"
2648   [(set (match_operand:TF 0 "push_operand" "=<,<,<")
2649         (match_operand:TF 1 "general_no_elim_operand" "x,Fo,*r"))]
2650   "TARGET_SSE2"
2651 {
2652   /* This insn should be already split before reg-stack.  */
2653   gcc_unreachable ();
2654 }
2655   [(set_attr "type" "multi")
2656    (set_attr "unit" "sse,*,*")
2657    (set_attr "mode" "TF,SI,SI")])
2658
2659 ;; %%% Kill this when call knows how to work this out.
2660 (define_split
2661   [(set (match_operand:TF 0 "push_operand" "")
2662         (match_operand:TF 1 "sse_reg_operand" ""))]
2663   "TARGET_SSE2 && reload_completed"
2664   [(set (reg:P SP_REG) (plus:P (reg:P SP_REG) (const_int -16)))
2665    (set (mem:TF (reg:P SP_REG)) (match_dup 1))])
2666
2667 (define_insn "*pushxf"
2668   [(set (match_operand:XF 0 "push_operand" "=<,<")
2669         (match_operand:XF 1 "general_no_elim_operand" "f,ro"))]
2670   "optimize_function_for_speed_p (cfun)"
2671 {
2672   /* This insn should be already split before reg-stack.  */
2673   gcc_unreachable ();
2674 }
2675   [(set_attr "type" "multi")
2676    (set_attr "unit" "i387,*")
2677    (set_attr "mode" "XF,SI")])
2678
2679 ;; Size of pushxf is 3 (for sub) + 2 (for fstp) + memory operand size.
2680 ;; Size of pushxf using integer instructions is 3+3*memory operand size
2681 ;; Pushing using integer instructions is longer except for constants
2682 ;; and direct memory references (assuming that any given constant is pushed
2683 ;; only once, but this ought to be handled elsewhere).
2684
2685 (define_insn "*pushxf_nointeger"
2686   [(set (match_operand:XF 0 "push_operand" "=<,<")
2687         (match_operand:XF 1 "general_no_elim_operand" "f,*rFo"))]
2688   "optimize_function_for_size_p (cfun)"
2689 {
2690   /* This insn should be already split before reg-stack.  */
2691   gcc_unreachable ();
2692 }
2693   [(set_attr "type" "multi")
2694    (set_attr "unit" "i387,*")
2695    (set_attr "mode" "XF,SI")])
2696
2697 ;; %%% Kill this when call knows how to work this out.
2698 (define_split
2699   [(set (match_operand:XF 0 "push_operand" "")
2700         (match_operand:XF 1 "fp_register_operand" ""))]
2701   "reload_completed"
2702   [(set (reg:P SP_REG) (plus:P (reg:P SP_REG) (match_dup 2)))
2703    (set (mem:XF (reg:P SP_REG)) (match_dup 1))]
2704   "operands[2] = GEN_INT (-GET_MODE_SIZE (XFmode));")
2705
2706 (define_insn "*pushdf_rex64"
2707   [(set (match_operand:DF 0 "push_operand" "=<,<,<")
2708         (match_operand:DF 1 "general_no_elim_operand" "f,Yd*rFm,x"))]
2709   "TARGET_64BIT"
2710 {
2711   /* This insn should be already split before reg-stack.  */
2712   gcc_unreachable ();
2713 }
2714   [(set_attr "type" "multi")
2715    (set_attr "unit" "i387,*,*")
2716    (set_attr "mode" "DF,DI,DF")])
2717
2718 ;; Size of pushdf is 3 (for sub) + 2 (for fstp) + memory operand size.
2719 ;; Size of pushdf using integer instructions is 2+2*memory operand size
2720 ;; On the average, pushdf using integers can be still shorter.
2721
2722 (define_insn "*pushdf"
2723   [(set (match_operand:DF 0 "push_operand" "=<,<,<")
2724         (match_operand:DF 1 "general_no_elim_operand" "f,Yd*rFo,x"))]
2725   "!TARGET_64BIT"
2726 {
2727   /* This insn should be already split before reg-stack.  */
2728   gcc_unreachable ();
2729 }
2730   [(set_attr "isa" "*,*,sse2")
2731    (set_attr "type" "multi")
2732    (set_attr "unit" "i387,*,*")
2733    (set_attr "mode" "DF,DI,DF")])
2734
2735 ;; %%% Kill this when call knows how to work this out.
2736 (define_split
2737   [(set (match_operand:DF 0 "push_operand" "")
2738         (match_operand:DF 1 "any_fp_register_operand" ""))]
2739   "reload_completed"
2740   [(set (reg:P SP_REG) (plus:P (reg:P SP_REG) (const_int -8)))
2741    (set (mem:DF (reg:P SP_REG)) (match_dup 1))])
2742
2743 (define_insn "*pushsf_rex64"
2744   [(set (match_operand:SF 0 "push_operand" "=X,X,X")
2745         (match_operand:SF 1 "nonmemory_no_elim_operand" "f,rF,x"))]
2746   "TARGET_64BIT"
2747 {
2748   /* Anything else should be already split before reg-stack.  */
2749   gcc_assert (which_alternative == 1);
2750   return "push{q}\t%q1";
2751 }
2752   [(set_attr "type" "multi,push,multi")
2753    (set_attr "unit" "i387,*,*")
2754    (set_attr "mode" "SF,DI,SF")])
2755
2756 (define_insn "*pushsf"
2757   [(set (match_operand:SF 0 "push_operand" "=<,<,<")
2758         (match_operand:SF 1 "general_no_elim_operand" "f,rFm,x"))]
2759   "!TARGET_64BIT"
2760 {
2761   /* Anything else should be already split before reg-stack.  */
2762   gcc_assert (which_alternative == 1);
2763   return "push{l}\t%1";
2764 }
2765   [(set_attr "type" "multi,push,multi")
2766    (set_attr "unit" "i387,*,*")
2767    (set_attr "mode" "SF,SI,SF")])
2768
2769 ;; %%% Kill this when call knows how to work this out.
2770 (define_split
2771   [(set (match_operand:SF 0 "push_operand" "")
2772         (match_operand:SF 1 "any_fp_register_operand" ""))]
2773   "reload_completed"
2774   [(set (reg:P SP_REG) (plus:P (reg:P SP_REG) (match_dup 2)))
2775    (set (mem:SF (reg:P SP_REG)) (match_dup 1))]
2776   "operands[2] = GEN_INT (-GET_MODE_SIZE (<P:MODE>mode));")
2777
2778 (define_split
2779   [(set (match_operand:SF 0 "push_operand" "")
2780         (match_operand:SF 1 "memory_operand" ""))]
2781   "reload_completed
2782    && (operands[2] = find_constant_src (insn))"
2783   [(set (match_dup 0) (match_dup 2))])
2784
2785 (define_split
2786   [(set (match_operand 0 "push_operand" "")
2787         (match_operand 1 "general_operand" ""))]
2788   "reload_completed
2789    && (GET_MODE (operands[0]) == TFmode
2790        || GET_MODE (operands[0]) == XFmode
2791        || GET_MODE (operands[0]) == DFmode)
2792    && !ANY_FP_REG_P (operands[1])"
2793   [(const_int 0)]
2794   "ix86_split_long_move (operands); DONE;")
2795 \f
2796 ;; Floating point move instructions.
2797
2798 (define_expand "movtf"
2799   [(set (match_operand:TF 0 "nonimmediate_operand" "")
2800         (match_operand:TF 1 "nonimmediate_operand" ""))]
2801   "TARGET_SSE2"
2802 {
2803   ix86_expand_move (TFmode, operands);
2804   DONE;
2805 })
2806
2807 (define_expand "mov<mode>"
2808   [(set (match_operand:X87MODEF 0 "nonimmediate_operand" "")
2809         (match_operand:X87MODEF 1 "general_operand" ""))]
2810   ""
2811   "ix86_expand_move (<MODE>mode, operands); DONE;")
2812
2813 (define_insn "*movtf_internal"
2814   [(set (match_operand:TF 0 "nonimmediate_operand" "=x,m,x,?*r ,!o")
2815         (match_operand:TF 1 "general_operand"      "xm,x,C,*roF,F*r"))]
2816   "TARGET_SSE2
2817    && !(MEM_P (operands[0]) && MEM_P (operands[1]))
2818    && (!can_create_pseudo_p ()
2819        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
2820        || GET_CODE (operands[1]) != CONST_DOUBLE
2821        || (optimize_function_for_size_p (cfun)
2822            && standard_sse_constant_p (operands[1])
2823            && !memory_operand (operands[0], TFmode))
2824        || (!TARGET_MEMORY_MISMATCH_STALL
2825            && memory_operand (operands[0], TFmode)))"
2826 {
2827   switch (which_alternative)
2828     {
2829     case 0:
2830     case 1:
2831       /* Handle misaligned load/store since we
2832          don't have movmisaligntf pattern. */
2833       if (misaligned_operand (operands[0], TFmode)
2834           || misaligned_operand (operands[1], TFmode))
2835         {
2836           if (get_attr_mode (insn) == MODE_V4SF)
2837             return "%vmovups\t{%1, %0|%0, %1}";
2838           else
2839             return "%vmovdqu\t{%1, %0|%0, %1}";
2840         }
2841       else
2842         {
2843           if (get_attr_mode (insn) == MODE_V4SF)
2844             return "%vmovaps\t{%1, %0|%0, %1}";
2845           else
2846             return "%vmovdqa\t{%1, %0|%0, %1}";
2847         }
2848
2849     case 2:
2850       return standard_sse_constant_opcode (insn, operands[1]);
2851
2852     case 3:
2853     case 4:
2854         return "#";
2855
2856     default:
2857       gcc_unreachable ();
2858     }
2859 }
2860   [(set_attr "type" "ssemov,ssemov,sselog1,*,*")
2861    (set_attr "prefix" "maybe_vex,maybe_vex,maybe_vex,*,*")
2862    (set (attr "mode")
2863         (cond [(eq_attr "alternative" "0,2")
2864                  (if_then_else
2865                    (match_test "optimize_function_for_size_p (cfun)")
2866                    (const_string "V4SF")
2867                    (const_string "TI"))
2868                (eq_attr "alternative" "1")
2869                  (if_then_else
2870                    (ior (match_test "TARGET_SSE_TYPELESS_STORES")
2871                         (match_test "optimize_function_for_size_p (cfun)"))
2872                    (const_string "V4SF")
2873                    (const_string "TI"))]
2874                (const_string "DI")))])
2875
2876 ;; Possible store forwarding (partial memory) stall in alternative 4.
2877 (define_insn "*movxf_internal"
2878   [(set (match_operand:XF 0 "nonimmediate_operand" "=f,m,f,?Yx*r ,!o")
2879         (match_operand:XF 1 "general_operand"      "fm,f,G,Yx*roF,FYx*r"))]
2880   "!(MEM_P (operands[0]) && MEM_P (operands[1]))
2881    && (!can_create_pseudo_p ()
2882        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
2883        || GET_CODE (operands[1]) != CONST_DOUBLE
2884        || (optimize_function_for_size_p (cfun)
2885            && standard_80387_constant_p (operands[1]) > 0
2886            && !memory_operand (operands[0], XFmode))
2887        || (!TARGET_MEMORY_MISMATCH_STALL
2888            && memory_operand (operands[0], XFmode)))"
2889 {
2890   switch (which_alternative)
2891     {
2892     case 0:
2893     case 1:
2894       return output_387_reg_move (insn, operands);
2895
2896     case 2:
2897       return standard_80387_constant_opcode (operands[1]);
2898
2899     case 3:
2900     case 4:
2901       return "#";
2902
2903     default:
2904       gcc_unreachable ();
2905     }
2906 }
2907   [(set_attr "type" "fmov,fmov,fmov,multi,multi")
2908    (set_attr "mode" "XF,XF,XF,SI,SI")])
2909
2910 (define_insn "*movdf_internal_rex64"
2911   [(set (match_operand:DF 0 "nonimmediate_operand"
2912                 "=f,m,f,?r,?m,?r,!o,x,x,x,m,Yi,r ")
2913         (match_operand:DF 1 "general_operand"
2914                 "fm,f,G,rm,r ,F ,F ,C,x,m,x,r ,Yi"))]
2915   "TARGET_64BIT && !(MEM_P (operands[0]) && MEM_P (operands[1]))
2916    && (!can_create_pseudo_p ()
2917        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
2918        || GET_CODE (operands[1]) != CONST_DOUBLE
2919        || (optimize_function_for_size_p (cfun)
2920            && ((!(TARGET_SSE2 && TARGET_SSE_MATH)
2921                 && standard_80387_constant_p (operands[1]) > 0)
2922                || (TARGET_SSE2 && TARGET_SSE_MATH
2923                    && standard_sse_constant_p (operands[1]))))
2924        || memory_operand (operands[0], DFmode))"
2925 {
2926   switch (which_alternative)
2927     {
2928     case 0:
2929     case 1:
2930       return output_387_reg_move (insn, operands);
2931
2932     case 2:
2933       return standard_80387_constant_opcode (operands[1]);
2934
2935     case 3:
2936     case 4:
2937       return "mov{q}\t{%1, %0|%0, %1}";
2938
2939     case 5:
2940       return "movabs{q}\t{%1, %0|%0, %1}";
2941
2942     case 6:
2943       return "#";
2944
2945     case 7:
2946       return standard_sse_constant_opcode (insn, operands[1]);
2947
2948     case 8:
2949     case 9:
2950     case 10:
2951       switch (get_attr_mode (insn))
2952         {
2953         case MODE_V2DF:
2954           if (!TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL)
2955             return "%vmovapd\t{%1, %0|%0, %1}";
2956         case MODE_V4SF:
2957           return "%vmovaps\t{%1, %0|%0, %1}";
2958
2959         case MODE_DI:
2960           return "%vmovq\t{%1, %0|%0, %1}";
2961         case MODE_DF:
2962           if (TARGET_AVX && REG_P (operands[0]) && REG_P (operands[1]))
2963             return "vmovsd\t{%1, %0, %0|%0, %0, %1}";
2964           return "%vmovsd\t{%1, %0|%0, %1}";
2965         case MODE_V1DF:
2966           return "%vmovlpd\t{%1, %d0|%d0, %1}";
2967         case MODE_V2SF:
2968           return "%vmovlps\t{%1, %d0|%d0, %1}";
2969         default:
2970           gcc_unreachable ();
2971         }
2972
2973     case 11:
2974     case 12:
2975       /* Handle broken assemblers that require movd instead of movq.  */
2976       return "%vmovd\t{%1, %0|%0, %1}";
2977
2978     default:
2979       gcc_unreachable();
2980     }
2981 }
2982   [(set (attr "type")
2983         (cond [(eq_attr "alternative" "0,1,2")
2984                  (const_string "fmov")
2985                (eq_attr "alternative" "3,4,5")
2986                  (const_string "imov")
2987                (eq_attr "alternative" "6")
2988                  (const_string "multi")
2989                (eq_attr "alternative" "7")
2990                  (const_string "sselog1")
2991               ]
2992               (const_string "ssemov")))
2993    (set (attr "modrm")
2994      (if_then_else
2995        (and (eq_attr "alternative" "5") (eq_attr "type" "imov"))
2996          (const_string "0")
2997          (const_string "*")))
2998    (set (attr "length_immediate")
2999      (if_then_else
3000        (and (eq_attr "alternative" "5") (eq_attr "type" "imov"))
3001          (const_string "8")
3002          (const_string "*")))
3003    (set (attr "prefix")
3004      (if_then_else (eq_attr "alternative" "0,1,2,3,4,5,6")
3005        (const_string "orig")
3006        (const_string "maybe_vex")))
3007    (set (attr "prefix_data16")
3008      (if_then_else (eq_attr "mode" "V1DF")
3009        (const_string "1")
3010        (const_string "*")))
3011    (set (attr "mode")
3012         (cond [(eq_attr "alternative" "0,1,2")
3013                  (const_string "DF")
3014                (eq_attr "alternative" "3,4,5,6,11,12")
3015                  (const_string "DI")
3016
3017                /* xorps is one byte shorter.  */
3018                (eq_attr "alternative" "7")
3019                  (cond [(match_test "optimize_function_for_size_p (cfun)")
3020                           (const_string "V4SF")
3021                         (match_test "TARGET_SSE_LOAD0_BY_PXOR")
3022                           (const_string "TI")
3023                        ]
3024                        (const_string "V2DF"))
3025
3026                /* For architectures resolving dependencies on
3027                   whole SSE registers use APD move to break dependency
3028                   chains, otherwise use short move to avoid extra work.
3029
3030                   movaps encodes one byte shorter.  */
3031                (eq_attr "alternative" "8")
3032                  (cond
3033                    [(match_test "optimize_function_for_size_p (cfun)")
3034                       (const_string "V4SF")
3035                     (match_test "TARGET_SSE_PARTIAL_REG_DEPENDENCY")
3036                       (const_string "V2DF")
3037                    ]
3038                    (const_string "DF"))
3039                /* For architectures resolving dependencies on register
3040                   parts we may avoid extra work to zero out upper part
3041                   of register.  */
3042                (eq_attr "alternative" "9")
3043                  (if_then_else
3044                    (match_test "TARGET_SSE_SPLIT_REGS")
3045                    (const_string "V1DF")
3046                    (const_string "DF"))
3047               ]
3048               (const_string "DF")))])
3049
3050 ;; Possible store forwarding (partial memory) stall in alternative 4.
3051 (define_insn "*movdf_internal"
3052   [(set (match_operand:DF 0 "nonimmediate_operand"
3053                 "=f,m,f,?Yd*r ,!o   ,x,x,x,m,*x,*x,*x,m")
3054         (match_operand:DF 1 "general_operand"
3055                 "fm,f,G,Yd*roF,FYd*r,C,x,m,x,C ,*x,m ,*x"))]
3056   "!TARGET_64BIT && !(MEM_P (operands[0]) && MEM_P (operands[1]))
3057    && (!can_create_pseudo_p ()
3058        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
3059        || GET_CODE (operands[1]) != CONST_DOUBLE
3060        || (optimize_function_for_size_p (cfun)
3061            && ((!(TARGET_SSE2 && TARGET_SSE_MATH)
3062                 && standard_80387_constant_p (operands[1]) > 0)
3063                || (TARGET_SSE2 && TARGET_SSE_MATH
3064                    && standard_sse_constant_p (operands[1])))
3065            && !memory_operand (operands[0], DFmode))
3066        || (!TARGET_MEMORY_MISMATCH_STALL
3067            && memory_operand (operands[0], DFmode)))"
3068 {
3069   switch (which_alternative)
3070     {
3071     case 0:
3072     case 1:
3073       return output_387_reg_move (insn, operands);
3074
3075     case 2:
3076       return standard_80387_constant_opcode (operands[1]);
3077
3078     case 3:
3079     case 4:
3080       return "#";
3081
3082     case 5:
3083     case 9:
3084       return standard_sse_constant_opcode (insn, operands[1]);
3085
3086     case 6:
3087     case 7:
3088     case 8:
3089     case 10:
3090     case 11:
3091     case 12:
3092       switch (get_attr_mode (insn))
3093         {
3094         case MODE_V2DF:
3095           if (!TARGET_SSE_PACKED_SINGLE_INSN_OPTIMAL)
3096             return "%vmovapd\t{%1, %0|%0, %1}";
3097         case MODE_V4SF:
3098           return "%vmovaps\t{%1, %0|%0, %1}";
3099
3100         case MODE_DI:
3101           return "%vmovq\t{%1, %0|%0, %1}";
3102         case MODE_DF:
3103           if (TARGET_AVX && REG_P (operands[0]) && REG_P (operands[1]))
3104             return "vmovsd\t{%1, %0, %0|%0, %0, %1}";
3105           return "%vmovsd\t{%1, %0|%0, %1}";
3106         case MODE_V1DF:
3107           return "%vmovlpd\t{%1, %d0|%d0, %1}";
3108         case MODE_V2SF:
3109           return "%vmovlps\t{%1, %d0|%d0, %1}";
3110         default:
3111           gcc_unreachable ();
3112         }
3113
3114     default:
3115       gcc_unreachable ();
3116     }
3117 }
3118   [(set (attr "isa")
3119      (if_then_else (eq_attr "alternative" "5,6,7,8")
3120        (const_string "sse2")
3121        (const_string "*")))
3122    (set (attr "type")
3123         (cond [(eq_attr "alternative" "0,1,2")
3124                  (const_string "fmov")
3125                (eq_attr "alternative" "3,4")
3126                  (const_string "multi")
3127                (eq_attr "alternative" "5,9")
3128                  (const_string "sselog1")
3129               ]
3130               (const_string "ssemov")))
3131    (set (attr "prefix")
3132      (if_then_else (eq_attr "alternative" "0,1,2,3,4")
3133        (const_string "orig")
3134        (const_string "maybe_vex")))
3135    (set (attr "prefix_data16")
3136      (if_then_else (eq_attr "mode" "V1DF")
3137        (const_string "1")
3138        (const_string "*")))
3139    (set (attr "mode")
3140         (cond [(eq_attr "alternative" "0,1,2")
3141                  (const_string "DF")
3142                (eq_attr "alternative" "3,4")
3143                  (const_string "SI")
3144
3145                /* For SSE1, we have many fewer alternatives.  */
3146                (not (match_test "TARGET_SSE2"))
3147                  (if_then_else
3148                    (eq_attr "alternative" "5,6,9,10")
3149                    (const_string "V4SF")
3150                    (const_string "V2SF"))
3151
3152                /* xorps is one byte shorter.  */
3153                (eq_attr "alternative" "5,9")
3154                  (cond [(match_test "optimize_function_for_size_p (cfun)")
3155                           (const_string "V4SF")
3156                         (match_test "TARGET_SSE_LOAD0_BY_PXOR")
3157                           (const_string "TI")
3158                        ]
3159                        (const_string "V2DF"))
3160
3161                /* For architectures resolving dependencies on
3162                   whole SSE registers use APD move to break dependency
3163                   chains, otherwise use short move to avoid extra work.
3164
3165                   movaps encodes one byte shorter.  */
3166                (eq_attr "alternative" "6,10")
3167                  (cond
3168                    [(match_test "optimize_function_for_size_p (cfun)")
3169                       (const_string "V4SF")
3170                     (match_test "TARGET_SSE_PARTIAL_REG_DEPENDENCY")
3171                       (const_string "V2DF")
3172                    ]
3173                    (const_string "DF"))
3174                /* For architectures resolving dependencies on register
3175                   parts we may avoid extra work to zero out upper part
3176                   of register.  */
3177                (eq_attr "alternative" "7,11")
3178                  (if_then_else
3179                    (match_test "TARGET_SSE_SPLIT_REGS")
3180                    (const_string "V1DF")
3181                    (const_string "DF"))
3182               ]
3183               (const_string "DF")))])
3184
3185 (define_insn "*movsf_internal"
3186   [(set (match_operand:SF 0 "nonimmediate_operand"
3187           "=f,m,f,?r ,?m,x,x,x,m,!*y,!m,!*y,?Yi,?r,!*Ym,!r")
3188         (match_operand:SF 1 "general_operand"
3189           "fm,f,G,rmF,Fr,C,x,m,x,m  ,*y,*y ,r  ,Yi,r   ,*Ym"))]
3190   "!(MEM_P (operands[0]) && MEM_P (operands[1]))
3191    && (!can_create_pseudo_p ()
3192        || (ix86_cmodel == CM_MEDIUM || ix86_cmodel == CM_LARGE)
3193        || GET_CODE (operands[1]) != CONST_DOUBLE
3194        || (optimize_function_for_size_p (cfun)
3195            && ((!TARGET_SSE_MATH
3196                 && standard_80387_constant_p (operands[1]) > 0)
3197                || (TARGET_SSE_MATH
3198                    && standard_sse_constant_p (operands[1]))))
3199        || memory_operand (operands[0], SFmode))"
3200 {
3201   switch (which_alternative)
3202     {
3203     case 0:
3204     case 1:
3205       return output_387_reg_move (insn, operands);
3206
3207     case 2:
3208       return standard_80387_constant_opcode (operands[1]);
3209
3210     case 3:
3211     case 4:
3212       return "mov{l}\t{%1, %0|%0, %1}";
3213
3214     case 5:
3215       return standard_sse_constant_opcode (insn, operands[1]);
3216
3217     case 6:
3218       if (get_attr_mode (insn) == MODE_V4SF)
3219         return "%vmovaps\t{%1, %0|%0, %1}";
3220       if (TARGET_AVX)
3221         return "vmovss\t{%1, %0, %0|%0, %0, %1}";
3222
3223     case 7:
3224     case 8:
3225       return "%vmovss\t{%1, %0|%0, %1}";
3226
3227     case 9:
3228     case 10:
3229     case 14:
3230     case 15:
3231       return "movd\t{%1, %0|%0, %1}";
3232
3233     case 11:
3234       return "movq\t{%1, %0|%0, %1}";
3235
3236     case 12:
3237     case 13:
3238       return "%vmovd\t{%1, %0|%0, %1}";
3239
3240     default:
3241       gcc_unreachable ();
3242     }
3243 }
3244   [(set (attr "type")
3245         (cond [(eq_attr "alternative" "0,1,2")
3246                  (const_string "fmov")
3247                (eq_attr "alternative" "3,4")
3248                  (const_string "multi")
3249                (eq_attr "alternative" "5")
3250                  (const_string "sselog1")
3251                (eq_attr "alternative" "9,10,11,14,15")
3252                  (const_string "mmxmov")
3253               ]
3254               (const_string "ssemov")))
3255    (set (attr "prefix")
3256      (if_then_else (eq_attr "alternative" "5,6,7,8,12,13")
3257        (const_string "maybe_vex")
3258        (const_string "orig")))
3259    (set (attr "mode")
3260         (cond [(eq_attr "alternative" "3,4,9,10")
3261                  (const_string "SI")
3262                (eq_attr "alternative" "5")
3263                  (if_then_else
3264                    (and (and (match_test "TARGET_SSE_LOAD0_BY_PXOR")
3265                              (match_test "TARGET_SSE2"))
3266                         (not (match_test "optimize_function_for_size_p (cfun)")))
3267                    (const_string "TI")
3268                    (const_string "V4SF"))
3269                /* For architectures resolving dependencies on
3270                   whole SSE registers use APS move to break dependency
3271                   chains, otherwise use short move to avoid extra work.
3272
3273                   Do the same for architectures resolving dependencies on
3274                   the parts.  While in DF mode it is better to always handle
3275                   just register parts, the SF mode is different due to lack
3276                   of instructions to load just part of the register.  It is
3277                   better to maintain the whole registers in single format
3278                   to avoid problems on using packed logical operations.  */
3279                (eq_attr "alternative" "6")
3280                  (if_then_else
3281                    (ior (match_test "TARGET_SSE_PARTIAL_REG_DEPENDENCY")
3282                         (match_test "TARGET_SSE_SPLIT_REGS"))
3283                    (const_string "V4SF")
3284                    (const_string "SF"))
3285                (eq_attr "alternative" "11")
3286                  (const_string "DI")]
3287                (const_string "SF")))])
3288
3289 (define_split
3290   [(set (match_operand 0 "any_fp_register_operand" "")
3291         (match_operand 1 "memory_operand" ""))]
3292   "reload_completed
3293    && (GET_MODE (operands[0]) == TFmode
3294        || GET_MODE (operands[0]) == XFmode
3295        || GET_MODE (operands[0]) == DFmode
3296        || GET_MODE (operands[0]) == SFmode)
3297    && (operands[2] = find_constant_src (insn))"
3298   [(set (match_dup 0) (match_dup 2))]
3299 {
3300   rtx c = operands[2];
3301   int r = REGNO (operands[0]);
3302
3303   if ((SSE_REGNO_P (r) && !standard_sse_constant_p (c))
3304       || (FP_REGNO_P (r) && standard_80387_constant_p (c) < 1))
3305     FAIL;
3306 })
3307
3308 (define_split
3309   [(set (match_operand 0 "any_fp_register_operand" "")
3310         (float_extend (match_operand 1 "memory_operand" "")))]
3311   "reload_completed
3312    && (GET_MODE (operands[0]) == TFmode
3313        || GET_MODE (operands[0]) == XFmode
3314        || GET_MODE (operands[0]) == DFmode)
3315    && (operands[2] = find_constant_src (insn))"
3316   [(set (match_dup 0) (match_dup 2))]
3317 {
3318   rtx c = operands[2];
3319   int r = REGNO (operands[0]);
3320
3321   if ((SSE_REGNO_P (r) && !standard_sse_constant_p (c))
3322       || (FP_REGNO_P (r) && standard_80387_constant_p (c) < 1))
3323     FAIL;
3324 })
3325
3326 ;; Split the load of -0.0 or -1.0 into fldz;fchs or fld1;fchs sequence
3327 (define_split
3328   [(set (match_operand:X87MODEF 0 "fp_register_operand" "")
3329         (match_operand:X87MODEF 1 "immediate_operand" ""))]
3330   "reload_completed
3331    && (standard_80387_constant_p (operands[1]) == 8
3332        || standard_80387_constant_p (operands[1]) == 9)"
3333   [(set (match_dup 0)(match_dup 1))
3334    (set (match_dup 0)
3335         (neg:X87MODEF (match_dup 0)))]
3336 {
3337   REAL_VALUE_TYPE r;
3338
3339   REAL_VALUE_FROM_CONST_DOUBLE (r, operands[1]);
3340   if (real_isnegzero (&r))
3341     operands[1] = CONST0_RTX (<MODE>mode);
3342   else
3343     operands[1] = CONST1_RTX (<MODE>mode);
3344 })
3345
3346 (define_split
3347   [(set (match_operand 0 "nonimmediate_operand" "")
3348         (match_operand 1 "general_operand" ""))]
3349   "reload_completed
3350    && (GET_MODE (operands[0]) == TFmode
3351        || GET_MODE (operands[0]) == XFmode
3352        || GET_MODE (operands[0]) == DFmode)
3353    && !(ANY_FP_REG_P (operands[0]) || ANY_FP_REG_P (operands[1]))"
3354   [(const_int 0)]
3355   "ix86_split_long_move (operands); DONE;")
3356
3357 (define_insn "swapxf"
3358   [(set (match_operand:XF 0 "register_operand" "+f")
3359         (match_operand:XF 1 "register_operand" "+f"))
3360    (set (match_dup 1)
3361         (match_dup 0))]
3362   "TARGET_80387"
3363 {
3364   if (STACK_TOP_P (operands[0]))
3365     return "fxch\t%1";
3366   else
3367     return "fxch\t%0";
3368 }
3369   [(set_attr "type" "fxch")
3370    (set_attr "mode" "XF")])
3371
3372 (define_insn "*swap<mode>"
3373   [(set (match_operand:MODEF 0 "fp_register_operand" "+f")
3374         (match_operand:MODEF 1 "fp_register_operand" "+f"))
3375    (set (match_dup 1)
3376         (match_dup 0))]
3377   "TARGET_80387 || reload_completed"
3378 {
3379   if (STACK_TOP_P (operands[0]))
3380     return "fxch\t%1";
3381   else
3382     return "fxch\t%0";
3383 }
3384   [(set_attr "type" "fxch")
3385    (set_attr "mode" "<MODE>")])
3386 \f
3387 ;; Zero extension instructions
3388
3389 (define_expand "zero_extendsidi2"
3390   [(set (match_operand:DI 0 "nonimmediate_operand" "")
3391         (zero_extend:DI (match_operand:SI 1 "nonimmediate_operand" "")))]
3392   ""
3393 {
3394   if (!TARGET_64BIT)
3395     {
3396       emit_insn (gen_zero_extendsidi2_1 (operands[0], operands[1]));
3397       DONE;
3398     }
3399 })
3400
3401 (define_insn "*zero_extendsidi2_rex64"
3402   [(set (match_operand:DI 0 "nonimmediate_operand"  "=r,o,?*Ym,?*y,?*Yi,*x")
3403         (zero_extend:DI
3404          (match_operand:SI 1 "nonimmediate_operand" "rm,0,r   ,m  ,r   ,m")))]
3405   "TARGET_64BIT"
3406   "@
3407    mov{l}\t{%1, %k0|%k0, %1}
3408    #
3409    movd\t{%1, %0|%0, %1}
3410    movd\t{%1, %0|%0, %1}
3411    %vmovd\t{%1, %0|%0, %1}
3412    %vmovd\t{%1, %0|%0, %1}"
3413   [(set_attr "type" "imovx,imov,mmxmov,mmxmov,ssemov,ssemov")
3414    (set_attr "prefix" "orig,*,orig,orig,maybe_vex,maybe_vex")
3415    (set_attr "prefix_0f" "0,*,*,*,*,*")
3416    (set_attr "mode" "SI,DI,DI,DI,TI,TI")])
3417
3418 (define_split
3419   [(set (match_operand:DI 0 "memory_operand" "")
3420         (zero_extend:DI (match_dup 0)))]
3421   "TARGET_64BIT"
3422   [(set (match_dup 4) (const_int 0))]
3423   "split_double_mode (DImode, &operands[0], 1, &operands[3], &operands[4]);")
3424
3425 ;; %%% Kill me once multi-word ops are sane.
3426 (define_insn "zero_extendsidi2_1"
3427   [(set (match_operand:DI 0 "nonimmediate_operand" "=r,?r,?o,?*Ym,?*y,?*Yi,*x")
3428         (zero_extend:DI
3429          (match_operand:SI 1 "nonimmediate_operand" "0,rm,r ,r   ,m  ,r   ,m")))
3430    (clobber (reg:CC FLAGS_REG))]
3431   "!TARGET_64BIT"
3432   "@
3433    #
3434    #
3435    #
3436    movd\t{%1, %0|%0, %1}
3437    movd\t{%1, %0|%0, %1}
3438    %vmovd\t{%1, %0|%0, %1}
3439    %vmovd\t{%1, %0|%0, %1}"
3440   [(set_attr "isa" "*,*,*,*,*,*,sse2")
3441    (set_attr "type" "multi,multi,multi,mmxmov,mmxmov,ssemov,ssemov")
3442    (set_attr "prefix" "*,*,*,orig,orig,maybe_vex,maybe_vex")
3443    (set_attr "mode" "SI,SI,SI,DI,DI,TI,TI")])
3444
3445 (define_split
3446   [(set (match_operand:DI 0 "register_operand" "")
3447         (zero_extend:DI (match_operand:SI 1 "register_operand" "")))
3448    (clobber (reg:CC FLAGS_REG))]
3449   "!TARGET_64BIT && reload_completed
3450    && true_regnum (operands[0]) == true_regnum (operands[1])"
3451   [(set (match_dup 4) (const_int 0))]
3452   "split_double_mode (DImode, &operands[0], 1, &operands[3], &operands[4]);")
3453
3454 (define_split
3455   [(set (match_operand:DI 0 "nonimmediate_operand" "")
3456         (zero_extend:DI (match_operand:SI 1 "general_operand" "")))
3457    (clobber (reg:CC FLAGS_REG))]
3458   "!TARGET_64BIT && reload_completed
3459    && !(MMX_REG_P (operands[0]) || SSE_REG_P (operands[0]))"
3460   [(set (match_dup 3) (match_dup 1))
3461    (set (match_dup 4) (const_int 0))]
3462   "split_double_mode (DImode, &operands[0], 1, &operands[3], &operands[4]);")
3463
3464 (define_insn "zero_extend<mode>di2"
3465   [(set (match_operand:DI 0 "register_operand" "=r")
3466         (zero_extend:DI
3467          (match_operand:SWI12 1 "nonimmediate_operand" "<r>m")))]
3468   "TARGET_64BIT"
3469   "movz{<imodesuffix>l|x}\t{%1, %k0|%k0, %1}"
3470   [(set_attr "type" "imovx")
3471    (set_attr "mode" "SI")])
3472
3473 (define_expand "zero_extendhisi2"
3474   [(set (match_operand:SI 0 "register_operand" "")
3475         (zero_extend:SI (match_operand:HI 1 "nonimmediate_operand" "")))]
3476   ""
3477 {
3478   if (TARGET_ZERO_EXTEND_WITH_AND && optimize_function_for_speed_p (cfun))
3479     {
3480       operands[1] = force_reg (HImode, operands[1]);
3481       emit_insn (gen_zero_extendhisi2_and (operands[0], operands[1]));
3482       DONE;
3483     }
3484 })
3485
3486 (define_insn_and_split "zero_extendhisi2_and"
3487   [(set (match_operand:SI 0 "register_operand" "=r")
3488         (zero_extend:SI (match_operand:HI 1 "register_operand" "0")))
3489    (clobber (reg:CC FLAGS_REG))]
3490   "TARGET_ZERO_EXTEND_WITH_AND && optimize_function_for_speed_p (cfun)"
3491   "#"
3492   "&& reload_completed"
3493   [(parallel [(set (match_dup 0) (and:SI (match_dup 0) (const_int 65535)))
3494               (clobber (reg:CC FLAGS_REG))])]
3495   ""
3496   [(set_attr "type" "alu1")
3497    (set_attr "mode" "SI")])
3498
3499 (define_insn "*zero_extendhisi2_movzwl"
3500   [(set (match_operand:SI 0 "register_operand" "=r")
3501         (zero_extend:SI (match_operand:HI 1 "nonimmediate_operand" "rm")))]
3502   "!TARGET_ZERO_EXTEND_WITH_AND
3503    || optimize_function_for_size_p (cfun)"
3504   "movz{wl|x}\t{%1, %0|%0, %1}"
3505   [(set_attr "type" "imovx")
3506    (set_attr "mode" "SI")])
3507
3508 (define_expand "zero_extendqi<mode>2"
3509   [(parallel
3510     [(set (match_operand:SWI24 0 "register_operand" "")
3511           (zero_extend:SWI24 (match_operand:QI 1 "nonimmediate_operand" "")))
3512      (clobber (reg:CC FLAGS_REG))])])
3513
3514 (define_insn "*zero_extendqi<mode>2_and"
3515   [(set (match_operand:SWI24 0 "register_operand" "=r,?&q")
3516         (zero_extend:SWI24 (match_operand:QI 1 "nonimmediate_operand" "0,qm")))
3517    (clobber (reg:CC FLAGS_REG))]
3518   "TARGET_ZERO_EXTEND_WITH_AND && optimize_function_for_speed_p (cfun)"
3519   "#"
3520   [(set_attr "type" "alu1")
3521    (set_attr "mode" "<MODE>")])
3522
3523 ;; When source and destination does not overlap, clear destination
3524 ;; first and then do the movb
3525 (define_split
3526   [(set (match_operand:SWI24 0 "register_operand" "")
3527         (zero_extend:SWI24 (match_operand:QI 1 "nonimmediate_operand" "")))
3528    (clobber (reg:CC FLAGS_REG))]
3529   "reload_completed
3530    && (TARGET_ZERO_EXTEND_WITH_AND && optimize_function_for_speed_p (cfun))
3531    && ANY_QI_REG_P (operands[0])
3532    && (ANY_QI_REG_P (operands[1]) || MEM_P (operands[1]))
3533    && !reg_overlap_mentioned_p (operands[0], operands[1])"
3534   [(set (strict_low_part (match_dup 2)) (match_dup 1))]
3535 {
3536   operands[2] = gen_lowpart (QImode, operands[0]);
3537   ix86_expand_clear (operands[0]);
3538 })
3539
3540 (define_insn "*zero_extendqi<mode>2_movzbl_and"
3541   [(set (match_operand:SWI24 0 "register_operand" "=r,r")
3542         (zero_extend:SWI24 (match_operand:QI 1 "nonimmediate_operand" "qm,0")))
3543    (clobber (reg:CC FLAGS_REG))]
3544   "!TARGET_ZERO_EXTEND_WITH_AND || optimize_function_for_size_p (cfun)"
3545   "#"
3546   [(set_attr "type" "imovx,alu1")
3547    (set_attr "mode" "<MODE>")])
3548
3549 ;; For the movzbl case strip only the clobber
3550 (define_split
3551   [(set (match_operand:SWI24 0 "register_operand" "")
3552         (zero_extend:SWI24 (match_operand:QI 1 "nonimmediate_operand" "")))
3553    (clobber (reg:CC FLAGS_REG))]
3554   "reload_completed
3555    && (!TARGET_ZERO_EXTEND_WITH_AND || optimize_function_for_size_p (cfun))
3556    && (!REG_P (operands[1]) || ANY_QI_REG_P (operands[1]))"
3557   [(set (match_dup 0)
3558         (zero_extend:SWI24 (match_dup 1)))])
3559
3560 ; zero extend to SImode to avoid partial register stalls
3561 (define_insn "*zero_extendqi<mode>2_movzbl"
3562   [(set (match_operand:SWI24 0 "register_operand" "=r")
3563         (zero_extend:SWI24 (match_operand:QI 1 "nonimmediate_operand" "qm")))]
3564   "reload_completed
3565    && (!TARGET_ZERO_EXTEND_WITH_AND || optimize_function_for_size_p (cfun))"
3566   "movz{bl|x}\t{%1, %k0|%k0, %1}"
3567   [(set_attr "type" "imovx")
3568    (set_attr "mode" "SI")])
3569
3570 ;; Rest is handled by single and.
3571 (define_split
3572   [(set (match_operand:SWI24 0 "register_operand" "")
3573         (zero_extend:SWI24 (match_operand:QI 1 "register_operand" "")))
3574    (clobber (reg:CC FLAGS_REG))]
3575   "reload_completed
3576    && true_regnum (operands[0]) == true_regnum (operands[1])"
3577   [(parallel [(set (match_dup 0) (and:SWI24 (match_dup 0) (const_int 255)))
3578               (clobber (reg:CC FLAGS_REG))])])
3579 \f
3580 ;; Sign extension instructions
3581
3582 (define_expand "extendsidi2"
3583   [(set (match_operand:DI 0 "register_operand" "")
3584         (sign_extend:DI (match_operand:SI 1 "register_operand" "")))]
3585   ""
3586 {
3587   if (!TARGET_64BIT)
3588     {
3589       emit_insn (gen_extendsidi2_1 (operands[0], operands[1]));
3590       DONE;
3591     }
3592 })
3593
3594 (define_insn "*extendsidi2_rex64"
3595   [(set (match_operand:DI 0 "register_operand" "=*a,r")
3596         (sign_extend:DI (match_operand:SI 1 "nonimmediate_operand" "*0,rm")))]
3597   "TARGET_64BIT"
3598   "@
3599    {cltq|cdqe}
3600    movs{lq|x}\t{%1, %0|%0, %1}"
3601   [(set_attr "type" "imovx")
3602    (set_attr "mode" "DI")
3603    (set_attr "prefix_0f" "0")
3604    (set_attr "modrm" "0,1")])
3605
3606 (define_insn "extendsidi2_1"
3607   [(set (match_operand:DI 0 "nonimmediate_operand" "=*A,r,?r,?*o")
3608         (sign_extend:DI (match_operand:SI 1 "register_operand" "0,0,r,r")))
3609    (clobber (reg:CC FLAGS_REG))
3610    (clobber (match_scratch:SI 2 "=X,X,X,&r"))]
3611   "!TARGET_64BIT"
3612   "#")
3613
3614 ;; Extend to memory case when source register does die.
3615 (define_split
3616   [(set (match_operand:DI 0 "memory_operand" "")
3617         (sign_extend:DI (match_operand:SI 1 "register_operand" "")))
3618    (clobber (reg:CC FLAGS_REG))
3619    (clobber (match_operand:SI 2 "register_operand" ""))]
3620   "(reload_completed
3621     && dead_or_set_p (insn, operands[1])
3622     && !reg_mentioned_p (operands[1], operands[0]))"
3623   [(set (match_dup 3) (match_dup 1))
3624    (parallel [(set (match_dup 1) (ashiftrt:SI (match_dup 1) (const_int 31)))
3625               (clobber (reg:CC FLAGS_REG))])
3626    (set (match_dup 4) (match_dup 1))]
3627   "split_double_mode (DImode, &operands[0], 1, &operands[3], &operands[4]);")
3628
3629 ;; Extend to memory case when source register does not die.
3630 (define_split
3631   [(set (match_operand:DI 0 "memory_operand" "")
3632         (sign_extend:DI (match_operand:SI 1 "register_operand" "")))
3633    (clobber (reg:CC FLAGS_REG))
3634    (clobber (match_operand:SI 2 "register_operand" ""))]
3635   "reload_completed"
3636   [(const_int 0)]
3637 {
3638   split_double_mode (DImode, &operands[0], 1, &operands[3], &operands[4]);
3639
3640   emit_move_insn (operands[3], operands[1]);
3641
3642   /* Generate a cltd if possible and doing so it profitable.  */
3643   if ((optimize_function_for_size_p (cfun) || TARGET_USE_CLTD)
3644       && true_regnum (operands[1]) == AX_REG
3645       && true_regnum (operands[2]) == DX_REG)
3646     {
3647       emit_insn (gen_ashrsi3_cvt (operands[2], operands[1], GEN_INT (31)));
3648     }
3649   else
3650     {
3651       emit_move_insn (operands[2], operands[1]);
3652       emit_insn (gen_ashrsi3_cvt (operands[2], operands[2], GEN_INT (31)));
3653     }
3654   emit_move_insn (operands[4], operands[2]);
3655   DONE;
3656 })
3657
3658 ;; Extend to register case.  Optimize case where source and destination
3659 ;; registers match and cases where we can use cltd.
3660 (define_split
3661   [(set (match_operand:DI 0 "register_operand" "")
3662         (sign_extend:DI (match_operand:SI 1 "register_operand" "")))
3663    (clobber (reg:CC FLAGS_REG))
3664    (clobber (match_scratch:SI 2 ""))]
3665   "reload_completed"
3666   [(const_int 0)]
3667 {
3668   split_double_mode (DImode, &operands[0], 1, &operands[3], &operands[4]);
3669
3670   if (true_regnum (operands[3]) != true_regnum (operands[1]))
3671     emit_move_insn (operands[3], operands[1]);
3672
3673   /* Generate a cltd if possible and doing so it profitable.  */
3674   if ((optimize_function_for_size_p (cfun) || TARGET_USE_CLTD)
3675       && true_regnum (operands[3]) == AX_REG
3676       && true_regnum (operands[4]) == DX_REG)
3677     {
3678       emit_insn (gen_ashrsi3_cvt (operands[4], operands[3], GEN_INT (31)));
3679       DONE;
3680     }
3681
3682   if (true_regnum (operands[4]) != true_regnum (operands[1]))
3683     emit_move_insn (operands[4], operands[1]);
3684
3685   emit_insn (gen_ashrsi3_cvt (operands[4], operands[4], GEN_INT (31)));
3686   DONE;
3687 })
3688
3689 (define_insn "extend<mode>di2"
3690   [(set (match_operand:DI 0 "register_operand" "=r")
3691         (sign_extend:DI
3692          (match_operand:SWI12 1 "nonimmediate_operand" "<r>m")))]
3693   "TARGET_64BIT"
3694   "movs{<imodesuffix>q|x}\t{%1, %0|%0, %1}"
3695   [(set_attr "type" "imovx")
3696    (set_attr "mode" "DI")])
3697
3698 (define_insn "extendhisi2"
3699   [(set (match_operand:SI 0 "register_operand" "=*a,r")
3700         (sign_extend:SI (match_operand:HI 1 "nonimmediate_operand" "*0,rm")))]
3701   ""
3702 {
3703   switch (get_attr_prefix_0f (insn))
3704     {
3705     case 0:
3706       return "{cwtl|cwde}";
3707     default:
3708       return "movs{wl|x}\t{%1, %0|%0, %1}";
3709     }
3710 }
3711   [(set_attr "type" "imovx")
3712    (set_attr "mode" "SI")
3713    (set (attr "prefix_0f")
3714      ;; movsx is short decodable while cwtl is vector decoded.
3715      (if_then_else (and (eq_attr "cpu" "!k6")
3716                         (eq_attr "alternative" "0"))
3717         (const_string "0")
3718         (const_string "1")))
3719    (set (attr "modrm")
3720      (if_then_else (eq_attr "prefix_0f" "0")
3721         (const_string "0")
3722         (const_string "1")))])
3723
3724 (define_insn "*extendhisi2_zext"
3725   [(set (match_operand:DI 0 "register_operand" "=*a,r")
3726         (zero_extend:DI
3727          (sign_extend:SI
3728           (match_operand:HI 1 "nonimmediate_operand" "*0,rm"))))]
3729   "TARGET_64BIT"
3730 {
3731   switch (get_attr_prefix_0f (insn))
3732     {
3733     case 0:
3734       return "{cwtl|cwde}";
3735     default:
3736       return "movs{wl|x}\t{%1, %k0|%k0, %1}";
3737     }
3738 }
3739   [(set_attr "type" "imovx")
3740    (set_attr "mode" "SI")
3741    (set (attr "prefix_0f")
3742      ;; movsx is short decodable while cwtl is vector decoded.
3743      (if_then_else (and (eq_attr "cpu" "!k6")
3744                         (eq_attr "alternative" "0"))
3745         (const_string "0")
3746         (const_string "1")))
3747    (set (attr "modrm")
3748      (if_then_else (eq_attr "prefix_0f" "0")
3749         (const_string "0")
3750         (const_string "1")))])
3751
3752 (define_insn "extendqisi2"
3753   [(set (match_operand:SI 0 "register_operand" "=r")
3754         (sign_extend:SI (match_operand:QI 1 "nonimmediate_operand" "qm")))]
3755   ""
3756   "movs{bl|x}\t{%1, %0|%0, %1}"
3757    [(set_attr "type" "imovx")
3758     (set_attr "mode" "SI")])
3759
3760 (define_insn "*extendqisi2_zext"
3761   [(set (match_operand:DI 0 "register_operand" "=r")
3762         (zero_extend:DI
3763           (sign_extend:SI (match_operand:QI 1 "nonimmediate_operand" "qm"))))]
3764   "TARGET_64BIT"
3765   "movs{bl|x}\t{%1, %k0|%k0, %1}"
3766    [(set_attr "type" "imovx")
3767     (set_attr "mode" "SI")])
3768
3769 (define_insn "extendqihi2"
3770   [(set (match_operand:HI 0 "register_operand" "=*a,r")
3771         (sign_extend:HI (match_operand:QI 1 "nonimmediate_operand" "*0,qm")))]
3772   ""
3773 {
3774   switch (get_attr_prefix_0f (insn))
3775     {
3776     case 0:
3777       return "{cbtw|cbw}";
3778     default:
3779       return "movs{bw|x}\t{%1, %0|%0, %1}";
3780     }
3781 }
3782   [(set_attr "type" "imovx")
3783    (set_attr "mode" "HI")
3784    (set (attr "prefix_0f")
3785      ;; movsx is short decodable while cwtl is vector decoded.
3786      (if_then_else (and (eq_attr "cpu" "!k6")
3787                         (eq_attr "alternative" "0"))
3788         (const_string "0")
3789         (const_string "1")))
3790    (set (attr "modrm")
3791      (if_then_else (eq_attr "prefix_0f" "0")
3792         (const_string "0")
3793         (const_string "1")))])
3794 \f
3795 ;; Conversions between float and double.
3796
3797 ;; These are all no-ops in the model used for the 80387.
3798 ;; So just emit moves.
3799
3800 ;; %%% Kill these when call knows how to work out a DFmode push earlier.
3801 (define_split
3802   [(set (match_operand:DF 0 "push_operand" "")
3803         (float_extend:DF (match_operand:SF 1 "fp_register_operand" "")))]
3804   "reload_completed"
3805   [(set (reg:P SP_REG) (plus:P (reg:P SP_REG) (const_int -8)))
3806    (set (mem:DF (reg:P SP_REG)) (float_extend:DF (match_dup 1)))])
3807
3808 (define_split
3809   [(set (match_operand:XF 0 "push_operand" "")
3810         (float_extend:XF (match_operand:MODEF 1 "fp_register_operand" "")))]
3811   "reload_completed"
3812   [(set (reg:P SP_REG) (plus:P (reg:P SP_REG) (match_dup 2)))
3813    (set (mem:XF (reg:P SP_REG)) (float_extend:XF (match_dup 1)))]
3814   "operands[2] = GEN_INT (-GET_MODE_SIZE (XFmode));")
3815
3816 (define_expand "extendsfdf2"
3817   [(set (match_operand:DF 0 "nonimmediate_operand" "")
3818         (float_extend:DF (match_operand:SF 1 "general_operand" "")))]
3819   "TARGET_80387 || (TARGET_SSE2 && TARGET_SSE_MATH)"
3820 {
3821   /* ??? Needed for compress_float_constant since all fp constants
3822      are TARGET_LEGITIMATE_CONSTANT_P.  */
3823   if (GET_CODE (operands[1]) == CONST_DOUBLE)
3824     {
3825       if ((!TARGET_SSE2 || TARGET_MIX_SSE_I387)
3826           && standard_80387_constant_p (operands[1]) > 0)
3827         {
3828           operands[1] = simplify_const_unary_operation
3829             (FLOAT_EXTEND, DFmode, operands[1], SFmode);
3830           emit_move_insn_1 (operands[0], operands[1]);
3831           DONE;
3832         }
3833       operands[1] = validize_mem (force_const_mem (SFmode, operands[1]));
3834     }
3835 })
3836
3837 /* For converting SF(xmm2) to DF(xmm1), use the following code instead of
3838    cvtss2sd:
3839       unpcklps xmm2,xmm2   ; packed conversion might crash on signaling NaNs
3840       cvtps2pd xmm2,xmm1
3841    We do the conversion post reload to avoid producing of 128bit spills
3842    that might lead to ICE on 32bit target.  The sequence unlikely combine
3843    anyway.  */
3844 (define_split
3845   [(set (match_operand:DF 0 "register_operand" "")
3846         (float_extend:DF
3847           (match_operand:SF 1 "nonimmediate_operand" "")))]
3848   "TARGET_USE_VECTOR_FP_CONVERTS
3849    && optimize_insn_for_speed_p ()
3850    && reload_completed && SSE_REG_P (operands[0])"
3851    [(set (match_dup 2)
3852          (float_extend:V2DF
3853            (vec_select:V2SF
3854              (match_dup 3)
3855              (parallel [(const_int 0) (const_int 1)]))))]
3856 {
3857   operands[2] = simplify_gen_subreg (V2DFmode, operands[0], DFmode, 0);
3858   operands[3] = simplify_gen_subreg (V4SFmode, operands[0], DFmode, 0);
3859   /* Use movss for loading from memory, unpcklps reg, reg for registers.
3860      Try to avoid move when unpacking can be done in source.  */
3861   if (REG_P (operands[1]))
3862     {
3863       /* If it is unsafe to overwrite upper half of source, we need
3864          to move to destination and unpack there.  */
3865       if ((ORIGINAL_REGNO (operands[1]) < FIRST_PSEUDO_REGISTER
3866            || PSEUDO_REGNO_BYTES (ORIGINAL_REGNO (operands[1])) > 4)
3867           && true_regnum (operands[0]) != true_regnum (operands[1]))
3868         {
3869           rtx tmp = gen_rtx_REG (SFmode, true_regnum (operands[0]));
3870           emit_move_insn (tmp, operands[1]);
3871         }
3872       else
3873         operands[3] = simplify_gen_subreg (V4SFmode, operands[1], SFmode, 0);
3874       emit_insn (gen_vec_interleave_lowv4sf (operands[3], operands[3],
3875                                              operands[3]));
3876     }
3877   else
3878     emit_insn (gen_vec_setv4sf_0 (operands[3],
3879                                   CONST0_RTX (V4SFmode), operands[1]));
3880 })
3881
3882 (define_insn "*extendsfdf2_mixed"
3883   [(set (match_operand:DF 0 "nonimmediate_operand" "=f,m,x")
3884         (float_extend:DF
3885           (match_operand:SF 1 "nonimmediate_operand" "fm,f,xm")))]
3886   "TARGET_SSE2 && TARGET_MIX_SSE_I387"
3887 {
3888   switch (which_alternative)
3889     {
3890     case 0:
3891     case 1:
3892       return output_387_reg_move (insn, operands);
3893
3894     case 2:
3895       return "%vcvtss2sd\t{%1, %d0|%d0, %1}";
3896
3897     default:
3898       gcc_unreachable ();
3899     }
3900 }
3901   [(set_attr "type" "fmov,fmov,ssecvt")
3902    (set_attr "prefix" "orig,orig,maybe_vex")
3903    (set_attr "mode" "SF,XF,DF")])
3904
3905 (define_insn "*extendsfdf2_sse"
3906   [(set (match_operand:DF 0 "nonimmediate_operand" "=x")
3907         (float_extend:DF (match_operand:SF 1 "nonimmediate_operand" "xm")))]
3908   "TARGET_SSE2 && TARGET_SSE_MATH"
3909   "%vcvtss2sd\t{%1, %d0|%d0, %1}"
3910   [(set_attr "type" "ssecvt")
3911    (set_attr "prefix" "maybe_vex")
3912    (set_attr "mode" "DF")])
3913
3914 (define_insn "*extendsfdf2_i387"
3915   [(set (match_operand:DF 0 "nonimmediate_operand" "=f,m")
3916         (float_extend:DF (match_operand:SF 1 "nonimmediate_operand" "fm,f")))]
3917   "TARGET_80387"
3918   "* return output_387_reg_move (insn, operands);"
3919   [(set_attr "type" "fmov")
3920    (set_attr "mode" "SF,XF")])
3921
3922 (define_expand "extend<mode>xf2"
3923   [(set (match_operand:XF 0 "nonimmediate_operand" "")
3924         (float_extend:XF (match_operand:MODEF 1 "general_operand" "")))]
3925   "TARGET_80387"
3926 {
3927   /* ??? Needed for compress_float_constant since all fp constants
3928      are TARGET_LEGITIMATE_CONSTANT_P.  */
3929   if (GET_CODE (operands[1]) == CONST_DOUBLE)
3930     {
3931       if (standard_80387_constant_p (operands[1]) > 0)
3932         {
3933           operands[1] = simplify_const_unary_operation
3934             (FLOAT_EXTEND, XFmode, operands[1], <MODE>mode);
3935           emit_move_insn_1 (operands[0], operands[1]);
3936           DONE;
3937         }
3938       operands[1] = validize_mem (force_const_mem (<MODE>mode, operands[1]));
3939     }
3940 })
3941
3942 (define_insn "*extend<mode>xf2_i387"
3943   [(set (ma