OSDN Git Service

gcc/ada/
[pf3gnuchains/gcc-fork.git] / gcc / config / s390 / s390.md
index d6443e0..b135033 100644 (file)
@@ -1,5 +1,5 @@
 ;;- Machine description for GNU compiler -- S/390 / zSeries version.
-;;  Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006
+;;  Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007
 ;;  Free Software Foundation, Inc.
 ;;  Contributed by Hartmut Penner (hpenner@de.ibm.com) and
 ;;                 Ulrich Weigand (uweigand@de.ibm.com).
@@ -8,7 +8,7 @@
 
 ;; GCC is free software; you can redistribute it and/or modify it under
 ;; the terms of the GNU General Public License as published by the Free
-;; Software Foundation; either version 2, or (at your option) any later
+;; Software Foundation; either version 3, or (at your option) any later
 ;; version.
 
 ;; GCC is distributed in the hope that it will be useful, but WITHOUT ANY
 ;; for more details.
 
 ;; You should have received a copy of the GNU General Public License
-;; along with GCC; see the file COPYING.  If not, write to the Free
-;; Software Foundation, 51 Franklin Street, Fifth Floor, Boston, MA
-;; 02110-1301, USA.
+;; along with GCC; see the file COPYING3.  If not see
+;; <http://www.gnu.org/licenses/>.
 
 ;;
-;; Special constraints for s/390 machine description:
-;;
-;;    a -- Any address register from 1 to 15.
-;;    c -- Condition code register 33.
-;;    d -- Any register from 0 to 15.
-;;    f -- Floating point registers.
-;;    t -- Access registers 36 and 37.
-;;    G -- Const double zero operand
-;;    I -- An 8-bit constant (0..255).
-;;    J -- A 12-bit constant (0..4095).
-;;    K -- A 16-bit constant (-32768..32767).
-;;    L -- Value appropriate as displacement.
-;;         (0..4095) for short displacement
-;;         (-524288..524287) for long displacement
-;;    M -- Constant integer with a value of 0x7fffffff.
-;;    N -- Multiple letter constraint followed by 4 parameter letters.
-;;         0..9,x:  number of the part counting from most to least significant
-;;         H,Q:     mode of the part
-;;         D,S,H:   mode of the containing operand
-;;         0,F:     value of the other parts (F - all bits set)
-;;
-;;         The constraint matches if the specified part of a constant
-;;         has a value different from its other parts.  If the letter x
-;;         is specified instead of a part number, the constraint matches
-;;         if there is any single part with non-default value.
-;;    O -- Multiple letter constraint followed by 1 parameter.
-;;         s:  Signed extended immediate value (-2G .. 2G-1).
-;;         p:  Positive extended immediate value (0 .. 4G-1).
-;;         n:  Negative extended immediate value (-4G+1 .. -1).
-;;         These constraints do not accept any operand if the machine does
-;;         not provide the extended-immediate facility.
-;;    P -- Any integer constant that can be loaded without literal pool.
-;;    Q -- Memory reference without index register and with short displacement.
-;;    R -- Memory reference with index register and short displacement.
-;;    S -- Memory reference without index register but with long displacement.
-;;    T -- Memory reference with index register and long displacement.
-;;    A -- Multiple letter constraint followed by Q, R, S, or T:
-;;         Offsettable memory reference of type specified by second letter.
-;;    B -- Multiple letter constraint followed by Q, R, S, or T:
-;;         Memory reference of the type specified by second letter that
-;;         does *not* refer to a literal pool entry.
-;;    U -- Pointer with short displacement.
-;;    W -- Pointer with long displacement.
-;;    Y -- Shift count operand.
+;; See constraints.md for a description of constraints specific to s390.
 ;;
+
 ;; Special formats used for outputting 390 instructions.
 ;;
 ;;     %C: print opcode suffix for branch condition.
 (define_constants
   [; Miscellaneous
    (UNSPEC_ROUND               1)
-   (UNSPEC_CMPINT              2)
+   (UNSPEC_CCU_TO_INT          2)
+   (UNSPEC_CCZ_TO_INT          3)
    (UNSPEC_ICM                 10)
 
    ; GOT/PLT and lt-relative accesses
    ; String Functions
    (UNSPEC_SRST                        600)
    (UNSPEC_MVST                        601)
-   
+
    ; Stack Smashing Protector
    (UNSPEC_SP_SET              700)
    (UNSPEC_SP_TEST             701)
+
+   ; Copy sign instructions
+   (UNSPEC_COPYSIGN             800)
+
+   ; Test Data Class (TDC)
+   (UNSPEC_TDC_INSN            900)
  ])
 
 ;;
 ;; Registers
 ;;
 
+; Registers with special meaning
+
 (define_constants
   [
    ; Sibling call register.
    (TP_REGNUM                  36)
   ])
 
+; Hardware register names
+
+(define_constants
+  [
+   ; General purpose registers
+   (GPR0_REGNUM                  0)
+   ; Floating point registers.
+   (FPR0_REGNUM                 16)
+   (FPR2_REGNUM                 18)
+  ])
+
+;;
+;; PFPO GPR0 argument format
+;;
+
+(define_constants
+  [
+   ; PFPO operation type
+   (PFPO_CONVERT          0x1000000)
+   ; PFPO operand types
+   (PFPO_OP_TYPE_SF             0x5)
+   (PFPO_OP_TYPE_DF             0x6)
+   (PFPO_OP_TYPE_TF             0x7)
+   (PFPO_OP_TYPE_SD             0x8)
+   (PFPO_OP_TYPE_DD             0x9)
+   (PFPO_OP_TYPE_TD             0xa)
+   ; Bitposition of operand types
+   (PFPO_OP0_TYPE_SHIFT          16)
+   (PFPO_OP1_TYPE_SHIFT           8)
+  ])
+
 
 ;; Instruction operand type as used in the Principles of Operation.
 ;; Used to determine defaults for length and other attribute values.
 
 (define_attr "op_type"
-  "NN,E,RR,RRE,RX,RS,RSI,RI,SI,S,SS,SSE,RXE,RSE,RIL,RIE,RXY,RSY,SIY"
+  "NN,E,RR,RRE,RX,RS,RSI,RI,SI,S,SS,SSE,RXE,RSE,RIL,RIE,RXY,RSY,SIY,RRF,RRR"
   (const_string "NN"))
 
 ;; Instruction type attribute used for scheduling.
 ;; this description is also used for the g5 and g6.
 (include "2064.md")
 
-;; Pipeline description for z990
+;; Pipeline description for z990, z9-109 and z9-ec.
 (include "2084.md")
 
 ;; Predicates
 (include "predicates.md")
 
+;; Constraint definitions
+(include "constraints.md")
+
 ;; Other includes
 (include "tpf.md")
 
-;; Macros
+;; Iterators
 
-;; This mode macro allows floating point patterns to be generated from the
+;; These mode iterators allow floating point patterns to be generated from the
 ;; same template.
-(define_mode_macro FPR [TF DF SF])
-(define_mode_macro DSF [DF SF])
-
-;; These mode macros allow 31-bit and 64-bit TDSI patterns to be generated
+(define_mode_iterator FP [TF DF SF (TD "TARGET_HARD_DFP") (DD "TARGET_HARD_DFP")])
+(define_mode_iterator BFP [TF DF SF])
+(define_mode_iterator DFP [TD DD])
+(define_mode_iterator DFP_ALL [TD DD SD])
+(define_mode_iterator DSF [DF SF])
+(define_mode_iterator SD_SF [SF SD])
+(define_mode_iterator DD_DF [DF DD])
+(define_mode_iterator TD_TF [TF TD])
+
+;; This mode iterator allows 31-bit and 64-bit TDSI patterns to be generated
 ;; from the same template.
-(define_mode_macro TDSI [(TI "TARGET_64BIT") DI SI])
+(define_mode_iterator TDSI [(TI "TARGET_64BIT") DI SI])
 
-;; These mode macros allow 31-bit and 64-bit GPR patterns to be generated
+;; These mode iterators allow 31-bit and 64-bit GPR patterns to be generated
 ;; from the same template.
-(define_mode_macro GPR [(DI "TARGET_64BIT") SI])
-(define_mode_macro DSI [DI SI])
+(define_mode_iterator GPR [(DI "TARGET_64BIT") SI])
+(define_mode_iterator DSI [DI SI])
 
-;; This mode macro allows :P to be used for patterns that operate on
+;; These mode iterators allow :P to be used for patterns that operate on
 ;; pointer-sized quantities.  Exactly one of the two alternatives will match.
-(define_mode_macro DP  [(TI "TARGET_64BIT") (DI "!TARGET_64BIT")])
-(define_mode_macro P [(DI "TARGET_64BIT") (SI "!TARGET_64BIT")])
+(define_mode_iterator DP  [(TI "TARGET_64BIT") (DI "!TARGET_64BIT")])
+(define_mode_iterator P [(DI "TARGET_64BIT") (SI "!TARGET_64BIT")])
 
-;; This mode macro allows the QI and HI patterns to be defined from
+;; This mode iterator allows the QI and HI patterns to be defined from
 ;; the same template.
-(define_mode_macro HQI [HI QI])
+(define_mode_iterator HQI [HI QI])
 
-;; This mode macro allows the integer patterns to be defined from the
+;; This mode iterator allows the integer patterns to be defined from the
 ;; same template.
-(define_mode_macro INT [(DI "TARGET_64BIT") SI HI QI])
+(define_mode_iterator INT [(DI "TARGET_64BIT") SI HI QI])
 
-;; This macro allows to unify all 'bCOND' expander patterns.
-(define_code_macro COMPARE [eq ne gt gtu lt ltu ge geu le leu unordered 
+;; This iterator allows to unify all 'bCOND' expander patterns.
+(define_code_iterator COMPARE [eq ne gt gtu lt ltu ge geu le leu unordered 
                            ordered uneq unlt ungt unle unge ltgt])
 
-;; This macro allows to unify all 'sCOND' patterns.
-(define_code_macro SCOND [ltu gtu leu geu])
+;; This iterator allows to unify all 'sCOND' patterns.
+(define_code_iterator SCOND [ltu gtu leu geu])
 
-;; This macro allows some 'ashift' and 'lshiftrt' pattern to be defined from
+;; This iterator allows some 'ashift' and 'lshiftrt' pattern to be defined from
 ;; the same template.
-(define_code_macro SHIFT [ashift lshiftrt])
+(define_code_iterator SHIFT [ashift lshiftrt])
 
-;; These macros allow to combine most atomic operations.
-(define_code_macro ATOMIC [and ior xor plus minus mult])
+;; This iterator and attribute allow to combine most atomic operations.
+(define_code_iterator ATOMIC [and ior xor plus minus mult])
 (define_code_attr atomic [(and "and") (ior "ior") (xor "xor") 
                          (plus "add") (minus "sub") (mult "nand")])
 
+;; In FP templates, a string like "lt<de>br" will expand to "ltxbr" in 
+;; TF/TDmode, "ltdbr" in DF/DDmode, and "ltebr" in SF/SDmode.
+(define_mode_attr xde [(TF "x") (DF "d") (SF "e") (TD "x") (DD "d") (SD "e")])
 
-;; In FPR templates, a string like "lt<de>br" will expand to "ltxbr" in TFmode,
-;; "ltdbr" in DFmode, and "ltebr" in SFmode.
-(define_mode_attr xde [(TF "x") (DF "d") (SF "e")])
+;; In FP templates, a <dee> in "m<dee><bt>r" will expand to "mx<bt>r" in 
+;; TF/TDmode, "md<bt>r" in DF/DDmode, "mee<bt>r" in SFmode and "me<bt>r in 
+;; SDmode.
+(define_mode_attr xdee [(TF "x") (DF "d") (SF "ee") (TD "x") (DD "d") (SD "e")])
 
-;; In FPR templates, a string like "m<dee>br" will expand to "mxbr" in TFmode,
-;; "mdbr" in DFmode, and "meebr" in SFmode.
-(define_mode_attr xdee [(TF "x") (DF "d") (SF "ee")])
-
-;; In FPR templates, "<RRe>" will expand to "RRE" in TFmode and "RR" otherwise.
+;; In FP templates, "<RRe>" will expand to "RRE" in TFmode and "RR" otherwise.
 ;; Likewise for "<RXe>".
 (define_mode_attr RRe [(TF "RRE") (DF "RR") (SF "RR")])
 (define_mode_attr RXe [(TF "RXE") (DF "RX") (SF "RX")])
 
-;; In FPR templates, "<Rf>" will expand to "f" in TFmode and "R" otherwise.
+;; The decimal floating point variants of add, sub, div and mul support 3
+;; fp register operands.  The following attributes allow to merge the bfp and
+;; dfp variants in a single insn definition.
+
+;; This attribute is used to set op_type accordingly.
+(define_mode_attr RRer [(TF "RRE") (DF "RRE") (SF "RRE") (TD "RRR") 
+                        (DD "RRR") (SD "RRR")])
+
+;; This attribute is used in the operand constraint list in order to have the 
+;; first and the second operand match for bfp modes.
+(define_mode_attr f0 [(TF "0") (DF "0") (SF "0") (TD "f") (DD "f") (DD "f")])
+
+;; This attribute is used in the operand list of the instruction to have an 
+;; additional operand for the dfp instructions.
+(define_mode_attr op1 [(TF "") (DF "") (SF "")
+                       (TD "%1,") (DD "%1,") (SD "%1,")])
+
+
+;; This attribute is used in the operand constraint list
+;; for instructions dealing with the sign bit of 32 or 64bit fp values.
+;; TFmode values are represented by a fp register pair.  Since the
+;; sign bit instructions only handle single source and target fp registers
+;; these instructions can only be used for TFmode values if the source and
+;; target operand uses the same fp register.
+(define_mode_attr fT0 [(TF "0") (DF "f") (SF "f")])
+
+;; In FP templates, "<Rf>" will expand to "f" in TFmode and "R" otherwise.
 ;; This is used to disable the memory alternative in TFmode patterns.
-(define_mode_attr Rf [(TF "f") (DF "R") (SF "R")])
+(define_mode_attr Rf [(TF "f") (DF "R") (SF "R") (TD "f") (DD "f") (SD "f")])
+
+;; This attribute adds b for bfp instructions and t for dfp instructions and is used
+;; within instruction mnemonics.
+(define_mode_attr bt [(TF "b") (DF "b") (SF "b") (TD "t") (DD "t") (SD "t")])
+
+;; Although it is imprecise for z9-ec we handle all dfp instructions like
+;; bfp regarding the pipeline description.
+(define_mode_attr bfp [(TF "tf") (DF "df") (SF "sf")
+                       (TD "tf") (DD "df") (SD "sf")])
+
 
 ;; In GPR and P templates, a constraint like "<d0>" will expand to "d" in DImode
 ;; and "0" in SImode. This allows to combine instructions of which the 31bit
 ;; in SImode.
 (define_mode_attr DBL [(DI "TI") (SI "DI")])
 
+;; This attribute expands to DF for TFmode and to DD for TDmode .  It is
+;; used for Txmode splitters splitting a Txmode copy into 2 Dxmode copies.
+(define_mode_attr HALF_TMODE [(TF "DF") (TD "DD")])
+
 ;; Maximum unsigned integer that fits in MODE.
 (define_mode_attr max_uint [(HI "65535") (QI "255")])
 
 
 (define_expand "cmp<mode>"
   [(set (reg:CC CC_REGNUM)
-        (compare:CC (match_operand:FPR 0 "register_operand" "")
-                    (match_operand:FPR 1 "general_operand" "")))]
+        (compare:CC (match_operand:FP 0 "register_operand" "")
+                    (match_operand:FP 1 "general_operand" "")))]
   "TARGET_HARD_FLOAT"
 {
   s390_compare_op0 = operands[0];
 })
 
 
-; (DF|SF) instructions
+; (TF|DF|SF|TD|DD|SD) instructions
 
-; ltxbr, ltdbr, ltebr
+; ltxbr, ltdbr, ltebr, ltxtr, ltdtr
 (define_insn "*cmp<mode>_ccs_0"
   [(set (reg CC_REGNUM)
-        (compare (match_operand:FPR 0 "register_operand" "f")
-                 (match_operand:FPR 1 "const0_operand" "")))]
-  "s390_match_ccmode(insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "lt<xde>br\t%0,%0"
+        (compare (match_operand:FP 0 "register_operand" "f")
+                 (match_operand:FP 1 "const0_operand"   "")))]
+  "s390_match_ccmode(insn, CCSmode) && TARGET_HARD_FLOAT"
+  "lt<xde><bt>r\t%0,%0"
    [(set_attr "op_type" "RRE")
-    (set_attr "type"  "fsimp<mode>")])
-
-; ltxr, ltdr, lter
-(define_insn "*cmp<mode>_ccs_0_ibm"
-  [(set (reg CC_REGNUM)
-        (compare (match_operand:FPR 0 "register_operand" "f")
-                 (match_operand:FPR 1 "const0_operand" "")))]
-  "s390_match_ccmode(insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "lt<xde>r\t%0,%0"
-   [(set_attr "op_type" "<RRe>")
-    (set_attr "type"  "fsimp<mode>")])
+    (set_attr "type"  "fsimp<bfp>")])
 
-; cxbr, cdbr, cebr, cxb, cdb, ceb
+; cxtr, cxbr, cdbr, cebr, cxb, cdb, ceb, cxbtr, cdbtr
 (define_insn "*cmp<mode>_ccs"
   [(set (reg CC_REGNUM)
-        (compare (match_operand:FPR 0 "register_operand" "f,f")
-                 (match_operand:FPR 1 "general_operand" "f,<Rf>")))]
-  "s390_match_ccmode(insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (compare (match_operand:FP 0 "register_operand" "f,f")
+                 (match_operand:FP 1 "general_operand"  "f,<Rf>")))]
+  "s390_match_ccmode(insn, CCSmode) && TARGET_HARD_FLOAT"
   "@
-   c<xde>br\t%0,%1
+   c<xde><bt>r\t%0,%1
    c<xde>b\t%0,%1"
    [(set_attr "op_type" "RRE,RXE")
-    (set_attr "type"  "fsimp<mode>")])
-
-; cxr, cdr, cer, cx, cd, ce
-(define_insn "*cmp<mode>_ccs_ibm"
-  [(set (reg CC_REGNUM)
-        (compare (match_operand:FPR 0 "register_operand" "f,f")
-                 (match_operand:FPR 1 "general_operand" "f,<Rf>")))]
-  "s390_match_ccmode(insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   c<xde>r\t%0,%1
-   c<xde>\t%0,%1"
-   [(set_attr "op_type" "<RRe>,<RXe>")
-    (set_attr "type"  "fsimp<mode>")])
-
+    (set_attr "type"  "fsimp<bfp>")])
 
 ;;
 ;;- Move instructions.
   operands[1] = replace_equiv_address (operands[1], addr);
 })
 
-(define_expand "reload_outti"
-  [(parallel [(match_operand:TI 0 "" "")
-              (match_operand:TI 1 "register_operand" "d")
-              (match_operand:DI 2 "register_operand" "=&a")])]
-  "TARGET_64BIT"
+
+;
+; Patterns used for secondary reloads
+;
+
+; Handles loading a PLUS (load address) expression
+
+(define_expand "reload<mode>_plus"
+  [(parallel [(match_operand:P 0 "register_operand"  "=a")
+              (match_operand:P 1 "s390_plus_operand" "")
+              (match_operand:P 2 "register_operand"  "=&a")])]
+  ""
+{
+  s390_expand_plus_operand (operands[0], operands[1], operands[2]);
+  DONE;
+})
+
+; Handles assessing a non-offsetable memory address
+
+(define_expand "reload<mode>_nonoffmem_in"
+  [(parallel [(match_operand 0   "register_operand" "")
+              (match_operand 1   "" "")
+              (match_operand:P 2 "register_operand" "=&a")])]
+  ""
+{
+  gcc_assert (MEM_P (operands[1]));
+  s390_load_address (operands[2], find_replacement (&XEXP (operands[1], 0)));
+  operands[1] = replace_equiv_address (operands[1], operands[2]);
+  emit_move_insn (operands[0], operands[1]);
+  DONE;
+})
+
+(define_expand "reload<mode>_nonoffmem_out"
+  [(parallel [(match_operand   0 "" "")
+              (match_operand   1 "register_operand" "")
+              (match_operand:P 2 "register_operand" "=&a")])]
+  ""
 {
   gcc_assert (MEM_P (operands[0]));
   s390_load_address (operands[2], find_replacement (&XEXP (operands[0], 0)));
   ""
 {
   /* Handle symbolic constants.  */
-  if (TARGET_64BIT && SYMBOLIC_CONST (operands[1]))
+  if (TARGET_64BIT
+      && (SYMBOLIC_CONST (operands[1])
+         || (GET_CODE (operands[1]) == PLUS
+             && XEXP (operands[1], 0) == pic_offset_table_rtx
+             && SYMBOLIC_CONST (XEXP (operands[1], 1)))))
     emit_symbolic_move (operands);
 })
 
    [(set_attr "op_type" "RIL")
     (set_attr "type"    "larl")])
 
+(define_insn "*movdi_64dfp"
+  [(set (match_operand:DI 0 "nonimmediate_operand"
+                            "=d,d,d,d,d,d,d,d,f,d,d,d,d,
+                             m,!*f,!*f,!*f,!R,!T,d,t,Q,t,?Q")
+        (match_operand:DI 1 "general_operand"
+                            "K,N0HD0,N1HD0,N2HD0,N3HD0,Os,N0SD0,N1SD0,d,f,L,d,m,
+                             d,*f,R,T,*f,*f,t,d,t,Q,?Q"))]
+  "TARGET_64BIT && TARGET_DFP"
+  "@
+   lghi\t%0,%h1
+   llihh\t%0,%i1
+   llihl\t%0,%i1
+   llilh\t%0,%i1
+   llill\t%0,%i1
+   lgfi\t%0,%1
+   llihf\t%0,%k1
+   llilf\t%0,%k1
+   ldgr\t%0,%1
+   lgdr\t%0,%1
+   lay\t%0,%a1
+   lgr\t%0,%1
+   lg\t%0,%1
+   stg\t%1,%0
+   ldr\t%0,%1
+   ld\t%0,%1
+   ldy\t%0,%1
+   std\t%1,%0
+   stdy\t%1,%0
+   #
+   #
+   stam\t%1,%N1,%S0
+   lam\t%0,%N0,%S1
+   #"
+  [(set_attr "op_type" "RI,RI,RI,RI,RI,RIL,RIL,RIL,RRE,RRE,RXY,RRE,RXY,RXY,
+                        RR,RX,RXY,RX,RXY,*,*,RS,RS,SS")
+   (set_attr "type" "*,*,*,*,*,*,*,*,floaddf,floaddf,la,lr,load,store,
+                     floaddf,floaddf,floaddf,fstoredf,fstoredf,*,*,*,*,*")])
+
 (define_insn "*movdi_64extimm"
   [(set (match_operand:DI 0 "nonimmediate_operand"
                             "=d,d,d,d,d,d,d,d,d,d,d,m,!*f,!*f,!*f,!R,!T,d,t,Q,t,?Q")
   operands[1] = replace_equiv_address (operands[1], addr);
 })
 
-(define_expand "reload_outdi"
-  [(parallel [(match_operand:DI 0 "" "")
-              (match_operand:DI 1 "register_operand" "d")
-              (match_operand:SI 2 "register_operand" "=&a")])]
-  "!TARGET_64BIT"
-{
-  gcc_assert (MEM_P (operands[0]));
-  s390_load_address (operands[2], find_replacement (&XEXP (operands[0], 0)));
-  operands[0] = replace_equiv_address (operands[0], operands[2]);
-  emit_move_insn (operands[0], operands[1]);
-  DONE;
-})
-
 (define_peephole2
   [(set (match_operand:DI 0 "register_operand" "")
         (mem:DI (match_operand 1 "address_operand" "")))]
   [(set (match_dup 0) (plus:DI (match_dup 1) (match_dup 2)))]
   "")
 
-(define_expand "reload_indi"
-  [(parallel [(match_operand:DI 0 "register_operand" "=a")
-              (match_operand:DI 1 "s390_plus_operand" "")
-              (match_operand:DI 2 "register_operand" "=&a")])]
-  "TARGET_64BIT"
-{
-  s390_expand_plus_operand (operands[0], operands[1], operands[2]);
-  DONE;
-})
-
 ;
 ; movsi instruction pattern(s).
 ;
   ""
 {
   /* Handle symbolic constants.  */
-  if (!TARGET_64BIT && SYMBOLIC_CONST (operands[1]))
+  if (!TARGET_64BIT
+      && (SYMBOLIC_CONST (operands[1])
+         || (GET_CODE (operands[1]) == PLUS
+             && XEXP (operands[1], 0) == pic_offset_table_rtx
+             && SYMBOLIC_CONST (XEXP(operands[1], 1)))))
     emit_symbolic_move (operands);
 })
 
   [(set_attr "op_type"  "RX")
    (set_attr "type"     "la")])
 
-(define_expand "reload_insi"
-  [(parallel [(match_operand:SI 0 "register_operand" "=a")
-              (match_operand:SI 1 "s390_plus_operand" "")
-              (match_operand:SI 2 "register_operand" "=&a")])]
-  "!TARGET_64BIT"
-{
-  s390_expand_plus_operand (operands[0], operands[1], operands[2]);
-  DONE;
-})
-
 ;
 ; movhi instruction pattern(s).
 ;
 {
   /* Make it explicit that loading a register from memory
      always sign-extends (at least) to SImode.  */
-  if (optimize && !no_new_pseudos
+  if (optimize && can_create_pseudo_p ()
       && register_operand (operands[0], VOIDmode)
       && GET_CODE (operands[1]) == MEM)
     {
 {
   /* On z/Architecture, zero-extending from memory to register
      is just as fast as a QImode load.  */
-  if (TARGET_ZARCH && optimize && !no_new_pseudos
+  if (TARGET_ZARCH && optimize && can_create_pseudo_p ()
       && register_operand (operands[0], VOIDmode)
       && GET_CODE (operands[1]) == MEM)
     {
    (set_attr "type" "lr,load,load,*")])
 
 ;
-; movtf instruction pattern(s).
+; mov(tf|td) instruction pattern(s).
 ;
 
-(define_expand "movtf"
-  [(set (match_operand:TF 0 "nonimmediate_operand" "")
-        (match_operand:TF 1 "general_operand"       ""))]
+(define_expand "mov<mode>"
+  [(set (match_operand:TD_TF 0 "nonimmediate_operand" "")
+        (match_operand:TD_TF 1 "general_operand"      ""))]
   ""
   "")
 
-(define_insn "*movtf_64"
-  [(set (match_operand:TF 0 "nonimmediate_operand" "=f,f,f,o,d,QS,d,o,Q")
-        (match_operand:TF 1 "general_operand"       "G,f,o,f,QS,d,dm,d,Q"))]
+(define_insn "*mov<mode>_64"
+  [(set (match_operand:TD_TF 0 "nonimmediate_operand" "=f,f,f,o, d,QS, d,o,Q")
+        (match_operand:TD_TF 1 "general_operand"      " G,f,o,f,QS, d,dm,d,Q"))]
   "TARGET_64BIT"
   "@
    lzxr\t%0
   [(set_attr "op_type" "RRE,RRE,*,*,RSY,RSY,*,*,*")
    (set_attr "type"    "fsimptf,fsimptf,*,*,lm,stm,*,*,*")])
 
-(define_insn "*movtf_31"
-  [(set (match_operand:TF 0 "nonimmediate_operand" "=f,f,f,o,Q")
-        (match_operand:TF 1 "general_operand"       "G,f,o,f,Q"))]
+(define_insn "*mov<mode>_31"
+  [(set (match_operand:TD_TF 0 "nonimmediate_operand" "=f,f,f,o,Q")
+        (match_operand:TD_TF 1 "general_operand"      " G,f,o,f,Q"))]
   "!TARGET_64BIT"
   "@
    lzxr\t%0
 ; TFmode in GPRs splitters
 
 (define_split
-  [(set (match_operand:TF 0 "nonimmediate_operand" "")
-        (match_operand:TF 1 "general_operand" ""))]
+  [(set (match_operand:TD_TF 0 "nonimmediate_operand" "")
+        (match_operand:TD_TF 1 "general_operand"      ""))]
   "TARGET_64BIT && reload_completed
-   && s390_split_ok_p (operands[0], operands[1], TFmode, 0)"
+   && s390_split_ok_p (operands[0], operands[1], <MODE>mode, 0)"
   [(set (match_dup 2) (match_dup 4))
    (set (match_dup 3) (match_dup 5))]
 {
-  operands[2] = operand_subword (operands[0], 0, 0, TFmode);
-  operands[3] = operand_subword (operands[0], 1, 0, TFmode);
-  operands[4] = operand_subword (operands[1], 0, 0, TFmode);
-  operands[5] = operand_subword (operands[1], 1, 0, TFmode);
+  operands[2] = operand_subword (operands[0], 0, 0, <MODE>mode);
+  operands[3] = operand_subword (operands[0], 1, 0, <MODE>mode);
+  operands[4] = operand_subword (operands[1], 0, 0, <MODE>mode);
+  operands[5] = operand_subword (operands[1], 1, 0, <MODE>mode);
 })
 
 (define_split
-  [(set (match_operand:TF 0 "nonimmediate_operand" "")
-        (match_operand:TF 1 "general_operand" ""))]
+  [(set (match_operand:TD_TF 0 "nonimmediate_operand" "")
+        (match_operand:TD_TF 1 "general_operand"      ""))]
   "TARGET_64BIT && reload_completed
-   && s390_split_ok_p (operands[0], operands[1], TFmode, 1)"
+   && s390_split_ok_p (operands[0], operands[1], <MODE>mode, 1)"
   [(set (match_dup 2) (match_dup 4))
    (set (match_dup 3) (match_dup 5))]
 {
-  operands[2] = operand_subword (operands[0], 1, 0, TFmode);
-  operands[3] = operand_subword (operands[0], 0, 0, TFmode);
-  operands[4] = operand_subword (operands[1], 1, 0, TFmode);
-  operands[5] = operand_subword (operands[1], 0, 0, TFmode);
+  operands[2] = operand_subword (operands[0], 1, 0, <MODE>mode);
+  operands[3] = operand_subword (operands[0], 0, 0, <MODE>mode);
+  operands[4] = operand_subword (operands[1], 1, 0, <MODE>mode);
+  operands[5] = operand_subword (operands[1], 0, 0, <MODE>mode);
 })
 
 (define_split
-  [(set (match_operand:TF 0 "register_operand" "")
-        (match_operand:TF 1 "memory_operand" ""))]
+  [(set (match_operand:TD_TF 0 "register_operand" "")
+        (match_operand:TD_TF 1 "memory_operand"   ""))]
   "TARGET_64BIT && reload_completed
    && !FP_REG_P (operands[0])
    && !s_operand (operands[1], VOIDmode)"
   [(set (match_dup 0) (match_dup 1))]
 {
-  rtx addr = operand_subword (operands[0], 1, 0, DFmode);
+  rtx addr = operand_subword (operands[0], 1, 0, <MODE>mode);
   s390_load_address (addr, XEXP (operands[1], 0));
   operands[1] = replace_equiv_address (operands[1], addr);
 })
 
-; TFmode in FPRs splitters
+; TFmode in BFPs splitters
 
 (define_split
-  [(set (match_operand:TF 0 "register_operand" "")
-        (match_operand:TF 1 "memory_operand" ""))]
+  [(set (match_operand:TD_TF 0 "register_operand" "")
+        (match_operand:TD_TF 1 "memory_operand" ""))]
   "reload_completed && offsettable_memref_p (operands[1]) 
    && FP_REG_P (operands[0])"
   [(set (match_dup 2) (match_dup 4))
    (set (match_dup 3) (match_dup 5))]
 {
-  operands[2] = simplify_gen_subreg (DFmode, operands[0], TFmode, 0);
-  operands[3] = simplify_gen_subreg (DFmode, operands[0], TFmode, 8);
-  operands[4] = adjust_address_nv (operands[1], DFmode, 0);
-  operands[5] = adjust_address_nv (operands[1], DFmode, 8);
+  operands[2] = simplify_gen_subreg (<HALF_TMODE>mode, operands[0],
+                                     <MODE>mode, 0);
+  operands[3] = simplify_gen_subreg (<HALF_TMODE>mode, operands[0],
+                                     <MODE>mode, 8);
+  operands[4] = adjust_address_nv (operands[1], <HALF_TMODE>mode, 0);
+  operands[5] = adjust_address_nv (operands[1], <HALF_TMODE>mode, 8);
 })
 
 (define_split
-  [(set (match_operand:TF 0 "memory_operand" "")
-        (match_operand:TF 1 "register_operand" ""))]
+  [(set (match_operand:TD_TF 0 "memory_operand" "")
+        (match_operand:TD_TF 1 "register_operand" ""))]
   "reload_completed && offsettable_memref_p (operands[0])
    && FP_REG_P (operands[1])"
   [(set (match_dup 2) (match_dup 4))
    (set (match_dup 3) (match_dup 5))]
 {
-  operands[2] = adjust_address_nv (operands[0], DFmode, 0);
-  operands[3] = adjust_address_nv (operands[0], DFmode, 8);
-  operands[4] = simplify_gen_subreg (DFmode, operands[1], TFmode, 0);
-  operands[5] = simplify_gen_subreg (DFmode, operands[1], TFmode, 8);
-})
-
-(define_expand "reload_outtf"
-  [(parallel [(match_operand:TF 0 "" "")
-              (match_operand:TF 1 "register_operand" "f")
-              (match_operand:SI 2 "register_operand" "=&a")])]
-  ""
-{
-  rtx addr = gen_lowpart (Pmode, operands[2]);
-
-  gcc_assert (MEM_P (operands[0]));
-  s390_load_address (addr, find_replacement (&XEXP (operands[0], 0)));
-  operands[0] = replace_equiv_address (operands[0], addr);
-  emit_move_insn (operands[0], operands[1]);
-  DONE;
-})
-
-(define_expand "reload_intf"
-  [(parallel [(match_operand:TF 0 "register_operand" "=f")
-              (match_operand:TF 1 "" "")
-              (match_operand:SI 2 "register_operand" "=&a")])]
-  ""
-{
-  rtx addr = gen_lowpart (Pmode, operands[2]);
-  gcc_assert (MEM_P (operands[1]));
-  s390_load_address (addr, find_replacement (&XEXP (operands[1], 0)));
-  operands[1] = replace_equiv_address (operands[1], addr);
-  emit_move_insn (operands[0], operands[1]);
-  DONE;
+  operands[2] = adjust_address_nv (operands[0], <HALF_TMODE>mode, 0);
+  operands[3] = adjust_address_nv (operands[0], <HALF_TMODE>mode, 8);
+  operands[4] = simplify_gen_subreg (<HALF_TMODE>mode, operands[1],
+                                    <MODE>mode, 0);
+  operands[5] = simplify_gen_subreg (<HALF_TMODE>mode, operands[1],
+                                     <MODE>mode, 8);
 })
 
 ;
-; movdf instruction pattern(s).
+; mov(df|dd) instruction pattern(s).
 ;
 
-(define_expand "movdf"
-  [(set (match_operand:DF 0 "nonimmediate_operand" "")
-        (match_operand:DF 1 "general_operand"  ""))]
+(define_expand "mov<mode>"
+  [(set (match_operand:DD_DF 0 "nonimmediate_operand" "")
+        (match_operand:DD_DF 1 "general_operand"  ""))]
   ""
   "")
 
-(define_insn "*movdf_64"
-  [(set (match_operand:DF 0 "nonimmediate_operand" "=f,f,f,f,R,T,d,d,m,?Q")
-        (match_operand:DF 1 "general_operand" "G,f,R,T,f,f,d,m,d,?Q"))]
+(define_insn "*mov<mode>_64dfp"
+  [(set (match_operand:DD_DF 0 "nonimmediate_operand"
+                              "=f,f,f,d,f,f,R,T,d,d,m,?Q")
+        (match_operand:DD_DF 1 "general_operand"
+                              "G,f,d,f,R,T,f,f,d,m,d,?Q"))]
+  "TARGET_64BIT && TARGET_DFP"
+  "@
+   lzdr\t%0
+   ldr\t%0,%1
+   ldgr\t%0,%1
+   lgdr\t%0,%1
+   ld\t%0,%1
+   ldy\t%0,%1
+   std\t%1,%0
+   stdy\t%1,%0
+   lgr\t%0,%1
+   lg\t%0,%1
+   stg\t%1,%0
+   #"
+  [(set_attr "op_type" "RRE,RR,RRE,RRE,RX,RXY,RX,RXY,RRE,RXY,RXY,SS")
+   (set_attr "type" "fsimpdf,floaddf,floaddf,floaddf,floaddf,floaddf,
+                     fstoredf,fstoredf,lr,load,store,*")])
+
+(define_insn "*mov<mode>_64"
+  [(set (match_operand:DD_DF 0 "nonimmediate_operand" "=f,f,f,f,R,T,d,d,m,?Q")
+        (match_operand:DD_DF 1 "general_operand"       "G,f,R,T,f,f,d,m,d,?Q"))]
   "TARGET_64BIT"
   "@
    lzdr\t%0
    stg\t%1,%0
    #"
   [(set_attr "op_type" "RRE,RR,RX,RXY,RX,RXY,RRE,RXY,RXY,SS")
-   (set_attr "type" "fsimpdf,floaddf,floaddf,floaddf,fstoredf,fstoredf,lr,load,store,*")])
-
-(define_insn "*movdf_31"
-  [(set (match_operand:DF 0 "nonimmediate_operand" "=f,f,f,f,R,T,d,d,Q,S,d,o,Q")
-        (match_operand:DF 1 "general_operand" "G,f,R,T,f,f,Q,S,d,d,dPm,d,Q"))]
+   (set_attr "type" "fsimp<bfp>,fload<bfp>,fload<bfp>,fload<bfp>,
+                     fstore<bfp>,fstore<bfp>,lr,load,store,*")])
+
+(define_insn "*mov<mode>_31"
+  [(set (match_operand:DD_DF 0 "nonimmediate_operand"
+                               "=f,f,f,f,R,T,d,d,Q,S,  d,o,Q")
+        (match_operand:DD_DF 1 "general_operand"
+                               " G,f,R,T,f,f,Q,S,d,d,dPm,d,Q"))]
   "!TARGET_64BIT"
   "@
    lzdr\t%0
    #
    #"
   [(set_attr "op_type" "RRE,RR,RX,RXY,RX,RXY,RS,RSY,RS,RSY,*,*,SS")
-   (set_attr "type" "fsimpdf,floaddf,floaddf,floaddf,fstoredf,fstoredf,\
-                     lm,lm,stm,stm,*,*,*")])
+   (set_attr "type" "fsimp<bfp>,fload<bfp>,fload<bfp>,fload<bfp>,
+                     fstore<bfp>,fstore<bfp>,lm,lm,stm,stm,*,*,*")])
 
 (define_split
-  [(set (match_operand:DF 0 "nonimmediate_operand" "")
-        (match_operand:DF 1 "general_operand" ""))]
+  [(set (match_operand:DD_DF 0 "nonimmediate_operand" "")
+        (match_operand:DD_DF 1 "general_operand" ""))]
   "!TARGET_64BIT && reload_completed
-   && s390_split_ok_p (operands[0], operands[1], DFmode, 0)"
+   && s390_split_ok_p (operands[0], operands[1], <MODE>mode, 0)"
   [(set (match_dup 2) (match_dup 4))
    (set (match_dup 3) (match_dup 5))]
 {
-  operands[2] = operand_subword (operands[0], 0, 0, DFmode);
-  operands[3] = operand_subword (operands[0], 1, 0, DFmode);
-  operands[4] = operand_subword (operands[1], 0, 0, DFmode);
-  operands[5] = operand_subword (operands[1], 1, 0, DFmode);
+  operands[2] = operand_subword (operands[0], 0, 0, <MODE>mode);
+  operands[3] = operand_subword (operands[0], 1, 0, <MODE>mode);
+  operands[4] = operand_subword (operands[1], 0, 0, <MODE>mode);
+  operands[5] = operand_subword (operands[1], 1, 0, <MODE>mode);
 })
 
 (define_split
-  [(set (match_operand:DF 0 "nonimmediate_operand" "")
-        (match_operand:DF 1 "general_operand" ""))]
+  [(set (match_operand:DD_DF 0 "nonimmediate_operand" "")
+        (match_operand:DD_DF 1 "general_operand" ""))]
   "!TARGET_64BIT && reload_completed
-   && s390_split_ok_p (operands[0], operands[1], DFmode, 1)"
+   && s390_split_ok_p (operands[0], operands[1], <MODE>mode, 1)"
   [(set (match_dup 2) (match_dup 4))
    (set (match_dup 3) (match_dup 5))]
 {
-  operands[2] = operand_subword (operands[0], 1, 0, DFmode);
-  operands[3] = operand_subword (operands[0], 0, 0, DFmode);
-  operands[4] = operand_subword (operands[1], 1, 0, DFmode);
-  operands[5] = operand_subword (operands[1], 0, 0, DFmode);
+  operands[2] = operand_subword (operands[0], 1, 0, <MODE>mode);
+  operands[3] = operand_subword (operands[0], 0, 0, <MODE>mode);
+  operands[4] = operand_subword (operands[1], 1, 0, <MODE>mode);
+  operands[5] = operand_subword (operands[1], 0, 0, <MODE>mode);
 })
 
 (define_split
-  [(set (match_operand:DF 0 "register_operand" "")
-        (match_operand:DF 1 "memory_operand" ""))]
+  [(set (match_operand:DD_DF 0 "register_operand" "")
+        (match_operand:DD_DF 1 "memory_operand" ""))]
   "!TARGET_64BIT && reload_completed
    && !FP_REG_P (operands[0])
    && !s_operand (operands[1], VOIDmode)"
   [(set (match_dup 0) (match_dup 1))]
 {
-  rtx addr = operand_subword (operands[0], 1, 0, DFmode);
+  rtx addr = operand_subword (operands[0], 1, 0, <MODE>mode);
   s390_load_address (addr, XEXP (operands[1], 0));
   operands[1] = replace_equiv_address (operands[1], addr);
 })
 
-(define_expand "reload_outdf"
-  [(parallel [(match_operand:DF 0 "" "")
-              (match_operand:DF 1 "register_operand" "d")
-              (match_operand:SI 2 "register_operand" "=&a")])]
-  "!TARGET_64BIT"
-{
-  gcc_assert (MEM_P (operands[0]));
-  s390_load_address (operands[2], find_replacement (&XEXP (operands[0], 0)));
-  operands[0] = replace_equiv_address (operands[0], operands[2]);
-  emit_move_insn (operands[0], operands[1]);
-  DONE;
-})
-
 ;
-; movsf instruction pattern(s).
+; mov(sf|sd) instruction pattern(s).
 ;
 
-(define_insn "movsf"
-  [(set (match_operand:SF 0 "nonimmediate_operand" "=f,f,f,f,R,T,d,d,d,R,T,?Q")
-        (match_operand:SF 1 "general_operand" "G,f,R,T,f,f,d,R,T,d,d,?Q"))]
+(define_insn "mov<mode>"
+  [(set (match_operand:SD_SF 0 "nonimmediate_operand"
+                              "=f,f,f,f,R,T,d,d,d,R,T,?Q")
+        (match_operand:SD_SF 1 "general_operand"
+                              " G,f,R,T,f,f,d,R,T,d,d,?Q"))]
   ""
   "@
    lzer\t%0
    sty\t%1,%0
    #"
   [(set_attr "op_type" "RRE,RR,RX,RXY,RX,RXY,RR,RX,RXY,RX,RXY,SS")
-   (set_attr "type" "fsimpsf,floadsf,floadsf,floadsf,fstoresf,fstoresf,
-                     lr,load,load,store,store,*")])
+   (set_attr "type" "fsimp<bfp>,fload<bfp>,fload<bfp>,fload<bfp>,
+                     fstore<bfp>,fstore<bfp>,lr,load,load,store,store,*")])
 
 ;
 ; movcc instruction pattern
     FAIL;
 
   operands[3] = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (count));
-  if (no_new_pseudos)
+  if (!can_create_pseudo_p ())
     {
       if (GET_CODE (XEXP (operands[1], 0)) == REG)
        {
 
   operands[3] = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (count));
 
-  if (no_new_pseudos)
+  if (!can_create_pseudo_p ())
     {
       if (GET_CODE (XEXP (operands[0], 0)) == REG)
        {
      (use (reg:SI 0))])
    (parallel
     [(set (match_operand:SI 0 "register_operand" "=d")
-         (unspec:SI [(reg:CCU CC_REGNUM)] UNSPEC_CMPINT))
+         (unspec:SI [(reg:CCU CC_REGNUM)] UNSPEC_CCU_TO_INT))
      (clobber (reg:CC CC_REGNUM))])]
   ""
 {
   [(set_attr "length" "8")
    (set_attr "type" "vs")])
 
+
+;
+; Test data class.
+;
+
+(define_expand "signbit<mode>2"
+  [(set (reg:CCZ CC_REGNUM)
+        (unspec:CCZ [(match_operand:BFP 1 "register_operand" "f") 
+                     (match_dup 2)] 
+                     UNSPEC_TDC_INSN))
+   (set (match_operand:SI 0 "register_operand" "=d")
+        (unspec:SI [(reg:CCZ CC_REGNUM)] UNSPEC_CCZ_TO_INT))]
+  "TARGET_HARD_FLOAT"
+{
+  operands[2] = GEN_INT (S390_TDC_SIGNBIT_SET);
+})
+
+(define_expand "isinf<mode>2"
+  [(set (reg:CCZ CC_REGNUM)
+        (unspec:CCZ [(match_operand:BFP 1 "register_operand" "f") 
+                     (match_dup 2)] 
+                     UNSPEC_TDC_INSN))
+   (set (match_operand:SI 0 "register_operand" "=d")
+        (unspec:SI [(reg:CCZ CC_REGNUM)] UNSPEC_CCZ_TO_INT))]
+  "TARGET_HARD_FLOAT"
+{
+  operands[2] = GEN_INT (S390_TDC_INFINITY);
+})
+
+; This insn is used to generate all variants of the Test Data Class
+; instruction, namely tcxb, tcdb, and tceb.  The insn's first operand
+; is the register to be tested and the second one is the bit mask
+; specifying the required test(s).  
+;
+(define_insn "*TDC_insn_<mode>"
+  [(set (reg:CCZ CC_REGNUM)
+        (unspec:CCZ [(match_operand:BFP 0 "register_operand" "f") 
+                     (match_operand:SI 1 "const_int_operand")] UNSPEC_TDC_INSN))]
+  "TARGET_HARD_FLOAT"
+  "tc<xde>b\t%0,%1"
+   [(set_attr "op_type" "RXE")
+    (set_attr "type"  "fsimp<mode>")])
+
+(define_insn_and_split "*ccz_to_int"
+  [(set (match_operand:SI 0 "register_operand" "=d")
+        (unspec:SI [(match_operand:CCZ 1 "register_operand" "0")]
+                   UNSPEC_CCZ_TO_INT))]
+  ""
+  "#"
+  "reload_completed"
+  [(set (match_dup 0) (lshiftrt:SI (match_dup 0) (const_int 28)))])
+
+
 ;
 ; setmemM instruction pattern(s).
 ;
 (define_insn_and_split "cmpint"
   [(set (match_operand:SI 0 "register_operand" "=d")
         (unspec:SI [(match_operand:CCU 1 "register_operand" "0")]
-                   UNSPEC_CMPINT))
+                   UNSPEC_CCU_TO_INT))
    (clobber (reg:CC CC_REGNUM))]
   ""
   "#"
 (define_insn_and_split "*cmpint_cc"
   [(set (reg CC_REGNUM)
         (compare (unspec:SI [(match_operand:CCU 1 "register_operand" "0")]
-                            UNSPEC_CMPINT)
+                            UNSPEC_CCU_TO_INT)
                  (const_int 0)))
    (set (match_operand:SI 0 "register_operand" "=d")
-        (unspec:SI [(match_dup 1)] UNSPEC_CMPINT))]
+        (unspec:SI [(match_dup 1)] UNSPEC_CCU_TO_INT))]
   "s390_match_ccmode (insn, CCSmode)"
   "#"
   "&& reload_completed"
 (define_insn_and_split "*cmpint_sign"
   [(set (match_operand:DI 0 "register_operand" "=d")
         (sign_extend:DI (unspec:SI [(match_operand:CCU 1 "register_operand" "0")]
-                                   UNSPEC_CMPINT)))
+                                   UNSPEC_CCU_TO_INT)))
    (clobber (reg:CC CC_REGNUM))]
   "TARGET_64BIT"
   "#"
   [(set (reg CC_REGNUM)
         (compare (ashiftrt:DI (ashift:DI (subreg:DI 
                    (unspec:SI [(match_operand:CCU 1 "register_operand" "0")]
-                              UNSPEC_CMPINT) 0)
+                              UNSPEC_CCU_TO_INT) 0)
                    (const_int 32)) (const_int 32))
                  (const_int 0)))
    (set (match_operand:DI 0 "register_operand" "=d")
-        (sign_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_CMPINT)))]
+        (sign_extend:DI (unspec:SI [(match_dup 1)] UNSPEC_CCU_TO_INT)))]
   "s390_match_ccmode (insn, CCSmode) && TARGET_64BIT"
   "#"
   "&& reload_completed"
    (set (strict_low_part (match_dup 2)) (match_dup 1))]
   "operands[2] = gen_lowpart (QImode, operands[0]);")
 
+;
+; fixuns_trunc(dd|td)di2 instruction pattern(s).
+;
+
+(define_expand "fixuns_truncdddi2"
+  [(parallel
+    [(set (match_operand:DI 0 "register_operand" "")
+         (unsigned_fix:DI (match_operand:DD 1 "register_operand" "")))
+     (clobber (match_scratch:TD 2 "=f"))])]
+             
+  "TARGET_HARD_FLOAT && TARGET_HARD_DFP"
+{
+  rtx label1 = gen_label_rtx ();
+  rtx label2 = gen_label_rtx ();
+  rtx temp = gen_reg_rtx (TDmode);
+  REAL_VALUE_TYPE cmp, sub;
+
+  decimal_real_from_string (&cmp, "9223372036854775808.0");  /* 2^63 */
+  decimal_real_from_string (&sub, "18446744073709551616.0"); /* 2^64 */
+
+  /* 2^63 can't be represented as 64bit DFP number with full precision.  The
+     solution is doing the check and the subtraction in TD mode and using a 
+     TD -> DI convert afterwards.  */
+  emit_insn (gen_extendddtd2 (temp, operands[1]));
+  temp = force_reg (TDmode, temp);
+  emit_insn (gen_cmptd (temp,
+       CONST_DOUBLE_FROM_REAL_VALUE (cmp, TDmode)));
+  emit_jump_insn (gen_blt (label1));
+  emit_insn (gen_subtd3 (temp, temp,
+       CONST_DOUBLE_FROM_REAL_VALUE (sub, TDmode)));
+  emit_insn (gen_fix_trunctddi2_dfp (operands[0], temp, GEN_INT (11)));
+  emit_jump (label2);
+
+  emit_label (label1);
+  emit_insn (gen_fix_truncdddi2_dfp (operands[0], operands[1], GEN_INT (9)));
+  emit_label (label2);
+  DONE;
+})
+
+(define_expand "fixuns_trunctddi2"
+  [(set (match_operand:DI 0 "register_operand" "")
+        (unsigned_fix:DI (match_operand:TD 1 "register_operand" "")))]
+  "TARGET_HARD_FLOAT && TARGET_HARD_DFP"
+{
+  rtx label1 = gen_label_rtx ();
+  rtx label2 = gen_label_rtx ();
+  rtx temp = gen_reg_rtx (TDmode);
+  REAL_VALUE_TYPE cmp, sub;
+  
+  operands[1] = force_reg (TDmode, operands[1]);
+  decimal_real_from_string (&cmp, "9223372036854775808.0");  /* 2^63 */
+  decimal_real_from_string (&sub, "18446744073709551616.0"); /* 2^64 */
+  
+  emit_insn (gen_cmptd (operands[1],
+       CONST_DOUBLE_FROM_REAL_VALUE (cmp, TDmode)));
+  emit_jump_insn (gen_blt (label1));
+  emit_insn (gen_subtd3 (temp, operands[1],
+       CONST_DOUBLE_FROM_REAL_VALUE (sub, TDmode)));
+  emit_insn (gen_fix_trunctddi2_dfp (operands[0], temp, GEN_INT (11)));
+  emit_jump (label2);
+
+  emit_label (label1);
+  emit_insn (gen_fix_trunctddi2_dfp (operands[0], operands[1], GEN_INT (9)));
+  emit_label (label2);
+  DONE;
+})
 
 ;
-; fixuns_trunc(sf|df)(si|di)2 and fix_trunc(sf|df)(si|di)2 instruction pattern(s).
+; fixuns_trunc(sf|df)(si|di)2 and fix_trunc(sf|df)(si|di)2 
+; instruction pattern(s).
 ;
 
-(define_expand "fixuns_trunc<FPR:mode><GPR:mode>2"
+(define_expand "fixuns_trunc<BFP:mode><GPR:mode>2"
   [(set (match_operand:GPR 0 "register_operand" "")
-        (unsigned_fix:GPR (match_operand:FPR 1 "register_operand" "")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (unsigned_fix:GPR (match_operand:BFP 1 "register_operand" "")))]
+  "TARGET_HARD_FLOAT"
 {
   rtx label1 = gen_label_rtx ();
   rtx label2 = gen_label_rtx ();
-  rtx temp = gen_reg_rtx (<FPR:MODE>mode);
+  rtx temp = gen_reg_rtx (<BFP:MODE>mode);
   REAL_VALUE_TYPE cmp, sub;
   
-  operands[1] = force_reg (<FPR:MODE>mode, operands[1]);
-  real_2expN (&cmp, GET_MODE_BITSIZE(<GPR:MODE>mode) - 1);
-  real_2expN (&sub, GET_MODE_BITSIZE(<GPR:MODE>mode));
+  operands[1] = force_reg (<BFP:MODE>mode, operands[1]);
+  real_2expN (&cmp, GET_MODE_BITSIZE(<GPR:MODE>mode) - 1, <BFP:mode>mode);
+  real_2expN (&sub, GET_MODE_BITSIZE(<GPR:MODE>mode), <BFP:mode>mode);
   
-  emit_insn (gen_cmp<FPR:mode> (operands[1],
-       CONST_DOUBLE_FROM_REAL_VALUE (cmp, <FPR:MODE>mode)));
+  emit_insn (gen_cmp<BFP:mode> (operands[1],
+       CONST_DOUBLE_FROM_REAL_VALUE (cmp, <BFP:MODE>mode)));
   emit_jump_insn (gen_blt (label1));
-  emit_insn (gen_sub<FPR:mode>3 (temp, operands[1],
-       CONST_DOUBLE_FROM_REAL_VALUE (sub, <FPR:MODE>mode)));
-  emit_insn (gen_fix_trunc<FPR:mode><GPR:mode>2_ieee (operands[0], temp,
-       GEN_INT(7)));
+  emit_insn (gen_sub<BFP:mode>3 (temp, operands[1],
+       CONST_DOUBLE_FROM_REAL_VALUE (sub, <BFP:MODE>mode)));
+  emit_insn (gen_fix_trunc<BFP:mode><GPR:mode>2_bfp (operands[0], temp,
+       GEN_INT (7)));
   emit_jump (label2);
 
   emit_label (label1);
-  emit_insn (gen_fix_trunc<FPR:mode><GPR:mode>2_ieee (operands[0],
-       operands[1], GEN_INT(5)));
+  emit_insn (gen_fix_trunc<BFP:mode><GPR:mode>2_bfp (operands[0],
+       operands[1], GEN_INT (5)));
   emit_label (label2);
   DONE;
 })
 
-(define_expand "fix_trunc<mode>di2"
-  [(set (match_operand:DI 0 "register_operand" "")
-        (fix:DI (match_operand:DSF 1 "nonimmediate_operand" "")))]
-  "TARGET_64BIT && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+(define_expand "fix_trunc<DSF:mode><GPR:mode>2"
+  [(set (match_operand:GPR 0 "register_operand" "")
+        (fix:GPR (match_operand:DSF 1 "register_operand" "")))]
+  "TARGET_HARD_FLOAT"
 {
-  operands[1] = force_reg (<MODE>mode, operands[1]);
-  emit_insn (gen_fix_trunc<mode>di2_ieee (operands[0], operands[1],
-      GEN_INT(5)));
+  emit_insn (gen_fix_trunc<DSF:mode><GPR:mode>2_bfp (operands[0], operands[1],
+             GEN_INT (5)));
   DONE;
 })
 
 ; cgxbr, cgdbr, cgebr, cfxbr, cfdbr, cfebr
-(define_insn "fix_trunc<FPR:mode><GPR:mode>2_ieee"
+(define_insn "fix_trunc<BFP:mode><GPR:mode>2_bfp"
   [(set (match_operand:GPR 0 "register_operand" "=d")
-        (fix:GPR (match_operand:FPR 1 "register_operand" "f")))
+        (fix:GPR (match_operand:BFP 1 "register_operand" "f")))
    (unspec:GPR [(match_operand:GPR 2 "immediate_operand" "K")] UNSPEC_ROUND)
    (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "c<GPR:gf><FPR:xde>br\t%0,%h2,%1"
+  "TARGET_HARD_FLOAT"
+  "c<GPR:gf><BFP:xde>br\t%0,%h2,%1"
   [(set_attr "op_type" "RRE")
    (set_attr "type"    "ftoi")])
 
-;
-; fix_trunctf(si|di)2 instruction pattern(s).
-;
-
-(define_expand "fix_trunctf<mode>2"
-  [(parallel [(set (match_operand:GPR 0 "register_operand" "")
-                  (fix:GPR (match_operand:TF 1 "register_operand" "")))
-             (unspec:GPR [(const_int 5)] UNSPEC_ROUND)
-             (clobber (reg:CC CC_REGNUM))])]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "")
 
 ;
-; fix_truncdfsi2 instruction pattern(s).
+; fix_trunc(td|dd)di2 instruction pattern(s).
 ;
 
-(define_expand "fix_truncdfsi2"
-  [(set (match_operand:SI 0 "register_operand" "")
-        (fix:SI (match_operand:DF 1 "nonimmediate_operand" "")))]
-  "TARGET_HARD_FLOAT"
+(define_expand "fix_trunc<mode>di2"
+  [(set (match_operand:DI 0 "register_operand" "")
+        (fix:DI (match_operand:DFP 1 "nonimmediate_operand" "")))]
+  "TARGET_64BIT && TARGET_HARD_FLOAT && TARGET_HARD_DFP"
 {
-  if (TARGET_IBM_FLOAT)
-    {
-      /* This is the algorithm from POP chapter A.5.7.2.  */
-
-      rtx temp   = assign_stack_local (BLKmode, 8, BITS_PER_WORD);
-      rtx two31r = s390_gen_rtx_const_DI (0x4f000000, 0x08000000);
-      rtx two32  = s390_gen_rtx_const_DI (0x4e000001, 0x00000000);
-
-      operands[1] = force_reg (DFmode, operands[1]);
-      emit_insn (gen_fix_truncdfsi2_ibm (operands[0], operands[1],
-                                        two31r, two32, temp));
-    }
-  else
-    {
-      operands[1] = force_reg (DFmode, operands[1]);
-      emit_insn (gen_fix_truncdfsi2_ieee (operands[0], operands[1], GEN_INT (5)));
-    }
-
+  operands[1] = force_reg (<MODE>mode, operands[1]);
+  emit_insn (gen_fix_trunc<mode>di2_dfp (operands[0], operands[1],
+      GEN_INT (9)));
   DONE;
 })
 
-(define_insn "fix_truncdfsi2_ibm"
-  [(set (match_operand:SI 0 "register_operand" "=d")
-        (fix:SI (match_operand:DF 1 "nonimmediate_operand" "+f")))
-   (use (match_operand:DI 2 "immediate_operand" "m"))
-   (use (match_operand:DI 3 "immediate_operand" "m"))
-   (use (match_operand:BLK 4 "memory_operand" "m"))
+; cgxtr, cgdtr
+(define_insn "fix_trunc<DFP:mode>di2_dfp"
+  [(set (match_operand:DI 0 "register_operand" "=d")
+        (fix:DI (match_operand:DFP 1 "register_operand" "f")))
+   (unspec:DI [(match_operand:DI 2 "immediate_operand" "K")] UNSPEC_ROUND)
    (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-{
-   output_asm_insn ("sd\t%1,%2", operands);
-   output_asm_insn ("aw\t%1,%3", operands);
-   output_asm_insn ("std\t%1,%4", operands);
-   output_asm_insn ("xi\t%N4,128", operands);
-   return "l\t%0,%N4";
-}
-  [(set_attr "length" "20")])
+  "TARGET_64BIT && TARGET_HARD_FLOAT && TARGET_HARD_DFP"
+  "cg<DFP:xde>tr\t%0,%h2,%1"
+  [(set_attr "op_type" "RRF")
+   (set_attr "type"    "ftoi")])
+
 
 ;
-; fix_truncsfsi2 instruction pattern(s).
+; fix_trunctf(si|di)2 instruction pattern(s).
 ;
 
-(define_expand "fix_truncsfsi2"
-  [(set (match_operand:SI 0 "register_operand" "")
-        (fix:SI (match_operand:SF 1 "nonimmediate_operand" "")))]
+(define_expand "fix_trunctf<mode>2"
+  [(parallel [(set (match_operand:GPR 0 "register_operand" "")
+                  (fix:GPR (match_operand:TF 1 "register_operand" "")))
+             (unspec:GPR [(const_int 5)] UNSPEC_ROUND)
+             (clobber (reg:CC CC_REGNUM))])]
   "TARGET_HARD_FLOAT"
-{
-  if (TARGET_IBM_FLOAT)
-    {
-      /* Convert to DFmode and then use the POP algorithm.  */
-      rtx temp = gen_reg_rtx (DFmode);
-      emit_insn (gen_extendsfdf2 (temp, operands[1]));
-      emit_insn (gen_fix_truncdfsi2 (operands[0], temp));
-    }
-  else
-    {
-      operands[1] = force_reg (SFmode, operands[1]);
-      emit_insn (gen_fix_truncsfsi2_ieee (operands[0], operands[1], GEN_INT (5)));
-    }
+  "")
 
-  DONE;
-})
 
 ;
-; float(si|di)(tf|df|sf)2 instruction pattern(s).
+; float(si|di)(tf|df|sf|td|dd)2 instruction pattern(s).
 ;
 
-; cxgbr, cdgbr, cegbr
+; cxgbr, cdgbr, cegbr, cxgtr, cdgtr
 (define_insn "floatdi<mode>2"
-  [(set (match_operand:FPR 0 "register_operand" "=f")
-        (float:FPR (match_operand:DI 1 "register_operand" "d")))]
-  "TARGET_64BIT && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "c<xde>gbr\t%0,%1"
+  [(set (match_operand:FP 0 "register_operand" "=f")
+        (float:FP (match_operand:DI 1 "register_operand" "d")))]
+  "TARGET_64BIT && TARGET_HARD_FLOAT"
+  "c<xde>g<bt>r\t%0,%1"
   [(set_attr "op_type" "RRE")
    (set_attr "type"    "itof" )])
 
 ; cxfbr, cdfbr, cefbr
-(define_insn "floatsi<mode>2_ieee"
-  [(set (match_operand:FPR 0 "register_operand" "=f")
-        (float:FPR (match_operand:SI 1 "register_operand" "d")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+(define_insn "floatsi<mode>2"
+  [(set (match_operand:BFP 0 "register_operand" "=f")
+        (float:BFP (match_operand:SI 1 "register_operand" "d")))]
+  "TARGET_HARD_FLOAT"
   "c<xde>fbr\t%0,%1"
   [(set_attr "op_type" "RRE")
    (set_attr "type"   "itof" )])
 
 
 ;
-; floatsi(tf|df)2 instruction pattern(s).
+; truncdfsf2 instruction pattern(s).
 ;
 
-(define_expand "floatsitf2"
-  [(set (match_operand:TF 0 "register_operand" "")
-        (float:TF (match_operand:SI 1 "register_operand" "")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "")
-
-(define_expand "floatsidf2"
-  [(set (match_operand:DF 0 "register_operand" "")
-        (float:DF (match_operand:SI 1 "register_operand" "")))]
+(define_insn "truncdfsf2"
+  [(set (match_operand:SF 0 "register_operand" "=f")
+        (float_truncate:SF (match_operand:DF 1 "register_operand" "f")))]
   "TARGET_HARD_FLOAT"
-{
-  if (TARGET_IBM_FLOAT)
-    {
-      /* This is the algorithm from POP chapter A.5.7.1.  */
-
-      rtx temp  = assign_stack_local (BLKmode, 8, BITS_PER_WORD);
-      rtx two31 = s390_gen_rtx_const_DI (0x4e000000, 0x80000000);
-
-      emit_insn (gen_floatsidf2_ibm (operands[0], operands[1], two31, temp));
-      DONE;
-    }
-})
-
-(define_insn "floatsidf2_ibm"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-        (float:DF (match_operand:SI 1 "register_operand" "d")))
-   (use (match_operand:DI 2 "immediate_operand" "m"))
-   (use (match_operand:BLK 3 "memory_operand" "m"))
-   (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-{
-   output_asm_insn ("st\t%1,%N3", operands);
-   output_asm_insn ("xi\t%N3,128", operands);
-   output_asm_insn ("mvc\t%O3(4,%R3),%2", operands);
-   output_asm_insn ("ld\t%0,%3", operands);
-   return "sd\t%0,%2";
-}
-  [(set_attr "length" "20")])
+  "ledbr\t%0,%1"
+  [(set_attr "op_type"  "RRE")
+   (set_attr "type"   "ftruncdf")])
 
 ;
-; floatsisf2 instruction pattern(s).
+; trunctf(df|sf)2 instruction pattern(s).
 ;
 
-(define_expand "floatsisf2"
-  [(set (match_operand:SF 0 "register_operand" "")
-        (float:SF (match_operand:SI 1 "register_operand" "")))]
+; ldxbr, lexbr
+(define_insn "trunctf<mode>2"
+  [(set (match_operand:DSF 0 "register_operand" "=f")
+        (float_truncate:DSF (match_operand:TF 1 "register_operand" "f")))
+   (clobber (match_scratch:TF 2 "=f"))]
   "TARGET_HARD_FLOAT"
-{
-  if (TARGET_IBM_FLOAT)
-    {
-      /* Use the POP algorithm to convert to DFmode and then truncate.  */
-      rtx temp = gen_reg_rtx (DFmode);
-      emit_insn (gen_floatsidf2 (temp, operands[1]));
-      emit_insn (gen_truncdfsf2 (operands[0], temp));
-      DONE;
-    }
-})
+  "l<xde>xbr\t%2,%1\;l<xde>r\t%0,%2"
+  [(set_attr "length" "6")
+   (set_attr "type"   "ftrunctf")])   
 
 ;
-; truncdfsf2 instruction pattern(s).
+; trunctddd2 and truncddsd2 instruction pattern(s).
 ;
 
-(define_expand "truncdfsf2"
-  [(set (match_operand:SF 0 "register_operand" "")
-        (float_truncate:SF (match_operand:DF 1 "register_operand" "")))]
-  "TARGET_HARD_FLOAT"
-  "")
+(define_insn "trunctddd2"
+  [(set (match_operand:DD 0 "register_operand" "=f")
+       (float_truncate:DD (match_operand:TD 1 "register_operand" "f")))
+   (clobber (match_scratch:TD 2 "=f"))]
+  "TARGET_HARD_FLOAT && TARGET_HARD_DFP"
+  "ldxtr\t%2,0,%1,0\;ldr\t%0,%2"
+  [(set_attr "length"  "6")
+   (set_attr "type"    "ftrunctf")])
 
-(define_insn "truncdfsf2_ieee"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-        (float_truncate:SF (match_operand:DF 1 "register_operand" "f")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "ledbr\t%0,%1"
-  [(set_attr "op_type"  "RRE")
-   (set_attr "type"   "ftruncdf")])
+(define_insn "truncddsd2"
+  [(set (match_operand:SD 0 "register_operand" "=f")
+       (float_truncate:SD (match_operand:DD 1 "register_operand" "f")))]
+  "TARGET_HARD_FLOAT && TARGET_HARD_DFP"
+  "ledtr\t%0,0,%1,0"
+  [(set_attr "op_type" "RRF")
+   (set_attr "type"    "fsimptf")])
+
+;
+; extend(sf|df)(df|tf)2 instruction pattern(s).
+;
 
-(define_insn "truncdfsf2_ibm"
-  [(set (match_operand:SF 0 "register_operand" "=f,f")
-        (float_truncate:SF (match_operand:DF 1 "nonimmediate_operand" "f,R")))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
+; ldebr, ldeb, lxdbr, lxdb, lxebr, lxeb
+(define_insn "extend<DSF:mode><BFP:mode>2"
+  [(set (match_operand:BFP 0 "register_operand" "=f,f")
+        (float_extend:BFP (match_operand:DSF 1 "nonimmediate_operand"  "f,R")))]
+  "TARGET_HARD_FLOAT
+   && GET_MODE_SIZE (<BFP:MODE>mode) > GET_MODE_SIZE (<DSF:MODE>mode)"
   "@
-   ler\t%0,%1
-   le\t%0,%1"
-  [(set_attr "op_type"  "RR,RX")
-   (set_attr "type"   "floadsf")])
+   l<BFP:xde><DSF:xde>br\t%0,%1
+   l<BFP:xde><DSF:xde>b\t%0,%1"
+  [(set_attr "op_type"  "RRE,RXE")
+   (set_attr "type"   "fsimp<BFP:mode>, fload<BFP:mode>")])
 
 ;
-; trunctfdf2 instruction pattern(s).
+; extendddtd2 and extendsddd2 instruction pattern(s).
 ;
 
-(define_expand "trunctfdf2"
-  [(parallel 
-    [(set (match_operand:DF 0 "register_operand" "")
-         (float_truncate:DF (match_operand:TF 1 "register_operand" "")))
-     (clobber (match_scratch:TF 2 "=f"))])]
-  "TARGET_HARD_FLOAT"
-  "")
+(define_insn "extendddtd2"
+  [(set (match_operand:TD 0 "register_operand" "=f")
+       (float_extend:TD (match_operand:DD 1 "register_operand" "f")))]
+  "TARGET_HARD_FLOAT && TARGET_HARD_DFP"
+  "lxdtr\t%0,%1,0"
+  [(set_attr "op_type" "RRF")
+   (set_attr "type"    "fsimptf")])
 
-(define_insn "*trunctfdf2_ieee"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-        (float_truncate:DF (match_operand:TF 1 "register_operand" "f")))
-   (clobber (match_scratch:TF 2 "=f"))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "ldxbr\t%2,%1\;ldr\t%0,%2"
-  [(set_attr "length" "6")
-   (set_attr "type"   "ftrunctf")])   
+(define_insn "extendsddd2"
+  [(set (match_operand:DD 0 "register_operand" "=f")
+       (float_extend:DD (match_operand:SD 1 "register_operand" "f")))]
+  "TARGET_HARD_FLOAT && TARGET_HARD_DFP"
+  "ldetr\t%0,%1,0"
+  [(set_attr "op_type" "RRF")
+   (set_attr "type"    "fsimptf")])
 
-(define_insn "*trunctfdf2_ibm"
-  [(set (match_operand:DF 0 "register_operand" "=f")
-        (float_truncate:DF (match_operand:TF 1 "register_operand" "f")))
-   (clobber (match_scratch:TF 2 "=f"))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "ldxr\t%2,%1\;ldr\t%0,%2"
-  [(set_attr "length"  "4")
-   (set_attr "type"   "ftrunctf")])
-
-;
-; trunctfsf2 instruction pattern(s).
+; Binary <-> Decimal floating point trunc patterns
 ;
 
-(define_expand "trunctfsf2"
-  [(parallel 
-    [(set (match_operand:SF 0 "register_operand" "=f")
-         (float_truncate:SF (match_operand:TF 1 "register_operand" "f")))
-     (clobber (match_scratch:TF 2 "=f"))])]
-  "TARGET_HARD_FLOAT"
-  "")
+(define_insn "*trunc<BFP:mode><DFP_ALL:mode>2"
+  [(set (reg:DFP_ALL FPR0_REGNUM)
+        (float_truncate:DFP_ALL (reg:BFP FPR2_REGNUM)))
+   (use (reg:SI GPR0_REGNUM))
+   (clobber (reg:CC CC_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "pfpo")
 
-(define_insn "*trunctfsf2_ieee"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-        (float_truncate:SF (match_operand:TF 1 "register_operand" "f")))
-   (clobber (match_scratch:TF 2 "=f"))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "lexbr\t%2,%1\;ler\t%0,%2"
-  [(set_attr "length"  "6")
-   (set_attr "type"   "ftrunctf")])
+(define_insn "*trunc<DFP_ALL:mode><BFP:mode>2"
+  [(set (reg:BFP FPR0_REGNUM)
+        (float_truncate:BFP (reg:DFP_ALL FPR2_REGNUM)))
+   (use (reg:SI GPR0_REGNUM))
+   (clobber (reg:CC CC_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "pfpo")
 
-(define_insn "*trunctfsf2_ibm"
-  [(set (match_operand:SF 0 "register_operand" "=f")
-        (float_truncate:SF (match_operand:TF 1 "register_operand" "f")))
-   (clobber (match_scratch:TF 2 "=f"))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "lexr\t%2,%1\;ler\t%0,%2"
-  [(set_attr "length"  "6")
-   (set_attr "type"   "ftrunctf")])
+(define_expand "trunc<BFP:mode><DFP_ALL:mode>2"
+  [(set (reg:BFP FPR2_REGNUM) (match_operand:BFP 1 "nonimmediate_operand" ""))
+   (set (reg:SI GPR0_REGNUM) (match_dup 2))
+   (parallel
+    [(set (reg:DFP_ALL FPR0_REGNUM)
+          (float_truncate:DFP_ALL (reg:BFP FPR2_REGNUM)))
+     (use (reg:SI GPR0_REGNUM))
+     (clobber (reg:CC CC_REGNUM))])
+   (set (match_operand:DFP_ALL 0 "nonimmediate_operand" "")
+        (reg:DFP_ALL FPR0_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP
+   && GET_MODE_SIZE (<BFP:MODE>mode) > GET_MODE_SIZE (<DFP_ALL:MODE>mode)"
+{
+  HOST_WIDE_INT flags;
 
-;
-; extendsfdf2 instruction pattern(s).
-;
+  flags = (PFPO_CONVERT |
+           PFPO_OP_TYPE_<DFP_ALL:MODE> << PFPO_OP0_TYPE_SHIFT |
+           PFPO_OP_TYPE_<BFP:MODE> << PFPO_OP1_TYPE_SHIFT);
 
-(define_expand "extendsfdf2"
-  [(set (match_operand:DF 0 "register_operand" "")
-        (float_extend:DF (match_operand:SF 1 "nonimmediate_operand" "")))]
-  "TARGET_HARD_FLOAT"
-{
-  if (TARGET_IBM_FLOAT)
-    {
-      emit_insn (gen_extendsfdf2_ibm (operands[0], operands[1]));
-      DONE;
-    }
+  operands[2] = GEN_INT (flags);
 })
 
-(define_insn "extendsfdf2_ieee"
-  [(set (match_operand:DF 0 "register_operand" "=f,f")
-        (float_extend:DF (match_operand:SF 1 "nonimmediate_operand"  "f,R")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "@
-   ldebr\t%0,%1
-   ldeb\t%0,%1"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"   "fsimpsf, floadsf")])
+(define_expand "trunc<DFP_ALL:mode><BFP:mode>2"
+  [(set (reg:DFP_ALL FPR2_REGNUM)
+        (match_operand:DFP_ALL 1 "nonimmediate_operand" ""))
+   (set (reg:SI GPR0_REGNUM) (match_dup 2))
+   (parallel
+    [(set (reg:BFP FPR0_REGNUM) (float_truncate:BFP (reg:DFP_ALL FPR2_REGNUM)))
+     (use (reg:SI GPR0_REGNUM))
+     (clobber (reg:CC CC_REGNUM))])
+   (set (match_operand:BFP 0 "nonimmediate_operand" "") (reg:BFP FPR0_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP
+   && GET_MODE_SIZE (<DFP_ALL:MODE>mode) >= GET_MODE_SIZE (<BFP:MODE>mode)"
+{
+  HOST_WIDE_INT flags;
 
-(define_insn "extendsfdf2_ibm"
-  [(set (match_operand:DF 0 "register_operand" "=f,f")
-        (float_extend:DF (match_operand:SF 1 "nonimmediate_operand" "f,R")))
-   (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   sdr\t%0,%0\;ler\t%0,%1
-   sdr\t%0,%0\;le\t%0,%1"
-  [(set_attr "length"   "4,6")
-   (set_attr "type"     "floadsf")])
+  flags = (PFPO_CONVERT |
+           PFPO_OP_TYPE_<BFP:MODE> << PFPO_OP0_TYPE_SHIFT |
+           PFPO_OP_TYPE_<DFP_ALL:MODE> << PFPO_OP1_TYPE_SHIFT);
+
+  operands[2] = GEN_INT (flags);
+})
 
 ;
-; extenddftf2 instruction pattern(s).
+; Binary <-> Decimal floating point extend patterns
 ;
 
-(define_expand "extenddftf2"
-  [(set (match_operand:TF 0 "register_operand" "")
-        (float_extend:TF (match_operand:DF 1 "nonimmediate_operand" "")))]
-  "TARGET_HARD_FLOAT"
-  "")
+(define_insn "*extend<BFP:mode><DFP_ALL:mode>2"
+  [(set (reg:DFP_ALL FPR0_REGNUM) (float_extend:DFP_ALL (reg:BFP FPR2_REGNUM)))
+   (use (reg:SI GPR0_REGNUM))
+   (clobber (reg:CC CC_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "pfpo")
 
-(define_insn "*extenddftf2_ieee"
-  [(set (match_operand:TF 0 "register_operand" "=f,f")
-        (float_extend:TF (match_operand:DF 1 "nonimmediate_operand" "f,R")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "@
-   lxdbr\t%0,%1
-   lxdb\t%0,%1"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"   "fsimptf, floadtf")])
+(define_insn "*extend<DFP_ALL:mode><BFP:mode>2"
+  [(set (reg:BFP FPR0_REGNUM) (float_extend:BFP (reg:DFP_ALL FPR2_REGNUM)))
+   (use (reg:SI GPR0_REGNUM))
+   (clobber (reg:CC CC_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "pfpo")
 
-(define_insn "*extenddftf2_ibm"
-  [(set (match_operand:TF 0 "register_operand" "=f,f")
-        (float_extend:TF (match_operand:DF 1 "nonimmediate_operand" "f,R")))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   lxdr\t%0,%1
-   lxd\t%0,%1"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"   "fsimptf, floadtf")])
+(define_expand "extend<BFP:mode><DFP_ALL:mode>2"
+  [(set (reg:BFP FPR2_REGNUM) (match_operand:BFP 1 "nonimmediate_operand" ""))
+   (set (reg:SI GPR0_REGNUM) (match_dup 2))
+   (parallel
+    [(set (reg:DFP_ALL FPR0_REGNUM)
+          (float_extend:DFP_ALL (reg:BFP FPR2_REGNUM)))
+     (use (reg:SI GPR0_REGNUM))
+     (clobber (reg:CC CC_REGNUM))])
+   (set (match_operand:DFP_ALL 0 "nonimmediate_operand" "")
+        (reg:DFP_ALL FPR0_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP
+   && GET_MODE_SIZE (<BFP:MODE>mode) <= GET_MODE_SIZE (<DFP_ALL:MODE>mode)"
+{
+  HOST_WIDE_INT flags;
 
-;
-; extendsftf2 instruction pattern(s).
-;
+  flags = (PFPO_CONVERT |
+           PFPO_OP_TYPE_<DFP_ALL:MODE> << PFPO_OP0_TYPE_SHIFT |
+           PFPO_OP_TYPE_<BFP:MODE> << PFPO_OP1_TYPE_SHIFT);
 
-(define_expand "extendsftf2"
-  [(set (match_operand:TF 0 "register_operand" "")
-        (float_extend:TF (match_operand:SF 1 "nonimmediate_operand" "")))]
-  "TARGET_HARD_FLOAT"
-  "")
+  operands[2] = GEN_INT (flags);
+})
 
-(define_insn "*extendsftf2_ieee"
-  [(set (match_operand:TF 0 "register_operand" "=f,f")
-        (float_extend:TF (match_operand:SF 1 "nonimmediate_operand" "f,R")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "@
-   lxebr\t%0,%1
-   lxeb\t%0,%1"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"   "fsimptf, floadtf")])
+(define_expand "extend<DFP_ALL:mode><BFP:mode>2"
+  [(set (reg:DFP_ALL FPR2_REGNUM)
+        (match_operand:DFP_ALL 1 "nonimmediate_operand" ""))
+   (set (reg:SI GPR0_REGNUM) (match_dup 2))
+   (parallel
+    [(set (reg:BFP FPR0_REGNUM) (float_extend:BFP (reg:DFP_ALL FPR2_REGNUM)))
+     (use (reg:SI GPR0_REGNUM))
+     (clobber (reg:CC CC_REGNUM))])
+   (set (match_operand:BFP 0 "nonimmediate_operand" "") (reg:BFP FPR0_REGNUM))]
+  "TARGET_HARD_FLOAT && TARGET_DFP
+   && GET_MODE_SIZE (<DFP_ALL:MODE>mode) < GET_MODE_SIZE (<BFP:MODE>mode)"
+{
+  HOST_WIDE_INT flags;
 
-(define_insn "*extendsftf2_ibm"
-  [(set (match_operand:TF 0 "register_operand" "=f,f")
-        (float_extend:TF (match_operand:SF 1 "nonimmediate_operand" "f,R")))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   lxer\t%0,%1
-   lxe\t%0,%1"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"   "fsimptf, floadtf")])
+  flags = (PFPO_CONVERT |
+           PFPO_OP_TYPE_<BFP:MODE> << PFPO_OP0_TYPE_SHIFT |
+           PFPO_OP_TYPE_<DFP_ALL:MODE> << PFPO_OP1_TYPE_SHIFT);
+
+  operands[2] = GEN_INT (flags);
+})
 
 
 ;;
                         (match_dup 7)))
      (set (match_dup 6) (plus:DI (match_dup 7) (match_dup 8)))])
    (parallel
-    [(set (match_dup 3) (plus:DI (plus:DI (match_dup 4) (match_dup 5))
-                                 (ltu:DI (reg:CCL1 CC_REGNUM) (const_int 0))))
+    [(set (match_dup 3) (plus:DI
+                          (plus:DI (ltu:DI (reg:CCL1 CC_REGNUM) (const_int 0))
+                                   (match_dup 4)) (match_dup 5)))
      (clobber (reg:CC CC_REGNUM))])]
   "operands[3] = operand_subword (operands[0], 0, 0, TImode);
    operands[4] = operand_subword (operands[1], 0, 0, TImode);
                         (match_dup 7)))
      (set (match_dup 6) (plus:SI (match_dup 7) (match_dup 8)))])
    (parallel
-    [(set (match_dup 3) (plus:SI (plus:SI (match_dup 4) (match_dup 5))
-                                 (ltu:SI (reg:CCL1 CC_REGNUM) (const_int 0))))
+    [(set (match_dup 3) (plus:SI
+                         (plus:SI (ltu:SI (reg:CCL1 CC_REGNUM) (const_int 0))
+                                  (match_dup 4)) (match_dup 5)))
      (clobber (reg:CC CC_REGNUM))])]
   "operands[3] = operand_subword (operands[0], 0, 0, DImode);
    operands[4] = operand_subword (operands[1], 0, 0, DImode);
   [(set_attr "op_type"  "RI,RIL")])
 
 ;
-; add(df|sf)3 instruction pattern(s).
+; add(tf|df|sf|td|dd)3 instruction pattern(s).
 ;
 
-(define_expand "add<mode>3"
-  [(parallel
-    [(set (match_operand:FPR 0 "register_operand" "=f,f")
-          (plus:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                    (match_operand:FPR 2 "general_operand" "f,<Rf>")))
-     (clobber (reg:CC CC_REGNUM))])]
-  "TARGET_HARD_FLOAT"
-  "")
-
-; axbr, adbr, aebr, axb, adb, aeb
-(define_insn "*add<mode>3"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (plus:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                  (match_operand:FPR 2 "general_operand" "f,<Rf>")))
+; axbr, adbr, aebr, axb, adb, aeb, adtr, axtr
+(define_insn "add<mode>3"
+  [(set (match_operand:FP 0 "register_operand"              "=f,   f")
+        (plus:FP (match_operand:FP 1 "nonimmediate_operand" "%<f0>,0")
+                (match_operand:FP 2 "general_operand"      " f,<Rf>")))
    (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+  "TARGET_HARD_FLOAT"
   "@
-   a<xde>br\t%0,%2
+   a<xde><bt>r\t%0,<op1>%2
    a<xde>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fsimp<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fsimp<bfp>")])
 
-; axbr, adbr, aebr, axb, adb, aeb
+; axbr, adbr, aebr, axb, adb, aeb, adtr, axtr
 (define_insn "*add<mode>3_cc"
   [(set (reg CC_REGNUM)
-       (compare (plus:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                          (match_operand:FPR 2 "general_operand" "f,<Rf>"))
-                (match_operand:FPR 3 "const0_operand" "")))
-   (set (match_operand:FPR 0 "register_operand" "=f,f")
-       (plus:FPR (match_dup 1) (match_dup 2)))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "@
-   a<xde>br\t%0,%2
+       (compare (plus:FP (match_operand:FP 1 "nonimmediate_operand" "%<f0>,0")
+                         (match_operand:FP 2 "general_operand"      " f,<Rf>"))
+                (match_operand:FP 3 "const0_operand" "")))
+   (set (match_operand:FP 0 "register_operand" "=f,f")
+       (plus:FP (match_dup 1) (match_dup 2)))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
+  "@
+   a<xde><bt>r\t%0,<op1>%2
    a<xde>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fsimp<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fsimp<bfp>")])
 
-; axbr, adbr, aebr, axb, adb, aeb
+; axbr, adbr, aebr, axb, adb, aeb, adtr, axtr
 (define_insn "*add<mode>3_cconly"
   [(set (reg CC_REGNUM)
-       (compare (plus:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                          (match_operand:FPR 2 "general_operand" "f,<Rf>"))
-                (match_operand:FPR 3 "const0_operand" "")))
-   (clobber (match_scratch:FPR 0 "=f,f"))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+       (compare (plus:FP (match_operand:FP 1 "nonimmediate_operand" "%<f0>,0")
+                          (match_operand:FP 2 "general_operand"      " f,<Rf>"))
+                (match_operand:FP 3 "const0_operand" "")))
+   (clobber (match_scratch:FP 0 "=f,f"))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "@
-   a<xde>br\t%0,%2
+   a<xde><bt>r\t%0,<op1>%2
    a<xde>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fsimp<mode>")])
-
-; axr, adr, aer, ax, ad, ae
-(define_insn "*add<mode>3_ibm"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (plus:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                  (match_operand:FPR 2 "general_operand" "f,<Rf>")))
-   (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   a<xde>r\t%0,%2
-   a<xde>\t%0,%2"
-  [(set_attr "op_type"  "<RRe>,<RXe>")
-   (set_attr "type"     "fsimp<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fsimp<bfp>")])
 
 
 ;;
   [(set_attr "op_type"  "RR<E>,RX<Y>,RXY")])
 
 ;
-; sub(df|sf)3 instruction pattern(s).
+; sub(tf|df|sf|td|dd)3 instruction pattern(s).
 ;
 
-(define_expand "sub<mode>3"
-  [(parallel
-    [(set (match_operand:FPR 0 "register_operand" "=f,f")
-          (minus:FPR (match_operand:FPR 1 "register_operand" "0,0")
-                     (match_operand:FPR 2 "general_operand" "f,R")))
-     (clobber (reg:CC CC_REGNUM))])]
-  "TARGET_HARD_FLOAT"
-  "")
-
-; sxbr, sdbr, sebr, sxb, sdb, seb
-(define_insn "*sub<mode>3"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (minus:FPR (match_operand:FPR 1 "register_operand" "0,0")
-                   (match_operand:FPR 2 "general_operand" "f,<Rf>")))
+; sxbr, sdbr, sebr, sxb, sdb, seb, sxtr, sdtr
+(define_insn "sub<mode>3"
+  [(set (match_operand:FP 0 "register_operand"            "=f,  f")
+        (minus:FP (match_operand:FP 1 "register_operand" "<f0>,0")
+                  (match_operand:FP 2 "general_operand"  "f,<Rf>")))
    (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+  "TARGET_HARD_FLOAT"
   "@
-   s<xde>br\t%0,%2
+   s<xde><bt>r\t%0,<op1>%2
    s<xde>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fsimp<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fsimp<bfp>")])
 
-; sxbr, sdbr, sebr, sxb, sdb, seb
+; sxbr, sdbr, sebr, sxb, sdb, seb, sxtr, sdtr
 (define_insn "*sub<mode>3_cc"
   [(set (reg CC_REGNUM)
-       (compare (minus:FPR (match_operand:FPR 1 "nonimmediate_operand" "0,0")
-                           (match_operand:FPR 2 "general_operand" "f,<Rf>"))
-                (match_operand:FPR 3 "const0_operand" "")))
-   (set (match_operand:FPR 0 "register_operand" "=f,f")
-       (minus:FPR (match_dup 1) (match_dup 2)))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
-  "@
-   s<xde>br\t%0,%2
+       (compare (minus:FP (match_operand:FP 1 "nonimmediate_operand" "<f0>,0")
+                           (match_operand:FP 2 "general_operand"      "f,<Rf>"))
+                (match_operand:FP 3 "const0_operand" "")))
+   (set (match_operand:FP 0 "register_operand" "=f,f")
+       (minus:FP (match_dup 1) (match_dup 2)))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
+  "@
+   s<xde><bt>r\t%0,<op1>%2
    s<xde>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fsimp<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fsimp<bfp>")])
 
-; sxbr, sdbr, sebr, sxb, sdb, seb
+; sxbr, sdbr, sebr, sxb, sdb, seb, sxtr, sdtr
 (define_insn "*sub<mode>3_cconly"
   [(set (reg CC_REGNUM)
-       (compare (minus:FPR (match_operand:FPR 1 "nonimmediate_operand" "0,0")
-                           (match_operand:FPR 2 "general_operand" "f,<Rf>"))
-                (match_operand:FPR 3 "const0_operand" "")))
-   (clobber (match_scratch:FPR 0 "=f,f"))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+       (compare (minus:FP (match_operand:FP 1 "nonimmediate_operand" "<f0>,0")
+                          (match_operand:FP 2 "general_operand"      "f,<Rf>"))
+                (match_operand:FP 3 "const0_operand" "")))
+   (clobber (match_scratch:FP 0 "=f,f"))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "@
-   s<xde>br\t%0,%2
+   s<xde><bt>r\t%0,<op1>%2
    s<xde>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fsimp<mode>")])
-
-; sxr, sdr, ser, sx, sd, se
-(define_insn "*sub<mode>3_ibm"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (minus:FPR (match_operand:FPR 1 "register_operand" "0,0")
-                   (match_operand:FPR 2 "general_operand" "f,<Rf>")))
-   (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   s<xde>r\t%0,%2
-   s<xde>\t%0,%2"
-  [(set_attr "op_type"  "<RRe>,<RXe>")
-   (set_attr "type"     "fsimp<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fsimp<bfp>")])
 
 
 ;;
 ; add(di|si)cc instruction pattern(s).
 ;
 
+; the following 4 patterns are used when the result of an add with
+; carry is checked for an overflow condition
+
+; op1 + op2 + c < op1
+
+; alcr, alc, alcgr, alcg
+(define_insn "*add<mode>3_alc_carry1_cc"
+  [(set (reg CC_REGNUM)
+        (compare
+          (plus:GPR (plus:GPR (match_operand:GPR 3 "s390_alc_comparison" "")
+                              (match_operand:GPR 1 "nonimmediate_operand" "%0,0"))
+                    (match_operand:GPR 2 "general_operand" "d,m"))
+          (match_dup 1)))
+   (set (match_operand:GPR 0 "register_operand" "=d,d")
+        (plus:GPR (plus:GPR (match_dup 3) (match_dup 1)) (match_dup 2)))]
+  "s390_match_ccmode (insn, CCL1mode) && TARGET_CPU_ZARCH"
+  "@
+   alc<g>r\t%0,%2
+   alc<g>\t%0,%2"
+  [(set_attr "op_type"  "RRE,RXY")])
+
+; alcr, alc, alcgr, alcg
+(define_insn "*add<mode>3_alc_carry1_cconly"
+  [(set (reg CC_REGNUM)
+        (compare
+          (plus:GPR (plus:GPR (match_operand:GPR 3 "s390_alc_comparison" "")
+                              (match_operand:GPR 1 "nonimmediate_operand" "%0,0"))
+                    (match_operand:GPR 2 "general_operand" "d,m"))
+          (match_dup 1)))
+   (clobber (match_scratch:GPR 0 "=d,d"))]
+  "s390_match_ccmode (insn, CCL1mode) && TARGET_CPU_ZARCH"
+  "@
+   alc<g>r\t%0,%2
+   alc<g>\t%0,%2"
+  [(set_attr "op_type"  "RRE,RXY")])
+
+; op1 + op2 + c < op2
+
+; alcr, alc, alcgr, alcg
+(define_insn "*add<mode>3_alc_carry2_cc"
+  [(set (reg CC_REGNUM)
+        (compare
+          (plus:GPR (plus:GPR (match_operand:GPR 3 "s390_alc_comparison" "")
+                              (match_operand:GPR 1 "nonimmediate_operand" "%0,0"))
+                    (match_operand:GPR 2 "general_operand" "d,m"))
+          (match_dup 2)))
+   (set (match_operand:GPR 0 "register_operand" "=d,d")
+        (plus:GPR (plus:GPR (match_dup 3) (match_dup 1)) (match_dup 2)))]
+  "s390_match_ccmode (insn, CCL1mode) && TARGET_CPU_ZARCH"
+  "@
+   alc<g>r\t%0,%2
+   alc<g>\t%0,%2"
+  [(set_attr "op_type"  "RRE,RXY")])
+
+; alcr, alc, alcgr, alcg
+(define_insn "*add<mode>3_alc_carry2_cconly"
+  [(set (reg CC_REGNUM)
+        (compare
+          (plus:GPR (plus:GPR (match_operand:GPR 3 "s390_alc_comparison" "")
+                              (match_operand:GPR 1 "nonimmediate_operand" "%0,0"))
+                    (match_operand:GPR 2 "general_operand" "d,m"))
+          (match_dup 2)))
+   (clobber (match_scratch:GPR 0 "=d,d"))]
+  "s390_match_ccmode (insn, CCL1mode) && TARGET_CPU_ZARCH"
+  "@
+   alc<g>r\t%0,%2
+   alc<g>\t%0,%2"
+  [(set_attr "op_type"  "RRE,RXY")])
+
 ; alcr, alc, alcgr, alcg
 (define_insn "*add<mode>3_alc_cc"
   [(set (reg CC_REGNUM)
         (compare
-          (plus:GPR (plus:GPR (match_operand:GPR 1 "nonimmediate_operand" "%0,0")
-                              (match_operand:GPR 2 "general_operand" "d,m"))
-                    (match_operand:GPR 3 "s390_alc_comparison" ""))
+          (plus:GPR (plus:GPR (match_operand:GPR 3 "s390_alc_comparison" "")
+                              (match_operand:GPR 1 "nonimmediate_operand" "%0,0"))
+                    (match_operand:GPR 2 "general_operand" "d,m"))
           (const_int 0)))
    (set (match_operand:GPR 0 "register_operand" "=d,d")
-        (plus:GPR (plus:GPR (match_dup 1) (match_dup 2)) (match_dup 3)))]
+        (plus:GPR (plus:GPR (match_dup 3) (match_dup 1)) (match_dup 2)))]
   "s390_match_ccmode (insn, CCLmode) && TARGET_CPU_ZARCH"
   "@
    alc<g>r\t%0,%2
 ; alcr, alc, alcgr, alcg
 (define_insn "*add<mode>3_alc"
   [(set (match_operand:GPR 0 "register_operand" "=d,d")
-        (plus:GPR (plus:GPR (match_operand:GPR 1 "nonimmediate_operand" "%0,0")
-                            (match_operand:GPR 2 "general_operand" "d,m"))
-                  (match_operand:GPR 3 "s390_alc_comparison" "")))
+        (plus:GPR (plus:GPR (match_operand:GPR 3 "s390_alc_comparison" "")
+                            (match_operand:GPR 1 "nonimmediate_operand" "%0,0"))
+                  (match_operand:GPR 2 "general_operand" "d,m")))
    (clobber (reg:CC CC_REGNUM))]
   "TARGET_CPU_ZARCH"
   "@
   "&& reload_completed"
   [(set (match_dup 0) (const_int 0))
    (parallel
-    [(set (match_dup 0) (plus:GPR (plus:GPR (match_dup 0) (match_dup 0))
-                                  (match_dup 1)))
+    [(set (match_dup 0) (plus:GPR (plus:GPR (match_dup 1) (match_dup 0))
+                                  (match_dup 0)))
      (clobber (reg:CC CC_REGNUM))])]
   "")
 
    (set_attr "type"     "imulsi")])
 
 ;
-; mul(df|sf)3 instruction pattern(s).
+; mul(tf|df|sf|td|dd)3 instruction pattern(s).
 ;
 
-(define_expand "mul<mode>3"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (mult:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                  (match_operand:FPR 2 "general_operand" "f,<Rf>")))]
+; mxbr mdbr, meebr, mxb, mxb, meeb, mdtr, mxtr
+(define_insn "mul<mode>3"
+  [(set (match_operand:FP 0 "register_operand"              "=f,f")
+        (mult:FP (match_operand:FP 1 "nonimmediate_operand" "%<f0>,0")
+                 (match_operand:FP 2 "general_operand"      "f,<Rf>")))]
   "TARGET_HARD_FLOAT"
-  "")
-
-; mxbr mdbr, meebr, mxb, mxb, meeb
-(define_insn "*mul<mode>3"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (mult:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                  (match_operand:FPR 2 "general_operand" "f,<Rf>")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
   "@
-   m<xdee>br\t%0,%2
+   m<xdee><bt>r\t%0,<op1>%2
    m<xdee>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fmul<mode>")])
-
-; mxr, mdr, mer, mx, md, me
-(define_insn "*mul<mode>3_ibm"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (mult:FPR (match_operand:FPR 1 "nonimmediate_operand" "%0,0")
-                  (match_operand:FPR 2 "general_operand" "f,<Rf>")))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   m<xde>r\t%0,%2
-   m<xde>\t%0,%2"
-  [(set_attr "op_type"  "<RRe>,<RXe>")
-   (set_attr "type"     "fmul<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fmul<bfp>")])
 
 ; maxbr, madbr, maebr, maxb, madb, maeb
 (define_insn "*fmadd<mode>"
        (plus:DSF (mult:DSF (match_operand:DSF 1 "register_operand" "%f,f")
                            (match_operand:DSF 2 "nonimmediate_operand"  "f,R"))
                 (match_operand:DSF 3 "register_operand" "0,0")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT && TARGET_FUSED_MADD"
+  "TARGET_HARD_FLOAT && TARGET_FUSED_MADD"
   "@
    ma<xde>br\t%0,%1,%2
    ma<xde>b\t%0,%1,%2"
        (minus:DSF (mult:DSF (match_operand:DSF 1 "register_operand" "f,f")
                             (match_operand:DSF 2 "nonimmediate_operand"  "f,R"))
                 (match_operand:DSF 3 "register_operand" "0,0")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT && TARGET_FUSED_MADD"
+  "TARGET_HARD_FLOAT && TARGET_FUSED_MADD"
   "@
    ms<xde>br\t%0,%1,%2
    ms<xde>b\t%0,%1,%2"
   emit_insn (gen_divmodtidi3 (operands[4], operands[1], operands[2]));
 
   insn = emit_move_insn (operands[0], gen_lowpart (DImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, div_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, div_equal);
 
   insn = emit_move_insn (operands[3], gen_highpart (DImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, mod_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, mod_equal);
 
   DONE;
 })
   emit_insn (gen_rtx_CLOBBER (VOIDmode, operands[4]));
   emit_move_insn (gen_lowpart (DImode, operands[4]), operands[1]);
   emit_move_insn (gen_highpart (DImode, operands[4]), const0_rtx);
+
   insn = emit_insn (gen_udivmodtidi3 (operands[4], operands[4], operands[2]));
-  REG_NOTES (insn) =
-       gen_rtx_EXPR_LIST (REG_EQUAL, equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, equal);
 
   insn = emit_move_insn (operands[0], gen_lowpart (DImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, div_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, div_equal);
 
   insn = emit_move_insn (operands[3], gen_highpart (DImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, mod_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, mod_equal);
 
   DONE;
 })
 
   operands[4] = gen_reg_rtx(DImode);
   emit_insn (gen_extendsidi2 (operands[4], operands[1]));
+
   insn = emit_insn (gen_divmoddisi3 (operands[4], operands[4], operands[2]));
-  REG_NOTES (insn) =
-       gen_rtx_EXPR_LIST (REG_EQUAL, equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, equal);
 
   insn = emit_move_insn (operands[0], gen_lowpart (SImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, div_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, div_equal);
 
   insn = emit_move_insn (operands[3], gen_highpart (SImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, mod_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, mod_equal);
 
   DONE;
 })
   emit_insn (gen_rtx_CLOBBER (VOIDmode, operands[4]));
   emit_move_insn (gen_lowpart (SImode, operands[4]), operands[1]);
   emit_move_insn (gen_highpart (SImode, operands[4]), const0_rtx);
+
   insn = emit_insn (gen_udivmoddisi3 (operands[4], operands[4], operands[2]));
-  REG_NOTES (insn) =
-       gen_rtx_EXPR_LIST (REG_EQUAL, equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, equal);
 
   insn = emit_move_insn (operands[0], gen_lowpart (SImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, div_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, div_equal);
 
   insn = emit_move_insn (operands[3], gen_highpart (SImode, operands[4]));
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, mod_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, mod_equal);
 
   DONE;
 })
          emit_insn (gen_zero_extendsidi2 (operands[3], operands[1]));
          insn = emit_insn (gen_divmoddisi3 (operands[3], operands[3],
                                             operands[2]));
-         REG_NOTES (insn) =
-           gen_rtx_EXPR_LIST (REG_EQUAL, equal, REG_NOTES (insn));
+         set_unique_reg_note (insn, REG_EQUAL, equal);
 
          insn = emit_move_insn (operands[0],
                                 gen_lowpart (SImode, operands[3]));
-         REG_NOTES (insn) =
-           gen_rtx_EXPR_LIST (REG_EQUAL,
-                              udiv_equal, REG_NOTES (insn));
+         set_unique_reg_note (insn, REG_EQUAL, udiv_equal);
         }
     }
   else
       emit_insn (gen_zero_extendsidi2 (operands[3], operands[1]));
       insn = emit_insn (gen_divmoddisi3 (operands[3], operands[3],
                                         operands[2]));
-      REG_NOTES (insn) =
-      gen_rtx_EXPR_LIST (REG_EQUAL, equal, REG_NOTES (insn));
+      set_unique_reg_note (insn, REG_EQUAL, equal);
 
       insn = emit_move_insn (operands[0],
                             gen_lowpart (SImode, operands[3]));
-      REG_NOTES (insn) =
-      gen_rtx_EXPR_LIST (REG_EQUAL,
-                              udiv_equal, REG_NOTES (insn));
+      set_unique_reg_note (insn, REG_EQUAL, udiv_equal);
+
       emit_jump (label3);
       emit_label (label1);
       emit_move_insn (operands[0], operands[1]);
          emit_insn (gen_zero_extendsidi2 (operands[3], operands[1]));
          insn = emit_insn (gen_divmoddisi3 (operands[3], operands[3],
                                             operands[2]));
-         REG_NOTES (insn) =
-           gen_rtx_EXPR_LIST (REG_EQUAL, equal, REG_NOTES (insn));
+         set_unique_reg_note (insn, REG_EQUAL, equal);
 
          insn = emit_move_insn (operands[0],
                                 gen_highpart (SImode, operands[3]));
-         REG_NOTES (insn) =
-           gen_rtx_EXPR_LIST (REG_EQUAL,
-                              umod_equal, REG_NOTES (insn));
+         set_unique_reg_note (insn, REG_EQUAL, umod_equal);
         }
     }
   else
       emit_insn (gen_zero_extendsidi2 (operands[3], operands[1]));
       insn = emit_insn (gen_divmoddisi3 (operands[3], operands[3],
                                         operands[2]));
-      REG_NOTES (insn) =
-      gen_rtx_EXPR_LIST (REG_EQUAL, equal, REG_NOTES (insn));
+      set_unique_reg_note (insn, REG_EQUAL, equal);
 
       insn = emit_move_insn (operands[0],
                             gen_highpart (SImode, operands[3]));
-      REG_NOTES (insn) =
-      gen_rtx_EXPR_LIST (REG_EQUAL,
-                        umod_equal, REG_NOTES (insn));
+      set_unique_reg_note (insn, REG_EQUAL, umod_equal);
+
       emit_jump (label3);
       emit_label (label1);
       emit_move_insn (operands[0], const0_rtx);
 ; div(df|sf)3 instruction pattern(s).
 ;
 
-(define_expand "div<mode>3"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (div:FPR (match_operand:FPR 1 "register_operand" "0,0")
-                 (match_operand:FPR 2 "general_operand" "f,<Rf>")))]
+; dxbr, ddbr, debr, dxb, ddb, deb, ddtr, dxtr
+(define_insn "div<mode>3"
+  [(set (match_operand:FP 0 "register_operand"          "=f,f")
+        (div:FP (match_operand:FP 1 "register_operand" "<f0>,0")
+                 (match_operand:FP 2 "general_operand"  "f,<Rf>")))]
   "TARGET_HARD_FLOAT"
-  "")
-
-; dxbr, ddbr, debr, dxb, ddb, deb
-(define_insn "*div<mode>3"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (div:FPR (match_operand:FPR 1 "register_operand" "0,0")
-                 (match_operand:FPR 2 "general_operand" "f,<Rf>")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
   "@
-   d<xde>br\t%0,%2
+   d<xde><bt>r\t%0,<op1>%2
    d<xde>b\t%0,%2"
-  [(set_attr "op_type"  "RRE,RXE")
-   (set_attr "type"     "fdiv<mode>")])
-
-; dxr, ddr, der, dx, dd, de
-(define_insn "*div<mode>3_ibm"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-        (div:FPR (match_operand:FPR 1 "register_operand" "0,0")
-                 (match_operand:FPR 2 "general_operand" "f,<Rf>")))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "@
-   d<xde>r\t%0,%2
-   d<xde>\t%0,%2"
-  [(set_attr "op_type"  "<RRe>,<RXe>")
-   (set_attr "type"     "fdiv<mode>")])
+  [(set_attr "op_type"  "<RRer>,RXE")
+   (set_attr "type"     "fdiv<bfp>")])
 
 
 ;;
   "s390_match_ccmode(insn, CCTmode) && TARGET_64BIT"
   "@
    xgr\t%0,%2
-   xr\t%0,%2"
+   xg\t%0,%2"
   [(set_attr "op_type"  "RRE,RXY")])
 
 (define_insn "*xordi3_extimm"
 
 (define_expand "neg<mode>2"
   [(parallel
-    [(set (match_operand:FPR 0 "register_operand" "=f")
-          (neg:FPR (match_operand:FPR 1 "register_operand" "f")))
+    [(set (match_operand:BFP 0 "register_operand" "=f")
+          (neg:BFP (match_operand:BFP 1 "register_operand" "f")))
      (clobber (reg:CC CC_REGNUM))])]
   "TARGET_HARD_FLOAT"
   "")
 ; lcxbr, lcdbr, lcebr
 (define_insn "*neg<mode>2_cc"
   [(set (reg CC_REGNUM)
-        (compare (neg:FPR (match_operand:FPR 1 "register_operand" "f"))
-                 (match_operand:FPR 2 "const0_operand" "")))
-   (set (match_operand:FPR 0 "register_operand" "=f")
-        (neg:FPR (match_dup 1)))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (compare (neg:BFP (match_operand:BFP 1 "register_operand" "f"))
+                 (match_operand:BFP 2 "const0_operand" "")))
+   (set (match_operand:BFP 0 "register_operand" "=f")
+        (neg:BFP (match_dup 1)))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "lc<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 ; lcxbr, lcdbr, lcebr
 (define_insn "*neg<mode>2_cconly"
   [(set (reg CC_REGNUM)
-        (compare (neg:FPR (match_operand:FPR 1 "register_operand" "f"))
-                 (match_operand:FPR 2 "const0_operand" "")))
-   (clobber (match_scratch:FPR 0 "=f"))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (compare (neg:BFP (match_operand:BFP 1 "register_operand" "f"))
+                 (match_operand:BFP 2 "const0_operand" "")))
+   (clobber (match_scratch:BFP 0 "=f"))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "lc<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 
+; lcdfr
+(define_insn "*neg<mode>2_nocc"
+  [(set (match_operand:FP 0 "register_operand"         "=f")
+        (neg:FP (match_operand:FP 1 "register_operand" "<fT0>")))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "lcdfr\t%0,%1"
+  [(set_attr "op_type"  "RRE")
+   (set_attr "type"     "fsimp<bfp>")])
+
 ; lcxbr, lcdbr, lcebr
 (define_insn "*neg<mode>2"
-  [(set (match_operand:FPR 0 "register_operand" "=f")
-        (neg:FPR (match_operand:FPR 1 "register_operand" "f")))
+  [(set (match_operand:BFP 0 "register_operand" "=f")
+        (neg:BFP (match_operand:BFP 1 "register_operand" "f")))
    (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+  "TARGET_HARD_FLOAT"
   "lc<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 
-; lcxr, lcdr, lcer
-(define_insn "*neg<mode>2_ibm"
-  [(set (match_operand:FPR 0 "register_operand" "=f")
-        (neg:FPR (match_operand:FPR 1 "register_operand" "f")))
-   (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "lc<xde>r\t%0,%1"
-  [(set_attr "op_type"  "<RRe>")
-   (set_attr "type"     "fsimp<mode>")])
-
 
 ;;
 ;;- Absolute value instructions.
 
 (define_expand "abs<mode>2"
   [(parallel
-    [(set (match_operand:FPR 0 "register_operand" "=f")
-          (abs:FPR (match_operand:FPR 1 "register_operand" "f")))
+    [(set (match_operand:BFP 0 "register_operand" "=f")
+          (abs:BFP (match_operand:BFP 1 "register_operand" "f")))
      (clobber (reg:CC CC_REGNUM))])]
   "TARGET_HARD_FLOAT"
   "")
 ; lpxbr, lpdbr, lpebr
 (define_insn "*abs<mode>2_cc"
   [(set (reg CC_REGNUM)
-        (compare (abs:FPR (match_operand:FPR 1 "register_operand" "f"))
-                 (match_operand:FPR 2 "const0_operand" "")))
-   (set (match_operand:FPR 0 "register_operand" "=f")
-        (abs:FPR (match_dup 1)))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (compare (abs:BFP (match_operand:BFP 1 "register_operand" "f"))
+                 (match_operand:BFP 2 "const0_operand" "")))
+   (set (match_operand:BFP 0 "register_operand" "=f")
+        (abs:BFP (match_dup 1)))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "lp<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 ; lpxbr, lpdbr, lpebr
 (define_insn "*abs<mode>2_cconly"
   [(set (reg CC_REGNUM)
-        (compare (abs:FPR (match_operand:FPR 1 "register_operand" "f"))
-                 (match_operand:FPR 2 "const0_operand" "")))
-   (clobber (match_scratch:FPR 0 "=f"))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (compare (abs:BFP (match_operand:BFP 1 "register_operand" "f"))
+                 (match_operand:BFP 2 "const0_operand" "")))
+   (clobber (match_scratch:BFP 0 "=f"))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "lp<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 
+; lpdfr
+(define_insn "*abs<mode>2_nocc"
+  [(set (match_operand:FP 0 "register_operand"         "=f")
+        (abs:FP (match_operand:FP 1 "register_operand" "<fT0>")))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "lpdfr\t%0,%1"
+  [(set_attr "op_type"  "RRE")
+   (set_attr "type"     "fsimp<bfp>")])
+
 ; lpxbr, lpdbr, lpebr
 (define_insn "*abs<mode>2"
-  [(set (match_operand:FPR 0 "register_operand" "=f")
-        (abs:FPR (match_operand:FPR 1 "register_operand" "f")))
+  [(set (match_operand:BFP 0 "register_operand" "=f")
+        (abs:BFP (match_operand:BFP 1 "register_operand" "f")))
    (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+  "TARGET_HARD_FLOAT"
   "lp<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 
-; lpxr, lpdr, lper
-(define_insn "*abs<mode>2_ibm"
-  [(set (match_operand:FPR 0 "register_operand" "=f")
-        (abs:FPR (match_operand:FPR 1 "register_operand" "f")))
-   (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IBM_FLOAT"
-  "lp<xde>r\t%0,%1"
-  [(set_attr "op_type"  "<RRe>")
-   (set_attr "type"     "fsimp<mode>")])
 
 ;;
 ;;- Negated absolute value instructions
 ; lnxbr, lndbr, lnebr
 (define_insn "*negabs<mode>2_cc"
   [(set (reg CC_REGNUM)
-        (compare (neg:FPR (abs:FPR (match_operand:FPR 1 "register_operand" "f")))
-                 (match_operand:FPR 2 "const0_operand" "")))
-   (set (match_operand:FPR 0 "register_operand" "=f")
-        (neg:FPR (abs:FPR (match_dup 1))))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (compare (neg:BFP (abs:BFP (match_operand:BFP 1 "register_operand" "f")))
+                 (match_operand:BFP 2 "const0_operand" "")))
+   (set (match_operand:BFP 0 "register_operand" "=f")
+        (neg:BFP (abs:BFP (match_dup 1))))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "ln<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 ; lnxbr, lndbr, lnebr
 (define_insn "*negabs<mode>2_cconly"
   [(set (reg CC_REGNUM)
-        (compare (neg:FPR (abs:FPR (match_operand:FPR 1 "register_operand" "f")))
-                 (match_operand:FPR 2 "const0_operand" "")))
-   (clobber (match_scratch:FPR 0 "=f"))]
-  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+        (compare (neg:BFP (abs:BFP (match_operand:BFP 1 "register_operand" "f")))
+                 (match_operand:BFP 2 "const0_operand" "")))
+   (clobber (match_scratch:BFP 0 "=f"))]
+  "s390_match_ccmode (insn, CCSmode) && TARGET_HARD_FLOAT"
   "ln<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 
+; lndfr
+(define_insn "*negabs<mode>2_nocc"
+  [(set (match_operand:FP 0 "register_operand"                  "=f")
+        (neg:FP (abs:FP (match_operand:BFP 1 "register_operand" "<fT0>"))))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "lndfr\t%0,%1"
+  [(set_attr "op_type"  "RRE")
+   (set_attr "type"     "fsimp<bfp>")])
+
 ; lnxbr, lndbr, lnebr
 (define_insn "*negabs<mode>2"
-  [(set (match_operand:FPR 0 "register_operand" "=f")
-        (neg:FPR (abs:FPR (match_operand:FPR 1 "register_operand" "f"))))
+  [(set (match_operand:BFP 0 "register_operand" "=f")
+        (neg:BFP (abs:BFP (match_operand:BFP 1 "register_operand" "f"))))
    (clobber (reg:CC CC_REGNUM))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+  "TARGET_HARD_FLOAT"
   "ln<xde>br\t%0,%1"
   [(set_attr "op_type"  "RRE")
    (set_attr "type"     "fsimp<mode>")])
 
 ;;
+;;- Copy sign instructions
+;;
+
+; cpsdr
+(define_insn "copysign<mode>3"
+  [(set (match_operand:FP 0 "register_operand" "=f")
+       (unspec:FP [(match_operand:FP 1 "register_operand" "<fT0>")
+                   (match_operand:FP 2 "register_operand" "f")] 
+                   UNSPEC_COPYSIGN))]
+  "TARGET_HARD_FLOAT && TARGET_DFP"
+  "cpsdr\t%0,%2,%1"
+  [(set_attr "op_type"  "RRF")
+   (set_attr "type"     "fsimp<bfp>")])
+
+;;
 ;;- Square root instructions.
 ;;
 
 
 ; sqxbr, sqdbr, sqebr, sqxb, sqdb, sqeb
 (define_insn "sqrt<mode>2"
-  [(set (match_operand:FPR 0 "register_operand" "=f,f")
-       (sqrt:FPR (match_operand:FPR 1 "general_operand" "f,<Rf>")))]
-  "TARGET_HARD_FLOAT && TARGET_IEEE_FLOAT"
+  [(set (match_operand:BFP 0 "register_operand" "=f,f")
+       (sqrt:BFP (match_operand:BFP 1 "general_operand" "f,<Rf>")))]
+  "TARGET_HARD_FLOAT"
   "@
    sq<xde>br\t%0,%1
    sq<xde>b\t%0,%1"
   emit_insn (gen_clztidi2 (wide_reg, operands[1], msb));
 
   insn = emit_move_insn (operands[0], gen_highpart (DImode, wide_reg));  
-  REG_NOTES (insn) =
-        gen_rtx_EXPR_LIST (REG_EQUAL, clz_equal, REG_NOTES (insn));
+  set_unique_reg_note (insn, REG_EQUAL, clz_equal);
 
   DONE;
 })