gcc/optabs.c

   1 /* Expand the basic unary and binary arithmetic operations, for GNU compiler.
   2    Copyright (C) 1987, 1988, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
   3    1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009
   4    Free Software Foundation, Inc.
   5
   6 This file is part of GCC.
   7
   8 GCC is free software; you can redistribute it and/or modify it under
   9 the terms of the GNU General Public License as published by the Free
  10 Software Foundation; either version 3, or (at your option) any later
  11 version.
  12
  13 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
  14 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  15 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  16 for more details.
  17
  18 You should have received a copy of the GNU General Public License
  19 along with GCC; see the file COPYING3.  If not see
  20 <http://www.gnu.org/licenses/>.  */
  21
  22
  23 #include "config.h"
  24 #include "system.h"
  25 #include "coretypes.h"
  26 #include "tm.h"
  27 #include "toplev.h"
  28
  29 /* Include insn-config.h before expr.h so that HAVE_conditional_move
  30    is properly defined.  */
  31 #include "insn-config.h"
  32 #include "rtl.h"
  33 #include "tree.h"
  34 #include "tm_p.h"
  35 #include "flags.h"
  36 #include "function.h"
  37 #include "except.h"
  38 #include "expr.h"
  39 #include "optabs.h"
  40 #include "libfuncs.h"
  41 #include "recog.h"
  42 #include "reload.h"
  43 #include "ggc.h"
  44 #include "real.h"
  45 #include "basic-block.h"
  46 #include "target.h"
  47
  48 /* Each optab contains info on how this target machine
  49    can perform a particular operation
  50    for all sizes and kinds of operands.
  51
  52    The operation to be performed is often specified
  53    by passing one of these optabs as an argument.
  54
  55    See expr.h for documentation of these optabs.  */
  56
  57 #if GCC_VERSION >= 4000 && HAVE_DESIGNATED_INITIALIZERS
  58 __extension__ struct optab_d optab_table[OTI_MAX]
  59   = { [0 ... OTI_MAX - 1].handlers[0 ... NUM_MACHINE_MODES - 1].insn_code
  60       = CODE_FOR_nothing };
  61 #else
  62 /* init_insn_codes will do runtime initialization otherwise.  */
  63 struct optab_d optab_table[OTI_MAX];
  64 #endif
  65
  66 rtx libfunc_table[LTI_MAX];
  67
  68 /* Tables of patterns for converting one mode to another.  */
  69 #if GCC_VERSION >= 4000 && HAVE_DESIGNATED_INITIALIZERS
  70 __extension__ struct convert_optab_d convert_optab_table[COI_MAX]
  71   = { [0 ... COI_MAX - 1].handlers[0 ... NUM_MACHINE_MODES - 1]
  72         [0 ... NUM_MACHINE_MODES - 1].insn_code
  73       = CODE_FOR_nothing };
  74 #else
  75 /* init_convert_optab will do runtime initialization otherwise.  */
  76 struct convert_optab_d convert_optab_table[COI_MAX];
  77 #endif
  78
  79 /* Contains the optab used for each rtx code.  */
  80 optab code_to_optab[NUM_RTX_CODE + 1];
  81
  82 #ifdef HAVE_conditional_move
  83 /* Indexed by the machine mode, gives the insn code to make a conditional
  84    move insn.  This is not indexed by the rtx-code like bcc_gen_fctn and
  85    setcc_gen_code to cut down on the number of named patterns.  Consider a day
  86    when a lot more rtx codes are conditional (eg: for the ARM).  */
  87
  88 enum insn_code movcc_gen_code[NUM_MACHINE_MODES];
  89 #endif
  90
  91 /* Indexed by the machine mode, gives the insn code for vector conditional
  92    operation.  */
  93
  94 enum insn_code vcond_gen_code[NUM_MACHINE_MODES];
  95 enum insn_code vcondu_gen_code[NUM_MACHINE_MODES];
  96
  97 static void prepare_float_lib_cmp (rtx, rtx, enum rtx_code, rtx *,
  98                                    enum machine_mode *);
  99 static rtx expand_unop_direct (enum machine_mode, optab, rtx, rtx, int);
 100
 101 /* Debug facility for use in GDB.  */
 102 void debug_optab_libfuncs (void);
 103
 104 /* Prefixes for the current version of decimal floating point (BID vs. DPD) */
 105 #if ENABLE_DECIMAL_BID_FORMAT
 106 #define DECIMAL_PREFIX "bid_"
 107 #else
 108 #define DECIMAL_PREFIX "dpd_"
 109 #endif
 110 \f
 111
 112 /* Info about libfunc.  We use same hashtable for normal optabs and conversion
 113    optab.  In the first case mode2 is unused.  */
 114 struct GTY(()) libfunc_entry {
 115   size_t optab;
 116   enum machine_mode mode1, mode2;
 117   rtx libfunc;
 118 };
 119
 120 /* Hash table used to convert declarations into nodes.  */
 121 static GTY((param_is (struct libfunc_entry))) htab_t libfunc_hash;
 122
 123 /* Used for attribute_hash.  */
 124
 125 static hashval_t
 126 hash_libfunc (const void *p)
 127 {
 128   const struct libfunc_entry *const e = (const struct libfunc_entry *) p;
 129
 130   return (((int) e->mode1 + (int) e->mode2 * NUM_MACHINE_MODES)
 131           ^ e->optab);
 132 }
 133
 134 /* Used for optab_hash.  */
 135
 136 static int
 137 eq_libfunc (const void *p, const void *q)
 138 {
 139   const struct libfunc_entry *const e1 = (const struct libfunc_entry *) p;
 140   const struct libfunc_entry *const e2 = (const struct libfunc_entry *) q;
 141
 142   return (e1->optab == e2->optab
 143           && e1->mode1 == e2->mode1
 144           && e1->mode2 == e2->mode2);
 145 }
 146
 147 /* Return libfunc corresponding operation defined by OPTAB converting
 148    from MODE2 to MODE1.  Trigger lazy initialization if needed, return NULL
 149    if no libfunc is available.  */
 150 rtx
 151 convert_optab_libfunc (convert_optab optab, enum machine_mode mode1,
 152                        enum machine_mode mode2)
 153 {
 154   struct libfunc_entry e;
 155   struct libfunc_entry **slot;
 156
 157   e.optab = (size_t) (optab - &convert_optab_table[0]);
 158   e.mode1 = mode1;
 159   e.mode2 = mode2;
 160   slot = (struct libfunc_entry **) htab_find_slot (libfunc_hash, &e, NO_INSERT);
 161   if (!slot)
 162     {
 163       if (optab->libcall_gen)
 164         {
 165           optab->libcall_gen (optab, optab->libcall_basename, mode1, mode2);
 166           slot = (struct libfunc_entry **) htab_find_slot (libfunc_hash, &e, NO_INSERT);
 167           if (slot)
 168             return (*slot)->libfunc;
 169           else
 170             return NULL;
 171         }
 172       return NULL;
 173     }
 174   return (*slot)->libfunc;
 175 }
 176
 177 /* Return libfunc corresponding operation defined by OPTAB in MODE.
 178    Trigger lazy initialization if needed, return NULL if no libfunc is
 179    available.  */
 180 rtx
 181 optab_libfunc (optab optab, enum machine_mode mode)
 182 {
 183   struct libfunc_entry e;
 184   struct libfunc_entry **slot;
 185
 186   e.optab = (size_t) (optab - &optab_table[0]);
 187   e.mode1 = mode;
 188   e.mode2 = VOIDmode;
 189   slot = (struct libfunc_entry **) htab_find_slot (libfunc_hash, &e, NO_INSERT);
 190   if (!slot)
 191     {
 192       if (optab->libcall_gen)
 193         {
 194           optab->libcall_gen (optab, optab->libcall_basename,
 195                               optab->libcall_suffix, mode);
 196           slot = (struct libfunc_entry **) htab_find_slot (libfunc_hash,
 197                                                            &e, NO_INSERT);
 198           if (slot)
 199             return (*slot)->libfunc;
 200           else
 201             return NULL;
 202         }
 203       return NULL;
 204     }
 205   return (*slot)->libfunc;
 206 }
 207
 208 \f
 209 /* Add a REG_EQUAL note to the last insn in INSNS.  TARGET is being set to
 210    the result of operation CODE applied to OP0 (and OP1 if it is a binary
 211    operation).
 212
 213    If the last insn does not set TARGET, don't do anything, but return 1.
 214
 215    If a previous insn sets TARGET and TARGET is one of OP0 or OP1,
 216    don't add the REG_EQUAL note but return 0.  Our caller can then try
 217    again, ensuring that TARGET is not one of the operands.  */
 218
 219 static int
 220 add_equal_note (rtx insns, rtx target, enum rtx_code code, rtx op0, rtx op1)
 221 {
 222   rtx last_insn, insn, set;
 223   rtx note;
 224
 225   gcc_assert (insns && INSN_P (insns) && NEXT_INSN (insns));
 226
 227   if (GET_RTX_CLASS (code) != RTX_COMM_ARITH
 228       && GET_RTX_CLASS (code) != RTX_BIN_ARITH
 229       && GET_RTX_CLASS (code) != RTX_COMM_COMPARE
 230       && GET_RTX_CLASS (code) != RTX_COMPARE
 231       && GET_RTX_CLASS (code) != RTX_UNARY)
 232     return 1;
 233
 234   if (GET_CODE (target) == ZERO_EXTRACT)
 235     return 1;
 236
 237   for (last_insn = insns;
 238        NEXT_INSN (last_insn) != NULL_RTX;
 239        last_insn = NEXT_INSN (last_insn))
 240     ;
 241
 242   set = single_set (last_insn);
 243   if (set == NULL_RTX)
 244     return 1;
 245
 246   if (! rtx_equal_p (SET_DEST (set), target)
 247       /* For a STRICT_LOW_PART, the REG_NOTE applies to what is inside it.  */
 248       && (GET_CODE (SET_DEST (set)) != STRICT_LOW_PART
 249           || ! rtx_equal_p (XEXP (SET_DEST (set), 0), target)))
 250     return 1;
 251
 252   /* If TARGET is in OP0 or OP1, check if anything in SEQ sets TARGET
 253      besides the last insn.  */
 254   if (reg_overlap_mentioned_p (target, op0)
 255       || (op1 && reg_overlap_mentioned_p (target, op1)))
 256     {
 257       insn = PREV_INSN (last_insn);
 258       while (insn != NULL_RTX)
 259         {
 260           if (reg_set_p (target, insn))
 261             return 0;
 262
 263           insn = PREV_INSN (insn);
 264         }
 265     }
 266
 267   if (GET_RTX_CLASS (code) == RTX_UNARY)
 268     note = gen_rtx_fmt_e (code, GET_MODE (target), copy_rtx (op0));
 269   else
 270     note = gen_rtx_fmt_ee (code, GET_MODE (target), copy_rtx (op0), copy_rtx (op1));
 271
 272   set_unique_reg_note (last_insn, REG_EQUAL, note);
 273
 274   return 1;
 275 }
 276 \f
 277 /* Widen OP to MODE and return the rtx for the widened operand.  UNSIGNEDP
 278    says whether OP is signed or unsigned.  NO_EXTEND is nonzero if we need
 279    not actually do a sign-extend or zero-extend, but can leave the
 280    higher-order bits of the result rtx undefined, for example, in the case
 281    of logical operations, but not right shifts.  */
 282
 283 static rtx
 284 widen_operand (rtx op, enum machine_mode mode, enum machine_mode oldmode,
 285                int unsignedp, int no_extend)
 286 {
 287   rtx result;
 288
 289   /* If we don't have to extend and this is a constant, return it.  */
 290   if (no_extend && GET_MODE (op) == VOIDmode)
 291     return op;
 292
 293   /* If we must extend do so.  If OP is a SUBREG for a promoted object, also
 294      extend since it will be more efficient to do so unless the signedness of
 295      a promoted object differs from our extension.  */
 296   if (! no_extend
 297       || (GET_CODE (op) == SUBREG && SUBREG_PROMOTED_VAR_P (op)
 298           && SUBREG_PROMOTED_UNSIGNED_P (op) == unsignedp))
 299     return convert_modes (mode, oldmode, op, unsignedp);
 300
 301   /* If MODE is no wider than a single word, we return a paradoxical
 302      SUBREG.  */
 303   if (GET_MODE_SIZE (mode) <= UNITS_PER_WORD)
 304     return gen_rtx_SUBREG (mode, force_reg (GET_MODE (op), op), 0);
 305
 306   /* Otherwise, get an object of MODE, clobber it, and set the low-order
 307      part to OP.  */
 308
 309   result = gen_reg_rtx (mode);
 310   emit_clobber (result);
 311   emit_move_insn (gen_lowpart (GET_MODE (op), result), op);
 312   return result;
 313 }
 314 \f
 315 /* Return the optab used for computing the operation given by the tree code,
 316    CODE and the tree EXP.  This function is not always usable (for example, it
 317    cannot give complete results for multiplication or division) but probably
 318    ought to be relied on more widely throughout the expander.  */
 319 optab
 320 optab_for_tree_code (enum tree_code code, const_tree type,
 321                      enum optab_subtype subtype)
 322 {
 323   bool trapv;
 324   switch (code)
 325     {
 326     case BIT_AND_EXPR:
 327       return and_optab;
 328
 329     case BIT_IOR_EXPR:
 330       return ior_optab;
 331
 332     case BIT_NOT_EXPR:
 333       return one_cmpl_optab;
 334
 335     case BIT_XOR_EXPR:
 336       return xor_optab;
 337
 338     case TRUNC_MOD_EXPR:
 339     case CEIL_MOD_EXPR:
 340     case FLOOR_MOD_EXPR:
 341     case ROUND_MOD_EXPR:
 342       return TYPE_UNSIGNED (type) ? umod_optab : smod_optab;
 343
 344     case RDIV_EXPR:
 345     case TRUNC_DIV_EXPR:
 346     case CEIL_DIV_EXPR:
 347     case FLOOR_DIV_EXPR:
 348     case ROUND_DIV_EXPR:
 349     case EXACT_DIV_EXPR:
 350       if (TYPE_SATURATING(type))
 351         return TYPE_UNSIGNED(type) ? usdiv_optab : ssdiv_optab;
 352       return TYPE_UNSIGNED (type) ? udiv_optab : sdiv_optab;
 353
 354     case LSHIFT_EXPR:
 355       if (VECTOR_MODE_P (TYPE_MODE (type)))
 356         {
 357           if (subtype == optab_vector)
 358             return TYPE_SATURATING (type) ? NULL : vashl_optab;
 359
 360           gcc_assert (subtype == optab_scalar);
 361         }
 362       if (TYPE_SATURATING(type))
 363         return TYPE_UNSIGNED(type) ? usashl_optab : ssashl_optab;
 364       return ashl_optab;
 365
 366     case RSHIFT_EXPR:
 367       if (VECTOR_MODE_P (TYPE_MODE (type)))
 368         {
 369           if (subtype == optab_vector)
 370             return TYPE_UNSIGNED (type) ? vlshr_optab : vashr_optab;
 371
 372           gcc_assert (subtype == optab_scalar);
 373         }
 374       return TYPE_UNSIGNED (type) ? lshr_optab : ashr_optab;
 375
 376     case LROTATE_EXPR:
 377       if (VECTOR_MODE_P (TYPE_MODE (type)))
 378         {
 379           if (subtype == optab_vector)
 380             return vrotl_optab;
 381
 382           gcc_assert (subtype == optab_scalar);
 383         }
 384       return rotl_optab;
 385
 386     case RROTATE_EXPR:
 387       if (VECTOR_MODE_P (TYPE_MODE (type)))
 388         {
 389           if (subtype == optab_vector)
 390             return vrotr_optab;
 391
 392           gcc_assert (subtype == optab_scalar);
 393         }
 394       return rotr_optab;
 395
 396     case MAX_EXPR:
 397       return TYPE_UNSIGNED (type) ? umax_optab : smax_optab;
 398
 399     case MIN_EXPR:
 400       return TYPE_UNSIGNED (type) ? umin_optab : smin_optab;
 401
 402     case REALIGN_LOAD_EXPR:
 403       return vec_realign_load_optab;
 404
 405     case WIDEN_SUM_EXPR:
 406       return TYPE_UNSIGNED (type) ? usum_widen_optab : ssum_widen_optab;
 407
 408     case DOT_PROD_EXPR:
 409       return TYPE_UNSIGNED (type) ? udot_prod_optab : sdot_prod_optab;
 410
 411     case REDUC_MAX_EXPR:
 412       return TYPE_UNSIGNED (type) ? reduc_umax_optab : reduc_smax_optab;
 413
 414     case REDUC_MIN_EXPR:
 415       return TYPE_UNSIGNED (type) ? reduc_umin_optab : reduc_smin_optab;
 416
 417     case REDUC_PLUS_EXPR:
 418       return TYPE_UNSIGNED (type) ? reduc_uplus_optab : reduc_splus_optab;
 419
 420     case VEC_LSHIFT_EXPR:
 421       return vec_shl_optab;
 422
 423     case VEC_RSHIFT_EXPR:
 424       return vec_shr_optab;
 425
 426     case VEC_WIDEN_MULT_HI_EXPR:
 427       return TYPE_UNSIGNED (type) ?
 428         vec_widen_umult_hi_optab : vec_widen_smult_hi_optab;
 429
 430     case VEC_WIDEN_MULT_LO_EXPR:
 431       return TYPE_UNSIGNED (type) ?
 432         vec_widen_umult_lo_optab : vec_widen_smult_lo_optab;
 433
 434     case VEC_UNPACK_HI_EXPR:
 435       return TYPE_UNSIGNED (type) ?
 436         vec_unpacku_hi_optab : vec_unpacks_hi_optab;
 437
 438     case VEC_UNPACK_LO_EXPR:
 439       return TYPE_UNSIGNED (type) ?
 440         vec_unpacku_lo_optab : vec_unpacks_lo_optab;
 441
 442     case VEC_UNPACK_FLOAT_HI_EXPR:
 443       /* The signedness is determined from input operand.  */
 444       return TYPE_UNSIGNED (type) ?
 445         vec_unpacku_float_hi_optab : vec_unpacks_float_hi_optab;
 446
 447     case VEC_UNPACK_FLOAT_LO_EXPR:
 448       /* The signedness is determined from input operand.  */
 449       return TYPE_UNSIGNED (type) ?
 450         vec_unpacku_float_lo_optab : vec_unpacks_float_lo_optab;
 451
 452     case VEC_PACK_TRUNC_EXPR:
 453       return vec_pack_trunc_optab;
 454
 455     case VEC_PACK_SAT_EXPR:
 456       return TYPE_UNSIGNED (type) ? vec_pack_usat_optab : vec_pack_ssat_optab;
 457
 458     case VEC_PACK_FIX_TRUNC_EXPR:
 459       /* The signedness is determined from output operand.  */
 460       return TYPE_UNSIGNED (type) ?
 461         vec_pack_ufix_trunc_optab : vec_pack_sfix_trunc_optab;
 462
 463     default:
 464       break;
 465     }
 466
 467   trapv = INTEGRAL_TYPE_P (type) && TYPE_OVERFLOW_TRAPS (type);
 468   switch (code)
 469     {
 470     case POINTER_PLUS_EXPR:
 471     case PLUS_EXPR:
 472       if (TYPE_SATURATING(type))
 473         return TYPE_UNSIGNED(type) ? usadd_optab : ssadd_optab;
 474       return trapv ? addv_optab : add_optab;
 475
 476     case MINUS_EXPR:
 477       if (TYPE_SATURATING(type))
 478         return TYPE_UNSIGNED(type) ? ussub_optab : sssub_optab;
 479       return trapv ? subv_optab : sub_optab;
 480
 481     case MULT_EXPR:
 482       if (TYPE_SATURATING(type))
 483         return TYPE_UNSIGNED(type) ? usmul_optab : ssmul_optab;
 484       return trapv ? smulv_optab : smul_optab;
 485
 486     case NEGATE_EXPR:
 487       if (TYPE_SATURATING(type))
 488         return TYPE_UNSIGNED(type) ? usneg_optab : ssneg_optab;
 489       return trapv ? negv_optab : neg_optab;
 490
 491     case ABS_EXPR:
 492       return trapv ? absv_optab : abs_optab;
 493
 494     case VEC_EXTRACT_EVEN_EXPR:
 495       return vec_extract_even_optab;
 496
 497     case VEC_EXTRACT_ODD_EXPR:
 498       return vec_extract_odd_optab;
 499
 500     case VEC_INTERLEAVE_HIGH_EXPR:
 501       return vec_interleave_high_optab;
 502
 503     case VEC_INTERLEAVE_LOW_EXPR:
 504       return vec_interleave_low_optab;
 505
 506     default:
 507       return NULL;
 508     }
 509 }
 510 \f
 511
 512 /* Expand vector widening operations.
 513
 514    There are two different classes of operations handled here:
 515    1) Operations whose result is wider than all the arguments to the operation.
 516       Examples: VEC_UNPACK_HI/LO_EXPR, VEC_WIDEN_MULT_HI/LO_EXPR
 517       In this case OP0 and optionally OP1 would be initialized,
 518       but WIDE_OP wouldn't (not relevant for this case).
 519    2) Operations whose result is of the same size as the last argument to the
 520       operation, but wider than all the other arguments to the operation.
 521       Examples: WIDEN_SUM_EXPR, VEC_DOT_PROD_EXPR.
 522       In the case WIDE_OP, OP0 and optionally OP1 would be initialized.
 523
 524    E.g, when called to expand the following operations, this is how
 525    the arguments will be initialized:
 526                                 nops    OP0     OP1     WIDE_OP
 527    widening-sum                 2       oprnd0  -       oprnd1
 528    widening-dot-product         3       oprnd0  oprnd1  oprnd2
 529    widening-mult                2       oprnd0  oprnd1  -
 530    type-promotion (vec-unpack)  1       oprnd0  -       -  */
 531
 532 rtx
 533 expand_widen_pattern_expr (tree exp, rtx op0, rtx op1, rtx wide_op, rtx target,
 534                            int unsignedp)
 535 {
 536   tree oprnd0, oprnd1, oprnd2;
 537   enum machine_mode wmode = VOIDmode, tmode0, tmode1 = VOIDmode;
 538   optab widen_pattern_optab;
 539   int icode;
 540   enum machine_mode xmode0, xmode1 = VOIDmode, wxmode = VOIDmode;
 541   rtx temp;
 542   rtx pat;
 543   rtx xop0, xop1, wxop;
 544   int nops = TREE_OPERAND_LENGTH (exp);
 545
 546   oprnd0 = TREE_OPERAND (exp, 0);
 547   tmode0 = TYPE_MODE (TREE_TYPE (oprnd0));
 548   widen_pattern_optab =
 549     optab_for_tree_code (TREE_CODE (exp), TREE_TYPE (oprnd0), optab_default);
 550   icode = (int) optab_handler (widen_pattern_optab, tmode0)->insn_code;
 551   gcc_assert (icode != CODE_FOR_nothing);
 552   xmode0 = insn_data[icode].operand[1].mode;
 553
 554   if (nops >= 2)
 555     {
 556       oprnd1 = TREE_OPERAND (exp, 1);
 557       tmode1 = TYPE_MODE (TREE_TYPE (oprnd1));
 558       xmode1 = insn_data[icode].operand[2].mode;
 559     }
 560
 561   /* The last operand is of a wider mode than the rest of the operands.  */
 562   if (nops == 2)
 563     {
 564       wmode = tmode1;
 565       wxmode = xmode1;
 566     }
 567   else if (nops == 3)
 568     {
 569       gcc_assert (tmode1 == tmode0);
 570       gcc_assert (op1);
 571       oprnd2 = TREE_OPERAND (exp, 2);
 572       wmode = TYPE_MODE (TREE_TYPE (oprnd2));
 573       wxmode = insn_data[icode].operand[3].mode;
 574     }
 575
 576   if (!wide_op)
 577     wmode = wxmode = insn_data[icode].operand[0].mode;
 578
 579   if (!target
 580       || ! (*insn_data[icode].operand[0].predicate) (target, wmode))
 581     temp = gen_reg_rtx (wmode);
 582   else
 583     temp = target;
 584
 585   xop0 = op0;
 586   xop1 = op1;
 587   wxop = wide_op;
 588
 589   /* In case the insn wants input operands in modes different from
 590      those of the actual operands, convert the operands.  It would
 591      seem that we don't need to convert CONST_INTs, but we do, so
 592      that they're properly zero-extended, sign-extended or truncated
 593      for their mode.  */
 594
 595   if (GET_MODE (op0) != xmode0 && xmode0 != VOIDmode)
 596     xop0 = convert_modes (xmode0,
 597                           GET_MODE (op0) != VOIDmode
 598                           ? GET_MODE (op0)
 599                           : tmode0,
 600                           xop0, unsignedp);
 601
 602   if (op1)
 603     if (GET_MODE (op1) != xmode1 && xmode1 != VOIDmode)
 604       xop1 = convert_modes (xmode1,
 605                             GET_MODE (op1) != VOIDmode
 606                             ? GET_MODE (op1)
 607                             : tmode1,
 608                             xop1, unsignedp);
 609
 610   if (wide_op)
 611     if (GET_MODE (wide_op) != wxmode && wxmode != VOIDmode)
 612       wxop = convert_modes (wxmode,
 613                             GET_MODE (wide_op) != VOIDmode
 614                             ? GET_MODE (wide_op)
 615                             : wmode,
 616                             wxop, unsignedp);
 617
 618   /* Now, if insn's predicates don't allow our operands, put them into
 619      pseudo regs.  */
 620
 621   if (! (*insn_data[icode].operand[1].predicate) (xop0, xmode0)
 622       && xmode0 != VOIDmode)
 623     xop0 = copy_to_mode_reg (xmode0, xop0);
 624
 625   if (op1)
 626     {
 627       if (! (*insn_data[icode].operand[2].predicate) (xop1, xmode1)
 628           && xmode1 != VOIDmode)
 629         xop1 = copy_to_mode_reg (xmode1, xop1);
 630
 631       if (wide_op)
 632         {
 633           if (! (*insn_data[icode].operand[3].predicate) (wxop, wxmode)
 634               && wxmode != VOIDmode)
 635             wxop = copy_to_mode_reg (wxmode, wxop);
 636
 637           pat = GEN_FCN (icode) (temp, xop0, xop1, wxop);
 638         }
 639       else
 640         pat = GEN_FCN (icode) (temp, xop0, xop1);
 641     }
 642   else
 643     {
 644       if (wide_op)
 645         {
 646           if (! (*insn_data[icode].operand[2].predicate) (wxop, wxmode)
 647               && wxmode != VOIDmode)
 648             wxop = copy_to_mode_reg (wxmode, wxop);
 649
 650           pat = GEN_FCN (icode) (temp, xop0, wxop);
 651         }
 652       else
 653         pat = GEN_FCN (icode) (temp, xop0);
 654     }
 655
 656   emit_insn (pat);
 657   return temp;
 658 }
 659
 660 /* Generate code to perform an operation specified by TERNARY_OPTAB
 661    on operands OP0, OP1 and OP2, with result having machine-mode MODE.
 662
 663    UNSIGNEDP is for the case where we have to widen the operands
 664    to perform the operation.  It says to use zero-extension.
 665
 666    If TARGET is nonzero, the value
 667    is generated there, if it is convenient to do so.
 668    In all cases an rtx is returned for the locus of the value;
 669    this may or may not be TARGET.  */
 670
 671 rtx
 672 expand_ternary_op (enum machine_mode mode, optab ternary_optab, rtx op0,
 673                    rtx op1, rtx op2, rtx target, int unsignedp)
 674 {
 675   int icode = (int) optab_handler (ternary_optab, mode)->insn_code;
 676   enum machine_mode mode0 = insn_data[icode].operand[1].mode;
 677   enum machine_mode mode1 = insn_data[icode].operand[2].mode;
 678   enum machine_mode mode2 = insn_data[icode].operand[3].mode;
 679   rtx temp;
 680   rtx pat;
 681   rtx xop0 = op0, xop1 = op1, xop2 = op2;
 682
 683   gcc_assert (optab_handler (ternary_optab, mode)->insn_code
 684               != CODE_FOR_nothing);
 685
 686   if (!target || !insn_data[icode].operand[0].predicate (target, mode))
 687     temp = gen_reg_rtx (mode);
 688   else
 689     temp = target;
 690
 691   /* In case the insn wants input operands in modes different from
 692      those of the actual operands, convert the operands.  It would
 693      seem that we don't need to convert CONST_INTs, but we do, so
 694      that they're properly zero-extended, sign-extended or truncated
 695      for their mode.  */
 696
 697   if (GET_MODE (op0) != mode0 && mode0 != VOIDmode)
 698     xop0 = convert_modes (mode0,
 699                           GET_MODE (op0) != VOIDmode
 700                           ? GET_MODE (op0)
 701                           : mode,
 702                           xop0, unsignedp);
 703
 704   if (GET_MODE (op1) != mode1 && mode1 != VOIDmode)
 705     xop1 = convert_modes (mode1,
 706                           GET_MODE (op1) != VOIDmode
 707                           ? GET_MODE (op1)
 708                           : mode,
 709                           xop1, unsignedp);
 710
 711   if (GET_MODE (op2) != mode2 && mode2 != VOIDmode)
 712     xop2 = convert_modes (mode2,
 713                           GET_MODE (op2) != VOIDmode
 714                           ? GET_MODE (op2)
 715                           : mode,
 716                           xop2, unsignedp);
 717
 718   /* Now, if insn's predicates don't allow our operands, put them into
 719      pseudo regs.  */
 720
 721   if (!insn_data[icode].operand[1].predicate (xop0, mode0)
 722       && mode0 != VOIDmode)
 723     xop0 = copy_to_mode_reg (mode0, xop0);
 724
 725   if (!insn_data[icode].operand[2].predicate (xop1, mode1)
 726       && mode1 != VOIDmode)
 727     xop1 = copy_to_mode_reg (mode1, xop1);
 728
 729   if (!insn_data[icode].operand[3].predicate (xop2, mode2)
 730       && mode2 != VOIDmode)
 731     xop2 = copy_to_mode_reg (mode2, xop2);
 732
 733   pat = GEN_FCN (icode) (temp, xop0, xop1, xop2);
 734
 735   emit_insn (pat);
 736   return temp;
 737 }
 738
 739
 740 /* Like expand_binop, but return a constant rtx if the result can be
 741    calculated at compile time.  The arguments and return value are
 742    otherwise the same as for expand_binop.  */
 743
 744 static rtx
 745 simplify_expand_binop (enum machine_mode mode, optab binoptab,
 746                        rtx op0, rtx op1, rtx target, int unsignedp,
 747                        enum optab_methods methods)
 748 {
 749   if (CONSTANT_P (op0) && CONSTANT_P (op1))
 750     {
 751       rtx x = simplify_binary_operation (binoptab->code, mode, op0, op1);
 752
 753       if (x)
 754         return x;
 755     }
 756
 757   return expand_binop (mode, binoptab, op0, op1, target, unsignedp, methods);
 758 }
 759
 760 /* Like simplify_expand_binop, but always put the result in TARGET.
 761    Return true if the expansion succeeded.  */
 762
 763 bool
 764 force_expand_binop (enum machine_mode mode, optab binoptab,
 765                     rtx op0, rtx op1, rtx target, int unsignedp,
 766                     enum optab_methods methods)
 767 {
 768   rtx x = simplify_expand_binop (mode, binoptab, op0, op1,
 769                                  target, unsignedp, methods);
 770   if (x == 0)
 771     return false;
 772   if (x != target)
 773     emit_move_insn (target, x);
 774   return true;
 775 }
 776
 777 /* Generate insns for VEC_LSHIFT_EXPR, VEC_RSHIFT_EXPR.  */
 778
 779 rtx
 780 expand_vec_shift_expr (tree vec_shift_expr, rtx target)
 781 {
 782   enum insn_code icode;
 783   rtx rtx_op1, rtx_op2;
 784   enum machine_mode mode1;
 785   enum machine_mode mode2;
 786   enum machine_mode mode = TYPE_MODE (TREE_TYPE (vec_shift_expr));
 787   tree vec_oprnd = TREE_OPERAND (vec_shift_expr, 0);
 788   tree shift_oprnd = TREE_OPERAND (vec_shift_expr, 1);
 789   optab shift_optab;
 790   rtx pat;
 791
 792   switch (TREE_CODE (vec_shift_expr))
 793     {
 794       case VEC_RSHIFT_EXPR:
 795         shift_optab = vec_shr_optab;
 796         break;
 797       case VEC_LSHIFT_EXPR:
 798         shift_optab = vec_shl_optab;
 799         break;
 800       default:
 801         gcc_unreachable ();
 802     }
 803
 804   icode = optab_handler (shift_optab, mode)->insn_code;
 805   gcc_assert (icode != CODE_FOR_nothing);
 806
 807   mode1 = insn_data[icode].operand[1].mode;
 808   mode2 = insn_data[icode].operand[2].mode;
 809
 810   rtx_op1 = expand_normal (vec_oprnd);
 811   if (!(*insn_data[icode].operand[1].predicate) (rtx_op1, mode1)
 812       && mode1 != VOIDmode)
 813     rtx_op1 = force_reg (mode1, rtx_op1);
 814
 815   rtx_op2 = expand_normal (shift_oprnd);
 816   if (!(*insn_data[icode].operand[2].predicate) (rtx_op2, mode2)
 817       && mode2 != VOIDmode)
 818     rtx_op2 = force_reg (mode2, rtx_op2);
 819
 820   if (!target
 821       || ! (*insn_data[icode].operand[0].predicate) (target, mode))
 822     target = gen_reg_rtx (mode);
 823
 824   /* Emit instruction */
 825   pat = GEN_FCN (icode) (target, rtx_op1, rtx_op2);
 826   gcc_assert (pat);
 827   emit_insn (pat);
 828
 829   return target;
 830 }
 831
 832 /* This subroutine of expand_doubleword_shift handles the cases in which
 833    the effective shift value is >= BITS_PER_WORD.  The arguments and return
 834    value are the same as for the parent routine, except that SUPERWORD_OP1
 835    is the shift count to use when shifting OUTOF_INPUT into INTO_TARGET.
 836    INTO_TARGET may be null if the caller has decided to calculate it.  */
 837
 838 static bool
 839 expand_superword_shift (optab binoptab, rtx outof_input, rtx superword_op1,
 840                         rtx outof_target, rtx into_target,
 841                         int unsignedp, enum optab_methods methods)
 842 {
 843   if (into_target != 0)
 844     if (!force_expand_binop (word_mode, binoptab, outof_input, superword_op1,
 845                              into_target, unsignedp, methods))
 846       return false;
 847
 848   if (outof_target != 0)
 849     {
 850       /* For a signed right shift, we must fill OUTOF_TARGET with copies
 851          of the sign bit, otherwise we must fill it with zeros.  */
 852       if (binoptab != ashr_optab)
 853         emit_move_insn (outof_target, CONST0_RTX (word_mode));
 854       else
 855         if (!force_expand_binop (word_mode, binoptab,
 856                                  outof_input, GEN_INT (BITS_PER_WORD - 1),
 857                                  outof_target, unsignedp, methods))
 858           return false;
 859     }
 860   return true;
 861 }
 862
 863 /* This subroutine of expand_doubleword_shift handles the cases in which
 864    the effective shift value is < BITS_PER_WORD.  The arguments and return
 865    value are the same as for the parent routine.  */
 866
 867 static bool
 868 expand_subword_shift (enum machine_mode op1_mode, optab binoptab,
 869                       rtx outof_input, rtx into_input, rtx op1,
 870                       rtx outof_target, rtx into_target,
 871                       int unsignedp, enum optab_methods methods,
 872                       unsigned HOST_WIDE_INT shift_mask)
 873 {
 874   optab reverse_unsigned_shift, unsigned_shift;
 875   rtx tmp, carries;
 876
 877   reverse_unsigned_shift = (binoptab == ashl_optab ? lshr_optab : ashl_optab);
 878   unsigned_shift = (binoptab == ashl_optab ? ashl_optab : lshr_optab);
 879
 880   /* The low OP1 bits of INTO_TARGET come from the high bits of OUTOF_INPUT.
 881      We therefore need to shift OUTOF_INPUT by (BITS_PER_WORD - OP1) bits in
 882      the opposite direction to BINOPTAB.  */
 883   if (CONSTANT_P (op1) || shift_mask >= BITS_PER_WORD)
 884     {
 885       carries = outof_input;
 886       tmp = immed_double_const (BITS_PER_WORD, 0, op1_mode);
 887       tmp = simplify_expand_binop (op1_mode, sub_optab, tmp, op1,
 888                                    0, true, methods);
 889     }
 890   else
 891     {
 892       /* We must avoid shifting by BITS_PER_WORD bits since that is either
 893          the same as a zero shift (if shift_mask == BITS_PER_WORD - 1) or
 894          has unknown behavior.  Do a single shift first, then shift by the
 895          remainder.  It's OK to use ~OP1 as the remainder if shift counts
 896          are truncated to the mode size.  */
 897       carries = expand_binop (word_mode, reverse_unsigned_shift,
 898                               outof_input, const1_rtx, 0, unsignedp, methods);
 899       if (shift_mask == BITS_PER_WORD - 1)
 900         {
 901           tmp = immed_double_const (-1, -1, op1_mode);
 902           tmp = simplify_expand_binop (op1_mode, xor_optab, op1, tmp,
 903                                        0, true, methods);
 904         }
 905       else
 906         {
 907           tmp = immed_double_const (BITS_PER_WORD - 1, 0, op1_mode);
 908           tmp = simplify_expand_binop (op1_mode, sub_optab, tmp, op1,
 909                                        0, true, methods);
 910         }
 911     }
 912   if (tmp == 0 || carries == 0)
 913     return false;
 914   carries = expand_binop (word_mode, reverse_unsigned_shift,
 915                           carries, tmp, 0, unsignedp, methods);
 916   if (carries == 0)
 917     return false;
 918
 919   /* Shift INTO_INPUT logically by OP1.  This is the last use of INTO_INPUT
 920      so the result can go directly into INTO_TARGET if convenient.  */
 921   tmp = expand_binop (word_mode, unsigned_shift, into_input, op1,
 922                       into_target, unsignedp, methods);
 923   if (tmp == 0)
 924     return false;
 925
 926   /* Now OR in the bits carried over from OUTOF_INPUT.  */
 927   if (!force_expand_binop (word_mode, ior_optab, tmp, carries,
 928                            into_target, unsignedp, methods))
 929     return false;
 930
 931   /* Use a standard word_mode shift for the out-of half.  */
 932   if (outof_target != 0)
 933     if (!force_expand_binop (word_mode, binoptab, outof_input, op1,
 934                              outof_target, unsignedp, methods))
 935       return false;
 936
 937   return true;
 938 }
 939
 940
 941 #ifdef HAVE_conditional_move
 942 /* Try implementing expand_doubleword_shift using conditional moves.
 943    The shift is by < BITS_PER_WORD if (CMP_CODE CMP1 CMP2) is true,
 944    otherwise it is by >= BITS_PER_WORD.  SUBWORD_OP1 and SUPERWORD_OP1
 945    are the shift counts to use in the former and latter case.  All other
 946    arguments are the same as the parent routine.  */
 947
 948 static bool
 949 expand_doubleword_shift_condmove (enum machine_mode op1_mode, optab binoptab,
 950                                   enum rtx_code cmp_code, rtx cmp1, rtx cmp2,
 951                                   rtx outof_input, rtx into_input,
 952                                   rtx subword_op1, rtx superword_op1,
 953                                   rtx outof_target, rtx into_target,
 954                                   int unsignedp, enum optab_methods methods,
 955                                   unsigned HOST_WIDE_INT shift_mask)
 956 {
 957   rtx outof_superword, into_superword;
 958
 959   /* Put the superword version of the output into OUTOF_SUPERWORD and
 960      INTO_SUPERWORD.  */
 961   outof_superword = outof_target != 0 ? gen_reg_rtx (word_mode) : 0;
 962   if (outof_target != 0 && subword_op1 == superword_op1)
 963     {
 964       /* The value INTO_TARGET >> SUBWORD_OP1, which we later store in
 965          OUTOF_TARGET, is the same as the value of INTO_SUPERWORD.  */
 966       into_superword = outof_target;
 967       if (!expand_superword_shift (binoptab, outof_input, superword_op1,
 968                                    outof_superword, 0, unsignedp, methods))
 969         return false;
 970     }
 971   else
 972     {
 973       into_superword = gen_reg_rtx (word_mode);
 974       if (!expand_superword_shift (binoptab, outof_input, superword_op1,
 975                                    outof_superword, into_superword,
 976                                    unsignedp, methods))
 977         return false;
 978     }
 979
 980   /* Put the subword version directly in OUTOF_TARGET and INTO_TARGET.  */
 981   if (!expand_subword_shift (op1_mode, binoptab,
 982                              outof_input, into_input, subword_op1,
 983                              outof_target, into_target,
 984                              unsignedp, methods, shift_mask))
 985     return false;
 986
 987   /* Select between them.  Do the INTO half first because INTO_SUPERWORD
 988      might be the current value of OUTOF_TARGET.  */
 989   if (!emit_conditional_move (into_target, cmp_code, cmp1, cmp2, op1_mode,
 990                               into_target, into_superword, word_mode, false))
 991     return false;
 992
 993   if (outof_target != 0)
 994     if (!emit_conditional_move (outof_target, cmp_code, cmp1, cmp2, op1_mode,
 995                                 outof_target, outof_superword,
 996                                 word_mode, false))
 997       return false;
 998
 999   return true;
1000 }
1001 #endif
1002
1003 /* Expand a doubleword shift (ashl, ashr or lshr) using word-mode shifts.
1004    OUTOF_INPUT and INTO_INPUT are the two word-sized halves of the first
1005    input operand; the shift moves bits in the direction OUTOF_INPUT->
1006    INTO_TARGET.  OUTOF_TARGET and INTO_TARGET are the equivalent words
1007    of the target.  OP1 is the shift count and OP1_MODE is its mode.
1008    If OP1 is constant, it will have been truncated as appropriate
1009    and is known to be nonzero.
1010
1011    If SHIFT_MASK is zero, the result of word shifts is undefined when the
1012    shift count is outside the range [0, BITS_PER_WORD).  This routine must
1013    avoid generating such shifts for OP1s in the range [0, BITS_PER_WORD * 2).
1014
1015    If SHIFT_MASK is nonzero, all word-mode shift counts are effectively
1016    masked by it and shifts in the range [BITS_PER_WORD, SHIFT_MASK) will
1017    fill with zeros or sign bits as appropriate.
1018
1019    If SHIFT_MASK is BITS_PER_WORD - 1, this routine will synthesize
1020    a doubleword shift whose equivalent mask is BITS_PER_WORD * 2 - 1.
1021    Doing this preserves semantics required by SHIFT_COUNT_TRUNCATED.
1022    In all other cases, shifts by values outside [0, BITS_PER_UNIT * 2)
1023    are undefined.
1024
1025    BINOPTAB, UNSIGNEDP and METHODS are as for expand_binop.  This function
1026    may not use INTO_INPUT after modifying INTO_TARGET, and similarly for
1027    OUTOF_INPUT and OUTOF_TARGET.  OUTOF_TARGET can be null if the parent
1028    function wants to calculate it itself.
1029
1030    Return true if the shift could be successfully synthesized.  */
1031
1032 static bool
1033 expand_doubleword_shift (enum machine_mode op1_mode, optab binoptab,
1034                          rtx outof_input, rtx into_input, rtx op1,
1035                          rtx outof_target, rtx into_target,
1036                          int unsignedp, enum optab_methods methods,
1037                          unsigned HOST_WIDE_INT shift_mask)
1038 {
1039   rtx superword_op1, tmp, cmp1, cmp2;
1040   rtx subword_label, done_label;
1041   enum rtx_code cmp_code;
1042
1043   /* See if word-mode shifts by BITS_PER_WORD...BITS_PER_WORD * 2 - 1 will
1044      fill the result with sign or zero bits as appropriate.  If so, the value
1045      of OUTOF_TARGET will always be (SHIFT OUTOF_INPUT OP1).   Recursively call
1046      this routine to calculate INTO_TARGET (which depends on both OUTOF_INPUT
1047      and INTO_INPUT), then emit code to set up OUTOF_TARGET.
1048
1049      This isn't worthwhile for constant shifts since the optimizers will
1050      cope better with in-range shift counts.  */
1051   if (shift_mask >= BITS_PER_WORD
1052       && outof_target != 0
1053       && !CONSTANT_P (op1))
1054     {
1055       if (!expand_doubleword_shift (op1_mode, binoptab,
1056                                     outof_input, into_input, op1,
1057                                     0, into_target,
1058                                     unsignedp, methods, shift_mask))
1059         return false;
1060       if (!force_expand_binop (word_mode, binoptab, outof_input, op1,
1061                                outof_target, unsignedp, methods))
1062         return false;
1063       return true;
1064     }
1065
1066   /* Set CMP_CODE, CMP1 and CMP2 so that the rtx (CMP_CODE CMP1 CMP2)
1067      is true when the effective shift value is less than BITS_PER_WORD.
1068      Set SUPERWORD_OP1 to the shift count that should be used to shift
1069      OUTOF_INPUT into INTO_TARGET when the condition is false.  */
1070   tmp = immed_double_const (BITS_PER_WORD, 0, op1_mode);
1071   if (!CONSTANT_P (op1) && shift_mask == BITS_PER_WORD - 1)
1072     {
1073       /* Set CMP1 to OP1 & BITS_PER_WORD.  The result is zero iff OP1
1074          is a subword shift count.  */
1075       cmp1 = simplify_expand_binop (op1_mode, and_optab, op1, tmp,
1076                                     0, true, methods);
1077       cmp2 = CONST0_RTX (op1_mode);
1078       cmp_code = EQ;
1079       superword_op1 = op1;
1080     }
1081   else
1082     {
1083       /* Set CMP1 to OP1 - BITS_PER_WORD.  */
1084       cmp1 = simplify_expand_binop (op1_mode, sub_optab, op1, tmp,
1085                                     0, true, methods);
1086       cmp2 = CONST0_RTX (op1_mode);
1087       cmp_code = LT;
1088       superword_op1 = cmp1;
1089     }
1090   if (cmp1 == 0)
1091     return false;
1092
1093   /* If we can compute the condition at compile time, pick the
1094      appropriate subroutine.  */
1095   tmp = simplify_relational_operation (cmp_code, SImode, op1_mode, cmp1, cmp2);
1096   if (tmp != 0 && CONST_INT_P (tmp))
1097     {
1098       if (tmp == const0_rtx)
1099         return expand_superword_shift (binoptab, outof_input, superword_op1,
1100                                        outof_target, into_target,
1101                                        unsignedp, methods);
1102       else
1103         return expand_subword_shift (op1_mode, binoptab,
1104                                      outof_input, into_input, op1,
1105                                      outof_target, into_target,
1106                                      unsignedp, methods, shift_mask);
1107     }
1108
1109 #ifdef HAVE_conditional_move
1110   /* Try using conditional moves to generate straight-line code.  */
1111   {
1112     rtx start = get_last_insn ();
1113     if (expand_doubleword_shift_condmove (op1_mode, binoptab,
1114                                           cmp_code, cmp1, cmp2,
1115                                           outof_input, into_input,
1116                                           op1, superword_op1,
1117                                           outof_target, into_target,
1118                                           unsignedp, methods, shift_mask))
1119       return true;
1120     delete_insns_since (start);
1121   }
1122 #endif
1123
1124   /* As a last resort, use branches to select the correct alternative.  */
1125   subword_label = gen_label_rtx ();
1126   done_label = gen_label_rtx ();
1127
1128   NO_DEFER_POP;
1129   do_compare_rtx_and_jump (cmp1, cmp2, cmp_code, false, op1_mode,
1130                            0, 0, subword_label);
1131   OK_DEFER_POP;
1132
1133   if (!expand_superword_shift (binoptab, outof_input, superword_op1,
1134                                outof_target, into_target,
1135                                unsignedp, methods))
1136     return false;
1137
1138   emit_jump_insn (gen_jump (done_label));
1139   emit_barrier ();
1140   emit_label (subword_label);
1141
1142   if (!expand_subword_shift (op1_mode, binoptab,
1143                              outof_input, into_input, op1,
1144                              outof_target, into_target,
1145                              unsignedp, methods, shift_mask))
1146     return false;
1147
1148   emit_label (done_label);
1149   return true;
1150 }
1151 \f
1152 /* Subroutine of expand_binop.  Perform a double word multiplication of
1153    operands OP0 and OP1 both of mode MODE, which is exactly twice as wide
1154    as the target's word_mode.  This function return NULL_RTX if anything
1155    goes wrong, in which case it may have already emitted instructions
1156    which need to be deleted.
1157
1158    If we want to multiply two two-word values and have normal and widening
1159    multiplies of single-word values, we can do this with three smaller
1160    multiplications.
1161
1162    The multiplication proceeds as follows:
1163                                  _______________________
1164                                 [__op0_high_|__op0_low__]
1165                                  _______________________
1166         *                       [__op1_high_|__op1_low__]
1167         _______________________________________________
1168                                  _______________________
1169     (1)                         [__op0_low__*__op1_low__]
1170                      _______________________
1171     (2a)            [__op0_low__*__op1_high_]
1172                      _______________________
1173     (2b)            [__op0_high_*__op1_low__]
1174          _______________________
1175     (3) [__op0_high_*__op1_high_]
1176
1177
1178   This gives a 4-word result.  Since we are only interested in the
1179   lower 2 words, partial result (3) and the upper words of (2a) and
1180   (2b) don't need to be calculated.  Hence (2a) and (2b) can be
1181   calculated using non-widening multiplication.
1182
1183   (1), however, needs to be calculated with an unsigned widening
1184   multiplication.  If this operation is not directly supported we
1185   try using a signed widening multiplication and adjust the result.
1186   This adjustment works as follows:
1187
1188       If both operands are positive then no adjustment is needed.
1189
1190       If the operands have different signs, for example op0_low < 0 and
1191       op1_low >= 0, the instruction treats the most significant bit of
1192       op0_low as a sign bit instead of a bit with significance
1193       2**(BITS_PER_WORD-1), i.e. the instruction multiplies op1_low
1194       with 2**BITS_PER_WORD - op0_low, and two's complements the
1195       result.  Conclusion: We need to add op1_low * 2**BITS_PER_WORD to
1196       the result.
1197
1198       Similarly, if both operands are negative, we need to add
1199       (op0_low + op1_low) * 2**BITS_PER_WORD.
1200
1201       We use a trick to adjust quickly.  We logically shift op0_low right
1202       (op1_low) BITS_PER_WORD-1 steps to get 0 or 1, and add this to
1203       op0_high (op1_high) before it is used to calculate 2b (2a).  If no
1204       logical shift exists, we do an arithmetic right shift and subtract
1205       the 0 or -1.  */
1206
1207 static rtx
1208 expand_doubleword_mult (enum machine_mode mode, rtx op0, rtx op1, rtx target,
1209                        bool umulp, enum optab_methods methods)
1210 {
1211   int low = (WORDS_BIG_ENDIAN ? 1 : 0);
1212   int high = (WORDS_BIG_ENDIAN ? 0 : 1);
1213   rtx wordm1 = umulp ? NULL_RTX : GEN_INT (BITS_PER_WORD - 1);
1214   rtx product, adjust, product_high, temp;
1215
1216   rtx op0_high = operand_subword_force (op0, high, mode);
1217   rtx op0_low = operand_subword_force (op0, low, mode);
1218   rtx op1_high = operand_subword_force (op1, high, mode);
1219   rtx op1_low = operand_subword_force (op1, low, mode);
1220
1221   /* If we're using an unsigned multiply to directly compute the product
1222      of the low-order words of the operands and perform any required
1223      adjustments of the operands, we begin by trying two more multiplications
1224      and then computing the appropriate sum.
1225
1226      We have checked above that the required addition is provided.
1227      Full-word addition will normally always succeed, especially if
1228      it is provided at all, so we don't worry about its failure.  The
1229      multiplication may well fail, however, so we do handle that.  */
1230
1231   if (!umulp)
1232     {
1233       /* ??? This could be done with emit_store_flag where available.  */
1234       temp = expand_binop (word_mode, lshr_optab, op0_low, wordm1,
1235                            NULL_RTX, 1, methods);
1236       if (temp)
1237         op0_high = expand_binop (word_mode, add_optab, op0_high, temp,
1238                                  NULL_RTX, 0, OPTAB_DIRECT);
1239       else
1240         {
1241           temp = expand_binop (word_mode, ashr_optab, op0_low, wordm1,
1242                                NULL_RTX, 0, methods);
1243           if (!temp)
1244             return NULL_RTX;
1245           op0_high = expand_binop (word_mode, sub_optab, op0_high, temp,
1246                                    NULL_RTX, 0, OPTAB_DIRECT);
1247         }
1248
1249       if (!op0_high)
1250         return NULL_RTX;
1251     }
1252
1253   adjust = expand_binop (word_mode, smul_optab, op0_high, op1_low,
1254                          NULL_RTX, 0, OPTAB_DIRECT);
1255   if (!adjust)
1256     return NULL_RTX;
1257
1258   /* OP0_HIGH should now be dead.  */
1259
1260   if (!umulp)
1261     {
1262       /* ??? This could be done with emit_store_flag where available.  */
1263       temp = expand_binop (word_mode, lshr_optab, op1_low, wordm1,
1264                            NULL_RTX, 1, methods);
1265       if (temp)
1266         op1_high = expand_binop (word_mode, add_optab, op1_high, temp,
1267                                  NULL_RTX, 0, OPTAB_DIRECT);
1268       else
1269         {
1270           temp = expand_binop (word_mode, ashr_optab, op1_low, wordm1,
1271                                NULL_RTX, 0, methods);
1272           if (!temp)
1273             return NULL_RTX;
1274           op1_high = expand_binop (word_mode, sub_optab, op1_high, temp,
1275                                    NULL_RTX, 0, OPTAB_DIRECT);
1276         }
1277
1278       if (!op1_high)
1279         return NULL_RTX;
1280     }
1281
1282   temp = expand_binop (word_mode, smul_optab, op1_high, op0_low,
1283                        NULL_RTX, 0, OPTAB_DIRECT);
1284   if (!temp)
1285     return NULL_RTX;
1286
1287   /* OP1_HIGH should now be dead.  */
1288
1289   adjust = expand_binop (word_mode, add_optab, adjust, temp,
1290                          adjust, 0, OPTAB_DIRECT);
1291
1292   if (target && !REG_P (target))
1293     target = NULL_RTX;
1294
1295   if (umulp)
1296     product = expand_binop (mode, umul_widen_optab, op0_low, op1_low,
1297                             target, 1, OPTAB_DIRECT);
1298   else
1299     product = expand_binop (mode, smul_widen_optab, op0_low, op1_low,
1300                             target, 1, OPTAB_DIRECT);
1301
1302   if (!product)
1303     return NULL_RTX;
1304
1305   product_high = operand_subword (product, high, 1, mode);
1306   adjust = expand_binop (word_mode, add_optab, product_high, adjust,
1307                          REG_P (product_high) ? product_high : adjust,
1308                          0, OPTAB_DIRECT);
1309   emit_move_insn (product_high, adjust);
1310   return product;
1311 }
1312 \f
1313 /* Wrapper around expand_binop which takes an rtx code to specify
1314    the operation to perform, not an optab pointer.  All other
1315    arguments are the same.  */
1316 rtx
1317 expand_simple_binop (enum machine_mode mode, enum rtx_code code, rtx op0,
1318                      rtx op1, rtx target, int unsignedp,
1319                      enum optab_methods methods)
1320 {
1321   optab binop = code_to_optab[(int) code];
1322   gcc_assert (binop);
1323
1324   return expand_binop (mode, binop, op0, op1, target, unsignedp, methods);
1325 }
1326
1327 /* Return whether OP0 and OP1 should be swapped when expanding a commutative
1328    binop.  Order them according to commutative_operand_precedence and, if
1329    possible, try to put TARGET or a pseudo first.  */
1330 static bool
1331 swap_commutative_operands_with_target (rtx target, rtx op0, rtx op1)
1332 {
1333   int op0_prec = commutative_operand_precedence (op0);
1334   int op1_prec = commutative_operand_precedence (op1);
1335
1336   if (op0_prec < op1_prec)
1337     return true;
1338
1339   if (op0_prec > op1_prec)
1340     return false;
1341
1342   /* With equal precedence, both orders are ok, but it is better if the
1343      first operand is TARGET, or if both TARGET and OP0 are pseudos.  */
1344   if (target == 0 || REG_P (target))
1345     return (REG_P (op1) && !REG_P (op0)) || target == op1;
1346   else
1347     return rtx_equal_p (op1, target);
1348 }
1349
1350 /* Return true if BINOPTAB implements a shift operation.  */
1351
1352 static bool
1353 shift_optab_p (optab binoptab)
1354 {
1355   switch (binoptab->code)
1356     {
1357     case ASHIFT:
1358     case SS_ASHIFT:
1359     case US_ASHIFT:
1360     case ASHIFTRT:
1361     case LSHIFTRT:
1362     case ROTATE:
1363     case ROTATERT:
1364       return true;
1365
1366     default:
1367       return false;
1368     }
1369 }
1370
1371 /* Return true if BINOPTAB implements a commutative binary operation.  */
1372
1373 static bool
1374 commutative_optab_p (optab binoptab)
1375 {
1376   return (GET_RTX_CLASS (binoptab->code) == RTX_COMM_ARITH
1377           || binoptab == smul_widen_optab
1378           || binoptab == umul_widen_optab
1379           || binoptab == smul_highpart_optab
1380           || binoptab == umul_highpart_optab);
1381 }
1382
1383 /* X is to be used in mode MODE as an operand to BINOPTAB.  If we're
1384    optimizing, and if the operand is a constant that costs more than
1385    1 instruction, force the constant into a register and return that
1386    register.  Return X otherwise.  UNSIGNEDP says whether X is unsigned.  */
1387
1388 static rtx
1389 avoid_expensive_constant (enum machine_mode mode, optab binoptab,
1390                           rtx x, bool unsignedp)
1391 {
1392   if (mode != VOIDmode
1393       && optimize
1394       && CONSTANT_P (x)
1395       && rtx_cost (x, binoptab->code, optimize_insn_for_speed_p ())
1396                    > COSTS_N_INSNS (1))
1397     {
1398       if (CONST_INT_P (x))
1399         {
1400           HOST_WIDE_INT intval = trunc_int_for_mode (INTVAL (x), mode);
1401           if (intval != INTVAL (x))
1402             x = GEN_INT (intval);
1403         }
1404       else
1405         x = convert_modes (mode, VOIDmode, x, unsignedp);
1406       x = force_reg (mode, x);
1407     }
1408   return x;
1409 }
1410
1411 /* Helper function for expand_binop: handle the case where there
1412    is an insn that directly implements the indicated operation.
1413    Returns null if this is not possible.  */
1414 static rtx
1415 expand_binop_directly (enum machine_mode mode, optab binoptab,
1416                        rtx op0, rtx op1,
1417                        rtx target, int unsignedp, enum optab_methods methods,
1418                        rtx last)
1419 {
1420   int icode = (int) optab_handler (binoptab, mode)->insn_code;
1421   enum machine_mode mode0 = insn_data[icode].operand[1].mode;
1422   enum machine_mode mode1 = insn_data[icode].operand[2].mode;
1423   enum machine_mode tmp_mode;
1424   bool commutative_p;
1425   rtx pat;
1426   rtx xop0 = op0, xop1 = op1;
1427   rtx temp;
1428   rtx swap;
1429
1430   if (target)
1431     temp = target;
1432   else
1433     temp = gen_reg_rtx (mode);
1434
1435   /* If it is a commutative operator and the modes would match
1436      if we would swap the operands, we can save the conversions.  */
1437   commutative_p = commutative_optab_p (binoptab);
1438   if (commutative_p
1439       && GET_MODE (xop0) != mode0 && GET_MODE (xop1) != mode1
1440       && GET_MODE (xop0) == mode1 && GET_MODE (xop1) == mode1)
1441     {
1442       swap = xop0;
1443       xop0 = xop1;
1444       xop1 = swap;
1445     }
1446
1447   /* If we are optimizing, force expensive constants into a register.  */
1448   xop0 = avoid_expensive_constant (mode0, binoptab, xop0, unsignedp);
1449   if (!shift_optab_p (binoptab))
1450     xop1 = avoid_expensive_constant (mode1, binoptab, xop1, unsignedp);
1451
1452   /* In case the insn wants input operands in modes different from
1453      those of the actual operands, convert the operands.  It would
1454      seem that we don't need to convert CONST_INTs, but we do, so
1455      that they're properly zero-extended, sign-extended or truncated
1456      for their mode.  */
1457
1458   if (GET_MODE (xop0) != mode0 && mode0 != VOIDmode)
1459     xop0 = convert_modes (mode0,
1460                           GET_MODE (xop0) != VOIDmode
1461                           ? GET_MODE (xop0)
1462                           : mode,
1463                           xop0, unsignedp);
1464
1465   if (GET_MODE (xop1) != mode1 && mode1 != VOIDmode)
1466     xop1 = convert_modes (mode1,
1467                           GET_MODE (xop1) != VOIDmode
1468                           ? GET_MODE (xop1)
1469                           : mode,
1470                           xop1, unsignedp);
1471
1472   /* If operation is commutative,
1473      try to make the first operand a register.
1474      Even better, try to make it the same as the target.
1475      Also try to make the last operand a constant.  */
1476   if (commutative_p
1477       && swap_commutative_operands_with_target (target, xop0, xop1))
1478     {
1479       swap = xop1;
1480       xop1 = xop0;
1481       xop0 = swap;
1482     }
1483
1484   /* Now, if insn's predicates don't allow our operands, put them into
1485      pseudo regs.  */
1486
1487   if (!insn_data[icode].operand[1].predicate (xop0, mode0)
1488       && mode0 != VOIDmode)
1489     xop0 = copy_to_mode_reg (mode0, xop0);
1490
1491   if (!insn_data[icode].operand[2].predicate (xop1, mode1)
1492       && mode1 != VOIDmode)
1493     xop1 = copy_to_mode_reg (mode1, xop1);
1494
1495   if (binoptab == vec_pack_trunc_optab
1496       || binoptab == vec_pack_usat_optab
1497       || binoptab == vec_pack_ssat_optab
1498       || binoptab == vec_pack_ufix_trunc_optab
1499       || binoptab == vec_pack_sfix_trunc_optab)
1500     {
1501       /* The mode of the result is different then the mode of the
1502          arguments.  */
1503       tmp_mode = insn_data[icode].operand[0].mode;
1504       if (GET_MODE_NUNITS (tmp_mode) != 2 * GET_MODE_NUNITS (mode))
1505         return 0;
1506     }
1507   else
1508     tmp_mode = mode;
1509
1510   if (!insn_data[icode].operand[0].predicate (temp, tmp_mode))
1511     temp = gen_reg_rtx (tmp_mode);
1512
1513   pat = GEN_FCN (icode) (temp, xop0, xop1);
1514   if (pat)
1515     {
1516       /* If PAT is composed of more than one insn, try to add an appropriate
1517          REG_EQUAL note to it.  If we can't because TEMP conflicts with an
1518          operand, call expand_binop again, this time without a target.  */
1519       if (INSN_P (pat) && NEXT_INSN (pat) != NULL_RTX
1520           && ! add_equal_note (pat, temp, binoptab->code, xop0, xop1))
1521         {
1522           delete_insns_since (last);
1523           return expand_binop (mode, binoptab, op0, op1, NULL_RTX,
1524                                unsignedp, methods);
1525         }
1526
1527       emit_insn (pat);
1528       return temp;
1529     }
1530
1531   delete_insns_since (last);
1532   return NULL_RTX;
1533 }
1534
1535 /* Generate code to perform an operation specified by BINOPTAB
1536    on operands OP0 and OP1, with result having machine-mode MODE.
1537
1538    UNSIGNEDP is for the case where we have to widen the operands
1539    to perform the operation.  It says to use zero-extension.
1540
1541    If TARGET is nonzero, the value
1542    is generated there, if it is convenient to do so.
1543    In all cases an rtx is returned for the locus of the value;
1544    this may or may not be TARGET.  */
1545
1546 rtx
1547 expand_binop (enum machine_mode mode, optab binoptab, rtx op0, rtx op1,
1548               rtx target, int unsignedp, enum optab_methods methods)
1549 {
1550   enum optab_methods next_methods
1551     = (methods == OPTAB_LIB || methods == OPTAB_LIB_WIDEN
1552        ? OPTAB_WIDEN : methods);
1553   enum mode_class mclass;
1554   enum machine_mode wider_mode;
1555   rtx libfunc;
1556   rtx temp;
1557   rtx entry_last = get_last_insn ();
1558   rtx last;
1559
1560   mclass = GET_MODE_CLASS (mode);
1561
1562   /* If subtracting an integer constant, convert this into an addition of
1563      the negated constant.  */
1564
1565   if (binoptab == sub_optab && CONST_INT_P (op1))
1566     {
1567       op1 = negate_rtx (mode, op1);
1568       binoptab = add_optab;
1569     }
1570
1571   /* Record where to delete back to if we backtrack.  */
1572   last = get_last_insn ();
1573
1574   /* If we can do it with a three-operand insn, do so.  */
1575
1576   if (methods != OPTAB_MUST_WIDEN
1577       && optab_handler (binoptab, mode)->insn_code != CODE_FOR_nothing)
1578     {
1579       temp = expand_binop_directly (mode, binoptab, op0, op1, target,
1580                                     unsignedp, methods, last);
1581       if (temp)
1582         return temp;
1583     }
1584
1585   /* If we were trying to rotate, and that didn't work, try rotating
1586      the other direction before falling back to shifts and bitwise-or.  */
1587   if (((binoptab == rotl_optab
1588         && optab_handler (rotr_optab, mode)->insn_code != CODE_FOR_nothing)
1589        || (binoptab == rotr_optab
1590            && optab_handler (rotl_optab, mode)->insn_code != CODE_FOR_nothing))
1591       && mclass == MODE_INT)
1592     {
1593       optab otheroptab = (binoptab == rotl_optab ? rotr_optab : rotl_optab);
1594       rtx newop1;
1595       unsigned int bits = GET_MODE_BITSIZE (mode);
1596
1597       if (CONST_INT_P (op1))
1598         newop1 = GEN_INT (bits - INTVAL (op1));
1599       else if (targetm.shift_truncation_mask (mode) == bits - 1)
1600         newop1 = negate_rtx (mode, op1);
1601       else
1602         newop1 = expand_binop (mode, sub_optab,
1603                                GEN_INT (bits), op1,
1604                                NULL_RTX, unsignedp, OPTAB_DIRECT);
1605
1606       temp = expand_binop_directly (mode, otheroptab, op0, newop1,
1607                                     target, unsignedp, methods, last);
1608       if (temp)
1609         return temp;
1610     }
1611
1612   /* If this is a multiply, see if we can do a widening operation that
1613      takes operands of this mode and makes a wider mode.  */
1614
1615   if (binoptab == smul_optab
1616       && GET_MODE_WIDER_MODE (mode) != VOIDmode
1617       && ((optab_handler ((unsignedp ? umul_widen_optab : smul_widen_optab),
1618                           GET_MODE_WIDER_MODE (mode))->insn_code)
1619           != CODE_FOR_nothing))
1620     {
1621       temp = expand_binop (GET_MODE_WIDER_MODE (mode),
1622                            unsignedp ? umul_widen_optab : smul_widen_optab,
1623                            op0, op1, NULL_RTX, unsignedp, OPTAB_DIRECT);
1624
1625       if (temp != 0)
1626         {
1627           if (GET_MODE_CLASS (mode) == MODE_INT
1628               && TRULY_NOOP_TRUNCATION (GET_MODE_BITSIZE (mode),
1629                                         GET_MODE_BITSIZE (GET_MODE (temp))))
1630             return gen_lowpart (mode, temp);
1631           else
1632             return convert_to_mode (mode, temp, unsignedp);
1633         }
1634     }
1635
1636   /* Look for a wider mode of the same class for which we think we
1637      can open-code the operation.  Check for a widening multiply at the
1638      wider mode as well.  */
1639
1640   if (CLASS_HAS_WIDER_MODES_P (mclass)
1641       && methods != OPTAB_DIRECT && methods != OPTAB_LIB)
1642     for (wider_mode = GET_MODE_WIDER_MODE (mode);
1643          wider_mode != VOIDmode;
1644          wider_mode = GET_MODE_WIDER_MODE (wider_mode))
1645       {
1646         if (optab_handler (binoptab, wider_mode)->insn_code != CODE_FOR_nothing
1647             || (binoptab == smul_optab
1648                 && GET_MODE_WIDER_MODE (wider_mode) != VOIDmode
1649                 && ((optab_handler ((unsignedp ? umul_widen_optab
1650                                      : smul_widen_optab),
1651                                      GET_MODE_WIDER_MODE (wider_mode))->insn_code)
1652                     != CODE_FOR_nothing)))
1653           {
1654             rtx xop0 = op0, xop1 = op1;
1655             int no_extend = 0;
1656
1657             /* For certain integer operations, we need not actually extend
1658                the narrow operands, as long as we will truncate
1659                the results to the same narrowness.  */
1660
1661             if ((binoptab == ior_optab || binoptab == and_optab
1662                  || binoptab == xor_optab
1663                  || binoptab == add_optab || binoptab == sub_optab
1664                  || binoptab == smul_optab || binoptab == ashl_optab)
1665                 && mclass == MODE_INT)
1666               {
1667                 no_extend = 1;
1668                 xop0 = avoid_expensive_constant (mode, binoptab,
1669                                                  xop0, unsignedp);
1670                 if (binoptab != ashl_optab)
1671                   xop1 = avoid_expensive_constant (mode, binoptab,
1672                                                    xop1, unsignedp);
1673               }
1674
1675             xop0 = widen_operand (xop0, wider_mode, mode, unsignedp, no_extend);
1676
1677             /* The second operand of a shift must always be extended.  */
1678             xop1 = widen_operand (xop1, wider_mode, mode, unsignedp,
1679                                   no_extend && binoptab != ashl_optab);
1680
1681             temp = expand_binop (wider_mode, binoptab, xop0, xop1, NULL_RTX,
1682                                  unsignedp, OPTAB_DIRECT);
1683             if (temp)
1684               {
1685                 if (mclass != MODE_INT
1686                     || !TRULY_NOOP_TRUNCATION (GET_MODE_BITSIZE (mode),
1687                                                GET_MODE_BITSIZE (wider_mode)))
1688                   {
1689                     if (target == 0)
1690                       target = gen_reg_rtx (mode);
1691                     convert_move (target, temp, 0);
1692                     return target;
1693                   }
1694                 else
1695                   return gen_lowpart (mode, temp);
1696               }
1697             else
1698               delete_insns_since (last);
1699           }
1700       }
1701
1702   /* If operation is commutative,
1703      try to make the first operand a register.
1704      Even better, try to make it the same as the target.
1705      Also try to make the last operand a constant.  */
1706   if (commutative_optab_p (binoptab)
1707       && swap_commutative_operands_with_target (target, op0, op1))
1708     {
1709       temp = op1;
1710       op1 = op0;
1711       op0 = temp;
1712     }
1713
1714   /* These can be done a word at a time.  */
1715   if ((binoptab == and_optab || binoptab == ior_optab || binoptab == xor_optab)
1716       && mclass == MODE_INT
1717       && GET_MODE_SIZE (mode) > UNITS_PER_WORD
1718       && optab_handler (binoptab, word_mode)->insn_code != CODE_FOR_nothing)
1719     {
1720       int i;
1721       rtx insns;
1722       rtx equiv_value;
1723
1724       /* If TARGET is the same as one of the operands, the REG_EQUAL note
1725          won't be accurate, so use a new target.  */
1726       if (target == 0 || target == op0 || target == op1)
1727         target = gen_reg_rtx (mode);
1728
1729       start_sequence ();
1730
1731       /* Do the actual arithmetic.  */
1732       for (i = 0; i < GET_MODE_BITSIZE (mode) / BITS_PER_WORD; i++)
1733         {
1734           rtx target_piece = operand_subword (target, i, 1, mode);
1735           rtx x = expand_binop (word_mode, binoptab,
1736                                 operand_subword_force (op0, i, mode),
1737                                 operand_subword_force (op1, i, mode),
1738                                 target_piece, unsignedp, next_methods);
1739
1740           if (x == 0)
1741             break;
1742
1743           if (target_piece != x)
1744             emit_move_insn (target_piece, x);
1745         }
1746
1747       insns = get_insns ();
1748       end_sequence ();
1749
1750       if (i == GET_MODE_BITSIZE (mode) / BITS_PER_WORD)
1751         {
1752           if (binoptab->code != UNKNOWN)
1753             equiv_value
1754               = gen_rtx_fmt_ee (binoptab->code, mode,
1755                                 copy_rtx (op0), copy_rtx (op1));
1756           else
1757             equiv_value = 0;
1758
1759           emit_insn (insns);
1760           return target;
1761         }
1762     }
1763
1764   /* Synthesize double word shifts from single word shifts.  */
1765   if ((binoptab == lshr_optab || binoptab == ashl_optab
1766        || binoptab == ashr_optab)
1767       && mclass == MODE_INT
1768       && (CONST_INT_P (op1) || optimize_insn_for_speed_p ())
1769       && GET_MODE_SIZE (mode) == 2 * UNITS_PER_WORD
1770       && optab_handler (binoptab, word_mode)->insn_code != CODE_FOR_nothing
1771       && optab_handler (ashl_optab, word_mode)->insn_code != CODE_FOR_nothing
1772       && optab_handler (lshr_optab, word_mode)->insn_code != CODE_FOR_nothing)
1773     {
1774       unsigned HOST_WIDE_INT shift_mask, double_shift_mask;
1775       enum machine_mode op1_mode;
1776
1777       double_shift_mask = targetm.shift_truncation_mask (mode);
1778       shift_mask = targetm.shift_truncation_mask (word_mode);
1779       op1_mode = GET_MODE (op1) != VOIDmode ? GET_MODE (op1) : word_mode;
1780
1781       /* Apply the truncation to constant shifts.  */
1782       if (double_shift_mask > 0 && CONST_INT_P (op1))
1783         op1 = GEN_INT (INTVAL (op1) & double_shift_mask);
1784
1785       if (op1 == CONST0_RTX (op1_mode))
1786         return op0;
1787
1788       /* Make sure that this is a combination that expand_doubleword_shift
1789          can handle.  See the comments there for details.  */
1790       if (double_shift_mask == 0
1791           || (shift_mask == BITS_PER_WORD - 1
1792               && double_shift_mask == BITS_PER_WORD * 2 - 1))
1793         {
1794           rtx insns;
1795           rtx into_target, outof_target;
1796           rtx into_input, outof_input;
1797           int left_shift, outof_word;
1798
1799           /* If TARGET is the same as one of the operands, the REG_EQUAL note
1800              won't be accurate, so use a new target.  */
1801           if (target == 0 || target == op0 || target == op1)
1802             target = gen_reg_rtx (mode);
1803
1804           start_sequence ();
1805
1806           /* OUTOF_* is the word we are shifting bits away from, and
1807              INTO_* is the word that we are shifting bits towards, thus
1808              they differ depending on the direction of the shift and
1809              WORDS_BIG_ENDIAN.  */
1810
1811           left_shift = binoptab == ashl_optab;
1812           outof_word = left_shift ^ ! WORDS_BIG_ENDIAN;
1813
1814           outof_target = operand_subword (target, outof_word, 1, mode);
1815           into_target = operand_subword (target, 1 - outof_word, 1, mode);
1816
1817           outof_input = operand_subword_force (op0, outof_word, mode);
1818           into_input = operand_subword_force (op0, 1 - outof_word, mode);
1819
1820           if (expand_doubleword_shift (op1_mode, binoptab,
1821                                        outof_input, into_input, op1,
1822                                        outof_target, into_target,
1823                                        unsignedp, next_methods, shift_mask))
1824             {
1825               insns = get_insns ();
1826               end_sequence ();
1827
1828               emit_insn (insns);
1829               return target;
1830             }
1831           end_sequence ();
1832         }
1833     }
1834
1835   /* Synthesize double word rotates from single word shifts.  */
1836   if ((binoptab == rotl_optab || binoptab == rotr_optab)
1837       && mclass == MODE_INT
1838       && CONST_INT_P (op1)
1839       && GET_MODE_SIZE (mode) == 2 * UNITS_PER_WORD
1840       && optab_handler (ashl_optab, word_mode)->insn_code != CODE_FOR_nothing
1841       && optab_handler (lshr_optab, word_mode)->insn_code != CODE_FOR_nothing)
1842     {
1843       rtx insns;
1844       rtx into_target, outof_target;
1845       rtx into_input, outof_input;
1846       rtx inter;
1847       int shift_count, left_shift, outof_word;
1848
1849       /* If TARGET is the same as one of the operands, the REG_EQUAL note
1850          won't be accurate, so use a new target. Do this also if target is not
1851          a REG, first because having a register instead may open optimization
1852          opportunities, and second because if target and op0 happen to be MEMs
1853          designating the same location, we would risk clobbering it too early
1854          in the code sequence we generate below.  */
1855       if (target == 0 || target == op0 || target == op1 || ! REG_P (target))
1856         target = gen_reg_rtx (mode);
1857
1858       start_sequence ();
1859
1860       shift_count = INTVAL (op1);
1861
1862       /* OUTOF_* is the word we are shifting bits away from, and
1863          INTO_* is the word that we are shifting bits towards, thus
1864          they differ depending on the direction of the shift and
1865          WORDS_BIG_ENDIAN.  */
1866
1867       left_shift = (binoptab == rotl_optab);
1868       outof_word = left_shift ^ ! WORDS_BIG_ENDIAN;
1869
1870       outof_target = operand_subword (target, outof_word, 1, mode);
1871       into_target = operand_subword (target, 1 - outof_word, 1, mode);
1872
1873       outof_input = operand_subword_force (op0, outof_word, mode);
1874       into_input = operand_subword_force (op0, 1 - outof_word, mode);
1875
1876       if (shift_count == BITS_PER_WORD)
1877         {
1878           /* This is just a word swap.  */
1879           emit_move_insn (outof_target, into_input);
1880           emit_move_insn (into_target, outof_input);
1881           inter = const0_rtx;
1882         }
1883       else
1884         {
1885           rtx into_temp1, into_temp2, outof_temp1, outof_temp2;
1886           rtx first_shift_count, second_shift_count;
1887           optab reverse_unsigned_shift, unsigned_shift;
1888
1889           reverse_unsigned_shift = (left_shift ^ (shift_count < BITS_PER_WORD)
1890                                     ? lshr_optab : ashl_optab);
1891
1892           unsigned_shift = (left_shift ^ (shift_count < BITS_PER_WORD)
1893                             ? ashl_optab : lshr_optab);
1894
1895           if (shift_count > BITS_PER_WORD)
1896             {
1897               first_shift_count = GEN_INT (shift_count - BITS_PER_WORD);
1898               second_shift_count = GEN_INT (2 * BITS_PER_WORD - shift_count);
1899             }
1900           else
1901             {
1902               first_shift_count = GEN_INT (BITS_PER_WORD - shift_count);
1903               second_shift_count = GEN_INT (shift_count);
1904             }
1905
1906           into_temp1 = expand_binop (word_mode, unsigned_shift,
1907                                      outof_input, first_shift_count,
1908                                      NULL_RTX, unsignedp, next_methods);
1909           into_temp2 = expand_binop (word_mode, reverse_unsigned_shift,
1910                                      into_input, second_shift_count,
1911                                      NULL_RTX, unsignedp, next_methods);
1912
1913           if (into_temp1 != 0 && into_temp2 != 0)
1914             inter = expand_binop (word_mode, ior_optab, into_temp1, into_temp2,
1915                                   into_target, unsignedp, next_methods);
1916           else
1917             inter = 0;
1918
1919           if (inter != 0 && inter != into_target)
1920             emit_move_insn (into_target, inter);
1921
1922           outof_temp1 = expand_binop (word_mode, unsigned_shift,
1923                                       into_input, first_shift_count,
1924                                       NULL_RTX, unsignedp, next_methods);
1925           outof_temp2 = expand_binop (word_mode, reverse_unsigned_shift,
1926                                       outof_input, second_shift_count,
1927                                       NULL_RTX, unsignedp, next_methods);
1928
1929           if (inter != 0 && outof_temp1 != 0 && outof_temp2 != 0)
1930             inter = expand_binop (word_mode, ior_optab,
1931                                   outof_temp1, outof_temp2,
1932                                   outof_target, unsignedp, next_methods);
1933
1934           if (inter != 0 && inter != outof_target)
1935             emit_move_insn (outof_target, inter);
1936         }
1937
1938       insns = get_insns ();
1939       end_sequence ();
1940
1941       if (inter != 0)
1942         {
1943           emit_insn (insns);
1944           return target;
1945         }
1946     }
1947
1948   /* These can be done a word at a time by propagating carries.  */
1949   if ((binoptab == add_optab || binoptab == sub_optab)
1950       && mclass == MODE_INT
1951       && GET_MODE_SIZE (mode) >= 2 * UNITS_PER_WORD
1952       && optab_handler (binoptab, word_mode)->insn_code != CODE_FOR_nothing)
1953     {
1954       unsigned int i;
1955       optab otheroptab = binoptab == add_optab ? sub_optab : add_optab;
1956       const unsigned int nwords = GET_MODE_BITSIZE (mode) / BITS_PER_WORD;
1957       rtx carry_in = NULL_RTX, carry_out = NULL_RTX;
1958       rtx xop0, xop1, xtarget;
1959
1960       /* We can handle either a 1 or -1 value for the carry.  If STORE_FLAG
1961          value is one of those, use it.  Otherwise, use 1 since it is the
1962          one easiest to get.  */
1963 #if STORE_FLAG_VALUE == 1 || STORE_FLAG_VALUE == -1
1964       int normalizep = STORE_FLAG_VALUE;
1965 #else
1966       int normalizep = 1;
1967 #endif
1968
1969       /* Prepare the operands.  */
1970       xop0 = force_reg (mode, op0);
1971       xop1 = force_reg (mode, op1);
1972
1973       xtarget = gen_reg_rtx (mode);
1974
1975       if (target == 0 || !REG_P (target))
1976         target = xtarget;
1977
1978       /* Indicate for flow that the entire target reg is being set.  */
1979       if (REG_P (target))
1980         emit_clobber (xtarget);
1981
1982       /* Do the actual arithmetic.  */
1983       for (i = 0; i < nwords; i++)
1984         {
1985           int index = (WORDS_BIG_ENDIAN ? nwords - i - 1 : i);
1986           rtx target_piece = operand_subword (xtarget, index, 1, mode);
1987           rtx op0_piece = operand_subword_force (xop0, index, mode);
1988           rtx op1_piece = operand_subword_force (xop1, index, mode);
1989           rtx x;
1990
1991           /* Main add/subtract of the input operands.  */
1992           x = expand_binop (word_mode, binoptab,
1993                             op0_piece, op1_piece,
1994                             target_piece, unsignedp, next_methods);
1995           if (x == 0)
1996             break;
1997
1998           if (i + 1 < nwords)
1999             {
2000               /* Store carry from main add/subtract.  */
2001               carry_out = gen_reg_rtx (word_mode);
2002               carry_out = emit_store_flag_force (carry_out,
2003                                                  (binoptab == add_optab
2004                                                   ? LT : GT),
2005                                                  x, op0_piece,
2006                                                  word_mode, 1, normalizep);
2007             }
2008
2009           if (i > 0)
2010             {
2011               rtx newx;
2012
2013               /* Add/subtract previous carry to main result.  */
2014               newx = expand_binop (word_mode,
2015                                    normalizep == 1 ? binoptab : otheroptab,
2016                                    x, carry_in,
2017                                    NULL_RTX, 1, next_methods);
2018
2019               if (i + 1 < nwords)
2020                 {
2021                   /* Get out carry from adding/subtracting carry in.  */
2022                   rtx carry_tmp = gen_reg_rtx (word_mode);
2023                   carry_tmp = emit_store_flag_force (carry_tmp,
2024                                                      (binoptab == add_optab
2025                                                       ? LT : GT),
2026                                                      newx, x,
2027                                                      word_mode, 1, normalizep);
2028
2029                   /* Logical-ior the two poss. carry together.  */
2030                   carry_out = expand_binop (word_mode, ior_optab,
2031                                             carry_out, carry_tmp,
2032                                             carry_out, 0, next_methods);
2033                   if (carry_out == 0)
2034                     break;
2035                 }
2036               emit_move_insn (target_piece, newx);
2037             }
2038           else
2039             {
2040               if (x != target_piece)
2041                 emit_move_insn (target_piece, x);
2042             }
2043
2044           carry_in = carry_out;
2045         }
2046
2047       if (i == GET_MODE_BITSIZE (mode) / (unsigned) BITS_PER_WORD)
2048         {
2049           if (optab_handler (mov_optab, mode)->insn_code != CODE_FOR_nothing
2050               || ! rtx_equal_p (target, xtarget))
2051             {
2052               rtx temp = emit_move_insn (target, xtarget);
2053
2054               set_unique_reg_note (temp,
2055                                    REG_EQUAL,
2056                                    gen_rtx_fmt_ee (binoptab->code, mode,
2057                                                    copy_rtx (xop0),
2058                                                    copy_rtx (xop1)));
2059             }
2060           else
2061             target = xtarget;
2062
2063           return target;
2064         }
2065
2066       else
2067         delete_insns_since (last);
2068     }
2069
2070   /* Attempt to synthesize double word multiplies using a sequence of word
2071      mode multiplications.  We first attempt to generate a sequence using a
2072      more efficient unsigned widening multiply, and if that fails we then
2073      try using a signed widening multiply.  */
2074
2075   if (binoptab == smul_optab
2076       && mclass == MODE_INT
2077       && GET_MODE_SIZE (mode) == 2 * UNITS_PER_WORD
2078       && optab_handler (smul_optab, word_mode)->insn_code != CODE_FOR_nothing
2079       && optab_handler (add_optab, word_mode)->insn_code != CODE_FOR_nothing)
2080     {
2081       rtx product = NULL_RTX;
2082
2083       if (optab_handler (umul_widen_optab, mode)->insn_code
2084           != CODE_FOR_nothing)
2085         {
2086           product = expand_doubleword_mult (mode, op0, op1, target,
2087                                             true, methods);
2088           if (!product)
2089             delete_insns_since (last);
2090         }
2091
2092       if (product == NULL_RTX
2093           && optab_handler (smul_widen_optab, mode)->insn_code
2094              != CODE_FOR_nothing)
2095         {
2096           product = expand_doubleword_mult (mode, op0, op1, target,
2097                                             false, methods);
2098           if (!product)
2099             delete_insns_since (last);
2100         }
2101
2102       if (product != NULL_RTX)
2103         {
2104           if (optab_handler (mov_optab, mode)->insn_code != CODE_FOR_nothing)
2105             {
2106               temp = emit_move_insn (target ? target : product, product);
2107               set_unique_reg_note (temp,
2108                                    REG_EQUAL,
2109                                    gen_rtx_fmt_ee (MULT, mode,
2110                                                    copy_rtx (op0),
2111                                                    copy_rtx (op1)));
2112             }
2113           return product;
2114         }
2115     }
2116
2117   /* It can't be open-coded in this mode.
2118      Use a library call if one is available and caller says that's ok.  */
2119
2120   libfunc = optab_libfunc (binoptab, mode);
2121   if (libfunc
2122       && (methods == OPTAB_LIB || methods == OPTAB_LIB_WIDEN))
2123     {
2124       rtx insns;
2125       rtx op1x = op1;
2126       enum machine_mode op1_mode = mode;
2127       rtx value;
2128
2129       start_sequence ();
2130
2131       if (shift_optab_p (binoptab))
2132         {
2133           op1_mode = targetm.libgcc_shift_count_mode ();
2134           /* Specify unsigned here,
2135              since negative shift counts are meaningless.  */
2136           op1x = convert_to_mode (op1_mode, op1, 1);
2137         }
2138
2139       if (GET_MODE (op0) != VOIDmode
2140           && GET_MODE (op0) != mode)
2141         op0 = convert_to_mode (mode, op0, unsignedp);
2142
2143       /* Pass 1 for NO_QUEUE so we don't lose any increments
2144          if the libcall is cse'd or moved.  */
2145       value = emit_library_call_value (libfunc,
2146                                        NULL_RTX, LCT_CONST, mode, 2,
2147                                        op0, mode, op1x, op1_mode);
2148
2149       insns = get_insns ();
2150       end_sequence ();
2151
2152       target = gen_reg_rtx (mode);
2153       emit_libcall_block (insns, target, value,
2154                           gen_rtx_fmt_ee (binoptab->code, mode, op0, op1));
2155
2156       return target;
2157     }
2158
2159   delete_insns_since (last);
2160
2161   /* It can't be done in this mode.  Can we do it in a wider mode?  */
2162
2163   if (! (methods == OPTAB_WIDEN || methods == OPTAB_LIB_WIDEN
2164          || methods == OPTAB_MUST_WIDEN))
2165     {
2166       /* Caller says, don't even try.  */
2167       delete_insns_since (entry_last);
2168       return 0;
2169     }
2170
2171   /* Compute the value of METHODS to pass to recursive calls.
2172      Don't allow widening to be tried recursively.  */
2173
2174   methods = (methods == OPTAB_LIB_WIDEN ? OPTAB_LIB : OPTAB_DIRECT);
2175
2176   /* Look for a wider mode of the same class for which it appears we can do
2177      the operation.  */
2178
2179   if (CLASS_HAS_WIDER_MODES_P (mclass))
2180     {
2181       for (wider_mode = GET_MODE_WIDER_MODE (mode);
2182            wider_mode != VOIDmode;
2183            wider_mode = GET_MODE_WIDER_MODE (wider_mode))
2184         {
2185           if ((optab_handler (binoptab, wider_mode)->insn_code
2186                != CODE_FOR_nothing)
2187               || (methods == OPTAB_LIB
2188                   && optab_libfunc (binoptab, wider_mode)))
2189             {
2190               rtx xop0 = op0, xop1 = op1;
2191               int no_extend = 0;
2192
2193               /* For certain integer operations, we need not actually extend
2194                  the narrow operands, as long as we will truncate
2195                  the results to the same narrowness.  */
2196
2197               if ((binoptab == ior_optab || binoptab == and_optab
2198                    || binoptab == xor_optab
2199                    || binoptab == add_optab || binoptab == sub_optab
2200                    || binoptab == smul_optab || binoptab == ashl_optab)
2201                   && mclass == MODE_INT)
2202                 no_extend = 1;
2203
2204               xop0 = widen_operand (xop0, wider_mode, mode,
2205                                     unsignedp, no_extend);
2206
2207               /* The second operand of a shift must always be extended.  */
2208               xop1 = widen_operand (xop1, wider_mode, mode, unsignedp,
2209                                     no_extend && binoptab != ashl_optab);
2210
2211               temp = expand_binop (wider_mode, binoptab, xop0, xop1, NULL_RTX,
2212                                    unsignedp, methods);
2213               if (temp)
2214                 {
2215                   if (mclass != MODE_INT
2216                       || !TRULY_NOOP_TRUNCATION (GET_MODE_BITSIZE (mode),
2217                                                  GET_MODE_BITSIZE (wider_mode)))
2218                     {
2219                       if (target == 0)
2220                         target = gen_reg_rtx (mode);
2221                       convert_move (target, temp, 0);
2222                       return target;
2223                     }
2224                   else
2225                     return gen_lowpart (mode, temp);
2226                 }
2227               else
2228                 delete_insns_since (last);
2229             }
2230         }
2231     }
2232
2233   delete_insns_since (entry_last);
2234   return 0;
2235 }
2236 \f
2237 /* Expand a binary operator which has both signed and unsigned forms.
2238    UOPTAB is the optab for unsigned operations, and SOPTAB is for
2239    signed operations.
2240
2241    If we widen unsigned operands, we may use a signed wider operation instead
2242    of an unsigned wider operation, since the result would be the same.  */
2243
2244 rtx
2245 sign_expand_binop (enum machine_mode mode, optab uoptab, optab soptab,
2246                    rtx op0, rtx op1, rtx target, int unsignedp,
2247                    enum optab_methods methods)
2248 {
2249   rtx temp;
2250   optab direct_optab = unsignedp ? uoptab : soptab;
2251   struct optab_d wide_soptab;
2252
2253   /* Do it without widening, if possible.  */
2254   temp = expand_binop (mode, direct_optab, op0, op1, target,
2255                        unsignedp, OPTAB_DIRECT);
2256   if (temp || methods == OPTAB_DIRECT)
2257     return temp;
2258
2259   /* Try widening to a signed int.  Make a fake signed optab that
2260      hides any signed insn for direct use.  */
2261   wide_soptab = *soptab;
2262   optab_handler (&wide_soptab, mode)->insn_code = CODE_FOR_nothing;
2263   /* We don't want to generate new hash table entries from this fake
2264      optab.  */
2265   wide_soptab.libcall_gen = NULL;
2266
2267   temp = expand_binop (mode, &wide_soptab, op0, op1, target,
2268                        unsignedp, OPTAB_WIDEN);
2269
2270   /* For unsigned operands, try widening to an unsigned int.  */
2271   if (temp == 0 && unsignedp)
2272     temp = expand_binop (mode, uoptab, op0, op1, target,
2273                          unsignedp, OPTAB_WIDEN);
2274   if (temp || methods == OPTAB_WIDEN)
2275     return temp;
2276
2277   /* Use the right width libcall if that exists.  */
2278   temp = expand_binop (mode, direct_optab, op0, op1, target, unsignedp, OPTAB_LIB);
2279   if (temp || methods == OPTAB_LIB)
2280     return temp;
2281
2282   /* Must widen and use a libcall, use either signed or unsigned.  */
2283   temp = expand_binop (mode, &wide_soptab, op0, op1, target,
2284                        unsignedp, methods);
2285   if (temp != 0)
2286     return temp;
2287   if (unsignedp)
2288     return expand_binop (mode, uoptab, op0, op1, target,
2289                          unsignedp, methods);
2290   return 0;
2291 }
2292 \f
2293 /* Generate code to perform an operation specified by UNOPPTAB
2294    on operand OP0, with two results to TARG0 and TARG1.
2295    We assume that the order of the operands for the instruction
2296    is TARG0, TARG1, OP0.
2297
2298    Either TARG0 or TARG1 may be zero, but what that means is that
2299    the result is not actually wanted.  We will generate it into
2300    a dummy pseudo-reg and discard it.  They may not both be zero.
2301
2302    Returns 1 if this operation can be performed; 0 if not.  */
2303
2304 int
2305 expand_twoval_unop (optab unoptab, rtx op0, rtx targ0, rtx targ1,
2306                     int unsignedp)
2307 {
2308   enum machine_mode mode = GET_MODE (targ0 ? targ0 : targ1);
2309   enum mode_class mclass;
2310   enum machine_mode wider_mode;
2311   rtx entry_last = get_last_insn ();
2312   rtx last;
2313
2314   mclass = GET_MODE_CLASS (mode);
2315
2316   if (!targ0)
2317     targ0 = gen_reg_rtx (mode);
2318   if (!targ1)
2319     targ1 = gen_reg_rtx (mode);
2320
2321   /* Record where to go back to if we fail.  */
2322   last = get_last_insn ();
2323
2324   if (optab_handler (unoptab, mode)->insn_code != CODE_FOR_nothing)
2325     {
2326       int icode = (int) optab_handler (unoptab, mode)->insn_code;
2327       enum machine_mode mode0 = insn_data[icode].operand[2].mode;
2328       rtx pat;
2329       rtx xop0 = op0;
2330
2331       if (GET_MODE (xop0) != VOIDmode
2332           && GET_MODE (xop0) != mode0)
2333         xop0 = convert_to_mode (mode0, xop0, unsignedp);
2334
2335       /* Now, if insn doesn't accept these operands, put them into pseudos.  */
2336       if (!insn_data[icode].operand[2].predicate (xop0, mode0))
2337         xop0 = copy_to_mode_reg (mode0, xop0);
2338
2339       /* We could handle this, but we should always be called with a pseudo
2340          for our targets and all insns should take them as outputs.  */
2341       gcc_assert (insn_data[icode].operand[0].predicate (targ0, mode));
2342       gcc_assert (insn_data[icode].operand[1].predicate (targ1, mode));
2343
2344       pat = GEN_FCN (icode) (targ0, targ1, xop0);
2345       if (pat)
2346         {
2347           emit_insn (pat);
2348           return 1;
2349         }
2350       else
2351         delete_insns_since (last);
2352     }
2353
2354   /* It can't be done in this mode.  Can we do it in a wider mode?  */
2355
2356   if (CLASS_HAS_WIDER_MODES_P (mclass))
2357     {
2358       for (wider_mode = GET_MODE_WIDER_MODE (mode);
2359            wider_mode != VOIDmode;
2360            wider_mode = GET_MODE_WIDER_MODE (wider_mode))
2361         {
2362           if (optab_handler (unoptab, wider_mode)->insn_code
2363               != CODE_FOR_nothing)
2364             {
2365               rtx t0 = gen_reg_rtx (wider_mode);
2366               rtx t1 = gen_reg_rtx (wider_mode);
2367               rtx cop0 = convert_modes (wider_mode, mode, op0, unsignedp);
2368
2369               if (expand_twoval_unop (unoptab, cop0, t0, t1, unsignedp))
2370                 {
2371                   convert_move (targ0, t0, unsignedp);
2372                   convert_move (targ1, t1, unsignedp);
2373                   return 1;
2374                 }
2375               else
2376                 delete_insns_since (last);
2377             }
2378         }
2379     }
2380
2381   delete_insns_since (entry_last);
2382   return 0;
2383 }
2384 \f
2385 /* Generate code to perform an operation specified by BINOPTAB
2386    on operands OP0 and OP1, with two results to TARG1 and TARG2.
2387    We assume that the order of the operands for the instruction
2388    is TARG0, OP0, OP1, TARG1, which would fit a pattern like
2389    [(set TARG0 (operate OP0 OP1)) (set TARG1 (operate ...))].
2390
2391    Either TARG0 or TARG1 may be zero, but what that means is that
2392    the result is not actually wanted.  We will generate it into
2393    a dummy pseudo-reg and discard it.  They may not both be zero.
2394
2395    Returns 1 if this operation can be performed; 0 if not.  */
2396
2397 int
2398 expand_twoval_binop (optab binoptab, rtx op0, rtx op1, rtx targ0, rtx targ1,
2399                      int unsignedp)
2400 {
2401   enum machine_mode mode = GET_MODE (targ0 ? targ0 : targ1);
2402   enum mode_class mclass;
2403   enum machine_mode wider_mode;
2404   rtx entry_last = get_last_insn ();
2405   rtx last;
2406
2407   mclass = GET_MODE_CLASS (mode);
2408
2409   if (!targ0)
2410     targ0 = gen_reg_rtx (mode);
2411   if (!targ1)
2412     targ1 = gen_reg_rtx (mode);
2413
2414   /* Record where to go back to if we fail.  */
2415   last = get_last_insn ();
2416
2417   if (optab_handler (binoptab, mode)->insn_code != CODE_FOR_nothing)
2418     {
2419       int icode = (int) optab_handler (binoptab, mode)->insn_code;
2420       enum machine_mode mode0 = insn_data[icode].operand[1].mode;
2421       enum machine_mode mode1 = insn_data[icode].operand[2].mode;
2422       rtx pat;
2423       rtx xop0 = op0, xop1 = op1;
2424
2425       /* If we are optimizing, force expensive constants into a register.  */
2426       xop0 = avoid_expensive_constant (mode0, binoptab, xop0, unsignedp);
2427       xop1 = avoid_expensive_constant (mode1, binoptab, xop1, unsignedp);
2428
2429       /* In case the insn wants input operands in modes different from
2430          those of the actual operands, convert the operands.  It would
2431          seem that we don't need to convert CONST_INTs, but we do, so
2432          that they're properly zero-extended, sign-extended or truncated
2433          for their mode.  */
2434
2435       if (GET_MODE (op0) != mode0 && mode0 != VOIDmode)
2436         xop0 = convert_modes (mode0,
2437                               GET_MODE (op0) != VOIDmode
2438                               ? GET_MODE (op0)
2439                               : mode,
2440                               xop0, unsignedp);
2441
2442       if (GET_MODE (op1) != mode1 && mode1 != VOIDmode)
2443         xop1 = convert_modes (mode1,
2444                               GET_MODE (op1) != VOIDmode
2445                               ? GET_MODE (op1)
2446                               : mode,
2447                               xop1, unsignedp);
2448
2449       /* Now, if insn doesn't accept these operands, put them into pseudos.  */
2450       if (!insn_data[icode].operand[1].predicate (xop0, mode0))
2451         xop0 = copy_to_mode_reg (mode0, xop0);
2452
2453       if (!insn_data[icode].operand[2].predicate (xop1, mode1))
2454         xop1 = copy_to_mode_reg (mode1, xop1);
2455
2456       /* We could handle this, but we should always be called with a pseudo
2457          for our targets and all insns should take them as outputs.  */
2458       gcc_assert (insn_data[icode].operand[0].predicate (targ0, mode));
2459       gcc_assert (insn_data[icode].operand[3].predicate (targ1, mode));
2460
2461       pat = GEN_FCN (icode) (targ0, xop0, xop1, targ1);
2462       if (pat)
2463         {
2464           emit_insn (pat);
2465           return 1;
2466         }
2467       else
2468         delete_insns_since (last);
2469     }
2470
2471   /* It can't be done in this mode.  Can we do it in a wider mode?  */
2472
2473   if (CLASS_HAS_WIDER_MODES_P (mclass))
2474     {
2475       for (wider_mode = GET_MODE_WIDER_MODE (mode);
2476            wider_mode != VOIDmode;
2477            wider_mode = GET_MODE_WIDER_MODE (wider_mode))
2478         {
2479           if (optab_handler (binoptab, wider_mode)->insn_code
2480               != CODE_FOR_nothing)
2481             {
2482               rtx t0 = gen_reg_rtx (wider_mode);
2483               rtx t1 = gen_reg_rtx (wider_mode);
2484               rtx cop0 = convert_modes (wider_mode, mode, op0, unsignedp);
2485               rtx cop1 = convert_modes (wider_mode, mode, op1, unsignedp);
2486
2487               if (expand_twoval_binop (binoptab, cop0, cop1,
2488                                        t0, t1, unsignedp))
2489                 {
2490                   convert_move (targ0, t0, unsignedp);
2491                   convert_move (targ1, t1, unsignedp);
2492                   return 1;
2493                 }
2494               else
2495                 delete_insns_since (last);
2496             }
2497         }
2498     }
2499
2500   delete_insns_since (entry_last);
2501   return 0;
2502 }
2503
2504 /* Expand the two-valued library call indicated by BINOPTAB, but
2505    preserve only one of the values.  If TARG0 is non-NULL, the first
2506    value is placed into TARG0; otherwise the second value is placed
2507    into TARG1.  Exactly one of TARG0 and TARG1 must be non-NULL.  The
2508    value stored into TARG0 or TARG1 is equivalent to (CODE OP0 OP1).
2509    This routine assumes that the value returned by the library call is
2510    as if the return value was of an integral mode twice as wide as the
2511    mode of OP0.  Returns 1 if the call was successful.  */
2512
2513 bool
2514 expand_twoval_binop_libfunc (optab binoptab, rtx op0, rtx op1,
2515                              rtx targ0, rtx targ1, enum rtx_code code)
2516 {
2517   enum machine_mode mode;
2518   enum machine_mode libval_mode;
2519   rtx libval;
2520   rtx insns;
2521   rtx libfunc;
2522
2523   /* Exactly one of TARG0 or TARG1 should be non-NULL.  */
2524   gcc_assert (!targ0 != !targ1);
2525
2526   mode = GET_MODE (op0);
2527   libfunc = optab_libfunc (binoptab, mode);
2528   if (!libfunc)
2529     return false;
2530
2531   /* The value returned by the library function will have twice as
2532      many bits as the nominal MODE.  */
2533   libval_mode = smallest_mode_for_size (2 * GET_MODE_BITSIZE (mode),
2534                                         MODE_INT);
2535   start_sequence ();
2536   libval = emit_library_call_value (libfunc, NULL_RTX, LCT_CONST,
2537                                     libval_mode, 2,
2538                                     op0, mode,
2539                                     op1, mode);
2540   /* Get the part of VAL containing the value that we want.  */
2541   libval = simplify_gen_subreg (mode, libval, libval_mode,
2542                                 targ0 ? 0 : GET_MODE_SIZE (mode));
2543   insns = get_insns ();
2544   end_sequence ();
2545   /* Move the into the desired location.  */
2546   emit_libcall_block (insns, targ0 ? targ0 : targ1, libval,
2547                       gen_rtx_fmt_ee (code, mode, op0, op1));
2548
2549   return true;
2550 }
2551
2552 \f
2553 /* Wrapper around expand_unop which takes an rtx code to specify
2554    the operation to perform, not an optab pointer.  All other
2555    arguments are the same.  */
2556 rtx
2557 expand_simple_unop (enum machine_mode mode, enum rtx_code code, rtx op0,
2558                     rtx target, int unsignedp)
2559 {
2560   optab unop = code_to_optab[(int) code];
2561   gcc_assert (unop);
2562
2563   return expand_unop (mode, unop, op0, target, unsignedp);
2564 }
2565
2566 /* Try calculating
2567         (clz:narrow x)
2568    as
2569         (clz:wide (zero_extend:wide x)) - ((width wide) - (width narrow)).  */
2570 static rtx
2571 widen_clz (enum machine_mode mode, rtx op0, rtx target)
2572 {
2573   enum mode_class mclass = GET_MODE_CLASS (mode);
2574   if (CLASS_HAS_WIDER_MODES_P (mclass))
2575     {
2576       enum machine_mode wider_mode;
2577       for (wider_mode = GET_MODE_WIDER_MODE (mode);
2578            wider_mode != VOIDmode;
2579            wider_mode = GET_MODE_WIDER_MODE (wider_mode))
2580         {
2581           if (optab_handler (clz_optab, wider_mode)->insn_code
2582               != CODE_FOR_nothing)
2583             {
2584               rtx xop0, temp, last;
2585
2586               last = get_last_insn ();
2587
2588               if (target == 0)
2589                 target = gen_reg_rtx (mode);
2590               xop0 = widen_operand (op0, wider_mode, mode, true, false);
2591               temp = expand_unop (wider_mode, clz_optab, xop0, NULL_RTX, true);
2592               if (temp != 0)
2593                 temp = expand_binop (wider_mode, sub_optab, temp,
2594                                      GEN_INT (GET_MODE_BITSIZE (wider_mode)
2595                                               - GET_MODE_BITSIZE (mode)),
2596                                      target, true, OPTAB_DIRECT);
2597               if (temp == 0)
2598                 delete_insns_since (last);
2599
2600               return temp;
2601             }
2602         }
2603     }
2604   return 0;
2605 }
2606
2607 /* Try calculating clz of a double-word quantity as two clz's of word-sized
2608    quantities, choosing which based on whether the high word is nonzero.  */
2609 static rtx
2610 expand_doubleword_clz (enum machine_mode mode, rtx op0, rtx target)
2611 {
2612   rtx xop0 = force_reg (mode, op0);
2613   rtx subhi = gen_highpart (word_mode, xop0);
2614   rtx sublo = gen_lowpart (word_mode, xop0);
2615   rtx hi0_label = gen_label_rtx ();
2616   rtx after_label = gen_label_rtx ();
2617   rtx seq, temp, result;
2618
2619   /* If we were not given a target, use a word_mode register, not a
2620      'mode' register.  The result will fit, and nobody is expecting
2621      anything bigger (the return type of __builtin_clz* is int).  */
2622   if (!target)
2623     target = gen_reg_rtx (word_mode);
2624
2625   /* In any case, write to a word_mode scratch in both branches of the
2626      conditional, so we can ensure there is a single move insn setting
2627      'target' to tag a REG_EQUAL note on.  */
2628   result = gen_reg_rtx (word_mode);
2629
2630   start_sequence ();
2631
2632   /* If the high word is not equal to zero,
2633      then clz of the full value is clz of the high word.  */
2634   emit_cmp_and_jump_insns (subhi, CONST0_RTX (word_mode), EQ, 0,
2635                            word_mode, true, hi0_label);
2636
2637   temp = expand_unop_direct (word_mode, clz_optab, subhi, result, true);
2638   if (!temp)
2639     goto fail;
2640
2641   if (temp != result)
2642     convert_move (result, temp, true);
2643
2644   emit_jump_insn (gen_jump (after_label));
2645   emit_barrier ();
2646
2647   /* Else clz of the full value is clz of the low word plus the number
2648      of bits in the high word.  */
2649   emit_label (hi0_label);
2650
2651   temp = expand_unop_direct (word_mode, clz_optab, sublo, 0, true);
2652   if (!temp)
2653     goto fail;
2654   temp = expand_binop (word_mode, add_optab, temp,
2655                        GEN_INT (GET_MODE_BITSIZE (word_mode)),
2656                        result, true, OPTAB_DIRECT);
2657   if (!temp)
2658     goto fail;
2659   if (temp != result)
2660     convert_move (result, temp, true);
2661
2662   emit_label (after_label);
2663   convert_move (target, result, true);
2664
2665   seq = get_insns ();
2666   end_sequence ();
2667
2668   add_equal_note (seq, target, CLZ, xop0, 0);
2669   emit_insn (seq);
2670   return target;
2671
2672  fail:
2673   end_sequence ();
2674   return 0;
2675 }
2676
2677 /* Try calculating
2678         (bswap:narrow x)
2679    as
2680         (lshiftrt:wide (bswap:wide x) ((width wide) - (width narrow))).  */
2681 static rtx
2682 widen_bswap (enum machine_mode mode, rtx op0, rtx target)
2683 {
2684   enum mode_class mclass = GET_MODE_CLASS (mode);
2685   enum machine_mode wider_mode;
2686   rtx x, last;
2687
2688   if (!CLASS_HAS_WIDER_MODES_P (mclass))
2689     return NULL_RTX;
2690
2691   for (wider_mode = GET_MODE_WIDER_MODE (mode);
2692        wider_mode != VOIDmode;
2693        wider_mode = GET_MODE_WIDER_MODE (wider_mode))
2694     if (optab_handler (bswap_optab, wider_mode)->insn_code != CODE_FOR_nothing)
2695       goto found;
2696   return NULL_RTX;
2697
2698  found:
2699   last = get_last_insn ();
2700
2701   x = widen_operand (op0, wider_mode, mode, true, true);
2702   x = expand_unop (wider_mode, bswap_optab, x, NULL_RTX, true);
2703
2704   if (x != 0)
2705     x = expand_shift (RSHIFT_EXPR, wider_mode, x,
2706                       size_int (GET_MODE_BITSIZE (wider_mode)
2707                                 - GET_MODE_BITSIZE (mode)),
2708                       NULL_RTX, true);
2709
2710   if (x != 0)
2711     {
2712       if (target == 0)
2713         target = gen_reg_rtx (mode);
2714       emit_move_insn (target, gen_lowpart (mode, x));
2715     }
2716   else
2717     delete_insns_since (last);
2718
2719   return target;
2720 }
2721
2722 /* Try calculating bswap as two bswaps of two word-sized operands.  */
2723
2724 static rtx
2725 expand_doubleword_bswap (enum machine_mode mode, rtx op, rtx target)
2726 {
2727   rtx t0, t1;
2728
2729   t1 = expand_unop (word_mode, bswap_optab,
2730                     operand_subword_force (op, 0, mode), NULL_RTX, true);
2731   t0 = expand_unop (word_mode, bswap_optab,
2732                     operand_subword_force (op, 1, mode), NULL_RTX, true);
2733
2734   if (target == 0)
2735     target = gen_reg_rtx (mode);
2736   if (REG_P (target))
2737     emit_clobber (target);
2738   emit_move_insn (operand_subword (target, 0, 1, mode), t0);
2739   emit_move_insn (operand_subword (target, 1, 1, mode), t1);
2740
2741   return target;
2742 }
2743
2744 /* Try calculating (parity x) as (and (popcount x) 1), where
2745    popcount can also be done in a wider mode.  */
2746 static rtx
2747 expand_parity (enum machine_mode mode, rtx op0, rtx target)
2748 {
2749   enum mode_class mclass = GET_MODE_CLASS (mode);
2750   if (CLASS_HAS_WIDER_MODES_P (mclass))
2751     {
2752       enum machine_mode wider_mode;
2753       for (wider_mode = mode; wider_mode != VOIDmode;
2754            wider_mode = GET_MODE_WIDER_MODE (wider_mode))
2755         {
2756           if (optab_handler (popcount_optab, wider_mode)->insn_code
2757               != CODE_FOR_nothing)
2758             {
2759               rtx xop0, temp, last;
2760
2761               last = get_last_insn ();
2762
2763               if (target == 0)
2764                 target = gen_reg_rtx (mode);
2765               xop0 = widen_operand (op0, wider_mode, mode, true, false);
2766               temp = expand_unop (wider_mode, popcount_optab, xop0, NULL_RTX,
2767                                   true);
2768               if (temp != 0)
2769                 temp = expand_binop (wider_mode, and_optab, temp, const1_rtx,
2770                                      target, true, OPTAB_DIRECT);
2771               if (temp == 0)
2772                 delete_insns_since (last);
2773
2774               return temp;
2775             }
2776         }
2777     }
2778   return 0;
2779 }
2780
2781 /* Try calculating ctz(x) as K - clz(x & -x) ,
2782    where K is GET_MODE_BITSIZE(mode) - 1.
2783
2784    Both __builtin_ctz and __builtin_clz are undefined at zero, so we
2785    don't have to worry about what the hardware does in that case.  (If
2786    the clz instruction produces the usual value at 0, which is K, the
2787    result of this code sequence will be -1; expand_ffs, below, relies
2788    on this.  It might be nice to have it be K instead, for consistency
2789    with the (very few) processors that provide a ctz with a defined
2790    value, but that would take one more instruction, and it would be
2791    less convenient for expand_ffs anyway.  */
2792
2793 static rtx
2794 expand_ctz (enum machine_mode mode, rtx op0, rtx target)
2795 {
2796   rtx seq, temp;
2797
2798   if (optab_handler (clz_optab, mode)->insn_code == CODE_FOR_nothing)
2799     return 0;
2800
2801   start_sequence ();
2802
2803   temp = expand_unop_direct (mode, neg_optab, op0, NULL_RTX, true);
2804   if (temp)
2805     temp = expand_binop (mode, and_optab, op0, temp, NULL_RTX,
2806                          true, OPTAB_DIRECT);
2807   if (temp)
2808     temp = expand_unop_direct (mode, clz_optab, temp, NULL_RTX, true);
2809   if (temp)
2810     temp = expand_binop (mode, sub_optab, GEN_INT (GET_MODE_BITSIZE (mode) - 1),
2811                          temp, target,
2812                          true, OPTAB_DIRECT);
2813   if (temp == 0)
2814     {
2815       end_sequence ();
2816       return 0;
2817     }
2818
2819   seq = get_insns ();
2820   end_sequence ();
2821
2822   add_equal_note (seq, temp, CTZ, op0, 0);
2823   emit_insn (seq);
2824   return temp;
2825 }
2826
2827
2828 /* Try calculating ffs(x) using ctz(x) if we have that instruction, or
2829    else with the sequence used by expand_clz.
2830
2831    The ffs builtin promises to return zero for a zero value and ctz/clz
2832    may have an undefined value in that case.  If they do not give us a
2833    convenient value, we have to generate a test and branch.  */
2834 static rtx
2835 expand_ffs (enum machine_mode mode, rtx op0, rtx target)
2836 {
2837   HOST_WIDE_INT val = 0;
2838   bool defined_at_zero = false;
2839   rtx temp, seq;
2840
2841   if (optab_handler (ctz_optab, mode)->insn_code != CODE_FOR_nothing)
2842     {
2843       start_sequence ();
2844
2845       temp = expand_unop_direct (mode, ctz_optab, op0, 0, true);
2846       if (!temp)
2847         goto fail;
2848
2849       defined_at_zero = (CTZ_DEFINED_VALUE_AT_ZERO (mode, val) == 2);
2850     }
2851   else if (optab_handler (clz_optab, mode)->insn_code != CODE_FOR_nothing)
2852     {
2853       start_sequence ();
2854       temp = expand_ctz (mode, op0, 0);
2855       if (!temp)
2856         goto fail;
2857
2858       if (CLZ_DEFINED_VALUE_AT_ZERO (mode, val) == 2)
2859         {
2860           defined_at_zero = true;
2861           val = (GET_MODE_BITSIZE (mode) - 1) - val;
2862         }
2863     }
2864   else
2865     return 0;
2866
2867   if (defined_at_zero && val == -1)
2868     /* No correction needed at zero.  */;
2869   else
2870     {
2871       /* We don't try to do anything clever with the situation found
2872          on some processors (eg Alpha) where ctz(0:mode) ==
2873          bitsize(mode).  If someone can think of a way to send N to -1
2874          and leave alone all values in the range 0..N-1 (where N is a
2875          power of two), cheaper than this test-and-branch, please add it.
2876
2877          The test-and-branch is done after the operation itself, in case
2878          the operation sets condition codes that can be recycled for this.
2879          (This is true on i386, for instance.)  */
2880
2881       rtx nonzero_label = gen_label_rtx ();
2882       emit_cmp_and_jump_insns (op0, CONST0_RTX (mode), NE, 0,
2883                                mode, true, nonzero_label);
2884
2885       convert_move (temp, GEN_INT (-1), false);
2886       emit_label (nonzero_label);
2887     }
2888
2889   /* temp now has a value in the range -1..bitsize-1.  ffs is supposed
2890      to produce a value in the range 0..bitsize.  */
2891   temp = expand_binop (mode, add_optab, temp, GEN_INT (1),
2892                        target, false, OPTAB_DIRECT);
2893   if (!temp)
2894     goto fail;
2895
2896   seq = get_insns ();
2897   end_sequence ();
2898
2899   add_equal_note (seq, temp, FFS, op0, 0);
2900   emit_insn (seq);
2901   return temp;
2902
2903  fail:
2904   end_sequence ();
2905   return 0;
2906 }
2907
2908 /* Extract the OMODE lowpart from VAL, which has IMODE.  Under certain
2909    conditions, VAL may already be a SUBREG against which we cannot generate
2910    a further SUBREG.  In this case, we expect forcing the value into a
2911    register will work around the situation.  */
2912
2913 static rtx
2914 lowpart_subreg_maybe_copy (enum machine_mode omode, rtx val,
2915                            enum machine_mode imode)
2916 {
2917   rtx ret;
2918   ret = lowpart_subreg (omode, val, imode);
2919   if (ret == NULL)
2920     {
2921       val = force_reg (imode, val);
2922       ret = lowpart_subreg (omode, val, imode);
2923       gcc_assert (ret != NULL);
2924     }
2925   return ret;
2926 }
2927
2928 /* Expand a floating point absolute value or negation operation via a
2929    logical operation on the sign bit.  */
2930
2931 static rtx
2932 expand_absneg_bit (enum rtx_code code, enum machine_mode mode,
2933                    rtx op0, rtx target)
2934 {
2935   const struct real_format *fmt;
2936   int bitpos, word, nwords, i;
2937   enum machine_mode imode;
2938   HOST_WIDE_INT hi, lo;
2939   rtx temp, insns;
2940
2941   /* The format has to have a simple sign bit.  */
2942   fmt = REAL_MODE_FORMAT (mode);
2943   if (fmt == NULL)
2944     return NULL_RTX;
2945
2946   bitpos = fmt->signbit_rw;
2947   if (bitpos < 0)
2948     return NULL_RTX;
2949
2950   /* Don't create negative zeros if the format doesn't support them.  */
2951   if (code == NEG && !fmt->has_signed_zero)
2952     return NULL_RTX;
2953
2954   if (GET_MODE_SIZE (mode) <= UNITS_PER_WORD)
2955     {
2956       imode = int_mode_for_mode (mode);
2957       if (imode == BLKmode)
2958         return NULL_RTX;
2959       word = 0;
2960       nwords = 1;
2961     }
2962   else
2963     {
2964       imode = word_mode;
2965
2966       if (FLOAT_WORDS_BIG_ENDIAN)
2967         word = (GET_MODE_BITSIZE (mode) - bitpos) / BITS_PER_WORD;
2968       else
2969         word = bitpos / BITS_PER_WORD;
2970       bitpos = bitpos % BITS_PER_WORD;
2971       nwords = (GET_MODE_BITSIZE (mode) + BITS_PER_WORD - 1) / BITS_PER_WORD;
2972     }
2973
2974   if (bitpos < HOST_BITS_PER_WIDE_INT)
2975     {
2976       hi = 0;
2977       lo = (HOST_WIDE_INT) 1 << bitpos;
2978     }
2979   else
2980     {
2981       hi = (HOST_WIDE_INT) 1 << (bitpos - HOST_BITS_PER_WIDE_INT);
2982       lo = 0;
2983     }
2984   if (code == ABS)
2985     lo = ~lo, hi = ~hi;
2986
2987   if (target == 0 || target == op0)
2988     target = gen_reg_rtx (mode);
2989
2990   if (nwords > 1)
2991     {
2992       start_sequence ();
2993
2994       for (i = 0; i < nwords; ++i)
2995         {
2996           rtx targ_piece = operand_subword (target, i, 1, mode);
2997           rtx op0_piece = operand_subword_force (op0, i, mode);
2998
2999           if (i == word)
3000             {
3001               temp = expand_binop (imode, code == ABS ? and_optab : xor_optab,
3002                                    op0_piece,
3003                                    immed_double_const (lo, hi, imode),
3004                                    targ_piece, 1, OPTAB_LIB_WIDEN);
3005               if (temp != targ_piece)
3006                 emit_move_insn (targ_piece, temp);
3007             }
3008           else
3009             emit_move_insn (targ_piece, op0_piece);
3010         }
3011
3012       insns = get_insns ();
3013       end_sequence ();
3014
3015       emit_insn (insns);
3016     }
3017   else
3018     {
3019       temp = expand_binop (imode, code == ABS ? and_optab : xor_optab,
3020                            gen_lowpart (imode, op0),
3021                            immed_double_const (lo, hi, imode),
3022                            gen_lowpart (imode, target), 1, OPTAB_LIB_WIDEN);
3023       target = lowpart_subreg_maybe_copy (mode, temp, imode);
3024
3025       set_unique_reg_note (get_last_insn (), REG_EQUAL,
3026                            gen_rtx_fmt_e (code, mode, copy_rtx (op0)));
3027     }
3028
3029   return target;
3030 }
3031
3032 /* As expand_unop, but will fail rather than attempt the operation in a
3033    different mode or with a libcall.  */
3034 static rtx
3035 expand_unop_direct (enum machine_mode mode, optab unoptab, rtx op0, rtx target,
3036              int unsignedp)
3037 {
3038   if (optab_handler (unoptab, mode)->insn_code != CODE_FOR_nothing)
3039     {
3040       int icode = (int) optab_handler (unoptab, mode)->insn_code;
3041       enum machine_mode mode0 = insn_data[icode].operand[1].mode;
3042       rtx xop0 = op0;
3043       rtx last = get_last_insn ();
3044       rtx pat, temp;
3045
3046       if (target)
3047         temp = target;
3048       else
3049         temp = gen_reg_rtx (mode);
3050
3051       if (GET_MODE (xop0) != VOIDmode
3052           && GET_MODE (xop0) != mode0)
3053         xop0 = convert_to_mode (mode0, xop0, unsignedp);
3054
3055       /* Now, if insn doesn't accept our operand, put it into a pseudo.  */
3056
3057       if (!insn_data[icode].operand[1].predicate (xop0, mode0))
3058         xop0 = copy_to_mode_reg (mode0, xop0);
3059
3060       if (!insn_data[icode].operand[0].predicate (temp, mode))
3061         temp = gen_reg_rtx (mode);
3062
3063       pat = GEN_FCN (icode) (temp, xop0);
3064       if (pat)
3065         {
3066           if (INSN_P (pat) && NEXT_INSN (pat) != NULL_RTX
3067               && ! add_equal_note (pat, temp, unoptab->code, xop0, NULL_RTX))
3068             {
3069               delete_insns_since (last);
3070               return expand_unop (mode, unoptab, op0, NULL_RTX, unsignedp);
3071             }
3072
3073           emit_insn (pat);
3074
3075           return temp;
3076         }
3077       else
3078         delete_insns_since (last);
3079     }
3080   return 0;
3081 }
3082
3083 /* Generate code to perform an operation specified by UNOPTAB
3084    on operand OP0, with result having machine-mode MODE.
3085
3086    UNSIGNEDP is for the case where we have to widen the operands
3087    to perform the operation.  It says to use zero-extension.
3088
3089    If TARGET is nonzero, the value
3090    is generated there, if it is convenient to do so.
3091    In all cases an rtx is returned for the locus of the value;
3092    this may or may not be TARGET.  */
3093
3094 rtx
3095 expand_unop (enum machine_mode mode, optab unoptab, rtx op0, rtx target,
3096              int unsignedp)
3097 {
3098   enum mode_class mclass = GET_MODE_CLASS (mode);
3099   enum machine_mode wider_mode;
3100   rtx temp;
3101   rtx libfunc;
3102
3103   temp = expand_unop_direct (mode, unoptab, op0, target, unsignedp);
3104   if (temp)
3105     return temp;
3106
3107   /* It can't be done in this mode.  Can we open-code it in a wider mode?  */
3108
3109   /* Widening (or narrowing) clz needs special treatment.  */
3110   if (unoptab == clz_optab)
3111     {
3112       temp = widen_clz (mode, op0, target);
3113       if (temp)
3114         return temp;
3115
3116       if (GET_MODE_SIZE (mode) == 2 * UNITS_PER_WORD
3117           && optab_handler (unoptab, word_mode)->insn_code != CODE_FOR_nothing)
3118         {
3119           temp = expand_doubleword_clz (mode, op0, target);
3120           if (temp)
3121             return temp;
3122         }
3123
3124         goto try_libcall;
3125     }
3126
3127   /* Widening (or narrowing) bswap needs special treatment.  */
3128   if (unoptab == bswap_optab)
3129     {
3130       temp = widen_bswap (mode, op0, target);
3131       if (temp)
3132         return temp;
3133
3134       if (GET_MODE_SIZE (mode) == 2 * UNITS_PER_WORD
3135           && optab_handler (unoptab, word_mode)->insn_code != CODE_FOR_nothing)
3136         {
3137           temp = expand_doubleword_bswap (mode, op0, target);
3138           if (temp)
3139             return temp;
3140         }
3141
3142       goto try_libcall;
3143     }
3144
3145   if (CLASS_HAS_WIDER_MODES_P (mclass))
3146     for (wider_mode = GET_MODE_WIDER_MODE (mode);
3147          wider_mode != VOIDmode;
3148          wider_mode = GET_MODE_WIDER_MODE (wider_mode))
3149       {
3150         if (optab_handler (unoptab, wider_mode)->insn_code != CODE_FOR_nothing)
3151           {
3152             rtx xop0 = op0;
3153             rtx last = get_last_insn ();
3154
3155             /* For certain operations, we need not actually extend
3156                the narrow operand, as long as we will truncate the
3157                results to the same narrowness.  */
3158
3159             xop0 = widen_operand (xop0, wider_mode, mode, unsignedp,
3160                                   (unoptab == neg_optab
3161                                    || unoptab == one_cmpl_optab)
3162                                   && mclass == MODE_INT);
3163
3164             temp = expand_unop (wider_mode, unoptab, xop0, NULL_RTX,
3165                                 unsignedp);
3166
3167             if (temp)
3168               {
3169                 if (mclass != MODE_INT
3170                     || !TRULY_NOOP_TRUNCATION (GET_MODE_BITSIZE (mode),
3171                                                GET_MODE_BITSIZE (wider_mode)))
3172                   {
3173                     if (target == 0)
3174                       target = gen_reg_rtx (mode);
3175                     convert_move (target, temp, 0);
3176                     return target;
3177                   }
3178                 else
3179                   return gen_lowpart (mode, temp);
3180               }
3181             else
3182               delete_insns_since (last);
3183           }
3184       }
3185
3186   /* These can be done a word at a time.  */
3187   if (unoptab == one_cmpl_optab
3188       && mclass == MODE_INT
3189       && GET_MODE_SIZE (mode) > UNITS_PER_WORD
3190       && optab_handler (unoptab, word_mode)->insn_code != CODE_FOR_nothing)
3191     {
3192       int i;
3193       rtx insns;
3194
3195       if (target == 0 || target == op0)
3196         target = gen_reg_rtx (mode);
3197
3198       start_sequence ();
3199
3200       /* Do the actual arithmetic.  */
3201       for (i = 0; i < GET_MODE_BITSIZE (mode) / BITS_PER_WORD; i++)
3202         {
3203           rtx target_piece = operand_subword (target, i, 1, mode);
3204           rtx x = expand_unop (word_mode, unoptab,
3205                                operand_subword_force (op0, i, mode),
3206                                target_piece, unsignedp);
3207
3208           if (target_piece != x)
3209             emit_move_insn (target_piece, x);
3210         }
3211
3212       insns = get_insns ();
3213       end_sequence ();
3214
3215       emit_insn (insns);
3216       return target;
3217     }
3218
3219   if (unoptab->code == NEG)
3220     {
3221       /* Try negating floating point values by flipping the sign bit.  */
3222       if (SCALAR_FLOAT_MODE_P (mode))
3223         {
3224           temp = expand_absneg_bit (NEG, mode, op0, target);
3225           if (temp)
3226             return temp;
3227         }
3228
3229       /* If there is no negation pattern, and we have no negative zero,
3230          try subtracting from zero.  */
3231       if (!HONOR_SIGNED_ZEROS (mode))
3232         {
3233           temp = expand_binop (mode, (unoptab == negv_optab
3234                                       ? subv_optab : sub_optab),
3235                                CONST0_RTX (mode), op0, target,
3236                                unsignedp, OPTAB_DIRECT);
3237           if (temp)
3238             return temp;
3239         }
3240     }
3241
3242   /* Try calculating parity (x) as popcount (x) % 2.  */
3243   if (unoptab == parity_optab)
3244     {
3245       temp = expand_parity (mode, op0, target);
3246       if (temp)
3247         return temp;
3248     }
3249
3250   /* Try implementing ffs (x) in terms of clz (x).  */
3251   if (unoptab == ffs_optab)
3252     {
3253       temp = expand_ffs (mode, op0, target);
3254       if (temp)
3255         return temp;
3256     }
3257
3258   /* Try implementing ctz (x) in terms of clz (x).  */
3259   if (unoptab == ctz_optab)
3260     {
3261       temp = expand_ctz (mode, op0, target);
3262       if (temp)
3263         return temp;
3264     }
3265
3266  try_libcall:
3267   /* Now try a library call in this mode.  */
3268   libfunc = optab_libfunc (unoptab, mode);
3269   if (libfunc)
3270     {
3271       rtx insns;
3272       rtx value;
3273       rtx eq_value;
3274       enum machine_mode outmode = mode;
3275
3276       /* All of these functions return small values.  Thus we choose to
3277          have them return something that isn't a double-word.  */
3278       if (unoptab == ffs_optab || unoptab == clz_optab || unoptab == ctz_optab
3279           || unoptab == popcount_optab || unoptab == parity_optab)
3280         outmode
3281           = GET_MODE (hard_libcall_value (TYPE_MODE (integer_type_node),
3282                                           optab_libfunc (unoptab, mode)));
3283
3284       start_sequence ();
3285
3286       /* Pass 1 for NO_QUEUE so we don't lose any increments
3287          if the libcall is cse'd or moved.  */
3288       value = emit_library_call_value (libfunc, NULL_RTX, LCT_CONST, outmode,
3289                                        1, op0, mode);
3290       insns = get_insns ();
3291       end_sequence ();
3292
3293       target = gen_reg_rtx (outmode);
3294       eq_value = gen_rtx_fmt_e (unoptab->code, mode, op0);
3295       if (GET_MODE_SIZE (outmode) < GET_MODE_SIZE (mode))
3296         eq_value = simplify_gen_unary (TRUNCATE, outmode, eq_value, mode);
3297       else if (GET_MODE_SIZE (outmode) > GET_MODE_SIZE (mode))
3298         eq_value = simplify_gen_unary (ZERO_EXTEND, outmode, eq_value, mode);
3299       emit_libcall_block (insns, target, value, eq_value);
3300
3301       return target;
3302     }
3303
3304   /* It can't be done in this mode.  Can we do it in a wider mode?  */
3305
3306   if (CLASS_HAS_WIDER_MODES_P (mclass))
3307     {
3308       for (wider_mode = GET_MODE_WIDER_MODE (mode);
3309            wider_mode != VOIDmode;
3310            wider_mode = GET_MODE_WIDER_MODE (wider_mode))
3311         {
3312           if ((optab_handler (unoptab, wider_mode)->insn_code
3313                != CODE_FOR_nothing)
3314               || optab_libfunc (unoptab, wider_mode))
3315             {
3316               rtx xop0 = op0;
3317               rtx last = get_last_insn ();
3318
3319               /* For certain operations, we need not actually extend
3320                  the narrow operand, as long as we will truncate the
3321                  results to the same narrowness.  */
3322
3323               xop0 = widen_operand (xop0, wider_mode, mode, unsignedp,
3324                                     (unoptab == neg_optab
3325                                      || unoptab == one_cmpl_optab)
3326                                     && mclass == MODE_INT);
3327
3328               temp = expand_unop (wider_mode, unoptab, xop0, NULL_RTX,
3329                                   unsignedp);
3330
3331               /* If we are generating clz using wider mode, adjust the
3332                  result.  */
3333               if (unoptab == clz_optab && temp != 0)
3334                 temp = expand_binop (wider_mode, sub_optab, temp,
3335                                      GEN_INT (GET_MODE_BITSIZE (wider_mode)
3336                                               - GET_MODE_BITSIZE (mode)),
3337                                      target, true, OPTAB_DIRECT);
3338
3339               if (temp)
3340                 {
3341                   if (mclass != MODE_INT)
3342                     {
3343                       if (target == 0)
3344                         target = gen_reg_rtx (mode);
3345                       convert_move (target, temp, 0);
3346                       return target;
3347                     }
3348                   else
3349                     return gen_lowpart (mode, temp);
3350                 }
3351               else
3352                 delete_insns_since (last);
3353             }
3354         }
3355     }
3356
3357   /* One final attempt at implementing negation via subtraction,
3358      this time allowing widening of the operand.  */
3359   if (unoptab->code == NEG && !HONOR_SIGNED_ZEROS (mode))
3360     {
3361       rtx temp;
3362       temp = expand_binop (mode,
3363                            unoptab == negv_optab ? subv_optab : sub_optab,
3364                            CONST0_RTX (mode), op0,
3365                            target, unsignedp, OPTAB_LIB_WIDEN);
3366       if (temp)
3367         return temp;
3368     }
3369
3370   return 0;
3371 }
3372 \f
3373 /* Emit code to compute the absolute value of OP0, with result to
3374    TARGET if convenient.  (TARGET may be 0.)  The return value says
3375    where the result actually is to be found.
3376
3377    MODE is the mode of the operand; the mode of the result is
3378    different but can be deduced from MODE.
3379
3380  */
3381
3382 rtx
3383 expand_abs_nojump (enum machine_mode mode, rtx op0, rtx target,
3384                    int result_unsignedp)
3385 {
3386   rtx temp;
3387
3388   if (! flag_trapv)
3389     result_unsignedp = 1;
3390
3391   /* First try to do it with a special abs instruction.  */
3392   temp = expand_unop (mode, result_unsignedp ? abs_optab : absv_optab,
3393                       op0, target, 0);
3394   if (temp != 0)
3395     return temp;
3396
3397   /* For floating point modes, try clearing the sign bit.  */
3398   if (SCALAR_FLOAT_MODE_P (mode))
3399     {
3400       temp = expand_absneg_bit (ABS, mode, op0, target);
3401       if (temp)
3402         return temp;
3403     }
3404
3405   /* If we have a MAX insn, we can do this as MAX (x, -x).  */
3406   if (optab_handler (smax_optab, mode)->insn_code != CODE_FOR_nothing
3407       && !HONOR_SIGNED_ZEROS (mode))
3408     {
3409       rtx last = get_last_insn ();
3410
3411       temp = expand_unop (mode, neg_optab, op0, NULL_RTX, 0);
3412       if (temp != 0)
3413         temp = expand_binop (mode, smax_optab, op0, temp, target, 0,
3414                              OPTAB_WIDEN);
3415
3416       if (temp != 0)
3417         return temp;
3418
3419       delete_insns_since (last);
3420     }
3421
3422   /* If this machine has expensive jumps, we can do integer absolute
3423      value of X as (((signed) x >> (W-1)) ^ x) - ((signed) x >> (W-1)),
3424      where W is the width of MODE.  */
3425
3426   if (GET_MODE_CLASS (mode) == MODE_INT
3427       && BRANCH_COST (optimize_insn_for_speed_p (),
3428                       false) >= 2)
3429     {
3430       rtx extended = expand_shift (RSHIFT_EXPR, mode, op0,
3431                                    size_int (GET_MODE_BITSIZE (mode) - 1),
3432                                    NULL_RTX, 0);
3433
3434       temp = expand_binop (mode, xor_optab, extended, op0, target, 0,
3435                            OPTAB_LIB_WIDEN);
3436       if (temp != 0)
3437         temp = expand_binop (mode, result_unsignedp ? sub_optab : subv_optab,
3438                              temp, extended, target, 0, OPTAB_LIB_WIDEN);
3439
3440       if (temp != 0)
3441         return temp;
3442     }
3443
3444   return NULL_RTX;
3445 }
3446
3447 rtx
3448 expand_abs (enum machine_mode mode, rtx op0, rtx target,
3449             int result_unsignedp, int safe)
3450 {
3451   rtx temp, op1;
3452
3453   if (! flag_trapv)
3454     result_unsignedp = 1;
3455
3456   temp = expand_abs_nojump (mode, op0, target, result_unsignedp);
3457   if (temp != 0)
3458     return temp;
3459
3460   /* If that does not win, use conditional jump and negate.  */
3461
3462   /* It is safe to use the target if it is the same
3463      as the source if this is also a pseudo register */
3464   if (op0 == target && REG_P (op0)
3465       && REGNO (op0) >= FIRST_PSEUDO_REGISTER)
3466     safe = 1;
3467
3468   op1 = gen_label_rtx ();
3469   if (target == 0 || ! safe
3470       || GET_MODE (target) != mode
3471       || (MEM_P (target) && MEM_VOLATILE_P (target))
3472       || (REG_P (target)
3473           && REGNO (target) < FIRST_PSEUDO_REGISTER))
3474     target = gen_reg_rtx (mode);
3475
3476   emit_move_insn (target, op0);
3477   NO_DEFER_POP;
3478
3479   do_compare_rtx_and_jump (target, CONST0_RTX (mode), GE, 0, mode,
3480                            NULL_RTX, NULL_RTX, op1);
3481
3482   op0 = expand_unop (mode, result_unsignedp ? neg_optab : negv_optab,
3483                      target, target, 0);
3484   if (op0 != target)
3485     emit_move_insn (target, op0);
3486   emit_label (op1);
3487   OK_DEFER_POP;
3488   return target;
3489 }
3490
3491 /* A subroutine of expand_copysign, perform the copysign operation using the
3492    abs and neg primitives advertised to exist on the target.  The assumption
3493    is that we have a split register file, and leaving op0 in fp registers,
3494    and not playing with subregs so much, will help the register allocator.  */
3495
3496 static rtx
3497 expand_copysign_absneg (enum machine_mode mode, rtx op0, rtx op1, rtx target,
3498                         int bitpos, bool op0_is_abs)
3499 {
3500   enum machine_mode imode;
3501   int icode;
3502   rtx sign, label;
3503
3504   if (target == op1)
3505     target = NULL_RTX;
3506
3507   /* Check if the back end provides an insn that handles signbit for the
3508      argument's mode. */
3509   icode = (int) signbit_optab->handlers [(int) mode].insn_code;
3510   if (icode != CODE_FOR_nothing)
3511     {
3512       imode = insn_data[icode].operand[0].mode;
3513       sign = gen_reg_rtx (imode);
3514       emit_unop_insn (icode, sign, op1, UNKNOWN);
3515     }
3516   else
3517     {
3518       HOST_WIDE_INT hi, lo;
3519
3520       if (GET_MODE_SIZE (mode) <= UNITS_PER_WORD)
3521         {
3522           imode = int_mode_for_mode (mode);
3523           if (imode == BLKmode)
3524             return NULL_RTX;
3525           op1 = gen_lowpart (imode, op1);
3526         }
3527       else
3528         {
3529           int word;
3530
3531           imode = word_mode;
3532           if (FLOAT_WORDS_BIG_ENDIAN)
3533             word = (GET_MODE_BITSIZE (mode) - bitpos) / BITS_PER_WORD;
3534           else
3535             word = bitpos / BITS_PER_WORD;
3536           bitpos = bitpos % BITS_PER_WORD;
3537           op1 = operand_subword_force (op1, word, mode);
3538         }
3539
3540       if (bitpos < HOST_BITS_PER_WIDE_INT)
3541         {
3542           hi = 0;
3543           lo = (HOST_WIDE_INT) 1 << bitpos;
3544         }
3545       else
3546         {
3547           hi = (HOST_WIDE_INT) 1 << (bitpos - HOST_BITS_PER_WIDE_INT);
3548           lo = 0;
3549         }
3550
3551       sign = gen_reg_rtx (imode);
3552       sign = expand_binop (imode, and_optab, op1,
3553                            immed_double_const (lo, hi, imode),
3554                            NULL_RTX, 1, OPTAB_LIB_WIDEN);
3555     }
3556
3557   if (!op0_is_abs)
3558     {
3559       op0 = expand_unop (mode, abs_optab, op0, target, 0);
3560       if (op0 == NULL)
3561         return NULL_RTX;
3562       target = op0;
3563     }
3564   else
3565     {
3566       if (target == NULL_RTX)
3567         target = copy_to_reg (op0);
3568       else
3569         emit_move_insn (target, op0);
3570     }
3571
3572   label = gen_label_rtx ();
3573   emit_cmp_and_jump_insns (sign, const0_rtx, EQ, NULL_RTX, imode, 1, label);
3574
3575   if (GET_CODE (op0) == CONST_DOUBLE)
3576     op0 = simplify_unary_operation (NEG, mode, op0, mode);
3577   else
3578     op0 = expand_unop (mode, neg_optab, op0, target, 0);
3579   if (op0 != target)
3580     emit_move_insn (target, op0);
3581
3582   emit_label (label);
3583
3584   return target;
3585 }
3586
3587
3588 /* A subroutine of expand_copysign, perform the entire copysign operation
3589    with integer bitmasks.  BITPOS is the position of the sign bit; OP0_IS_ABS
3590    is true if op0 is known to have its sign bit clear.  */
3591
3592 static rtx
3593 expand_copysign_bit (enum machine_mode mode, rtx op0, rtx op1, rtx target,
3594                      int bitpos, bool op0_is_abs)
3595 {
3596   enum machine_mode imode;
3597   HOST_WIDE_INT hi, lo;
3598   int word, nwords, i;
3599   rtx temp, insns;
3600
3601   if (GET_MODE_SIZE (mode) <= UNITS_PER_WORD)
3602     {
3603       imode = int_mode_for_mode (mode);
3604       if (imode == BLKmode)
3605         return NULL_RTX;
3606       word = 0;
3607       nwords = 1;
3608     }
3609   else
3610     {
3611       imode = word_mode;
3612
3613       if (FLOAT_WORDS_BIG_ENDIAN)
3614         word = (GET_MODE_BITSIZE (mode) - bitpos) / BITS_PER_WORD;
3615       else
3616         word = bitpos / BITS_PER_WORD;
3617       bitpos = bitpos % BITS_PER_WORD;
3618       nwords = (GET_MODE_BITSIZE (mode) + BITS_PER_WORD - 1) / BITS_PER_WORD;
3619     }
3620
3621   if (bitpos < HOST_BITS_PER_WIDE_INT)
3622     {
3623       hi = 0;
3624       lo = (HOST_WIDE_INT) 1 << bitpos;
3625     }
3626   else
3627     {
3628       hi = (HOST_WIDE_INT) 1 << (bitpos - HOST_BITS_PER_WIDE_INT);
3629       lo = 0;
3630     }
3631
3632   if (target == 0 || target == op0 || target == op1)
3633     target = gen_reg_rtx (mode);
3634
3635   if (nwords > 1)
3636     {
3637       start_sequence ();
3638
3639       for (i = 0; i < nwords; ++i)
3640         {
3641           rtx targ_piece = operand_subword (target, i, 1, mode);
3642           rtx op0_piece = operand_subword_force (op0, i, mode);
3643
3644           if (i == word)
3645             {
3646               if (!op0_is_abs)
3647                 op0_piece = expand_binop (imode, and_optab, op0_piece,
3648                                           immed_double_const (~lo, ~hi, imode),
3649                                           NULL_RTX, 1, OPTAB_LIB_WIDEN);
3650
3651               op1 = expand_binop (imode, and_optab,
3652                                   operand_subword_force (op1, i, mode),
3653                                   immed_double_const (lo, hi, imode),
3654                                   NULL_RTX, 1, OPTAB_LIB_WIDEN);
3655
3656               temp = expand_binop (imode, ior_optab, op0_piece, op1,
3657                                    targ_piece, 1, OPTAB_LIB_WIDEN);
3658               if (temp != targ_piece)
3659                 emit_move_insn (targ_piece, temp);
3660             }
3661           else
3662             emit_move_insn (targ_piece, op0_piece);
3663         }
3664
3665       insns = get_insns ();
3666       end_sequence ();
3667
3668       emit_insn (insns);
3669     }
3670   else
3671     {
3672       op1 = expand_binop (imode, and_optab, gen_lowpart (imode, op1),
3673                           immed_double_const (lo, hi, imode),
3674                           NULL_RTX, 1, OPTAB_LIB_WIDEN);
3675
3676       op0 = gen_lowpart (imode, op0);
3677       if (!op0_is_abs)
3678         op0 = expand_binop (imode, and_optab, op0,
3679                             immed_double_const (~lo, ~hi, imode),
3680                             NULL_RTX, 1, OPTAB_LIB_WIDEN);
3681
3682       temp = expand_binop (imode, ior_optab, op0, op1,
3683                            gen_lowpart (imode, target), 1, OPTAB_LIB_WIDEN);
3684       target = lowpart_subreg_maybe_copy (mode, temp, imode);
3685     }
3686
3687   return target;
3688 }
3689
3690 /* Expand the C99 copysign operation.  OP0 and OP1 must be the same
3691    scalar floating point mode.  Return NULL if we do not know how to
3692    expand the operation inline.  */
3693
3694 rtx
3695 expand_copysign (rtx op0, rtx op1, rtx target)
3696 {
3697   enum machine_mode mode = GET_MODE (op0);
3698   const struct real_format *fmt;
3699   bool op0_is_abs;
3700   rtx temp;
3701
3702   gcc_assert (SCALAR_FLOAT_MODE_P (mode));
3703   gcc_assert (GET_MODE (op1) == mode);
3704
3705   /* First try to do it with a special instruction.  */
3706   temp = expand_binop (mode, copysign_optab, op0, op1,
3707                        target, 0, OPTAB_DIRECT);
3708   if (temp)
3709     return temp;
3710
3711   fmt = REAL_MODE_FORMAT (mode);
3712   if (fmt == NULL || !fmt->has_signed_zero)
3713     return NULL_RTX;
3714
3715   op0_is_abs = false;
3716   if (GET_CODE (op0) == CONST_DOUBLE)
3717     {
3718       if (real_isneg (CONST_DOUBLE_REAL_VALUE (op0)))
3719         op0 = simplify_unary_operation (ABS, mode, op0, mode);
3720       op0_is_abs = true;
3721     }
3722
3723   if (fmt->signbit_ro >= 0
3724       && (GET_CODE (op0) == CONST_DOUBLE
3725           || (optab_handler (neg_optab, mode)->insn_code != CODE_FOR_nothing
3726               && optab_handler (abs_optab, mode)->insn_code != CODE_FOR_nothing)))
3727     {
3728       temp = expand_copysign_absneg (mode, op0, op1, target,
3729                                      fmt->signbit_ro, op0_is_abs);
3730       if (temp)
3731         return temp;
3732     }
3733
3734   if (fmt->signbit_rw < 0)
3735     return NULL_RTX;
3736   return expand_copysign_bit (mode, op0, op1, target,
3737                               fmt->signbit_rw, op0_is_abs);
3738 }
3739 \f
3740 /* Generate an instruction whose insn-code is INSN_CODE,
3741    with two operands: an output TARGET and an input OP0.
3742    TARGET *must* be nonzero, and the output is always stored there.
3743    CODE is an rtx code such that (CODE OP0) is an rtx that describes
3744    the value that is stored into TARGET.
3745
3746    Return false if expansion failed.  */
3747
3748 bool
3749 maybe_emit_unop_insn (int icode, rtx target, rtx op0, enum rtx_code code)
3750 {
3751   rtx temp;
3752   enum machine_mode mode0 = insn_data[icode].operand[1].mode;
3753   rtx pat;
3754   rtx last = get_last_insn ();
3755
3756   temp = target;
3757
3758   /* Now, if insn does not accept our operands, put them into pseudos.  */
3759
3760   if (!insn_data[icode].operand[1].predicate (op0, mode0))
3761     op0 = copy_to_mode_reg (mode0, op0);
3762
3763   if (!insn_data[icode].operand[0].predicate (temp, GET_MODE (temp)))
3764     temp = gen_reg_rtx (GET_MODE (temp));
3765
3766   pat = GEN_FCN (icode) (temp, op0);
3767   if (!pat)
3768     {
3769       delete_insns_since (last);
3770       return false;
3771     }
3772
3773   if (INSN_P (pat) && NEXT_INSN (pat) != NULL_RTX && code != UNKNOWN)
3774     add_equal_note (pat, temp, code, op0, NULL_RTX);
3775
3776   emit_insn (pat);
3777
3778   if (temp != target)
3779     emit_move_insn (target, temp);
3780   return true;
3781 }
3782 /* Generate an instruction whose insn-code is INSN_CODE,
3783    with two operands: an output TARGET and an input OP0.
3784    TARGET *must* be nonzero, and the output is always stored there.
3785    CODE is an rtx code such that (CODE OP0) is an rtx that describes
3786    the value that is stored into TARGET.  */
3787
3788 void
3789 emit_unop_insn (int icode, rtx target, rtx op0, enum rtx_code code)
3790 {
3791   bool ok = maybe_emit_unop_insn (icode, target, op0, code);
3792   gcc_assert (ok);
3793 }
3794 \f
3795 struct no_conflict_data
3796 {
3797   rtx target, first, insn;
3798   bool must_stay;
3799 };
3800
3801 /* Called via note_stores by emit_libcall_block.  Set P->must_stay if
3802    the currently examined clobber / store has to stay in the list of
3803    insns that constitute the actual libcall block.  */
3804 static void
3805 no_conflict_move_test (rtx dest, const_rtx set, void *p0)
3806 {
3807   struct no_conflict_data *p= (struct no_conflict_data *) p0;
3808
3809   /* If this inns directly contributes to setting the target, it must stay.  */
3810   if (reg_overlap_mentioned_p (p->target, dest))
3811     p->must_stay = true;
3812   /* If we haven't committed to keeping any other insns in the list yet,
3813      there is nothing more to check.  */
3814   else if (p->insn == p->first)
3815     return;
3816   /* If this insn sets / clobbers a register that feeds one of the insns
3817      already in the list, this insn has to stay too.  */
3818   else if (reg_overlap_mentioned_p (dest, PATTERN (p->first))
3819            || (CALL_P (p->first) && (find_reg_fusage (p->first, USE, dest)))
3820            || reg_used_between_p (dest, p->first, p->insn)
3821            /* Likewise if this insn depends on a register set by a previous
3822               insn in the list, or if it sets a result (presumably a hard
3823               register) that is set or clobbered by a previous insn.
3824               N.B. the modified_*_p (SET_DEST...) tests applied to a MEM
3825               SET_DEST perform the former check on the address, and the latter
3826               check on the MEM.  */
3827            || (GET_CODE (set) == SET
3828                && (modified_in_p (SET_SRC (set), p->first)
3829                    || modified_in_p (SET_DEST (set), p->first)
3830                    || modified_between_p (SET_SRC (set), p->first, p->insn)
3831                    || modified_between_p (SET_DEST (set), p->first, p->insn))))
3832     p->must_stay = true;
3833 }
3834
3835 \f
3836 /* Emit code to make a call to a constant function or a library call.
3837
3838    INSNS is a list containing all insns emitted in the call.
3839    These insns leave the result in RESULT.  Our block is to copy RESULT
3840    to TARGET, which is logically equivalent to EQUIV.
3841
3842    We first emit any insns that set a pseudo on the assumption that these are
3843    loading constants into registers; doing so allows them to be safely cse'ed
3844    between blocks.  Then we emit all the other insns in the block, followed by
3845    an insn to move RESULT to TARGET.  This last insn will have a REQ_EQUAL
3846    note with an operand of EQUIV.  */
3847
3848 void
3849 emit_libcall_block (rtx insns, rtx target, rtx result, rtx equiv)
3850 {
3851   rtx final_dest = target;
3852   rtx prev, next, last, insn;
3853
3854   /* If this is a reg with REG_USERVAR_P set, then it could possibly turn
3855      into a MEM later.  Protect the libcall block from this change.  */
3856   if (! REG_P (target) || REG_USERVAR_P (target))
3857     target = gen_reg_rtx (GET_MODE (target));
3858
3859   /* If we're using non-call exceptions, a libcall corresponding to an
3860      operation that may trap may also trap.  */
3861   if (flag_non_call_exceptions && may_trap_p (equiv))
3862     {
3863       for (insn = insns; insn; insn = NEXT_INSN (insn))
3864         if (CALL_P (insn))
3865           {
3866             rtx note = find_reg_note (insn, REG_EH_REGION, NULL_RTX);
3867
3868             if (note != 0 && INTVAL (XEXP (note, 0)) <= 0)
3869               remove_note (insn, note);
3870           }
3871     }
3872   else
3873   /* look for any CALL_INSNs in this sequence, and attach a REG_EH_REGION
3874      reg note to indicate that this call cannot throw or execute a nonlocal
3875      goto (unless there is already a REG_EH_REGION note, in which case
3876      we update it).  */
3877     for (insn = insns; insn; insn = NEXT_INSN (insn))
3878       if (CALL_P (insn))
3879         {
3880           rtx note = find_reg_note (insn, REG_EH_REGION, NULL_RTX);
3881
3882           if (note != 0)
3883             XEXP (note, 0) = constm1_rtx;
3884           else
3885             add_reg_note (insn, REG_EH_REGION, constm1_rtx);
3886         }
3887
3888   /* First emit all insns that set pseudos.  Remove them from the list as
3889      we go.  Avoid insns that set pseudos which were referenced in previous
3890      insns.  These can be generated by move_by_pieces, for example,
3891      to update an address.  Similarly, avoid insns that reference things
3892      set in previous insns.  */
3893
3894   for (insn = insns; insn; insn = next)
3895     {
3896       rtx set = single_set (insn);
3897
3898       next = NEXT_INSN (insn);
3899
3900       if (set != 0 && REG_P (SET_DEST (set))
3901           && REGNO (SET_DEST (set)) >= FIRST_PSEUDO_REGISTER)
3902         {
3903           struct no_conflict_data data;
3904
3905           data.target = const0_rtx;
3906           data.first = insns;
3907           data.insn = insn;
3908           data.must_stay = 0;
3909           note_stores (PATTERN (insn), no_conflict_move_test, &data);
3910           if (! data.must_stay)
3911             {
3912               if (PREV_INSN (insn))
3913                 NEXT_INSN (PREV_INSN (insn)) = next;
3914               else
3915                 insns = next;
3916
3917               if (next)
3918                 PREV_INSN (next) = PREV_INSN (insn);
3919
3920               add_insn (insn);
3921             }
3922         }
3923
3924       /* Some ports use a loop to copy large arguments onto the stack.
3925          Don't move anything outside such a loop.  */
3926       if (LABEL_P (insn))
3927         break;
3928     }
3929
3930   prev = get_last_insn ();
3931
3932   /* Write the remaining insns followed by the final copy.  */
3933
3934   for (insn = insns; insn; insn = next)
3935     {
3936       next = NEXT_INSN (insn);
3937
3938       add_insn (insn);
3939     }
3940
3941   last = emit_move_insn (target, result);
3942   if (optab_handler (mov_optab, GET_MODE (target))->insn_code
3943       != CODE_FOR_nothing)
3944     set_unique_reg_note (last, REG_EQUAL, copy_rtx (equiv));
3945
3946   if (final_dest != target)
3947     emit_move_insn (final_dest, target);
3948 }
3949 \f
3950 /* Nonzero if we can perform a comparison of mode MODE straightforwardly.
3951    PURPOSE describes how this comparison will be used.  CODE is the rtx
3952    comparison code we will be using.
3953
3954    ??? Actually, CODE is slightly weaker than that.  A target is still
3955    required to implement all of the normal bcc operations, but not
3956    required to implement all (or any) of the unordered bcc operations.  */
3957
3958 int
3959 can_compare_p (enum rtx_code code, enum machine_mode mode,
3960                enum can_compare_purpose purpose)
3961 {
3962   rtx test;
3963   test = gen_rtx_fmt_ee (code, mode, const0_rtx, const0_rtx);
3964   do
3965     {
3966       int icode;
3967
3968       if (purpose == ccp_jump
3969           && (icode = optab_handler (cbranch_optab, mode)->insn_code) != CODE_FOR_nothing
3970           && insn_data[icode].operand[0].predicate (test, mode))
3971         return 1;
3972       if (purpose == ccp_store_flag
3973           && (icode = optab_handler (cstore_optab, mode)->insn_code) != CODE_FOR_nothing
3974           && insn_data[icode].operand[1].predicate (test, mode))
3975         return 1;
3976       if (purpose == ccp_cmov
3977           && optab_handler (cmov_optab, mode)->insn_code != CODE_FOR_nothing)
3978         return 1;
3979
3980       mode = GET_MODE_WIDER_MODE (mode);
3981       PUT_MODE (test, mode);
3982     }
3983   while (mode != VOIDmode);
3984
3985   return 0;
3986 }
3987
3988 /* This function is called when we are going to emit a compare instruction that
3989    compares the values found in *PX and *PY, using the rtl operator COMPARISON.
3990
3991    *PMODE is the mode of the inputs (in case they are const_int).
3992    *PUNSIGNEDP nonzero says that the operands are unsigned;
3993    this matters if they need to be widened (as given by METHODS).
3994
3995    If they have mode BLKmode, then SIZE specifies the size of both operands.
3996
3997    This function performs all the setup necessary so that the caller only has
3998    to emit a single comparison insn.  This setup can involve doing a BLKmode
3999    comparison or emitting a library call to perform the comparison if no insn
4000    is available to handle it.
4001    The values which are passed in through pointers can be modified; the caller
4002    should perform the comparison on the modified values.  Constant
4003    comparisons must have already been folded.  */
4004
4005 static void
4006 prepare_cmp_insn (rtx x, rtx y, enum rtx_code comparison, rtx size,
4007                   int unsignedp, enum optab_methods methods,
4008                   rtx *ptest, enum machine_mode *pmode)
4009 {
4010   enum machine_mode mode = *pmode;
4011   rtx libfunc, test;
4012   enum machine_mode cmp_mode;
4013   enum mode_class mclass;
4014
4015   /* The other methods are not needed.  */
4016   gcc_assert (methods == OPTAB_DIRECT || methods == OPTAB_WIDEN
4017               || methods == OPTAB_LIB_WIDEN);
4018
4019   /* If we are optimizing, force expensive constants into a register.  */
4020   if (CONSTANT_P (x) && optimize
4021       && (rtx_cost (x, COMPARE, optimize_insn_for_speed_p ())
4022           > COSTS_N_INSNS (1)))
4023     x = force_reg (mode, x);
4024
4025   if (CONSTANT_P (y) && optimize
4026       && (rtx_cost (y, COMPARE, optimize_insn_for_speed_p ())
4027           > COSTS_N_INSNS (1)))
4028     y = force_reg (mode, y);
4029
4030 #ifdef HAVE_cc0
4031   /* Make sure if we have a canonical comparison.  The RTL
4032      documentation states that canonical comparisons are required only
4033      for targets which have cc0.  */
4034   gcc_assert (!CONSTANT_P (x) || CONSTANT_P (y));
4035 #endif
4036
4037   /* Don't let both operands fail to indicate the mode.  */
4038   if (GET_MODE (x) == VOIDmode && GET_MODE (y) == VOIDmode)
4039     x = force_reg (mode, x);
4040   if (mode == VOIDmode)
4041     mode = GET_MODE (x) != VOIDmode ? GET_MODE (x) : GET_MODE (y);
4042
4043   /* Handle all BLKmode compares.  */
4044
4045   if (mode == BLKmode)
4046     {
4047       enum machine_mode result_mode;
4048       enum insn_code cmp_code;
4049       tree length_type;
4050       rtx libfunc;
4051       rtx result;
4052       rtx opalign
4053         = GEN_INT (MIN (MEM_ALIGN (x), MEM_ALIGN (y)) / BITS_PER_UNIT);
4054
4055       gcc_assert (size);
4056
4057       /* Try to use a memory block compare insn - either cmpstr
4058          or cmpmem will do.  */
4059       for (cmp_mode = GET_CLASS_NARROWEST_MODE (MODE_INT);
4060            cmp_mode != VOIDmode;
4061            cmp_mode = GET_MODE_WIDER_MODE (cmp_mode))
4062         {
4063           cmp_code = cmpmem_optab[cmp_mode];
4064           if (cmp_code == CODE_FOR_nothing)
4065             cmp_code = cmpstr_optab[cmp_mode];
4066           if (cmp_code == CODE_FOR_nothing)
4067             cmp_code = cmpstrn_optab[cmp_mode];
4068           if (cmp_code == CODE_FOR_nothing)
4069             continue;
4070
4071           /* Must make sure the size fits the insn's mode.  */
4072           if ((CONST_INT_P (size)
4073                && INTVAL (size) >= (1 << GET_MODE_BITSIZE (cmp_mode)))
4074               || (GET_MODE_BITSIZE (GET_MODE (size))
4075                   > GET_MODE_BITSIZE (cmp_mode)))
4076             continue;
4077
4078           result_mode = insn_data[cmp_code].operand[0].mode;
4079           result = gen_reg_rtx (result_mode);
4080           size = convert_to_mode (cmp_mode, size, 1);
4081           emit_insn (GEN_FCN (cmp_code) (result, x, y, size, opalign));
4082
4083           *ptest = gen_rtx_fmt_ee (comparison, VOIDmode, result, const0_rtx);
4084           *pmode = result_mode;
4085           return;
4086         }
4087
4088       if (methods != OPTAB_LIB && methods != OPTAB_LIB_WIDEN)
4089         goto fail;
4090
4091       /* Otherwise call a library function, memcmp.  */
4092       libfunc = memcmp_libfunc;
4093       length_type = sizetype;
4094       result_mode = TYPE_MODE (integer_type_node);
4095       cmp_mode = TYPE_MODE (length_type);
4096       size = convert_to_mode (TYPE_MODE (length_type), size,
4097                               TYPE_UNSIGNED (length_type));
4098
4099       result = emit_library_call_value (libfunc, 0, LCT_PURE,
4100                                         result_mode, 3,
4101                                         XEXP (x, 0), Pmode,
4102                                         XEXP (y, 0), Pmode,
4103                                         size, cmp_mode);
4104
4105       *ptest = gen_rtx_fmt_ee (comparison, VOIDmode, result, const0_rtx);
4106       *pmode = result_mode;
4107       return;
4108     }
4109
4110   /* Don't allow operands to the compare to trap, as that can put the
4111      compare and branch in different basic blocks.  */
4112   if (flag_non_call_exceptions)
4113     {
4114       if (may_trap_p (x))
4115         x = force_reg (mode, x);
4116       if (may_trap_p (y))
4117         y = force_reg (mode, y);
4118     }
4119
4120   if (GET_MODE_CLASS (mode) == MODE_CC)
4121     {
4122       gcc_assert (can_compare_p (comparison, CCmode, ccp_jump));
4123       *ptest = gen_rtx_fmt_ee (comparison, VOIDmode, x, y);
4124       return;
4125     }
4126
4127   mclass = GET_MODE_CLASS (mode);
4128   test = gen_rtx_fmt_ee (comparison, VOIDmode, x, y);
4129   cmp_mode = mode;
4130   do
4131    {
4132       enum insn_code icode;
4133       icode = optab_handler (cbranch_optab, cmp_mode)->insn_code;
4134       if (icode != CODE_FOR_nothing
4135           && insn_data[icode].operand[0].predicate (test, VOIDmode))
4136         {
4137           rtx last = get_last_insn ();
4138           rtx op0 = prepare_operand (icode, x, 1, mode, cmp_mode, unsignedp);
4139           rtx op1 = prepare_operand (icode, y, 2, mode, cmp_mode, unsignedp);
4140           if (op0 && op1
4141               && insn_data[icode].operand[1].predicate
4142                  (op0, insn_data[icode].operand[1].mode)
4143               && insn_data[icode].operand[2].predicate
4144                  (op1, insn_data[icode].operand[2].mode))
4145             {
4146               XEXP (test, 0) = op0;
4147               XEXP (test, 1) = op1;
4148               *ptest = test;
4149               *pmode = cmp_mode;
4150               return;
4151             }
4152           delete_insns_since (last);
4153         }
4154
4155       if (methods == OPTAB_DIRECT || !CLASS_HAS_WIDER_MODES_P (mclass))
4156         break;
4157       cmp_mode = GET_MODE_WIDER_MODE (cmp_mode);
4158     }
4159   while (cmp_mode != VOIDmode);
4160
4161   if (methods != OPTAB_LIB_WIDEN)
4162     goto fail;
4163
4164   if (!SCALAR_FLOAT_MODE_P (mode))
4165     {
4166       rtx result;
4167
4168       /* Handle a libcall just for the mode we are using.  */
4169       libfunc = optab_libfunc (cmp_optab, mode);
4170       gcc_assert (libfunc);
4171
4172       /* If we want unsigned, and this mode has a distinct unsigned
4173          comparison routine, use that.  */
4174       if (unsignedp)
4175         {
4176           rtx ulibfunc = optab_libfunc (ucmp_optab, mode);
4177           if (ulibfunc)
4178             libfunc = ulibfunc;
4179         }
4180
4181       result = emit_library_call_value (libfunc, NULL_RTX, LCT_CONST,
4182                                         targetm.libgcc_cmp_return_mode (),
4183                                         2, x, mode, y, mode);
4184
4185       /* There are two kinds of comparison routines. Biased routines
4186          return 0/1/2, and unbiased routines return -1/0/1. Other parts
4187          of gcc expect that the comparison operation is equivalent
4188          to the modified comparison. For signed comparisons compare the
4189          result against 1 in the biased case, and zero in the unbiased
4190          case. For unsigned comparisons always compare against 1 after
4191          biasing the unbiased result by adding 1. This gives us a way to
4192          represent LTU. */
4193       x = result;
4194       y = const1_rtx;
4195
4196       if (!TARGET_LIB_INT_CMP_BIASED)
4197         {
4198           if (unsignedp)
4199             x = plus_constant (result, 1);
4200           else
4201             y = const0_rtx;
4202         }
4203
4204       *pmode = word_mode;
4205       prepare_cmp_insn (x, y, comparison, NULL_RTX, unsignedp, methods,
4206                         ptest, pmode);
4207     }
4208   else
4209     prepare_float_lib_cmp (x, y, comparison, ptest, pmode);
4210
4211   return;
4212
4213  fail:
4214   *ptest = NULL_RTX;
4215 }
4216
4217 /* Before emitting an insn with code ICODE, make sure that X, which is going
4218    to be used for operand OPNUM of the insn, is converted from mode MODE to
4219    WIDER_MODE (UNSIGNEDP determines whether it is an unsigned conversion), and
4220    that it is accepted by the operand predicate.  Return the new value.  */
4221
4222 rtx
4223 prepare_operand (int icode, rtx x, int opnum, enum machine_mode mode,
4224                  enum machine_mode wider_mode, int unsignedp)
4225 {
4226   if (mode != wider_mode)
4227     x = convert_modes (wider_mode, mode, x, unsignedp);
4228
4229   if (!insn_data[icode].operand[opnum].predicate
4230       (x, insn_data[icode].operand[opnum].mode))
4231     {
4232       if (reload_completed)
4233         return NULL_RTX;
4234       x = copy_to_mode_reg (insn_data[icode].operand[opnum].mode, x);
4235     }
4236
4237   return x;
4238 }
4239
4240 /* Subroutine of emit_cmp_and_jump_insns; this function is called when we know
4241    we can do the branch.  */
4242
4243 static void
4244 emit_cmp_and_jump_insn_1 (rtx test, enum machine_mode mode, rtx label)
4245 {
4246   enum machine_mode optab_mode;
4247   enum mode_class mclass;
4248   enum insn_code icode;
4249
4250   mclass = GET_MODE_CLASS (mode);
4251   optab_mode = (mclass == MODE_CC) ? CCmode : mode;
4252   icode = optab_handler (cbranch_optab, optab_mode)->insn_code;
4253
4254   gcc_assert (icode != CODE_FOR_nothing);
4255   gcc_assert (insn_data[icode].operand[0].predicate (test, VOIDmode));
4256   emit_jump_insn (GEN_FCN (icode) (test, XEXP (test, 0), XEXP (test, 1), label));
4257 }
4258
4259 /* Generate code to compare X with Y so that the condition codes are
4260    set and to jump to LABEL if the condition is true.  If X is a
4261    constant and Y is not a constant, then the comparison is swapped to
4262    ensure that the comparison RTL has the canonical form.
4263
4264    UNSIGNEDP nonzero says that X and Y are unsigned; this matters if they
4265    need to be widened.  UNSIGNEDP is also used to select the proper
4266    branch condition code.
4267
4268    If X and Y have mode BLKmode, then SIZE specifies the size of both X and Y.
4269
4270    MODE is the mode of the inputs (in case they are const_int).
4271
4272    COMPARISON is the rtl operator to compare with (EQ, NE, GT, etc.).
4273    It will be potentially converted into an unsigned variant based on
4274    UNSIGNEDP to select a proper jump instruction.  */
4275
4276 void
4277 emit_cmp_and_jump_insns (rtx x, rtx y, enum rtx_code comparison, rtx size,
4278                          enum machine_mode mode, int unsignedp, rtx label)
4279 {
4280   rtx op0 = x, op1 = y;
4281   rtx test;
4282
4283   /* Swap operands and condition to ensure canonical RTL.  */
4284   if (swap_commutative_operands_p (x, y)
4285       && can_compare_p (swap_condition (comparison), mode, ccp_jump))
4286     {
4287       op0 = y, op1 = x;
4288       comparison = swap_condition (comparison);
4289     }
4290
4291   /* If OP0 is still a constant, then both X and Y must be constants
4292      or the opposite comparison is not supported.  Force X into a register
4293      to create canonical RTL.  */
4294   if (CONSTANT_P (op0))
4295     op0 = force_reg (mode, op0);
4296
4297   if (unsignedp)
4298     comparison = unsigned_condition (comparison);
4299
4300   prepare_cmp_insn (op0, op1, comparison, size, unsignedp, OPTAB_LIB_WIDEN,
4301                     &test, &mode);
4302   emit_cmp_and_jump_insn_1 (test, mode, label);
4303 }
4304
4305 \f
4306 /* Emit a library call comparison between floating point X and Y.
4307    COMPARISON is the rtl operator to compare with (EQ, NE, GT, etc.).  */
4308
4309 static void
4310 prepare_float_lib_cmp (rtx x, rtx y, enum rtx_code comparison,
4311                        rtx *ptest, enum machine_mode *pmode)
4312 {
4313   enum rtx_code swapped = swap_condition (comparison);
4314   enum rtx_code reversed = reverse_condition_maybe_unordered (comparison);
4315   enum machine_mode orig_mode = GET_MODE (x);
4316   enum machine_mode mode, cmp_mode;
4317   rtx value, target, insns, equiv;
4318   rtx libfunc = 0;
4319   bool reversed_p = false;
4320   cmp_mode = targetm.libgcc_cmp_return_mode ();
4321
4322   for (mode = orig_mode;
4323        mode != VOIDmode;
4324        mode = GET_MODE_WIDER_MODE (mode))
4325     {
4326       if (code_to_optab[comparison]
4327           && (libfunc = optab_libfunc (code_to_optab[comparison], mode)))
4328         break;
4329
4330       if (code_to_optab[swapped]
4331           && (libfunc = optab_libfunc (code_to_optab[swapped], mode)))
4332         {
4333           rtx tmp;
4334           tmp = x; x = y; y = tmp;
4335           comparison = swapped;
4336           break;
4337         }
4338
4339       if (code_to_optab[reversed]
4340           && (libfunc = optab_libfunc (code_to_optab[reversed], mode))
4341           && FLOAT_LIB_COMPARE_RETURNS_BOOL (mode, reversed))
4342         {
4343           comparison = reversed;
4344           reversed_p = true;
4345           break;
4346         }
4347     }
4348
4349   gcc_assert (mode != VOIDmode);
4350
4351   if (mode != orig_mode)
4352     {
4353       x = convert_to_mode (mode, x, 0);
4354       y = convert_to_mode (mode, y, 0);
4355     }
4356
4357   /* Attach a REG_EQUAL note describing the semantics of the libcall to
4358      the RTL.  The allows the RTL optimizers to delete the libcall if the
4359      condition can be determined at compile-time.  */
4360   if (comparison == UNORDERED)
4361     {
4362       rtx temp = simplify_gen_relational (NE, cmp_mode, mode, x, x);
4363       equiv = simplify_gen_relational (NE, cmp_mode, mode, y, y);
4364       equiv = simplify_gen_ternary (IF_THEN_ELSE, cmp_mode, cmp_mode,
4365                                     temp, const_true_rtx, equiv);
4366     }
4367   else
4368     {
4369       equiv = simplify_gen_relational (comparison, cmp_mode, mode, x, y);
4370       if (! FLOAT_LIB_COMPARE_RETURNS_BOOL (mode, comparison))
4371         {
4372           rtx true_rtx, false_rtx;
4373
4374           switch (comparison)
4375             {
4376             case EQ:
4377               true_rtx = const0_rtx;
4378               false_rtx = const_true_rtx;
4379               break;
4380
4381             case NE:
4382               true_rtx = const_true_rtx;
4383               false_rtx = const0_rtx;
4384               break;
4385
4386             case GT:
4387               true_rtx = const1_rtx;
4388               false_rtx = const0_rtx;
4389               break;
4390
4391             case GE:
4392               true_rtx = const0_rtx;
4393               false_rtx = constm1_rtx;
4394               break;
4395
4396             case LT:
4397               true_rtx = constm1_rtx;
4398               false_rtx = const0_rtx;
4399               break;
4400
4401             case LE:
4402               true_rtx = const0_rtx;
4403               false_rtx = const1_rtx;
4404               break;
4405
4406             default:
4407               gcc_unreachable ();
4408             }
4409           equiv = simplify_gen_ternary (IF_THEN_ELSE, cmp_mode, cmp_mode,
4410                                         equiv, true_rtx, false_rtx);
4411         }
4412     }
4413
4414   start_sequence ();
4415   value = emit_library_call_value (libfunc, NULL_RTX, LCT_CONST,
4416                                    cmp_mode, 2, x, mode, y, mode);
4417   insns = get_insns ();
4418   end_sequence ();
4419
4420   target = gen_reg_rtx (cmp_mode);
4421   emit_libcall_block (insns, target, value, equiv);
4422
4423   if (comparison == UNORDERED
4424       || FLOAT_LIB_COMPARE_RETURNS_BOOL (mode, comparison))
4425     comparison = reversed_p ? EQ : NE;
4426
4427   *ptest = gen_rtx_fmt_ee (comparison, VOIDmode, target, const0_rtx);
4428   *pmode = cmp_mode;
4429 }
4430 \f
4431 /* Generate code to indirectly jump to a location given in the rtx LOC.  */
4432
4433 void
4434 emit_indirect_jump (rtx loc)
4435 {
4436   if (!insn_data[(int) CODE_FOR_indirect_jump].operand[0].predicate
4437       (loc, Pmode))
4438     loc = copy_to_mode_reg (Pmode, loc);
4439
4440   emit_jump_insn (gen_indirect_jump (loc));
4441   emit_barrier ();
4442 }
4443 \f
4444 #ifdef HAVE_conditional_move
4445
4446 /* Emit a conditional move instruction if the machine supports one for that
4447    condition and machine mode.
4448
4449    OP0 and OP1 are the operands that should be compared using CODE.  CMODE is
4450    the mode to use should they be constants.  If it is VOIDmode, they cannot
4451    both be constants.
4452
4453    OP2 should be stored in TARGET if the comparison is true, otherwise OP3
4454    should be stored there.  MODE is the mode to use should they be constants.
4455    If it is VOIDmode, they cannot both be constants.
4456
4457    The result is either TARGET (perhaps modified) or NULL_RTX if the operation
4458    is not supported.  */
4459
4460 rtx
4461 emit_conditional_move (rtx target, enum rtx_code code, rtx op0, rtx op1,
4462                        enum machine_mode cmode, rtx op2, rtx op3,
4463                        enum machine_mode mode, int unsignedp)
4464 {
4465   rtx tem, subtarget, comparison, insn;
4466   enum insn_code icode;
4467   enum rtx_code reversed;
4468
4469   /* If one operand is constant, make it the second one.  Only do this
4470      if the other operand is not constant as well.  */
4471
4472   if (swap_commutative_operands_p (op0, op1))
4473     {
4474       tem = op0;
4475       op0 = op1;
4476       op1 = tem;
4477       code = swap_condition (code);
4478     }
4479
4480   /* get_condition will prefer to generate LT and GT even if the old
4481      comparison was against zero, so undo that canonicalization here since
4482      comparisons against zero are cheaper.  */
4483   if (code == LT && op1 == const1_rtx)
4484     code = LE, op1 = const0_rtx;
4485   else if (code == GT && op1 == constm1_rtx)
4486     code = GE, op1 = const0_rtx;
4487
4488   if (cmode == VOIDmode)
4489     cmode = GET_MODE (op0);
4490
4491   if (swap_commutative_operands_p (op2, op3)
4492       && ((reversed = reversed_comparison_code_parts (code, op0, op1, NULL))
4493           != UNKNOWN))
4494     {
4495       tem = op2;
4496       op2 = op3;
4497       op3 = tem;
4498       code = reversed;
4499     }
4500
4501   if (mode == VOIDmode)
4502     mode = GET_MODE (op2);
4503
4504   icode = movcc_gen_code[mode];
4505
4506   if (icode == CODE_FOR_nothing)
4507     return 0;
4508
4509   if (!target)
4510     target = gen_reg_rtx (mode);
4511
4512   subtarget = target;
4513
4514   /* If the insn doesn't accept these operands, put them in pseudos.  */
4515
4516   if (!insn_data[icode].operand[0].predicate
4517       (subtarget, insn_data[icode].operand[0].mode))
4518     subtarget = gen_reg_rtx (insn_data[icode].operand[0].mode);
4519
4520   if (!insn_data[icode].operand[2].predicate
4521       (op2, insn_data[icode].operand[2].mode))
4522     op2 = copy_to_mode_reg (insn_data[icode].operand[2].mode, op2);
4523
4524   if (!insn_data[icode].operand[3].predicate
4525       (op3, insn_data[icode].operand[3].mode))
4526     op3 = copy_to_mode_reg (insn_data[icode].operand[3].mode, op3);
4527
4528   /* Everything should now be in the suitable form.  */
4529
4530   code = unsignedp ? unsigned_condition (code) : code;
4531   comparison = simplify_gen_relational (code, VOIDmode, cmode, op0, op1);
4532
4533   /* We can get const0_rtx or const_true_rtx in some circumstances.  Just
4534      return NULL and let the caller figure out how best to deal with this
4535      situation.  */
4536   if (!COMPARISON_P (comparison))
4537     return NULL_RTX;
4538
4539   do_pending_stack_adjust ();
4540   start_sequence ();
4541   prepare_cmp_insn (XEXP (comparison, 0), XEXP (comparison, 1),
4542                     GET_CODE (comparison), NULL_RTX, unsignedp, OPTAB_WIDEN,
4543                     &comparison, &cmode);
4544   if (!comparison)
4545     insn = NULL_RTX;
4546   else
4547     insn = GEN_FCN (icode) (subtarget, comparison, op2, op3);
4548
4549   /* If that failed, then give up.  */
4550   if (insn == 0)
4551     {
4552       end_sequence ();
4553       return 0;
4554     }
4555
4556   emit_insn (insn);
4557   insn = get_insns ();
4558   end_sequence ();
4559   emit_insn (insn);
4560   if (subtarget != target)
4561     convert_move (target, subtarget, 0);
4562
4563   return target;
4564 }
4565
4566 /* Return nonzero if a conditional move of mode MODE is supported.
4567
4568    This function is for combine so it can tell whether an insn that looks
4569    like a conditional move is actually supported by the hardware.  If we
4570    guess wrong we lose a bit on optimization, but that's it.  */
4571 /* ??? sparc64 supports conditionally moving integers values based on fp
4572    comparisons, and vice versa.  How do we handle them?  */
4573
4574 int
4575 can_conditionally_move_p (enum machine_mode mode)
4576 {
4577   if (movcc_gen_code[mode] != CODE_FOR_nothing)
4578     return 1;
4579
4580   return 0;
4581 }
4582
4583 #endif /* HAVE_conditional_move */
4584
4585 /* Emit a conditional addition instruction if the machine supports one for that
4586    condition and machine mode.
4587
4588    OP0 and OP1 are the operands that should be compared using CODE.  CMODE is
4589    the mode to use should they be constants.  If it is VOIDmode, they cannot
4590    both be constants.
4591
4592    OP2 should be stored in TARGET if the comparison is true, otherwise OP2+OP3
4593    should be stored there.  MODE is the mode to use should they be constants.
4594    If it is VOIDmode, they cannot both be constants.
4595
4596    The result is either TARGET (perhaps modified) or NULL_RTX if the operation
4597    is not supported.  */
4598
4599 rtx
4600 emit_conditional_add (rtx target, enum rtx_code code, rtx op0, rtx op1,
4601                       enum machine_mode cmode, rtx op2, rtx op3,
4602                       enum machine_mode mode, int unsignedp)
4603 {
4604   rtx tem, subtarget, comparison, insn;
4605   enum insn_code icode;
4606   enum rtx_code reversed;
4607
4608   /* If one operand is constant, make it the second one.  Only do this
4609      if the other operand is not constant as well.  */
4610
4611   if (swap_commutative_operands_p (op0, op1))
4612     {
4613       tem = op0;
4614       op0 = op1;
4615       op1 = tem;
4616       code = swap_condition (code);
4617     }
4618
4619   /* get_condition will prefer to generate LT and GT even if the old
4620      comparison was against zero, so undo that canonicalization here since
4621      comparisons against zero are cheaper.  */
4622   if (code == LT && op1 == const1_rtx)
4623     code = LE, op1 = const0_rtx;
4624   else if (code == GT && op1 == constm1_rtx)
4625     code = GE, op1 = const0_rtx;
4626
4627   if (cmode == VOIDmode)
4628     cmode = GET_MODE (op0);
4629
4630   if (swap_commutative_operands_p (op2, op3)
4631       && ((reversed = reversed_comparison_code_parts (code, op0, op1, NULL))
4632           != UNKNOWN))
4633     {
4634       tem = op2;
4635       op2 = op3;
4636       op3 = tem;
4637       code = reversed;
4638     }
4639
4640   if (mode == VOIDmode)
4641     mode = GET_MODE (op2);
4642
4643   icode = optab_handler (addcc_optab, mode)->insn_code;
4644
4645   if (icode == CODE_FOR_nothing)
4646     return 0;
4647
4648   if (!target)
4649     target = gen_reg_rtx (mode);
4650
4651   /* If the insn doesn't accept these operands, put them in pseudos.  */
4652
4653   if (!insn_data[icode].operand[0].predicate
4654       (target, insn_data[icode].operand[0].mode))
4655     subtarget = gen_reg_rtx (insn_data[icode].operand[0].mode);
4656   else
4657     subtarget = target;
4658
4659   if (!insn_data[icode].operand[2].predicate
4660       (op2, insn_data[icode].operand[2].mode))
4661     op2 = copy_to_mode_reg (insn_data[icode].operand[2].mode, op2);
4662
4663   if (!insn_data[icode].operand[3].predicate
4664       (op3, insn_data[icode].operand[3].mode))
4665     op3 = copy_to_mode_reg (insn_data[icode].operand[3].mode, op3);
4666
4667   /* Everything should now be in the suitable form.  */
4668
4669   code = unsignedp ? unsigned_condition (code) : code;
4670   comparison = simplify_gen_relational (code, VOIDmode, cmode, op0, op1);
4671
4672   /* We can get const0_rtx or const_true_rtx in some circumstances.  Just
4673      return NULL and let the caller figure out how best to deal with this
4674      situation.  */
4675   if (!COMPARISON_P (comparison))
4676     return NULL_RTX;
4677
4678   do_pending_stack_adjust ();
4679   start_sequence ();
4680   prepare_cmp_insn (XEXP (comparison, 0), XEXP (comparison, 1),
4681                     GET_CODE (comparison), NULL_RTX, unsignedp, OPTAB_WIDEN,
4682                     &comparison, &cmode);
4683   if (!comparison)
4684     insn = NULL_RTX;
4685   else
4686     insn = GEN_FCN (icode) (subtarget, comparison, op2, op3);
4687
4688   /* If that failed, then give up.  */
4689   if (insn == 0)
4690     {
4691       end_sequence ();
4692       return 0;
4693     }
4694
4695   emit_insn (insn);
4696   insn = get_insns ();
4697   end_sequence ();
4698   emit_insn (insn);
4699   if (subtarget != target)
4700     convert_move (target, subtarget, 0);
4701
4702   return target;
4703 }
4704 \f
4705 /* These functions attempt to generate an insn body, rather than
4706    emitting the insn, but if the gen function already emits them, we
4707    make no attempt to turn them back into naked patterns.  */
4708
4709 /* Generate and return an insn body to add Y to X.  */
4710
4711 rtx
4712 gen_add2_insn (rtx x, rtx y)
4713 {
4714   int icode = (int) optab_handler (add_optab, GET_MODE (x))->insn_code;
4715
4716   gcc_assert (insn_data[icode].operand[0].predicate
4717               (x, insn_data[icode].operand[0].mode));
4718   gcc_assert (insn_data[icode].operand[1].predicate
4719               (x, insn_data[icode].operand[1].mode));
4720   gcc_assert (insn_data[icode].operand[2].predicate
4721               (y, insn_data[icode].operand[2].mode));
4722
4723   return GEN_FCN (icode) (x, x, y);
4724 }
4725
4726 /* Generate and return an insn body to add r1 and c,
4727    storing the result in r0.  */
4728
4729 rtx
4730 gen_add3_insn (rtx r0, rtx r1, rtx c)
4731 {
4732   int icode = (int) optab_handler (add_optab, GET_MODE (r0))->insn_code;
4733
4734   if (icode == CODE_FOR_nothing
4735       || !(insn_data[icode].operand[0].predicate
4736            (r0, insn_data[icode].operand[0].mode))
4737       || !(insn_data[icode].operand[1].predicate
4738            (r1, insn_data[icode].operand[1].mode))
4739       || !(insn_data[icode].operand[2].predicate
4740            (c, insn_data[icode].operand[2].mode)))
4741     return NULL_RTX;
4742
4743   return GEN_FCN (icode) (r0, r1, c);
4744 }
4745
4746 int
4747 have_add2_insn (rtx x, rtx y)
4748 {
4749   int icode;
4750
4751   gcc_assert (GET_MODE (x) != VOIDmode);
4752
4753   icode = (int) optab_handler (add_optab, GET_MODE (x))->insn_code;
4754
4755   if (icode == CODE_FOR_nothing)
4756     return 0;
4757
4758   if (!(insn_data[icode].operand[0].predicate
4759         (x, insn_data[icode].operand[0].mode))
4760       || !(insn_data[icode].operand[1].predicate
4761            (x, insn_data[icode].operand[1].mode))
4762       || !(insn_data[icode].operand[2].predicate
4763            (y, insn_data[icode].operand[2].mode)))
4764     return 0;
4765
4766   return 1;
4767 }
4768
4769 /* Generate and return an insn body to subtract Y from X.  */
4770
4771 rtx
4772 gen_sub2_insn (rtx x, rtx y)
4773 {
4774   int icode = (int) optab_handler (sub_optab, GET_MODE (x))->insn_code;
4775
4776   gcc_assert (insn_data[icode].operand[0].predicate
4777               (x, insn_data[icode].operand[0].mode));
4778   gcc_assert (insn_data[icode].operand[1].predicate
4779               (x, insn_data[icode].operand[1].mode));
4780   gcc_assert  (insn_data[icode].operand[2].predicate
4781                (y, insn_data[icode].operand[2].mode));
4782
4783   return GEN_FCN (icode) (x, x, y);
4784 }
4785
4786 /* Generate and return an insn body to subtract r1 and c,
4787    storing the result in r0.  */
4788
4789 rtx
4790 gen_sub3_insn (rtx r0, rtx r1, rtx c)
4791 {
4792   int icode = (int) optab_handler (sub_optab, GET_MODE (r0))->insn_code;
4793
4794   if (icode == CODE_FOR_nothing
4795       || !(insn_data[icode].operand[0].predicate
4796            (r0, insn_data[icode].operand[0].mode))
4797       || !(insn_data[icode].operand[1].predicate
4798            (r1, insn_data[icode].operand[1].mode))
4799       || !(insn_data[icode].operand[2].predicate
4800            (c, insn_data[icode].operand[2].mode)))
4801     return NULL_RTX;
4802
4803   return GEN_FCN (icode) (r0, r1, c);
4804 }
4805
4806 int
4807 have_sub2_insn (rtx x, rtx y)
4808 {
4809   int icode;
4810
4811   gcc_assert (GET_MODE (x) != VOIDmode);
4812
4813   icode = (int) optab_handler (sub_optab, GET_MODE (x))->insn_code;
4814
4815   if (icode == CODE_FOR_nothing)
4816     return 0;
4817
4818   if (!(insn_data[icode].operand[0].predicate
4819         (x, insn_data[icode].operand[0].mode))
4820       || !(insn_data[icode].operand[1].predicate
4821            (x, insn_data[icode].operand[1].mode))
4822       || !(insn_data[icode].operand[2].predicate
4823            (y, insn_data[icode].operand[2].mode)))
4824     return 0;
4825
4826   return 1;
4827 }
4828
4829 /* Generate the body of an instruction to copy Y into X.
4830    It may be a list of insns, if one insn isn't enough.  */
4831
4832 rtx
4833 gen_move_insn (rtx x, rtx y)
4834 {
4835   rtx seq;
4836
4837   start_sequence ();
4838   emit_move_insn_1 (x, y);
4839   seq = get_insns ();
4840   end_sequence ();
4841   return seq;
4842 }
4843 \f
4844 /* Return the insn code used to extend FROM_MODE to TO_MODE.
4845    UNSIGNEDP specifies zero-extension instead of sign-extension.  If
4846    no such operation exists, CODE_FOR_nothing will be returned.  */
4847
4848 enum insn_code
4849 can_extend_p (enum machine_mode to_mode, enum machine_mode from_mode,
4850               int unsignedp)
4851 {
4852   convert_optab tab;
4853 #ifdef HAVE_ptr_extend
4854   if (unsignedp < 0)
4855     return CODE_FOR_ptr_extend;
4856 #endif
4857
4858   tab = unsignedp ? zext_optab : sext_optab;
4859   return convert_optab_handler (tab, to_mode, from_mode)->insn_code;
4860 }
4861
4862 /* Generate the body of an insn to extend Y (with mode MFROM)
4863    into X (with mode MTO).  Do zero-extension if UNSIGNEDP is nonzero.  */
4864
4865 rtx
4866 gen_extend_insn (rtx x, rtx y, enum machine_mode mto,
4867                  enum machine_mode mfrom, int unsignedp)
4868 {
4869   enum insn_code icode = can_extend_p (mto, mfrom, unsignedp);
4870   return GEN_FCN (icode) (x, y);
4871 }
4872 \f
4873 /* can_fix_p and can_float_p say whether the target machine
4874    can directly convert a given fixed point type to
4875    a given floating point type, or vice versa.
4876    The returned value is the CODE_FOR_... value to use,
4877    or CODE_FOR_nothing if these modes cannot be directly converted.
4878
4879    *TRUNCP_PTR is set to 1 if it is necessary to output
4880    an explicit FTRUNC insn before the fix insn; otherwise 0.  */
4881
4882 static enum insn_code
4883 can_fix_p (enum machine_mode fixmode, enum machine_mode fltmode,
4884            int unsignedp, int *truncp_ptr)
4885 {
4886   convert_optab tab;
4887   enum insn_code icode;
4888
4889   tab = unsignedp ? ufixtrunc_optab : sfixtrunc_optab;
4890   icode = convert_optab_handler (tab, fixmode, fltmode)->insn_code;
4891   if (icode != CODE_FOR_nothing)
4892     {
4893       *truncp_ptr = 0;
4894       return icode;
4895     }
4896
4897   /* FIXME: This requires a port to define both FIX and FTRUNC pattern
4898      for this to work. We need to rework the fix* and ftrunc* patterns
4899      and documentation.  */
4900   tab = unsignedp ? ufix_optab : sfix_optab;
4901   icode = convert_optab_handler (tab, fixmode, fltmode)->insn_code;
4902   if (icode != CODE_FOR_nothing
4903       && optab_handler (ftrunc_optab, fltmode)->insn_code != CODE_FOR_nothing)
4904     {
4905       *truncp_ptr = 1;
4906       return icode;
4907     }
4908
4909   *truncp_ptr = 0;
4910   return CODE_FOR_nothing;
4911 }
4912
4913 static enum insn_code
4914 can_float_p (enum machine_mode fltmode, enum machine_mode fixmode,
4915              int unsignedp)
4916 {
4917   convert_optab tab;
4918
4919   tab = unsignedp ? ufloat_optab : sfloat_optab;
4920   return convert_optab_handler (tab, fltmode, fixmode)->insn_code;
4921 }
4922 \f
4923 /* Generate code to convert FROM to floating point
4924    and store in TO.  FROM must be fixed point and not VOIDmode.
4925    UNSIGNEDP nonzero means regard FROM as unsigned.
4926    Normally this is done by correcting the final value
4927    if it is negative.  */
4928
4929 void
4930 expand_float (rtx to, rtx from, int unsignedp)
4931 {
4932   enum insn_code icode;
4933   rtx target = to;
4934   enum machine_mode fmode, imode;
4935   bool can_do_signed = false;
4936
4937   /* Crash now, because we won't be able to decide which mode to use.  */
4938   gcc_assert (GET_MODE (from) != VOIDmode);
4939
4940   /* Look for an insn to do the conversion.  Do it in the specified
4941      modes if possible; otherwise convert either input, output or both to
4942      wider mode.  If the integer mode is wider than the mode of FROM,
4943      we can do the conversion signed even if the input is unsigned.  */
4944
4945   for (fmode = GET_MODE (to); fmode != VOIDmode;
4946        fmode = GET_MODE_WIDER_MODE (fmode))
4947     for (imode = GET_MODE (from); imode != VOIDmode;
4948          imode = GET_MODE_WIDER_MODE (imode))
4949       {
4950         int doing_unsigned = unsignedp;
4951
4952         if (fmode != GET_MODE (to)
4953             && significand_size (fmode) < GET_MODE_BITSIZE (GET_MODE (from)))
4954           continue;
4955
4956         icode = can_float_p (fmode, imode, unsignedp);
4957         if (icode == CODE_FOR_nothing && unsignedp)
4958           {
4959             enum insn_code scode = can_float_p (fmode, imode, 0);
4960             if (scode != CODE_FOR_nothing)
4961               can_do_signed = true;
4962             if (imode != GET_MODE (from))
4963               icode = scode, doing_unsigned = 0;
4964           }
4965
4966         if (icode != CODE_FOR_nothing)
4967           {
4968             if (imode != GET_MODE (from))
4969               from = convert_to_mode (imode, from, unsignedp);
4970
4971             if (fmode != GET_MODE (to))
4972               target = gen_reg_rtx (fmode);
4973
4974             emit_unop_insn (icode, target, from,
4975                             doing_unsigned ? UNSIGNED_FLOAT : FLOAT);
4976
4977             if (target != to)
4978               convert_move (to, target, 0);
4979             return;
4980           }
4981       }
4982
4983   /* Unsigned integer, and no way to convert directly.  Convert as signed,
4984      then unconditionally adjust the result.  */
4985   if (unsignedp && can_do_signed)
4986     {
4987       rtx label = gen_label_rtx ();
4988       rtx temp;
4989       REAL_VALUE_TYPE offset;
4990
4991       /* Look for a usable floating mode FMODE wider than the source and at
4992          least as wide as the target.  Using FMODE will avoid rounding woes
4993          with unsigned values greater than the signed maximum value.  */
4994
4995       for (fmode = GET_MODE (to);  fmode != VOIDmode;
4996            fmode = GET_MODE_WIDER_MODE (fmode))
4997         if (GET_MODE_BITSIZE (GET_MODE (from)) < GET_MODE_BITSIZE (fmode)
4998             && can_float_p (fmode, GET_MODE (from), 0) != CODE_FOR_nothing)
4999           break;
5000
5001       if (fmode == VOIDmode)
5002         {
5003           /* There is no such mode.  Pretend the target is wide enough.  */
5004           fmode = GET_MODE (to);
5005
5006           /* Avoid double-rounding when TO is narrower than FROM.  */
5007           if ((significand_size (fmode) + 1)
5008               < GET_MODE_BITSIZE (GET_MODE (from)))
5009             {
5010               rtx temp1;
5011               rtx neglabel = gen_label_rtx ();
5012
5013               /* Don't use TARGET if it isn't a register, is a hard register,
5014                  or is the wrong mode.  */
5015               if (!REG_P (target)
5016                   || REGNO (target) < FIRST_PSEUDO_REGISTER
5017                   || GET_MODE (target) != fmode)
5018                 target = gen_reg_rtx (fmode);
5019
5020               imode = GET_MODE (from);
5021               do_pending_stack_adjust ();
5022
5023               /* Test whether the sign bit is set.  */
5024               emit_cmp_and_jump_insns (from, const0_rtx, LT, NULL_RTX, imode,
5025                                        0, neglabel);
5026
5027               /* The sign bit is not set.  Convert as signed.  */
5028               expand_float (target, from, 0);
5029               emit_jump_insn (gen_jump (label));
5030               emit_barrier ();
5031
5032               /* The sign bit is set.
5033                  Convert to a usable (positive signed) value by shifting right
5034                  one bit, while remembering if a nonzero bit was shifted
5035                  out; i.e., compute  (from & 1) | (from >> 1).  */
5036
5037               emit_label (neglabel);
5038               temp = expand_binop (imode, and_optab, from, const1_rtx,
5039                                    NULL_RTX, 1, OPTAB_LIB_WIDEN);
5040               temp1 = expand_shift (RSHIFT_EXPR, imode, from, integer_one_node,
5041                                     NULL_RTX, 1);
5042               temp = expand_binop (imode, ior_optab, temp, temp1, temp, 1,
5043                                    OPTAB_LIB_WIDEN);
5044               expand_float (target, temp, 0);
5045
5046               /* Multiply by 2 to undo the shift above.  */
5047               temp = expand_binop (fmode, add_optab, target, target,
5048                                    target, 0, OPTAB_LIB_WIDEN);
5049               if (temp != target)
5050                 emit_move_insn (target, temp);
5051
5052               do_pending_stack_adjust ();
5053               emit_label (label);
5054               goto done;
5055             }
5056         }
5057
5058       /* If we are about to do some arithmetic to correct for an
5059          unsigned operand, do it in a pseudo-register.  */
5060
5061       if (GET_MODE (to) != fmode
5062           || !REG_P (to) || REGNO (to) < FIRST_PSEUDO_REGISTER)
5063         target = gen_reg_rtx (fmode);
5064
5065       /* Convert as signed integer to floating.  */
5066       expand_float (target, from, 0);
5067
5068       /* If FROM is negative (and therefore TO is negative),
5069          correct its value by 2**bitwidth.  */
5070
5071       do_pending_stack_adjust ();
5072       emit_cmp_and_jump_insns (from, const0_rtx, GE, NULL_RTX, GET_MODE (from),
5073                                0, label);
5074
5075
5076       real_2expN (&offset, GET_MODE_BITSIZE (GET_MODE (from)), fmode);
5077       temp = expand_binop (fmode, add_optab, target,
5078                            CONST_DOUBLE_FROM_REAL_VALUE (offset, fmode),
5079                            target, 0, OPTAB_LIB_WIDEN);
5080       if (temp != target)
5081         emit_move_insn (target, temp);
5082
5083       do_pending_stack_adjust ();
5084       emit_label (label);
5085       goto done;
5086     }
5087
5088   /* No hardware instruction available; call a library routine.  */
5089     {
5090       rtx libfunc;
5091       rtx insns;
5092       rtx value;
5093       convert_optab tab = unsignedp ? ufloat_optab : sfloat_optab;
5094
5095       if (GET_MODE_SIZE (GET_MODE (from)) < GET_MODE_SIZE (SImode))
5096         from = convert_to_mode (SImode, from, unsignedp);
5097
5098       libfunc = convert_optab_libfunc (tab, GET_MODE (to), GET_MODE (from));
5099       gcc_assert (libfunc);
5100
5101       start_sequence ();
5102
5103       value = emit_library_call_value (libfunc, NULL_RTX, LCT_CONST,
5104                                        GET_MODE (to), 1, from,
5105                                        GET_MODE (from));
5106       insns = get_insns ();
5107       end_sequence ();
5108
5109       emit_libcall_block (insns, target, value,
5110                           gen_rtx_fmt_e (unsignedp ? UNSIGNED_FLOAT : FLOAT,
5111                                          GET_MODE (to), from));
5112     }
5113
5114  done:
5115
5116   /* Copy result to requested destination
5117      if we have been computing in a temp location.  */
5118
5119   if (target != to)
5120     {
5121       if (GET_MODE (target) == GET_MODE (to))
5122         emit_move_insn (to, target);
5123       else
5124         convert_move (to, target, 0);
5125     }
5126 }
5127 \f
5128 /* Generate code to convert FROM to fixed point and store in TO.  FROM
5129    must be floating point.  */
5130
5131 void
5132 expand_fix (rtx to, rtx from, int unsignedp)
5133 {
5134   enum insn_code icode;
5135   rtx target = to;
5136   enum machine_mode fmode, imode;
5137   int must_trunc = 0;
5138
5139   /* We first try to find a pair of modes, one real and one integer, at
5140      least as wide as FROM and TO, respectively, in which we can open-code
5141      this conversion.  If the integer mode is wider than the mode of TO,
5142      we can do the conversion either signed or unsigned.  */
5143
5144   for (fmode = GET_MODE (from); fmode != VOIDmode;
5145        fmode = GET_MODE_WIDER_MODE (fmode))
5146     for (imode = GET_MODE (to); imode != VOIDmode;
5147          imode = GET_MODE_WIDER_MODE (imode))
5148       {
5149         int doing_unsigned = unsignedp;
5150
5151         icode = can_fix_p (imode, fmode, unsignedp, &must_trunc);
5152         if (icode == CODE_FOR_nothing && imode != GET_MODE (to) && unsignedp)
5153           icode = can_fix_p (imode, fmode, 0, &must_trunc), doing_unsigned = 0;
5154
5155         if (icode != CODE_FOR_nothing)
5156           {
5157             rtx last = get_last_insn ();
5158             if (fmode != GET_MODE (from))
5159               from = convert_to_mode (fmode, from, 0);
5160
5161             if (must_trunc)
5162               {
5163                 rtx temp = gen_reg_rtx (GET_MODE (from));
5164                 from = expand_unop (GET_MODE (from), ftrunc_optab, from,
5165                                     temp, 0);
5166               }
5167
5168             if (imode != GET_MODE (to))
5169               target = gen_reg_rtx (imode);
5170
5171             if (maybe_emit_unop_insn (icode, target, from,
5172                                       doing_unsigned ? UNSIGNED_FIX : FIX))
5173               {
5174                 if (target != to)
5175                   convert_move (to, target, unsignedp);
5176                 return;
5177               }
5178             delete_insns_since (last);
5179           }
5180       }
5181
5182   /* For an unsigned conversion, there is one more way to do it.
5183      If we have a signed conversion, we generate code that compares
5184      the real value to the largest representable positive number.  If if
5185      is smaller, the conversion is done normally.  Otherwise, subtract
5186      one plus the highest signed number, convert, and add it back.
5187
5188      We only need to check all real modes, since we know we didn't find
5189      anything with a wider integer mode.
5190
5191      This code used to extend FP value into mode wider than the destination.
5192      This is needed for decimal float modes which cannot accurately
5193      represent one plus the highest signed number of the same size, but
5194      not for binary modes.  Consider, for instance conversion from SFmode
5195      into DImode.
5196
5197      The hot path through the code is dealing with inputs smaller than 2^63
5198      and doing just the conversion, so there is no bits to lose.
5199
5200      In the other path we know the value is positive in the range 2^63..2^64-1
5201      inclusive.  (as for other input overflow happens and result is undefined)
5202      So we know that the most important bit set in mantissa corresponds to
5203      2^63.  The subtraction of 2^63 should not generate any rounding as it
5204      simply clears out that bit.  The rest is trivial.  */
5205
5206   if (unsignedp && GET_MODE_BITSIZE (GET_MODE (to)) <= HOST_BITS_PER_WIDE_INT)
5207     for (fmode = GET_MODE (from); fmode != VOIDmode;
5208          fmode = GET_MODE_WIDER_MODE (fmode))
5209       if (CODE_FOR_nothing != can_fix_p (GET_MODE (to), fmode, 0, &must_trunc)
5210           && (!DECIMAL_FLOAT_MODE_P (fmode)
5211               || GET_MODE_BITSIZE (fmode) > GET_MODE_BITSIZE (GET_MODE (to))))
5212         {
5213           int bitsize;
5214           REAL_VALUE_TYPE offset;
5215           rtx limit, lab1, lab2, insn;
5216
5217           bitsize = GET_MODE_BITSIZE (GET_MODE (to));
5218           real_2expN (&offset, bitsize - 1, fmode);
5219           limit = CONST_DOUBLE_FROM_REAL_VALUE (offset, fmode);
5220           lab1 = gen_label_rtx ();
5221           lab2 = gen_label_rtx ();
5222
5223           if (fmode != GET_MODE (from))
5224             from = convert_to_mode (fmode, from, 0);
5225
5226           /* See if we need to do the subtraction.  */
5227           do_pending_stack_adjust ();
5228           emit_cmp_and_jump_insns (from, limit, GE, NULL_RTX, GET_MODE (from),
5229                                    0, lab1);
5230
5231           /* If not, do the signed "fix" and branch around fixup code.  */
5232           expand_fix (to, from, 0);
5233           emit_jump_insn (gen_jump (lab2));
5234           emit_barrier ();
5235
5236           /* Otherwise, subtract 2**(N-1), convert to signed number,
5237              then add 2**(N-1).  Do the addition using XOR since this
5238              will often generate better code.  */
5239           emit_label (lab1);
5240           target = expand_binop (GET_MODE (from), sub_optab, from, limit,
5241                                  NULL_RTX, 0, OPTAB_LIB_WIDEN);
5242           expand_fix (to, target, 0);
5243           target = expand_binop (GET_MODE (to), xor_optab, to,
5244                                  gen_int_mode
5245                                  ((HOST_WIDE_INT) 1 << (bitsize - 1),
5246                                   GET_MODE (to)),
5247                                  to, 1, OPTAB_LIB_WIDEN);
5248
5249           if (target != to)
5250             emit_move_insn (to, target);
5251
5252           emit_label (lab2);
5253
5254           if (optab_handler (mov_optab, GET_MODE (to))->insn_code
5255               != CODE_FOR_nothing)
5256             {
5257               /* Make a place for a REG_NOTE and add it.  */
5258               insn = emit_move_insn (to, to);
5259               set_unique_reg_note (insn,
5260                                    REG_EQUAL,
5261                                    gen_rtx_fmt_e (UNSIGNED_FIX,
5262                                                   GET_MODE (to),
5263                                                   copy_rtx (from)));
5264             }
5265
5266           return;
5267         }
5268
5269   /* We can't do it with an insn, so use a library call.  But first ensure
5270      that the mode of TO is at least as wide as SImode, since those are the
5271      only library calls we know about.  */
5272
5273   if (GET_MODE_SIZE (GET_MODE (to)) < GET_MODE_SIZE (SImode))
5274     {
5275       target = gen_reg_rtx (SImode);
5276
5277       expand_fix (target, from, unsignedp);
5278     }
5279   else
5280     {
5281       rtx insns;
5282       rtx value;
5283       rtx libfunc;
5284
5285       convert_optab tab = unsignedp ? ufix_optab : sfix_optab;
5286       libfunc = convert_optab_libfunc (tab, GET_MODE (to), GET_MODE (from));
5287       gcc_assert (libfunc);
5288
5289       start_sequence ();
5290
5291       value = emit_library_call_value (libfunc, NULL_RTX, LCT_CONST,
5292                                        GET_MODE (to), 1, from,
5293                                        GET_MODE (from));
5294       insns = get_insns ();
5295       end_sequence ();
5296
5297       emit_libcall_block (insns, target, value,
5298                           gen_rtx_fmt_e (unsignedp ? UNSIGNED_FIX : FIX,
5299                                          GET_MODE (to), from));
5300     }
5301
5302   if (target != to)
5303     {
5304       if (GET_MODE (to) == GET_MODE (target))
5305         emit_move_insn (to, target);
5306       else
5307         convert_move (to, target, 0);
5308     }
5309 }
5310
5311 /* Generate code to convert FROM or TO a fixed-point.
5312    If UINTP is true, either TO or FROM is an unsigned integer.
5313    If SATP is true, we need to saturate the result.  */
5314
5315 void
5316 expand_fixed_convert (rtx to, rtx from, int uintp, int satp)
5317 {
5318   enum machine_mode to_mode = GET_MODE (to);
5319   enum machine_mode from_mode = GET_MODE (from);
5320   convert_optab tab;
5321   enum rtx_code this_code;
5322   enum insn_code code;
5323   rtx insns, value;
5324   rtx libfunc;
5325
5326   if (to_mode == from_mode)
5327     {
5328       emit_move_insn (to, from);
5329       return;
5330     }
5331
5332   if (uintp)
5333     {
5334       tab = satp ? satfractuns_optab : fractuns_optab;
5335       this_code = satp ? UNSIGNED_SAT_FRACT : UNSIGNED_FRACT_CONVERT;
5336     }
5337   else
5338     {
5339       tab = satp ? satfract_optab : fract_optab;
5340       this_code = satp ? SAT_FRACT : FRACT_CONVERT;
5341     }
5342   code = tab->handlers[to_mode][from_mode].insn_code;
5343   if (code != CODE_FOR_nothing)
5344     {
5345       emit_unop_insn (code, to, from, this_code);
5346       return;
5347     }
5348
5349   libfunc = convert_optab_libfunc (tab, to_mode, from_mode);
5350   gcc_assert (libfunc);
5351
5352   start_sequence ();
5353   value = emit_library_call_value (libfunc, NULL_RTX, LCT_CONST, to_mode,
5354                                    1, from, from_mode);
5355   insns = get_insns ();
5356   end_sequence ();
5357
5358   emit_libcall_block (insns, to, value,
5359                       gen_rtx_fmt_e (tab->code, to_mode, from));
5360 }
5361
5362 /* Generate code to convert FROM to fixed point and store in TO.  FROM
5363    must be floating point, TO must be signed.  Use the conversion optab
5364    TAB to do the conversion.  */
5365
5366 bool
5367 expand_sfix_optab (rtx to, rtx from, convert_optab tab)
5368 {
5369   enum insn_code icode;
5370   rtx target = to;
5371   enum machine_mode fmode, imode;
5372
5373   /* We first try to find a pair of modes, one real and one integer, at
5374      least as wide as FROM and TO, respectively, in which we can open-code
5375      this conversion.  If the integer mode is wider than the mode of TO,
5376      we can do the conversion either signed or unsigned.  */
5377
5378   for (fmode = GET_MODE (from); fmode != VOIDmode;
5379        fmode = GET_MODE_WIDER_MODE (fmode))
5380     for (imode = GET_MODE (to); imode != VOIDmode;
5381          imode = GET_MODE_WIDER_MODE (imode))
5382       {
5383         icode = convert_optab_handler (tab, imode, fmode)->insn_code;
5384         if (icode != CODE_FOR_nothing)
5385           {
5386             rtx last = get_last_insn ();
5387             if (fmode != GET_MODE (from))
5388               from = convert_to_mode (fmode, from, 0);
5389
5390             if (imode != GET_MODE (to))
5391               target = gen_reg_rtx (imode);
5392
5393             if (!maybe_emit_unop_insn (icode, target, from, UNKNOWN))
5394               {
5395                 delete_insns_since (last);
5396                 continue;
5397               }
5398             if (target != to)
5399               convert_move (to, target, 0);
5400             return true;
5401           }
5402       }
5403
5404   return false;
5405 }
5406 \f
5407 /* Report whether we have an instruction to perform the operation
5408    specified by CODE on operands of mode MODE.  */
5409 int
5410 have_insn_for (enum rtx_code code, enum machine_mode mode)
5411 {
5412   return (code_to_optab[(int) code] != 0
5413           && (optab_handler (code_to_optab[(int) code], mode)->insn_code
5414               != CODE_FOR_nothing));
5415 }
5416
5417 /* Set all insn_code fields to CODE_FOR_nothing.  */
5418
5419 static void
5420 init_insn_codes (void)
5421 {
5422   unsigned int i;
5423
5424   for (i = 0; i < (unsigned int) OTI_MAX; i++)
5425     {
5426       unsigned int j;
5427       optab op;
5428
5429       op = &optab_table[i];
5430       for (j = 0; j < NUM_MACHINE_MODES; j++)
5431         optab_handler (op, j)->insn_code = CODE_FOR_nothing;
5432     }
5433   for (i = 0; i < (unsigned int) COI_MAX; i++)
5434     {
5435       unsigned int j, k;
5436       convert_optab op;
5437
5438       op = &convert_optab_table[i];
5439       for (j = 0; j < NUM_MACHINE_MODES; j++)
5440         for (k = 0; k < NUM_MACHINE_MODES; k++)
5441           convert_optab_handler (op, j, k)->insn_code = CODE_FOR_nothing;
5442     }
5443 }
5444
5445 /* Initialize OP's code to CODE, and write it into the code_to_optab table.  */
5446 static inline void
5447 init_optab (optab op, enum rtx_code code)
5448 {
5449   op->code = code;
5450   code_to_optab[(int) code] = op;
5451 }
5452
5453 /* Same, but fill in its code as CODE, and do _not_ write it into
5454    the code_to_optab table.  */
5455 static inline void
5456 init_optabv (optab op, enum rtx_code code)
5457 {
5458   op->code = code;
5459 }
5460
5461 /* Conversion optabs never go in the code_to_optab table.  */
5462 static void
5463 init_convert_optab (convert_optab op, enum rtx_code code)
5464 {
5465   op->code = code;
5466 }
5467
5468 /* Initialize the libfunc fields of an entire group of entries in some
5469    optab.  Each entry is set equal to a string consisting of a leading
5470    pair of underscores followed by a generic operation name followed by
5471    a mode name (downshifted to lowercase) followed by a single character
5472    representing the number of operands for the given operation (which is
5473    usually one of the characters '2', '3', or '4').
5474
5475    OPTABLE is the table in which libfunc fields are to be initialized.
5476    OPNAME is the generic (string) name of the operation.
5477    SUFFIX is the character which specifies the number of operands for
5478      the given generic operation.
5479    MODE is the mode to generate for.
5480 */
5481
5482 static void
5483 gen_libfunc (optab optable, const char *opname, int suffix, enum machine_mode mode)
5484 {
5485   unsigned opname_len = strlen (opname);
5486   const char *mname = GET_MODE_NAME (mode);
5487   unsigned mname_len = strlen (mname);
5488   char *libfunc_name = XALLOCAVEC (char, 2 + opname_len + mname_len + 1 + 1);
5489   char *p;
5490   const char *q;
5491
5492   p = libfunc_name;
5493   *p++ = '_';
5494   *p++ = '_';
5495   for (q = opname; *q; )
5496     *p++ = *q++;
5497   for (q = mname; *q; q++)
5498     *p++ = TOLOWER (*q);
5499   *p++ = suffix;
5500   *p = '\0';
5501
5502   set_optab_libfunc (optable, mode,
5503                      ggc_alloc_string (libfunc_name, p - libfunc_name));
5504 }
5505
5506 /* Like gen_libfunc, but verify that integer operation is involved.  */
5507
5508 static void
5509 gen_int_libfunc (optab optable, const char *opname, char suffix,
5510                  enum machine_mode mode)
5511 {
5512   int maxsize = 2 * BITS_PER_WORD;
5513
5514   if (GET_MODE_CLASS (mode) != MODE_INT)
5515     return;
5516   if (maxsize < LONG_LONG_TYPE_SIZE)
5517     maxsize = LONG_LONG_TYPE_SIZE;
5518   if (GET_MODE_CLASS (mode) != MODE_INT
5519       || mode < word_mode || GET_MODE_BITSIZE (mode) > maxsize)
5520     return;
5521   gen_libfunc (optable, opname, suffix, mode);
5522 }
5523
5524 /* Like gen_libfunc, but verify that FP and set decimal prefix if needed.  */
5525
5526 static void
5527 gen_fp_libfunc (optab optable, const char *opname, char suffix,
5528                 enum machine_mode mode)
5529 {
5530   char *dec_opname;
5531
5532   if (GET_MODE_CLASS (mode) == MODE_FLOAT)
5533     gen_libfunc (optable, opname, suffix, mode);
5534   if (DECIMAL_FLOAT_MODE_P (mode))
5535     {
5536       dec_opname = XALLOCAVEC (char, sizeof (DECIMAL_PREFIX) + strlen (opname));
5537       /* For BID support, change the name to have either a bid_ or dpd_ prefix
5538          depending on the low level floating format used.  */
5539       memcpy (dec_opname, DECIMAL_PREFIX, sizeof (DECIMAL_PREFIX) - 1);
5540       strcpy (dec_opname + sizeof (DECIMAL_PREFIX) - 1, opname);
5541       gen_libfunc (optable, dec_opname, suffix, mode);
5542     }
5543 }
5544
5545 /* Like gen_libfunc, but verify that fixed-point operation is involved.  */
5546
5547 static void
5548 gen_fixed_libfunc (optab optable, const char *opname, char suffix,
5549                    enum machine_mode mode)
5550 {
5551   if (!ALL_FIXED_POINT_MODE_P (mode))
5552     return;
5553   gen_libfunc (optable, opname, suffix, mode);
5554 }
5555
5556 /* Like gen_libfunc, but verify that signed fixed-point operation is
5557    involved.  */
5558
5559 static void
5560 gen_signed_fixed_libfunc (optab optable, const char *opname, char suffix,
5561                           enum machine_mode mode)
5562 {
5563   if (!SIGNED_FIXED_POINT_MODE_P (mode))
5564     return;
5565   gen_libfunc (optable, opname, suffix, mode);
5566 }
5567
5568 /* Like gen_libfunc, but verify that unsigned fixed-point operation is
5569    involved.  */
5570
5571 static void
5572 gen_unsigned_fixed_libfunc (optab optable, const char *opname, char suffix,
5573                             enum machine_mode mode)
5574 {
5575   if (!UNSIGNED_FIXED_POINT_MODE_P (mode))
5576     return;
5577   gen_libfunc (optable, opname, suffix, mode);
5578 }
5579
5580 /* Like gen_libfunc, but verify that FP or INT operation is involved.  */
5581
5582 static void
5583 gen_int_fp_libfunc (optab optable, const char *name, char suffix,
5584                     enum machine_mode mode)
5585 {
5586   if (DECIMAL_FLOAT_MODE_P (mode) || GET_MODE_CLASS (mode) == MODE_FLOAT)
5587     gen_fp_libfunc (optable, name, suffix, mode);
5588   if (INTEGRAL_MODE_P (mode))
5589     gen_int_libfunc (optable, name, suffix, mode);
5590 }
5591
5592 /* Like gen_libfunc, but verify that FP or INT operation is involved
5593    and add 'v' suffix for integer operation.  */
5594
5595 static void
5596 gen_intv_fp_libfunc (optab optable, const char *name, char suffix,
5597                      enum machine_mode mode)
5598 {
5599   if (DECIMAL_FLOAT_MODE_P (mode) || GET_MODE_CLASS (mode) == MODE_FLOAT)
5600     gen_fp_libfunc (optable, name, suffix, mode);
5601   if (GET_MODE_CLASS (mode) == MODE_INT)
5602     {
5603       int len = strlen (name);
5604       char *v_name = XALLOCAVEC (char, len + 2);
5605       strcpy (v_name, name);
5606       v_name[len] = 'v';
5607       v_name[len + 1] = 0;
5608       gen_int_libfunc (optable, v_name, suffix, mode);
5609     }
5610 }
5611
5612 /* Like gen_libfunc, but verify that FP or INT or FIXED operation is
5613    involved.  */
5614
5615 static void
5616 gen_int_fp_fixed_libfunc (optab optable, const char *name, char suffix,
5617                           enum machine_mode mode)
5618 {
5619   if (DECIMAL_FLOAT_MODE_P (mode) || GET_MODE_CLASS (mode) == MODE_FLOAT)
5620     gen_fp_libfunc (optable, name, suffix, mode);
5621   if (INTEGRAL_MODE_P (mode))
5622     gen_int_libfunc (optable, name, suffix, mode);
5623   if (ALL_FIXED_POINT_MODE_P (mode))
5624     gen_fixed_libfunc (optable, name, suffix, mode);
5625 }
5626
5627 /* Like gen_libfunc, but verify that FP or INT or signed FIXED operation is
5628    involved.  */
5629
5630 static void
5631 gen_int_fp_signed_fixed_libfunc (optab optable, const char *name, char suffix,
5632                                  enum machine_mode mode)
5633 {
5634   if (DECIMAL_FLOAT_MODE_P (mode) || GET_MODE_CLASS (mode) == MODE_FLOAT)
5635     gen_fp_libfunc (optable, name, suffix, mode);
5636   if (INTEGRAL_MODE_P (mode))
5637     gen_int_libfunc (optable, name, suffix, mode);
5638   if (SIGNED_FIXED_POINT_MODE_P (mode))
5639     gen_signed_fixed_libfunc (optable, name, suffix, mode);
5640 }
5641
5642 /* Like gen_libfunc, but verify that INT or FIXED operation is
5643    involved.  */
5644
5645 static void
5646 gen_int_fixed_libfunc (optab optable, const char *name, char suffix,
5647                        enum machine_mode mode)
5648 {
5649   if (INTEGRAL_MODE_P (mode))
5650     gen_int_libfunc (optable, name, suffix, mode);
5651   if (ALL_FIXED_POINT_MODE_P (mode))
5652     gen_fixed_libfunc (optable, name, suffix, mode);
5653 }
5654
5655 /* Like gen_libfunc, but verify that INT or signed FIXED operation is
5656    involved.  */
5657
5658 static void
5659 gen_int_signed_fixed_libfunc (optab optable, const char *name, char suffix,
5660                               enum machine_mode mode)
5661 {
5662   if (INTEGRAL_MODE_P (mode))
5663     gen_int_libfunc (optable, name, suffix, mode);
5664   if (SIGNED_FIXED_POINT_MODE_P (mode))
5665     gen_signed_fixed_libfunc (optable, name, suffix, mode);
5666 }
5667
5668 /* Like gen_libfunc, but verify that INT or unsigned FIXED operation is
5669    involved.  */
5670
5671 static void
5672 gen_int_unsigned_fixed_libfunc (optab optable, const char *name, char suffix,
5673                                 enum machine_mode mode)
5674 {
5675   if (INTEGRAL_MODE_P (mode))
5676     gen_int_libfunc (optable, name, suffix, mode);
5677   if (UNSIGNED_FIXED_POINT_MODE_P (mode))
5678     gen_unsigned_fixed_libfunc (optable, name, suffix, mode);
5679 }
5680
5681 /* Initialize the libfunc fields of an entire group of entries of an
5682    inter-mode-class conversion optab.  The string formation rules are
5683    similar to the ones for init_libfuncs, above, but instead of having
5684    a mode name and an operand count these functions have two mode names
5685    and no operand count.  */
5686
5687 static void
5688 gen_interclass_conv_libfunc (convert_optab tab,
5689                              const char *opname,
5690                              enum machine_mode tmode,
5691                              enum machine_mode fmode)
5692 {
5693   size_t opname_len = strlen (opname);
5694   size_t mname_len = 0;
5695
5696   const char *fname, *tname;
5697   const char *q;
5698   char *libfunc_name, *suffix;
5699   char *nondec_name, *dec_name, *nondec_suffix, *dec_suffix;
5700   char *p;
5701
5702   /* If this is a decimal conversion, add the current BID vs. DPD prefix that
5703      depends on which underlying decimal floating point format is used.  */
5704   const size_t dec_len = sizeof (DECIMAL_PREFIX) - 1;
5705
5706   mname_len = strlen (GET_MODE_NAME (tmode)) + strlen (GET_MODE_NAME (fmode));
5707
5708   nondec_name = XALLOCAVEC (char, 2 + opname_len + mname_len + 1 + 1);
5709   nondec_name[0] = '_';
5710   nondec_name[1] = '_';
5711   memcpy (&nondec_name[2], opname, opname_len);
5712   nondec_suffix = nondec_name + opname_len + 2;
5713
5714   dec_name = XALLOCAVEC (char, 2 + dec_len + opname_len + mname_len + 1 + 1);
5715   dec_name[0] = '_';
5716   dec_name[1] = '_';
5717   memcpy (&dec_name[2], DECIMAL_PREFIX, dec_len);
5718   memcpy (&dec_name[2+dec_len], opname, opname_len);
5719   dec_suffix = dec_name + dec_len + opname_len + 2;
5720
5721   fname = GET_MODE_NAME (fmode);
5722   tname = GET_MODE_NAME (tmode);
5723
5724   if (DECIMAL_FLOAT_MODE_P(fmode) || DECIMAL_FLOAT_MODE_P(tmode))
5725     {
5726       libfunc_name = dec_name;
5727       suffix = dec_suffix;
5728     }
5729   else
5730     {
5731       libfunc_name = nondec_name;
5732       suffix = nondec_suffix;
5733     }
5734
5735   p = suffix;
5736   for (q = fname; *q; p++, q++)
5737     *p = TOLOWER (*q);
5738   for (q = tname; *q; p++, q++)
5739     *p = TOLOWER (*q);
5740
5741   *p = '\0';
5742
5743   set_conv_libfunc (tab, tmode, fmode,
5744                     ggc_alloc_string (libfunc_name, p - libfunc_name));
5745 }
5746
5747 /* Same as gen_interclass_conv_libfunc but verify that we are producing
5748    int->fp conversion.  */
5749
5750 static void
5751 gen_int_to_fp_conv_libfunc (convert_optab tab,
5752                             const char *opname,
5753                             enum machine_mode tmode,
5754                             enum machine_mode fmode)
5755 {
5756   if (GET_MODE_CLASS (fmode) != MODE_INT)
5757     return;
5758   if (GET_MODE_CLASS (tmode) != MODE_FLOAT && !DECIMAL_FLOAT_MODE_P (tmode))
5759     return;
5760   gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5761 }
5762
5763 /* ufloat_optab is special by using floatun for FP and floatuns decimal fp
5764    naming scheme.  */
5765
5766 static void
5767 gen_ufloat_conv_libfunc (convert_optab tab,
5768                          const char *opname ATTRIBUTE_UNUSED,
5769                          enum machine_mode tmode,
5770                          enum machine_mode fmode)
5771 {
5772   if (DECIMAL_FLOAT_MODE_P (tmode))
5773     gen_int_to_fp_conv_libfunc (tab, "floatuns", tmode, fmode);
5774   else
5775     gen_int_to_fp_conv_libfunc (tab, "floatun", tmode, fmode);
5776 }
5777
5778 /* Same as gen_interclass_conv_libfunc but verify that we are producing
5779    fp->int conversion.  */
5780
5781 static void
5782 gen_int_to_fp_nondecimal_conv_libfunc (convert_optab tab,
5783                                        const char *opname,
5784                                        enum machine_mode tmode,
5785                                        enum machine_mode fmode)
5786 {
5787   if (GET_MODE_CLASS (fmode) != MODE_INT)
5788     return;
5789   if (GET_MODE_CLASS (tmode) != MODE_FLOAT)
5790     return;
5791   gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5792 }
5793
5794 /* Same as gen_interclass_conv_libfunc but verify that we are producing
5795    fp->int conversion with no decimal floating point involved.  */
5796
5797 static void
5798 gen_fp_to_int_conv_libfunc (convert_optab tab,
5799                             const char *opname,
5800                             enum machine_mode tmode,
5801                             enum machine_mode fmode)
5802 {
5803   if (GET_MODE_CLASS (fmode) != MODE_FLOAT && !DECIMAL_FLOAT_MODE_P (fmode))
5804     return;
5805   if (GET_MODE_CLASS (tmode) != MODE_INT)
5806     return;
5807   gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5808 }
5809
5810 /* Initialize the libfunc fields of an of an intra-mode-class conversion optab.
5811    The string formation rules are
5812    similar to the ones for init_libfunc, above.  */
5813
5814 static void
5815 gen_intraclass_conv_libfunc (convert_optab tab, const char *opname,
5816                              enum machine_mode tmode, enum machine_mode fmode)
5817 {
5818   size_t opname_len = strlen (opname);
5819   size_t mname_len = 0;
5820
5821   const char *fname, *tname;
5822   const char *q;
5823   char *nondec_name, *dec_name, *nondec_suffix, *dec_suffix;
5824   char *libfunc_name, *suffix;
5825   char *p;
5826
5827   /* If this is a decimal conversion, add the current BID vs. DPD prefix that
5828      depends on which underlying decimal floating point format is used.  */
5829   const size_t dec_len = sizeof (DECIMAL_PREFIX) - 1;
5830
5831   mname_len = strlen (GET_MODE_NAME (tmode)) + strlen (GET_MODE_NAME (fmode));
5832
5833   nondec_name = XALLOCAVEC (char, 2 + opname_len + mname_len + 1 + 1);
5834   nondec_name[0] = '_';
5835   nondec_name[1] = '_';
5836   memcpy (&nondec_name[2], opname, opname_len);
5837   nondec_suffix = nondec_name + opname_len + 2;
5838
5839   dec_name = XALLOCAVEC (char, 2 + dec_len + opname_len + mname_len + 1 + 1);
5840   dec_name[0] = '_';
5841   dec_name[1] = '_';
5842   memcpy (&dec_name[2], DECIMAL_PREFIX, dec_len);
5843   memcpy (&dec_name[2 + dec_len], opname, opname_len);
5844   dec_suffix = dec_name + dec_len + opname_len + 2;
5845
5846   fname = GET_MODE_NAME (fmode);
5847   tname = GET_MODE_NAME (tmode);
5848
5849   if (DECIMAL_FLOAT_MODE_P(fmode) || DECIMAL_FLOAT_MODE_P(tmode))
5850     {
5851       libfunc_name = dec_name;
5852       suffix = dec_suffix;
5853     }
5854   else
5855     {
5856       libfunc_name = nondec_name;
5857       suffix = nondec_suffix;
5858     }
5859
5860   p = suffix;
5861   for (q = fname; *q; p++, q++)
5862     *p = TOLOWER (*q);
5863   for (q = tname; *q; p++, q++)
5864     *p = TOLOWER (*q);
5865
5866   *p++ = '2';
5867   *p = '\0';
5868
5869   set_conv_libfunc (tab, tmode, fmode,
5870                     ggc_alloc_string (libfunc_name, p - libfunc_name));
5871 }
5872
5873 /* Pick proper libcall for trunc_optab.  We need to chose if we do
5874    truncation or extension and interclass or intraclass.  */
5875
5876 static void
5877 gen_trunc_conv_libfunc (convert_optab tab,
5878                          const char *opname,
5879                          enum machine_mode tmode,
5880                          enum machine_mode fmode)
5881 {
5882   if (GET_MODE_CLASS (tmode) != MODE_FLOAT && !DECIMAL_FLOAT_MODE_P (tmode))
5883     return;
5884   if (GET_MODE_CLASS (fmode) != MODE_FLOAT && !DECIMAL_FLOAT_MODE_P (fmode))
5885     return;
5886   if (tmode == fmode)
5887     return;
5888
5889   if ((GET_MODE_CLASS (tmode) == MODE_FLOAT && DECIMAL_FLOAT_MODE_P (fmode))
5890       || (GET_MODE_CLASS (fmode) == MODE_FLOAT && DECIMAL_FLOAT_MODE_P (tmode)))
5891      gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5892
5893   if (GET_MODE_PRECISION (fmode) <= GET_MODE_PRECISION (tmode))
5894     return;
5895
5896   if ((GET_MODE_CLASS (tmode) == MODE_FLOAT
5897        && GET_MODE_CLASS (fmode) == MODE_FLOAT)
5898       || (DECIMAL_FLOAT_MODE_P (fmode) && DECIMAL_FLOAT_MODE_P (tmode)))
5899     gen_intraclass_conv_libfunc (tab, opname, tmode, fmode);
5900 }
5901
5902 /* Pick proper libcall for extend_optab.  We need to chose if we do
5903    truncation or extension and interclass or intraclass.  */
5904
5905 static void
5906 gen_extend_conv_libfunc (convert_optab tab,
5907                          const char *opname ATTRIBUTE_UNUSED,
5908                          enum machine_mode tmode,
5909                          enum machine_mode fmode)
5910 {
5911   if (GET_MODE_CLASS (tmode) != MODE_FLOAT && !DECIMAL_FLOAT_MODE_P (tmode))
5912     return;
5913   if (GET_MODE_CLASS (fmode) != MODE_FLOAT && !DECIMAL_FLOAT_MODE_P (fmode))
5914     return;
5915   if (tmode == fmode)
5916     return;
5917
5918   if ((GET_MODE_CLASS (tmode) == MODE_FLOAT && DECIMAL_FLOAT_MODE_P (fmode))
5919       || (GET_MODE_CLASS (fmode) == MODE_FLOAT && DECIMAL_FLOAT_MODE_P (tmode)))
5920      gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5921
5922   if (GET_MODE_PRECISION (fmode) > GET_MODE_PRECISION (tmode))
5923     return;
5924
5925   if ((GET_MODE_CLASS (tmode) == MODE_FLOAT
5926        && GET_MODE_CLASS (fmode) == MODE_FLOAT)
5927       || (DECIMAL_FLOAT_MODE_P (fmode) && DECIMAL_FLOAT_MODE_P (tmode)))
5928     gen_intraclass_conv_libfunc (tab, opname, tmode, fmode);
5929 }
5930
5931 /* Pick proper libcall for fract_optab.  We need to chose if we do
5932    interclass or intraclass.  */
5933
5934 static void
5935 gen_fract_conv_libfunc (convert_optab tab,
5936                         const char *opname,
5937                         enum machine_mode tmode,
5938                         enum machine_mode fmode)
5939 {
5940   if (tmode == fmode)
5941     return;
5942   if (!(ALL_FIXED_POINT_MODE_P (tmode) || ALL_FIXED_POINT_MODE_P (fmode)))
5943     return;
5944
5945   if (GET_MODE_CLASS (tmode) == GET_MODE_CLASS (fmode))
5946     gen_intraclass_conv_libfunc (tab, opname, tmode, fmode);
5947   else
5948     gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5949 }
5950
5951 /* Pick proper libcall for fractuns_optab.  */
5952
5953 static void
5954 gen_fractuns_conv_libfunc (convert_optab tab,
5955                            const char *opname,
5956                            enum machine_mode tmode,
5957                            enum machine_mode fmode)
5958 {
5959   if (tmode == fmode)
5960     return;
5961   /* One mode must be a fixed-point mode, and the other must be an integer
5962      mode. */
5963   if (!((ALL_FIXED_POINT_MODE_P (tmode) && GET_MODE_CLASS (fmode) == MODE_INT)
5964         || (ALL_FIXED_POINT_MODE_P (fmode)
5965             && GET_MODE_CLASS (tmode) == MODE_INT)))
5966     return;
5967
5968   gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5969 }
5970
5971 /* Pick proper libcall for satfract_optab.  We need to chose if we do
5972    interclass or intraclass.  */
5973
5974 static void
5975 gen_satfract_conv_libfunc (convert_optab tab,
5976                            const char *opname,
5977                            enum machine_mode tmode,
5978                            enum machine_mode fmode)
5979 {
5980   if (tmode == fmode)
5981     return;
5982   /* TMODE must be a fixed-point mode.  */
5983   if (!ALL_FIXED_POINT_MODE_P (tmode))
5984     return;
5985
5986   if (GET_MODE_CLASS (tmode) == GET_MODE_CLASS (fmode))
5987     gen_intraclass_conv_libfunc (tab, opname, tmode, fmode);
5988   else
5989     gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
5990 }
5991
5992 /* Pick proper libcall for satfractuns_optab.  */
5993
5994 static void
5995 gen_satfractuns_conv_libfunc (convert_optab tab,
5996                               const char *opname,
5997                               enum machine_mode tmode,
5998                               enum machine_mode fmode)
5999 {
6000   if (tmode == fmode)
6001     return;
6002   /* TMODE must be a fixed-point mode, and FMODE must be an integer mode. */
6003   if (!(ALL_FIXED_POINT_MODE_P (tmode) && GET_MODE_CLASS (fmode) == MODE_INT))
6004     return;
6005
6006   gen_interclass_conv_libfunc (tab, opname, tmode, fmode);
6007 }
6008
6009 /* A table of previously-created libfuncs, hashed by name.  */
6010 static GTY ((param_is (union tree_node))) htab_t libfunc_decls;
6011
6012 /* Hashtable callbacks for libfunc_decls.  */
6013
6014 static hashval_t
6015 libfunc_decl_hash (const void *entry)
6016 {
6017   return htab_hash_string (IDENTIFIER_POINTER (DECL_NAME ((const_tree) entry)));
6018 }
6019
6020 static int
6021 libfunc_decl_eq (const void *entry1, const void *entry2)
6022 {
6023   return DECL_NAME ((const_tree) entry1) == (const_tree) entry2;
6024 }
6025
6026 rtx
6027 init_one_libfunc (const char *name)
6028 {
6029   tree id, decl;
6030   void **slot;
6031   hashval_t hash;
6032
6033   if (libfunc_decls == NULL)
6034     libfunc_decls = htab_create_ggc (37, libfunc_decl_hash,
6035                                      libfunc_decl_eq, NULL);
6036
6037   /* See if we have already created a libfunc decl for this function.  */
6038   id = get_identifier (name);
6039   hash = htab_hash_string (name);
6040   slot = htab_find_slot_with_hash (libfunc_decls, id, hash, INSERT);
6041   decl = (tree) *slot;
6042   if (decl == NULL)
6043     {
6044       /* Create a new decl, so that it can be passed to
6045          targetm.encode_section_info.  */
6046       /* ??? We don't have any type information except for this is
6047          a function.  Pretend this is "int foo()".  */
6048       decl = build_decl (UNKNOWN_LOCATION,
6049                          FUNCTION_DECL, get_identifier (name),
6050                          build_function_type (integer_type_node, NULL_TREE));
6051       DECL_ARTIFICIAL (decl) = 1;
6052       DECL_EXTERNAL (decl) = 1;
6053       TREE_PUBLIC (decl) = 1;
6054
6055       /* Zap the nonsensical SYMBOL_REF_DECL for this.  What we're left with
6056          are the flags assigned by targetm.encode_section_info.  */
6057       SET_SYMBOL_REF_DECL (XEXP (DECL_RTL (decl), 0), NULL);
6058
6059       *slot = decl;
6060     }
6061   return XEXP (DECL_RTL (decl), 0);
6062 }
6063
6064 /* Adjust the assembler name of libfunc NAME to ASMSPEC.  */
6065
6066 rtx
6067 set_user_assembler_libfunc (const char *name, const char *asmspec)
6068 {
6069   tree id, decl;
6070   void **slot;
6071   hashval_t hash;
6072
6073   id = get_identifier (name);
6074   hash = htab_hash_string (name);
6075   slot = htab_find_slot_with_hash (libfunc_decls, id, hash, NO_INSERT);
6076   gcc_assert (slot);
6077   decl = (tree) *slot;
6078   set_user_assembler_name (decl, asmspec);
6079   return XEXP (DECL_RTL (decl), 0);
6080 }
6081
6082 /* Call this to reset the function entry for one optab (OPTABLE) in mode
6083    MODE to NAME, which should be either 0 or a string constant.  */
6084 void
6085 set_optab_libfunc (optab optable, enum machine_mode mode, const char *name)
6086 {
6087   rtx val;
6088   struct libfunc_entry e;
6089   struct libfunc_entry **slot;
6090   e.optab = (size_t) (optable - &optab_table[0]);
6091   e.mode1 = mode;
6092   e.mode2 = VOIDmode;
6093
6094   if (name)
6095     val = init_one_libfunc (name);
6096   else
6097     val = 0;
6098   slot = (struct libfunc_entry **) htab_find_slot (libfunc_hash, &e, INSERT);
6099   if (*slot == NULL)
6100     *slot = GGC_NEW (struct libfunc_entry);
6101   (*slot)->optab = (size_t) (optable - &optab_table[0]);
6102   (*slot)->mode1 = mode;
6103   (*slot)->mode2 = VOIDmode;
6104   (*slot)->libfunc = val;
6105 }
6106
6107 /* Call this to reset the function entry for one conversion optab
6108    (OPTABLE) from mode FMODE to mode TMODE to NAME, which should be
6109    either 0 or a string constant.  */
6110 void
6111 set_conv_libfunc (convert_optab optable, enum machine_mode tmode,
6112                   enum machine_mode fmode, const char *name)
6113 {
6114   rtx val;
6115   struct libfunc_entry e;
6116   struct libfunc_entry **slot;
6117   e.optab = (size_t) (optable - &convert_optab_table[0]);
6118   e.mode1 = tmode;
6119   e.mode2 = fmode;
6120
6121   if (name)
6122     val = init_one_libfunc (name);
6123   else
6124     val = 0;
6125   slot = (struct libfunc_entry **) htab_find_slot (libfunc_hash, &e, INSERT);
6126   if (*slot == NULL)
6127     *slot = GGC_NEW (struct libfunc_entry);
6128   (*slot)->optab = (size_t) (optable - &convert_optab_table[0]);
6129   (*slot)->mode1 = tmode;
6130   (*slot)->mode2 = fmode;
6131   (*slot)->libfunc = val;
6132 }
6133
6134 /* Call this to initialize the contents of the optabs
6135    appropriately for the current target machine.  */
6136
6137 void
6138 init_optabs (void)
6139 {
6140   unsigned int i;
6141   enum machine_mode int_mode;
6142   static bool reinit;
6143
6144   libfunc_hash = htab_create_ggc (10, hash_libfunc, eq_libfunc, NULL);
6145   /* Start by initializing all tables to contain CODE_FOR_nothing.  */
6146
6147 #ifdef HAVE_conditional_move
6148   for (i = 0; i < NUM_MACHINE_MODES; i++)
6149     movcc_gen_code[i] = CODE_FOR_nothing;
6150 #endif
6151
6152   for (i = 0; i < NUM_MACHINE_MODES; i++)
6153     {
6154       vcond_gen_code[i] = CODE_FOR_nothing;
6155       vcondu_gen_code[i] = CODE_FOR_nothing;
6156     }
6157
6158 #if GCC_VERSION >= 4000 && HAVE_DESIGNATED_INITIALIZERS
6159   /* We statically initialize the insn_codes with CODE_FOR_nothing.  */
6160   if (reinit)
6161     init_insn_codes ();
6162 #else
6163   init_insn_codes ();
6164 #endif
6165
6166   init_optab (add_optab, PLUS);
6167   init_optabv (addv_optab, PLUS);
6168   init_optab (sub_optab, MINUS);
6169   init_optabv (subv_optab, MINUS);
6170   init_optab (ssadd_optab, SS_PLUS);
6171   init_optab (usadd_optab, US_PLUS);
6172   init_optab (sssub_optab, SS_MINUS);
6173   init_optab (ussub_optab, US_MINUS);
6174   init_optab (smul_optab, MULT);
6175   init_optab (ssmul_optab, SS_MULT);
6176   init_optab (usmul_optab, US_MULT);
6177   init_optabv (smulv_optab, MULT);
6178   init_optab (smul_highpart_optab, UNKNOWN);
6179   init_optab (umul_highpart_optab, UNKNOWN);
6180   init_optab (smul_widen_optab, UNKNOWN);
6181   init_optab (umul_widen_optab, UNKNOWN);
6182   init_optab (usmul_widen_optab, UNKNOWN);
6183   init_optab (smadd_widen_optab, UNKNOWN);
6184   init_optab (umadd_widen_optab, UNKNOWN);
6185   init_optab (ssmadd_widen_optab, UNKNOWN);
6186   init_optab (usmadd_widen_optab, UNKNOWN);
6187   init_optab (smsub_widen_optab, UNKNOWN);
6188   init_optab (umsub_widen_optab, UNKNOWN);
6189   init_optab (ssmsub_widen_optab, UNKNOWN);
6190   init_optab (usmsub_widen_optab, UNKNOWN);
6191   init_optab (sdiv_optab, DIV);
6192   init_optab (ssdiv_optab, SS_DIV);
6193   init_optab (usdiv_optab, US_DIV);
6194   init_optabv (sdivv_optab, DIV);
6195   init_optab (sdivmod_optab, UNKNOWN);
6196   init_optab (udiv_optab, UDIV);
6197   init_optab (udivmod_optab, UNKNOWN);
6198   init_optab (smod_optab, MOD);
6199   init_optab (umod_optab, UMOD);
6200   init_optab (fmod_optab, UNKNOWN);
6201   init_optab (remainder_optab, UNKNOWN);
6202   init_optab (ftrunc_optab, UNKNOWN);
6203   init_optab (and_optab, AND);
6204   init_optab (ior_optab, IOR);
6205   init_optab (xor_optab, XOR);
6206   init_optab (ashl_optab, ASHIFT);
6207   init_optab (ssashl_optab, SS_ASHIFT);
6208   init_optab (usashl_optab, US_ASHIFT);
6209   init_optab (ashr_optab, ASHIFTRT);
6210   init_optab (lshr_optab, LSHIFTRT);
6211   init_optab (rotl_optab, ROTATE);
6212   init_optab (rotr_optab, ROTATERT);
6213   init_optab (smin_optab, SMIN);
6214   init_optab (smax_optab, SMAX);
6215   init_optab (umin_optab, UMIN);
6216   init_optab (umax_optab, UMAX);
6217   init_optab (pow_optab, UNKNOWN);
6218   init_optab (atan2_optab, UNKNOWN);
6219
6220   /* These three have codes assigned exclusively for the sake of
6221      have_insn_for.  */
6222   init_optab (mov_optab, SET);
6223   init_optab (movstrict_optab, STRICT_LOW_PART);
6224   init_optab (cbranch_optab, COMPARE);
6225
6226   init_optab (cmov_optab, UNKNOWN);
6227   init_optab (cstore_optab, UNKNOWN);
6228   init_optab (ctrap_optab, UNKNOWN);
6229
6230   init_optab (storent_optab, UNKNOWN);
6231
6232   init_optab (cmp_optab, UNKNOWN);
6233   init_optab (ucmp_optab, UNKNOWN);
6234
6235   init_optab (eq_optab, EQ);
6236   init_optab (ne_optab, NE);
6237   init_optab (gt_optab, GT);
6238   init_optab (ge_optab, GE);
6239   init_optab (lt_optab, LT);
6240   init_optab (le_optab, LE);
6241   init_optab (unord_optab, UNORDERED);
6242
6243   init_optab (neg_optab, NEG);
6244   init_optab (ssneg_optab, SS_NEG);
6245   init_optab (usneg_optab, US_NEG);
6246   init_optabv (negv_optab, NEG);
6247   init_optab (abs_optab, ABS);
6248   init_optabv (absv_optab, ABS);
6249   init_optab (addcc_optab, UNKNOWN);
6250   init_optab (one_cmpl_optab, NOT);
6251   init_optab (bswap_optab, BSWAP);
6252   init_optab (ffs_optab, FFS);
6253   init_optab (clz_optab, CLZ);
6254   init_optab (ctz_optab, CTZ);
6255   init_optab (popcount_optab, POPCOUNT);
6256   init_optab (parity_optab, PARITY);
6257   init_optab (sqrt_optab, SQRT);
6258   init_optab (floor_optab, UNKNOWN);
6259   init_optab (ceil_optab, UNKNOWN);
6260   init_optab (round_optab, UNKNOWN);
6261   init_optab (btrunc_optab, UNKNOWN);
6262   init_optab (nearbyint_optab, UNKNOWN);
6263   init_optab (rint_optab, UNKNOWN);
6264   init_optab (sincos_optab, UNKNOWN);
6265   init_optab (sin_optab, UNKNOWN);
6266   init_optab (asin_optab, UNKNOWN);
6267   init_optab (cos_optab, UNKNOWN);
6268   init_optab (acos_optab, UNKNOWN);
6269   init_optab (exp_optab, UNKNOWN);
6270   init_optab (exp10_optab, UNKNOWN);
6271   init_optab (exp2_optab, UNKNOWN);
6272   init_optab (expm1_optab, UNKNOWN);
6273   init_optab (ldexp_optab, UNKNOWN);
6274   init_optab (scalb_optab, UNKNOWN);
6275   init_optab (significand_optab, UNKNOWN);
6276   init_optab (logb_optab, UNKNOWN);
6277   init_optab (ilogb_optab, UNKNOWN);
6278   init_optab (log_optab, UNKNOWN);
6279   init_optab (log10_optab, UNKNOWN);
6280   init_optab (log2_optab, UNKNOWN);
6281   init_optab (log1p_optab, UNKNOWN);
6282   init_optab (tan_optab, UNKNOWN);
6283   init_optab (atan_optab, UNKNOWN);
6284   init_optab (copysign_optab, UNKNOWN);
6285   init_optab (signbit_optab, UNKNOWN);
6286
6287   init_optab (isinf_optab, UNKNOWN);
6288
6289   init_optab (strlen_optab, UNKNOWN);
6290   init_optab (push_optab, UNKNOWN);
6291
6292   init_optab (reduc_smax_optab, UNKNOWN);
6293   init_optab (reduc_umax_optab, UNKNOWN);
6294   init_optab (reduc_smin_optab, UNKNOWN);
6295   init_optab (reduc_umin_optab, UNKNOWN);
6296   init_optab (reduc_splus_optab, UNKNOWN);
6297   init_optab (reduc_uplus_optab, UNKNOWN);
6298
6299   init_optab (ssum_widen_optab, UNKNOWN);
6300   init_optab (usum_widen_optab, UNKNOWN);
6301   init_optab (sdot_prod_optab, UNKNOWN);
6302   init_optab (udot_prod_optab, UNKNOWN);
6303
6304   init_optab (vec_extract_optab, UNKNOWN);
6305   init_optab (vec_extract_even_optab, UNKNOWN);
6306   init_optab (vec_extract_odd_optab, UNKNOWN);
6307   init_optab (vec_interleave_high_optab, UNKNOWN);
6308   init_optab (vec_interleave_low_optab, UNKNOWN);
6309   init_optab (vec_set_optab, UNKNOWN);
6310   init_optab (vec_init_optab, UNKNOWN);
6311   init_optab (vec_shl_optab, UNKNOWN);
6312   init_optab (vec_shr_optab, UNKNOWN);
6313   init_optab (vec_realign_load_optab, UNKNOWN);
6314   init_optab (movmisalign_optab, UNKNOWN);
6315   init_optab (vec_widen_umult_hi_optab, UNKNOWN);
6316   init_optab (vec_widen_umult_lo_optab, UNKNOWN);
6317   init_optab (vec_widen_smult_hi_optab, UNKNOWN);
6318   init_optab (vec_widen_smult_lo_optab, UNKNOWN);
6319   init_optab (vec_unpacks_hi_optab, UNKNOWN);
6320   init_optab (vec_unpacks_lo_optab, UNKNOWN);
6321   init_optab (vec_unpacku_hi_optab, UNKNOWN);
6322   init_optab (vec_unpacku_lo_optab, UNKNOWN);
6323   init_optab (vec_unpacks_float_hi_optab, UNKNOWN);
6324   init_optab (vec_unpacks_float_lo_optab, UNKNOWN);
6325   init_optab (vec_unpacku_float_hi_optab, UNKNOWN);
6326   init_optab (vec_unpacku_float_lo_optab, UNKNOWN);
6327   init_optab (vec_pack_trunc_optab, UNKNOWN);
6328   init_optab (vec_pack_usat_optab, UNKNOWN);
6329   init_optab (vec_pack_ssat_optab, UNKNOWN);
6330   init_optab (vec_pack_ufix_trunc_optab, UNKNOWN);
6331   init_optab (vec_pack_sfix_trunc_optab, UNKNOWN);
6332
6333   init_optab (powi_optab, UNKNOWN);
6334
6335   /* Conversions.  */
6336   init_convert_optab (sext_optab, SIGN_EXTEND);
6337   init_convert_optab (zext_optab, ZERO_EXTEND);
6338   init_convert_optab (trunc_optab, TRUNCATE);
6339   init_convert_optab (sfix_optab, FIX);
6340   init_convert_optab (ufix_optab, UNSIGNED_FIX);
6341   init_convert_optab (sfixtrunc_optab, UNKNOWN);
6342   init_convert_optab (ufixtrunc_optab, UNKNOWN);
6343   init_convert_optab (sfloat_optab, FLOAT);
6344   init_convert_optab (ufloat_optab, UNSIGNED_FLOAT);
6345   init_convert_optab (lrint_optab, UNKNOWN);
6346   init_convert_optab (lround_optab, UNKNOWN);
6347   init_convert_optab (lfloor_optab, UNKNOWN);
6348   init_convert_optab (lceil_optab, UNKNOWN);
6349
6350   init_convert_optab (fract_optab, FRACT_CONVERT);
6351   init_convert_optab (fractuns_optab, UNSIGNED_FRACT_CONVERT);
6352   init_convert_optab (satfract_optab, SAT_FRACT);
6353   init_convert_optab (satfractuns_optab, UNSIGNED_SAT_FRACT);
6354
6355   for (i = 0; i < NUM_MACHINE_MODES; i++)
6356     {
6357       movmem_optab[i] = CODE_FOR_nothing;
6358       cmpstr_optab[i] = CODE_FOR_nothing;
6359       cmpstrn_optab[i] = CODE_FOR_nothing;
6360       cmpmem_optab[i] = CODE_FOR_nothing;
6361       setmem_optab[i] = CODE_FOR_nothing;
6362
6363       sync_add_optab[i] = CODE_FOR_nothing;
6364       sync_sub_optab[i] = CODE_FOR_nothing;
6365       sync_ior_optab[i] = CODE_FOR_nothing;
6366       sync_and_optab[i] = CODE_FOR_nothing;
6367       sync_xor_optab[i] = CODE_FOR_nothing;
6368       sync_nand_optab[i] = CODE_FOR_nothing;
6369       sync_old_add_optab[i] = CODE_FOR_nothing;
6370       sync_old_sub_optab[i] = CODE_FOR_nothing;
6371       sync_old_ior_optab[i] = CODE_FOR_nothing;
6372       sync_old_and_optab[i] = CODE_FOR_nothing;
6373       sync_old_xor_optab[i] = CODE_FOR_nothing;
6374       sync_old_nand_optab[i] = CODE_FOR_nothing;
6375       sync_new_add_optab[i] = CODE_FOR_nothing;
6376       sync_new_sub_optab[i] = CODE_FOR_nothing;
6377       sync_new_ior_optab[i] = CODE_FOR_nothing;
6378       sync_new_and_optab[i] = CODE_FOR_nothing;
6379       sync_new_xor_optab[i] = CODE_FOR_nothing;
6380       sync_new_nand_optab[i] = CODE_FOR_nothing;
6381       sync_compare_and_swap[i] = CODE_FOR_nothing;
6382       sync_lock_test_and_set[i] = CODE_FOR_nothing;
6383       sync_lock_release[i] = CODE_FOR_nothing;
6384
6385       reload_in_optab[i] = reload_out_optab[i] = CODE_FOR_nothing;
6386     }
6387
6388   /* Fill in the optabs with the insns we support.  */
6389   init_all_optabs ();
6390
6391   /* Initialize the optabs with the names of the library functions.  */
6392   add_optab->libcall_basename = "add";
6393   add_optab->libcall_suffix = '3';
6394   add_optab->libcall_gen = gen_int_fp_fixed_libfunc;
6395   addv_optab->libcall_basename = "add";
6396   addv_optab->libcall_suffix = '3';
6397   addv_optab->libcall_gen = gen_intv_fp_libfunc;
6398   ssadd_optab->libcall_basename = "ssadd";
6399   ssadd_optab->libcall_suffix = '3';
6400   ssadd_optab->libcall_gen = gen_signed_fixed_libfunc;
6401   usadd_optab->libcall_basename = "usadd";
6402   usadd_optab->libcall_suffix = '3';
6403   usadd_optab->libcall_gen = gen_unsigned_fixed_libfunc;
6404   sub_optab->libcall_basename = "sub";
6405   sub_optab->libcall_suffix = '3';
6406   sub_optab->libcall_gen = gen_int_fp_fixed_libfunc;
6407   subv_optab->libcall_basename = "sub";
6408   subv_optab->libcall_suffix = '3';
6409   subv_optab->libcall_gen = gen_intv_fp_libfunc;
6410   sssub_optab->libcall_basename = "sssub";
6411   sssub_optab->libcall_suffix = '3';
6412   sssub_optab->libcall_gen = gen_signed_fixed_libfunc;
6413   ussub_optab->libcall_basename = "ussub";
6414   ussub_optab->libcall_suffix = '3';
6415   ussub_optab->libcall_gen = gen_unsigned_fixed_libfunc;
6416   smul_optab->libcall_basename = "mul";
6417   smul_optab->libcall_suffix = '3';
6418   smul_optab->libcall_gen = gen_int_fp_fixed_libfunc;
6419   smulv_optab->libcall_basename = "mul";
6420   smulv_optab->libcall_suffix = '3';
6421   smulv_optab->libcall_gen = gen_intv_fp_libfunc;
6422   ssmul_optab->libcall_basename = "ssmul";
6423   ssmul_optab->libcall_suffix = '3';
6424   ssmul_optab->libcall_gen = gen_signed_fixed_libfunc;
6425   usmul_optab->libcall_basename = "usmul";
6426   usmul_optab->libcall_suffix = '3';
6427   usmul_optab->libcall_gen = gen_unsigned_fixed_libfunc;
6428   sdiv_optab->libcall_basename = "div";
6429   sdiv_optab->libcall_suffix = '3';
6430   sdiv_optab->libcall_gen = gen_int_fp_signed_fixed_libfunc;
6431   sdivv_optab->libcall_basename = "divv";
6432   sdivv_optab->libcall_suffix = '3';
6433   sdivv_optab->libcall_gen = gen_int_libfunc;
6434   ssdiv_optab->libcall_basename = "ssdiv";
6435   ssdiv_optab->libcall_suffix = '3';
6436   ssdiv_optab->libcall_gen = gen_signed_fixed_libfunc;
6437   udiv_optab->libcall_basename = "udiv";
6438   udiv_optab->libcall_suffix = '3';
6439   udiv_optab->libcall_gen = gen_int_unsigned_fixed_libfunc;
6440   usdiv_optab->libcall_basename = "usdiv";
6441   usdiv_optab->libcall_suffix = '3';
6442   usdiv_optab->libcall_gen = gen_unsigned_fixed_libfunc;
6443   sdivmod_optab->libcall_basename = "divmod";
6444   sdivmod_optab->libcall_suffix = '4';
6445   sdivmod_optab->libcall_gen = gen_int_libfunc;
6446   udivmod_optab->libcall_basename = "udivmod";
6447   udivmod_optab->libcall_suffix = '4';
6448   udivmod_optab->libcall_gen = gen_int_libfunc;
6449   smod_optab->libcall_basename = "mod";
6450   smod_optab->libcall_suffix = '3';
6451   smod_optab->libcall_gen = gen_int_libfunc;
6452   umod_optab->libcall_basename = "umod";
6453   umod_optab->libcall_suffix = '3';
6454   umod_optab->libcall_gen = gen_int_libfunc;
6455   ftrunc_optab->libcall_basename = "ftrunc";
6456   ftrunc_optab->libcall_suffix = '2';
6457   ftrunc_optab->libcall_gen = gen_fp_libfunc;
6458   and_optab->libcall_basename = "and";
6459   and_optab->libcall_suffix = '3';
6460   and_optab->libcall_gen = gen_int_libfunc;
6461   ior_optab->libcall_basename = "ior";
6462   ior_optab->libcall_suffix = '3';
6463   ior_optab->libcall_gen = gen_int_libfunc;
6464   xor_optab->libcall_basename = "xor";
6465   xor_optab->libcall_suffix = '3';
6466   xor_optab->libcall_gen = gen_int_libfunc;
6467   ashl_optab->libcall_basename = "ashl";
6468   ashl_optab->libcall_suffix = '3';
6469   ashl_optab->libcall_gen = gen_int_fixed_libfunc;
6470   ssashl_optab->libcall_basename = "ssashl";
6471   ssashl_optab->libcall_suffix = '3';
6472   ssashl_optab->libcall_gen = gen_signed_fixed_libfunc;
6473   usashl_optab->libcall_basename = "usashl";
6474   usashl_optab->libcall_suffix = '3';
6475   usashl_optab->libcall_gen = gen_unsigned_fixed_libfunc;
6476   ashr_optab->libcall_basename = "ashr";
6477   ashr_optab->libcall_suffix = '3';
6478   ashr_optab->libcall_gen = gen_int_signed_fixed_libfunc;
6479   lshr_optab->libcall_basename = "lshr";
6480   lshr_optab->libcall_suffix = '3';
6481   lshr_optab->libcall_gen = gen_int_unsigned_fixed_libfunc;
6482   smin_optab->libcall_basename = "min";
6483   smin_optab->libcall_suffix = '3';
6484   smin_optab->libcall_gen = gen_int_fp_libfunc;
6485   smax_optab->libcall_basename = "max";
6486   smax_optab->libcall_suffix = '3';
6487   smax_optab->libcall_gen = gen_int_fp_libfunc;
6488   umin_optab->libcall_basename = "umin";
6489   umin_optab->libcall_suffix = '3';
6490   umin_optab->libcall_gen = gen_int_libfunc;
6491   umax_optab->libcall_basename = "umax";
6492   umax_optab->libcall_suffix = '3';
6493   umax_optab->libcall_gen = gen_int_libfunc;
6494   neg_optab->libcall_basename = "neg";
6495   neg_optab->libcall_suffix = '2';
6496   neg_optab->libcall_gen = gen_int_fp_fixed_libfunc;
6497   ssneg_optab->libcall_basename = "ssneg";
6498   ssneg_optab->libcall_suffix = '2';
6499   ssneg_optab->libcall_gen = gen_signed_fixed_libfunc;
6500   usneg_optab->libcall_basename = "usneg";
6501   usneg_optab->libcall_suffix = '2';
6502   usneg_optab->libcall_gen = gen_unsigned_fixed_libfunc;
6503   negv_optab->libcall_basename = "neg";
6504   negv_optab->libcall_suffix = '2';
6505   negv_optab->libcall_gen = gen_intv_fp_libfunc;
6506   one_cmpl_optab->libcall_basename = "one_cmpl";
6507   one_cmpl_optab->libcall_suffix = '2';
6508   one_cmpl_optab->libcall_gen = gen_int_libfunc;
6509   ffs_optab->libcall_basename = "ffs";
6510   ffs_optab->libcall_suffix = '2';
6511   ffs_optab->libcall_gen = gen_int_libfunc;
6512   clz_optab->libcall_basename = "clz";
6513   clz_optab->libcall_suffix = '2';
6514   clz_optab->libcall_gen = gen_int_libfunc;
6515   ctz_optab->libcall_basename = "ctz";
6516   ctz_optab->libcall_suffix = '2';
6517   ctz_optab->libcall_gen = gen_int_libfunc;
6518   popcount_optab->libcall_basename = "popcount";
6519   popcount_optab->libcall_suffix = '2';
6520   popcount_optab->libcall_gen = gen_int_libfunc;
6521   parity_optab->libcall_basename = "parity";
6522   parity_optab->libcall_suffix = '2';
6523   parity_optab->libcall_gen = gen_int_libfunc;
6524
6525   /* Comparison libcalls for integers MUST come in pairs,
6526      signed/unsigned.  */
6527   cmp_optab->libcall_basename = "cmp";
6528   cmp_optab->libcall_suffix = '2';
6529   cmp_optab->libcall_gen = gen_int_fp_fixed_libfunc;
6530   ucmp_optab->libcall_basename = "ucmp";
6531   ucmp_optab->libcall_suffix = '2';
6532   ucmp_optab->libcall_gen = gen_int_libfunc;
6533
6534   /* EQ etc are floating point only.  */
6535   eq_optab->libcall_basename = "eq";
6536   eq_optab->libcall_suffix = '2';
6537   eq_optab->libcall_gen = gen_fp_libfunc;
6538   ne_optab->libcall_basename = "ne";
6539   ne_optab->libcall_suffix = '2';
6540   ne_optab->libcall_gen = gen_fp_libfunc;
6541   gt_optab->libcall_basename = "gt";
6542   gt_optab->libcall_suffix = '2';
6543   gt_optab->libcall_gen = gen_fp_libfunc;
6544   ge_optab->libcall_basename = "ge";
6545   ge_optab->libcall_suffix = '2';
6546   ge_optab->libcall_gen = gen_fp_libfunc;
6547   lt_optab->libcall_basename = "lt";
6548   lt_optab->libcall_suffix = '2';
6549   lt_optab->libcall_gen = gen_fp_libfunc;
6550   le_optab->libcall_basename = "le";
6551   le_optab->libcall_suffix = '2';
6552   le_optab->libcall_gen = gen_fp_libfunc;
6553   unord_optab->libcall_basename = "unord";
6554   unord_optab->libcall_suffix = '2';
6555   unord_optab->libcall_gen = gen_fp_libfunc;
6556
6557   powi_optab->libcall_basename = "powi";
6558   powi_optab->libcall_suffix = '2';
6559   powi_optab->libcall_gen = gen_fp_libfunc;
6560
6561   /* Conversions.  */
6562   sfloat_optab->libcall_basename = "float";
6563   sfloat_optab->libcall_gen = gen_int_to_fp_conv_libfunc;
6564   ufloat_optab->libcall_gen = gen_ufloat_conv_libfunc;
6565   sfix_optab->libcall_basename = "fix";
6566   sfix_optab->libcall_gen = gen_fp_to_int_conv_libfunc;
6567   ufix_optab->libcall_basename = "fixuns";
6568   ufix_optab->libcall_gen = gen_fp_to_int_conv_libfunc;
6569   lrint_optab->libcall_basename = "lrint";
6570   lrint_optab->libcall_gen = gen_int_to_fp_nondecimal_conv_libfunc;
6571   lround_optab->libcall_basename = "lround";
6572   lround_optab->libcall_gen = gen_int_to_fp_nondecimal_conv_libfunc;
6573   lfloor_optab->libcall_basename = "lfloor";
6574   lfloor_optab->libcall_gen = gen_int_to_fp_nondecimal_conv_libfunc;
6575   lceil_optab->libcall_basename = "lceil";
6576   lceil_optab->libcall_gen = gen_int_to_fp_nondecimal_conv_libfunc;
6577
6578   /* trunc_optab is also used for FLOAT_EXTEND.  */
6579   sext_optab->libcall_basename = "extend";
6580   sext_optab->libcall_gen = gen_extend_conv_libfunc;
6581   trunc_optab->libcall_basename = "trunc";
6582   trunc_optab->libcall_gen = gen_trunc_conv_libfunc;
6583
6584   /* Conversions for fixed-point modes and other modes.  */
6585   fract_optab->libcall_basename = "fract";
6586   fract_optab->libcall_gen = gen_fract_conv_libfunc;
6587   satfract_optab->libcall_basename = "satfract";
6588   satfract_optab->libcall_gen = gen_satfract_conv_libfunc;
6589   fractuns_optab->libcall_basename = "fractuns";
6590   fractuns_optab->libcall_gen = gen_fractuns_conv_libfunc;
6591   satfractuns_optab->libcall_basename = "satfractuns";
6592   satfractuns_optab->libcall_gen = gen_satfractuns_conv_libfunc;
6593
6594   /* The ffs function operates on `int'.  Fall back on it if we do not
6595      have a libgcc2 function for that width.  */
6596   if (INT_TYPE_SIZE < BITS_PER_WORD)
6597     {
6598       int_mode = mode_for_size (INT_TYPE_SIZE, MODE_INT, 0);
6599       set_optab_libfunc (ffs_optab, mode_for_size (INT_TYPE_SIZE, MODE_INT, 0),
6600                          "ffs");
6601     }
6602
6603   /* Explicitly initialize the bswap libfuncs since we need them to be
6604      valid for things other than word_mode.  */
6605   set_optab_libfunc (bswap_optab, SImode, "__bswapsi2");
6606   set_optab_libfunc (bswap_optab, DImode, "__bswapdi2");
6607
6608   /* Use cabs for double complex abs, since systems generally have cabs.
6609      Don't define any libcall for float complex, so that cabs will be used.  */
6610   if (complex_double_type_node)
6611     set_optab_libfunc (abs_optab, TYPE_MODE (complex_double_type_node), "cabs");
6612
6613   abort_libfunc = init_one_libfunc ("abort");
6614   memcpy_libfunc = init_one_libfunc ("memcpy");
6615   memmove_libfunc = init_one_libfunc ("memmove");
6616   memcmp_libfunc = init_one_libfunc ("memcmp");
6617   memset_libfunc = init_one_libfunc ("memset");
6618   setbits_libfunc = init_one_libfunc ("__setbits");
6619
6620 #ifndef DONT_USE_BUILTIN_SETJMP
6621   setjmp_libfunc = init_one_libfunc ("__builtin_setjmp");
6622   longjmp_libfunc = init_one_libfunc ("__builtin_longjmp");
6623 #else
6624   setjmp_libfunc = init_one_libfunc ("setjmp");
6625   longjmp_libfunc = init_one_libfunc ("longjmp");
6626 #endif
6627   unwind_sjlj_register_libfunc = init_one_libfunc ("_Unwind_SjLj_Register");
6628   unwind_sjlj_unregister_libfunc
6629     = init_one_libfunc ("_Unwind_SjLj_Unregister");
6630
6631   /* For function entry/exit instrumentation.  */
6632   profile_function_entry_libfunc
6633     = init_one_libfunc ("__cyg_profile_func_enter");
6634   profile_function_exit_libfunc
6635     = init_one_libfunc ("__cyg_profile_func_exit");
6636
6637   gcov_flush_libfunc = init_one_libfunc ("__gcov_flush");
6638
6639   /* Allow the target to add more libcalls or rename some, etc.  */
6640   targetm.init_libfuncs ();
6641
6642   reinit = true;
6643 }
6644
6645 /* Print information about the current contents of the optabs on
6646    STDERR.  */
6647
6648 void
6649 debug_optab_libfuncs (void)
6650 {
6651   int i;
6652   int j;
6653   int k;
6654
6655   /* Dump the arithmetic optabs.  */
6656   for (i = 0; i != (int) OTI_MAX; i++)
6657     for (j = 0; j < NUM_MACHINE_MODES; ++j)
6658       {
6659         optab o;
6660         rtx l;
6661
6662         o = &optab_table[i];
6663         l = optab_libfunc (o, (enum machine_mode) j);
6664         if (l)
6665           {
6666             gcc_assert (GET_CODE (l) == SYMBOL_REF);
6667             fprintf (stderr, "%s\t%s:\t%s\n",
6668                      GET_RTX_NAME (o->code),
6669                      GET_MODE_NAME (j),
6670                      XSTR (l, 0));
6671           }
6672       }
6673
6674   /* Dump the conversion optabs.  */
6675   for (i = 0; i < (int) COI_MAX; ++i)
6676     for (j = 0; j < NUM_MACHINE_MODES; ++j)
6677       for (k = 0; k < NUM_MACHINE_MODES; ++k)
6678         {
6679           convert_optab o;
6680           rtx l;
6681
6682           o = &convert_optab_table[i];
6683           l = convert_optab_libfunc (o, (enum machine_mode) j,
6684                                      (enum machine_mode) k);
6685           if (l)
6686             {
6687               gcc_assert (GET_CODE (l) == SYMBOL_REF);
6688               fprintf (stderr, "%s\t%s\t%s:\t%s\n",
6689                        GET_RTX_NAME (o->code),
6690                        GET_MODE_NAME (j),
6691                        GET_MODE_NAME (k),
6692                        XSTR (l, 0));
6693             }
6694         }
6695 }
6696
6697 \f
6698 /* Generate insns to trap with code TCODE if OP1 and OP2 satisfy condition
6699    CODE.  Return 0 on failure.  */
6700
6701 rtx
6702 gen_cond_trap (enum rtx_code code, rtx op1, rtx op2, rtx tcode)
6703 {
6704   enum machine_mode mode = GET_MODE (op1);
6705   enum insn_code icode;
6706   rtx insn;
6707   rtx trap_rtx;
6708
6709   if (mode == VOIDmode)
6710     return 0;
6711
6712   icode = optab_handler (ctrap_optab, mode)->insn_code;
6713   if (icode == CODE_FOR_nothing)
6714     return 0;
6715
6716   /* Some targets only accept a zero trap code.  */
6717   if (insn_data[icode].operand[3].predicate
6718       && !insn_data[icode].operand[3].predicate (tcode, VOIDmode))
6719     return 0;
6720
6721   do_pending_stack_adjust ();
6722   start_sequence ();
6723   prepare_cmp_insn (op1, op2, code, NULL_RTX, false, OPTAB_DIRECT,
6724                     &trap_rtx, &mode);
6725   if (!trap_rtx)
6726     insn = NULL_RTX;
6727   else
6728     insn = GEN_FCN (icode) (trap_rtx, XEXP (trap_rtx, 0), XEXP (trap_rtx, 1),
6729                             tcode);
6730
6731   /* If that failed, then give up.  */
6732   if (insn == 0)
6733     {
6734       end_sequence ();
6735       return 0;
6736     }
6737
6738   emit_insn (insn);
6739   insn = get_insns ();
6740   end_sequence ();
6741   return insn;
6742 }
6743
6744 /* Return rtx code for TCODE. Use UNSIGNEDP to select signed
6745    or unsigned operation code.  */
6746
6747 static enum rtx_code
6748 get_rtx_code (enum tree_code tcode, bool unsignedp)
6749 {
6750   enum rtx_code code;
6751   switch (tcode)
6752     {
6753     case EQ_EXPR:
6754       code = EQ;
6755       break;
6756     case NE_EXPR:
6757       code = NE;
6758       break;
6759     case LT_EXPR:
6760       code = unsignedp ? LTU : LT;
6761       break;
6762     case LE_EXPR:
6763       code = unsignedp ? LEU : LE;
6764       break;
6765     case GT_EXPR:
6766       code = unsignedp ? GTU : GT;
6767       break;
6768     case GE_EXPR:
6769       code = unsignedp ? GEU : GE;
6770       break;
6771
6772     case UNORDERED_EXPR:
6773       code = UNORDERED;
6774       break;
6775     case ORDERED_EXPR:
6776       code = ORDERED;
6777       break;
6778     case UNLT_EXPR:
6779       code = UNLT;
6780       break;
6781     case UNLE_EXPR:
6782       code = UNLE;
6783       break;
6784     case UNGT_EXPR:
6785       code = UNGT;
6786       break;
6787     case UNGE_EXPR:
6788       code = UNGE;
6789       break;
6790     case UNEQ_EXPR:
6791       code = UNEQ;
6792       break;
6793     case LTGT_EXPR:
6794       code = LTGT;
6795       break;
6796
6797     default:
6798       gcc_unreachable ();
6799     }
6800   return code;
6801 }
6802
6803 /* Return comparison rtx for COND. Use UNSIGNEDP to select signed or
6804    unsigned operators. Do not generate compare instruction.  */
6805
6806 static rtx
6807 vector_compare_rtx (tree cond, bool unsignedp, enum insn_code icode)
6808 {
6809   enum rtx_code rcode;
6810   tree t_op0, t_op1;
6811   rtx rtx_op0, rtx_op1;
6812
6813   /* This is unlikely. While generating VEC_COND_EXPR, auto vectorizer
6814      ensures that condition is a relational operation.  */
6815   gcc_assert (COMPARISON_CLASS_P (cond));
6816
6817   rcode = get_rtx_code (TREE_CODE (cond), unsignedp);
6818   t_op0 = TREE_OPERAND (cond, 0);
6819   t_op1 = TREE_OPERAND (cond, 1);
6820
6821   /* Expand operands.  */
6822   rtx_op0 = expand_expr (t_op0, NULL_RTX, TYPE_MODE (TREE_TYPE (t_op0)),
6823                          EXPAND_STACK_PARM);
6824   rtx_op1 = expand_expr (t_op1, NULL_RTX, TYPE_MODE (TREE_TYPE (t_op1)),
6825                          EXPAND_STACK_PARM);
6826
6827   if (!insn_data[icode].operand[4].predicate (rtx_op0, GET_MODE (rtx_op0))
6828       && GET_MODE (rtx_op0) != VOIDmode)
6829     rtx_op0 = force_reg (GET_MODE (rtx_op0), rtx_op0);
6830
6831   if (!insn_data[icode].operand[5].predicate (rtx_op1, GET_MODE (rtx_op1))
6832       && GET_MODE (rtx_op1) != VOIDmode)
6833     rtx_op1 = force_reg (GET_MODE (rtx_op1), rtx_op1);
6834
6835   return gen_rtx_fmt_ee (rcode, VOIDmode, rtx_op0, rtx_op1);
6836 }
6837
6838 /* Return insn code for VEC_COND_EXPR EXPR.  */
6839
6840 static inline enum insn_code
6841 get_vcond_icode (tree expr, enum machine_mode mode)
6842 {
6843   enum insn_code icode = CODE_FOR_nothing;
6844
6845   if (TYPE_UNSIGNED (TREE_TYPE (expr)))
6846     icode = vcondu_gen_code[mode];
6847   else
6848     icode = vcond_gen_code[mode];
6849   return icode;
6850 }
6851
6852 /* Return TRUE iff, appropriate vector insns are available
6853    for vector cond expr expr in VMODE mode.  */
6854
6855 bool
6856 expand_vec_cond_expr_p (tree expr, enum machine_mode vmode)
6857 {
6858   if (get_vcond_icode (expr, vmode) == CODE_FOR_nothing)
6859     return false;
6860   return true;
6861 }
6862
6863 /* Generate insns for VEC_COND_EXPR.  */
6864
6865 rtx
6866 expand_vec_cond_expr (tree vec_cond_expr, rtx target)
6867 {
6868   enum insn_code icode;
6869   rtx comparison, rtx_op1, rtx_op2, cc_op0, cc_op1;
6870   enum machine_mode mode = TYPE_MODE (TREE_TYPE (vec_cond_expr));
6871   bool unsignedp = TYPE_UNSIGNED (TREE_TYPE (vec_cond_expr));
6872
6873   icode = get_vcond_icode (vec_cond_expr, mode);
6874   if (icode == CODE_FOR_nothing)
6875     return 0;
6876
6877   if (!target || !insn_data[icode].operand[0].predicate (target, mode))
6878     target = gen_reg_rtx (mode);
6879
6880   /* Get comparison rtx.  First expand both cond expr operands.  */
6881   comparison = vector_compare_rtx (TREE_OPERAND (vec_cond_expr, 0),
6882                                    unsignedp, icode);
6883   cc_op0 = XEXP (comparison, 0);
6884   cc_op1 = XEXP (comparison, 1);
6885   /* Expand both operands and force them in reg, if required.  */
6886   rtx_op1 = expand_normal (TREE_OPERAND (vec_cond_expr, 1));
6887   if (!insn_data[icode].operand[1].predicate (rtx_op1, mode)
6888       && mode != VOIDmode)
6889     rtx_op1 = force_reg (mode, rtx_op1);
6890
6891   rtx_op2 = expand_normal (TREE_OPERAND (vec_cond_expr, 2));
6892   if (!insn_data[icode].operand[2].predicate (rtx_op2, mode)
6893       && mode != VOIDmode)
6894     rtx_op2 = force_reg (mode, rtx_op2);
6895
6896   /* Emit instruction! */
6897   emit_insn (GEN_FCN (icode) (target, rtx_op1, rtx_op2,
6898                               comparison, cc_op0,  cc_op1));
6899
6900   return target;
6901 }
6902
6903 \f
6904 /* This is an internal subroutine of the other compare_and_swap expanders.
6905    MEM, OLD_VAL and NEW_VAL are as you'd expect for a compare-and-swap
6906    operation.  TARGET is an optional place to store the value result of
6907    the operation.  ICODE is the particular instruction to expand.  Return
6908    the result of the operation.  */
6909
6910 static rtx
6911 expand_val_compare_and_swap_1 (rtx mem, rtx old_val, rtx new_val,
6912                                rtx target, enum insn_code icode)
6913 {
6914   enum machine_mode mode = GET_MODE (mem);
6915   rtx insn;
6916
6917   if (!target || !insn_data[icode].operand[0].predicate (target, mode))
6918     target = gen_reg_rtx (mode);
6919
6920   if (GET_MODE (old_val) != VOIDmode && GET_MODE (old_val) != mode)
6921     old_val = convert_modes (mode, GET_MODE (old_val), old_val, 1);
6922   if (!insn_data[icode].operand[2].predicate (old_val, mode))
6923     old_val = force_reg (mode, old_val);
6924
6925   if (GET_MODE (new_val) != VOIDmode && GET_MODE (new_val) != mode)
6926     new_val = convert_modes (mode, GET_MODE (new_val), new_val, 1);
6927   if (!insn_data[icode].operand[3].predicate (new_val, mode))
6928     new_val = force_reg (mode, new_val);
6929
6930   insn = GEN_FCN (icode) (target, mem, old_val, new_val);
6931   if (insn == NULL_RTX)
6932     return NULL_RTX;
6933   emit_insn (insn);
6934
6935   return target;
6936 }
6937
6938 /* Expand a compare-and-swap operation and return its value.  */
6939
6940 rtx
6941 expand_val_compare_and_swap (rtx mem, rtx old_val, rtx new_val, rtx target)
6942 {
6943   enum machine_mode mode = GET_MODE (mem);
6944   enum insn_code icode = sync_compare_and_swap[mode];
6945
6946   if (icode == CODE_FOR_nothing)
6947     return NULL_RTX;
6948
6949   return expand_val_compare_and_swap_1 (mem, old_val, new_val, target, icode);
6950 }
6951
6952 /* Helper function to find the MODE_CC set in a sync_compare_and_swap
6953    pattern.  */
6954
6955 static void
6956 find_cc_set (rtx x, const_rtx pat, void *data)
6957 {
6958   if (REG_P (x) && GET_MODE_CLASS (GET_MODE (x)) == MODE_CC
6959       && GET_CODE (pat) == SET)
6960     {
6961       rtx *p_cc_reg = (rtx *) data;
6962       gcc_assert (!*p_cc_reg);
6963       *p_cc_reg = x;
6964     }
6965 }
6966
6967 /* Expand a compare-and-swap operation and store true into the result if
6968    the operation was successful and false otherwise.  Return the result.
6969    Unlike other routines, TARGET is not optional.  */
6970
6971 rtx
6972 expand_bool_compare_and_swap (rtx mem, rtx old_val, rtx new_val, rtx target)
6973 {
6974   enum machine_mode mode = GET_MODE (mem);
6975   enum insn_code icode;
6976   rtx subtarget, seq, cc_reg;
6977
6978   /* If the target supports a compare-and-swap pattern that simultaneously
6979      sets some flag for success, then use it.  Otherwise use the regular
6980      compare-and-swap and follow that immediately with a compare insn.  */
6981   icode = sync_compare_and_swap[mode];
6982   if (icode == CODE_FOR_nothing)
6983     return NULL_RTX;
6984
6985   do
6986     {
6987       start_sequence ();
6988       subtarget = expand_val_compare_and_swap_1 (mem, old_val, new_val,
6989                                                  NULL_RTX, icode);
6990       cc_reg = NULL_RTX;
6991       if (subtarget == NULL_RTX)
6992         {
6993           end_sequence ();
6994           return NULL_RTX;
6995         }
6996
6997       if (have_insn_for (COMPARE, CCmode))
6998         note_stores (PATTERN (get_last_insn ()), find_cc_set, &cc_reg);
6999       seq = get_insns ();
7000       end_sequence ();
7001
7002       /* We might be comparing against an old value.  Try again. :-(  */
7003       if (!cc_reg && MEM_P (old_val))
7004         {
7005           seq = NULL_RTX;
7006           old_val = force_reg (mode, old_val);
7007         }
7008     }
7009   while (!seq);
7010
7011   emit_insn (seq);
7012   if (cc_reg)
7013     return emit_store_flag_force (target, EQ, cc_reg, const0_rtx, VOIDmode, 0, 1);
7014   else
7015     return emit_store_flag_force (target, EQ, subtarget, old_val, VOIDmode, 1, 1);
7016 }
7017
7018 /* This is a helper function for the other atomic operations.  This function
7019    emits a loop that contains SEQ that iterates until a compare-and-swap
7020    operation at the end succeeds.  MEM is the memory to be modified.  SEQ is
7021    a set of instructions that takes a value from OLD_REG as an input and
7022    produces a value in NEW_REG as an output.  Before SEQ, OLD_REG will be
7023    set to the current contents of MEM.  After SEQ, a compare-and-swap will
7024    attempt to update MEM with NEW_REG.  The function returns true when the
7025    loop was generated successfully.  */
7026
7027 static bool
7028 expand_compare_and_swap_loop (rtx mem, rtx old_reg, rtx new_reg, rtx seq)
7029 {
7030   enum machine_mode mode = GET_MODE (mem);
7031   enum insn_code icode;
7032   rtx label, cmp_reg, subtarget, cc_reg;
7033
7034   /* The loop we want to generate looks like
7035
7036         cmp_reg = mem;
7037       label:
7038         old_reg = cmp_reg;
7039         seq;
7040         cmp_reg = compare-and-swap(mem, old_reg, new_reg)
7041         if (cmp_reg != old_reg)
7042           goto label;
7043
7044      Note that we only do the plain load from memory once.  Subsequent
7045      iterations use the value loaded by the compare-and-swap pattern.  */
7046
7047   label = gen_label_rtx ();
7048   cmp_reg = gen_reg_rtx (mode);
7049
7050   emit_move_insn (cmp_reg, mem);
7051   emit_label (label);
7052   emit_move_insn (old_reg, cmp_reg);
7053   if (seq)
7054     emit_insn (seq);
7055
7056   /* If the target supports a compare-and-swap pattern that simultaneously
7057      sets some flag for success, then use it.  Otherwise use the regular
7058      compare-and-swap and follow that immediately with a compare insn.  */
7059   icode = sync_compare_and_swap[mode];
7060   if (icode == CODE_FOR_nothing)
7061     return false;
7062
7063   subtarget = expand_val_compare_and_swap_1 (mem, old_reg, new_reg,
7064                                              cmp_reg, icode);
7065   if (subtarget == NULL_RTX)
7066     return false;
7067
7068   cc_reg = NULL_RTX;
7069   if (have_insn_for (COMPARE, CCmode))
7070     note_stores (PATTERN (get_last_insn ()), find_cc_set, &cc_reg);
7071   if (cc_reg)
7072     {
7073       cmp_reg = cc_reg;
7074       old_reg = const0_rtx;
7075     }
7076   else
7077     {
7078       if (subtarget != cmp_reg)
7079         emit_move_insn (cmp_reg, subtarget);
7080     }
7081
7082   /* ??? Mark this jump predicted not taken?  */
7083   emit_cmp_and_jump_insns (cmp_reg, old_reg, NE, const0_rtx, GET_MODE (cmp_reg), 1,
7084                            label);
7085   return true;
7086 }
7087
7088 /* This function generates the atomic operation MEM CODE= VAL.  In this
7089    case, we do not care about any resulting value.  Returns NULL if we
7090    cannot generate the operation.  */
7091
7092 rtx
7093 expand_sync_operation (rtx mem, rtx val, enum rtx_code code)
7094 {
7095   enum machine_mode mode = GET_MODE (mem);
7096   enum insn_code icode;
7097   rtx insn;
7098
7099   /* Look to see if the target supports the operation directly.  */
7100   switch (code)
7101     {
7102     case PLUS:
7103       icode = sync_add_optab[mode];
7104       break;
7105     case IOR:
7106       icode = sync_ior_optab[mode];
7107       break;
7108     case XOR:
7109       icode = sync_xor_optab[mode];
7110       break;
7111     case AND:
7112       icode = sync_and_optab[mode];
7113       break;
7114     case NOT:
7115       icode = sync_nand_optab[mode];
7116       break;
7117
7118     case MINUS:
7119       icode = sync_sub_optab[mode];
7120       if (icode == CODE_FOR_nothing || CONST_INT_P (val))
7121         {
7122           icode = sync_add_optab[mode];
7123           if (icode != CODE_FOR_nothing)
7124             {
7125               val = expand_simple_unop (mode, NEG, val, NULL_RTX, 1);
7126               code = PLUS;
7127             }
7128         }
7129       break;
7130
7131     default:
7132       gcc_unreachable ();
7133     }
7134
7135   /* Generate the direct operation, if present.  */
7136   if (icode != CODE_FOR_nothing)
7137     {
7138       if (GET_MODE (val) != VOIDmode && GET_MODE (val) != mode)
7139         val = convert_modes (mode, GET_MODE (val), val, 1);
7140       if (!insn_data[icode].operand[1].predicate (val, mode))
7141         val = force_reg (mode, val);
7142
7143       insn = GEN_FCN (icode) (mem, val);
7144       if (insn)
7145         {
7146           emit_insn (insn);
7147           return const0_rtx;
7148         }
7149     }
7150
7151   /* Failing that, generate a compare-and-swap loop in which we perform the
7152      operation with normal arithmetic instructions.  */
7153   if (sync_compare_and_swap[mode] != CODE_FOR_nothing)
7154     {
7155       rtx t0 = gen_reg_rtx (mode), t1;
7156
7157       start_sequence ();
7158
7159       t1 = t0;
7160       if (code == NOT)
7161         {
7162           t1 = expand_simple_binop (mode, AND, t1, val, NULL_RTX,
7163                                     true, OPTAB_LIB_WIDEN);
7164           t1 = expand_simple_unop (mode, code, t1, NULL_RTX, true);
7165         }
7166       else
7167         t1 = expand_simple_binop (mode, code, t1, val, NULL_RTX,
7168                                   true, OPTAB_LIB_WIDEN);
7169       insn = get_insns ();
7170       end_sequence ();
7171
7172       if (t1 != NULL && expand_compare_and_swap_loop (mem, t0, t1, insn))
7173         return const0_rtx;
7174     }
7175
7176   return NULL_RTX;
7177 }
7178
7179 /* This function generates the atomic operation MEM CODE= VAL.  In this
7180    case, we do care about the resulting value: if AFTER is true then
7181    return the value MEM holds after the operation, if AFTER is false
7182    then return the value MEM holds before the operation.  TARGET is an
7183    optional place for the result value to be stored.  */
7184
7185 rtx
7186 expand_sync_fetch_operation (rtx mem, rtx val, enum rtx_code code,
7187                              bool after, rtx target)
7188 {
7189   enum machine_mode mode = GET_MODE (mem);
7190   enum insn_code old_code, new_code, icode;
7191   bool compensate;
7192   rtx insn;
7193
7194   /* Look to see if the target supports the operation directly.  */
7195   switch (code)
7196     {
7197     case PLUS:
7198       old_code = sync_old_add_optab[mode];
7199       new_code = sync_new_add_optab[mode];
7200       break;
7201     case IOR:
7202       old_code = sync_old_ior_optab[mode];
7203       new_code = sync_new_ior_optab[mode];
7204       break;
7205     case XOR:
7206       old_code = sync_old_xor_optab[mode];
7207       new_code = sync_new_xor_optab[mode];
7208       break;
7209     case AND:
7210       old_code = sync_old_and_optab[mode];
7211       new_code = sync_new_and_optab[mode];
7212       break;
7213     case NOT:
7214       old_code = sync_old_nand_optab[mode];
7215       new_code = sync_new_nand_optab[mode];
7216       break;
7217
7218     case MINUS:
7219       old_code = sync_old_sub_optab[mode];
7220       new_code = sync_new_sub_optab[mode];
7221       if ((old_code == CODE_FOR_nothing && new_code == CODE_FOR_nothing)
7222           || CONST_INT_P (val))
7223         {
7224           old_code = sync_old_add_optab[mode];
7225           new_code = sync_new_add_optab[mode];
7226           if (old_code != CODE_FOR_nothing || new_code != CODE_FOR_nothing)
7227             {
7228               val = expand_simple_unop (mode, NEG, val, NULL_RTX, 1);
7229               code = PLUS;
7230             }
7231         }
7232       break;
7233
7234     default:
7235       gcc_unreachable ();
7236     }
7237
7238   /* If the target does supports the proper new/old operation, great.  But
7239      if we only support the opposite old/new operation, check to see if we
7240      can compensate.  In the case in which the old value is supported, then
7241      we can always perform the operation again with normal arithmetic.  In
7242      the case in which the new value is supported, then we can only handle
7243      this in the case the operation is reversible.  */
7244   compensate = false;
7245   if (after)
7246     {
7247       icode = new_code;
7248       if (icode == CODE_FOR_nothing)
7249         {
7250           icode = old_code;
7251           if (icode != CODE_FOR_nothing)
7252             compensate = true;
7253         }
7254     }
7255   else
7256     {
7257       icode = old_code;
7258       if (icode == CODE_FOR_nothing
7259           && (code == PLUS || code == MINUS || code == XOR))
7260         {
7261           icode = new_code;
7262           if (icode != CODE_FOR_nothing)
7263             compensate = true;
7264         }
7265     }
7266
7267   /* If we found something supported, great.  */
7268   if (icode != CODE_FOR_nothing)
7269     {
7270       if (!target || !insn_data[icode].operand[0].predicate (target, mode))
7271         target = gen_reg_rtx (mode);
7272
7273       if (GET_MODE (val) != VOIDmode && GET_MODE (val) != mode)
7274         val = convert_modes (mode, GET_MODE (val), val, 1);
7275       if (!insn_data[icode].operand[2].predicate (val, mode))
7276         val = force_reg (mode, val);
7277
7278       insn = GEN_FCN (icode) (target, mem, val);
7279       if (insn)
7280         {
7281           emit_insn (insn);
7282
7283           /* If we need to compensate for using an operation with the
7284              wrong return value, do so now.  */
7285           if (compensate)
7286             {
7287               if (!after)
7288                 {
7289                   if (code == PLUS)
7290                     code = MINUS;
7291                   else if (code == MINUS)
7292                     code = PLUS;
7293                 }
7294
7295               if (code == NOT)
7296                 {
7297                   target = expand_simple_binop (mode, AND, target, val,
7298                                                 NULL_RTX, true,
7299                                                 OPTAB_LIB_WIDEN);
7300                   target = expand_simple_unop (mode, code, target,
7301                                                NULL_RTX, true);
7302                 }
7303               else
7304                 target = expand_simple_binop (mode, code, target, val,
7305                                               NULL_RTX, true,
7306                                               OPTAB_LIB_WIDEN);
7307             }
7308
7309           return target;
7310         }
7311     }
7312
7313   /* Failing that, generate a compare-and-swap loop in which we perform the
7314      operation with normal arithmetic instructions.  */
7315   if (sync_compare_and_swap[mode] != CODE_FOR_nothing)
7316     {
7317       rtx t0 = gen_reg_rtx (mode), t1;
7318
7319       if (!target || !register_operand (target, mode))
7320         target = gen_reg_rtx (mode);
7321
7322       start_sequence ();
7323
7324       if (!after)
7325         emit_move_insn (target, t0);
7326       t1 = t0;
7327       if (code == NOT)
7328         {
7329           t1 = expand_simple_binop (mode, AND, t1, val, NULL_RTX,
7330                                     true, OPTAB_LIB_WIDEN);
7331           t1 = expand_simple_unop (mode, code, t1, NULL_RTX, true);
7332         }
7333       else
7334         t1 = expand_simple_binop (mode, code, t1, val, NULL_RTX,
7335                                   true, OPTAB_LIB_WIDEN);
7336       if (after)
7337         emit_move_insn (target, t1);
7338
7339       insn = get_insns ();
7340       end_sequence ();
7341
7342       if (t1 != NULL && expand_compare_and_swap_loop (mem, t0, t1, insn))
7343         return target;
7344     }
7345
7346   return NULL_RTX;
7347 }
7348
7349 /* This function expands a test-and-set operation.  Ideally we atomically
7350    store VAL in MEM and return the previous value in MEM.  Some targets
7351    may not support this operation and only support VAL with the constant 1;
7352    in this case while the return value will be 0/1, but the exact value
7353    stored in MEM is target defined.  TARGET is an option place to stick
7354    the return value.  */
7355
7356 rtx
7357 expand_sync_lock_test_and_set (rtx mem, rtx val, rtx target)
7358 {
7359   enum machine_mode mode = GET_MODE (mem);
7360   enum insn_code icode;
7361   rtx insn;
7362
7363   /* If the target supports the test-and-set directly, great.  */
7364   icode = sync_lock_test_and_set[mode];
7365   if (icode != CODE_FOR_nothing)
7366     {
7367       if (!target || !insn_data[icode].operand[0].predicate (target, mode))
7368         target = gen_reg_rtx (mode);
7369
7370       if (GET_MODE (val) != VOIDmode && GET_MODE (val) != mode)
7371         val = convert_modes (mode, GET_MODE (val), val, 1);
7372       if (!insn_data[icode].operand[2].predicate (val, mode))
7373         val = force_reg (mode, val);
7374
7375       insn = GEN_FCN (icode) (target, mem, val);
7376       if (insn)
7377         {
7378           emit_insn (insn);
7379           return target;
7380         }
7381     }
7382
7383   /* Otherwise, use a compare-and-swap loop for the exchange.  */
7384   if (sync_compare_and_swap[mode] != CODE_FOR_nothing)
7385     {
7386       if (!target || !register_operand (target, mode))
7387         target = gen_reg_rtx (mode);
7388       if (GET_MODE (val) != VOIDmode && GET_MODE (val) != mode)
7389         val = convert_modes (mode, GET_MODE (val), val, 1);
7390       if (expand_compare_and_swap_loop (mem, target, val, NULL_RTX))
7391         return target;
7392     }
7393
7394   return NULL_RTX;
7395 }
7396
7397 #include "gt-optabs.h"