gcc/tree-ssa-ccp.c

   1 /* Conditional constant propagation pass for the GNU compiler.
   2    Copyright (C) 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009,
   3    2010, 2011, 2012 Free Software Foundation, Inc.
   4    Adapted from original RTL SSA-CCP by Daniel Berlin <dberlin@dberlin.org>
   5    Adapted to GIMPLE trees by Diego Novillo <dnovillo@redhat.com>
   6
   7 This file is part of GCC.
   8
   9 GCC is free software; you can redistribute it and/or modify it
  10 under the terms of the GNU General Public License as published by the
  11 Free Software Foundation; either version 3, or (at your option) any
  12 later version.
  13
  14 GCC is distributed in the hope that it will be useful, but WITHOUT
  15 ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  16 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  17 for more details.
  18
  19 You should have received a copy of the GNU General Public License
  20 along with GCC; see the file COPYING3.  If not see
  21 <http://www.gnu.org/licenses/>.  */
  22
  23 /* Conditional constant propagation (CCP) is based on the SSA
  24    propagation engine (tree-ssa-propagate.c).  Constant assignments of
  25    the form VAR = CST are propagated from the assignments into uses of
  26    VAR, which in turn may generate new constants.  The simulation uses
  27    a four level lattice to keep track of constant values associated
  28    with SSA names.  Given an SSA name V_i, it may take one of the
  29    following values:
  30
  31         UNINITIALIZED   ->  the initial state of the value.  This value
  32                             is replaced with a correct initial value
  33                             the first time the value is used, so the
  34                             rest of the pass does not need to care about
  35                             it.  Using this value simplifies initialization
  36                             of the pass, and prevents us from needlessly
  37                             scanning statements that are never reached.
  38
  39         UNDEFINED       ->  V_i is a local variable whose definition
  40                             has not been processed yet.  Therefore we
  41                             don't yet know if its value is a constant
  42                             or not.
  43
  44         CONSTANT        ->  V_i has been found to hold a constant
  45                             value C.
  46
  47         VARYING         ->  V_i cannot take a constant value, or if it
  48                             does, it is not possible to determine it
  49                             at compile time.
  50
  51    The core of SSA-CCP is in ccp_visit_stmt and ccp_visit_phi_node:
  52
  53    1- In ccp_visit_stmt, we are interested in assignments whose RHS
  54       evaluates into a constant and conditional jumps whose predicate
  55       evaluates into a boolean true or false.  When an assignment of
  56       the form V_i = CONST is found, V_i's lattice value is set to
  57       CONSTANT and CONST is associated with it.  This causes the
  58       propagation engine to add all the SSA edges coming out the
  59       assignment into the worklists, so that statements that use V_i
  60       can be visited.
  61
  62       If the statement is a conditional with a constant predicate, we
  63       mark the outgoing edges as executable or not executable
  64       depending on the predicate's value.  This is then used when
  65       visiting PHI nodes to know when a PHI argument can be ignored.
  66
  67
  68    2- In ccp_visit_phi_node, if all the PHI arguments evaluate to the
  69       same constant C, then the LHS of the PHI is set to C.  This
  70       evaluation is known as the "meet operation".  Since one of the
  71       goals of this evaluation is to optimistically return constant
  72       values as often as possible, it uses two main short cuts:
  73
  74       - If an argument is flowing in through a non-executable edge, it
  75         is ignored.  This is useful in cases like this:
  76
  77                         if (PRED)
  78                           a_9 = 3;
  79                         else
  80                           a_10 = 100;
  81                         a_11 = PHI (a_9, a_10)
  82
  83         If PRED is known to always evaluate to false, then we can
  84         assume that a_11 will always take its value from a_10, meaning
  85         that instead of consider it VARYING (a_9 and a_10 have
  86         different values), we can consider it CONSTANT 100.
  87
  88       - If an argument has an UNDEFINED value, then it does not affect
  89         the outcome of the meet operation.  If a variable V_i has an
  90         UNDEFINED value, it means that either its defining statement
  91         hasn't been visited yet or V_i has no defining statement, in
  92         which case the original symbol 'V' is being used
  93         uninitialized.  Since 'V' is a local variable, the compiler
  94         may assume any initial value for it.
  95
  96
  97    After propagation, every variable V_i that ends up with a lattice
  98    value of CONSTANT will have the associated constant value in the
  99    array CONST_VAL[i].VALUE.  That is fed into substitute_and_fold for
 100    final substitution and folding.
 101
 102    References:
 103
 104      Constant propagation with conditional branches,
 105      Wegman and Zadeck, ACM TOPLAS 13(2):181-210.
 106
 107      Building an Optimizing Compiler,
 108      Robert Morgan, Butterworth-Heinemann, 1998, Section 8.9.
 109
 110      Advanced Compiler Design and Implementation,
 111      Steven Muchnick, Morgan Kaufmann, 1997, Section 12.6  */
 112
 113 #include "config.h"
 114 #include "system.h"
 115 #include "coretypes.h"
 116 #include "tm.h"
 117 #include "tree.h"
 118 #include "flags.h"
 119 #include "tm_p.h"
 120 #include "basic-block.h"
 121 #include "output.h"
 122 #include "function.h"
 123 #include "tree-pretty-print.h"
 124 #include "gimple-pretty-print.h"
 125 #include "timevar.h"
 126 #include "tree-dump.h"
 127 #include "tree-flow.h"
 128 #include "tree-pass.h"
 129 #include "tree-ssa-propagate.h"
 130 #include "value-prof.h"
 131 #include "langhooks.h"
 132 #include "target.h"
 133 #include "diagnostic-core.h"
 134 #include "dbgcnt.h"
 135 #include "gimple-fold.h"
 136 #include "params.h"
 137
 138
 139 /* Possible lattice values.  */
 140 typedef enum
 141 {
 142   UNINITIALIZED,
 143   UNDEFINED,
 144   CONSTANT,
 145   VARYING
 146 } ccp_lattice_t;
 147
 148 struct prop_value_d {
 149     /* Lattice value.  */
 150     ccp_lattice_t lattice_val;
 151
 152     /* Propagated value.  */
 153     tree value;
 154
 155     /* Mask that applies to the propagated value during CCP.  For
 156        X with a CONSTANT lattice value X & ~mask == value & ~mask.  */
 157     double_int mask;
 158 };
 159
 160 typedef struct prop_value_d prop_value_t;
 161
 162 /* Array of propagated constant values.  After propagation,
 163    CONST_VAL[I].VALUE holds the constant value for SSA_NAME(I).  If
 164    the constant is held in an SSA name representing a memory store
 165    (i.e., a VDEF), CONST_VAL[I].MEM_REF will contain the actual
 166    memory reference used to store (i.e., the LHS of the assignment
 167    doing the store).  */
 168 static prop_value_t *const_val;
 169
 170 static void canonicalize_float_value (prop_value_t *);
 171 static bool ccp_fold_stmt (gimple_stmt_iterator *);
 172
 173 /* Dump constant propagation value VAL to file OUTF prefixed by PREFIX.  */
 174
 175 static void
 176 dump_lattice_value (FILE *outf, const char *prefix, prop_value_t val)
 177 {
 178   switch (val.lattice_val)
 179     {
 180     case UNINITIALIZED:
 181       fprintf (outf, "%sUNINITIALIZED", prefix);
 182       break;
 183     case UNDEFINED:
 184       fprintf (outf, "%sUNDEFINED", prefix);
 185       break;
 186     case VARYING:
 187       fprintf (outf, "%sVARYING", prefix);
 188       break;
 189     case CONSTANT:
 190       fprintf (outf, "%sCONSTANT ", prefix);
 191       if (TREE_CODE (val.value) != INTEGER_CST
 192           || double_int_zero_p (val.mask))
 193         print_generic_expr (outf, val.value, dump_flags);
 194       else
 195         {
 196           double_int cval = double_int_and_not (tree_to_double_int (val.value),
 197                                                 val.mask);
 198           fprintf (outf, "%sCONSTANT " HOST_WIDE_INT_PRINT_DOUBLE_HEX,
 199                    prefix, cval.high, cval.low);
 200           fprintf (outf, " (" HOST_WIDE_INT_PRINT_DOUBLE_HEX ")",
 201                    val.mask.high, val.mask.low);
 202         }
 203       break;
 204     default:
 205       gcc_unreachable ();
 206     }
 207 }
 208
 209
 210 /* Print lattice value VAL to stderr.  */
 211
 212 void debug_lattice_value (prop_value_t val);
 213
 214 DEBUG_FUNCTION void
 215 debug_lattice_value (prop_value_t val)
 216 {
 217   dump_lattice_value (stderr, "", val);
 218   fprintf (stderr, "\n");
 219 }
 220
 221
 222 /* Compute a default value for variable VAR and store it in the
 223    CONST_VAL array.  The following rules are used to get default
 224    values:
 225
 226    1- Global and static variables that are declared constant are
 227       considered CONSTANT.
 228
 229    2- Any other value is considered UNDEFINED.  This is useful when
 230       considering PHI nodes.  PHI arguments that are undefined do not
 231       change the constant value of the PHI node, which allows for more
 232       constants to be propagated.
 233
 234    3- Variables defined by statements other than assignments and PHI
 235       nodes are considered VARYING.
 236
 237    4- Initial values of variables that are not GIMPLE registers are
 238       considered VARYING.  */
 239
 240 static prop_value_t
 241 get_default_value (tree var)
 242 {
 243   tree sym = SSA_NAME_VAR (var);
 244   prop_value_t val = { UNINITIALIZED, NULL_TREE, { 0, 0 } };
 245   gimple stmt;
 246
 247   stmt = SSA_NAME_DEF_STMT (var);
 248
 249   if (gimple_nop_p (stmt))
 250     {
 251       /* Variables defined by an empty statement are those used
 252          before being initialized.  If VAR is a local variable, we
 253          can assume initially that it is UNDEFINED, otherwise we must
 254          consider it VARYING.  */
 255       if (is_gimple_reg (sym)
 256           && TREE_CODE (sym) == VAR_DECL)
 257         val.lattice_val = UNDEFINED;
 258       else
 259         {
 260           val.lattice_val = VARYING;
 261           val.mask = double_int_minus_one;
 262         }
 263     }
 264   else if (is_gimple_assign (stmt)
 265            /* Value-returning GIMPLE_CALL statements assign to
 266               a variable, and are treated similarly to GIMPLE_ASSIGN.  */
 267            || (is_gimple_call (stmt)
 268                && gimple_call_lhs (stmt) != NULL_TREE)
 269            || gimple_code (stmt) == GIMPLE_PHI)
 270     {
 271       tree cst;
 272       if (gimple_assign_single_p (stmt)
 273           && DECL_P (gimple_assign_rhs1 (stmt))
 274           && (cst = get_symbol_constant_value (gimple_assign_rhs1 (stmt))))
 275         {
 276           val.lattice_val = CONSTANT;
 277           val.value = cst;
 278         }
 279       else
 280         /* Any other variable defined by an assignment or a PHI node
 281            is considered UNDEFINED.  */
 282         val.lattice_val = UNDEFINED;
 283     }
 284   else
 285     {
 286       /* Otherwise, VAR will never take on a constant value.  */
 287       val.lattice_val = VARYING;
 288       val.mask = double_int_minus_one;
 289     }
 290
 291   return val;
 292 }
 293
 294
 295 /* Get the constant value associated with variable VAR.  */
 296
 297 static inline prop_value_t *
 298 get_value (tree var)
 299 {
 300   prop_value_t *val;
 301
 302   if (const_val == NULL)
 303     return NULL;
 304
 305   val = &const_val[SSA_NAME_VERSION (var)];
 306   if (val->lattice_val == UNINITIALIZED)
 307     *val = get_default_value (var);
 308
 309   canonicalize_float_value (val);
 310
 311   return val;
 312 }
 313
 314 /* Return the constant tree value associated with VAR.  */
 315
 316 static inline tree
 317 get_constant_value (tree var)
 318 {
 319   prop_value_t *val;
 320   if (TREE_CODE (var) != SSA_NAME)
 321     {
 322       if (is_gimple_min_invariant (var))
 323         return var;
 324       return NULL_TREE;
 325     }
 326   val = get_value (var);
 327   if (val
 328       && val->lattice_val == CONSTANT
 329       && (TREE_CODE (val->value) != INTEGER_CST
 330           || double_int_zero_p (val->mask)))
 331     return val->value;
 332   return NULL_TREE;
 333 }
 334
 335 /* Sets the value associated with VAR to VARYING.  */
 336
 337 static inline void
 338 set_value_varying (tree var)
 339 {
 340   prop_value_t *val = &const_val[SSA_NAME_VERSION (var)];
 341
 342   val->lattice_val = VARYING;
 343   val->value = NULL_TREE;
 344   val->mask = double_int_minus_one;
 345 }
 346
 347 /* For float types, modify the value of VAL to make ccp work correctly
 348    for non-standard values (-0, NaN):
 349
 350    If HONOR_SIGNED_ZEROS is false, and VAL = -0, we canonicalize it to 0.
 351    If HONOR_NANS is false, and VAL is NaN, we canonicalize it to UNDEFINED.
 352      This is to fix the following problem (see PR 29921): Suppose we have
 353
 354      x = 0.0 * y
 355
 356      and we set value of y to NaN.  This causes value of x to be set to NaN.
 357      When we later determine that y is in fact VARYING, fold uses the fact
 358      that HONOR_NANS is false, and we try to change the value of x to 0,
 359      causing an ICE.  With HONOR_NANS being false, the real appearance of
 360      NaN would cause undefined behavior, though, so claiming that y (and x)
 361      are UNDEFINED initially is correct.  */
 362
 363 static void
 364 canonicalize_float_value (prop_value_t *val)
 365 {
 366   enum machine_mode mode;
 367   tree type;
 368   REAL_VALUE_TYPE d;
 369
 370   if (val->lattice_val != CONSTANT
 371       || TREE_CODE (val->value) != REAL_CST)
 372     return;
 373
 374   d = TREE_REAL_CST (val->value);
 375   type = TREE_TYPE (val->value);
 376   mode = TYPE_MODE (type);
 377
 378   if (!HONOR_SIGNED_ZEROS (mode)
 379       && REAL_VALUE_MINUS_ZERO (d))
 380     {
 381       val->value = build_real (type, dconst0);
 382       return;
 383     }
 384
 385   if (!HONOR_NANS (mode)
 386       && REAL_VALUE_ISNAN (d))
 387     {
 388       val->lattice_val = UNDEFINED;
 389       val->value = NULL;
 390       return;
 391     }
 392 }
 393
 394 /* Return whether the lattice transition is valid.  */
 395
 396 static bool
 397 valid_lattice_transition (prop_value_t old_val, prop_value_t new_val)
 398 {
 399   /* Lattice transitions must always be monotonically increasing in
 400      value.  */
 401   if (old_val.lattice_val < new_val.lattice_val)
 402     return true;
 403
 404   if (old_val.lattice_val != new_val.lattice_val)
 405     return false;
 406
 407   if (!old_val.value && !new_val.value)
 408     return true;
 409
 410   /* Now both lattice values are CONSTANT.  */
 411
 412   /* Allow transitioning from &x to &x & ~3.  */
 413   if (TREE_CODE (old_val.value) != INTEGER_CST
 414       && TREE_CODE (new_val.value) == INTEGER_CST)
 415     return true;
 416
 417   /* Bit-lattices have to agree in the still valid bits.  */
 418   if (TREE_CODE (old_val.value) == INTEGER_CST
 419       && TREE_CODE (new_val.value) == INTEGER_CST)
 420     return double_int_equal_p
 421                 (double_int_and_not (tree_to_double_int (old_val.value),
 422                                      new_val.mask),
 423                  double_int_and_not (tree_to_double_int (new_val.value),
 424                                      new_val.mask));
 425
 426   /* Otherwise constant values have to agree.  */
 427   return operand_equal_p (old_val.value, new_val.value, 0);
 428 }
 429
 430 /* Set the value for variable VAR to NEW_VAL.  Return true if the new
 431    value is different from VAR's previous value.  */
 432
 433 static bool
 434 set_lattice_value (tree var, prop_value_t new_val)
 435 {
 436   /* We can deal with old UNINITIALIZED values just fine here.  */
 437   prop_value_t *old_val = &const_val[SSA_NAME_VERSION (var)];
 438
 439   canonicalize_float_value (&new_val);
 440
 441   /* We have to be careful to not go up the bitwise lattice
 442      represented by the mask.
 443      ???  This doesn't seem to be the best place to enforce this.  */
 444   if (new_val.lattice_val == CONSTANT
 445       && old_val->lattice_val == CONSTANT
 446       && TREE_CODE (new_val.value) == INTEGER_CST
 447       && TREE_CODE (old_val->value) == INTEGER_CST)
 448     {
 449       double_int diff;
 450       diff = double_int_xor (tree_to_double_int (new_val.value),
 451                              tree_to_double_int (old_val->value));
 452       new_val.mask = double_int_ior (new_val.mask,
 453                                      double_int_ior (old_val->mask, diff));
 454     }
 455
 456   gcc_assert (valid_lattice_transition (*old_val, new_val));
 457
 458   /* If *OLD_VAL and NEW_VAL are the same, return false to inform the
 459      caller that this was a non-transition.  */
 460   if (old_val->lattice_val != new_val.lattice_val
 461       || (new_val.lattice_val == CONSTANT
 462           && TREE_CODE (new_val.value) == INTEGER_CST
 463           && (TREE_CODE (old_val->value) != INTEGER_CST
 464               || !double_int_equal_p (new_val.mask, old_val->mask))))
 465     {
 466       /* ???  We would like to delay creation of INTEGER_CSTs from
 467          partially constants here.  */
 468
 469       if (dump_file && (dump_flags & TDF_DETAILS))
 470         {
 471           dump_lattice_value (dump_file, "Lattice value changed to ", new_val);
 472           fprintf (dump_file, ".  Adding SSA edges to worklist.\n");
 473         }
 474
 475       *old_val = new_val;
 476
 477       gcc_assert (new_val.lattice_val != UNINITIALIZED);
 478       return true;
 479     }
 480
 481   return false;
 482 }
 483
 484 static prop_value_t get_value_for_expr (tree, bool);
 485 static prop_value_t bit_value_binop (enum tree_code, tree, tree, tree);
 486 static void bit_value_binop_1 (enum tree_code, tree, double_int *, double_int *,
 487                                tree, double_int, double_int,
 488                                tree, double_int, double_int);
 489
 490 /* Return a double_int that can be used for bitwise simplifications
 491    from VAL.  */
 492
 493 static double_int
 494 value_to_double_int (prop_value_t val)
 495 {
 496   if (val.value
 497       && TREE_CODE (val.value) == INTEGER_CST)
 498     return tree_to_double_int (val.value);
 499   else
 500     return double_int_zero;
 501 }
 502
 503 /* Return the value for the address expression EXPR based on alignment
 504    information.  */
 505
 506 static prop_value_t
 507 get_value_from_alignment (tree expr)
 508 {
 509   tree type = TREE_TYPE (expr);
 510   prop_value_t val;
 511   unsigned HOST_WIDE_INT bitpos;
 512   unsigned int align;
 513
 514   gcc_assert (TREE_CODE (expr) == ADDR_EXPR);
 515
 516   align = get_object_alignment_1 (TREE_OPERAND (expr, 0), &bitpos);
 517   val.mask
 518     = double_int_and_not (POINTER_TYPE_P (type) || TYPE_UNSIGNED (type)
 519                           ? double_int_mask (TYPE_PRECISION (type))
 520                           : double_int_minus_one,
 521                           uhwi_to_double_int (align / BITS_PER_UNIT - 1));
 522   val.lattice_val = double_int_minus_one_p (val.mask) ? VARYING : CONSTANT;
 523   if (val.lattice_val == CONSTANT)
 524     val.value
 525       = double_int_to_tree (type, uhwi_to_double_int (bitpos / BITS_PER_UNIT));
 526   else
 527     val.value = NULL_TREE;
 528
 529   return val;
 530 }
 531
 532 /* Return the value for the tree operand EXPR.  If FOR_BITS_P is true
 533    return constant bits extracted from alignment information for
 534    invariant addresses.  */
 535
 536 static prop_value_t
 537 get_value_for_expr (tree expr, bool for_bits_p)
 538 {
 539   prop_value_t val;
 540
 541   if (TREE_CODE (expr) == SSA_NAME)
 542     {
 543       val = *get_value (expr);
 544       if (for_bits_p
 545           && val.lattice_val == CONSTANT
 546           && TREE_CODE (val.value) == ADDR_EXPR)
 547         val = get_value_from_alignment (val.value);
 548     }
 549   else if (is_gimple_min_invariant (expr)
 550            && (!for_bits_p || TREE_CODE (expr) != ADDR_EXPR))
 551     {
 552       val.lattice_val = CONSTANT;
 553       val.value = expr;
 554       val.mask = double_int_zero;
 555       canonicalize_float_value (&val);
 556     }
 557   else if (TREE_CODE (expr) == ADDR_EXPR)
 558     val = get_value_from_alignment (expr);
 559   else
 560     {
 561       val.lattice_val = VARYING;
 562       val.mask = double_int_minus_one;
 563       val.value = NULL_TREE;
 564     }
 565   return val;
 566 }
 567
 568 /* Return the likely CCP lattice value for STMT.
 569
 570    If STMT has no operands, then return CONSTANT.
 571
 572    Else if undefinedness of operands of STMT cause its value to be
 573    undefined, then return UNDEFINED.
 574
 575    Else if any operands of STMT are constants, then return CONSTANT.
 576
 577    Else return VARYING.  */
 578
 579 static ccp_lattice_t
 580 likely_value (gimple stmt)
 581 {
 582   bool has_constant_operand, has_undefined_operand, all_undefined_operands;
 583   tree use;
 584   ssa_op_iter iter;
 585   unsigned i;
 586
 587   enum gimple_code code = gimple_code (stmt);
 588
 589   /* This function appears to be called only for assignments, calls,
 590      conditionals, and switches, due to the logic in visit_stmt.  */
 591   gcc_assert (code == GIMPLE_ASSIGN
 592               || code == GIMPLE_CALL
 593               || code == GIMPLE_COND
 594               || code == GIMPLE_SWITCH);
 595
 596   /* If the statement has volatile operands, it won't fold to a
 597      constant value.  */
 598   if (gimple_has_volatile_ops (stmt))
 599     return VARYING;
 600
 601   /* Arrive here for more complex cases.  */
 602   has_constant_operand = false;
 603   has_undefined_operand = false;
 604   all_undefined_operands = true;
 605   FOR_EACH_SSA_TREE_OPERAND (use, stmt, iter, SSA_OP_USE)
 606     {
 607       prop_value_t *val = get_value (use);
 608
 609       if (val->lattice_val == UNDEFINED)
 610         has_undefined_operand = true;
 611       else
 612         all_undefined_operands = false;
 613
 614       if (val->lattice_val == CONSTANT)
 615         has_constant_operand = true;
 616     }
 617
 618   /* There may be constants in regular rhs operands.  For calls we
 619      have to ignore lhs, fndecl and static chain, otherwise only
 620      the lhs.  */
 621   for (i = (is_gimple_call (stmt) ? 2 : 0) + gimple_has_lhs (stmt);
 622        i < gimple_num_ops (stmt); ++i)
 623     {
 624       tree op = gimple_op (stmt, i);
 625       if (!op || TREE_CODE (op) == SSA_NAME)
 626         continue;
 627       if (is_gimple_min_invariant (op))
 628         has_constant_operand = true;
 629     }
 630
 631   if (has_constant_operand)
 632     all_undefined_operands = false;
 633
 634   /* If the operation combines operands like COMPLEX_EXPR make sure to
 635      not mark the result UNDEFINED if only one part of the result is
 636      undefined.  */
 637   if (has_undefined_operand && all_undefined_operands)
 638     return UNDEFINED;
 639   else if (code == GIMPLE_ASSIGN && has_undefined_operand)
 640     {
 641       switch (gimple_assign_rhs_code (stmt))
 642         {
 643         /* Unary operators are handled with all_undefined_operands.  */
 644         case PLUS_EXPR:
 645         case MINUS_EXPR:
 646         case POINTER_PLUS_EXPR:
 647           /* Not MIN_EXPR, MAX_EXPR.  One VARYING operand may be selected.
 648              Not bitwise operators, one VARYING operand may specify the
 649              result completely.  Not logical operators for the same reason.
 650              Not COMPLEX_EXPR as one VARYING operand makes the result partly
 651              not UNDEFINED.  Not *DIV_EXPR, comparisons and shifts because
 652              the undefined operand may be promoted.  */
 653           return UNDEFINED;
 654
 655         default:
 656           ;
 657         }
 658     }
 659   /* If there was an UNDEFINED operand but the result may be not UNDEFINED
 660      fall back to CONSTANT.  During iteration UNDEFINED may still drop
 661      to CONSTANT.  */
 662   if (has_undefined_operand)
 663     return CONSTANT;
 664
 665   /* We do not consider virtual operands here -- load from read-only
 666      memory may have only VARYING virtual operands, but still be
 667      constant.  */
 668   if (has_constant_operand
 669       || gimple_references_memory_p (stmt))
 670     return CONSTANT;
 671
 672   return VARYING;
 673 }
 674
 675 /* Returns true if STMT cannot be constant.  */
 676
 677 static bool
 678 surely_varying_stmt_p (gimple stmt)
 679 {
 680   /* If the statement has operands that we cannot handle, it cannot be
 681      constant.  */
 682   if (gimple_has_volatile_ops (stmt))
 683     return true;
 684
 685   /* If it is a call and does not return a value or is not a
 686      builtin and not an indirect call, it is varying.  */
 687   if (is_gimple_call (stmt))
 688     {
 689       tree fndecl;
 690       if (!gimple_call_lhs (stmt)
 691           || ((fndecl = gimple_call_fndecl (stmt)) != NULL_TREE
 692               && !DECL_BUILT_IN (fndecl)))
 693         return true;
 694     }
 695
 696   /* Any other store operation is not interesting.  */
 697   else if (gimple_vdef (stmt))
 698     return true;
 699
 700   /* Anything other than assignments and conditional jumps are not
 701      interesting for CCP.  */
 702   if (gimple_code (stmt) != GIMPLE_ASSIGN
 703       && gimple_code (stmt) != GIMPLE_COND
 704       && gimple_code (stmt) != GIMPLE_SWITCH
 705       && gimple_code (stmt) != GIMPLE_CALL)
 706     return true;
 707
 708   return false;
 709 }
 710
 711 /* Initialize local data structures for CCP.  */
 712
 713 static void
 714 ccp_initialize (void)
 715 {
 716   basic_block bb;
 717
 718   const_val = XCNEWVEC (prop_value_t, num_ssa_names);
 719
 720   /* Initialize simulation flags for PHI nodes and statements.  */
 721   FOR_EACH_BB (bb)
 722     {
 723       gimple_stmt_iterator i;
 724
 725       for (i = gsi_start_bb (bb); !gsi_end_p (i); gsi_next (&i))
 726         {
 727           gimple stmt = gsi_stmt (i);
 728           bool is_varying;
 729
 730           /* If the statement is a control insn, then we do not
 731              want to avoid simulating the statement once.  Failure
 732              to do so means that those edges will never get added.  */
 733           if (stmt_ends_bb_p (stmt))
 734             is_varying = false;
 735           else
 736             is_varying = surely_varying_stmt_p (stmt);
 737
 738           if (is_varying)
 739             {
 740               tree def;
 741               ssa_op_iter iter;
 742
 743               /* If the statement will not produce a constant, mark
 744                  all its outputs VARYING.  */
 745               FOR_EACH_SSA_TREE_OPERAND (def, stmt, iter, SSA_OP_ALL_DEFS)
 746                 set_value_varying (def);
 747             }
 748           prop_set_simulate_again (stmt, !is_varying);
 749         }
 750     }
 751
 752   /* Now process PHI nodes.  We never clear the simulate_again flag on
 753      phi nodes, since we do not know which edges are executable yet,
 754      except for phi nodes for virtual operands when we do not do store ccp.  */
 755   FOR_EACH_BB (bb)
 756     {
 757       gimple_stmt_iterator i;
 758
 759       for (i = gsi_start_phis (bb); !gsi_end_p (i); gsi_next (&i))
 760         {
 761           gimple phi = gsi_stmt (i);
 762
 763           if (!is_gimple_reg (gimple_phi_result (phi)))
 764             prop_set_simulate_again (phi, false);
 765           else
 766             prop_set_simulate_again (phi, true);
 767         }
 768     }
 769 }
 770
 771 /* Debug count support. Reset the values of ssa names
 772    VARYING when the total number ssa names analyzed is
 773    beyond the debug count specified.  */
 774
 775 static void
 776 do_dbg_cnt (void)
 777 {
 778   unsigned i;
 779   for (i = 0; i < num_ssa_names; i++)
 780     {
 781       if (!dbg_cnt (ccp))
 782         {
 783           const_val[i].lattice_val = VARYING;
 784           const_val[i].mask = double_int_minus_one;
 785           const_val[i].value = NULL_TREE;
 786         }
 787     }
 788 }
 789
 790
 791 /* Do final substitution of propagated values, cleanup the flowgraph and
 792    free allocated storage.
 793
 794    Return TRUE when something was optimized.  */
 795
 796 static bool
 797 ccp_finalize (void)
 798 {
 799   bool something_changed;
 800   unsigned i;
 801
 802   do_dbg_cnt ();
 803
 804   /* Derive alignment and misalignment information from partially
 805      constant pointers in the lattice.  */
 806   for (i = 1; i < num_ssa_names; ++i)
 807     {
 808       tree name = ssa_name (i);
 809       prop_value_t *val;
 810       struct ptr_info_def *pi;
 811       unsigned int tem, align;
 812
 813       if (!name
 814           || !POINTER_TYPE_P (TREE_TYPE (name)))
 815         continue;
 816
 817       val = get_value (name);
 818       if (val->lattice_val != CONSTANT
 819           || TREE_CODE (val->value) != INTEGER_CST)
 820         continue;
 821
 822       /* Trailing constant bits specify the alignment, trailing value
 823          bits the misalignment.  */
 824       tem = val->mask.low;
 825       align = (tem & -tem);
 826       if (align == 1)
 827         continue;
 828
 829       pi = get_ptr_info (name);
 830       pi->align = align;
 831       pi->misalign = TREE_INT_CST_LOW (val->value) & (align - 1);
 832     }
 833
 834   /* Perform substitutions based on the known constant values.  */
 835   something_changed = substitute_and_fold (get_constant_value,
 836                                            ccp_fold_stmt, true);
 837
 838   free (const_val);
 839   const_val = NULL;
 840   return something_changed;;
 841 }
 842
 843
 844 /* Compute the meet operator between *VAL1 and *VAL2.  Store the result
 845    in VAL1.
 846
 847                 any  M UNDEFINED   = any
 848                 any  M VARYING     = VARYING
 849                 Ci   M Cj          = Ci         if (i == j)
 850                 Ci   M Cj          = VARYING    if (i != j)
 851    */
 852
 853 static void
 854 ccp_lattice_meet (prop_value_t *val1, prop_value_t *val2)
 855 {
 856   if (val1->lattice_val == UNDEFINED)
 857     {
 858       /* UNDEFINED M any = any   */
 859       *val1 = *val2;
 860     }
 861   else if (val2->lattice_val == UNDEFINED)
 862     {
 863       /* any M UNDEFINED = any
 864          Nothing to do.  VAL1 already contains the value we want.  */
 865       ;
 866     }
 867   else if (val1->lattice_val == VARYING
 868            || val2->lattice_val == VARYING)
 869     {
 870       /* any M VARYING = VARYING.  */
 871       val1->lattice_val = VARYING;
 872       val1->mask = double_int_minus_one;
 873       val1->value = NULL_TREE;
 874     }
 875   else if (val1->lattice_val == CONSTANT
 876            && val2->lattice_val == CONSTANT
 877            && TREE_CODE (val1->value) == INTEGER_CST
 878            && TREE_CODE (val2->value) == INTEGER_CST)
 879     {
 880       /* Ci M Cj = Ci           if (i == j)
 881          Ci M Cj = VARYING      if (i != j)
 882
 883          For INTEGER_CSTs mask unequal bits.  If no equal bits remain,
 884          drop to varying.  */
 885       val1->mask
 886           = double_int_ior (double_int_ior (val1->mask,
 887                                             val2->mask),
 888                             double_int_xor (tree_to_double_int (val1->value),
 889                                             tree_to_double_int (val2->value)));
 890       if (double_int_minus_one_p (val1->mask))
 891         {
 892           val1->lattice_val = VARYING;
 893           val1->value = NULL_TREE;
 894         }
 895     }
 896   else if (val1->lattice_val == CONSTANT
 897            && val2->lattice_val == CONSTANT
 898            && simple_cst_equal (val1->value, val2->value) == 1)
 899     {
 900       /* Ci M Cj = Ci           if (i == j)
 901          Ci M Cj = VARYING      if (i != j)
 902
 903          VAL1 already contains the value we want for equivalent values.  */
 904     }
 905   else if (val1->lattice_val == CONSTANT
 906            && val2->lattice_val == CONSTANT
 907            && (TREE_CODE (val1->value) == ADDR_EXPR
 908                || TREE_CODE (val2->value) == ADDR_EXPR))
 909     {
 910       /* When not equal addresses are involved try meeting for
 911          alignment.  */
 912       prop_value_t tem = *val2;
 913       if (TREE_CODE (val1->value) == ADDR_EXPR)
 914         *val1 = get_value_for_expr (val1->value, true);
 915       if (TREE_CODE (val2->value) == ADDR_EXPR)
 916         tem = get_value_for_expr (val2->value, true);
 917       ccp_lattice_meet (val1, &tem);
 918     }
 919   else
 920     {
 921       /* Any other combination is VARYING.  */
 922       val1->lattice_val = VARYING;
 923       val1->mask = double_int_minus_one;
 924       val1->value = NULL_TREE;
 925     }
 926 }
 927
 928
 929 /* Loop through the PHI_NODE's parameters for BLOCK and compare their
 930    lattice values to determine PHI_NODE's lattice value.  The value of a
 931    PHI node is determined calling ccp_lattice_meet with all the arguments
 932    of the PHI node that are incoming via executable edges.  */
 933
 934 static enum ssa_prop_result
 935 ccp_visit_phi_node (gimple phi)
 936 {
 937   unsigned i;
 938   prop_value_t *old_val, new_val;
 939
 940   if (dump_file && (dump_flags & TDF_DETAILS))
 941     {
 942       fprintf (dump_file, "\nVisiting PHI node: ");
 943       print_gimple_stmt (dump_file, phi, 0, dump_flags);
 944     }
 945
 946   old_val = get_value (gimple_phi_result (phi));
 947   switch (old_val->lattice_val)
 948     {
 949     case VARYING:
 950       return SSA_PROP_VARYING;
 951
 952     case CONSTANT:
 953       new_val = *old_val;
 954       break;
 955
 956     case UNDEFINED:
 957       new_val.lattice_val = UNDEFINED;
 958       new_val.value = NULL_TREE;
 959       break;
 960
 961     default:
 962       gcc_unreachable ();
 963     }
 964
 965   for (i = 0; i < gimple_phi_num_args (phi); i++)
 966     {
 967       /* Compute the meet operator over all the PHI arguments flowing
 968          through executable edges.  */
 969       edge e = gimple_phi_arg_edge (phi, i);
 970
 971       if (dump_file && (dump_flags & TDF_DETAILS))
 972         {
 973           fprintf (dump_file,
 974               "\n    Argument #%d (%d -> %d %sexecutable)\n",
 975               i, e->src->index, e->dest->index,
 976               (e->flags & EDGE_EXECUTABLE) ? "" : "not ");
 977         }
 978
 979       /* If the incoming edge is executable, Compute the meet operator for
 980          the existing value of the PHI node and the current PHI argument.  */
 981       if (e->flags & EDGE_EXECUTABLE)
 982         {
 983           tree arg = gimple_phi_arg (phi, i)->def;
 984           prop_value_t arg_val = get_value_for_expr (arg, false);
 985
 986           ccp_lattice_meet (&new_val, &arg_val);
 987
 988           if (dump_file && (dump_flags & TDF_DETAILS))
 989             {
 990               fprintf (dump_file, "\t");
 991               print_generic_expr (dump_file, arg, dump_flags);
 992               dump_lattice_value (dump_file, "\tValue: ", arg_val);
 993               fprintf (dump_file, "\n");
 994             }
 995
 996           if (new_val.lattice_val == VARYING)
 997             break;
 998         }
 999     }
1000
1001   if (dump_file && (dump_flags & TDF_DETAILS))
1002     {
1003       dump_lattice_value (dump_file, "\n    PHI node value: ", new_val);
1004       fprintf (dump_file, "\n\n");
1005     }
1006
1007   /* Make the transition to the new value.  */
1008   if (set_lattice_value (gimple_phi_result (phi), new_val))
1009     {
1010       if (new_val.lattice_val == VARYING)
1011         return SSA_PROP_VARYING;
1012       else
1013         return SSA_PROP_INTERESTING;
1014     }
1015   else
1016     return SSA_PROP_NOT_INTERESTING;
1017 }
1018
1019 /* Return the constant value for OP or OP otherwise.  */
1020
1021 static tree
1022 valueize_op (tree op)
1023 {
1024   if (TREE_CODE (op) == SSA_NAME)
1025     {
1026       tree tem = get_constant_value (op);
1027       if (tem)
1028         return tem;
1029     }
1030   return op;
1031 }
1032
1033 /* CCP specific front-end to the non-destructive constant folding
1034    routines.
1035
1036    Attempt to simplify the RHS of STMT knowing that one or more
1037    operands are constants.
1038
1039    If simplification is possible, return the simplified RHS,
1040    otherwise return the original RHS or NULL_TREE.  */
1041
1042 static tree
1043 ccp_fold (gimple stmt)
1044 {
1045   location_t loc = gimple_location (stmt);
1046   switch (gimple_code (stmt))
1047     {
1048     case GIMPLE_COND:
1049       {
1050         /* Handle comparison operators that can appear in GIMPLE form.  */
1051         tree op0 = valueize_op (gimple_cond_lhs (stmt));
1052         tree op1 = valueize_op (gimple_cond_rhs (stmt));
1053         enum tree_code code = gimple_cond_code (stmt);
1054         return fold_binary_loc (loc, code, boolean_type_node, op0, op1);
1055       }
1056
1057     case GIMPLE_SWITCH:
1058       {
1059         /* Return the constant switch index.  */
1060         return valueize_op (gimple_switch_index (stmt));
1061       }
1062
1063     case GIMPLE_ASSIGN:
1064     case GIMPLE_CALL:
1065       return gimple_fold_stmt_to_constant_1 (stmt, valueize_op);
1066
1067     default:
1068       gcc_unreachable ();
1069     }
1070 }
1071
1072 /* Apply the operation CODE in type TYPE to the value, mask pair
1073    RVAL and RMASK representing a value of type RTYPE and set
1074    the value, mask pair *VAL and *MASK to the result.  */
1075
1076 static void
1077 bit_value_unop_1 (enum tree_code code, tree type,
1078                   double_int *val, double_int *mask,
1079                   tree rtype, double_int rval, double_int rmask)
1080 {
1081   switch (code)
1082     {
1083     case BIT_NOT_EXPR:
1084       *mask = rmask;
1085       *val = double_int_not (rval);
1086       break;
1087
1088     case NEGATE_EXPR:
1089       {
1090         double_int temv, temm;
1091         /* Return ~rval + 1.  */
1092         bit_value_unop_1 (BIT_NOT_EXPR, type, &temv, &temm, type, rval, rmask);
1093         bit_value_binop_1 (PLUS_EXPR, type, val, mask,
1094                          type, temv, temm,
1095                          type, double_int_one, double_int_zero);
1096         break;
1097       }
1098
1099     CASE_CONVERT:
1100       {
1101         bool uns;
1102
1103         /* First extend mask and value according to the original type.  */
1104         uns = (TREE_CODE (rtype) == INTEGER_TYPE && TYPE_IS_SIZETYPE (rtype)
1105                ? 0 : TYPE_UNSIGNED (rtype));
1106         *mask = double_int_ext (rmask, TYPE_PRECISION (rtype), uns);
1107         *val = double_int_ext (rval, TYPE_PRECISION (rtype), uns);
1108
1109         /* Then extend mask and value according to the target type.  */
1110         uns = (TREE_CODE (type) == INTEGER_TYPE && TYPE_IS_SIZETYPE (type)
1111                ? 0 : TYPE_UNSIGNED (type));
1112         *mask = double_int_ext (*mask, TYPE_PRECISION (type), uns);
1113         *val = double_int_ext (*val, TYPE_PRECISION (type), uns);
1114         break;
1115       }
1116
1117     default:
1118       *mask = double_int_minus_one;
1119       break;
1120     }
1121 }
1122
1123 /* Apply the operation CODE in type TYPE to the value, mask pairs
1124    R1VAL, R1MASK and R2VAL, R2MASK representing a values of type R1TYPE
1125    and R2TYPE and set the value, mask pair *VAL and *MASK to the result.  */
1126
1127 static void
1128 bit_value_binop_1 (enum tree_code code, tree type,
1129                    double_int *val, double_int *mask,
1130                    tree r1type, double_int r1val, double_int r1mask,
1131                    tree r2type, double_int r2val, double_int r2mask)
1132 {
1133   bool uns = (TREE_CODE (type) == INTEGER_TYPE
1134               && TYPE_IS_SIZETYPE (type) ? 0 : TYPE_UNSIGNED (type));
1135   /* Assume we'll get a constant result.  Use an initial varying value,
1136      we fall back to varying in the end if necessary.  */
1137   *mask = double_int_minus_one;
1138   switch (code)
1139     {
1140     case BIT_AND_EXPR:
1141       /* The mask is constant where there is a known not
1142          set bit, (m1 | m2) & ((v1 | m1) & (v2 | m2)) */
1143       *mask = double_int_and (double_int_ior (r1mask, r2mask),
1144                               double_int_and (double_int_ior (r1val, r1mask),
1145                                               double_int_ior (r2val, r2mask)));
1146       *val = double_int_and (r1val, r2val);
1147       break;
1148
1149     case BIT_IOR_EXPR:
1150       /* The mask is constant where there is a known
1151          set bit, (m1 | m2) & ~((v1 & ~m1) | (v2 & ~m2)).  */
1152       *mask = double_int_and_not
1153                 (double_int_ior (r1mask, r2mask),
1154                  double_int_ior (double_int_and_not (r1val, r1mask),
1155                                  double_int_and_not (r2val, r2mask)));
1156       *val = double_int_ior (r1val, r2val);
1157       break;
1158
1159     case BIT_XOR_EXPR:
1160       /* m1 | m2  */
1161       *mask = double_int_ior (r1mask, r2mask);
1162       *val = double_int_xor (r1val, r2val);
1163       break;
1164
1165     case LROTATE_EXPR:
1166     case RROTATE_EXPR:
1167       if (double_int_zero_p (r2mask))
1168         {
1169           HOST_WIDE_INT shift = r2val.low;
1170           if (code == RROTATE_EXPR)
1171             shift = -shift;
1172           *mask = double_int_lrotate (r1mask, shift, TYPE_PRECISION (type));
1173           *val = double_int_lrotate (r1val, shift, TYPE_PRECISION (type));
1174         }
1175       break;
1176
1177     case LSHIFT_EXPR:
1178     case RSHIFT_EXPR:
1179       /* ???  We can handle partially known shift counts if we know
1180          its sign.  That way we can tell that (x << (y | 8)) & 255
1181          is zero.  */
1182       if (double_int_zero_p (r2mask))
1183         {
1184           HOST_WIDE_INT shift = r2val.low;
1185           if (code == RSHIFT_EXPR)
1186             shift = -shift;
1187           /* We need to know if we are doing a left or a right shift
1188              to properly shift in zeros for left shift and unsigned
1189              right shifts and the sign bit for signed right shifts.
1190              For signed right shifts we shift in varying in case
1191              the sign bit was varying.  */
1192           if (shift > 0)
1193             {
1194               *mask = double_int_lshift (r1mask, shift,
1195                                          TYPE_PRECISION (type), false);
1196               *val = double_int_lshift (r1val, shift,
1197                                         TYPE_PRECISION (type), false);
1198             }
1199           else if (shift < 0)
1200             {
1201               /* ???  We can have sizetype related inconsistencies in
1202                  the IL.  */
1203               if ((TREE_CODE (r1type) == INTEGER_TYPE
1204                    && (TYPE_IS_SIZETYPE (r1type)
1205                        ? 0 : TYPE_UNSIGNED (r1type))) != uns)
1206                 break;
1207
1208               shift = -shift;
1209               *mask = double_int_rshift (r1mask, shift,
1210                                          TYPE_PRECISION (type), !uns);
1211               *val = double_int_rshift (r1val, shift,
1212                                         TYPE_PRECISION (type), !uns);
1213             }
1214           else
1215             {
1216               *mask = r1mask;
1217               *val = r1val;
1218             }
1219         }
1220       break;
1221
1222     case PLUS_EXPR:
1223     case POINTER_PLUS_EXPR:
1224       {
1225         double_int lo, hi;
1226         /* Do the addition with unknown bits set to zero, to give carry-ins of
1227            zero wherever possible.  */
1228         lo = double_int_add (double_int_and_not (r1val, r1mask),
1229                              double_int_and_not (r2val, r2mask));
1230         lo = double_int_ext (lo, TYPE_PRECISION (type), uns);
1231         /* Do the addition with unknown bits set to one, to give carry-ins of
1232            one wherever possible.  */
1233         hi = double_int_add (double_int_ior (r1val, r1mask),
1234                              double_int_ior (r2val, r2mask));
1235         hi = double_int_ext (hi, TYPE_PRECISION (type), uns);
1236         /* Each bit in the result is known if (a) the corresponding bits in
1237            both inputs are known, and (b) the carry-in to that bit position
1238            is known.  We can check condition (b) by seeing if we got the same
1239            result with minimised carries as with maximised carries.  */
1240         *mask = double_int_ior (double_int_ior (r1mask, r2mask),
1241                                 double_int_xor (lo, hi));
1242         *mask = double_int_ext (*mask, TYPE_PRECISION (type), uns);
1243         /* It shouldn't matter whether we choose lo or hi here.  */
1244         *val = lo;
1245         break;
1246       }
1247
1248     case MINUS_EXPR:
1249       {
1250         double_int temv, temm;
1251         bit_value_unop_1 (NEGATE_EXPR, r2type, &temv, &temm,
1252                           r2type, r2val, r2mask);
1253         bit_value_binop_1 (PLUS_EXPR, type, val, mask,
1254                            r1type, r1val, r1mask,
1255                            r2type, temv, temm);
1256         break;
1257       }
1258
1259     case MULT_EXPR:
1260       {
1261         /* Just track trailing zeros in both operands and transfer
1262            them to the other.  */
1263         int r1tz = double_int_ctz (double_int_ior (r1val, r1mask));
1264         int r2tz = double_int_ctz (double_int_ior (r2val, r2mask));
1265         if (r1tz + r2tz >= HOST_BITS_PER_DOUBLE_INT)
1266           {
1267             *mask = double_int_zero;
1268             *val = double_int_zero;
1269           }
1270         else if (r1tz + r2tz > 0)
1271           {
1272             *mask = double_int_not (double_int_mask (r1tz + r2tz));
1273             *mask = double_int_ext (*mask, TYPE_PRECISION (type), uns);
1274             *val = double_int_zero;
1275           }
1276         break;
1277       }
1278
1279     case EQ_EXPR:
1280     case NE_EXPR:
1281       {
1282         double_int m = double_int_ior (r1mask, r2mask);
1283         if (!double_int_equal_p (double_int_and_not (r1val, m),
1284                                  double_int_and_not (r2val, m)))
1285           {
1286             *mask = double_int_zero;
1287             *val = ((code == EQ_EXPR) ? double_int_zero : double_int_one);
1288           }
1289         else
1290           {
1291             /* We know the result of a comparison is always one or zero.  */
1292             *mask = double_int_one;
1293             *val = double_int_zero;
1294           }
1295         break;
1296       }
1297
1298     case GE_EXPR:
1299     case GT_EXPR:
1300       {
1301         double_int tem = r1val;
1302         r1val = r2val;
1303         r2val = tem;
1304         tem = r1mask;
1305         r1mask = r2mask;
1306         r2mask = tem;
1307         code = swap_tree_comparison (code);
1308       }
1309       /* Fallthru.  */
1310     case LT_EXPR:
1311     case LE_EXPR:
1312       {
1313         int minmax, maxmin;
1314         /* If the most significant bits are not known we know nothing.  */
1315         if (double_int_negative_p (r1mask) || double_int_negative_p (r2mask))
1316           break;
1317
1318         /* For comparisons the signedness is in the comparison operands.  */
1319         uns = (TREE_CODE (r1type) == INTEGER_TYPE
1320                && TYPE_IS_SIZETYPE (r1type) ? 0 : TYPE_UNSIGNED (r1type));
1321         /* ???  We can have sizetype related inconsistencies in the IL.  */
1322         if ((TREE_CODE (r2type) == INTEGER_TYPE
1323              && TYPE_IS_SIZETYPE (r2type) ? 0 : TYPE_UNSIGNED (r2type)) != uns)
1324           break;
1325
1326         /* If we know the most significant bits we know the values
1327            value ranges by means of treating varying bits as zero
1328            or one.  Do a cross comparison of the max/min pairs.  */
1329         maxmin = double_int_cmp (double_int_ior (r1val, r1mask),
1330                                  double_int_and_not (r2val, r2mask), uns);
1331         minmax = double_int_cmp (double_int_and_not (r1val, r1mask),
1332                                  double_int_ior (r2val, r2mask), uns);
1333         if (maxmin < 0)  /* r1 is less than r2.  */
1334           {
1335             *mask = double_int_zero;
1336             *val = double_int_one;
1337           }
1338         else if (minmax > 0)  /* r1 is not less or equal to r2.  */
1339           {
1340             *mask = double_int_zero;
1341             *val = double_int_zero;
1342           }
1343         else if (maxmin == minmax)  /* r1 and r2 are equal.  */
1344           {
1345             /* This probably should never happen as we'd have
1346                folded the thing during fully constant value folding.  */
1347             *mask = double_int_zero;
1348             *val = (code == LE_EXPR ? double_int_one :  double_int_zero);
1349           }
1350         else
1351           {
1352             /* We know the result of a comparison is always one or zero.  */
1353             *mask = double_int_one;
1354             *val = double_int_zero;
1355           }
1356         break;
1357       }
1358
1359     default:;
1360     }
1361 }
1362
1363 /* Return the propagation value when applying the operation CODE to
1364    the value RHS yielding type TYPE.  */
1365
1366 static prop_value_t
1367 bit_value_unop (enum tree_code code, tree type, tree rhs)
1368 {
1369   prop_value_t rval = get_value_for_expr (rhs, true);
1370   double_int value, mask;
1371   prop_value_t val;
1372
1373   if (rval.lattice_val == UNDEFINED)
1374     return rval;
1375
1376   gcc_assert ((rval.lattice_val == CONSTANT
1377                && TREE_CODE (rval.value) == INTEGER_CST)
1378               || double_int_minus_one_p (rval.mask));
1379   bit_value_unop_1 (code, type, &value, &mask,
1380                     TREE_TYPE (rhs), value_to_double_int (rval), rval.mask);
1381   if (!double_int_minus_one_p (mask))
1382     {
1383       val.lattice_val = CONSTANT;
1384       val.mask = mask;
1385       /* ???  Delay building trees here.  */
1386       val.value = double_int_to_tree (type, value);
1387     }
1388   else
1389     {
1390       val.lattice_val = VARYING;
1391       val.value = NULL_TREE;
1392       val.mask = double_int_minus_one;
1393     }
1394   return val;
1395 }
1396
1397 /* Return the propagation value when applying the operation CODE to
1398    the values RHS1 and RHS2 yielding type TYPE.  */
1399
1400 static prop_value_t
1401 bit_value_binop (enum tree_code code, tree type, tree rhs1, tree rhs2)
1402 {
1403   prop_value_t r1val = get_value_for_expr (rhs1, true);
1404   prop_value_t r2val = get_value_for_expr (rhs2, true);
1405   double_int value, mask;
1406   prop_value_t val;
1407
1408   if (r1val.lattice_val == UNDEFINED
1409       || r2val.lattice_val == UNDEFINED)
1410     {
1411       val.lattice_val = VARYING;
1412       val.value = NULL_TREE;
1413       val.mask = double_int_minus_one;
1414       return val;
1415     }
1416
1417   gcc_assert ((r1val.lattice_val == CONSTANT
1418                && TREE_CODE (r1val.value) == INTEGER_CST)
1419               || double_int_minus_one_p (r1val.mask));
1420   gcc_assert ((r2val.lattice_val == CONSTANT
1421                && TREE_CODE (r2val.value) == INTEGER_CST)
1422               || double_int_minus_one_p (r2val.mask));
1423   bit_value_binop_1 (code, type, &value, &mask,
1424                      TREE_TYPE (rhs1), value_to_double_int (r1val), r1val.mask,
1425                      TREE_TYPE (rhs2), value_to_double_int (r2val), r2val.mask);
1426   if (!double_int_minus_one_p (mask))
1427     {
1428       val.lattice_val = CONSTANT;
1429       val.mask = mask;
1430       /* ???  Delay building trees here.  */
1431       val.value = double_int_to_tree (type, value);
1432     }
1433   else
1434     {
1435       val.lattice_val = VARYING;
1436       val.value = NULL_TREE;
1437       val.mask = double_int_minus_one;
1438     }
1439   return val;
1440 }
1441
1442 /* Return the propagation value when applying __builtin_assume_aligned to
1443    its arguments.  */
1444
1445 static prop_value_t
1446 bit_value_assume_aligned (gimple stmt)
1447 {
1448   tree ptr = gimple_call_arg (stmt, 0), align, misalign = NULL_TREE;
1449   tree type = TREE_TYPE (ptr);
1450   unsigned HOST_WIDE_INT aligni, misaligni = 0;
1451   prop_value_t ptrval = get_value_for_expr (ptr, true);
1452   prop_value_t alignval;
1453   double_int value, mask;
1454   prop_value_t val;
1455   if (ptrval.lattice_val == UNDEFINED)
1456     return ptrval;
1457   gcc_assert ((ptrval.lattice_val == CONSTANT
1458                && TREE_CODE (ptrval.value) == INTEGER_CST)
1459               || double_int_minus_one_p (ptrval.mask));
1460   align = gimple_call_arg (stmt, 1);
1461   if (!host_integerp (align, 1))
1462     return ptrval;
1463   aligni = tree_low_cst (align, 1);
1464   if (aligni <= 1
1465       || (aligni & (aligni - 1)) != 0)
1466     return ptrval;
1467   if (gimple_call_num_args (stmt) > 2)
1468     {
1469       misalign = gimple_call_arg (stmt, 2);
1470       if (!host_integerp (misalign, 1))
1471         return ptrval;
1472       misaligni = tree_low_cst (misalign, 1);
1473       if (misaligni >= aligni)
1474         return ptrval;
1475     }
1476   align = build_int_cst_type (type, -aligni);
1477   alignval = get_value_for_expr (align, true);
1478   bit_value_binop_1 (BIT_AND_EXPR, type, &value, &mask,
1479                      type, value_to_double_int (ptrval), ptrval.mask,
1480                      type, value_to_double_int (alignval), alignval.mask);
1481   if (!double_int_minus_one_p (mask))
1482     {
1483       val.lattice_val = CONSTANT;
1484       val.mask = mask;
1485       gcc_assert ((mask.low & (aligni - 1)) == 0);
1486       gcc_assert ((value.low & (aligni - 1)) == 0);
1487       value.low |= misaligni;
1488       /* ???  Delay building trees here.  */
1489       val.value = double_int_to_tree (type, value);
1490     }
1491   else
1492     {
1493       val.lattice_val = VARYING;
1494       val.value = NULL_TREE;
1495       val.mask = double_int_minus_one;
1496     }
1497   return val;
1498 }
1499
1500 /* Evaluate statement STMT.
1501    Valid only for assignments, calls, conditionals, and switches. */
1502
1503 static prop_value_t
1504 evaluate_stmt (gimple stmt)
1505 {
1506   prop_value_t val;
1507   tree simplified = NULL_TREE;
1508   ccp_lattice_t likelyvalue = likely_value (stmt);
1509   bool is_constant = false;
1510   unsigned int align;
1511
1512   if (dump_file && (dump_flags & TDF_DETAILS))
1513     {
1514       fprintf (dump_file, "which is likely ");
1515       switch (likelyvalue)
1516         {
1517         case CONSTANT:
1518           fprintf (dump_file, "CONSTANT");
1519           break;
1520         case UNDEFINED:
1521           fprintf (dump_file, "UNDEFINED");
1522           break;
1523         case VARYING:
1524           fprintf (dump_file, "VARYING");
1525           break;
1526         default:;
1527         }
1528       fprintf (dump_file, "\n");
1529     }
1530
1531   /* If the statement is likely to have a CONSTANT result, then try
1532      to fold the statement to determine the constant value.  */
1533   /* FIXME.  This is the only place that we call ccp_fold.
1534      Since likely_value never returns CONSTANT for calls, we will
1535      not attempt to fold them, including builtins that may profit.  */
1536   if (likelyvalue == CONSTANT)
1537     {
1538       fold_defer_overflow_warnings ();
1539       simplified = ccp_fold (stmt);
1540       is_constant = simplified && is_gimple_min_invariant (simplified);
1541       fold_undefer_overflow_warnings (is_constant, stmt, 0);
1542       if (is_constant)
1543         {
1544           /* The statement produced a constant value.  */
1545           val.lattice_val = CONSTANT;
1546           val.value = simplified;
1547           val.mask = double_int_zero;
1548         }
1549     }
1550   /* If the statement is likely to have a VARYING result, then do not
1551      bother folding the statement.  */
1552   else if (likelyvalue == VARYING)
1553     {
1554       enum gimple_code code = gimple_code (stmt);
1555       if (code == GIMPLE_ASSIGN)
1556         {
1557           enum tree_code subcode = gimple_assign_rhs_code (stmt);
1558
1559           /* Other cases cannot satisfy is_gimple_min_invariant
1560              without folding.  */
1561           if (get_gimple_rhs_class (subcode) == GIMPLE_SINGLE_RHS)
1562             simplified = gimple_assign_rhs1 (stmt);
1563         }
1564       else if (code == GIMPLE_SWITCH)
1565         simplified = gimple_switch_index (stmt);
1566       else
1567         /* These cannot satisfy is_gimple_min_invariant without folding.  */
1568         gcc_assert (code == GIMPLE_CALL || code == GIMPLE_COND);
1569       is_constant = simplified && is_gimple_min_invariant (simplified);
1570       if (is_constant)
1571         {
1572           /* The statement produced a constant value.  */
1573           val.lattice_val = CONSTANT;
1574           val.value = simplified;
1575           val.mask = double_int_zero;
1576         }
1577     }
1578
1579   /* Resort to simplification for bitwise tracking.  */
1580   if (flag_tree_bit_ccp
1581       && (likelyvalue == CONSTANT || is_gimple_call (stmt))
1582       && !is_constant)
1583     {
1584       enum gimple_code code = gimple_code (stmt);
1585       tree fndecl;
1586       val.lattice_val = VARYING;
1587       val.value = NULL_TREE;
1588       val.mask = double_int_minus_one;
1589       if (code == GIMPLE_ASSIGN)
1590         {
1591           enum tree_code subcode = gimple_assign_rhs_code (stmt);
1592           tree rhs1 = gimple_assign_rhs1 (stmt);
1593           switch (get_gimple_rhs_class (subcode))
1594             {
1595             case GIMPLE_SINGLE_RHS:
1596               if (INTEGRAL_TYPE_P (TREE_TYPE (rhs1))
1597                   || POINTER_TYPE_P (TREE_TYPE (rhs1)))
1598                 val = get_value_for_expr (rhs1, true);
1599               break;
1600
1601             case GIMPLE_UNARY_RHS:
1602               if ((INTEGRAL_TYPE_P (TREE_TYPE (rhs1))
1603                    || POINTER_TYPE_P (TREE_TYPE (rhs1)))
1604                   && (INTEGRAL_TYPE_P (gimple_expr_type (stmt))
1605                       || POINTER_TYPE_P (gimple_expr_type (stmt))))
1606                 val = bit_value_unop (subcode, gimple_expr_type (stmt), rhs1);
1607               break;
1608
1609             case GIMPLE_BINARY_RHS:
1610               if (INTEGRAL_TYPE_P (TREE_TYPE (rhs1))
1611                   || POINTER_TYPE_P (TREE_TYPE (rhs1)))
1612                 {
1613                   tree lhs = gimple_assign_lhs (stmt);
1614                   tree rhs2 = gimple_assign_rhs2 (stmt);
1615                   val = bit_value_binop (subcode,
1616                                          TREE_TYPE (lhs), rhs1, rhs2);
1617                 }
1618               break;
1619
1620             default:;
1621             }
1622         }
1623       else if (code == GIMPLE_COND)
1624         {
1625           enum tree_code code = gimple_cond_code (stmt);
1626           tree rhs1 = gimple_cond_lhs (stmt);
1627           tree rhs2 = gimple_cond_rhs (stmt);
1628           if (INTEGRAL_TYPE_P (TREE_TYPE (rhs1))
1629               || POINTER_TYPE_P (TREE_TYPE (rhs1)))
1630             val = bit_value_binop (code, TREE_TYPE (rhs1), rhs1, rhs2);
1631         }
1632       else if (code == GIMPLE_CALL
1633                && (fndecl = gimple_call_fndecl (stmt))
1634                && DECL_BUILT_IN_CLASS (fndecl) == BUILT_IN_NORMAL)
1635         {
1636           switch (DECL_FUNCTION_CODE (fndecl))
1637             {
1638             case BUILT_IN_MALLOC:
1639             case BUILT_IN_REALLOC:
1640             case BUILT_IN_CALLOC:
1641             case BUILT_IN_STRDUP:
1642             case BUILT_IN_STRNDUP:
1643               val.lattice_val = CONSTANT;
1644               val.value = build_int_cst (TREE_TYPE (gimple_get_lhs (stmt)), 0);
1645               val.mask = shwi_to_double_int
1646                            (~(((HOST_WIDE_INT) MALLOC_ABI_ALIGNMENT)
1647                               / BITS_PER_UNIT - 1));
1648               break;
1649
1650             case BUILT_IN_ALLOCA:
1651             case BUILT_IN_ALLOCA_WITH_ALIGN:
1652               align = (DECL_FUNCTION_CODE (fndecl) == BUILT_IN_ALLOCA_WITH_ALIGN
1653                        ? TREE_INT_CST_LOW (gimple_call_arg (stmt, 1))
1654                        : BIGGEST_ALIGNMENT);
1655               val.lattice_val = CONSTANT;
1656               val.value = build_int_cst (TREE_TYPE (gimple_get_lhs (stmt)), 0);
1657               val.mask = shwi_to_double_int
1658                            (~(((HOST_WIDE_INT) align)
1659                               / BITS_PER_UNIT - 1));
1660               break;
1661
1662             /* These builtins return their first argument, unmodified.  */
1663             case BUILT_IN_MEMCPY:
1664             case BUILT_IN_MEMMOVE:
1665             case BUILT_IN_MEMSET:
1666             case BUILT_IN_STRCPY:
1667             case BUILT_IN_STRNCPY:
1668             case BUILT_IN_MEMCPY_CHK:
1669             case BUILT_IN_MEMMOVE_CHK:
1670             case BUILT_IN_MEMSET_CHK:
1671             case BUILT_IN_STRCPY_CHK:
1672             case BUILT_IN_STRNCPY_CHK:
1673               val = get_value_for_expr (gimple_call_arg (stmt, 0), true);
1674               break;
1675
1676             case BUILT_IN_ASSUME_ALIGNED:
1677               val = bit_value_assume_aligned (stmt);
1678               break;
1679
1680             default:;
1681             }
1682         }
1683       is_constant = (val.lattice_val == CONSTANT);
1684     }
1685
1686   if (!is_constant)
1687     {
1688       /* The statement produced a nonconstant value.  If the statement
1689          had UNDEFINED operands, then the result of the statement
1690          should be UNDEFINED.  Otherwise, the statement is VARYING.  */
1691       if (likelyvalue == UNDEFINED)
1692         {
1693           val.lattice_val = likelyvalue;
1694           val.mask = double_int_zero;
1695         }
1696       else
1697         {
1698           val.lattice_val = VARYING;
1699           val.mask = double_int_minus_one;
1700         }
1701
1702       val.value = NULL_TREE;
1703     }
1704
1705   return val;
1706 }
1707
1708 /* Given a BUILT_IN_STACK_SAVE value SAVED_VAL, insert a clobber of VAR before
1709    each matching BUILT_IN_STACK_RESTORE.  Mark visited phis in VISITED.  */
1710
1711 static void
1712 insert_clobber_before_stack_restore (tree saved_val, tree var, htab_t *visited)
1713 {
1714   gimple stmt, clobber_stmt;
1715   tree clobber;
1716   imm_use_iterator iter;
1717   gimple_stmt_iterator i;
1718   gimple *slot;
1719
1720   FOR_EACH_IMM_USE_STMT (stmt, iter, saved_val)
1721     if (gimple_call_builtin_p (stmt, BUILT_IN_STACK_RESTORE))
1722       {
1723         clobber = build_constructor (TREE_TYPE (var), NULL);
1724         TREE_THIS_VOLATILE (clobber) = 1;
1725         clobber_stmt = gimple_build_assign (var, clobber);
1726
1727         i = gsi_for_stmt (stmt);
1728         gsi_insert_before (&i, clobber_stmt, GSI_SAME_STMT);
1729       }
1730     else if (gimple_code (stmt) == GIMPLE_PHI)
1731       {
1732         if (*visited == NULL)
1733           *visited = htab_create (10, htab_hash_pointer, htab_eq_pointer, NULL);
1734
1735         slot = (gimple *)htab_find_slot (*visited, stmt, INSERT);
1736         if (*slot != NULL)
1737           continue;
1738
1739         *slot = stmt;
1740         insert_clobber_before_stack_restore (gimple_phi_result (stmt), var,
1741                                              visited);
1742       }
1743     else
1744       gcc_assert (is_gimple_debug (stmt));
1745 }
1746
1747 /* Advance the iterator to the previous non-debug gimple statement in the same
1748    or dominating basic block.  */
1749
1750 static inline void
1751 gsi_prev_dom_bb_nondebug (gimple_stmt_iterator *i)
1752 {
1753   basic_block dom;
1754
1755   gsi_prev_nondebug (i);
1756   while (gsi_end_p (*i))
1757     {
1758       dom = get_immediate_dominator (CDI_DOMINATORS, i->bb);
1759       if (dom == NULL || dom == ENTRY_BLOCK_PTR)
1760         return;
1761
1762       *i = gsi_last_bb (dom);
1763     }
1764 }
1765
1766 /* Find a BUILT_IN_STACK_SAVE dominating gsi_stmt (I), and insert
1767    a clobber of VAR before each matching BUILT_IN_STACK_RESTORE.
1768
1769    It is possible that BUILT_IN_STACK_SAVE cannot be find in a dominator when a
1770    previous pass (such as DOM) duplicated it along multiple paths to a BB.  In
1771    that case the function gives up without inserting the clobbers.  */
1772
1773 static void
1774 insert_clobbers_for_var (gimple_stmt_iterator i, tree var)
1775 {
1776   gimple stmt;
1777   tree saved_val;
1778   htab_t visited = NULL;
1779
1780   for (; !gsi_end_p (i); gsi_prev_dom_bb_nondebug (&i))
1781     {
1782       stmt = gsi_stmt (i);
1783
1784       if (!gimple_call_builtin_p (stmt, BUILT_IN_STACK_SAVE))
1785         continue;
1786
1787       saved_val = gimple_call_lhs (stmt);
1788       if (saved_val == NULL_TREE)
1789         continue;
1790
1791       insert_clobber_before_stack_restore (saved_val, var, &visited);
1792       break;
1793     }
1794
1795   if (visited != NULL)
1796     htab_delete (visited);
1797 }
1798
1799 /* Detects a __builtin_alloca_with_align with constant size argument.  Declares
1800    fixed-size array and returns the address, if found, otherwise returns
1801    NULL_TREE.  */
1802
1803 static tree
1804 fold_builtin_alloca_with_align (gimple stmt)
1805 {
1806   unsigned HOST_WIDE_INT size, threshold, n_elem;
1807   tree lhs, arg, block, var, elem_type, array_type;
1808
1809   /* Get lhs.  */
1810   lhs = gimple_call_lhs (stmt);
1811   if (lhs == NULL_TREE)
1812     return NULL_TREE;
1813
1814   /* Detect constant argument.  */
1815   arg = get_constant_value (gimple_call_arg (stmt, 0));
1816   if (arg == NULL_TREE
1817       || TREE_CODE (arg) != INTEGER_CST
1818       || !host_integerp (arg, 1))
1819     return NULL_TREE;
1820
1821   size = TREE_INT_CST_LOW (arg);
1822
1823   /* Heuristic: don't fold large allocas.  */
1824   threshold = (unsigned HOST_WIDE_INT)PARAM_VALUE (PARAM_LARGE_STACK_FRAME);
1825   /* In case the alloca is located at function entry, it has the same lifetime
1826      as a declared array, so we allow a larger size.  */
1827   block = gimple_block (stmt);
1828   if (!(cfun->after_inlining
1829         && TREE_CODE (BLOCK_SUPERCONTEXT (block)) == FUNCTION_DECL))
1830     threshold /= 10;
1831   if (size > threshold)
1832     return NULL_TREE;
1833
1834   /* Declare array.  */
1835   elem_type = build_nonstandard_integer_type (BITS_PER_UNIT, 1);
1836   n_elem = size * 8 / BITS_PER_UNIT;
1837   array_type = build_array_type_nelts (elem_type, n_elem);
1838   var = create_tmp_var (array_type, NULL);
1839   DECL_ALIGN (var) = TREE_INT_CST_LOW (gimple_call_arg (stmt, 1));
1840   {
1841     struct ptr_info_def *pi = SSA_NAME_PTR_INFO (lhs);
1842     if (pi != NULL && !pi->pt.anything)
1843       {
1844         bool singleton_p;
1845         unsigned uid;
1846         singleton_p = pt_solution_singleton_p (&pi->pt, &uid);
1847         gcc_assert (singleton_p);
1848         SET_DECL_PT_UID (var, uid);
1849       }
1850   }
1851
1852   /* Fold alloca to the address of the array.  */
1853   return fold_convert (TREE_TYPE (lhs), build_fold_addr_expr (var));
1854 }
1855
1856 /* Fold the stmt at *GSI with CCP specific information that propagating
1857    and regular folding does not catch.  */
1858
1859 static bool
1860 ccp_fold_stmt (gimple_stmt_iterator *gsi)
1861 {
1862   gimple stmt = gsi_stmt (*gsi);
1863
1864   switch (gimple_code (stmt))
1865     {
1866     case GIMPLE_COND:
1867       {
1868         prop_value_t val;
1869         /* Statement evaluation will handle type mismatches in constants
1870            more gracefully than the final propagation.  This allows us to
1871            fold more conditionals here.  */
1872         val = evaluate_stmt (stmt);
1873         if (val.lattice_val != CONSTANT
1874             || !double_int_zero_p (val.mask))
1875           return false;
1876
1877         if (dump_file)
1878           {
1879             fprintf (dump_file, "Folding predicate ");
1880             print_gimple_expr (dump_file, stmt, 0, 0);
1881             fprintf (dump_file, " to ");
1882             print_generic_expr (dump_file, val.value, 0);
1883             fprintf (dump_file, "\n");
1884           }
1885
1886         if (integer_zerop (val.value))
1887           gimple_cond_make_false (stmt);
1888         else
1889           gimple_cond_make_true (stmt);
1890
1891         return true;
1892       }
1893
1894     case GIMPLE_CALL:
1895       {
1896         tree lhs = gimple_call_lhs (stmt);
1897         int flags = gimple_call_flags (stmt);
1898         tree val;
1899         tree argt;
1900         bool changed = false;
1901         unsigned i;
1902
1903         /* If the call was folded into a constant make sure it goes
1904            away even if we cannot propagate into all uses because of
1905            type issues.  */
1906         if (lhs
1907             && TREE_CODE (lhs) == SSA_NAME
1908             && (val = get_constant_value (lhs))
1909             /* Don't optimize away calls that have side-effects.  */
1910             && (flags & (ECF_CONST|ECF_PURE)) != 0
1911             && (flags & ECF_LOOPING_CONST_OR_PURE) == 0)
1912           {
1913             tree new_rhs = unshare_expr (val);
1914             bool res;
1915             if (!useless_type_conversion_p (TREE_TYPE (lhs),
1916                                             TREE_TYPE (new_rhs)))
1917               new_rhs = fold_convert (TREE_TYPE (lhs), new_rhs);
1918             res = update_call_from_tree (gsi, new_rhs);
1919             gcc_assert (res);
1920             return true;
1921           }
1922
1923         /* Internal calls provide no argument types, so the extra laxity
1924            for normal calls does not apply.  */
1925         if (gimple_call_internal_p (stmt))
1926           return false;
1927
1928         /* The heuristic of fold_builtin_alloca_with_align differs before and
1929            after inlining, so we don't require the arg to be changed into a
1930            constant for folding, but just to be constant.  */
1931         if (gimple_call_builtin_p (stmt, BUILT_IN_ALLOCA_WITH_ALIGN))
1932           {
1933             tree new_rhs = fold_builtin_alloca_with_align (stmt);
1934             if (new_rhs)
1935               {
1936                 bool res = update_call_from_tree (gsi, new_rhs);
1937                 tree var = TREE_OPERAND (TREE_OPERAND (new_rhs, 0),0);
1938                 gcc_assert (res);
1939                 insert_clobbers_for_var (*gsi, var);
1940                 return true;
1941               }
1942           }
1943
1944         /* Propagate into the call arguments.  Compared to replace_uses_in
1945            this can use the argument slot types for type verification
1946            instead of the current argument type.  We also can safely
1947            drop qualifiers here as we are dealing with constants anyway.  */
1948         argt = TYPE_ARG_TYPES (gimple_call_fntype (stmt));
1949         for (i = 0; i < gimple_call_num_args (stmt) && argt;
1950              ++i, argt = TREE_CHAIN (argt))
1951           {
1952             tree arg = gimple_call_arg (stmt, i);
1953             if (TREE_CODE (arg) == SSA_NAME
1954                 && (val = get_constant_value (arg))
1955                 && useless_type_conversion_p
1956                      (TYPE_MAIN_VARIANT (TREE_VALUE (argt)),
1957                       TYPE_MAIN_VARIANT (TREE_TYPE (val))))
1958               {
1959                 gimple_call_set_arg (stmt, i, unshare_expr (val));
1960                 changed = true;
1961               }
1962           }
1963
1964         return changed;
1965       }
1966
1967     case GIMPLE_ASSIGN:
1968       {
1969         tree lhs = gimple_assign_lhs (stmt);
1970         tree val;
1971
1972         /* If we have a load that turned out to be constant replace it
1973            as we cannot propagate into all uses in all cases.  */
1974         if (gimple_assign_single_p (stmt)
1975             && TREE_CODE (lhs) == SSA_NAME
1976             && (val = get_constant_value (lhs)))
1977           {
1978             tree rhs = unshare_expr (val);
1979             if (!useless_type_conversion_p (TREE_TYPE (lhs), TREE_TYPE (rhs)))
1980               rhs = fold_build1 (VIEW_CONVERT_EXPR, TREE_TYPE (lhs), rhs);
1981             gimple_assign_set_rhs_from_tree (gsi, rhs);
1982             return true;
1983           }
1984
1985         return false;
1986       }
1987
1988     default:
1989       return false;
1990     }
1991 }
1992
1993 /* Visit the assignment statement STMT.  Set the value of its LHS to the
1994    value computed by the RHS and store LHS in *OUTPUT_P.  If STMT
1995    creates virtual definitions, set the value of each new name to that
1996    of the RHS (if we can derive a constant out of the RHS).
1997    Value-returning call statements also perform an assignment, and
1998    are handled here.  */
1999
2000 static enum ssa_prop_result
2001 visit_assignment (gimple stmt, tree *output_p)
2002 {
2003   prop_value_t val;
2004   enum ssa_prop_result retval;
2005
2006   tree lhs = gimple_get_lhs (stmt);
2007
2008   gcc_assert (gimple_code (stmt) != GIMPLE_CALL
2009               || gimple_call_lhs (stmt) != NULL_TREE);
2010
2011   if (gimple_assign_single_p (stmt)
2012       && gimple_assign_rhs_code (stmt) == SSA_NAME)
2013     /* For a simple copy operation, we copy the lattice values.  */
2014     val = *get_value (gimple_assign_rhs1 (stmt));
2015   else
2016     /* Evaluate the statement, which could be
2017        either a GIMPLE_ASSIGN or a GIMPLE_CALL.  */
2018     val = evaluate_stmt (stmt);
2019
2020   retval = SSA_PROP_NOT_INTERESTING;
2021
2022   /* Set the lattice value of the statement's output.  */
2023   if (TREE_CODE (lhs) == SSA_NAME)
2024     {
2025       /* If STMT is an assignment to an SSA_NAME, we only have one
2026          value to set.  */
2027       if (set_lattice_value (lhs, val))
2028         {
2029           *output_p = lhs;
2030           if (val.lattice_val == VARYING)
2031             retval = SSA_PROP_VARYING;
2032           else
2033             retval = SSA_PROP_INTERESTING;
2034         }
2035     }
2036
2037   return retval;
2038 }
2039
2040
2041 /* Visit the conditional statement STMT.  Return SSA_PROP_INTERESTING
2042    if it can determine which edge will be taken.  Otherwise, return
2043    SSA_PROP_VARYING.  */
2044
2045 static enum ssa_prop_result
2046 visit_cond_stmt (gimple stmt, edge *taken_edge_p)
2047 {
2048   prop_value_t val;
2049   basic_block block;
2050
2051   block = gimple_bb (stmt);
2052   val = evaluate_stmt (stmt);
2053   if (val.lattice_val != CONSTANT
2054       || !double_int_zero_p (val.mask))
2055     return SSA_PROP_VARYING;
2056
2057   /* Find which edge out of the conditional block will be taken and add it
2058      to the worklist.  If no single edge can be determined statically,
2059      return SSA_PROP_VARYING to feed all the outgoing edges to the
2060      propagation engine.  */
2061   *taken_edge_p = find_taken_edge (block, val.value);
2062   if (*taken_edge_p)
2063     return SSA_PROP_INTERESTING;
2064   else
2065     return SSA_PROP_VARYING;
2066 }
2067
2068
2069 /* Evaluate statement STMT.  If the statement produces an output value and
2070    its evaluation changes the lattice value of its output, return
2071    SSA_PROP_INTERESTING and set *OUTPUT_P to the SSA_NAME holding the
2072    output value.
2073
2074    If STMT is a conditional branch and we can determine its truth
2075    value, set *TAKEN_EDGE_P accordingly.  If STMT produces a varying
2076    value, return SSA_PROP_VARYING.  */
2077
2078 static enum ssa_prop_result
2079 ccp_visit_stmt (gimple stmt, edge *taken_edge_p, tree *output_p)
2080 {
2081   tree def;
2082   ssa_op_iter iter;
2083
2084   if (dump_file && (dump_flags & TDF_DETAILS))
2085     {
2086       fprintf (dump_file, "\nVisiting statement:\n");
2087       print_gimple_stmt (dump_file, stmt, 0, dump_flags);
2088     }
2089
2090   switch (gimple_code (stmt))
2091     {
2092       case GIMPLE_ASSIGN:
2093         /* If the statement is an assignment that produces a single
2094            output value, evaluate its RHS to see if the lattice value of
2095            its output has changed.  */
2096         return visit_assignment (stmt, output_p);
2097
2098       case GIMPLE_CALL:
2099         /* A value-returning call also performs an assignment.  */
2100         if (gimple_call_lhs (stmt) != NULL_TREE)
2101           return visit_assignment (stmt, output_p);
2102         break;
2103
2104       case GIMPLE_COND:
2105       case GIMPLE_SWITCH:
2106         /* If STMT is a conditional branch, see if we can determine
2107            which branch will be taken.   */
2108         /* FIXME.  It appears that we should be able to optimize
2109            computed GOTOs here as well.  */
2110         return visit_cond_stmt (stmt, taken_edge_p);
2111
2112       default:
2113         break;
2114     }
2115
2116   /* Any other kind of statement is not interesting for constant
2117      propagation and, therefore, not worth simulating.  */
2118   if (dump_file && (dump_flags & TDF_DETAILS))
2119     fprintf (dump_file, "No interesting values produced.  Marked VARYING.\n");
2120
2121   /* Definitions made by statements other than assignments to
2122      SSA_NAMEs represent unknown modifications to their outputs.
2123      Mark them VARYING.  */
2124   FOR_EACH_SSA_TREE_OPERAND (def, stmt, iter, SSA_OP_ALL_DEFS)
2125     {
2126       prop_value_t v = { VARYING, NULL_TREE, { -1, (HOST_WIDE_INT) -1 } };
2127       set_lattice_value (def, v);
2128     }
2129
2130   return SSA_PROP_VARYING;
2131 }
2132
2133
2134 /* Main entry point for SSA Conditional Constant Propagation.  */
2135
2136 static unsigned int
2137 do_ssa_ccp (void)
2138 {
2139   unsigned int todo = 0;
2140   calculate_dominance_info (CDI_DOMINATORS);
2141   ccp_initialize ();
2142   ssa_propagate (ccp_visit_stmt, ccp_visit_phi_node);
2143   if (ccp_finalize ())
2144     todo = (TODO_cleanup_cfg | TODO_update_ssa | TODO_remove_unused_locals);
2145   free_dominance_info (CDI_DOMINATORS);
2146   return todo;
2147 }
2148
2149
2150 static bool
2151 gate_ccp (void)
2152 {
2153   return flag_tree_ccp != 0;
2154 }
2155
2156
2157 struct gimple_opt_pass pass_ccp =
2158 {
2159  {
2160   GIMPLE_PASS,
2161   "ccp",                                /* name */
2162   gate_ccp,                             /* gate */
2163   do_ssa_ccp,                           /* execute */
2164   NULL,                                 /* sub */
2165   NULL,                                 /* next */
2166   0,                                    /* static_pass_number */
2167   TV_TREE_CCP,                          /* tv_id */
2168   PROP_cfg | PROP_ssa,                  /* properties_required */
2169   0,                                    /* properties_provided */
2170   0,                                    /* properties_destroyed */
2171   0,                                    /* todo_flags_start */
2172   TODO_verify_ssa
2173   | TODO_verify_stmts | TODO_ggc_collect/* todo_flags_finish */
2174  }
2175 };
2176
2177
2178
2179 /* Try to optimize out __builtin_stack_restore.  Optimize it out
2180    if there is another __builtin_stack_restore in the same basic
2181    block and no calls or ASM_EXPRs are in between, or if this block's
2182    only outgoing edge is to EXIT_BLOCK and there are no calls or
2183    ASM_EXPRs after this __builtin_stack_restore.  */
2184
2185 static tree
2186 optimize_stack_restore (gimple_stmt_iterator i)
2187 {
2188   tree callee;
2189   gimple stmt;
2190
2191   basic_block bb = gsi_bb (i);
2192   gimple call = gsi_stmt (i);
2193
2194   if (gimple_code (call) != GIMPLE_CALL
2195       || gimple_call_num_args (call) != 1
2196       || TREE_CODE (gimple_call_arg (call, 0)) != SSA_NAME
2197       || !POINTER_TYPE_P (TREE_TYPE (gimple_call_arg (call, 0))))
2198     return NULL_TREE;
2199
2200   for (gsi_next (&i); !gsi_end_p (i); gsi_next (&i))
2201     {
2202       stmt = gsi_stmt (i);
2203       if (gimple_code (stmt) == GIMPLE_ASM)
2204         return NULL_TREE;
2205       if (gimple_code (stmt) != GIMPLE_CALL)
2206         continue;
2207
2208       callee = gimple_call_fndecl (stmt);
2209       if (!callee
2210           || DECL_BUILT_IN_CLASS (callee) != BUILT_IN_NORMAL
2211           /* All regular builtins are ok, just obviously not alloca.  */
2212           || DECL_FUNCTION_CODE (callee) == BUILT_IN_ALLOCA
2213           || DECL_FUNCTION_CODE (callee) == BUILT_IN_ALLOCA_WITH_ALIGN)
2214         return NULL_TREE;
2215
2216       if (DECL_FUNCTION_CODE (callee) == BUILT_IN_STACK_RESTORE)
2217         goto second_stack_restore;
2218     }
2219
2220   if (!gsi_end_p (i))
2221     return NULL_TREE;
2222
2223   /* Allow one successor of the exit block, or zero successors.  */
2224   switch (EDGE_COUNT (bb->succs))
2225     {
2226     case 0:
2227       break;
2228     case 1:
2229       if (single_succ_edge (bb)->dest != EXIT_BLOCK_PTR)
2230         return NULL_TREE;
2231       break;
2232     default:
2233       return NULL_TREE;
2234     }
2235  second_stack_restore:
2236
2237   /* If there's exactly one use, then zap the call to __builtin_stack_save.
2238      If there are multiple uses, then the last one should remove the call.
2239      In any case, whether the call to __builtin_stack_save can be removed
2240      or not is irrelevant to removing the call to __builtin_stack_restore.  */
2241   if (has_single_use (gimple_call_arg (call, 0)))
2242     {
2243       gimple stack_save = SSA_NAME_DEF_STMT (gimple_call_arg (call, 0));
2244       if (is_gimple_call (stack_save))
2245         {
2246           callee = gimple_call_fndecl (stack_save);
2247           if (callee
2248               && DECL_BUILT_IN_CLASS (callee) == BUILT_IN_NORMAL
2249               && DECL_FUNCTION_CODE (callee) == BUILT_IN_STACK_SAVE)
2250             {
2251               gimple_stmt_iterator stack_save_gsi;
2252               tree rhs;
2253
2254               stack_save_gsi = gsi_for_stmt (stack_save);
2255               rhs = build_int_cst (TREE_TYPE (gimple_call_arg (call, 0)), 0);
2256               update_call_from_tree (&stack_save_gsi, rhs);
2257             }
2258         }
2259     }
2260
2261   /* No effect, so the statement will be deleted.  */
2262   return integer_zero_node;
2263 }
2264
2265 /* If va_list type is a simple pointer and nothing special is needed,
2266    optimize __builtin_va_start (&ap, 0) into ap = __builtin_next_arg (0),
2267    __builtin_va_end (&ap) out as NOP and __builtin_va_copy into a simple
2268    pointer assignment.  */
2269
2270 static tree
2271 optimize_stdarg_builtin (gimple call)
2272 {
2273   tree callee, lhs, rhs, cfun_va_list;
2274   bool va_list_simple_ptr;
2275   location_t loc = gimple_location (call);
2276
2277   if (gimple_code (call) != GIMPLE_CALL)
2278     return NULL_TREE;
2279
2280   callee = gimple_call_fndecl (call);
2281
2282   cfun_va_list = targetm.fn_abi_va_list (callee);
2283   va_list_simple_ptr = POINTER_TYPE_P (cfun_va_list)
2284                        && (TREE_TYPE (cfun_va_list) == void_type_node
2285                            || TREE_TYPE (cfun_va_list) == char_type_node);
2286
2287   switch (DECL_FUNCTION_CODE (callee))
2288     {
2289     case BUILT_IN_VA_START:
2290       if (!va_list_simple_ptr
2291           || targetm.expand_builtin_va_start != NULL
2292           || !builtin_decl_explicit_p (BUILT_IN_NEXT_ARG))
2293         return NULL_TREE;
2294
2295       if (gimple_call_num_args (call) != 2)
2296         return NULL_TREE;
2297
2298       lhs = gimple_call_arg (call, 0);
2299       if (!POINTER_TYPE_P (TREE_TYPE (lhs))
2300           || TYPE_MAIN_VARIANT (TREE_TYPE (TREE_TYPE (lhs)))
2301              != TYPE_MAIN_VARIANT (cfun_va_list))
2302         return NULL_TREE;
2303
2304       lhs = build_fold_indirect_ref_loc (loc, lhs);
2305       rhs = build_call_expr_loc (loc, builtin_decl_explicit (BUILT_IN_NEXT_ARG),
2306                              1, integer_zero_node);
2307       rhs = fold_convert_loc (loc, TREE_TYPE (lhs), rhs);
2308       return build2 (MODIFY_EXPR, TREE_TYPE (lhs), lhs, rhs);
2309
2310     case BUILT_IN_VA_COPY:
2311       if (!va_list_simple_ptr)
2312         return NULL_TREE;
2313
2314       if (gimple_call_num_args (call) != 2)
2315         return NULL_TREE;
2316
2317       lhs = gimple_call_arg (call, 0);
2318       if (!POINTER_TYPE_P (TREE_TYPE (lhs))
2319           || TYPE_MAIN_VARIANT (TREE_TYPE (TREE_TYPE (lhs)))
2320              != TYPE_MAIN_VARIANT (cfun_va_list))
2321         return NULL_TREE;
2322
2323       lhs = build_fold_indirect_ref_loc (loc, lhs);
2324       rhs = gimple_call_arg (call, 1);
2325       if (TYPE_MAIN_VARIANT (TREE_TYPE (rhs))
2326           != TYPE_MAIN_VARIANT (cfun_va_list))
2327         return NULL_TREE;
2328
2329       rhs = fold_convert_loc (loc, TREE_TYPE (lhs), rhs);
2330       return build2 (MODIFY_EXPR, TREE_TYPE (lhs), lhs, rhs);
2331
2332     case BUILT_IN_VA_END:
2333       /* No effect, so the statement will be deleted.  */
2334       return integer_zero_node;
2335
2336     default:
2337       gcc_unreachable ();
2338     }
2339 }
2340
2341 /* A simple pass that attempts to fold all builtin functions.  This pass
2342    is run after we've propagated as many constants as we can.  */
2343
2344 static unsigned int
2345 execute_fold_all_builtins (void)
2346 {
2347   bool cfg_changed = false;
2348   basic_block bb;
2349   unsigned int todoflags = 0;
2350
2351   FOR_EACH_BB (bb)
2352     {
2353       gimple_stmt_iterator i;
2354       for (i = gsi_start_bb (bb); !gsi_end_p (i); )
2355         {
2356           gimple stmt, old_stmt;
2357           tree callee, result;
2358           enum built_in_function fcode;
2359
2360           stmt = gsi_stmt (i);
2361
2362           if (gimple_code (stmt) != GIMPLE_CALL)
2363             {
2364               gsi_next (&i);
2365               continue;
2366             }
2367           callee = gimple_call_fndecl (stmt);
2368           if (!callee || DECL_BUILT_IN_CLASS (callee) != BUILT_IN_NORMAL)
2369             {
2370               gsi_next (&i);
2371               continue;
2372             }
2373           fcode = DECL_FUNCTION_CODE (callee);
2374
2375           result = gimple_fold_builtin (stmt);
2376
2377           if (result)
2378             gimple_remove_stmt_histograms (cfun, stmt);
2379
2380           if (!result)
2381             switch (DECL_FUNCTION_CODE (callee))
2382               {
2383               case BUILT_IN_CONSTANT_P:
2384                 /* Resolve __builtin_constant_p.  If it hasn't been
2385                    folded to integer_one_node by now, it's fairly
2386                    certain that the value simply isn't constant.  */
2387                 result = integer_zero_node;
2388                 break;
2389
2390               case BUILT_IN_ASSUME_ALIGNED:
2391                 /* Remove __builtin_assume_aligned.  */
2392                 result = gimple_call_arg (stmt, 0);
2393                 break;
2394
2395               case BUILT_IN_STACK_RESTORE:
2396                 result = optimize_stack_restore (i);
2397                 if (result)
2398                   break;
2399                 gsi_next (&i);
2400                 continue;
2401
2402               case BUILT_IN_VA_START:
2403               case BUILT_IN_VA_END:
2404               case BUILT_IN_VA_COPY:
2405                 /* These shouldn't be folded before pass_stdarg.  */
2406                 result = optimize_stdarg_builtin (stmt);
2407                 if (result)
2408                   break;
2409                 /* FALLTHRU */
2410
2411               default:
2412                 gsi_next (&i);
2413                 continue;
2414               }
2415
2416           if (dump_file && (dump_flags & TDF_DETAILS))
2417             {
2418               fprintf (dump_file, "Simplified\n  ");
2419               print_gimple_stmt (dump_file, stmt, 0, dump_flags);
2420             }
2421
2422           old_stmt = stmt;
2423           if (!update_call_from_tree (&i, result))
2424             {
2425               gimplify_and_update_call_from_tree (&i, result);
2426               todoflags |= TODO_update_address_taken;
2427             }
2428
2429           stmt = gsi_stmt (i);
2430           update_stmt (stmt);
2431
2432           if (maybe_clean_or_replace_eh_stmt (old_stmt, stmt)
2433               && gimple_purge_dead_eh_edges (bb))
2434             cfg_changed = true;
2435
2436           if (dump_file && (dump_flags & TDF_DETAILS))
2437             {
2438               fprintf (dump_file, "to\n  ");
2439               print_gimple_stmt (dump_file, stmt, 0, dump_flags);
2440               fprintf (dump_file, "\n");
2441             }
2442
2443           /* Retry the same statement if it changed into another
2444              builtin, there might be new opportunities now.  */
2445           if (gimple_code (stmt) != GIMPLE_CALL)
2446             {
2447               gsi_next (&i);
2448               continue;
2449             }
2450           callee = gimple_call_fndecl (stmt);
2451           if (!callee
2452               || DECL_BUILT_IN_CLASS (callee) != BUILT_IN_NORMAL
2453               || DECL_FUNCTION_CODE (callee) == fcode)
2454             gsi_next (&i);
2455         }
2456     }
2457
2458   /* Delete unreachable blocks.  */
2459   if (cfg_changed)
2460     todoflags |= TODO_cleanup_cfg;
2461
2462   return todoflags;
2463 }
2464
2465
2466 struct gimple_opt_pass pass_fold_builtins =
2467 {
2468  {
2469   GIMPLE_PASS,
2470   "fab",                                /* name */
2471   NULL,                                 /* gate */
2472   execute_fold_all_builtins,            /* execute */
2473   NULL,                                 /* sub */
2474   NULL,                                 /* next */
2475   0,                                    /* static_pass_number */
2476   TV_NONE,                              /* tv_id */
2477   PROP_cfg | PROP_ssa,                  /* properties_required */
2478   0,                                    /* properties_provided */
2479   0,                                    /* properties_destroyed */
2480   0,                                    /* todo_flags_start */
2481   TODO_verify_ssa
2482     | TODO_update_ssa                   /* todo_flags_finish */
2483  }
2484 };