gcc/flow.c

   1 /* Data flow analysis for GNU compiler.
   2    Copyright (C) 1987, 1988, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
   3    1999, 2000, 2001 Free Software Foundation, Inc.
   4
   5 This file is part of GCC.
   6
   7 GCC is free software; you can redistribute it and/or modify it under
   8 the terms of the GNU General Public License as published by the Free
   9 Software Foundation; either version 2, or (at your option) any later
  10 version.
  11
  12 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
  13 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15 for more details.
  16
  17 You should have received a copy of the GNU General Public License
  18 along with GCC; see the file COPYING.  If not, write to the Free
  19 Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20 02111-1307, USA.  */
  21
  22 /* This file contains the data flow analysis pass of the compiler.  It
  23    computes data flow information which tells combine_instructions
  24    which insns to consider combining and controls register allocation.
  25
  26    Additional data flow information that is too bulky to record is
  27    generated during the analysis, and is used at that time to create
  28    autoincrement and autodecrement addressing.
  29
  30    The first step is dividing the function into basic blocks.
  31    find_basic_blocks does this.  Then life_analysis determines
  32    where each register is live and where it is dead.
  33
  34    ** find_basic_blocks **
  35
  36    find_basic_blocks divides the current function's rtl into basic
  37    blocks and constructs the CFG.  The blocks are recorded in the
  38    basic_block_info array; the CFG exists in the edge structures
  39    referenced by the blocks.
  40
  41    find_basic_blocks also finds any unreachable loops and deletes them.
  42
  43    ** life_analysis **
  44
  45    life_analysis is called immediately after find_basic_blocks.
  46    It uses the basic block information to determine where each
  47    hard or pseudo register is live.
  48
  49    ** live-register info **
  50
  51    The information about where each register is live is in two parts:
  52    the REG_NOTES of insns, and the vector basic_block->global_live_at_start.
  53
  54    basic_block->global_live_at_start has an element for each basic
  55    block, and the element is a bit-vector with a bit for each hard or
  56    pseudo register.  The bit is 1 if the register is live at the
  57    beginning of the basic block.
  58
  59    Two types of elements can be added to an insn's REG_NOTES.
  60    A REG_DEAD note is added to an insn's REG_NOTES for any register
  61    that meets both of two conditions:  The value in the register is not
  62    needed in subsequent insns and the insn does not replace the value in
  63    the register (in the case of multi-word hard registers, the value in
  64    each register must be replaced by the insn to avoid a REG_DEAD note).
  65
  66    In the vast majority of cases, an object in a REG_DEAD note will be
  67    used somewhere in the insn.  The (rare) exception to this is if an
  68    insn uses a multi-word hard register and only some of the registers are
  69    needed in subsequent insns.  In that case, REG_DEAD notes will be
  70    provided for those hard registers that are not subsequently needed.
  71    Partial REG_DEAD notes of this type do not occur when an insn sets
  72    only some of the hard registers used in such a multi-word operand;
  73    omitting REG_DEAD notes for objects stored in an insn is optional and
  74    the desire to do so does not justify the complexity of the partial
  75    REG_DEAD notes.
  76
  77    REG_UNUSED notes are added for each register that is set by the insn
  78    but is unused subsequently (if every register set by the insn is unused
  79    and the insn does not reference memory or have some other side-effect,
  80    the insn is deleted instead).  If only part of a multi-word hard
  81    register is used in a subsequent insn, REG_UNUSED notes are made for
  82    the parts that will not be used.
  83
  84    To determine which registers are live after any insn, one can
  85    start from the beginning of the basic block and scan insns, noting
  86    which registers are set by each insn and which die there.
  87
  88    ** Other actions of life_analysis **
  89
  90    life_analysis sets up the LOG_LINKS fields of insns because the
  91    information needed to do so is readily available.
  92
  93    life_analysis deletes insns whose only effect is to store a value
  94    that is never used.
  95
  96    life_analysis notices cases where a reference to a register as
  97    a memory address can be combined with a preceding or following
  98    incrementation or decrementation of the register.  The separate
  99    instruction to increment or decrement is deleted and the address
 100    is changed to a POST_INC or similar rtx.
 101
 102    Each time an incrementing or decrementing address is created,
 103    a REG_INC element is added to the insn's REG_NOTES list.
 104
 105    life_analysis fills in certain vectors containing information about
 106    register usage: REG_N_REFS, REG_N_DEATHS, REG_N_SETS, REG_LIVE_LENGTH,
 107    REG_N_CALLS_CROSSED and REG_BASIC_BLOCK.
 108
 109    life_analysis sets current_function_sp_is_unchanging if the function
 110    doesn't modify the stack pointer.  */
 111
 112 /* TODO:
 113
 114    Split out from life_analysis:
 115         - local property discovery (bb->local_live, bb->local_set)
 116         - global property computation
 117         - log links creation
 118         - pre/post modify transformation
 119 */
 120 \f
 121 #include "config.h"
 122 #include "system.h"
 123 #include "tree.h"
 124 #include "rtl.h"
 125 #include "tm_p.h"
 126 #include "hard-reg-set.h"
 127 #include "basic-block.h"
 128 #include "insn-config.h"
 129 #include "regs.h"
 130 #include "flags.h"
 131 #include "output.h"
 132 #include "function.h"
 133 #include "except.h"
 134 #include "toplev.h"
 135 #include "recog.h"
 136 #include "expr.h"
 137 #include "ssa.h"
 138 #include "timevar.h"
 139
 140 #include "obstack.h"
 141 #include "splay-tree.h"
 142
 143 #define obstack_chunk_alloc xmalloc
 144 #define obstack_chunk_free free
 145
 146 /* EXIT_IGNORE_STACK should be nonzero if, when returning from a function,
 147    the stack pointer does not matter.  The value is tested only in
 148    functions that have frame pointers.
 149    No definition is equivalent to always zero.  */
 150 #ifndef EXIT_IGNORE_STACK
 151 #define EXIT_IGNORE_STACK 0
 152 #endif
 153
 154 #ifndef HAVE_epilogue
 155 #define HAVE_epilogue 0
 156 #endif
 157 #ifndef HAVE_prologue
 158 #define HAVE_prologue 0
 159 #endif
 160 #ifndef HAVE_sibcall_epilogue
 161 #define HAVE_sibcall_epilogue 0
 162 #endif
 163
 164 #ifndef LOCAL_REGNO
 165 #define LOCAL_REGNO(REGNO)  0
 166 #endif
 167 #ifndef EPILOGUE_USES
 168 #define EPILOGUE_USES(REGNO)  0
 169 #endif
 170
 171 #ifdef HAVE_conditional_execution
 172 #ifndef REVERSE_CONDEXEC_PREDICATES_P
 173 #define REVERSE_CONDEXEC_PREDICATES_P(x, y) ((x) == reverse_condition (y))
 174 #endif
 175 #endif
 176
 177 /* The obstack on which the flow graph components are allocated.  */
 178
 179 struct obstack flow_obstack;
 180 static char *flow_firstobj;
 181
 182 /* Number of basic blocks in the current function.  */
 183
 184 int n_basic_blocks;
 185
 186 /* Number of edges in the current function.  */
 187
 188 int n_edges;
 189
 190 /* The basic block array.  */
 191
 192 varray_type basic_block_info;
 193
 194 /* The special entry and exit blocks.  */
 195
 196 struct basic_block_def entry_exit_blocks[2]
 197 = {{NULL,                       /* head */
 198     NULL,                       /* end */
 199     NULL,                       /* head_tree */
 200     NULL,                       /* end_tree */
 201     NULL,                       /* pred */
 202     NULL,                       /* succ */
 203     NULL,                       /* local_set */
 204     NULL,                       /* cond_local_set */
 205     NULL,                       /* global_live_at_start */
 206     NULL,                       /* global_live_at_end */
 207     NULL,                       /* aux */
 208     ENTRY_BLOCK,                /* index */
 209     0,                          /* loop_depth */
 210     0,                          /* count */
 211     0,                          /* frequency */
 212     0                           /* flags */
 213   },
 214   {
 215     NULL,                       /* head */
 216     NULL,                       /* end */
 217     NULL,                       /* head_tree */
 218     NULL,                       /* end_tree */
 219     NULL,                       /* pred */
 220     NULL,                       /* succ */
 221     NULL,                       /* local_set */
 222     NULL,                       /* cond_local_set */
 223     NULL,                       /* global_live_at_start */
 224     NULL,                       /* global_live_at_end */
 225     NULL,                       /* aux */
 226     EXIT_BLOCK,                 /* index */
 227     0,                          /* loop_depth */
 228     0,                          /* count */
 229     0,                          /* frequency */
 230     0                           /* flags */
 231   }
 232 };
 233
 234 /* Nonzero if the second flow pass has completed.  */
 235 int flow2_completed;
 236
 237 /* Maximum register number used in this function, plus one.  */
 238
 239 int max_regno;
 240
 241 /* Indexed by n, giving various register information */
 242
 243 varray_type reg_n_info;
 244
 245 /* Size of a regset for the current function,
 246    in (1) bytes and (2) elements.  */
 247
 248 int regset_bytes;
 249 int regset_size;
 250
 251 /* Regset of regs live when calls to `setjmp'-like functions happen.  */
 252 /* ??? Does this exist only for the setjmp-clobbered warning message?  */
 253
 254 regset regs_live_at_setjmp;
 255
 256 /* List made of EXPR_LIST rtx's which gives pairs of pseudo registers
 257    that have to go in the same hard reg.
 258    The first two regs in the list are a pair, and the next two
 259    are another pair, etc.  */
 260 rtx regs_may_share;
 261
 262 /* Callback that determines if it's ok for a function to have no
 263    noreturn attribute.  */
 264 int (*lang_missing_noreturn_ok_p) PARAMS ((tree));
 265
 266 /* Set of registers that may be eliminable.  These are handled specially
 267    in updating regs_ever_live.  */
 268
 269 static HARD_REG_SET elim_reg_set;
 270
 271 /* The basic block structure for every insn, indexed by uid.  */
 272
 273 varray_type basic_block_for_insn;
 274
 275 /* The labels mentioned in non-jump rtl.  Valid during find_basic_blocks.  */
 276 /* ??? Should probably be using LABEL_NUSES instead.  It would take a
 277    bit of surgery to be able to use or co-opt the routines in jump.  */
 278
 279 static rtx label_value_list;
 280 static rtx tail_recursion_label_list;
 281
 282 /* Holds information for tracking conditional register life information.  */
 283 struct reg_cond_life_info
 284 {
 285   /* A boolean expression of conditions under which a register is dead.  */
 286   rtx condition;
 287   /* Conditions under which a register is dead at the basic block end.  */
 288   rtx orig_condition;
 289
 290   /* A boolean expression of conditions under which a register has been
 291      stored into.  */
 292   rtx stores;
 293
 294   /* ??? Could store mask of bytes that are dead, so that we could finally
 295      track lifetimes of multi-word registers accessed via subregs.  */
 296 };
 297
 298 /* For use in communicating between propagate_block and its subroutines.
 299    Holds all information needed to compute life and def-use information.  */
 300
 301 struct propagate_block_info
 302 {
 303   /* The basic block we're considering.  */
 304   basic_block bb;
 305
 306   /* Bit N is set if register N is conditionally or unconditionally live.  */
 307   regset reg_live;
 308
 309   /* Bit N is set if register N is set this insn.  */
 310   regset new_set;
 311
 312   /* Element N is the next insn that uses (hard or pseudo) register N
 313      within the current basic block; or zero, if there is no such insn.  */
 314   rtx *reg_next_use;
 315
 316   /* Contains a list of all the MEMs we are tracking for dead store
 317      elimination.  */
 318   rtx mem_set_list;
 319
 320   /* If non-null, record the set of registers set unconditionally in the
 321      basic block.  */
 322   regset local_set;
 323
 324   /* If non-null, record the set of registers set conditionally in the
 325      basic block.  */
 326   regset cond_local_set;
 327
 328 #ifdef HAVE_conditional_execution
 329   /* Indexed by register number, holds a reg_cond_life_info for each
 330      register that is not unconditionally live or dead.  */
 331   splay_tree reg_cond_dead;
 332
 333   /* Bit N is set if register N is in an expression in reg_cond_dead.  */
 334   regset reg_cond_reg;
 335 #endif
 336
 337   /* The length of mem_set_list.  */
 338   int mem_set_list_len;
 339
 340   /* Non-zero if the value of CC0 is live.  */
 341   int cc0_live;
 342
 343   /* Flags controling the set of information propagate_block collects.  */
 344   int flags;
 345 };
 346
 347 /* Maximum length of pbi->mem_set_list before we start dropping
 348    new elements on the floor.  */
 349 #define MAX_MEM_SET_LIST_LEN    100
 350
 351 /* Store the data structures necessary for depth-first search.  */
 352 struct depth_first_search_dsS {
 353   /* stack for backtracking during the algorithm */
 354   basic_block *stack;
 355
 356   /* number of edges in the stack.  That is, positions 0, ..., sp-1
 357      have edges.  */
 358   unsigned int sp;
 359
 360   /* record of basic blocks already seen by depth-first search */
 361   sbitmap visited_blocks;
 362 };
 363 typedef struct depth_first_search_dsS *depth_first_search_ds;
 364
 365 /* Have print_rtl_and_abort give the same information that fancy_abort
 366    does.  */
 367 #define print_rtl_and_abort() \
 368   print_rtl_and_abort_fcn (__FILE__, __LINE__, __FUNCTION__)
 369
 370 /* Forward declarations */
 371 static bool try_crossjump_to_edge       PARAMS ((int, edge, edge));
 372 static bool try_crossjump_bb            PARAMS ((int, basic_block));
 373 static bool outgoing_edges_match        PARAMS ((basic_block, basic_block));
 374 static int flow_find_cross_jump         PARAMS ((int, basic_block, basic_block,
 375                                                  rtx *, rtx *));
 376 static int count_basic_blocks           PARAMS ((rtx));
 377 static void find_basic_blocks_1         PARAMS ((rtx));
 378 static rtx find_label_refs              PARAMS ((rtx, rtx));
 379 static void make_edges                  PARAMS ((rtx, int, int, int));
 380 static void make_label_edge             PARAMS ((sbitmap *, basic_block,
 381                                                  rtx, int));
 382 static void make_eh_edge                PARAMS ((sbitmap *, basic_block, rtx));
 383
 384 static void commit_one_edge_insertion   PARAMS ((edge));
 385
 386 static void delete_unreachable_blocks   PARAMS ((void));
 387 static int can_delete_note_p            PARAMS ((rtx));
 388 static int can_delete_label_p           PARAMS ((rtx));
 389 static int tail_recursion_label_p       PARAMS ((rtx));
 390 static int merge_blocks_move_predecessor_nojumps PARAMS ((basic_block,
 391                                                           basic_block));
 392 static int merge_blocks_move_successor_nojumps PARAMS ((basic_block,
 393                                                         basic_block));
 394 static int merge_blocks                 PARAMS ((edge,basic_block,basic_block,
 395                                                  int));
 396 static bool try_optimize_cfg            PARAMS ((int));
 397 static bool can_fallthru                PARAMS ((basic_block, basic_block));
 398 static bool try_redirect_by_replacing_jump PARAMS ((edge, basic_block));
 399 static bool try_simplify_condjump       PARAMS ((basic_block));
 400 static bool try_forward_edges           PARAMS ((int, basic_block));
 401 static void tidy_fallthru_edges         PARAMS ((void));
 402 static int verify_wide_reg_1            PARAMS ((rtx *, void *));
 403 static void verify_wide_reg             PARAMS ((int, rtx, rtx));
 404 static void verify_local_live_at_start  PARAMS ((regset, basic_block));
 405 static void notice_stack_pointer_modification_1 PARAMS ((rtx, rtx, void *));
 406 static void notice_stack_pointer_modification PARAMS ((rtx));
 407 static void mark_reg                    PARAMS ((rtx, void *));
 408 static void mark_regs_live_at_end       PARAMS ((regset));
 409 static int set_phi_alternative_reg      PARAMS ((rtx, int, int, void *));
 410 static void calculate_global_regs_live  PARAMS ((sbitmap, sbitmap, int));
 411 static void propagate_block_delete_insn PARAMS ((basic_block, rtx));
 412 static rtx propagate_block_delete_libcall PARAMS ((basic_block, rtx, rtx));
 413 static int insn_dead_p                  PARAMS ((struct propagate_block_info *,
 414                                                  rtx, int, rtx));
 415 static int libcall_dead_p               PARAMS ((struct propagate_block_info *,
 416                                                  rtx, rtx));
 417 static void mark_set_regs               PARAMS ((struct propagate_block_info *,
 418                                                  rtx, rtx));
 419 static void mark_set_1                  PARAMS ((struct propagate_block_info *,
 420                                                  enum rtx_code, rtx, rtx,
 421                                                  rtx, int));
 422 #ifdef HAVE_conditional_execution
 423 static int mark_regno_cond_dead         PARAMS ((struct propagate_block_info *,
 424                                                  int, rtx));
 425 static void free_reg_cond_life_info     PARAMS ((splay_tree_value));
 426 static int flush_reg_cond_reg_1         PARAMS ((splay_tree_node, void *));
 427 static void flush_reg_cond_reg          PARAMS ((struct propagate_block_info *,
 428                                                  int));
 429 static rtx elim_reg_cond                PARAMS ((rtx, unsigned int));
 430 static rtx ior_reg_cond                 PARAMS ((rtx, rtx, int));
 431 static rtx not_reg_cond                 PARAMS ((rtx));
 432 static rtx and_reg_cond                 PARAMS ((rtx, rtx, int));
 433 #endif
 434 #ifdef AUTO_INC_DEC
 435 static void attempt_auto_inc            PARAMS ((struct propagate_block_info *,
 436                                                  rtx, rtx, rtx, rtx, rtx));
 437 static void find_auto_inc               PARAMS ((struct propagate_block_info *,
 438                                                  rtx, rtx));
 439 static int try_pre_increment_1          PARAMS ((struct propagate_block_info *,
 440                                                  rtx));
 441 static int try_pre_increment            PARAMS ((rtx, rtx, HOST_WIDE_INT));
 442 #endif
 443 static void mark_used_reg               PARAMS ((struct propagate_block_info *,
 444                                                  rtx, rtx, rtx));
 445 static void mark_used_regs              PARAMS ((struct propagate_block_info *,
 446                                                  rtx, rtx, rtx));
 447 void dump_flow_info                     PARAMS ((FILE *));
 448 void debug_flow_info                    PARAMS ((void));
 449 static void print_rtl_and_abort_fcn     PARAMS ((const char *, int,
 450                                                  const char *))
 451                                         ATTRIBUTE_NORETURN;
 452
 453 static void add_to_mem_set_list         PARAMS ((struct propagate_block_info *,
 454                                                  rtx));
 455 static void invalidate_mems_from_autoinc PARAMS ((struct propagate_block_info *,
 456                                                   rtx));
 457 static void invalidate_mems_from_set    PARAMS ((struct propagate_block_info *,
 458                                                  rtx));
 459 static void remove_fake_successors      PARAMS ((basic_block));
 460 static void flow_nodes_print            PARAMS ((const char *, const sbitmap,
 461                                                  FILE *));
 462 static void flow_edge_list_print        PARAMS ((const char *, const edge *,
 463                                                  int, FILE *));
 464 static void flow_loops_cfg_dump         PARAMS ((const struct loops *,
 465                                                  FILE *));
 466 static int flow_loop_nested_p           PARAMS ((struct loop *,
 467                                                  struct loop *));
 468 static int flow_loop_entry_edges_find   PARAMS ((basic_block, const sbitmap,
 469                                                  edge **));
 470 static int flow_loop_exit_edges_find    PARAMS ((const sbitmap, edge **));
 471 static int flow_loop_nodes_find PARAMS ((basic_block, basic_block, sbitmap));
 472 static void flow_dfs_compute_reverse_init
 473   PARAMS ((depth_first_search_ds));
 474 static void flow_dfs_compute_reverse_add_bb
 475   PARAMS ((depth_first_search_ds, basic_block));
 476 static basic_block flow_dfs_compute_reverse_execute
 477   PARAMS ((depth_first_search_ds));
 478 static void flow_dfs_compute_reverse_finish
 479   PARAMS ((depth_first_search_ds));
 480 static void flow_loop_pre_header_scan PARAMS ((struct loop *));
 481 static basic_block flow_loop_pre_header_find PARAMS ((basic_block,
 482                                                       const sbitmap *));
 483 static void flow_loop_tree_node_add     PARAMS ((struct loop *, struct loop *));
 484 static void flow_loops_tree_build       PARAMS ((struct loops *));
 485 static int flow_loop_level_compute      PARAMS ((struct loop *, int));
 486 static int flow_loops_level_compute     PARAMS ((struct loops *));
 487 static void delete_dead_jumptables      PARAMS ((void));
 488 static bool back_edge_of_syntactic_loop_p PARAMS ((basic_block, basic_block));
 489 static bool need_fake_edge_p            PARAMS ((rtx));
 490 \f
 491 /* Find basic blocks of the current function.
 492    F is the first insn of the function and NREGS the number of register
 493    numbers in use.  */
 494
 495 void
 496 find_basic_blocks (f, nregs, file)
 497      rtx f;
 498      int nregs ATTRIBUTE_UNUSED;
 499      FILE *file ATTRIBUTE_UNUSED;
 500 {
 501   int max_uid;
 502   timevar_push (TV_CFG);
 503
 504   /* Flush out existing data.  */
 505   if (basic_block_info != NULL)
 506     {
 507       int i;
 508
 509       clear_edges ();
 510
 511       /* Clear bb->aux on all extant basic blocks.  We'll use this as a
 512          tag for reuse during create_basic_block, just in case some pass
 513          copies around basic block notes improperly.  */
 514       for (i = 0; i < n_basic_blocks; ++i)
 515         BASIC_BLOCK (i)->aux = NULL;
 516
 517       VARRAY_FREE (basic_block_info);
 518     }
 519
 520   n_basic_blocks = count_basic_blocks (f);
 521
 522   /* Size the basic block table.  The actual structures will be allocated
 523      by find_basic_blocks_1, since we want to keep the structure pointers
 524      stable across calls to find_basic_blocks.  */
 525   /* ??? This whole issue would be much simpler if we called find_basic_blocks
 526      exactly once, and thereafter we don't have a single long chain of
 527      instructions at all until close to the end of compilation when we
 528      actually lay them out.  */
 529
 530   VARRAY_BB_INIT (basic_block_info, n_basic_blocks, "basic_block_info");
 531
 532   find_basic_blocks_1 (f);
 533
 534   /* Record the block to which an insn belongs.  */
 535   /* ??? This should be done another way, by which (perhaps) a label is
 536      tagged directly with the basic block that it starts.  It is used for
 537      more than that currently, but IMO that is the only valid use.  */
 538
 539   max_uid = get_max_uid ();
 540 #ifdef AUTO_INC_DEC
 541   /* Leave space for insns life_analysis makes in some cases for auto-inc.
 542      These cases are rare, so we don't need too much space.  */
 543   max_uid += max_uid / 10;
 544 #endif
 545
 546   compute_bb_for_insn (max_uid);
 547
 548   /* Discover the edges of our cfg.  */
 549   make_edges (label_value_list, 0, n_basic_blocks - 1, 0);
 550
 551   /* Do very simple cleanup now, for the benefit of code that runs between
 552      here and cleanup_cfg, e.g. thread_prologue_and_epilogue_insns.  */
 553   tidy_fallthru_edges ();
 554
 555   mark_critical_edges ();
 556
 557 #ifdef ENABLE_CHECKING
 558   verify_flow_info ();
 559 #endif
 560   timevar_pop (TV_CFG);
 561 }
 562
 563 void
 564 check_function_return_warnings ()
 565 {
 566   if (warn_missing_noreturn
 567       && !TREE_THIS_VOLATILE (cfun->decl)
 568       && EXIT_BLOCK_PTR->pred == NULL
 569       && (lang_missing_noreturn_ok_p
 570           && !lang_missing_noreturn_ok_p (cfun->decl)))
 571     warning ("function might be possible candidate for attribute `noreturn'");
 572
 573   /* If we have a path to EXIT, then we do return.  */
 574   if (TREE_THIS_VOLATILE (cfun->decl)
 575       && EXIT_BLOCK_PTR->pred != NULL)
 576     warning ("`noreturn' function does return");
 577
 578   /* If the clobber_return_insn appears in some basic block, then we
 579      do reach the end without returning a value.  */
 580   else if (warn_return_type
 581            && cfun->x_clobber_return_insn != NULL
 582            && EXIT_BLOCK_PTR->pred != NULL)
 583     {
 584       int max_uid = get_max_uid ();
 585
 586       /* If clobber_return_insn was excised by jump1, then renumber_insns
 587          can make max_uid smaller than the number still recorded in our rtx.
 588          That's fine, since this is a quick way of verifying that the insn
 589          is no longer in the chain.  */
 590       if (INSN_UID (cfun->x_clobber_return_insn) < max_uid)
 591         {
 592           /* Recompute insn->block mapping, since the initial mapping is
 593              set before we delete unreachable blocks.  */
 594           compute_bb_for_insn (max_uid);
 595
 596           if (BLOCK_FOR_INSN (cfun->x_clobber_return_insn) != NULL)
 597             warning ("control reaches end of non-void function");
 598         }
 599     }
 600 }
 601
 602 /* Count the basic blocks of the function.  */
 603
 604 static int
 605 count_basic_blocks (f)
 606      rtx f;
 607 {
 608   register rtx insn;
 609   register RTX_CODE prev_code;
 610   register int count = 0;
 611   int saw_abnormal_edge = 0;
 612
 613   prev_code = JUMP_INSN;
 614   for (insn = f; insn; insn = NEXT_INSN (insn))
 615     {
 616       enum rtx_code code = GET_CODE (insn);
 617
 618       if (code == CODE_LABEL
 619           || (GET_RTX_CLASS (code) == 'i'
 620               && (prev_code == JUMP_INSN
 621                   || prev_code == BARRIER
 622                   || saw_abnormal_edge)))
 623         {
 624           saw_abnormal_edge = 0;
 625           count++;
 626         }
 627
 628       /* Record whether this insn created an edge.  */
 629       if (code == CALL_INSN)
 630         {
 631           rtx note;
 632
 633           /* If there is a nonlocal goto label and the specified
 634              region number isn't -1, we have an edge.  */
 635           if (nonlocal_goto_handler_labels
 636               && ((note = find_reg_note (insn, REG_EH_REGION, NULL_RTX)) == 0
 637                   || INTVAL (XEXP (note, 0)) >= 0))
 638             saw_abnormal_edge = 1;
 639
 640           else if (can_throw_internal (insn))
 641             saw_abnormal_edge = 1;
 642         }
 643       else if (flag_non_call_exceptions
 644                && code == INSN
 645                && can_throw_internal (insn))
 646         saw_abnormal_edge = 1;
 647
 648       if (code != NOTE)
 649         prev_code = code;
 650     }
 651
 652   /* The rest of the compiler works a bit smoother when we don't have to
 653      check for the edge case of do-nothing functions with no basic blocks.  */
 654   if (count == 0)
 655     {
 656       emit_insn (gen_rtx_USE (VOIDmode, const0_rtx));
 657       count = 1;
 658     }
 659
 660   return count;
 661 }
 662
 663 /* Scan a list of insns for labels referred to other than by jumps.
 664    This is used to scan the alternatives of a call placeholder.  */
 665 static rtx
 666 find_label_refs (f, lvl)
 667      rtx f;
 668      rtx lvl;
 669 {
 670   rtx insn;
 671
 672   for (insn = f; insn; insn = NEXT_INSN (insn))
 673     if (INSN_P (insn) && GET_CODE (insn) != JUMP_INSN)
 674       {
 675         rtx note;
 676
 677         /* Make a list of all labels referred to other than by jumps
 678            (which just don't have the REG_LABEL notes).
 679
 680            Make a special exception for labels followed by an ADDR*VEC,
 681            as this would be a part of the tablejump setup code.
 682
 683            Make a special exception to registers loaded with label
 684            values just before jump insns that use them.  */
 685
 686         for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
 687           if (REG_NOTE_KIND (note) == REG_LABEL)
 688             {
 689               rtx lab = XEXP (note, 0), next;
 690
 691               if ((next = next_nonnote_insn (lab)) != NULL
 692                        && GET_CODE (next) == JUMP_INSN
 693                        && (GET_CODE (PATTERN (next)) == ADDR_VEC
 694                            || GET_CODE (PATTERN (next)) == ADDR_DIFF_VEC))
 695                 ;
 696               else if (GET_CODE (lab) == NOTE)
 697                 ;
 698               else if (GET_CODE (NEXT_INSN (insn)) == JUMP_INSN
 699                        && find_reg_note (NEXT_INSN (insn), REG_LABEL, lab))
 700                 ;
 701               else
 702                 lvl = alloc_EXPR_LIST (0, XEXP (note, 0), lvl);
 703             }
 704       }
 705
 706   return lvl;
 707 }
 708
 709 /* Assume that someone emitted code with control flow instructions to the
 710    basic block.  Update the data structure.  */
 711 void
 712 find_sub_basic_blocks (bb)
 713      basic_block bb;
 714 {
 715   rtx insn = bb->head;
 716   rtx end = bb->end;
 717   rtx jump_insn = NULL_RTX;
 718   edge falltru = 0;
 719   basic_block first_bb = bb;
 720   int i;
 721
 722   if (insn == bb->end)
 723     return;
 724
 725   if (GET_CODE (insn) == CODE_LABEL)
 726     insn = NEXT_INSN (insn);
 727
 728   /* Scan insn chain and try to find new basic block boundaries.  */
 729   while (1)
 730     {
 731       enum rtx_code code = GET_CODE (insn);
 732       switch (code)
 733         {
 734         case BARRIER:
 735           if (!jump_insn)
 736             abort ();
 737           break;
 738         /* On code label, split current basic block.  */
 739         case CODE_LABEL:
 740           falltru = split_block (bb, PREV_INSN (insn));
 741           if (jump_insn)
 742             bb->end = jump_insn;
 743           bb = falltru->dest;
 744           remove_edge (falltru);
 745           jump_insn = 0;
 746           if (LABEL_ALTERNATE_NAME (insn))
 747             make_edge (NULL, ENTRY_BLOCK_PTR, bb, 0);
 748           break;
 749         case INSN:
 750         case JUMP_INSN:
 751           /* In case we've previously split insn on the JUMP_INSN, move the
 752              block header to proper place.  */
 753           if (jump_insn)
 754             {
 755               falltru = split_block (bb, PREV_INSN (insn));
 756               bb->end = jump_insn;
 757               bb = falltru->dest;
 758               remove_edge (falltru);
 759               jump_insn = 0;
 760             }
 761           /* We need some special care for those expressions.  */
 762           if (GET_CODE (insn) == JUMP_INSN)
 763             {
 764               if (GET_CODE (PATTERN (insn)) == ADDR_VEC
 765                   || GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC)
 766                 abort();
 767               jump_insn = insn;
 768             }
 769           break;
 770         default:
 771           break;
 772         }
 773       if (insn == end)
 774         break;
 775       insn = NEXT_INSN (insn);
 776     }
 777
 778   /* In case expander replaced normal insn by sequence terminating by
 779      return and barrier, or possibly other sequence not behaving like
 780      ordinary jump, we need to take care and move basic block boundary.  */
 781   if (jump_insn && GET_CODE (bb->end) != JUMP_INSN)
 782     bb->end = jump_insn;
 783
 784   /* We've possibly replaced the conditional jump by conditional jump
 785      followed by cleanup at fallthru edge, so the outgoing edges may
 786      be dead.  */
 787   purge_dead_edges (bb);
 788
 789   /* Now re-scan and wire in all edges.  This expect simple (conditional)
 790      jumps at the end of each new basic blocks.  */
 791   make_edges (NULL, first_bb->index, bb->index, 1);
 792
 793   /* Update branch probabilities.  Expect only (un)conditional jumps
 794      to be created with only the forward edges.  */
 795   for (i = first_bb->index; i <= bb->index; i++)
 796     {
 797       edge e,f;
 798       basic_block b = BASIC_BLOCK (i);
 799       if (b != first_bb)
 800         {
 801           b->count = 0;
 802           b->frequency = 0;
 803           for (e = b->pred; e; e=e->pred_next)
 804             {
 805               b->count += e->count;
 806               b->frequency += EDGE_FREQUENCY (e);
 807             }
 808         }
 809       if (b->succ && b->succ->succ_next && !b->succ->succ_next->succ_next)
 810         {
 811           rtx note = find_reg_note (b->end, REG_BR_PROB, NULL);
 812           int probability;
 813
 814           if (!note)
 815             continue;
 816           probability = INTVAL (XEXP (find_reg_note (b->end,
 817                                                      REG_BR_PROB,
 818                                                      NULL), 0));
 819           e = BRANCH_EDGE (b);
 820           e->probability = probability;
 821           e->count = ((b->count * probability + REG_BR_PROB_BASE / 2)
 822                       / REG_BR_PROB_BASE);
 823           f = FALLTHRU_EDGE (b);
 824           f->probability = REG_BR_PROB_BASE - probability;
 825           f->count = b->count - e->count;
 826         }
 827       if (b->succ && !b->succ->succ_next)
 828         {
 829           e = b->succ;
 830           e->probability = REG_BR_PROB_BASE;
 831           e->count = b->count;
 832         }
 833     }
 834 }
 835
 836 /* Find all basic blocks of the function whose first insn is F.
 837
 838    Collect and return a list of labels whose addresses are taken.  This
 839    will be used in make_edges for use with computed gotos.  */
 840
 841 static void
 842 find_basic_blocks_1 (f)
 843      rtx f;
 844 {
 845   register rtx insn, next;
 846   int i = 0;
 847   rtx bb_note = NULL_RTX;
 848   rtx lvl = NULL_RTX;
 849   rtx trll = NULL_RTX;
 850   rtx head = NULL_RTX;
 851   rtx end = NULL_RTX;
 852
 853   /* We process the instructions in a slightly different way than we did
 854      previously.  This is so that we see a NOTE_BASIC_BLOCK after we have
 855      closed out the previous block, so that it gets attached at the proper
 856      place.  Since this form should be equivalent to the previous,
 857      count_basic_blocks continues to use the old form as a check.  */
 858
 859   for (insn = f; insn; insn = next)
 860     {
 861       enum rtx_code code = GET_CODE (insn);
 862
 863       next = NEXT_INSN (insn);
 864
 865       switch (code)
 866         {
 867         case NOTE:
 868           {
 869             int kind = NOTE_LINE_NUMBER (insn);
 870
 871             /* Look for basic block notes with which to keep the
 872                basic_block_info pointers stable.  Unthread the note now;
 873                we'll put it back at the right place in create_basic_block.
 874                Or not at all if we've already found a note in this block.  */
 875             if (kind == NOTE_INSN_BASIC_BLOCK)
 876               {
 877                 if (bb_note == NULL_RTX)
 878                   bb_note = insn;
 879                 else
 880                   next = flow_delete_insn (insn);
 881               }
 882             break;
 883           }
 884
 885         case CODE_LABEL:
 886           /* A basic block starts at a label.  If we've closed one off due
 887              to a barrier or some such, no need to do it again.  */
 888           if (head != NULL_RTX)
 889             {
 890               create_basic_block (i++, head, end, bb_note);
 891               bb_note = NULL_RTX;
 892             }
 893
 894           head = end = insn;
 895           break;
 896
 897         case JUMP_INSN:
 898           /* A basic block ends at a jump.  */
 899           if (head == NULL_RTX)
 900             head = insn;
 901           else
 902             {
 903               /* ??? Make a special check for table jumps.  The way this
 904                  happens is truly and amazingly gross.  We are about to
 905                  create a basic block that contains just a code label and
 906                  an addr*vec jump insn.  Worse, an addr_diff_vec creates
 907                  its own natural loop.
 908
 909                  Prevent this bit of brain damage, pasting things together
 910                  correctly in make_edges.
 911
 912                  The correct solution involves emitting the table directly
 913                  on the tablejump instruction as a note, or JUMP_LABEL.  */
 914
 915               if (GET_CODE (PATTERN (insn)) == ADDR_VEC
 916                   || GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC)
 917                 {
 918                   head = end = NULL;
 919                   n_basic_blocks--;
 920                   break;
 921                 }
 922             }
 923           end = insn;
 924           goto new_bb_inclusive;
 925
 926         case BARRIER:
 927           /* A basic block ends at a barrier.  It may be that an unconditional
 928              jump already closed the basic block -- no need to do it again.  */
 929           if (head == NULL_RTX)
 930             break;
 931           goto new_bb_exclusive;
 932
 933         case CALL_INSN:
 934           {
 935             /* Record whether this call created an edge.  */
 936             rtx note = find_reg_note (insn, REG_EH_REGION, NULL_RTX);
 937             int region = (note ? INTVAL (XEXP (note, 0)) : 0);
 938
 939             if (GET_CODE (PATTERN (insn)) == CALL_PLACEHOLDER)
 940               {
 941                 /* Scan each of the alternatives for label refs.  */
 942                 lvl = find_label_refs (XEXP (PATTERN (insn), 0), lvl);
 943                 lvl = find_label_refs (XEXP (PATTERN (insn), 1), lvl);
 944                 lvl = find_label_refs (XEXP (PATTERN (insn), 2), lvl);
 945                 /* Record its tail recursion label, if any.  */
 946                 if (XEXP (PATTERN (insn), 3) != NULL_RTX)
 947                   trll = alloc_EXPR_LIST (0, XEXP (PATTERN (insn), 3), trll);
 948               }
 949
 950             /* A basic block ends at a call that can either throw or
 951                do a non-local goto.  */
 952             if ((nonlocal_goto_handler_labels && region >= 0)
 953                 || can_throw_internal (insn))
 954               {
 955               new_bb_inclusive:
 956                 if (head == NULL_RTX)
 957                   head = insn;
 958                 end = insn;
 959
 960               new_bb_exclusive:
 961                 create_basic_block (i++, head, end, bb_note);
 962                 head = end = NULL_RTX;
 963                 bb_note = NULL_RTX;
 964                 break;
 965               }
 966           }
 967           /* Fall through.  */
 968
 969         case INSN:
 970           /* Non-call exceptions generate new blocks just like calls.  */
 971           if (flag_non_call_exceptions && can_throw_internal (insn))
 972             goto new_bb_inclusive;
 973
 974           if (head == NULL_RTX)
 975             head = insn;
 976           end = insn;
 977           break;
 978
 979         default:
 980           abort ();
 981         }
 982
 983       if (GET_CODE (insn) == INSN || GET_CODE (insn) == CALL_INSN)
 984         {
 985           rtx note;
 986
 987           /* Make a list of all labels referred to other than by jumps.
 988
 989              Make a special exception for labels followed by an ADDR*VEC,
 990              as this would be a part of the tablejump setup code.
 991
 992              Make a special exception to registers loaded with label
 993              values just before jump insns that use them.  */
 994
 995           for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
 996             if (REG_NOTE_KIND (note) == REG_LABEL)
 997               {
 998                 rtx lab = XEXP (note, 0), next;
 999
1000                 if ((next = next_nonnote_insn (lab)) != NULL
1001                          && GET_CODE (next) == JUMP_INSN
1002                          && (GET_CODE (PATTERN (next)) == ADDR_VEC
1003                              || GET_CODE (PATTERN (next)) == ADDR_DIFF_VEC))
1004                   ;
1005                 else if (GET_CODE (lab) == NOTE)
1006                   ;
1007                 else if (GET_CODE (NEXT_INSN (insn)) == JUMP_INSN
1008                          && find_reg_note (NEXT_INSN (insn), REG_LABEL, lab))
1009                   ;
1010                 else
1011                   lvl = alloc_EXPR_LIST (0, XEXP (note, 0), lvl);
1012               }
1013         }
1014     }
1015
1016   if (head != NULL_RTX)
1017     create_basic_block (i++, head, end, bb_note);
1018   else if (bb_note)
1019     flow_delete_insn (bb_note);
1020
1021   if (i != n_basic_blocks)
1022     abort ();
1023
1024   label_value_list = lvl;
1025   tail_recursion_label_list = trll;
1026 }
1027
1028 /* Tidy the CFG by deleting unreachable code and whatnot.  */
1029
1030 void
1031 cleanup_cfg (mode)
1032      int mode;
1033 {
1034   int i;
1035
1036   timevar_push (TV_CLEANUP_CFG);
1037   delete_unreachable_blocks ();
1038   if (try_optimize_cfg (mode))
1039     delete_unreachable_blocks ();
1040   mark_critical_edges ();
1041
1042   /* Kill the data we won't maintain.  */
1043   free_EXPR_LIST_list (&label_value_list);
1044   free_EXPR_LIST_list (&tail_recursion_label_list);
1045   timevar_pop (TV_CLEANUP_CFG);
1046
1047   /* Clear bb->aux on all basic blocks.  */
1048   for (i = 0; i < n_basic_blocks; ++i)
1049     BASIC_BLOCK (i)->aux = NULL;
1050 }
1051
1052 /* Create a new basic block consisting of the instructions between
1053    HEAD and END inclusive.  Reuses the note and basic block struct
1054    in BB_NOTE, if any.  */
1055
1056 void
1057 create_basic_block (index, head, end, bb_note)
1058      int index;
1059      rtx head, end, bb_note;
1060 {
1061   basic_block bb;
1062
1063   if (bb_note
1064       && ! RTX_INTEGRATED_P (bb_note)
1065       && (bb = NOTE_BASIC_BLOCK (bb_note)) != NULL
1066       && bb->aux == NULL)
1067     {
1068       /* If we found an existing note, thread it back onto the chain.  */
1069
1070       rtx after;
1071
1072       if (GET_CODE (head) == CODE_LABEL)
1073         after = head;
1074       else
1075         {
1076           after = PREV_INSN (head);
1077           head = bb_note;
1078         }
1079
1080       if (after != bb_note && NEXT_INSN (after) != bb_note)
1081         reorder_insns (bb_note, bb_note, after);
1082     }
1083   else
1084     {
1085       /* Otherwise we must create a note and a basic block structure.
1086          Since we allow basic block structs in rtl, give the struct
1087          the same lifetime by allocating it off the function obstack
1088          rather than using malloc.  */
1089
1090       bb = (basic_block) obstack_alloc (&flow_obstack, sizeof (*bb));
1091       memset (bb, 0, sizeof (*bb));
1092
1093       if (GET_CODE (head) == CODE_LABEL)
1094         bb_note = emit_note_after (NOTE_INSN_BASIC_BLOCK, head);
1095       else
1096         {
1097           bb_note = emit_note_before (NOTE_INSN_BASIC_BLOCK, head);
1098           head = bb_note;
1099         }
1100       NOTE_BASIC_BLOCK (bb_note) = bb;
1101     }
1102
1103   /* Always include the bb note in the block.  */
1104   if (NEXT_INSN (end) == bb_note)
1105     end = bb_note;
1106
1107   bb->head = head;
1108   bb->end = end;
1109   bb->index = index;
1110   BASIC_BLOCK (index) = bb;
1111
1112   /* Tag the block so that we know it has been used when considering
1113      other basic block notes.  */
1114   bb->aux = bb;
1115 }
1116 \f
1117 /* Return the INSN immediately following the NOTE_INSN_BASIC_BLOCK
1118    note associated with the BLOCK.  */
1119
1120 rtx
1121 first_insn_after_basic_block_note (block)
1122      basic_block block;
1123 {
1124   rtx insn;
1125
1126   /* Get the first instruction in the block.  */
1127   insn = block->head;
1128
1129   if (insn == NULL_RTX)
1130     return NULL_RTX;
1131   if (GET_CODE (insn) == CODE_LABEL)
1132     insn = NEXT_INSN (insn);
1133   if (!NOTE_INSN_BASIC_BLOCK_P (insn))
1134     abort ();
1135
1136   return NEXT_INSN (insn);
1137 }
1138
1139 /* Records the basic block struct in BB_FOR_INSN, for every instruction
1140    indexed by INSN_UID.  MAX is the size of the array.  */
1141
1142 void
1143 compute_bb_for_insn (max)
1144      int max;
1145 {
1146   int i;
1147
1148   if (basic_block_for_insn)
1149     VARRAY_FREE (basic_block_for_insn);
1150   VARRAY_BB_INIT (basic_block_for_insn, max, "basic_block_for_insn");
1151
1152   for (i = 0; i < n_basic_blocks; ++i)
1153     {
1154       basic_block bb = BASIC_BLOCK (i);
1155       rtx insn, end;
1156
1157       end = bb->end;
1158       insn = bb->head;
1159       while (1)
1160         {
1161           int uid = INSN_UID (insn);
1162           if (uid < max)
1163             VARRAY_BB (basic_block_for_insn, uid) = bb;
1164           if (insn == end)
1165             break;
1166           insn = NEXT_INSN (insn);
1167         }
1168     }
1169 }
1170
1171 /* Free the memory associated with the edge structures.  */
1172
1173 void
1174 clear_edges ()
1175 {
1176   int i;
1177   edge n, e;
1178
1179   for (i = 0; i < n_basic_blocks; ++i)
1180     {
1181       basic_block bb = BASIC_BLOCK (i);
1182
1183       for (e = bb->succ; e; e = n)
1184         {
1185           n = e->succ_next;
1186           free (e);
1187         }
1188
1189       bb->succ = 0;
1190       bb->pred = 0;
1191     }
1192
1193   for (e = ENTRY_BLOCK_PTR->succ; e; e = n)
1194     {
1195       n = e->succ_next;
1196       free (e);
1197     }
1198
1199   ENTRY_BLOCK_PTR->succ = 0;
1200   EXIT_BLOCK_PTR->pred = 0;
1201
1202   n_edges = 0;
1203 }
1204
1205 /* Identify the edges between basic blocks MIN to MAX.
1206
1207    NONLOCAL_LABEL_LIST is a list of non-local labels in the function.  Blocks
1208    that are otherwise unreachable may be reachable with a non-local goto.
1209
1210    BB_EH_END is an array indexed by basic block number in which we record
1211    the list of exception regions active at the end of the basic block.  */
1212
1213 static void
1214 make_edges (label_value_list, min, max, update_p)
1215      rtx label_value_list;
1216      int min, max, update_p;
1217 {
1218   int i;
1219   sbitmap *edge_cache = NULL;
1220
1221   /* Assume no computed jump; revise as we create edges.  */
1222   current_function_has_computed_jump = 0;
1223
1224   /* Heavy use of computed goto in machine-generated code can lead to
1225      nearly fully-connected CFGs.  In that case we spend a significant
1226      amount of time searching the edge lists for duplicates.  */
1227   if (forced_labels || label_value_list)
1228     {
1229       edge_cache = sbitmap_vector_alloc (n_basic_blocks, n_basic_blocks);
1230       sbitmap_vector_zero (edge_cache, n_basic_blocks);
1231
1232       if (update_p)
1233         for (i = min; i <= max; ++i)
1234           {
1235             edge e;
1236             for (e = BASIC_BLOCK (i)->succ; e ; e = e->succ_next)
1237               if (e->dest != EXIT_BLOCK_PTR)
1238                 SET_BIT (edge_cache[i], e->dest->index);
1239           }
1240     }
1241
1242   /* By nature of the way these get numbered, block 0 is always the entry.  */
1243   make_edge (edge_cache, ENTRY_BLOCK_PTR, BASIC_BLOCK (0), EDGE_FALLTHRU);
1244
1245   for (i = min; i <= max; ++i)
1246     {
1247       basic_block bb = BASIC_BLOCK (i);
1248       rtx insn, x;
1249       enum rtx_code code;
1250       int force_fallthru = 0;
1251
1252       if (GET_CODE (bb->head) == CODE_LABEL
1253           && LABEL_ALTERNATE_NAME (bb->head))
1254         make_edge (NULL, ENTRY_BLOCK_PTR, bb, 0);
1255
1256       /* Examine the last instruction of the block, and discover the
1257          ways we can leave the block.  */
1258
1259       insn = bb->end;
1260       code = GET_CODE (insn);
1261
1262       /* A branch.  */
1263       if (code == JUMP_INSN)
1264         {
1265           rtx tmp;
1266
1267           /* Recognize exception handling placeholders.  */
1268           if (GET_CODE (PATTERN (insn)) == RESX)
1269             make_eh_edge (edge_cache, bb, insn);
1270
1271           /* Recognize a non-local goto as a branch outside the
1272              current function.  */
1273           else if (find_reg_note (insn, REG_NON_LOCAL_GOTO, NULL_RTX))
1274             ;
1275
1276           /* ??? Recognize a tablejump and do the right thing.  */
1277           else if ((tmp = JUMP_LABEL (insn)) != NULL_RTX
1278                    && (tmp = NEXT_INSN (tmp)) != NULL_RTX
1279                    && GET_CODE (tmp) == JUMP_INSN
1280                    && (GET_CODE (PATTERN (tmp)) == ADDR_VEC
1281                        || GET_CODE (PATTERN (tmp)) == ADDR_DIFF_VEC))
1282             {
1283               rtvec vec;
1284               int j;
1285
1286               if (GET_CODE (PATTERN (tmp)) == ADDR_VEC)
1287                 vec = XVEC (PATTERN (tmp), 0);
1288               else
1289                 vec = XVEC (PATTERN (tmp), 1);
1290
1291               for (j = GET_NUM_ELEM (vec) - 1; j >= 0; --j)
1292                 make_label_edge (edge_cache, bb,
1293                                  XEXP (RTVEC_ELT (vec, j), 0), 0);
1294
1295               /* Some targets (eg, ARM) emit a conditional jump that also
1296                  contains the out-of-range target.  Scan for these and
1297                  add an edge if necessary.  */
1298               if ((tmp = single_set (insn)) != NULL
1299                   && SET_DEST (tmp) == pc_rtx
1300                   && GET_CODE (SET_SRC (tmp)) == IF_THEN_ELSE
1301                   && GET_CODE (XEXP (SET_SRC (tmp), 2)) == LABEL_REF)
1302                 make_label_edge (edge_cache, bb,
1303                                  XEXP (XEXP (SET_SRC (tmp), 2), 0), 0);
1304
1305 #ifdef CASE_DROPS_THROUGH
1306               /* Silly VAXen.  The ADDR_VEC is going to be in the way of
1307                  us naturally detecting fallthru into the next block.  */
1308               force_fallthru = 1;
1309 #endif
1310             }
1311
1312           /* If this is a computed jump, then mark it as reaching
1313              everything on the label_value_list and forced_labels list.  */
1314           else if (computed_jump_p (insn))
1315             {
1316               current_function_has_computed_jump = 1;
1317
1318               for (x = label_value_list; x; x = XEXP (x, 1))
1319                 make_label_edge (edge_cache, bb, XEXP (x, 0), EDGE_ABNORMAL);
1320
1321               for (x = forced_labels; x; x = XEXP (x, 1))
1322                 make_label_edge (edge_cache, bb, XEXP (x, 0), EDGE_ABNORMAL);
1323             }
1324
1325           /* Returns create an exit out.  */
1326           else if (returnjump_p (insn))
1327             make_edge (edge_cache, bb, EXIT_BLOCK_PTR, 0);
1328
1329           /* Otherwise, we have a plain conditional or unconditional jump.  */
1330           else
1331             {
1332               if (! JUMP_LABEL (insn))
1333                 abort ();
1334               make_label_edge (edge_cache, bb, JUMP_LABEL (insn), 0);
1335             }
1336         }
1337
1338       /* If this is a sibling call insn, then this is in effect a
1339          combined call and return, and so we need an edge to the
1340          exit block.  No need to worry about EH edges, since we
1341          wouldn't have created the sibling call in the first place.  */
1342
1343       if (code == CALL_INSN && SIBLING_CALL_P (insn))
1344         make_edge (edge_cache, bb, EXIT_BLOCK_PTR,
1345                    EDGE_ABNORMAL | EDGE_ABNORMAL_CALL);
1346
1347       /* If this is a CALL_INSN, then mark it as reaching the active EH
1348          handler for this CALL_INSN.  If we're handling non-call
1349          exceptions then any insn can reach any of the active handlers.
1350
1351          Also mark the CALL_INSN as reaching any nonlocal goto handler.  */
1352
1353       else if (code == CALL_INSN || flag_non_call_exceptions)
1354         {
1355           /* Add any appropriate EH edges.  */
1356           make_eh_edge (edge_cache, bb, insn);
1357
1358           if (code == CALL_INSN && nonlocal_goto_handler_labels)
1359             {
1360               /* ??? This could be made smarter: in some cases it's possible
1361                  to tell that certain calls will not do a nonlocal goto.
1362
1363                  For example, if the nested functions that do the nonlocal
1364                  gotos do not have their addresses taken, then only calls to
1365                  those functions or to other nested functions that use them
1366                  could possibly do nonlocal gotos.  */
1367               /* We do know that a REG_EH_REGION note with a value less
1368                  than 0 is guaranteed not to perform a non-local goto.  */
1369               rtx note = find_reg_note (insn, REG_EH_REGION, NULL_RTX);
1370               if (!note || INTVAL (XEXP (note, 0)) >=  0)
1371                 for (x = nonlocal_goto_handler_labels; x; x = XEXP (x, 1))
1372                   make_label_edge (edge_cache, bb, XEXP (x, 0),
1373                                    EDGE_ABNORMAL | EDGE_ABNORMAL_CALL);
1374             }
1375         }
1376
1377       /* Find out if we can drop through to the next block.  */
1378       insn = next_nonnote_insn (insn);
1379       if (!insn || (i + 1 == n_basic_blocks && force_fallthru))
1380         make_edge (edge_cache, bb, EXIT_BLOCK_PTR, EDGE_FALLTHRU);
1381       else if (i + 1 < n_basic_blocks)
1382         {
1383           rtx tmp = BLOCK_HEAD (i + 1);
1384           if (GET_CODE (tmp) == NOTE)
1385             tmp = next_nonnote_insn (tmp);
1386           if (force_fallthru || insn == tmp)
1387             make_edge (edge_cache, bb, BASIC_BLOCK (i + 1), EDGE_FALLTHRU);
1388         }
1389     }
1390
1391   if (edge_cache)
1392     sbitmap_vector_free (edge_cache);
1393 }
1394
1395 /* Create an edge between two basic blocks.  FLAGS are auxiliary information
1396    about the edge that is accumulated between calls.  */
1397
1398 void
1399 make_edge (edge_cache, src, dst, flags)
1400      sbitmap *edge_cache;
1401      basic_block src, dst;
1402      int flags;
1403 {
1404   int use_edge_cache;
1405   edge e;
1406
1407   /* Don't bother with edge cache for ENTRY or EXIT; there aren't that
1408      many edges to them, and we didn't allocate memory for it.  */
1409   use_edge_cache = (edge_cache
1410                     && src != ENTRY_BLOCK_PTR
1411                     && dst != EXIT_BLOCK_PTR);
1412
1413   /* Make sure we don't add duplicate edges.  */
1414   switch (use_edge_cache)
1415     {
1416     default:
1417       /* Quick test for non-existance of the edge.  */
1418       if (! TEST_BIT (edge_cache[src->index], dst->index))
1419         break;
1420
1421       /* The edge exists; early exit if no work to do.  */
1422       if (flags == 0)
1423         return;
1424
1425       /* FALLTHRU */
1426     case 0:
1427       for (e = src->succ; e; e = e->succ_next)
1428         if (e->dest == dst)
1429           {
1430             e->flags |= flags;
1431             return;
1432           }
1433       break;
1434     }
1435
1436   e = (edge) xcalloc (1, sizeof (*e));
1437   n_edges++;
1438
1439   e->succ_next = src->succ;
1440   e->pred_next = dst->pred;
1441   e->src = src;
1442   e->dest = dst;
1443   e->flags = flags;
1444
1445   src->succ = e;
1446   dst->pred = e;
1447
1448   if (use_edge_cache)
1449     SET_BIT (edge_cache[src->index], dst->index);
1450 }
1451
1452 /* Create an edge from a basic block to a label.  */
1453
1454 static void
1455 make_label_edge (edge_cache, src, label, flags)
1456      sbitmap *edge_cache;
1457      basic_block src;
1458      rtx label;
1459      int flags;
1460 {
1461   if (GET_CODE (label) != CODE_LABEL)
1462     abort ();
1463
1464   /* If the label was never emitted, this insn is junk, but avoid a
1465      crash trying to refer to BLOCK_FOR_INSN (label).  This can happen
1466      as a result of a syntax error and a diagnostic has already been
1467      printed.  */
1468
1469   if (INSN_UID (label) == 0)
1470     return;
1471
1472   make_edge (edge_cache, src, BLOCK_FOR_INSN (label), flags);
1473 }
1474
1475 /* Create the edges generated by INSN in REGION.  */
1476
1477 static void
1478 make_eh_edge (edge_cache, src, insn)
1479      sbitmap *edge_cache;
1480      basic_block src;
1481      rtx insn;
1482 {
1483   int is_call = (GET_CODE (insn) == CALL_INSN ? EDGE_ABNORMAL_CALL : 0);
1484   rtx handlers, i;
1485
1486   handlers = reachable_handlers (insn);
1487
1488   for (i = handlers; i; i = XEXP (i, 1))
1489     make_label_edge (edge_cache, src, XEXP (i, 0),
1490                      EDGE_ABNORMAL | EDGE_EH | is_call);
1491
1492   free_INSN_LIST_list (&handlers);
1493 }
1494
1495 /* Identify critical edges and set the bits appropriately.  */
1496
1497 void
1498 mark_critical_edges ()
1499 {
1500   int i, n = n_basic_blocks;
1501   basic_block bb;
1502
1503   /* We begin with the entry block.  This is not terribly important now,
1504      but could be if a front end (Fortran) implemented alternate entry
1505      points.  */
1506   bb = ENTRY_BLOCK_PTR;
1507   i = -1;
1508
1509   while (1)
1510     {
1511       edge e;
1512
1513       /* (1) Critical edges must have a source with multiple successors.  */
1514       if (bb->succ && bb->succ->succ_next)
1515         {
1516           for (e = bb->succ; e; e = e->succ_next)
1517             {
1518               /* (2) Critical edges must have a destination with multiple
1519                  predecessors.  Note that we know there is at least one
1520                  predecessor -- the edge we followed to get here.  */
1521               if (e->dest->pred->pred_next)
1522                 e->flags |= EDGE_CRITICAL;
1523               else
1524                 e->flags &= ~EDGE_CRITICAL;
1525             }
1526         }
1527       else
1528         {
1529           for (e = bb->succ; e; e = e->succ_next)
1530             e->flags &= ~EDGE_CRITICAL;
1531         }
1532
1533       if (++i >= n)
1534         break;
1535       bb = BASIC_BLOCK (i);
1536     }
1537 }
1538 \f
1539 /* Mark the back edges in DFS traversal.
1540    Return non-zero if a loop (natural or otherwise) is present.
1541    Inspired by Depth_First_Search_PP described in:
1542
1543      Advanced Compiler Design and Implementation
1544      Steven Muchnick
1545      Morgan Kaufmann, 1997
1546
1547    and heavily borrowed from flow_depth_first_order_compute.  */
1548
1549 bool
1550 mark_dfs_back_edges ()
1551 {
1552   edge *stack;
1553   int *pre;
1554   int *post;
1555   int sp;
1556   int prenum = 1;
1557   int postnum = 1;
1558   sbitmap visited;
1559   bool found = false;
1560
1561   /* Allocate the preorder and postorder number arrays.  */
1562   pre = (int *) xcalloc (n_basic_blocks, sizeof (int));
1563   post = (int *) xcalloc (n_basic_blocks, sizeof (int));
1564
1565   /* Allocate stack for back-tracking up CFG.  */
1566   stack = (edge *) xmalloc ((n_basic_blocks + 1) * sizeof (edge));
1567   sp = 0;
1568
1569   /* Allocate bitmap to track nodes that have been visited.  */
1570   visited = sbitmap_alloc (n_basic_blocks);
1571
1572   /* None of the nodes in the CFG have been visited yet.  */
1573   sbitmap_zero (visited);
1574
1575   /* Push the first edge on to the stack.  */
1576   stack[sp++] = ENTRY_BLOCK_PTR->succ;
1577
1578   while (sp)
1579     {
1580       edge e;
1581       basic_block src;
1582       basic_block dest;
1583
1584       /* Look at the edge on the top of the stack.  */
1585       e = stack[sp - 1];
1586       src = e->src;
1587       dest = e->dest;
1588       e->flags &= ~EDGE_DFS_BACK;
1589
1590       /* Check if the edge destination has been visited yet.  */
1591       if (dest != EXIT_BLOCK_PTR && ! TEST_BIT (visited, dest->index))
1592         {
1593           /* Mark that we have visited the destination.  */
1594           SET_BIT (visited, dest->index);
1595
1596           pre[dest->index] = prenum++;
1597
1598           if (dest->succ)
1599             {
1600               /* Since the DEST node has been visited for the first
1601                  time, check its successors.  */
1602               stack[sp++] = dest->succ;
1603             }
1604           else
1605             post[dest->index] = postnum++;
1606         }
1607       else
1608         {
1609           if (dest != EXIT_BLOCK_PTR && src != ENTRY_BLOCK_PTR
1610               && pre[src->index] >= pre[dest->index]
1611               && post[dest->index] == 0)
1612             e->flags |= EDGE_DFS_BACK, found = true;
1613
1614           if (! e->succ_next && src != ENTRY_BLOCK_PTR)
1615             post[src->index] = postnum++;
1616
1617           if (e->succ_next)
1618             stack[sp - 1] = e->succ_next;
1619           else
1620             sp--;
1621         }
1622     }
1623
1624   free (pre);
1625   free (post);
1626   free (stack);
1627   sbitmap_free (visited);
1628
1629   return found;
1630 }
1631 \f
1632 /* Split a block BB after insn INSN creating a new fallthru edge.
1633    Return the new edge.  Note that to keep other parts of the compiler happy,
1634    this function renumbers all the basic blocks so that the new
1635    one has a number one greater than the block split.  */
1636
1637 edge
1638 split_block (bb, insn)
1639      basic_block bb;
1640      rtx insn;
1641 {
1642   basic_block new_bb;
1643   edge new_edge;
1644   edge e;
1645   rtx bb_note;
1646   int i, j;
1647
1648   /* There is no point splitting the block after its end.  */
1649   if (bb->end == insn)
1650     return 0;
1651
1652   /* Create the new structures.  */
1653   new_bb = (basic_block) obstack_alloc (&flow_obstack, sizeof (*new_bb));
1654   new_edge = (edge) xcalloc (1, sizeof (*new_edge));
1655   n_edges++;
1656
1657   memset (new_bb, 0, sizeof (*new_bb));
1658
1659   new_bb->head = NEXT_INSN (insn);
1660   new_bb->end = bb->end;
1661   bb->end = insn;
1662
1663   new_bb->succ = bb->succ;
1664   bb->succ = new_edge;
1665   new_bb->pred = new_edge;
1666   new_bb->count = bb->count;
1667   new_bb->frequency = bb->frequency;
1668   new_bb->loop_depth = bb->loop_depth;
1669
1670   new_edge->src = bb;
1671   new_edge->dest = new_bb;
1672   new_edge->flags = EDGE_FALLTHRU;
1673   new_edge->probability = REG_BR_PROB_BASE;
1674   new_edge->count = bb->count;
1675
1676   /* Redirect the src of the successor edges of bb to point to new_bb.  */
1677   for (e = new_bb->succ; e; e = e->succ_next)
1678     e->src = new_bb;
1679
1680   /* Place the new block just after the block being split.  */
1681   VARRAY_GROW (basic_block_info, ++n_basic_blocks);
1682
1683   /* Some parts of the compiler expect blocks to be number in
1684      sequential order so insert the new block immediately after the
1685      block being split..  */
1686   j = bb->index;
1687   for (i = n_basic_blocks - 1; i > j + 1; --i)
1688     {
1689       basic_block tmp = BASIC_BLOCK (i - 1);
1690       BASIC_BLOCK (i) = tmp;
1691       tmp->index = i;
1692     }
1693
1694   BASIC_BLOCK (i) = new_bb;
1695   new_bb->index = i;
1696
1697   if (GET_CODE (new_bb->head) == CODE_LABEL)
1698     {
1699       /* Create the basic block note.  */
1700       bb_note = emit_note_after (NOTE_INSN_BASIC_BLOCK,
1701                                  new_bb->head);
1702       NOTE_BASIC_BLOCK (bb_note) = new_bb;
1703
1704       /* If the only thing in this new block was the label, make sure
1705          the block note gets included.  */
1706       if (new_bb->head == new_bb->end)
1707         new_bb->end = bb_note;
1708     }
1709   else
1710     {
1711       /* Create the basic block note.  */
1712       bb_note = emit_note_before (NOTE_INSN_BASIC_BLOCK,
1713                                   new_bb->head);
1714       NOTE_BASIC_BLOCK (bb_note) = new_bb;
1715       new_bb->head = bb_note;
1716     }
1717
1718   update_bb_for_insn (new_bb);
1719
1720   if (bb->global_live_at_start)
1721     {
1722       new_bb->global_live_at_start = OBSTACK_ALLOC_REG_SET (&flow_obstack);
1723       new_bb->global_live_at_end = OBSTACK_ALLOC_REG_SET (&flow_obstack);
1724       COPY_REG_SET (new_bb->global_live_at_end, bb->global_live_at_end);
1725
1726       /* We now have to calculate which registers are live at the end
1727          of the split basic block and at the start of the new basic
1728          block.  Start with those registers that are known to be live
1729          at the end of the original basic block and get
1730          propagate_block to determine which registers are live.  */
1731       COPY_REG_SET (new_bb->global_live_at_start, bb->global_live_at_end);
1732       propagate_block (new_bb, new_bb->global_live_at_start, NULL, NULL, 0);
1733       COPY_REG_SET (bb->global_live_at_end,
1734                     new_bb->global_live_at_start);
1735     }
1736
1737   return new_edge;
1738 }
1739
1740 /* Return label in the head of basic block.  Create one if it doesn't exist.  */
1741 rtx
1742 block_label (block)
1743      basic_block block;
1744 {
1745   if (block == EXIT_BLOCK_PTR)
1746     return NULL_RTX;
1747   if (GET_CODE (block->head) != CODE_LABEL)
1748     {
1749       block->head = emit_label_before (gen_label_rtx (), block->head);
1750       if (basic_block_for_insn)
1751         set_block_for_insn (block->head, block);
1752     }
1753   return block->head;
1754 }
1755
1756 /* Return true if the block has no effect and only forwards control flow to
1757    its single destination.  */
1758 bool
1759 forwarder_block_p (bb)
1760      basic_block bb;
1761 {
1762   rtx insn = bb->head;
1763   if (bb == EXIT_BLOCK_PTR || bb == ENTRY_BLOCK_PTR
1764       || !bb->succ || bb->succ->succ_next)
1765     return false;
1766
1767   while (insn != bb->end)
1768     {
1769       if (active_insn_p (insn))
1770         return false;
1771       insn = NEXT_INSN (insn);
1772     }
1773   return (!active_insn_p (insn)
1774           || (GET_CODE (insn) == JUMP_INSN && onlyjump_p (insn)));
1775 }
1776
1777 /* Return nonzero if we can reach target from src by falling trought.  */
1778 static bool
1779 can_fallthru (src, target)
1780      basic_block src, target;
1781 {
1782   rtx insn = src->end;
1783   rtx insn2 = target->head;
1784
1785   if (src->index + 1 == target->index && !active_insn_p (insn2))
1786     insn2 = next_active_insn (insn2);
1787   /* ??? Later we may add code to move jump tables offline.  */
1788   return next_active_insn (insn) == insn2;
1789 }
1790
1791 /* Attempt to perform edge redirection by replacing possibly complex jump
1792    instruction by unconditional jump or removing jump completely.
1793    This can apply only if all edges now point to the same block.
1794
1795    The parameters and return values are equivalent to redirect_edge_and_branch.
1796  */
1797 static bool
1798 try_redirect_by_replacing_jump (e, target)
1799      edge e;
1800      basic_block target;
1801 {
1802   basic_block src = e->src;
1803   rtx insn = src->end, kill_from;
1804   edge tmp;
1805   rtx set;
1806   int fallthru = 0;
1807
1808   /* Verify that all targets will be TARGET.  */
1809   for (tmp = src->succ; tmp; tmp = tmp->succ_next)
1810     if (tmp->dest != target && tmp != e)
1811       break;
1812   if (tmp || !onlyjump_p (insn))
1813     return false;
1814
1815   /* Avoid removing branch with side effects.  */
1816   set = single_set (insn);
1817   if (!set || side_effects_p (set))
1818     return false;
1819
1820   /* In case we zap a conditional jump, we'll need to kill
1821      the cc0 setter too.  */
1822   kill_from = insn;
1823 #ifdef HAVE_cc0
1824   if (reg_mentioned_p (cc0_rtx, PATTERN (insn)))
1825     kill_from = PREV_INSN (insn);
1826 #endif
1827
1828   /* See if we can create the fallthru edge.  */
1829   if (can_fallthru (src, target))
1830     {
1831       src->end = PREV_INSN (kill_from);
1832       if (rtl_dump_file)
1833         fprintf (rtl_dump_file, "Removing jump %i.\n", INSN_UID (insn));
1834       fallthru = 1;
1835
1836       /* Selectivly unlink whole insn chain.  */
1837       flow_delete_insn_chain (kill_from, PREV_INSN (target->head));
1838     }
1839   /* If this already is simplejump, redirect it.  */
1840   else if (simplejump_p (insn))
1841     {
1842       if (e->dest == target)
1843         return false;
1844       if (rtl_dump_file)
1845         fprintf (rtl_dump_file, "Redirecting jump %i from %i to %i.\n",
1846                  INSN_UID (insn), e->dest->index, target->index);
1847       redirect_jump (insn, block_label (target), 0);
1848     }
1849   /* Or replace possibly complicated jump insn by simple jump insn.  */
1850   else
1851     {
1852       rtx target_label = block_label (target);
1853       rtx barrier;
1854
1855       src->end = emit_jump_insn_before (gen_jump (target_label), kill_from);
1856       JUMP_LABEL (src->end) = target_label;
1857       LABEL_NUSES (target_label)++;
1858       if (basic_block_for_insn)
1859         set_block_for_new_insns (src->end, src);
1860       if (rtl_dump_file)
1861         fprintf (rtl_dump_file, "Replacing insn %i by jump %i\n",
1862                  INSN_UID (insn), INSN_UID (src->end));
1863
1864       flow_delete_insn_chain (kill_from, insn);
1865
1866       barrier = next_nonnote_insn (src->end);
1867       if (!barrier || GET_CODE (barrier) != BARRIER)
1868         emit_barrier_after (src->end);
1869     }
1870
1871   /* Keep only one edge out and set proper flags.  */
1872   while (src->succ->succ_next)
1873     remove_edge (src->succ);
1874   e = src->succ;
1875   if (fallthru)
1876     e->flags = EDGE_FALLTHRU;
1877   else
1878     e->flags = 0;
1879   e->probability = REG_BR_PROB_BASE;
1880   e->count = src->count;
1881
1882   /* We don't want a block to end on a line-number note since that has
1883      the potential of changing the code between -g and not -g.  */
1884   while (GET_CODE (e->src->end) == NOTE
1885          && NOTE_LINE_NUMBER (e->src->end) >= 0)
1886     {
1887       rtx prev = PREV_INSN (e->src->end);
1888       flow_delete_insn (e->src->end);
1889       e->src->end = prev;
1890     }
1891
1892   if (e->dest != target)
1893     redirect_edge_succ (e, target);
1894   return true;
1895 }
1896
1897 /* Return last loop_beg note appearing after INSN, before start of next
1898    basic block.  Return INSN if there are no such notes.
1899
1900    When emmiting jump to redirect an fallthru edge, it should always
1901    appear after the LOOP_BEG notes, as loop optimizer expect loop to
1902    eighter start by fallthru edge or jump following the LOOP_BEG note
1903    jumping to the loop exit test.  */
1904 rtx
1905 last_loop_beg_note (insn)
1906      rtx insn;
1907 {
1908   rtx last = insn;
1909   insn = NEXT_INSN (insn);
1910   while (GET_CODE (insn) == NOTE
1911          && NOTE_LINE_NUMBER (insn) != NOTE_INSN_BASIC_BLOCK)
1912     {
1913       if (NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_BEG)
1914         last = insn;
1915       insn = NEXT_INSN (insn);
1916     }
1917   return last;
1918 }
1919
1920 /* Attempt to change code to redirect edge E to TARGET.
1921    Don't do that on expense of adding new instructions or reordering
1922    basic blocks.
1923
1924    Function can be also called with edge destionation equivalent to the
1925    TARGET.  Then it should try the simplifications and do nothing if
1926    none is possible.
1927
1928    Return true if transformation suceeded.  We still return flase in case
1929    E already destinated TARGET and we didn't managed to simplify instruction
1930    stream.  */
1931 bool
1932 redirect_edge_and_branch (e, target)
1933      edge e;
1934      basic_block target;
1935 {
1936   rtx tmp;
1937   rtx old_label = e->dest->head;
1938   basic_block src = e->src;
1939   rtx insn = src->end;
1940
1941   if (e->flags & EDGE_COMPLEX)
1942     return false;
1943
1944   if (try_redirect_by_replacing_jump (e, target))
1945     return true;
1946   /* Do this fast path late, as we want above code to simplify for cases
1947      where called on single edge leaving basic block containing nontrivial
1948      jump insn.  */
1949   else if (e->dest == target)
1950     return false;
1951
1952   /* We can only redirect non-fallthru edges of jump insn.  */
1953   if (e->flags & EDGE_FALLTHRU)
1954     return false;
1955   if (GET_CODE (insn) != JUMP_INSN)
1956     return false;
1957
1958   /* Recognize a tablejump and adjust all matching cases.  */
1959   if ((tmp = JUMP_LABEL (insn)) != NULL_RTX
1960       && (tmp = NEXT_INSN (tmp)) != NULL_RTX
1961       && GET_CODE (tmp) == JUMP_INSN
1962       && (GET_CODE (PATTERN (tmp)) == ADDR_VEC
1963           || GET_CODE (PATTERN (tmp)) == ADDR_DIFF_VEC))
1964     {
1965       rtvec vec;
1966       int j;
1967       rtx new_label = block_label (target);
1968
1969       if (GET_CODE (PATTERN (tmp)) == ADDR_VEC)
1970         vec = XVEC (PATTERN (tmp), 0);
1971       else
1972         vec = XVEC (PATTERN (tmp), 1);
1973
1974       for (j = GET_NUM_ELEM (vec) - 1; j >= 0; --j)
1975         if (XEXP (RTVEC_ELT (vec, j), 0) == old_label)
1976           {
1977             RTVEC_ELT (vec, j) = gen_rtx_LABEL_REF (Pmode, new_label);
1978             --LABEL_NUSES (old_label);
1979             ++LABEL_NUSES (new_label);
1980           }
1981
1982       /* Handle casesi dispatch insns */
1983       if ((tmp = single_set (insn)) != NULL
1984           && SET_DEST (tmp) == pc_rtx
1985           && GET_CODE (SET_SRC (tmp)) == IF_THEN_ELSE
1986           && GET_CODE (XEXP (SET_SRC (tmp), 2)) == LABEL_REF
1987           && XEXP (XEXP (SET_SRC (tmp), 2), 0) == old_label)
1988         {
1989           XEXP (SET_SRC (tmp), 2) = gen_rtx_LABEL_REF (VOIDmode,
1990                                                        new_label);
1991           --LABEL_NUSES (old_label);
1992           ++LABEL_NUSES (new_label);
1993         }
1994     }
1995   else
1996     {
1997       /* ?? We may play the games with moving the named labels from
1998          one basic block to the other in case only one computed_jump is
1999          available.  */
2000       if (computed_jump_p (insn))
2001         return false;
2002
2003       /* A return instruction can't be redirected.  */
2004       if (returnjump_p (insn))
2005         return false;
2006
2007       /* If the insn doesn't go where we think, we're confused.  */
2008       if (JUMP_LABEL (insn) != old_label)
2009         abort ();
2010       redirect_jump (insn, block_label (target), 0);
2011     }
2012
2013   if (rtl_dump_file)
2014     fprintf (rtl_dump_file, "Edge %i->%i redirected to %i\n",
2015              e->src->index, e->dest->index, target->index);
2016   if (e->dest != target)
2017     redirect_edge_succ_nodup (e, target);
2018   return true;
2019 }
2020
2021 /* Redirect edge even at the expense of creating new jump insn or
2022    basic block.  Return new basic block if created, NULL otherwise.
2023    Abort if converison is impossible.  */
2024 basic_block
2025 redirect_edge_and_branch_force (e, target)
2026      edge e;
2027      basic_block target;
2028 {
2029   basic_block new_bb;
2030   edge new_edge;
2031   rtx label;
2032   rtx bb_note;
2033   int i, j;
2034
2035   if (redirect_edge_and_branch (e, target))
2036     return NULL;
2037   if (e->dest == target)
2038     return NULL;
2039   if (e->flags & EDGE_ABNORMAL)
2040     abort ();
2041   if (!(e->flags & EDGE_FALLTHRU))
2042     abort ();
2043
2044   e->flags &= ~EDGE_FALLTHRU;
2045   label = block_label (target);
2046   /* Case of the fallthru block.  */
2047   if (!e->src->succ->succ_next)
2048     {
2049       e->src->end = emit_jump_insn_after (gen_jump (label),
2050                                           last_loop_beg_note (e->src->end));
2051       JUMP_LABEL (e->src->end) = label;
2052       LABEL_NUSES (label)++;
2053       if (basic_block_for_insn)
2054         set_block_for_new_insns (e->src->end, e->src);
2055       emit_barrier_after (e->src->end);
2056       if (rtl_dump_file)
2057         fprintf (rtl_dump_file,
2058                  "Emitting jump insn %i to redirect edge %i->%i to %i\n",
2059                  INSN_UID (e->src->end), e->src->index, e->dest->index,
2060                  target->index);
2061       redirect_edge_succ (e, target);
2062       return NULL;
2063     }
2064   /* Redirecting fallthru edge of the conditional needs extra work.  */
2065
2066   if (rtl_dump_file)
2067     fprintf (rtl_dump_file,
2068              "Emitting jump insn %i in new BB to redirect edge %i->%i to %i\n",
2069              INSN_UID (e->src->end), e->src->index, e->dest->index,
2070              target->index);
2071
2072   /* Create the new structures.  */
2073   new_bb = (basic_block) obstack_alloc (&flow_obstack, sizeof (*new_bb));
2074   new_edge = (edge) xcalloc (1, sizeof (*new_edge));
2075   n_edges++;
2076
2077   memset (new_bb, 0, sizeof (*new_bb));
2078
2079   new_bb->end = new_bb->head = last_loop_beg_note (e->src->end);
2080   new_bb->succ = NULL;
2081   new_bb->pred = new_edge;
2082   new_bb->count = e->count;
2083   new_bb->frequency = EDGE_FREQUENCY (e);
2084   new_bb->loop_depth = e->dest->loop_depth;
2085
2086   new_edge->flags = EDGE_FALLTHRU;
2087   new_edge->probability = e->probability;
2088   new_edge->count = e->count;
2089
2090   if (target->global_live_at_start)
2091     {
2092       new_bb->global_live_at_start = OBSTACK_ALLOC_REG_SET (&flow_obstack);
2093       new_bb->global_live_at_end = OBSTACK_ALLOC_REG_SET (&flow_obstack);
2094       COPY_REG_SET (new_bb->global_live_at_start,
2095                     target->global_live_at_start);
2096       COPY_REG_SET (new_bb->global_live_at_end, new_bb->global_live_at_start);
2097     }
2098
2099   /* Wire edge in.  */
2100   new_edge->src = e->src;
2101   new_edge->dest = new_bb;
2102   new_edge->succ_next = e->src->succ;
2103   e->src->succ = new_edge;
2104   new_edge->pred_next = NULL;
2105
2106   /* Redirect old edge.  */
2107   redirect_edge_succ (e, target);
2108   redirect_edge_pred (e, new_bb);
2109   e->probability = REG_BR_PROB_BASE;
2110
2111   /* Place the new block just after the block being split.  */
2112   VARRAY_GROW (basic_block_info, ++n_basic_blocks);
2113
2114   /* Some parts of the compiler expect blocks to be number in
2115      sequential order so insert the new block immediately after the
2116      block being split..  */
2117   j = new_edge->src->index;
2118   for (i = n_basic_blocks - 1; i > j + 1; --i)
2119     {
2120       basic_block tmp = BASIC_BLOCK (i - 1);
2121       BASIC_BLOCK (i) = tmp;
2122       tmp->index = i;
2123     }
2124
2125   BASIC_BLOCK (i) = new_bb;
2126   new_bb->index = i;
2127
2128   /* Create the basic block note.  */
2129   bb_note = emit_note_after (NOTE_INSN_BASIC_BLOCK, new_bb->head);
2130   NOTE_BASIC_BLOCK (bb_note) = new_bb;
2131   new_bb->head = bb_note;
2132
2133   new_bb->end = emit_jump_insn_after (gen_jump (label), new_bb->head);
2134   JUMP_LABEL (new_bb->end) = label;
2135   LABEL_NUSES (label)++;
2136   if (basic_block_for_insn)
2137     set_block_for_new_insns (new_bb->end, new_bb);
2138   emit_barrier_after (new_bb->end);
2139   return new_bb;
2140 }
2141
2142 /* Helper function for split_edge.  Return true in case edge BB2 to BB1
2143    is back edge of syntactic loop.  */
2144 static bool
2145 back_edge_of_syntactic_loop_p (bb1, bb2)
2146         basic_block bb1, bb2;
2147 {
2148   rtx insn;
2149   int count = 0;
2150
2151   if (bb1->index > bb2->index)
2152     return false;
2153
2154   if (bb1->index == bb2->index)
2155     return true;
2156
2157   for (insn = bb1->end; insn != bb2->head && count >= 0;
2158        insn = NEXT_INSN (insn))
2159     if (GET_CODE (insn) == NOTE)
2160       {
2161         if (NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_BEG)
2162           count++;
2163         if (NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_END)
2164           count--;
2165       }
2166
2167   return count >= 0;
2168 }
2169
2170 /* Split a (typically critical) edge.  Return the new block.
2171    Abort on abnormal edges.
2172
2173    ??? The code generally expects to be called on critical edges.
2174    The case of a block ending in an unconditional jump to a
2175    block with multiple predecessors is not handled optimally.  */
2176
2177 basic_block
2178 split_edge (edge_in)
2179      edge edge_in;
2180 {
2181   basic_block old_pred, bb, old_succ;
2182   edge edge_out;
2183   rtx bb_note;
2184   int i, j;
2185
2186   /* Abnormal edges cannot be split.  */
2187   if ((edge_in->flags & EDGE_ABNORMAL) != 0)
2188     abort ();
2189
2190   old_pred = edge_in->src;
2191   old_succ = edge_in->dest;
2192
2193   /* Create the new structures.  */
2194   bb = (basic_block) obstack_alloc (&flow_obstack, sizeof (*bb));
2195   edge_out = (edge) xcalloc (1, sizeof (*edge_out));
2196   n_edges++;
2197
2198   memset (bb, 0, sizeof (*bb));
2199
2200   /* ??? This info is likely going to be out of date very soon.  */
2201   if (old_succ->global_live_at_start)
2202     {
2203       bb->global_live_at_start = OBSTACK_ALLOC_REG_SET (&flow_obstack);
2204       bb->global_live_at_end = OBSTACK_ALLOC_REG_SET (&flow_obstack);
2205       COPY_REG_SET (bb->global_live_at_start, old_succ->global_live_at_start);
2206       COPY_REG_SET (bb->global_live_at_end, old_succ->global_live_at_start);
2207     }
2208
2209   /* Wire them up.  */
2210   bb->succ = edge_out;
2211   bb->count = edge_in->count;
2212   bb->frequency = EDGE_FREQUENCY (edge_in);
2213
2214   edge_in->flags &= ~EDGE_CRITICAL;
2215
2216   edge_out->pred_next = old_succ->pred;
2217   edge_out->succ_next = NULL;
2218   edge_out->src = bb;
2219   edge_out->dest = old_succ;
2220   edge_out->flags = EDGE_FALLTHRU;
2221   edge_out->probability = REG_BR_PROB_BASE;
2222   edge_out->count = edge_in->count;
2223
2224   old_succ->pred = edge_out;
2225
2226   /* Tricky case -- if there existed a fallthru into the successor
2227      (and we're not it) we must add a new unconditional jump around
2228      the new block we're actually interested in.
2229
2230      Further, if that edge is critical, this means a second new basic
2231      block must be created to hold it.  In order to simplify correct
2232      insn placement, do this before we touch the existing basic block
2233      ordering for the block we were really wanting.  */
2234   if ((edge_in->flags & EDGE_FALLTHRU) == 0)
2235     {
2236       edge e;
2237       for (e = edge_out->pred_next; e; e = e->pred_next)
2238         if (e->flags & EDGE_FALLTHRU)
2239           break;
2240
2241       if (e)
2242         {
2243           basic_block jump_block;
2244           rtx pos;
2245
2246           if ((e->flags & EDGE_CRITICAL) == 0
2247               && e->src != ENTRY_BLOCK_PTR)
2248             {
2249               /* Non critical -- we can simply add a jump to the end
2250                  of the existing predecessor.  */
2251               jump_block = e->src;
2252             }
2253           else
2254             {
2255               /* We need a new block to hold the jump.  The simplest
2256                  way to do the bulk of the work here is to recursively
2257                  call ourselves.  */
2258               jump_block = split_edge (e);
2259               e = jump_block->succ;
2260             }
2261
2262           /* Now add the jump insn ...  */
2263           pos = emit_jump_insn_after (gen_jump (old_succ->head),
2264                                       last_loop_beg_note (jump_block->end));
2265           jump_block->end = pos;
2266           if (basic_block_for_insn)
2267             set_block_for_new_insns (pos, jump_block);
2268           emit_barrier_after (pos);
2269
2270           /* ... let jump know that label is in use, ...  */
2271           JUMP_LABEL (pos) = old_succ->head;
2272           ++LABEL_NUSES (old_succ->head);
2273
2274           /* ... and clear fallthru on the outgoing edge.  */
2275           e->flags &= ~EDGE_FALLTHRU;
2276
2277           /* Continue splitting the interesting edge.  */
2278         }
2279     }
2280
2281   /* Place the new block just in front of the successor.  */
2282   VARRAY_GROW (basic_block_info, ++n_basic_blocks);
2283   if (old_succ == EXIT_BLOCK_PTR)
2284     j = n_basic_blocks - 1;
2285   else
2286     j = old_succ->index;
2287   for (i = n_basic_blocks - 1; i > j; --i)
2288     {
2289       basic_block tmp = BASIC_BLOCK (i - 1);
2290       BASIC_BLOCK (i) = tmp;
2291       tmp->index = i;
2292     }
2293   BASIC_BLOCK (i) = bb;
2294   bb->index = i;
2295
2296   /* Create the basic block note.
2297
2298      Where we place the note can have a noticable impact on the generated
2299      code.  Consider this cfg:
2300
2301                         E
2302                         |
2303                         0
2304                        / \
2305                    +->1-->2--->E
2306                    |  |
2307                    +--+
2308
2309       If we need to insert an insn on the edge from block 0 to block 1,
2310       we want to ensure the instructions we insert are outside of any
2311       loop notes that physically sit between block 0 and block 1.  Otherwise
2312       we confuse the loop optimizer into thinking the loop is a phony.  */
2313   if (old_succ != EXIT_BLOCK_PTR
2314       && PREV_INSN (old_succ->head)
2315       && GET_CODE (PREV_INSN (old_succ->head)) == NOTE
2316       && NOTE_LINE_NUMBER (PREV_INSN (old_succ->head)) == NOTE_INSN_LOOP_BEG
2317       && !back_edge_of_syntactic_loop_p (old_succ, old_pred))
2318     bb_note = emit_note_before (NOTE_INSN_BASIC_BLOCK,
2319                                 PREV_INSN (old_succ->head));
2320   else if (old_succ != EXIT_BLOCK_PTR)
2321     bb_note = emit_note_before (NOTE_INSN_BASIC_BLOCK, old_succ->head);
2322   else
2323     bb_note = emit_note_after (NOTE_INSN_BASIC_BLOCK, get_last_insn ());
2324   NOTE_BASIC_BLOCK (bb_note) = bb;
2325   bb->head = bb->end = bb_note;
2326
2327   /* For non-fallthry edges, we must adjust the predecessor's
2328      jump instruction to target our new block.  */
2329   if ((edge_in->flags & EDGE_FALLTHRU) == 0)
2330     {
2331       if (!redirect_edge_and_branch (edge_in, bb))
2332         abort ();
2333     }
2334   else
2335     redirect_edge_succ (edge_in, bb);
2336
2337   return bb;
2338 }
2339
2340 /* Queue instructions for insertion on an edge between two basic blocks.
2341    The new instructions and basic blocks (if any) will not appear in the
2342    CFG until commit_edge_insertions is called.  */
2343
2344 void
2345 insert_insn_on_edge (pattern, e)
2346      rtx pattern;
2347      edge e;
2348 {
2349   /* We cannot insert instructions on an abnormal critical edge.
2350      It will be easier to find the culprit if we die now.  */
2351   if ((e->flags & (EDGE_ABNORMAL|EDGE_CRITICAL))
2352       == (EDGE_ABNORMAL|EDGE_CRITICAL))
2353     abort ();
2354
2355   if (e->insns == NULL_RTX)
2356     start_sequence ();
2357   else
2358     push_to_sequence (e->insns);
2359
2360   emit_insn (pattern);
2361
2362   e->insns = get_insns ();
2363   end_sequence ();
2364 }
2365
2366 /* Update the CFG for the instructions queued on edge E.  */
2367
2368 static void
2369 commit_one_edge_insertion (e)
2370      edge e;
2371 {
2372   rtx before = NULL_RTX, after = NULL_RTX, insns, tmp, last;
2373   basic_block bb;
2374
2375   /* Pull the insns off the edge now since the edge might go away.  */
2376   insns = e->insns;
2377   e->insns = NULL_RTX;
2378
2379   /* Figure out where to put these things.  If the destination has
2380      one predecessor, insert there.  Except for the exit block.  */
2381   if (e->dest->pred->pred_next == NULL
2382       && e->dest != EXIT_BLOCK_PTR)
2383     {
2384       bb = e->dest;
2385
2386       /* Get the location correct wrt a code label, and "nice" wrt
2387          a basic block note, and before everything else.  */
2388       tmp = bb->head;
2389       if (GET_CODE (tmp) == CODE_LABEL)
2390         tmp = NEXT_INSN (tmp);
2391       if (NOTE_INSN_BASIC_BLOCK_P (tmp))
2392         tmp = NEXT_INSN (tmp);
2393       if (tmp == bb->head)
2394         before = tmp;
2395       else
2396         after = PREV_INSN (tmp);
2397     }
2398
2399   /* If the source has one successor and the edge is not abnormal,
2400      insert there.  Except for the entry block.  */
2401   else if ((e->flags & EDGE_ABNORMAL) == 0
2402            && e->src->succ->succ_next == NULL
2403            && e->src != ENTRY_BLOCK_PTR)
2404     {
2405       bb = e->src;
2406       /* It is possible to have a non-simple jump here.  Consider a target
2407          where some forms of unconditional jumps clobber a register.  This
2408          happens on the fr30 for example.
2409
2410          We know this block has a single successor, so we can just emit
2411          the queued insns before the jump.  */
2412       if (GET_CODE (bb->end) == JUMP_INSN)
2413         {
2414           before = bb->end;
2415           while (GET_CODE (PREV_INSN (before)) == NOTE
2416                  && NOTE_LINE_NUMBER (PREV_INSN (before)) == NOTE_INSN_LOOP_BEG)
2417             before = PREV_INSN (before);
2418         }
2419       else
2420         {
2421           /* We'd better be fallthru, or we've lost track of what's what.  */
2422           if ((e->flags & EDGE_FALLTHRU) == 0)
2423             abort ();
2424
2425           after = bb->end;
2426         }
2427     }
2428
2429   /* Otherwise we must split the edge.  */
2430   else
2431     {
2432       bb = split_edge (e);
2433       after = bb->end;
2434     }
2435
2436   /* Now that we've found the spot, do the insertion.  */
2437
2438   /* Set the new block number for these insns, if structure is allocated.  */
2439   if (basic_block_for_insn)
2440     {
2441       rtx i;
2442       for (i = insns; i != NULL_RTX; i = NEXT_INSN (i))
2443         set_block_for_insn (i, bb);
2444     }
2445
2446   if (before)
2447     {
2448       emit_insns_before (insns, before);
2449       if (before == bb->head)
2450         bb->head = insns;
2451
2452       last = prev_nonnote_insn (before);
2453     }
2454   else
2455     {
2456       last = emit_insns_after (insns, after);
2457       if (after == bb->end)
2458         bb->end = last;
2459     }
2460
2461   if (returnjump_p (last))
2462     {
2463       /* ??? Remove all outgoing edges from BB and add one for EXIT.
2464          This is not currently a problem because this only happens
2465          for the (single) epilogue, which already has a fallthru edge
2466          to EXIT.  */
2467
2468       e = bb->succ;
2469       if (e->dest != EXIT_BLOCK_PTR
2470           || e->succ_next != NULL
2471           || (e->flags & EDGE_FALLTHRU) == 0)
2472         abort ();
2473       e->flags &= ~EDGE_FALLTHRU;
2474
2475       emit_barrier_after (last);
2476       bb->end = last;
2477
2478       if (before)
2479         flow_delete_insn (before);
2480     }
2481   else if (GET_CODE (last) == JUMP_INSN)
2482     abort ();
2483   find_sub_basic_blocks (bb);
2484 }
2485
2486 /* Update the CFG for all queued instructions.  */
2487
2488 void
2489 commit_edge_insertions ()
2490 {
2491   int i;
2492   basic_block bb;
2493   compute_bb_for_insn (get_max_uid ());
2494
2495 #ifdef ENABLE_CHECKING
2496   verify_flow_info ();
2497 #endif
2498
2499   i = -1;
2500   bb = ENTRY_BLOCK_PTR;
2501   while (1)
2502     {
2503       edge e, next;
2504
2505       for (e = bb->succ; e; e = next)
2506         {
2507           next = e->succ_next;
2508           if (e->insns)
2509             commit_one_edge_insertion (e);
2510         }
2511
2512       if (++i >= n_basic_blocks)
2513         break;
2514       bb = BASIC_BLOCK (i);
2515     }
2516 }
2517
2518 /* Return true if we need to add fake edge to exit.
2519    Helper function for the flow_call_edges_add.  */
2520 static bool
2521 need_fake_edge_p (insn)
2522      rtx insn;
2523 {
2524   if (!INSN_P (insn))
2525     return false;
2526
2527   if ((GET_CODE (insn) == CALL_INSN
2528        && !SIBLING_CALL_P (insn)
2529        && !find_reg_note (insn, REG_NORETURN, NULL)
2530        && !find_reg_note (insn, REG_ALWAYS_RETURN, NULL)
2531        && !CONST_OR_PURE_CALL_P (insn)))
2532     return true;
2533
2534   return ((GET_CODE (PATTERN (insn)) == ASM_OPERANDS
2535            && MEM_VOLATILE_P (PATTERN (insn)))
2536           || (GET_CODE (PATTERN (insn)) == PARALLEL
2537               && asm_noperands (insn) != -1
2538               && MEM_VOLATILE_P (XVECEXP (PATTERN (insn), 0, 0)))
2539           || GET_CODE (PATTERN (insn)) == ASM_INPUT);
2540 }
2541
2542 /* Add fake edges to the function exit for any non constant and non noreturn
2543    calls, volatile inline assembly in the bitmap of blocks specified by
2544    BLOCKS or to the whole CFG if BLOCKS is zero.  Return the nuber of blocks
2545    that were split.
2546
2547    The goal is to expose cases in which entering a basic block does not imply
2548    that all subsequent instructions must be executed.  */
2549
2550 int
2551 flow_call_edges_add (blocks)
2552      sbitmap blocks;
2553 {
2554   int i;
2555   int blocks_split = 0;
2556   int bb_num = 0;
2557   basic_block *bbs;
2558   bool check_last_block = false;
2559
2560   /* Map bb indicies into basic block pointers since split_block
2561      will renumber the basic blocks.  */
2562
2563   bbs = xmalloc (n_basic_blocks * sizeof (*bbs));
2564
2565   if (! blocks)
2566     {
2567       for (i = 0; i < n_basic_blocks; i++)
2568         bbs[bb_num++] = BASIC_BLOCK (i);
2569       check_last_block = true;
2570     }
2571   else
2572     {
2573       EXECUTE_IF_SET_IN_SBITMAP (blocks, 0, i,
2574       {
2575         bbs[bb_num++] = BASIC_BLOCK (i);
2576         if (i == n_basic_blocks - 1)
2577           check_last_block = true;
2578       });
2579     }
2580
2581   /* In the last basic block, before epilogue generation, there will be
2582      a fallthru edge to EXIT.  Special care is required if the last insn
2583      of the last basic block is a call because make_edge folds duplicate
2584      edges, which would result in the fallthru edge also being marked
2585      fake, which would result in the fallthru edge being removed by
2586      remove_fake_edges, which would result in an invalid CFG.
2587
2588      Moreover, we can't elide the outgoing fake edge, since the block
2589      profiler needs to take this into account in order to solve the minimal
2590      spanning tree in the case that the call doesn't return.
2591
2592      Handle this by adding a dummy instruction in a new last basic block.  */
2593   if (check_last_block
2594       && need_fake_edge_p (BASIC_BLOCK (n_basic_blocks - 1)->end))
2595     {
2596        edge e;
2597        for (e = BASIC_BLOCK (n_basic_blocks - 1)->succ; e; e = e->succ_next)
2598          if (e->dest == EXIT_BLOCK_PTR)
2599             break;
2600        insert_insn_on_edge (gen_rtx_USE (VOIDmode, const0_rtx), e);
2601        commit_edge_insertions ();
2602     }
2603
2604
2605   /* Now add fake edges to the function exit for any non constant
2606      calls since there is no way that we can determine if they will
2607      return or not...  */
2608
2609   for (i = 0; i < bb_num; i++)
2610     {
2611       basic_block bb = bbs[i];
2612       rtx insn;
2613       rtx prev_insn;
2614
2615       for (insn = bb->end; ; insn = prev_insn)
2616         {
2617           prev_insn = PREV_INSN (insn);
2618           if (need_fake_edge_p (insn))
2619             {
2620               edge e;
2621
2622               /* The above condition should be enought to verify that there is
2623                  no edge to the exit block in CFG already.  Calling make_edge in
2624                  such case would make us to mark that edge as fake and remove it
2625                  later.  */
2626 #ifdef ENABLE_CHECKING
2627               if (insn == bb->end)
2628                 for (e = bb->succ; e; e = e->succ_next)
2629                   if (e->dest == EXIT_BLOCK_PTR)
2630                     abort ();
2631 #endif
2632
2633               /* Note that the following may create a new basic block
2634                  and renumber the existing basic blocks.  */
2635               e = split_block (bb, insn);
2636               if (e)
2637                 blocks_split++;
2638
2639               make_edge (NULL, bb, EXIT_BLOCK_PTR, EDGE_FAKE);
2640             }
2641           if (insn == bb->head)
2642             break;
2643         }
2644     }
2645
2646   if (blocks_split)
2647     verify_flow_info ();
2648
2649   free (bbs);
2650   return blocks_split;
2651 }
2652 \f
2653 /* Find unreachable blocks.  An unreachable block will have 0 in
2654    the reachable bit in block->flags.  A non-zero value indicates the
2655    block is reachable.  */
2656
2657 void
2658 find_unreachable_blocks ()
2659 {
2660   edge e;
2661   int i, n;
2662   basic_block *tos, *worklist;
2663
2664   n = n_basic_blocks;
2665   tos = worklist = (basic_block *) xmalloc (sizeof (basic_block) * n);
2666
2667   /* Clear all the reachability flags.  */
2668
2669   for (i = 0; i < n; ++i)
2670     BASIC_BLOCK (i)->flags &= ~BB_REACHABLE;
2671
2672   /* Add our starting points to the worklist.  Almost always there will
2673      be only one.  It isn't inconcievable that we might one day directly
2674      support Fortran alternate entry points.  */
2675
2676   for (e = ENTRY_BLOCK_PTR->succ; e; e = e->succ_next)
2677     {
2678       *tos++ = e->dest;
2679
2680       /* Mark the block reachable.  */
2681       e->dest->flags |= BB_REACHABLE;
2682     }
2683
2684   /* Iterate: find everything reachable from what we've already seen.  */
2685
2686   while (tos != worklist)
2687     {
2688       basic_block b = *--tos;
2689
2690       for (e = b->succ; e; e = e->succ_next)
2691         if (!(e->dest->flags & BB_REACHABLE))
2692           {
2693             *tos++ = e->dest;
2694             e->dest->flags |= BB_REACHABLE;
2695           }
2696     }
2697
2698   free (worklist);
2699 }
2700
2701 /* Delete all unreachable basic blocks.   */
2702 static void
2703 delete_unreachable_blocks ()
2704 {
2705   int i;
2706
2707   find_unreachable_blocks ();
2708
2709   /* Delete all unreachable basic blocks.  Count down so that we
2710      don't interfere with the block renumbering that happens in
2711      flow_delete_block.  */
2712
2713   for (i = n_basic_blocks - 1; i >= 0; --i)
2714     {
2715       basic_block b = BASIC_BLOCK (i);
2716
2717       if (!(b->flags & BB_REACHABLE))
2718         flow_delete_block (b);
2719     }
2720
2721   tidy_fallthru_edges ();
2722 }
2723
2724 /* Return true if NOTE is not one of the ones that must be kept paired,
2725    so that we may simply delete them.  */
2726
2727 static int
2728 can_delete_note_p (note)
2729      rtx note;
2730 {
2731   return (NOTE_LINE_NUMBER (note) == NOTE_INSN_DELETED
2732           || NOTE_LINE_NUMBER (note) == NOTE_INSN_BASIC_BLOCK);
2733 }
2734
2735 /* Unlink a chain of insns between START and FINISH, leaving notes
2736    that must be paired.  */
2737
2738 void
2739 flow_delete_insn_chain (start, finish)
2740      rtx start, finish;
2741 {
2742   /* Unchain the insns one by one.  It would be quicker to delete all
2743      of these with a single unchaining, rather than one at a time, but
2744      we need to keep the NOTE's.  */
2745
2746   rtx next;
2747
2748   while (1)
2749     {
2750       next = NEXT_INSN (start);
2751       if (GET_CODE (start) == NOTE && !can_delete_note_p (start))
2752         ;
2753       else if (GET_CODE (start) == CODE_LABEL
2754                && ! can_delete_label_p (start))
2755         {
2756           const char *name = LABEL_NAME (start);
2757           PUT_CODE (start, NOTE);
2758           NOTE_LINE_NUMBER (start) = NOTE_INSN_DELETED_LABEL;
2759           NOTE_SOURCE_FILE (start) = name;
2760         }
2761       else
2762         next = flow_delete_insn (start);
2763
2764       if (start == finish)
2765         break;
2766       start = next;
2767     }
2768 }
2769
2770 /* Delete the insns in a (non-live) block.  We physically delete every
2771    non-deleted-note insn, and update the flow graph appropriately.
2772
2773    Return nonzero if we deleted an exception handler.  */
2774
2775 /* ??? Preserving all such notes strikes me as wrong.  It would be nice
2776    to post-process the stream to remove empty blocks, loops, ranges, etc.  */
2777
2778 int
2779 flow_delete_block (b)
2780      basic_block b;
2781 {
2782   int deleted_handler = 0;
2783   rtx insn, end, tmp;
2784
2785   /* If the head of this block is a CODE_LABEL, then it might be the
2786      label for an exception handler which can't be reached.
2787
2788      We need to remove the label from the exception_handler_label list
2789      and remove the associated NOTE_INSN_EH_REGION_BEG and
2790      NOTE_INSN_EH_REGION_END notes.  */
2791
2792   insn = b->head;
2793
2794   never_reached_warning (insn);
2795
2796   if (GET_CODE (insn) == CODE_LABEL)
2797     maybe_remove_eh_handler (insn);
2798
2799   /* Include any jump table following the basic block.  */
2800   end = b->end;
2801   if (GET_CODE (end) == JUMP_INSN
2802       && (tmp = JUMP_LABEL (end)) != NULL_RTX
2803       && (tmp = NEXT_INSN (tmp)) != NULL_RTX
2804       && GET_CODE (tmp) == JUMP_INSN
2805       && (GET_CODE (PATTERN (tmp)) == ADDR_VEC
2806           || GET_CODE (PATTERN (tmp)) == ADDR_DIFF_VEC))
2807     end = tmp;
2808
2809   /* Include any barrier that may follow the basic block.  */
2810   tmp = next_nonnote_insn (end);
2811   if (tmp && GET_CODE (tmp) == BARRIER)
2812     end = tmp;
2813
2814   /* Selectively delete the entire chain.  */
2815   flow_delete_insn_chain (insn, end);
2816
2817   /* Remove the edges into and out of this block.  Note that there may
2818      indeed be edges in, if we are removing an unreachable loop.  */
2819   {
2820     edge e, next, *q;
2821
2822     for (e = b->pred; e; e = next)
2823       {
2824         for (q = &e->src->succ; *q != e; q = &(*q)->succ_next)
2825           continue;
2826         *q = e->succ_next;
2827         next = e->pred_next;
2828         n_edges--;
2829         free (e);
2830       }
2831     for (e = b->succ; e; e = next)
2832       {
2833         for (q = &e->dest->pred; *q != e; q = &(*q)->pred_next)
2834           continue;
2835         *q = e->pred_next;
2836         next = e->succ_next;
2837         n_edges--;
2838         free (e);
2839       }
2840
2841     b->pred = NULL;
2842     b->succ = NULL;
2843   }
2844
2845   /* Remove the basic block from the array, and compact behind it.  */
2846   expunge_block (b);
2847
2848   return deleted_handler;
2849 }
2850
2851 /* Remove block B from the basic block array and compact behind it.  */
2852
2853 void
2854 expunge_block (b)
2855      basic_block b;
2856 {
2857   int i, n = n_basic_blocks;
2858
2859   for (i = b->index; i + 1 < n; ++i)
2860     {
2861       basic_block x = BASIC_BLOCK (i + 1);
2862       BASIC_BLOCK (i) = x;
2863       x->index = i;
2864     }
2865
2866   basic_block_info->num_elements--;
2867   n_basic_blocks--;
2868 }
2869
2870 /* Delete INSN by patching it out.  Return the next insn.  */
2871
2872 rtx
2873 flow_delete_insn (insn)
2874      rtx insn;
2875 {
2876   rtx prev = PREV_INSN (insn);
2877   rtx next = NEXT_INSN (insn);
2878   rtx note;
2879
2880   PREV_INSN (insn) = NULL_RTX;
2881   NEXT_INSN (insn) = NULL_RTX;
2882   INSN_DELETED_P (insn) = 1;
2883
2884   if (prev)
2885     NEXT_INSN (prev) = next;
2886   if (next)
2887     PREV_INSN (next) = prev;
2888   else
2889     set_last_insn (prev);
2890
2891   if (GET_CODE (insn) == CODE_LABEL)
2892     remove_node_from_expr_list (insn, &nonlocal_goto_handler_labels);
2893
2894   /* If deleting a jump, decrement the use count of the label.  Deleting
2895      the label itself should happen in the normal course of block merging.  */
2896   if (GET_CODE (insn) == JUMP_INSN
2897       && JUMP_LABEL (insn)
2898       && GET_CODE (JUMP_LABEL (insn)) == CODE_LABEL)
2899     LABEL_NUSES (JUMP_LABEL (insn))--;
2900
2901   /* Also if deleting an insn that references a label.  */
2902   else if ((note = find_reg_note (insn, REG_LABEL, NULL_RTX)) != NULL_RTX
2903            && GET_CODE (XEXP (note, 0)) == CODE_LABEL)
2904     LABEL_NUSES (XEXP (note, 0))--;
2905
2906   if (GET_CODE (insn) == JUMP_INSN
2907       && (GET_CODE (PATTERN (insn)) == ADDR_VEC
2908           || GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC))
2909     {
2910       rtx pat = PATTERN (insn);
2911       int diff_vec_p = GET_CODE (PATTERN (insn)) == ADDR_DIFF_VEC;
2912       int len = XVECLEN (pat, diff_vec_p);
2913       int i;
2914
2915       for (i = 0; i < len; i++)
2916         LABEL_NUSES (XEXP (XVECEXP (pat, diff_vec_p, i), 0))--;
2917     }
2918
2919   return next;
2920 }
2921
2922 /* True if a given label can be deleted.  */
2923
2924 static int
2925 can_delete_label_p (label)
2926      rtx label;
2927 {
2928   rtx x;
2929
2930   if (LABEL_PRESERVE_P (label))
2931     return 0;
2932
2933   for (x = forced_labels; x; x = XEXP (x, 1))
2934     if (label == XEXP (x, 0))
2935       return 0;
2936   for (x = label_value_list; x; x = XEXP (x, 1))
2937     if (label == XEXP (x, 0))
2938       return 0;
2939   for (x = exception_handler_labels; x; x = XEXP (x, 1))
2940     if (label == XEXP (x, 0))
2941       return 0;
2942
2943   /* User declared labels must be preserved.  */
2944   if (LABEL_NAME (label) != 0)
2945     return 0;
2946
2947   return 1;
2948 }
2949
2950 static int
2951 tail_recursion_label_p (label)
2952      rtx label;
2953 {
2954   rtx x;
2955
2956   for (x = tail_recursion_label_list; x; x = XEXP (x, 1))
2957     if (label == XEXP (x, 0))
2958       return 1;
2959
2960   return 0;
2961 }
2962
2963 /* Blocks A and B are to be merged into a single block A.  The insns
2964    are already contiguous, hence `nomove'.  */
2965
2966 void
2967 merge_blocks_nomove (a, b)
2968      basic_block a, b;
2969 {
2970   edge e;
2971   rtx b_head, b_end, a_end;
2972   rtx del_first = NULL_RTX, del_last = NULL_RTX;
2973   int b_empty = 0;
2974
2975   /* If there was a CODE_LABEL beginning B, delete it.  */
2976   b_head = b->head;
2977   b_end = b->end;
2978   if (GET_CODE (b_head) == CODE_LABEL)
2979     {
2980       /* Detect basic blocks with nothing but a label.  This can happen
2981          in particular at the end of a function.  */
2982       if (b_head == b_end)
2983         b_empty = 1;
2984       del_first = del_last = b_head;
2985       b_head = NEXT_INSN (b_head);
2986     }
2987
2988   /* Delete the basic block note.  */
2989   if (NOTE_INSN_BASIC_BLOCK_P (b_head))
2990     {
2991       if (b_head == b_end)
2992         b_empty = 1;
2993       if (! del_last)
2994         del_first = b_head;
2995       del_last = b_head;
2996       b_head = NEXT_INSN (b_head);
2997     }
2998
2999   /* If there was a jump out of A, delete it.  */
3000   a_end = a->end;
3001   if (GET_CODE (a_end) == JUMP_INSN)
3002     {
3003       rtx prev;
3004
3005       for (prev = PREV_INSN (a_end); ; prev = PREV_INSN (prev))
3006         if (GET_CODE (prev) != NOTE
3007             || NOTE_LINE_NUMBER (prev) == NOTE_INSN_BASIC_BLOCK
3008             || prev == a->head)
3009           break;
3010
3011       del_first = a_end;
3012
3013 #ifdef HAVE_cc0
3014       /* If this was a conditional jump, we need to also delete
3015          the insn that set cc0.  */
3016       if (only_sets_cc0_p (prev))
3017         {
3018           rtx tmp = prev;
3019           prev = prev_nonnote_insn (prev);
3020           if (!prev)
3021             prev = a->head;
3022           del_first = tmp;
3023         }
3024 #endif
3025
3026       a_end = prev;
3027     }
3028   else if (GET_CODE (NEXT_INSN (a_end)) == BARRIER)
3029     del_first = NEXT_INSN (a_end);
3030
3031   /* Delete everything marked above as well as crap that might be
3032      hanging out between the two blocks.  */
3033   flow_delete_insn_chain (del_first, del_last);
3034
3035   /* Normally there should only be one successor of A and that is B, but
3036      partway though the merge of blocks for conditional_execution we'll
3037      be merging a TEST block with THEN and ELSE successors.  Free the
3038      whole lot of them and hope the caller knows what they're doing.  */
3039   while (a->succ)
3040     remove_edge (a->succ);
3041
3042   /* Adjust the edges out of B for the new owner.  */
3043   for (e = b->succ; e; e = e->succ_next)
3044     e->src = a;
3045   a->succ = b->succ;
3046
3047   /* B hasn't quite yet ceased to exist.  Attempt to prevent mishap.  */
3048   b->pred = b->succ = NULL;
3049
3050   /* Reassociate the insns of B with A.  */
3051   if (!b_empty)
3052     {
3053       if (basic_block_for_insn)
3054         {
3055           BLOCK_FOR_INSN (b_head) = a;
3056           while (b_head != b_end)
3057             {
3058               b_head = NEXT_INSN (b_head);
3059               BLOCK_FOR_INSN (b_head) = a;
3060             }
3061         }
3062       a_end = b_end;
3063     }
3064   a->end = a_end;
3065
3066   expunge_block (b);
3067 }
3068
3069 /* Blocks A and B are to be merged into a single block.  A has no incoming
3070    fallthru edge, so it can be moved before B without adding or modifying
3071    any jumps (aside from the jump from A to B).  */
3072
3073 static int
3074 merge_blocks_move_predecessor_nojumps (a, b)
3075      basic_block a, b;
3076 {
3077   rtx barrier;
3078   int index;
3079
3080   barrier = next_nonnote_insn (a->end);
3081   if (GET_CODE (barrier) != BARRIER)
3082     abort ();
3083   flow_delete_insn (barrier);
3084
3085   /* Move block and loop notes out of the chain so that we do not
3086      disturb their order.
3087
3088      ??? A better solution would be to squeeze out all the non-nested notes
3089      and adjust the block trees appropriately.   Even better would be to have
3090      a tighter connection between block trees and rtl so that this is not
3091      necessary.  */
3092   squeeze_notes (&a->head, &a->end);
3093
3094   /* Scramble the insn chain.  */
3095   if (a->end != PREV_INSN (b->head))
3096     reorder_insns (a->head, a->end, PREV_INSN (b->head));
3097
3098   if (rtl_dump_file)
3099     {
3100       fprintf (rtl_dump_file, "Moved block %d before %d and merged.\n",
3101                a->index, b->index);
3102     }
3103
3104   /* Swap the records for the two blocks around.  Although we are deleting B,
3105      A is now where B was and we want to compact the BB array from where
3106      A used to be.  */
3107   BASIC_BLOCK (a->index) = b;
3108   BASIC_BLOCK (b->index) = a;
3109   index = a->index;
3110   a->index = b->index;
3111   b->index = index;
3112
3113   /* Now blocks A and B are contiguous.  Merge them.  */
3114   merge_blocks_nomove (a, b);
3115
3116   return 1;
3117 }
3118
3119 /* Blocks A and B are to be merged into a single block.  B has no outgoing
3120    fallthru edge, so it can be moved after A without adding or modifying
3121    any jumps (aside from the jump from A to B).  */
3122
3123 static int
3124 merge_blocks_move_successor_nojumps (a, b)
3125      basic_block a, b;
3126 {
3127   rtx barrier;
3128
3129   barrier = NEXT_INSN (b->end);
3130
3131   /* Recognize a jump table following block B.  */
3132   if (barrier
3133       && GET_CODE (barrier) == CODE_LABEL
3134       && NEXT_INSN (barrier)
3135       && GET_CODE (NEXT_INSN (barrier)) == JUMP_INSN
3136       && (GET_CODE (PATTERN (NEXT_INSN (barrier))) == ADDR_VEC
3137           || GET_CODE (PATTERN (NEXT_INSN (barrier))) == ADDR_DIFF_VEC))
3138     {
3139       b->end = NEXT_INSN (barrier);
3140       barrier = NEXT_INSN (b->end);
3141     }
3142
3143   /* There had better have been a barrier there.  Delete it.  */
3144   if (barrier && GET_CODE (barrier) == BARRIER)
3145     flow_delete_insn (barrier);
3146
3147   /* Move block and loop notes out of the chain so that we do not
3148      disturb their order.
3149
3150      ??? A better solution would be to squeeze out all the non-nested notes
3151      and adjust the block trees appropriately.   Even better would be to have
3152      a tighter connection between block trees and rtl so that this is not
3153      necessary.  */
3154   squeeze_notes (&b->head, &b->end);
3155
3156   /* Scramble the insn chain.  */
3157   reorder_insns (b->head, b->end, a->end);
3158
3159   /* Now blocks A and B are contiguous.  Merge them.  */
3160   merge_blocks_nomove (a, b);
3161
3162   if (rtl_dump_file)
3163     {
3164       fprintf (rtl_dump_file, "Moved block %d after %d and merged.\n",
3165                b->index, a->index);
3166     }
3167
3168   return 1;
3169 }
3170
3171 /* Attempt to merge basic blocks that are potentially non-adjacent.
3172    Return true iff the attempt succeeded.  */
3173
3174 static int
3175 merge_blocks (e, b, c, mode)
3176      edge e;
3177      basic_block b, c;
3178      int mode;
3179 {
3180   /* If C has a tail recursion label, do not merge.  There is no
3181      edge recorded from the call_placeholder back to this label, as
3182      that would make optimize_sibling_and_tail_recursive_calls more
3183      complex for no gain.  */
3184   if (GET_CODE (c->head) == CODE_LABEL
3185       && tail_recursion_label_p (c->head))
3186     return 0;
3187
3188   /* If B has a fallthru edge to C, no need to move anything.  */
3189   if (e->flags & EDGE_FALLTHRU)
3190     {
3191       merge_blocks_nomove (b, c);
3192
3193       if (rtl_dump_file)
3194         {
3195           fprintf (rtl_dump_file, "Merged %d and %d without moving.\n",
3196                    b->index, c->index);
3197         }
3198
3199       return 1;
3200     }
3201   /* Otherwise we will need to move code around.  Do that only if expensive
3202      transformations are allowed.  */
3203   else if (mode & CLEANUP_EXPENSIVE)
3204     {
3205       edge tmp_edge, c_fallthru_edge;
3206       int c_has_outgoing_fallthru;
3207       int b_has_incoming_fallthru;
3208
3209       /* Avoid overactive code motion, as the forwarder blocks should be
3210          eliminated by edge redirection instead.  One exception might have
3211          been if B is a forwarder block and C has no fallthru edge, but
3212          that should be cleaned up by bb-reorder instead.  */
3213       if (forwarder_block_p (b) || forwarder_block_p (c))
3214         return 0;
3215
3216       /* We must make sure to not munge nesting of lexical blocks,
3217          and loop notes.  This is done by squeezing out all the notes
3218          and leaving them there to lie.  Not ideal, but functional.  */
3219
3220       for (tmp_edge = c->succ; tmp_edge; tmp_edge = tmp_edge->succ_next)
3221         if (tmp_edge->flags & EDGE_FALLTHRU)
3222           break;
3223       c_has_outgoing_fallthru = (tmp_edge != NULL);
3224       c_fallthru_edge = tmp_edge;
3225
3226       for (tmp_edge = b->pred; tmp_edge; tmp_edge = tmp_edge->pred_next)
3227         if (tmp_edge->flags & EDGE_FALLTHRU)
3228           break;
3229       b_has_incoming_fallthru = (tmp_edge != NULL);
3230
3231       /* If B does not have an incoming fallthru, then it can be moved
3232          immediately before C without introducing or modifying jumps.
3233          C cannot be the first block, so we do not have to worry about
3234          accessing a non-existent block.  */
3235       if (! b_has_incoming_fallthru)
3236         return merge_blocks_move_predecessor_nojumps (b, c);
3237
3238       /* Otherwise, we're going to try to move C after B.  If C does
3239          not have an outgoing fallthru, then it can be moved
3240          immediately after B without introducing or modifying jumps.  */
3241       if (! c_has_outgoing_fallthru)
3242         return merge_blocks_move_successor_nojumps (b, c);
3243
3244       /* Otherwise, we'll need to insert an extra jump, and possibly
3245          a new block to contain it.  We can't redirect to EXIT_BLOCK_PTR,
3246          as we don't have explicit return instructions before epilogues
3247          are generated, so give up on that case.  */
3248
3249       if (c_fallthru_edge->dest != EXIT_BLOCK_PTR
3250           && merge_blocks_move_successor_nojumps (b, c))
3251         {
3252           basic_block target = c_fallthru_edge->dest;
3253           rtx barrier;
3254           basic_block new;
3255
3256           /* This is a dirty hack to avoid code duplication.
3257
3258              Set edge to point to wrong basic block, so
3259              redirect_edge_and_branch_force will do the trick
3260              and rewire edge back to the original location.  */
3261           redirect_edge_succ (c_fallthru_edge, ENTRY_BLOCK_PTR);
3262           new = redirect_edge_and_branch_force (c_fallthru_edge, target);
3263
3264           /* We've just created barrier, but another barrier is
3265              already present in the stream.  Avoid the duplicate.  */
3266           barrier = next_nonnote_insn (new ? new->end : b->end);
3267           if (GET_CODE (barrier) != BARRIER)
3268             abort ();
3269           flow_delete_insn (barrier);
3270
3271           return 1;
3272         }
3273
3274       return 0;
3275     }
3276   return 0;
3277 }
3278
3279 /* Simplify a conditional jump around an unconditional jump.
3280    Return true if something changed.  */
3281
3282 static bool
3283 try_simplify_condjump (cbranch_block)
3284      basic_block cbranch_block;
3285 {
3286   basic_block jump_block, jump_dest_block, cbranch_dest_block;
3287   edge cbranch_jump_edge, cbranch_fallthru_edge;
3288   rtx cbranch_insn;
3289
3290   /* Verify that there are exactly two successors.  */
3291   if (!cbranch_block->succ
3292       || !cbranch_block->succ->succ_next
3293       || cbranch_block->succ->succ_next->succ_next)
3294     return false;
3295
3296   /* Verify that we've got a normal conditional branch at the end
3297      of the block.  */
3298   cbranch_insn = cbranch_block->end;
3299   if (!any_condjump_p (cbranch_insn))
3300     return false;
3301
3302   cbranch_fallthru_edge = FALLTHRU_EDGE (cbranch_block);
3303   cbranch_jump_edge = BRANCH_EDGE (cbranch_block);
3304
3305   /* The next block must not have multiple predecessors, must not
3306      be the last block in the function, and must contain just the
3307      unconditional jump.  */
3308   jump_block = cbranch_fallthru_edge->dest;
3309   if (jump_block->pred->pred_next
3310       || jump_block->index == n_basic_blocks - 1
3311       || !forwarder_block_p (jump_block))
3312     return false;
3313   jump_dest_block = jump_block->succ->dest;
3314
3315   /* The conditional branch must target the block after the
3316      unconditional branch.  */
3317   cbranch_dest_block = cbranch_jump_edge->dest;
3318
3319   if (!can_fallthru (jump_block, cbranch_dest_block))
3320     return false;
3321
3322   /* Invert the conditional branch.  Prevent jump.c from deleting
3323      "unreachable" instructions.  */
3324   LABEL_NUSES (JUMP_LABEL (cbranch_insn))++;
3325   if (!invert_jump (cbranch_insn, block_label (jump_dest_block), 1))
3326     {
3327       LABEL_NUSES (JUMP_LABEL (cbranch_insn))--;
3328       return false;
3329     }
3330
3331   if (rtl_dump_file)
3332     fprintf (rtl_dump_file, "Simplifying condjump %i around jump %i\n",
3333              INSN_UID (cbranch_insn), INSN_UID (jump_block->end));
3334
3335   /* Success.  Update the CFG to match.  Note that after this point
3336      the edge variable names appear backwards; the redirection is done
3337      this way to preserve edge profile data.  */
3338   redirect_edge_succ_nodup (cbranch_jump_edge, cbranch_dest_block);
3339   redirect_edge_succ_nodup (cbranch_fallthru_edge, jump_dest_block);
3340   cbranch_jump_edge->flags |= EDGE_FALLTHRU;
3341   cbranch_fallthru_edge->flags &= ~EDGE_FALLTHRU;
3342
3343   /* Delete the block with the unconditional jump, and clean up the mess.  */
3344   flow_delete_block (jump_block);
3345   tidy_fallthru_edge (cbranch_jump_edge, cbranch_block, cbranch_dest_block);
3346
3347   return true;
3348 }
3349
3350 /* Attempt to forward edges leaving basic block B.
3351    Return true if sucessful.  */
3352
3353 static bool
3354 try_forward_edges (mode, b)
3355      basic_block b;
3356      int mode;
3357 {
3358   bool changed = false;
3359   edge e, next;
3360
3361   for (e = b->succ; e ; e = next)
3362     {
3363       basic_block target, first;
3364       int counter;
3365
3366       next = e->succ_next;
3367
3368       /* Skip complex edges because we don't know how to update them.
3369
3370          Still handle fallthru edges, as we can suceed to forward fallthru
3371          edge to the same place as the branch edge of conditional branch
3372          and turn conditional branch to an unconditonal branch.  */
3373       if (e->flags & EDGE_COMPLEX)
3374         continue;
3375
3376       target = first = e->dest;
3377       counter = 0;
3378
3379       /* Look for the real destination of the jump.
3380          Avoid inifinite loop in the infinite empty loop by counting
3381          up to n_basic_blocks.  */
3382       while (forwarder_block_p (target)
3383              && target->succ->dest != EXIT_BLOCK_PTR
3384              && counter < n_basic_blocks)
3385         {
3386           /* Bypass trivial infinite loops.  */
3387           if (target == target->succ->dest)
3388             counter = n_basic_blocks;
3389
3390           /* Avoid killing of loop pre-headers, as it is the place loop
3391              optimizer wants to hoist code to.
3392
3393              For fallthru forwarders, the LOOP_BEG note must appear between
3394              the header of block and CODE_LABEL of the loop, for non forwarders
3395              it must appear before the JUMP_INSN.  */
3396           if (mode & CLEANUP_PRE_LOOP)
3397             {
3398               rtx insn = (target->succ->flags & EDGE_FALLTHRU
3399                           ? target->head : prev_nonnote_insn (target->end));
3400
3401               if (GET_CODE (insn) != NOTE)
3402                 insn = NEXT_INSN (insn);
3403
3404               for (;insn && GET_CODE (insn) != CODE_LABEL && !INSN_P (insn);
3405                    insn = NEXT_INSN (insn))
3406                 if (GET_CODE (insn) == NOTE
3407                     && NOTE_LINE_NUMBER (insn) == NOTE_INSN_LOOP_BEG)
3408                   break;
3409
3410               if (GET_CODE (insn) == NOTE)
3411                 break;
3412             }
3413           target = target->succ->dest, counter++;
3414         }
3415
3416       if (counter >= n_basic_blocks)
3417         {
3418           if (rtl_dump_file)
3419             fprintf (rtl_dump_file, "Infinite loop in BB %i.\n",
3420                      target->index);
3421         }
3422       else if (target == first)
3423         ; /* We didn't do anything.  */
3424       else
3425         {
3426           /* Save the values now, as the edge may get removed.  */
3427           gcov_type edge_count = e->count;
3428           int edge_probability = e->probability;
3429
3430           if (redirect_edge_and_branch (e, target))
3431             {
3432               /* We successfully forwarded the edge.  Now update profile
3433                  data: for each edge we traversed in the chain, remove
3434                  the original edge's execution count.  */
3435               int edge_frequency = ((edge_probability * b->frequency
3436                                      + REG_BR_PROB_BASE / 2)
3437                                     / REG_BR_PROB_BASE);
3438
3439               do
3440                 {
3441                   first->count -= edge_count;
3442                   first->succ->count -= edge_count;
3443                   first->frequency -= edge_frequency;
3444                   first = first->succ->dest;
3445                 }
3446               while (first != target);
3447
3448               changed = true;
3449             }
3450           else
3451             {
3452               if (rtl_dump_file)
3453                 fprintf (rtl_dump_file, "Forwarding edge %i->%i to %i failed.\n",
3454                          b->index, e->dest->index, target->index);
3455             }
3456         }
3457     }
3458
3459   return changed;
3460 }
3461
3462 /* Look through the insns at the end of BB1 and BB2 and find the longest
3463    sequence that are equivalent.  Store the first insns for that sequence
3464    in *F1 and *F2 and return the sequence length.
3465
3466    To simplify callers of this function, if the blocks match exactly,
3467    store the head of the blocks in *F1 and *F2.  */
3468
3469 static int
3470 flow_find_cross_jump (mode, bb1, bb2, f1, f2)
3471      int mode ATTRIBUTE_UNUSED;
3472      basic_block bb1, bb2;
3473      rtx *f1, *f2;
3474 {
3475   rtx i1, i2, p1, p2, last1, last2, afterlast1, afterlast2;
3476   int ninsns = 0;
3477
3478   /* Skip simple jumps at the end of the blocks.  Complex jumps still
3479      need to be compared for equivalence, which we'll do below.  */
3480
3481   i1 = bb1->end;
3482   if (onlyjump_p (i1)
3483       || (returnjump_p (i1) && !side_effects_p (PATTERN (i1))))
3484     i1 = PREV_INSN (i1);
3485   i2 = bb2->end;
3486   if (onlyjump_p (i2)
3487       || (returnjump_p (i2) && !side_effects_p (PATTERN (i2))))
3488     i2 = PREV_INSN (i2);
3489
3490   last1 = afterlast1 = last2 = afterlast2 = NULL_RTX;
3491   while (true)
3492     {
3493       /* Ignore notes.  */
3494       while ((GET_CODE (i1) == NOTE && i1 != bb1->head))
3495         i1 = PREV_INSN (i1);
3496       while ((GET_CODE (i2) == NOTE && i2 != bb2->head))
3497         i2 = PREV_INSN (i2);
3498
3499       if (i1 == bb1->head || i2 == bb2->head)
3500         break;
3501
3502       /* Verify that I1 and I2 are equivalent.  */
3503
3504       if (GET_CODE (i1) != GET_CODE (i2))
3505         break;
3506
3507       p1 = PATTERN (i1);
3508       p2 = PATTERN (i2);
3509
3510       /* If this is a CALL_INSN, compare register usage information.
3511          If we don't check this on stack register machines, the two
3512          CALL_INSNs might be merged leaving reg-stack.c with mismatching
3513          numbers of stack registers in the same basic block.
3514          If we don't check this on machines with delay slots, a delay slot may
3515          be filled that clobbers a parameter expected by the subroutine.
3516
3517          ??? We take the simple route for now and assume that if they're
3518          equal, they were constructed identically.  */
3519
3520       if (GET_CODE (i1) == CALL_INSN
3521           && ! rtx_equal_p (CALL_INSN_FUNCTION_USAGE (i1),
3522                             CALL_INSN_FUNCTION_USAGE (i2)))
3523         break;
3524
3525 #ifdef STACK_REGS
3526       /* If cross_jump_death_matters is not 0, the insn's mode
3527          indicates whether or not the insn contains any stack-like
3528          regs.  */
3529
3530       if ((mode & CLEANUP_POST_REGSTACK) && stack_regs_mentioned (i1))
3531         {
3532           /* If register stack conversion has already been done, then
3533              death notes must also be compared before it is certain that
3534              the two instruction streams match.  */
3535
3536           rtx note;
3537           HARD_REG_SET i1_regset, i2_regset;
3538
3539           CLEAR_HARD_REG_SET (i1_regset);
3540           CLEAR_HARD_REG_SET (i2_regset);
3541
3542           for (note = REG_NOTES (i1); note; note = XEXP (note, 1))
3543             if (REG_NOTE_KIND (note) == REG_DEAD
3544                 && STACK_REG_P (XEXP (note, 0)))
3545               SET_HARD_REG_BIT (i1_regset, REGNO (XEXP (note, 0)));
3546
3547           for (note = REG_NOTES (i2); note; note = XEXP (note, 1))
3548             if (REG_NOTE_KIND (note) == REG_DEAD
3549                 && STACK_REG_P (XEXP (note, 0)))
3550               SET_HARD_REG_BIT (i2_regset, REGNO (XEXP (note, 0)));
3551
3552           GO_IF_HARD_REG_EQUAL (i1_regset, i2_regset, done);
3553
3554           break;
3555
3556         done:
3557           ;
3558         }
3559 #endif
3560
3561       if (GET_CODE (p1) != GET_CODE (p2))
3562         break;
3563
3564       if (! rtx_renumbered_equal_p (p1, p2))
3565         {
3566           /* The following code helps take care of G++ cleanups.  */
3567           rtx equiv1 = find_reg_equal_equiv_note (i1);
3568           rtx equiv2 = find_reg_equal_equiv_note (i2);
3569
3570           if (equiv1 && equiv2
3571               /* If the equivalences are not to a constant, they may
3572                  reference pseudos that no longer exist, so we can't
3573                  use them.  */
3574               && CONSTANT_P (XEXP (equiv1, 0))
3575               && rtx_equal_p (XEXP (equiv1, 0), XEXP (equiv2, 0)))
3576             {
3577               rtx s1 = single_set (i1);
3578               rtx s2 = single_set (i2);
3579               if (s1 != 0 && s2 != 0
3580                   && rtx_renumbered_equal_p (SET_DEST (s1), SET_DEST (s2)))
3581                 {
3582                   validate_change (i1, &SET_SRC (s1), XEXP (equiv1, 0), 1);
3583                   validate_change (i2, &SET_SRC (s2), XEXP (equiv2, 0), 1);
3584                   if (! rtx_renumbered_equal_p (p1, p2))
3585                     cancel_changes (0);
3586                   else if (apply_change_group ())
3587                     goto win;
3588                 }
3589             }
3590           break;
3591         }
3592
3593     win:
3594       /* Don't begin a cross-jump with a USE or CLOBBER insn.  */
3595       if (GET_CODE (p1) != USE && GET_CODE (p1) != CLOBBER)
3596         {
3597           afterlast1 = last1, afterlast2 = last2;
3598           last1 = i1, last2 = i2;
3599           ninsns++;
3600         }
3601       i1 = PREV_INSN (i1);
3602       i2 = PREV_INSN (i2);
3603     }
3604
3605 #ifdef HAVE_cc0
3606   if (ninsns)
3607     {
3608       /* Don't allow the insn after a compare to be shared by
3609          cross-jumping unless the compare is also shared.  */
3610       if (reg_mentioned_p (cc0_rtx, last1) && ! sets_cc0_p (last1))
3611         last1 = afterlast1, last2 = afterlast2, ninsns--;
3612     }
3613 #endif
3614
3615   /* Include preceeding notes and labels in the cross-jump.  One,
3616      this may bring us to the head of the blocks as requested above.
3617      Two, it keeps line number notes as matched as may be.  */
3618   if (ninsns)
3619     {
3620       while (last1 != bb1->head && GET_CODE (PREV_INSN (last1)) == NOTE)
3621         last1 = PREV_INSN (last1);
3622       if (last1 != bb1->head && GET_CODE (PREV_INSN (last1)) == CODE_LABEL)
3623         last1 = PREV_INSN (last1);
3624       while (last2 != bb2->head && GET_CODE (PREV_INSN (last2)) == NOTE)
3625         last2 = PREV_INSN (last2);
3626       if (last2 != bb2->head && GET_CODE (PREV_INSN (last2)) == CODE_LABEL)
3627         last2 = PREV_INSN (last2);
3628
3629       *f1 = last1;
3630       *f2 = last2;
3631     }
3632
3633   return ninsns;
3634 }
3635
3636 /* Return true iff outgoing edges of BB1 and BB2 match, together with
3637    the branch instruction.  This means that if we commonize the control
3638    flow before end of the basic block, the semantic remains unchanged.
3639
3640    We may assume that there exists one edge with a common destination.  */
3641
3642 static bool
3643 outgoing_edges_match (bb1, bb2)
3644      basic_block bb1;
3645      basic_block bb2;
3646 {
3647   /* If BB1 has only one successor, we must be looking at an unconditional
3648      jump.  Which, by the assumption above, means that we only need to check
3649      that BB2 has one successor.  */
3650   if (bb1->succ && !bb1->succ->succ_next)
3651     return (bb2->succ && !bb2->succ->succ_next);
3652
3653   /* Match conditional jumps - this may get tricky when fallthru and branch
3654      edges are crossed.  */
3655   if (bb1->succ
3656       && bb1->succ->succ_next
3657       && !bb1->succ->succ_next->succ_next
3658       && any_condjump_p (bb1->end))
3659     {
3660       edge b1, f1, b2, f2;
3661       bool reverse, match;
3662       rtx set1, set2, cond1, cond2;
3663       enum rtx_code code1, code2;
3664
3665       if (!bb2->succ
3666           || !bb2->succ->succ_next
3667           || bb1->succ->succ_next->succ_next
3668           || !any_condjump_p (bb2->end))
3669         return false;
3670
3671       b1 = BRANCH_EDGE (bb1);
3672       b2 = BRANCH_EDGE (bb2);
3673       f1 = FALLTHRU_EDGE (bb1);
3674       f2 = FALLTHRU_EDGE (bb2);
3675
3676       /* Get around possible forwarders on fallthru edges.  Other cases
3677          should be optimized out already.  */
3678       if (forwarder_block_p (f1->dest))
3679         f1 = f1->dest->succ;
3680       if (forwarder_block_p (f2->dest))
3681         f2 = f2->dest->succ;
3682
3683       /* To simplify use of this function, return false if there are
3684          unneeded forwarder blocks.  These will get eliminated later
3685          during cleanup_cfg.  */
3686       if (forwarder_block_p (f1->dest)
3687           || forwarder_block_p (f2->dest)
3688           || forwarder_block_p (b1->dest)
3689           || forwarder_block_p (b2->dest))
3690         return false;
3691
3692       if (f1->dest == f2->dest && b1->dest == b2->dest)
3693         reverse = false;
3694       else if (f1->dest == b2->dest && b1->dest == f2->dest)
3695         reverse = true;
3696       else
3697         return false;
3698
3699       set1 = pc_set (bb1->end);
3700       set2 = pc_set (bb2->end);
3701       if ((XEXP (SET_SRC (set1), 1) == pc_rtx)
3702           != (XEXP (SET_SRC (set2), 1) == pc_rtx))
3703         reverse = !reverse;
3704
3705       cond1 = XEXP (SET_SRC (set1), 0);
3706       cond2 = XEXP (SET_SRC (set2), 0);
3707       code1 = GET_CODE (cond1);
3708       if (reverse)
3709         code2 = reversed_comparison_code (cond2, bb2->end);
3710       else
3711         code2 = GET_CODE (cond2);
3712       if (code2 == UNKNOWN)
3713         return false;
3714
3715       /* Verify codes and operands match.  */
3716       match = ((code1 == code2
3717                 && rtx_renumbered_equal_p (XEXP (cond1, 0), XEXP (cond2, 0))
3718                 && rtx_renumbered_equal_p (XEXP (cond1, 1), XEXP (cond2, 1)))
3719                || (code1 == swap_condition (code2)
3720                    && rtx_renumbered_equal_p (XEXP (cond1, 1),
3721                                               XEXP (cond2, 0))
3722                    && rtx_renumbered_equal_p (XEXP (cond1, 0),
3723                                               XEXP (cond2, 1))));
3724
3725       /* If we return true, we will join the blocks.  Which means that
3726          we will only have one branch prediction bit to work with.  Thus
3727          we require the existing branches to have probabilities that are
3728          roughly similar.  */
3729       /* ??? We should use bb->frequency to allow merging in infrequently
3730          executed blocks, but at the moment it is not available when
3731          cleanup_cfg is run.  */
3732       if (match && !optimize_size)
3733         {
3734           rtx note1, note2;
3735           int prob1, prob2;
3736           note1 = find_reg_note (bb1->end, REG_BR_PROB, 0);
3737           note2 = find_reg_note (bb2->end, REG_BR_PROB, 0);
3738
3739           if (note1 && note2)
3740             {
3741               prob1 = INTVAL (XEXP (note1, 0));
3742               prob2 = INTVAL (XEXP (note2, 0));
3743               if (reverse)
3744                 prob2 = REG_BR_PROB_BASE - prob2;
3745
3746               /* Fail if the difference in probabilities is
3747                  greater than 5%.  */
3748               if (abs (prob1 - prob2) > REG_BR_PROB_BASE / 20)
3749                 return false;
3750             }
3751           else if (note1 || note2)
3752             return false;
3753         }
3754
3755       if (rtl_dump_file && match)
3756         fprintf (rtl_dump_file, "Conditionals in bb %i and %i match.\n",
3757                  bb1->index, bb2->index);
3758
3759       return match;
3760     }
3761
3762   /* ??? We can handle computed jumps too.  This may be important for
3763      inlined functions containing switch statements.  Also jumps w/o
3764      fallthru edges can be handled by simply matching whole insn.  */
3765   return false;
3766 }
3767
3768 /* E1 and E2 are edges with the same destination block.  Search their
3769    predecessors for common code.  If found, redirect control flow from
3770    (maybe the middle of) E1->SRC to (maybe the middle of) E2->SRC.  */
3771
3772 static bool
3773 try_crossjump_to_edge (mode, e1, e2)
3774      int mode;
3775      edge e1, e2;
3776 {
3777   int nmatch;
3778   basic_block src1 = e1->src, src2 = e2->src;
3779   basic_block redirect_to;
3780   rtx newpos1, newpos2;
3781   edge s;
3782   rtx last;
3783   rtx label;
3784   rtx note;
3785
3786   /* Search backward through forwarder blocks.  We don't need to worry
3787      about multiple entry or chained forwarders, as they will be optimized
3788      away.  We do this to look past the unconditional jump following a
3789      conditional jump that is required due to the current CFG shape.  */
3790   if (src1->pred
3791       && !src1->pred->pred_next
3792       && forwarder_block_p (src1))
3793     {
3794       e1 = src1->pred;
3795       src1 = e1->src;
3796     }
3797   if (src2->pred
3798       && !src2->pred->pred_next
3799       && forwarder_block_p (src2))
3800     {
3801       e2 = src2->pred;
3802       src2 = e2->src;
3803     }
3804
3805   /* Nothing to do if we reach ENTRY, or a common source block.  */
3806   if (src1 == ENTRY_BLOCK_PTR || src2 == ENTRY_BLOCK_PTR)
3807     return false;
3808   if (src1 == src2)
3809     return false;
3810
3811   /* Seeing more than 1 forwarder blocks would confuse us later...  */
3812   if (forwarder_block_p (e1->dest)
3813       && forwarder_block_p (e1->dest->succ->dest))
3814     return false;
3815   if (forwarder_block_p (e2->dest)
3816       && forwarder_block_p (e2->dest->succ->dest))
3817     return false;
3818
3819   /* Likewise with dead code (possibly newly created by the other optimizations
3820      of cfg_cleanup).  */
3821   if (!src1->pred || !src2->pred)
3822     return false;
3823
3824   /* Likewise with complex edges.
3825      ??? We should be able to handle most complex edges later with some
3826      care.  */
3827   if (e1->flags & EDGE_COMPLEX)
3828     return false;
3829
3830   /* Look for the common insn sequence, part the first ...  */
3831   if (!outgoing_edges_match (src1, src2))
3832     return false;
3833
3834   /* ... and part the second.  */
3835   nmatch = flow_find_cross_jump (mode, src1, src2, &newpos1, &newpos2);
3836   if (!nmatch)
3837     return false;
3838
3839   /* Avoid splitting if possible.  */
3840   if (newpos2 == src2->head)
3841     redirect_to = src2;
3842   else
3843     {
3844       if (rtl_dump_file)
3845         fprintf (rtl_dump_file, "Splitting bb %i before %i insns\n",
3846                  src2->index, nmatch);
3847       redirect_to = split_block (src2, PREV_INSN (newpos2))->dest;
3848     }
3849
3850   if (rtl_dump_file)
3851     fprintf (rtl_dump_file,
3852              "Cross jumping from bb %i to bb %i; %i common insns\n",
3853              src1->index, src2->index, nmatch);
3854
3855   redirect_to->count += src1->count;
3856   redirect_to->frequency += src1->frequency;
3857
3858   /* Recompute the frequencies and counts of outgoing edges.  */
3859   for (s = redirect_to->succ; s; s = s->succ_next)
3860     {
3861       edge s2;
3862       basic_block d = s->dest;
3863
3864       if (forwarder_block_p (d))
3865         d = d->succ->dest;
3866       for (s2 = src1->succ; ; s2 = s2->succ_next)
3867         {
3868           basic_block d2 = s2->dest;
3869           if (forwarder_block_p (d2))
3870             d2 = d2->succ->dest;
3871           if (d == d2)
3872             break;
3873         }
3874       s->count += s2->count;
3875
3876       /* Take care to update possible forwarder blocks.  We verified
3877          that there is no more than one in the chain, so we can't run
3878          into infinite loop.  */
3879       if (forwarder_block_p (s->dest))
3880         {
3881           s->dest->succ->count += s2->count;
3882           s->dest->count += s2->count;
3883           s->dest->frequency += EDGE_FREQUENCY (s);
3884         }
3885       if (forwarder_block_p (s2->dest))
3886         {
3887           s2->dest->succ->count -= s2->count;
3888           s2->dest->count -= s2->count;
3889           s2->dest->frequency -= EDGE_FREQUENCY (s);
3890         }
3891       if (!redirect_to->frequency && !src1->frequency)
3892         s->probability = (s->probability + s2->probability) / 2;
3893       else
3894         s->probability =
3895           ((s->probability * redirect_to->frequency +
3896             s2->probability * src1->frequency)
3897            / (redirect_to->frequency + src1->frequency));
3898     }
3899
3900   note = find_reg_note (redirect_to->end, REG_BR_PROB, 0);
3901   if (note)
3902     XEXP (note, 0) = GEN_INT (BRANCH_EDGE (redirect_to)->probability);
3903
3904   /* Edit SRC1 to go to REDIRECT_TO at NEWPOS1.  */
3905
3906   /* Skip possible basic block header.  */
3907   if (GET_CODE (newpos1) == CODE_LABEL)
3908     newpos1 = NEXT_INSN (newpos1);
3909   if (GET_CODE (newpos1) == NOTE)
3910     newpos1 = NEXT_INSN (newpos1);
3911   last = src1->end;
3912
3913   /* Emit the jump insn.   */
3914   label = block_label (redirect_to);
3915   src1->end = emit_jump_insn_before (gen_jump (label), newpos1);
3916   JUMP_LABEL (src1->end) = label;
3917   LABEL_NUSES (label)++;
3918   if (basic_block_for_insn)
3919     set_block_for_new_insns (src1->end, src1);
3920
3921   /* Delete the now unreachable instructions.  */
3922   flow_delete_insn_chain (newpos1, last);
3923
3924   /* Make sure there is a barrier after the new jump.  */
3925   last = next_nonnote_insn (src1->end);
3926   if (!last || GET_CODE (last) != BARRIER)
3927     emit_barrier_after (src1->end);
3928
3929   /* Update CFG.  */
3930   while (src1->succ)
3931     remove_edge (src1->succ);
3932   make_edge (NULL, src1, redirect_to, 0);
3933   src1->succ->probability = REG_BR_PROB_BASE;
3934   src1->succ->count = src1->count;
3935
3936   return true;
3937 }
3938
3939 /* Search the predecessors of BB for common insn sequences.  When found,
3940    share code between them by redirecting control flow.  Return true if
3941    any changes made.  */
3942
3943 static bool
3944 try_crossjump_bb (mode, bb)
3945      int mode;
3946      basic_block bb;
3947 {
3948   edge e, e2, nexte2, nexte, fallthru;
3949   bool changed;
3950
3951   /* Nothing to do if there is not at least two incomming edges.  */
3952   if (!bb->pred || !bb->pred->pred_next)
3953     return false;
3954
3955   /* It is always cheapest to redirect a block that ends in a branch to
3956      a block that falls through into BB, as that adds no branches to the
3957      program.  We'll try that combination first.  */
3958   for (fallthru = bb->pred; fallthru; fallthru = fallthru->pred_next)
3959     if (fallthru->flags & EDGE_FALLTHRU)
3960       break;
3961
3962   changed = false;
3963   for (e = bb->pred; e; e = nexte)
3964     {
3965       nexte = e->pred_next;
3966
3967       /* Elide complex edges now, as neither try_crossjump_to_edge
3968          nor outgoing_edges_match can handle them.  */
3969       if (e->flags & EDGE_COMPLEX)
3970         continue;
3971
3972       /* As noted above, first try with the fallthru predecessor.  */
3973       if (fallthru)
3974         {
3975           /* Don't combine the fallthru edge into anything else.
3976              If there is a match, we'll do it the other way around.  */
3977           if (e == fallthru)
3978             continue;
3979
3980           if (try_crossjump_to_edge (mode, e, fallthru))
3981             {
3982               changed = true;
3983               nexte = bb->pred;
3984               continue;
3985             }
3986         }
3987
3988       /* Non-obvious work limiting check: Recognize that we're going
3989          to call try_crossjump_bb on every basic block.  So if we have
3990          two blocks with lots of outgoing edges (a switch) and they
3991          share lots of common destinations, then we would do the
3992          cross-jump check once for each common destination.
3993
3994          Now, if the blocks actually are cross-jump candidates, then
3995          all of their destinations will be shared.  Which means that
3996          we only need check them for cross-jump candidacy once.  We
3997          can eliminate redundant checks of crossjump(A,B) by arbitrarily
3998          choosing to do the check from the block for which the edge
3999          in question is the first successor of A.  */
4000       if (e->src->succ != e)
4001         continue;
4002
4003       for (e2 = bb->pred; e2; e2 = nexte2)
4004         {
4005           nexte2 = e2->pred_next;
4006
4007           if (e2 == e)
4008             continue;
4009
4010           /* We've already checked the fallthru edge above.  */
4011           if (e2 == fallthru)
4012             continue;
4013
4014           /* Again, neither try_crossjump_to_edge nor outgoing_edges_match
4015              can handle complex edges.  */
4016           if (e2->flags & EDGE_COMPLEX)
4017             continue;
4018
4019           /* The "first successor" check above only prevents multiple
4020              checks of crossjump(A,B).  In order to prevent redundant
4021              checks of crossjump(B,A), require that A be the block
4022              with the lowest index.  */
4023           if (e->src->index > e2->src->index)
4024             continue;
4025
4026           if (try_crossjump_to_edge (mode, e, e2))
4027             {
4028               changed = true;
4029               nexte = bb->pred;
4030               break;
4031             }
4032         }
4033     }
4034
4035   return changed;
4036 }
4037
4038 /* Do simple CFG optimizations - basic block merging, simplifying of jump
4039    instructions etc.  Return nonzero if changes were made.  */
4040
4041 static bool
4042 try_optimize_cfg (mode)
4043      int mode;
4044 {
4045   int i;
4046   bool changed_overall = false;
4047   bool changed;
4048   int iterations = 0;
4049
4050   /* Attempt to merge blocks as made possible by edge removal.  If a block
4051      has only one successor, and the successor has only one predecessor,
4052      they may be combined.  */
4053
4054   do
4055     {
4056       changed = false;
4057       iterations++;
4058
4059       if (rtl_dump_file)
4060         fprintf (rtl_dump_file, "\n\ntry_optimize_cfg iteration %i\n\n",
4061                  iterations);
4062
4063       for (i = 0; i < n_basic_blocks;)
4064         {
4065           basic_block c, b = BASIC_BLOCK (i);
4066           edge s;
4067           bool changed_here = false;
4068
4069           /* Delete trivially dead basic blocks.  */
4070           while (b->pred == NULL)
4071             {
4072               c = BASIC_BLOCK (b->index - 1);
4073               if (rtl_dump_file)
4074                 fprintf (rtl_dump_file, "Deleting block %i.\n", b->index);
4075               flow_delete_block (b);
4076               changed = true;
4077               b = c;
4078             }
4079
4080           /* Remove code labels no longer used.  Don't do this before
4081              CALL_PLACEHOLDER is removed, as some branches may be hidden
4082              within.  */
4083           if (b->pred->pred_next == NULL
4084               && (b->pred->flags & EDGE_FALLTHRU)
4085               && !(b->pred->flags & EDGE_COMPLEX)
4086               && GET_CODE (b->head) == CODE_LABEL
4087               && (!(mode & CLEANUP_PRE_SIBCALL)
4088                   || !tail_recursion_label_p (b->head))
4089               /* If previous block ends with condjump jumping to next BB,
4090                  we can't delete the label.  */
4091               && (b->pred->src == ENTRY_BLOCK_PTR
4092                   || !reg_mentioned_p (b->head, b->pred->src->end)))
4093             {
4094               rtx label = b->head;
4095               b->head = NEXT_INSN (b->head);
4096               flow_delete_insn_chain (label, label);
4097               if (rtl_dump_file)
4098                 fprintf (rtl_dump_file, "Deleted label in block %i.\n",
4099                          b->index);
4100             }
4101
4102           /* If we fall through an empty block, we can remove it.  */
4103           if (b->pred->pred_next == NULL
4104               && (b->pred->flags & EDGE_FALLTHRU)
4105               && GET_CODE (b->head) != CODE_LABEL
4106               && forwarder_block_p (b)
4107               /* Note that forwarder_block_p true ensures that there
4108                  is a successor for this block.  */
4109               && (b->succ->flags & EDGE_FALLTHRU)
4110               && n_basic_blocks > 1)
4111             {
4112               if (rtl_dump_file)
4113                 fprintf (rtl_dump_file, "Deleting fallthru block %i.\n",
4114                          b->index);
4115               c = BASIC_BLOCK (b->index ? b->index - 1 : 1);
4116               redirect_edge_succ_nodup (b->pred, b->succ->dest);
4117               flow_delete_block (b);
4118               changed = true;
4119               b = c;
4120             }
4121
4122           /* Merge blocks.  Loop because chains of blocks might be
4123              combineable.  */
4124           while ((s = b->succ) != NULL
4125                  && s->succ_next == NULL
4126                  && !(s->flags & EDGE_COMPLEX)
4127                  && (c = s->dest) != EXIT_BLOCK_PTR
4128                  && c->pred->pred_next == NULL
4129                  /* If the jump insn has side effects,
4130                     we can't kill the edge.  */
4131                  && (GET_CODE (b->end) != JUMP_INSN
4132                      || onlyjump_p (b->end))
4133                  && merge_blocks (s, b, c, mode))
4134             changed_here = true;
4135
4136           /* Simplify branch over branch.  */
4137           if ((mode & CLEANUP_EXPENSIVE) && try_simplify_condjump (b))
4138             changed_here = true;
4139
4140           /* If B has a single outgoing edge, but uses a non-trivial jump
4141              instruction without side-effects, we can either delete the
4142              jump entirely, or replace it with a simple unconditional jump.
4143              Use redirect_edge_and_branch to do the dirty work.  */
4144           if (b->succ
4145               && ! b->succ->succ_next
4146               && b->succ->dest != EXIT_BLOCK_PTR
4147               && onlyjump_p (b->end)
4148               && redirect_edge_and_branch (b->succ, b->succ->dest))
4149             changed_here = true;
4150
4151           /* Simplify branch to branch.  */
4152           if (try_forward_edges (mode, b))
4153             changed_here = true;
4154
4155           /* Look for shared code between blocks.  */
4156           if ((mode & CLEANUP_CROSSJUMP)
4157               && try_crossjump_bb (mode, b))
4158             changed_here = true;
4159
4160           /* Don't get confused by the index shift caused by deleting
4161              blocks.  */
4162           if (!changed_here)
4163             i = b->index + 1;
4164           else
4165             changed = true;
4166         }
4167
4168       if ((mode & CLEANUP_CROSSJUMP)
4169           && try_crossjump_bb (mode, EXIT_BLOCK_PTR))
4170         changed = true;
4171
4172 #ifdef ENABLE_CHECKING
4173       if (changed)
4174         verify_flow_info ();
4175 #endif
4176
4177       changed_overall |= changed;
4178     }
4179   while (changed);
4180   return changed_overall;
4181 }
4182
4183 /* The given edge should potentially be a fallthru edge.  If that is in
4184    fact true, delete the jump and barriers that are in the way.  */
4185
4186 void
4187 tidy_fallthru_edge (e, b, c)
4188      edge e;
4189      basic_block b, c;
4190 {
4191   rtx q;
4192
4193   /* ??? In a late-running flow pass, other folks may have deleted basic
4194      blocks by nopping out blocks, leaving multiple BARRIERs between here
4195      and the target label. They ought to be chastized and fixed.
4196
4197      We can also wind up with a sequence of undeletable labels between
4198      one block and the next.
4199
4200      So search through a sequence of barriers, labels, and notes for
4201      the head of block C and assert that we really do fall through.  */
4202
4203   if (next_real_insn (b->end) != next_real_insn (PREV_INSN (c->head)))
4204     return;
4205
4206   /* Remove what will soon cease being the jump insn from the source block.
4207      If block B consisted only of this single jump, turn it into a deleted
4208      note.  */
4209   q = b->end;
4210   if (GET_CODE (q) == JUMP_INSN
4211       && onlyjump_p (q)
4212       && (any_uncondjump_p (q)
4213           || (b->succ == e && e->succ_next == NULL)))
4214     {
4215 #ifdef HAVE_cc0
4216       /* If this was a conditional jump, we need to also delete
4217          the insn that set cc0.  */
4218       if (any_condjump_p (q) && only_sets_cc0_p (PREV_INSN (q)))
4219         q = PREV_INSN (q);
4220 #endif
4221
4222       if (b->head == q)
4223         {
4224           PUT_CODE (q, NOTE);
4225           NOTE_LINE_NUMBER (q) = NOTE_INSN_DELETED;
4226           NOTE_SOURCE_FILE (q) = 0;
4227         }
4228       else
4229         {
4230           q = PREV_INSN (q);
4231
4232           /* We don't want a block to end on a line-number note since that has
4233              the potential of changing the code between -g and not -g.  */
4234           while (GET_CODE (q) == NOTE && NOTE_LINE_NUMBER (q) >= 0)
4235             q = PREV_INSN (q);
4236         }
4237
4238       b->end = q;
4239     }
4240
4241   /* Selectively unlink the sequence.  */
4242   if (q != PREV_INSN (c->head))
4243     flow_delete_insn_chain (NEXT_INSN (q), PREV_INSN (c->head));
4244
4245   e->flags |= EDGE_FALLTHRU;
4246 }
4247
4248 /* Fix up edges that now fall through, or rather should now fall through
4249    but previously required a jump around now deleted blocks.  Simplify
4250    the search by only examining blocks numerically adjacent, since this
4251    is how find_basic_blocks created them.  */
4252
4253 static void
4254 tidy_fallthru_edges ()
4255 {
4256   int i;
4257
4258   for (i = 1; i < n_basic_blocks; ++i)
4259     {
4260       basic_block b = BASIC_BLOCK (i - 1);
4261       basic_block c = BASIC_BLOCK (i);
4262       edge s;
4263
4264       /* We care about simple conditional or unconditional jumps with
4265          a single successor.
4266
4267          If we had a conditional branch to the next instruction when
4268          find_basic_blocks was called, then there will only be one
4269          out edge for the block which ended with the conditional
4270          branch (since we do not create duplicate edges).
4271
4272          Furthermore, the edge will be marked as a fallthru because we
4273          merge the flags for the duplicate edges.  So we do not want to
4274          check that the edge is not a FALLTHRU edge.  */
4275       if ((s = b->succ) != NULL
4276           && ! (s->flags & EDGE_COMPLEX)
4277           && s->succ_next == NULL
4278           && s->dest == c
4279           /* If the jump insn has side effects, we can't tidy the edge.  */
4280           && (GET_CODE (b->end) != JUMP_INSN
4281               || onlyjump_p (b->end)))
4282         tidy_fallthru_edge (s, b, c);
4283     }
4284 }
4285 \f
4286 /* Perform data flow analysis.
4287    F is the first insn of the function; FLAGS is a set of PROP_* flags
4288    to be used in accumulating flow info.  */
4289
4290 void
4291 life_analysis (f, file, flags)
4292      rtx f;
4293      FILE *file;
4294      int flags;
4295 {
4296 #ifdef ELIMINABLE_REGS
4297   register int i;
4298   static struct {int from, to; } eliminables[] = ELIMINABLE_REGS;
4299 #endif
4300
4301   /* Record which registers will be eliminated.  We use this in
4302      mark_used_regs.  */
4303
4304   CLEAR_HARD_REG_SET (elim_reg_set);
4305
4306 #ifdef ELIMINABLE_REGS
4307   for (i = 0; i < (int) ARRAY_SIZE (eliminables); i++)
4308     SET_HARD_REG_BIT (elim_reg_set, eliminables[i].from);
4309 #else
4310   SET_HARD_REG_BIT (elim_reg_set, FRAME_POINTER_REGNUM);
4311 #endif
4312
4313   if (! optimize)
4314     flags &= ~(PROP_LOG_LINKS | PROP_AUTOINC | PROP_ALLOW_CFG_CHANGES);
4315
4316   /* The post-reload life analysis have (on a global basis) the same
4317      registers live as was computed by reload itself.  elimination
4318      Otherwise offsets and such may be incorrect.
4319
4320      Reload will make some registers as live even though they do not
4321      appear in the rtl.
4322
4323      We don't want to create new auto-incs after reload, since they
4324      are unlikely to be useful and can cause problems with shared
4325      stack slots.  */
4326   if (reload_completed)
4327     flags &= ~(PROP_REG_INFO | PROP_AUTOINC);
4328
4329   /* We want alias analysis information for local dead store elimination.  */
4330   if (optimize && (flags & PROP_SCAN_DEAD_CODE))
4331     init_alias_analysis ();
4332
4333   /* Always remove no-op moves.  Do this before other processing so
4334      that we don't have to keep re-scanning them.  */
4335   delete_noop_moves (f);
4336
4337   /* Some targets can emit simpler epilogues if they know that sp was
4338      not ever modified during the function.  After reload, of course,
4339      we've already emitted the epilogue so there's no sense searching.  */
4340   if (! reload_completed)
4341     notice_stack_pointer_modification (f);
4342
4343   /* Allocate and zero out data structures that will record the
4344      data from lifetime analysis.  */
4345   allocate_reg_life_data ();
4346   allocate_bb_life_data ();
4347
4348   /* Find the set of registers live on function exit.  */
4349   mark_regs_live_at_end (EXIT_BLOCK_PTR->global_live_at_start);
4350
4351   /* "Update" life info from zero.  It'd be nice to begin the
4352      relaxation with just the exit and noreturn blocks, but that set
4353      is not immediately handy.  */
4354
4355   if (flags & PROP_REG_INFO)
4356     memset (regs_ever_live, 0, sizeof (regs_ever_live));
4357   update_life_info (NULL, UPDATE_LIFE_GLOBAL, flags);
4358
4359   /* Clean up.  */
4360   if (optimize && (flags & PROP_SCAN_DEAD_CODE))
4361     end_alias_analysis ();
4362
4363   if (file)
4364     dump_flow_info (file);
4365
4366   free_basic_block_vars (1);
4367
4368 #ifdef ENABLE_CHECKING
4369   {
4370     rtx insn;
4371
4372     /* Search for any REG_LABEL notes which reference deleted labels.  */
4373     for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
4374       {
4375         rtx inote = find_reg_note (insn, REG_LABEL, NULL_RTX);
4376
4377         if (inote && GET_CODE (inote) == NOTE_INSN_DELETED_LABEL)
4378           abort ();
4379       }
4380   }
4381 #endif
4382   /* Removing dead insns should've made jumptables really dead.  */
4383   delete_dead_jumptables ();
4384 }
4385
4386 /* A subroutine of verify_wide_reg, called through for_each_rtx.
4387    Search for REGNO.  If found, abort if it is not wider than word_mode.  */
4388
4389 static int
4390 verify_wide_reg_1 (px, pregno)
4391      rtx *px;
4392      void *pregno;
4393 {
4394   rtx x = *px;
4395   unsigned int regno = *(int *) pregno;
4396
4397   if (GET_CODE (x) == REG && REGNO (x) == regno)
4398     {
4399       if (GET_MODE_BITSIZE (GET_MODE (x)) <= BITS_PER_WORD)
4400         abort ();
4401       return 1;
4402     }
4403   return 0;
4404 }
4405
4406 /* A subroutine of verify_local_live_at_start.  Search through insns
4407    between HEAD and END looking for register REGNO.  */
4408
4409 static void
4410 verify_wide_reg (regno, head, end)
4411      int regno;
4412      rtx head, end;
4413 {
4414   while (1)
4415     {
4416       if (INSN_P (head)
4417           && for_each_rtx (&PATTERN (head), verify_wide_reg_1, &regno))
4418         return;
4419       if (head == end)
4420         break;
4421       head = NEXT_INSN (head);
4422     }
4423
4424   /* We didn't find the register at all.  Something's way screwy.  */
4425   if (rtl_dump_file)
4426     fprintf (rtl_dump_file, "Aborting in verify_wide_reg; reg %d\n", regno);
4427   print_rtl_and_abort ();
4428 }
4429
4430 /* A subroutine of update_life_info.  Verify that there are no untoward
4431    changes in live_at_start during a local update.  */
4432
4433 static void
4434 verify_local_live_at_start (new_live_at_start, bb)
4435      regset new_live_at_start;
4436      basic_block bb;
4437 {
4438   if (reload_completed)
4439     {
4440       /* After reload, there are no pseudos, nor subregs of multi-word
4441          registers.  The regsets should exactly match.  */
4442       if (! REG_SET_EQUAL_P (new_live_at_start, bb->global_live_at_start))
4443         {
4444           if (rtl_dump_file)
4445             {
4446               fprintf (rtl_dump_file,
4447                        "live_at_start mismatch in bb %d, aborting\n",
4448                        bb->index);
4449               debug_bitmap_file (rtl_dump_file, bb->global_live_at_start);
4450               debug_bitmap_file (rtl_dump_file, new_live_at_start);
4451             }
4452           print_rtl_and_abort ();
4453         }
4454     }
4455   else
4456     {
4457       int i;
4458
4459       /* Find the set of changed registers.  */
4460       XOR_REG_SET (new_live_at_start, bb->global_live_at_start);
4461
4462       EXECUTE_IF_SET_IN_REG_SET (new_live_at_start, 0, i,
4463         {
4464           /* No registers should die.  */
4465           if (REGNO_REG_SET_P (bb->global_live_at_start, i))
4466             {
4467               if (rtl_dump_file)
4468                 fprintf (rtl_dump_file,
4469                          "Register %d died unexpectedly in block %d\n", i,
4470                          bb->index);
4471               print_rtl_and_abort ();
4472             }
4473
4474           /* Verify that the now-live register is wider than word_mode.  */
4475           verify_wide_reg (i, bb->head, bb->end);
4476         });
4477     }
4478 }
4479
4480 /* Updates life information starting with the basic blocks set in BLOCKS.
4481    If BLOCKS is null, consider it to be the universal set.
4482
4483    If EXTENT is UPDATE_LIFE_LOCAL, such as after splitting or peepholeing,
4484    we are only expecting local modifications to basic blocks.  If we find
4485    extra registers live at the beginning of a block, then we either killed
4486    useful data, or we have a broken split that wants data not provided.
4487    If we find registers removed from live_at_start, that means we have
4488    a broken peephole that is killing a register it shouldn't.
4489
4490    ??? This is not true in one situation -- when a pre-reload splitter
4491    generates subregs of a multi-word pseudo, current life analysis will
4492    lose the kill.  So we _can_ have a pseudo go live.  How irritating.
4493
4494    Including PROP_REG_INFO does not properly refresh regs_ever_live
4495    unless the caller resets it to zero.  */
4496
4497 void
4498 update_life_info (blocks, extent, prop_flags)
4499      sbitmap blocks;
4500      enum update_life_extent extent;
4501      int prop_flags;
4502 {
4503   regset tmp;
4504   regset_head tmp_head;
4505   int i;
4506
4507   tmp = INITIALIZE_REG_SET (tmp_head);
4508
4509   /* Changes to the CFG are only allowed when
4510      doing a global update for the entire CFG.  */
4511   if ((prop_flags & PROP_ALLOW_CFG_CHANGES)
4512       && (extent == UPDATE_LIFE_LOCAL || blocks))
4513     abort ();
4514
4515   /* For a global update, we go through the relaxation process again.  */
4516   if (extent != UPDATE_LIFE_LOCAL)
4517     {
4518       for ( ; ; )
4519         {
4520           int changed = 0;
4521
4522           calculate_global_regs_live (blocks, blocks,
4523                                 prop_flags & (PROP_SCAN_DEAD_CODE
4524                                               | PROP_ALLOW_CFG_CHANGES));
4525
4526           if ((prop_flags & (PROP_KILL_DEAD_CODE | PROP_ALLOW_CFG_CHANGES))
4527               != (PROP_KILL_DEAD_CODE | PROP_ALLOW_CFG_CHANGES))
4528             break;
4529
4530           /* Removing dead code may allow the CFG to be simplified which
4531              in turn may allow for further dead code detection / removal.  */
4532           for (i = n_basic_blocks - 1; i >= 0; --i)
4533             {
4534               basic_block bb = BASIC_BLOCK (i);
4535
4536               COPY_REG_SET (tmp, bb->global_live_at_end);
4537               changed |= propagate_block (bb, tmp, NULL, NULL,
4538                                 prop_flags & (PROP_SCAN_DEAD_CODE
4539                                               | PROP_KILL_DEAD_CODE));
4540             }
4541
4542           if (! changed || ! try_optimize_cfg (CLEANUP_EXPENSIVE))
4543             break;
4544
4545           delete_unreachable_blocks ();
4546           mark_critical_edges ();
4547         }
4548
4549       /* If asked, remove notes from the blocks we'll update.  */
4550       if (extent == UPDATE_LIFE_GLOBAL_RM_NOTES)
4551         count_or_remove_death_notes (blocks, 1);
4552     }
4553
4554   if (blocks)
4555     {
4556       EXECUTE_IF_SET_IN_SBITMAP (blocks, 0, i,
4557         {
4558           basic_block bb = BASIC_BLOCK (i);
4559
4560           COPY_REG_SET (tmp, bb->global_live_at_end);
4561           propagate_block (bb, tmp, NULL, NULL, prop_flags);
4562
4563           if (extent == UPDATE_LIFE_LOCAL)
4564             verify_local_live_at_start (tmp, bb);
4565         });
4566     }
4567   else
4568     {
4569       for (i = n_basic_blocks - 1; i >= 0; --i)
4570         {
4571           basic_block bb = BASIC_BLOCK (i);
4572
4573           COPY_REG_SET (tmp, bb->global_live_at_end);
4574           propagate_block (bb, tmp, NULL, NULL, prop_flags);
4575
4576           if (extent == UPDATE_LIFE_LOCAL)
4577             verify_local_live_at_start (tmp, bb);
4578         }
4579     }
4580
4581   FREE_REG_SET (tmp);
4582
4583   if (prop_flags & PROP_REG_INFO)
4584     {
4585       /* The only pseudos that are live at the beginning of the function
4586          are those that were not set anywhere in the function.  local-alloc
4587          doesn't know how to handle these correctly, so mark them as not
4588          local to any one basic block.  */
4589       EXECUTE_IF_SET_IN_REG_SET (ENTRY_BLOCK_PTR->global_live_at_end,
4590                                  FIRST_PSEUDO_REGISTER, i,
4591                                  { REG_BASIC_BLOCK (i) = REG_BLOCK_GLOBAL; });
4592
4593       /* We have a problem with any pseudoreg that lives across the setjmp.
4594          ANSI says that if a user variable does not change in value between
4595          the setjmp and the longjmp, then the longjmp preserves it.  This
4596          includes longjmp from a place where the pseudo appears dead.
4597          (In principle, the value still exists if it is in scope.)
4598          If the pseudo goes in a hard reg, some other value may occupy
4599          that hard reg where this pseudo is dead, thus clobbering the pseudo.
4600          Conclusion: such a pseudo must not go in a hard reg.  */
4601       EXECUTE_IF_SET_IN_REG_SET (regs_live_at_setjmp,
4602                                  FIRST_PSEUDO_REGISTER, i,
4603                                  {
4604                                    if (regno_reg_rtx[i] != 0)
4605                                      {
4606                                        REG_LIVE_LENGTH (i) = -1;
4607                                        REG_BASIC_BLOCK (i) = REG_BLOCK_UNKNOWN;
4608                                      }
4609                                  });
4610     }
4611 }
4612
4613 /* Free the variables allocated by find_basic_blocks.
4614
4615    KEEP_HEAD_END_P is non-zero if basic_block_info is not to be freed.  */
4616
4617 void
4618 free_basic_block_vars (keep_head_end_p)
4619      int keep_head_end_p;
4620 {
4621   if (basic_block_for_insn)
4622     {
4623       VARRAY_FREE (basic_block_for_insn);
4624       basic_block_for_insn = NULL;
4625     }
4626
4627   if (! keep_head_end_p)
4628     {
4629       if (basic_block_info)
4630         {
4631           clear_edges ();
4632           VARRAY_FREE (basic_block_info);
4633         }
4634       n_basic_blocks = 0;
4635
4636       ENTRY_BLOCK_PTR->aux = NULL;
4637       ENTRY_BLOCK_PTR->global_live_at_end = NULL;
4638       EXIT_BLOCK_PTR->aux = NULL;
4639       EXIT_BLOCK_PTR->global_live_at_start = NULL;
4640     }
4641 }
4642
4643 /* Delete any insns that copy a register to itself.  */
4644
4645 void
4646 delete_noop_moves (f)
4647      rtx f ATTRIBUTE_UNUSED;
4648 {
4649   int i;
4650   rtx insn, next;
4651   basic_block bb;
4652
4653   for (i = 0; i < n_basic_blocks; i++)
4654     {
4655       bb = BASIC_BLOCK (i);
4656       for (insn = bb->head; insn != NEXT_INSN (bb->end); insn = next)
4657         {
4658           next = NEXT_INSN (insn);
4659           if (INSN_P (insn) && noop_move_p (insn))
4660             {
4661               /* Do not call flow_delete_insn here to not confuse backward
4662                  pointers of LIBCALL block.  */
4663               PUT_CODE (insn, NOTE);
4664               NOTE_LINE_NUMBER (insn) = NOTE_INSN_DELETED;
4665               NOTE_SOURCE_FILE (insn) = 0;
4666               if (insn == bb->end)
4667                 purge_dead_edges (bb);
4668             }
4669         }
4670     }
4671 }
4672
4673 /* Delete any jump tables never referenced.  We can't delete them at the
4674    time of removing tablejump insn as they are referenced by the preceeding
4675    insns computing the destination, so we delay deleting and garbagecollect
4676    them once life information is computed.  */
4677 static void
4678 delete_dead_jumptables ()
4679 {
4680   rtx insn, next;
4681   for (insn = get_insns (); insn; insn = next)
4682     {
4683       next = NEXT_INSN (insn);
4684       if (GET_CODE (insn) == CODE_LABEL
4685           && LABEL_NUSES (insn) == 0
4686           && GET_CODE (next) == JUMP_INSN
4687           && (GET_CODE (PATTERN (next)) == ADDR_VEC
4688               || GET_CODE (PATTERN (next)) == ADDR_DIFF_VEC))
4689         {
4690           if (rtl_dump_file)
4691             fprintf (rtl_dump_file, "Dead jumptable %i removed\n", INSN_UID (insn));
4692           flow_delete_insn (NEXT_INSN (insn));
4693           flow_delete_insn (insn);
4694           next = NEXT_INSN (next);
4695         }
4696     }
4697 }
4698
4699 /* Determine if the stack pointer is constant over the life of the function.
4700    Only useful before prologues have been emitted.  */
4701
4702 static void
4703 notice_stack_pointer_modification_1 (x, pat, data)
4704      rtx x;
4705      rtx pat ATTRIBUTE_UNUSED;
4706      void *data ATTRIBUTE_UNUSED;
4707 {
4708   if (x == stack_pointer_rtx
4709       /* The stack pointer is only modified indirectly as the result
4710          of a push until later in flow.  See the comments in rtl.texi
4711          regarding Embedded Side-Effects on Addresses.  */
4712       || (GET_CODE (x) == MEM
4713           && GET_RTX_CLASS (GET_CODE (XEXP (x, 0))) == 'a'
4714           && XEXP (XEXP (x, 0), 0) == stack_pointer_rtx))
4715     current_function_sp_is_unchanging = 0;
4716 }
4717
4718 static void
4719 notice_stack_pointer_modification (f)
4720      rtx f;
4721 {
4722   rtx insn;
4723
4724   /* Assume that the stack pointer is unchanging if alloca hasn't
4725      been used.  */
4726   current_function_sp_is_unchanging = !current_function_calls_alloca;
4727   if (! current_function_sp_is_unchanging)
4728     return;
4729
4730   for (insn = f; insn; insn = NEXT_INSN (insn))
4731     {
4732       if (INSN_P (insn))
4733         {
4734           /* Check if insn modifies the stack pointer.  */
4735           note_stores (PATTERN (insn), notice_stack_pointer_modification_1,
4736                        NULL);
4737           if (! current_function_sp_is_unchanging)
4738             return;
4739         }
4740     }
4741 }
4742
4743 /* Mark a register in SET.  Hard registers in large modes get all
4744    of their component registers set as well.  */
4745
4746 static void
4747 mark_reg (reg, xset)
4748      rtx reg;
4749      void *xset;
4750 {
4751   regset set = (regset) xset;
4752   int regno = REGNO (reg);
4753
4754   if (GET_MODE (reg) == BLKmode)
4755     abort ();
4756
4757   SET_REGNO_REG_SET (set, regno);
4758   if (regno < FIRST_PSEUDO_REGISTER)
4759     {
4760       int n = HARD_REGNO_NREGS (regno, GET_MODE (reg));
4761       while (--n > 0)
4762         SET_REGNO_REG_SET (set, regno + n);
4763     }
4764 }
4765
4766 /* Mark those regs which are needed at the end of the function as live
4767    at the end of the last basic block.  */
4768
4769 static void
4770 mark_regs_live_at_end (set)
4771      regset set;
4772 {
4773   unsigned int i;
4774
4775   /* If exiting needs the right stack value, consider the stack pointer
4776      live at the end of the function.  */
4777   if ((HAVE_epilogue && reload_completed)
4778       || ! EXIT_IGNORE_STACK
4779       || (! FRAME_POINTER_REQUIRED
4780           && ! current_function_calls_alloca
4781           && flag_omit_frame_pointer)
4782       || current_function_sp_is_unchanging)
4783     {
4784       SET_REGNO_REG_SET (set, STACK_POINTER_REGNUM);
4785     }
4786
4787   /* Mark the frame pointer if needed at the end of the function.  If
4788      we end up eliminating it, it will be removed from the live list
4789      of each basic block by reload.  */
4790
4791   if (! reload_completed || frame_pointer_needed)
4792     {
4793       SET_REGNO_REG_SET (set, FRAME_POINTER_REGNUM);
4794 #if FRAME_POINTER_REGNUM != HARD_FRAME_POINTER_REGNUM
4795       /* If they are different, also mark the hard frame pointer as live.  */
4796       if (! LOCAL_REGNO (HARD_FRAME_POINTER_REGNUM))
4797         SET_REGNO_REG_SET (set, HARD_FRAME_POINTER_REGNUM);
4798 #endif
4799     }
4800
4801 #ifndef PIC_OFFSET_TABLE_REG_CALL_CLOBBERED
4802   /* Many architectures have a GP register even without flag_pic.
4803      Assume the pic register is not in use, or will be handled by
4804      other means, if it is not fixed.  */
4805   if (PIC_OFFSET_TABLE_REGNUM != INVALID_REGNUM
4806       && fixed_regs[PIC_OFFSET_TABLE_REGNUM])
4807     SET_REGNO_REG_SET (set, PIC_OFFSET_TABLE_REGNUM);
4808 #endif
4809
4810   /* Mark all global registers, and all registers used by the epilogue
4811      as being live at the end of the function since they may be
4812      referenced by our caller.  */
4813   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
4814     if (global_regs[i] || EPILOGUE_USES (i))
4815       SET_REGNO_REG_SET (set, i);
4816
4817   if (HAVE_epilogue && reload_completed)
4818     {
4819       /* Mark all call-saved registers that we actually used.  */
4820       for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
4821         if (regs_ever_live[i] && ! LOCAL_REGNO (i)
4822             && ! TEST_HARD_REG_BIT (regs_invalidated_by_call, i))
4823           SET_REGNO_REG_SET (set, i);
4824     }
4825
4826 #ifdef EH_RETURN_DATA_REGNO
4827   /* Mark the registers that will contain data for the handler.  */
4828   if (reload_completed && current_function_calls_eh_return)
4829     for (i = 0; ; ++i)
4830       {
4831         unsigned regno = EH_RETURN_DATA_REGNO(i);
4832         if (regno == INVALID_REGNUM)
4833           break;
4834         SET_REGNO_REG_SET (set, regno);
4835       }
4836 #endif
4837 #ifdef EH_RETURN_STACKADJ_RTX
4838   if ((! HAVE_epilogue || ! reload_completed)
4839       && current_function_calls_eh_return)
4840     {
4841       rtx tmp = EH_RETURN_STACKADJ_RTX;
4842       if (tmp && REG_P (tmp))
4843         mark_reg (tmp, set);
4844     }
4845 #endif
4846 #ifdef EH_RETURN_HANDLER_RTX
4847   if ((! HAVE_epilogue || ! reload_completed)
4848       && current_function_calls_eh_return)
4849     {
4850       rtx tmp = EH_RETURN_HANDLER_RTX;
4851       if (tmp && REG_P (tmp))
4852         mark_reg (tmp, set);
4853     }
4854 #endif
4855
4856   /* Mark function return value.  */
4857   diddle_return_value (mark_reg, set);
4858 }
4859
4860 /* Callback function for for_each_successor_phi.  DATA is a regset.
4861    Sets the SRC_REGNO, the regno of the phi alternative for phi node
4862    INSN, in the regset.  */
4863
4864 static int
4865 set_phi_alternative_reg (insn, dest_regno, src_regno, data)
4866      rtx insn ATTRIBUTE_UNUSED;
4867      int dest_regno ATTRIBUTE_UNUSED;
4868      int src_regno;
4869      void *data;
4870 {
4871   regset live = (regset) data;
4872   SET_REGNO_REG_SET (live, src_regno);
4873   return 0;
4874 }
4875
4876 /* Propagate global life info around the graph of basic blocks.  Begin
4877    considering blocks with their corresponding bit set in BLOCKS_IN.
4878    If BLOCKS_IN is null, consider it the universal set.
4879
4880    BLOCKS_OUT is set for every block that was changed.  */
4881
4882 static void
4883 calculate_global_regs_live (blocks_in, blocks_out, flags)
4884      sbitmap blocks_in, blocks_out;
4885      int flags;
4886 {
4887   basic_block *queue, *qhead, *qtail, *qend;
4888   regset tmp, new_live_at_end, call_used;
4889   regset_head tmp_head, call_used_head;
4890   regset_head new_live_at_end_head;
4891   int i;
4892
4893   tmp = INITIALIZE_REG_SET (tmp_head);
4894   new_live_at_end = INITIALIZE_REG_SET (new_live_at_end_head);
4895   call_used = INITIALIZE_REG_SET (call_used_head);
4896
4897   /* Inconveniently, this is only redily available in hard reg set form.  */
4898   for (i = 0; i < FIRST_PSEUDO_REGISTER; ++i)
4899     if (call_used_regs[i])
4900       SET_REGNO_REG_SET (call_used, i);
4901
4902   /* Create a worklist.  Allocate an extra slot for ENTRY_BLOCK, and one
4903      because the `head == tail' style test for an empty queue doesn't
4904      work with a full queue.  */
4905   queue = (basic_block *) xmalloc ((n_basic_blocks + 2) * sizeof (*queue));
4906   qtail = queue;
4907   qhead = qend = queue + n_basic_blocks + 2;
4908
4909   /* Queue the blocks set in the initial mask.  Do this in reverse block
4910      number order so that we are more likely for the first round to do
4911      useful work.  We use AUX non-null to flag that the block is queued.  */
4912   if (blocks_in)
4913     {
4914       /* Clear out the garbage that might be hanging out in bb->aux.  */
4915       for (i = n_basic_blocks - 1; i >= 0; --i)
4916         BASIC_BLOCK (i)->aux = NULL;
4917
4918       EXECUTE_IF_SET_IN_SBITMAP (blocks_in, 0, i,
4919         {
4920           basic_block bb = BASIC_BLOCK (i);
4921           *--qhead = bb;
4922           bb->aux = bb;
4923         });
4924     }
4925   else
4926     {
4927       for (i = 0; i < n_basic_blocks; ++i)
4928         {
4929           basic_block bb = BASIC_BLOCK (i);
4930           *--qhead = bb;
4931           bb->aux = bb;
4932         }
4933     }
4934
4935   if (blocks_out)
4936     sbitmap_zero (blocks_out);
4937
4938   /* We work through the queue until there are no more blocks.  What
4939      is live at the end of this block is precisely the union of what
4940      is live at the beginning of all its successors.  So, we set its
4941      GLOBAL_LIVE_AT_END field based on the GLOBAL_LIVE_AT_START field
4942      for its successors.  Then, we compute GLOBAL_LIVE_AT_START for
4943      this block by walking through the instructions in this block in
4944      reverse order and updating as we go.  If that changed
4945      GLOBAL_LIVE_AT_START, we add the predecessors of the block to the
4946      queue; they will now need to recalculate GLOBAL_LIVE_AT_END.
4947
4948      We are guaranteed to terminate, because GLOBAL_LIVE_AT_START
4949      never shrinks.  If a register appears in GLOBAL_LIVE_AT_START, it
4950      must either be live at the end of the block, or used within the
4951      block.  In the latter case, it will certainly never disappear
4952      from GLOBAL_LIVE_AT_START.  In the former case, the register
4953      could go away only if it disappeared from GLOBAL_LIVE_AT_START
4954      for one of the successor blocks.  By induction, that cannot
4955      occur.  */
4956   while (qhead != qtail)
4957     {
4958       int rescan, changed;
4959       basic_block bb;
4960       edge e;
4961
4962       bb = *qhead++;
4963       if (qhead == qend)
4964         qhead = queue;
4965       bb->aux = NULL;
4966
4967       /* Begin by propagating live_at_start from the successor blocks.  */
4968       CLEAR_REG_SET (new_live_at_end);
4969       for (e = bb->succ; e; e = e->succ_next)
4970         {
4971           basic_block sb = e->dest;
4972
4973           /* Call-clobbered registers die across exception and call edges.  */
4974           /* ??? Abnormal call edges ignored for the moment, as this gets
4975              confused by sibling call edges, which crashes reg-stack.  */
4976           if (e->flags & EDGE_EH)
4977             {
4978               bitmap_operation (tmp, sb->global_live_at_start,
4979                                 call_used, BITMAP_AND_COMPL);
4980               IOR_REG_SET (new_live_at_end, tmp);
4981             }
4982           else
4983             IOR_REG_SET (new_live_at_end, sb->global_live_at_start);
4984         }
4985
4986       /* The all-important stack pointer must always be live.  */
4987       SET_REGNO_REG_SET (new_live_at_end, STACK_POINTER_REGNUM);
4988
4989       /* Before reload, there are a few registers that must be forced
4990          live everywhere -- which might not already be the case for
4991          blocks within infinite loops.  */
4992       if (! reload_completed)
4993         {
4994           /* Any reference to any pseudo before reload is a potential
4995              reference of the frame pointer.  */
4996           SET_REGNO_REG_SET (new_live_at_end, FRAME_POINTER_REGNUM);
4997
4998 #if FRAME_POINTER_REGNUM != ARG_POINTER_REGNUM
4999           /* Pseudos with argument area equivalences may require
5000              reloading via the argument pointer.  */
5001           if (fixed_regs[ARG_POINTER_REGNUM])
5002             SET_REGNO_REG_SET (new_live_at_end, ARG_POINTER_REGNUM);
5003 #endif
5004
5005           /* Any constant, or pseudo with constant equivalences, may
5006              require reloading from memory using the pic register.  */
5007           if (PIC_OFFSET_TABLE_REGNUM != INVALID_REGNUM
5008               && fixed_regs[PIC_OFFSET_TABLE_REGNUM])
5009             SET_REGNO_REG_SET (new_live_at_end, PIC_OFFSET_TABLE_REGNUM);
5010         }
5011
5012       /* Regs used in phi nodes are not included in
5013          global_live_at_start, since they are live only along a
5014          particular edge.  Set those regs that are live because of a
5015          phi node alternative corresponding to this particular block.  */
5016       if (in_ssa_form)
5017         for_each_successor_phi (bb, &set_phi_alternative_reg,
5018                                 new_live_at_end);
5019
5020       if (bb == ENTRY_BLOCK_PTR)
5021         {
5022           COPY_REG_SET (bb->global_live_at_end, new_live_at_end);
5023           continue;
5024         }
5025
5026       /* On our first pass through this block, we'll go ahead and continue.
5027          Recognize first pass by local_set NULL.  On subsequent passes, we
5028          get to skip out early if live_at_end wouldn't have changed.  */
5029
5030       if (bb->local_set == NULL)
5031         {
5032           bb->local_set = OBSTACK_ALLOC_REG_SET (&flow_obstack);
5033           bb->cond_local_set = OBSTACK_ALLOC_REG_SET (&flow_obstack);
5034           rescan = 1;
5035         }
5036       else
5037         {
5038           /* If any bits were removed from live_at_end, we'll have to
5039              rescan the block.  This wouldn't be necessary if we had
5040              precalculated local_live, however with PROP_SCAN_DEAD_CODE
5041              local_live is really dependent on live_at_end.  */
5042           CLEAR_REG_SET (tmp);
5043           rescan = bitmap_operation (tmp, bb->global_live_at_end,
5044                                      new_live_at_end, BITMAP_AND_COMPL);
5045
5046           if (! rescan)
5047             {
5048               /* If any of the registers in the new live_at_end set are
5049                  conditionally set in this basic block, we must rescan.
5050                  This is because conditional lifetimes at the end of the
5051                  block do not just take the live_at_end set into account,
5052                  but also the liveness at the start of each successor
5053                  block.  We can miss changes in those sets if we only
5054                  compare the new live_at_end against the previous one.  */
5055               CLEAR_REG_SET (tmp);
5056               rescan = bitmap_operation (tmp, new_live_at_end,
5057                                          bb->cond_local_set, BITMAP_AND);
5058             }
5059
5060           if (! rescan)
5061             {
5062               /* Find the set of changed bits.  Take this opportunity
5063                  to notice that this set is empty and early out.  */
5064               CLEAR_REG_SET (tmp);
5065               changed = bitmap_operation (tmp, bb->global_live_at_end,
5066                                           new_live_at_end, BITMAP_XOR);
5067               if (! changed)
5068                 continue;
5069
5070               /* If any of the changed bits overlap with local_set,
5071                  we'll have to rescan the block.  Detect overlap by
5072                  the AND with ~local_set turning off bits.  */
5073               rescan = bitmap_operation (tmp, tmp, bb->local_set,
5074                                          BITMAP_AND_COMPL);
5075             }
5076         }
5077
5078       /* Let our caller know that BB changed enough to require its
5079          death notes updated.  */
5080       if (blocks_out)
5081         SET_BIT (blocks_out, bb->index);
5082
5083       if (! rescan)
5084         {
5085           /* Add to live_at_start the set of all registers in
5086              new_live_at_end that aren't in the old live_at_end.  */
5087
5088           bitmap_operation (tmp, new_live_at_end, bb->global_live_at_end,
5089                             BITMAP_AND_COMPL);
5090           COPY_REG_SET (bb->global_live_at_end, new_live_at_end);
5091
5092           changed = bitmap_operation (bb->global_live_at_start,
5093                                       bb->global_live_at_start,
5094                                       tmp, BITMAP_IOR);
5095           if (! changed)
5096             continue;
5097         }
5098       else
5099         {
5100           COPY_REG_SET (bb->global_live_at_end, new_live_at_end);
5101
5102           /* Rescan the block insn by insn to turn (a copy of) live_at_end
5103              into live_at_start.  */
5104           propagate_block (bb, new_live_at_end, bb->local_set,
5105                            bb->cond_local_set, flags);
5106
5107           /* If live_at start didn't change, no need to go farther.  */
5108           if (REG_SET_EQUAL_P (bb->global_live_at_start, new_live_at_end))
5109             continue;
5110
5111           COPY_REG_SET (bb->global_live_at_start, new_live_at_end);
5112         }
5113
5114       /* Queue all predecessors of BB so that we may re-examine
5115          their live_at_end.  */
5116       for (e = bb->pred; e; e = e->pred_next)
5117         {
5118           basic_block pb = e->src;
5119           if (pb->aux == NULL)
5120             {
5121               *qtail++ = pb;
5122               if (qtail == qend)
5123                 qtail = queue;
5124               pb->aux = pb;
5125             }
5126         }
5127     }
5128
5129   FREE_REG_SET (tmp);
5130   FREE_REG_SET (new_live_at_end);
5131   FREE_REG_SET (call_used);
5132
5133   if (blocks_out)
5134     {
5135       EXECUTE_IF_SET_IN_SBITMAP (blocks_out, 0, i,
5136         {
5137           basic_block bb = BASIC_BLOCK (i);
5138           FREE_REG_SET (bb->local_set);
5139           FREE_REG_SET (bb->cond_local_set);
5140         });
5141     }
5142   else
5143     {
5144       for (i = n_basic_blocks - 1; i >= 0; --i)
5145         {
5146           basic_block bb = BASIC_BLOCK (i);
5147           FREE_REG_SET (bb->local_set);
5148           FREE_REG_SET (bb->cond_local_set);
5149         }
5150     }
5151
5152   free (queue);
5153 }
5154 \f
5155 /* Subroutines of life analysis.  */
5156
5157 /* Allocate the permanent data structures that represent the results
5158    of life analysis.  Not static since used also for stupid life analysis.  */
5159
5160 void
5161 allocate_bb_life_data ()
5162 {
5163   register int i;
5164
5165   for (i = 0; i < n_basic_blocks; i++)
5166     {
5167       basic_block bb = BASIC_BLOCK (i);
5168
5169       bb->global_live_at_start = OBSTACK_ALLOC_REG_SET (&flow_obstack);
5170       bb->global_live_at_end = OBSTACK_ALLOC_REG_SET (&flow_obstack);
5171     }
5172
5173   ENTRY_BLOCK_PTR->global_live_at_end
5174     = OBSTACK_ALLOC_REG_SET (&flow_obstack);
5175   EXIT_BLOCK_PTR->global_live_at_start
5176     = OBSTACK_ALLOC_REG_SET (&flow_obstack);
5177
5178   regs_live_at_setjmp = OBSTACK_ALLOC_REG_SET (&flow_obstack);
5179 }
5180
5181 void
5182 allocate_reg_life_data ()
5183 {
5184   int i;
5185
5186   max_regno = max_reg_num ();
5187
5188   /* Recalculate the register space, in case it has grown.  Old style
5189      vector oriented regsets would set regset_{size,bytes} here also.  */
5190   allocate_reg_info (max_regno, FALSE, FALSE);
5191
5192   /* Reset all the data we'll collect in propagate_block and its
5193      subroutines.  */
5194   for (i = 0; i < max_regno; i++)
5195     {
5196       REG_N_SETS (i) = 0;
5197       REG_N_REFS (i) = 0;
5198       REG_N_DEATHS (i) = 0;
5199       REG_N_CALLS_CROSSED (i) = 0;
5200       REG_LIVE_LENGTH (i) = 0;
5201       REG_BASIC_BLOCK (i) = REG_BLOCK_UNKNOWN;
5202     }
5203 }
5204
5205 /* Delete dead instructions for propagate_block.  */
5206
5207 static void
5208 propagate_block_delete_insn (bb, insn)
5209      basic_block bb;
5210      rtx insn;
5211 {
5212   rtx inote = find_reg_note (insn, REG_LABEL, NULL_RTX);
5213
5214   /* If the insn referred to a label, and that label was attached to
5215      an ADDR_VEC, it's safe to delete the ADDR_VEC.  In fact, it's
5216      pretty much mandatory to delete it, because the ADDR_VEC may be
5217      referencing labels that no longer exist.
5218
5219      INSN may reference a deleted label, particularly when a jump
5220      table has been optimized into a direct jump.  There's no
5221      real good way to fix up the reference to the deleted label
5222      when the label is deleted, so we just allow it here.
5223
5224      After dead code elimination is complete, we do search for
5225      any REG_LABEL notes which reference deleted labels as a
5226      sanity check.  */
5227
5228   if (inote && GET_CODE (inote) == CODE_LABEL)
5229     {
5230       rtx label = XEXP (inote, 0);
5231       rtx next;
5232
5233       /* The label may be forced if it has been put in the constant
5234          pool.  If that is the only use we must discard the table
5235          jump following it, but not the label itself.  */
5236       if (LABEL_NUSES (label) == 1 + LABEL_PRESERVE_P (label)
5237           && (next = next_nonnote_insn (label)) != NULL
5238           && GET_CODE (next) == JUMP_INSN
5239           && (GET_CODE (PATTERN (next)) == ADDR_VEC
5240               || GET_CODE (PATTERN (next)) == ADDR_DIFF_VEC))
5241         {
5242           rtx pat = PATTERN (next);
5243           int diff_vec_p = GET_CODE (pat) == ADDR_DIFF_VEC;
5244           int len = XVECLEN (pat, diff_vec_p);
5245           int i;
5246
5247           for (i = 0; i < len; i++)
5248             LABEL_NUSES (XEXP (XVECEXP (pat, diff_vec_p, i), 0))--;
5249
5250           flow_delete_insn (next);
5251         }
5252     }
5253
5254   if (bb->end == insn)
5255     {
5256       bb->end = PREV_INSN (insn);
5257       purge_dead_edges (bb);
5258     }
5259   flow_delete_insn (insn);
5260 }
5261
5262 /* Delete dead libcalls for propagate_block.  Return the insn
5263    before the libcall.  */
5264
5265 static rtx
5266 propagate_block_delete_libcall (bb, insn, note)
5267      basic_block bb;
5268      rtx insn, note;
5269 {
5270   rtx first = XEXP (note, 0);
5271   rtx before = PREV_INSN (first);
5272
5273   if (insn == bb->end)
5274     bb->end = before;
5275
5276   flow_delete_insn_chain (first, insn);
5277   return before;
5278 }
5279
5280 /* Update the life-status of regs for one insn.  Return the previous insn.  */
5281
5282 rtx
5283 propagate_one_insn (pbi, insn)
5284      struct propagate_block_info *pbi;
5285      rtx insn;
5286 {
5287   rtx prev = PREV_INSN (insn);
5288   int flags = pbi->flags;
5289   int insn_is_dead = 0;
5290   int libcall_is_dead = 0;
5291   rtx note;
5292   int i;
5293
5294   if (! INSN_P (insn))
5295     return prev;
5296
5297   note = find_reg_note (insn, REG_RETVAL, NULL_RTX);
5298   if (flags & PROP_SCAN_DEAD_CODE)
5299     {
5300       insn_is_dead = insn_dead_p (pbi, PATTERN (insn), 0, REG_NOTES (insn));
5301       libcall_is_dead = (insn_is_dead && note != 0
5302                          && libcall_dead_p (pbi, note, insn));
5303     }
5304
5305   /* If an instruction consists of just dead store(s) on final pass,
5306      delete it.  */
5307   if ((flags & PROP_KILL_DEAD_CODE) && insn_is_dead)
5308     {
5309       /* If we're trying to delete a prologue or epilogue instruction
5310          that isn't flagged as possibly being dead, something is wrong.
5311          But if we are keeping the stack pointer depressed, we might well
5312          be deleting insns that are used to compute the amount to update
5313          it by, so they are fine.  */
5314       if (reload_completed
5315           && !(TREE_CODE (TREE_TYPE (current_function_decl)) == FUNCTION_TYPE
5316                 && (TYPE_RETURNS_STACK_DEPRESSED
5317                     (TREE_TYPE (current_function_decl))))
5318           && (((HAVE_epilogue || HAVE_prologue)
5319                && prologue_epilogue_contains (insn))
5320               || (HAVE_sibcall_epilogue
5321                   && sibcall_epilogue_contains (insn)))
5322           && find_reg_note (insn, REG_MAYBE_DEAD, NULL_RTX) == 0)
5323         abort ();
5324
5325       /* Record sets.  Do this even for dead instructions, since they
5326          would have killed the values if they hadn't been deleted.  */
5327       mark_set_regs (pbi, PATTERN (insn), insn);
5328
5329       /* CC0 is now known to be dead.  Either this insn used it,
5330          in which case it doesn't anymore, or clobbered it,
5331          so the next insn can't use it.  */
5332       pbi->cc0_live = 0;
5333
5334       if (libcall_is_dead)
5335         prev = propagate_block_delete_libcall (pbi->bb, insn, note);
5336       else
5337         propagate_block_delete_insn (pbi->bb, insn);
5338
5339       return prev;
5340     }
5341
5342   /* See if this is an increment or decrement that can be merged into
5343      a following memory address.  */
5344 #ifdef AUTO_INC_DEC
5345   {
5346     register rtx x = single_set (insn);
5347
5348     /* Does this instruction increment or decrement a register?  */
5349     if ((flags & PROP_AUTOINC)
5350         && x != 0
5351         && GET_CODE (SET_DEST (x)) == REG
5352         && (GET_CODE (SET_SRC (x)) == PLUS
5353             || GET_CODE (SET_SRC (x)) == MINUS)
5354         && XEXP (SET_SRC (x), 0) == SET_DEST (x)
5355         && GET_CODE (XEXP (SET_SRC (x), 1)) == CONST_INT
5356         /* Ok, look for a following memory ref we can combine with.
5357            If one is found, change the memory ref to a PRE_INC
5358            or PRE_DEC, cancel this insn, and return 1.
5359            Return 0 if nothing has been done.  */
5360         && try_pre_increment_1 (pbi, insn))
5361       return prev;
5362   }
5363 #endif /* AUTO_INC_DEC */
5364
5365   CLEAR_REG_SET (pbi->new_set);
5366
5367   /* If this is not the final pass, and this insn is copying the value of
5368      a library call and it's dead, don't scan the insns that perform the
5369      library call, so that the call's arguments are not marked live.  */
5370   if (libcall_is_dead)
5371     {
5372       /* Record the death of the dest reg.  */
5373       mark_set_regs (pbi, PATTERN (insn), insn);
5374
5375       insn = XEXP (note, 0);
5376       return PREV_INSN (insn);
5377     }
5378   else if (GET_CODE (PATTERN (insn)) == SET
5379            && SET_DEST (PATTERN (insn)) == stack_pointer_rtx
5380            && GET_CODE (SET_SRC (PATTERN (insn))) == PLUS
5381            && XEXP (SET_SRC (PATTERN (insn)), 0) == stack_pointer_rtx
5382            && GET_CODE (XEXP (SET_SRC (PATTERN (insn)), 1)) == CONST_INT)
5383     /* We have an insn to pop a constant amount off the stack.
5384        (Such insns use PLUS regardless of the direction of the stack,
5385        and any insn to adjust the stack by a constant is always a pop.)
5386        These insns, if not dead stores, have no effect on life.  */
5387     ;
5388   else
5389     {
5390       /* Any regs live at the time of a call instruction must not go
5391          in a register clobbered by calls.  Find all regs now live and
5392          record this for them.  */
5393
5394       if (GET_CODE (insn) == CALL_INSN && (flags & PROP_REG_INFO))
5395         EXECUTE_IF_SET_IN_REG_SET (pbi->reg_live, 0, i,
5396                                    { REG_N_CALLS_CROSSED (i)++; });
5397
5398       /* Record sets.  Do this even for dead instructions, since they
5399          would have killed the values if they hadn't been deleted.  */
5400       mark_set_regs (pbi, PATTERN (insn), insn);
5401
5402       if (GET_CODE (insn) == CALL_INSN)
5403         {
5404           register int i;
5405           rtx note, cond;
5406
5407           cond = NULL_RTX;
5408           if (GET_CODE (PATTERN (insn)) == COND_EXEC)
5409             cond = COND_EXEC_TEST (PATTERN (insn));
5410
5411           /* Non-constant calls clobber memory.  */
5412           if (! CONST_OR_PURE_CALL_P (insn))
5413             {
5414               free_EXPR_LIST_list (&pbi->mem_set_list);
5415               pbi->mem_set_list_len = 0;
5416             }
5417
5418           /* There may be extra registers to be clobbered.  */
5419           for (note = CALL_INSN_FUNCTION_USAGE (insn);
5420                note;
5421                note = XEXP (note, 1))
5422             if (GET_CODE (XEXP (note, 0)) == CLOBBER)
5423               mark_set_1 (pbi, CLOBBER, XEXP (XEXP (note, 0), 0),
5424                           cond, insn, pbi->flags);
5425
5426           /* Calls change all call-used and global registers.  */
5427           for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
5428             if (TEST_HARD_REG_BIT (regs_invalidated_by_call, i))
5429               {
5430                 /* We do not want REG_UNUSED notes for these registers.  */
5431                 mark_set_1 (pbi, CLOBBER, gen_rtx_REG (reg_raw_mode[i], i),
5432                             cond, insn,
5433                             pbi->flags & ~(PROP_DEATH_NOTES | PROP_REG_INFO));
5434               }
5435         }
5436
5437       /* If an insn doesn't use CC0, it becomes dead since we assume
5438          that every insn clobbers it.  So show it dead here;
5439          mark_used_regs will set it live if it is referenced.  */
5440       pbi->cc0_live = 0;
5441
5442       /* Record uses.  */
5443       if (! insn_is_dead)
5444         mark_used_regs (pbi, PATTERN (insn), NULL_RTX, insn);
5445
5446       /* Sometimes we may have inserted something before INSN (such as a move)
5447          when we make an auto-inc.  So ensure we will scan those insns.  */
5448 #ifdef AUTO_INC_DEC
5449       prev = PREV_INSN (insn);
5450 #endif
5451
5452       if (! insn_is_dead && GET_CODE (insn) == CALL_INSN)
5453         {
5454           register int i;
5455           rtx note, cond;
5456
5457           cond = NULL_RTX;
5458           if (GET_CODE (PATTERN (insn)) == COND_EXEC)
5459             cond = COND_EXEC_TEST (PATTERN (insn));
5460
5461           /* Calls use their arguments.  */
5462           for (note = CALL_INSN_FUNCTION_USAGE (insn);
5463                note;
5464                note = XEXP (note, 1))
5465             if (GET_CODE (XEXP (note, 0)) == USE)
5466               mark_used_regs (pbi, XEXP (XEXP (note, 0), 0),
5467                               cond, insn);
5468
5469           /* The stack ptr is used (honorarily) by a CALL insn.  */
5470           SET_REGNO_REG_SET (pbi->reg_live, STACK_POINTER_REGNUM);
5471
5472           /* Calls may also reference any of the global registers,
5473              so they are made live.  */
5474           for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
5475             if (global_regs[i])
5476               mark_used_reg (pbi, gen_rtx_REG (reg_raw_mode[i], i),
5477                              cond, insn);
5478         }
5479     }
5480
5481   /* On final pass, update counts of how many insns in which each reg
5482      is live.  */
5483   if (flags & PROP_REG_INFO)
5484     EXECUTE_IF_SET_IN_REG_SET (pbi->reg_live, 0, i,
5485                                { REG_LIVE_LENGTH (i)++; });
5486
5487   return prev;
5488 }
5489
5490 /* Initialize a propagate_block_info struct for public consumption.
5491    Note that the structure itself is opaque to this file, but that
5492    the user can use the regsets provided here.  */
5493
5494 struct propagate_block_info *
5495 init_propagate_block_info (bb, live, local_set, cond_local_set, flags)
5496      basic_block bb;
5497      regset live, local_set, cond_local_set;
5498      int flags;
5499 {
5500   struct propagate_block_info *pbi = xmalloc (sizeof (*pbi));
5501
5502   pbi->bb = bb;
5503   pbi->reg_live = live;
5504   pbi->mem_set_list = NULL_RTX;
5505   pbi->mem_set_list_len = 0;
5506   pbi->local_set = local_set;
5507   pbi->cond_local_set = cond_local_set;
5508   pbi->cc0_live = 0;
5509   pbi->flags = flags;
5510
5511   if (flags & (PROP_LOG_LINKS | PROP_AUTOINC))
5512     pbi->reg_next_use = (rtx *) xcalloc (max_reg_num (), sizeof (rtx));
5513   else
5514     pbi->reg_next_use = NULL;
5515
5516   pbi->new_set = BITMAP_XMALLOC ();
5517
5518 #ifdef HAVE_conditional_execution
5519   pbi->reg_cond_dead = splay_tree_new (splay_tree_compare_ints, NULL,
5520                                        free_reg_cond_life_info);
5521   pbi->reg_cond_reg = BITMAP_XMALLOC ();
5522
5523   /* If this block ends in a conditional branch, for each register live
5524      from one side of the branch and not the other, record the register
5525      as conditionally dead.  */
5526   if (GET_CODE (bb->end) == JUMP_INSN
5527       && any_condjump_p (bb->end))
5528     {
5529       regset_head diff_head;
5530       regset diff = INITIALIZE_REG_SET (diff_head);
5531       basic_block bb_true, bb_false;
5532       rtx cond_true, cond_false, set_src;
5533       int i;
5534
5535       /* Identify the successor blocks.  */
5536       bb_true = bb->succ->dest;
5537       if (bb->succ->succ_next != NULL)
5538         {
5539           bb_false = bb->succ->succ_next->dest;
5540
5541           if (bb->succ->flags & EDGE_FALLTHRU)
5542             {
5543               basic_block t = bb_false;
5544               bb_false = bb_true;
5545               bb_true = t;
5546             }
5547           else if (! (bb->succ->succ_next->flags & EDGE_FALLTHRU))
5548             abort ();
5549         }
5550       else
5551         {
5552           /* This can happen with a conditional jump to the next insn.  */
5553           if (JUMP_LABEL (bb->end) != bb_true->head)
5554             abort ();
5555
5556           /* Simplest way to do nothing.  */
5557           bb_false = bb_true;
5558         }
5559
5560       /* Extract the condition from the branch.  */
5561       set_src = SET_SRC (pc_set (bb->end));
5562       cond_true = XEXP (set_src, 0);
5563       cond_false = gen_rtx_fmt_ee (reverse_condition (GET_CODE (cond_true)),
5564                                    GET_MODE (cond_true), XEXP (cond_true, 0),
5565                                    XEXP (cond_true, 1));
5566       if (GET_CODE (XEXP (set_src, 1)) == PC)
5567         {
5568           rtx t = cond_false;
5569           cond_false = cond_true;
5570           cond_true = t;
5571         }
5572
5573       /* Compute which register lead different lives in the successors.  */
5574       if (bitmap_operation (diff, bb_true->global_live_at_start,
5575                             bb_false->global_live_at_start, BITMAP_XOR))
5576         {
5577           rtx reg = XEXP (cond_true, 0);
5578
5579           if (GET_CODE (reg) == SUBREG)
5580             reg = SUBREG_REG (reg);
5581
5582           if (GET_CODE (reg) != REG)
5583             abort ();
5584
5585           SET_REGNO_REG_SET (pbi->reg_cond_reg, REGNO (reg));
5586
5587           /* For each such register, mark it conditionally dead.  */
5588           EXECUTE_IF_SET_IN_REG_SET
5589             (diff, 0, i,
5590              {
5591                struct reg_cond_life_info *rcli;
5592                rtx cond;
5593
5594                rcli = (struct reg_cond_life_info *) xmalloc (sizeof (*rcli));
5595
5596                if (REGNO_REG_SET_P (bb_true->global_live_at_start, i))
5597                  cond = cond_false;
5598                else
5599                  cond = cond_true;
5600                rcli->condition = cond;
5601                rcli->stores = const0_rtx;
5602                rcli->orig_condition = cond;
5603
5604                splay_tree_insert (pbi->reg_cond_dead, i,
5605                                   (splay_tree_value) rcli);
5606              });
5607         }
5608
5609       FREE_REG_SET (diff);
5610     }
5611 #endif
5612
5613   /* If this block has no successors, any stores to the frame that aren't
5614      used later in the block are dead.  So make a pass over the block
5615      recording any such that are made and show them dead at the end.  We do
5616      a very conservative and simple job here.  */
5617   if (optimize
5618       && ! (TREE_CODE (TREE_TYPE (current_function_decl)) == FUNCTION_TYPE
5619             && (TYPE_RETURNS_STACK_DEPRESSED
5620                 (TREE_TYPE (current_function_decl))))
5621       && (flags & PROP_SCAN_DEAD_CODE)
5622       && (bb->succ == NULL
5623           || (bb->succ->succ_next == NULL
5624               && bb->succ->dest == EXIT_BLOCK_PTR
5625               && ! current_function_calls_eh_return)))
5626     {
5627       rtx insn, set;
5628       for (insn = bb->end; insn != bb->head; insn = PREV_INSN (insn))
5629         if (GET_CODE (insn) == INSN
5630             && (set = single_set (insn))
5631             && GET_CODE (SET_DEST (set)) == MEM)
5632           {
5633             rtx mem = SET_DEST (set);
5634             rtx canon_mem = canon_rtx (mem);
5635
5636             /* This optimization is performed by faking a store to the
5637                memory at the end of the block.  This doesn't work for
5638                unchanging memories because multiple stores to unchanging
5639                memory is illegal and alias analysis doesn't consider it.  */
5640             if (RTX_UNCHANGING_P (canon_mem))
5641               continue;
5642
5643             if (XEXP (canon_mem, 0) == frame_pointer_rtx
5644                 || (GET_CODE (XEXP (canon_mem, 0)) == PLUS
5645                     && XEXP (XEXP (canon_mem, 0), 0) == frame_pointer_rtx
5646                     && GET_CODE (XEXP (XEXP (canon_mem, 0), 1)) == CONST_INT))
5647               add_to_mem_set_list (pbi, canon_mem);
5648           }
5649     }
5650
5651   return pbi;
5652 }
5653
5654 /* Release a propagate_block_info struct.  */
5655
5656 void
5657 free_propagate_block_info (pbi)
5658      struct propagate_block_info *pbi;
5659 {
5660   free_EXPR_LIST_list (&pbi->mem_set_list);
5661
5662   BITMAP_XFREE (pbi->new_set);
5663
5664 #ifdef HAVE_conditional_execution
5665   splay_tree_delete (pbi->reg_cond_dead);
5666   BITMAP_XFREE (pbi->reg_cond_reg);
5667 #endif
5668
5669   if (pbi->reg_next_use)
5670     free (pbi->reg_next_use);
5671
5672   free (pbi);
5673 }
5674
5675 /* Compute the registers live at the beginning of a basic block BB from
5676    those live at the end.
5677
5678    When called, REG_LIVE contains those live at the end.  On return, it
5679    contains those live at the beginning.
5680
5681    LOCAL_SET, if non-null, will be set with all registers killed
5682    unconditionally by this basic block.
5683    Likewise, COND_LOCAL_SET, if non-null, will be set with all registers
5684    killed conditionally by this basic block.  If there is any unconditional
5685    set of a register, then the corresponding bit will be set in LOCAL_SET
5686    and cleared in COND_LOCAL_SET.
5687    It is valid for LOCAL_SET and COND_LOCAL_SET to be the same set.  In this
5688    case, the resulting set will be equal to the union of the two sets that
5689    would otherwise be computed.
5690
5691    Return non-zero if an INSN is deleted (i.e. by dead code removal).  */
5692
5693 int
5694 propagate_block (bb, live, local_set, cond_local_set, flags)
5695      basic_block bb;
5696      regset live;
5697      regset local_set;
5698      regset cond_local_set;
5699      int flags;
5700 {
5701   struct propagate_block_info *pbi;
5702   rtx insn, prev;
5703   int changed;
5704
5705   pbi = init_propagate_block_info (bb, live, local_set, cond_local_set, flags);
5706
5707   if (flags & PROP_REG_INFO)
5708     {
5709       register int i;
5710
5711       /* Process the regs live at the end of the block.
5712          Mark them as not local to any one basic block.  */
5713       EXECUTE_IF_SET_IN_REG_SET (live, 0, i,
5714                                  { REG_BASIC_BLOCK (i) = REG_BLOCK_GLOBAL; });
5715     }
5716
5717   /* Scan the block an insn at a time from end to beginning.  */
5718
5719   changed = 0;
5720   for (insn = bb->end;; insn = prev)
5721     {
5722       /* If this is a call to `setjmp' et al, warn if any
5723          non-volatile datum is live.  */
5724       if ((flags & PROP_REG_INFO)
5725           && GET_CODE (insn) == CALL_INSN
5726           && find_reg_note (insn, REG_SETJMP, NULL))
5727         IOR_REG_SET (regs_live_at_setjmp, pbi->reg_live);
5728
5729       prev = propagate_one_insn (pbi, insn);
5730       changed |= NEXT_INSN (prev) != insn;
5731
5732       if (insn == bb->head)
5733         break;
5734     }
5735
5736   free_propagate_block_info (pbi);
5737
5738   return changed;
5739 }
5740 \f
5741 /* Return 1 if X (the body of an insn, or part of it) is just dead stores
5742    (SET expressions whose destinations are registers dead after the insn).
5743    NEEDED is the regset that says which regs are alive after the insn.
5744
5745    Unless CALL_OK is non-zero, an insn is needed if it contains a CALL.
5746
5747    If X is the entire body of an insn, NOTES contains the reg notes
5748    pertaining to the insn.  */
5749
5750 static int
5751 insn_dead_p (pbi, x, call_ok, notes)
5752      struct propagate_block_info *pbi;
5753      rtx x;
5754      int call_ok;
5755      rtx notes ATTRIBUTE_UNUSED;
5756 {
5757   enum rtx_code code = GET_CODE (x);
5758
5759 #ifdef AUTO_INC_DEC
5760   /* If flow is invoked after reload, we must take existing AUTO_INC
5761      expresions into account.  */
5762   if (reload_completed)
5763     {
5764       for (; notes; notes = XEXP (notes, 1))
5765         {
5766           if (REG_NOTE_KIND (notes) == REG_INC)
5767             {
5768               int regno = REGNO (XEXP (notes, 0));
5769
5770               /* Don't delete insns to set global regs.  */
5771               if ((regno < FIRST_PSEUDO_REGISTER && global_regs[regno])
5772                   || REGNO_REG_SET_P (pbi->reg_live, regno))
5773                 return 0;
5774             }
5775         }
5776     }
5777 #endif
5778
5779   /* If setting something that's a reg or part of one,
5780      see if that register's altered value will be live.  */
5781
5782   if (code == SET)
5783     {
5784       rtx r = SET_DEST (x);
5785
5786 #ifdef HAVE_cc0
5787       if (GET_CODE (r) == CC0)
5788         return ! pbi->cc0_live;
5789 #endif
5790
5791       /* A SET that is a subroutine call cannot be dead.  */
5792       if (GET_CODE (SET_SRC (x)) == CALL)
5793         {
5794           if (! call_ok)
5795             return 0;
5796         }
5797
5798       /* Don't eliminate loads from volatile memory or volatile asms.  */
5799       else if (volatile_refs_p (SET_SRC (x)))
5800         return 0;
5801
5802       if (GET_CODE (r) == MEM)
5803         {
5804           rtx temp, canon_r;
5805
5806           if (MEM_VOLATILE_P (r) || GET_MODE (r) == BLKmode)
5807             return 0;
5808
5809           canon_r = canon_rtx (r);
5810
5811           /* Walk the set of memory locations we are currently tracking
5812              and see if one is an identical match to this memory location.
5813              If so, this memory write is dead (remember, we're walking
5814              backwards from the end of the block to the start).  Since
5815              rtx_equal_p does not check the alias set or flags, we also
5816              must have the potential for them to conflict (anti_dependence).  */
5817           for (temp = pbi->mem_set_list; temp != 0; temp = XEXP (temp, 1))
5818             if (anti_dependence (r, XEXP (temp, 0)))
5819               {
5820                 rtx mem = XEXP (temp, 0);
5821
5822                 if (rtx_equal_p (XEXP (canon_r, 0), XEXP (mem, 0))
5823                     && (GET_MODE_SIZE (GET_MODE (canon_r))
5824                         <= GET_MODE_SIZE (GET_MODE (mem))))
5825                   return 1;
5826
5827 #ifdef AUTO_INC_DEC
5828                 /* Check if memory reference matches an auto increment. Only
5829                    post increment/decrement or modify are valid.  */
5830                 if (GET_MODE (mem) == GET_MODE (r)
5831                     && (GET_CODE (XEXP (mem, 0)) == POST_DEC
5832                         || GET_CODE (XEXP (mem, 0)) == POST_INC
5833                         || GET_CODE (XEXP (mem, 0)) == POST_MODIFY)
5834                     && GET_MODE (XEXP (mem, 0)) == GET_MODE (r)
5835                     && rtx_equal_p (XEXP (XEXP (mem, 0), 0), XEXP (r, 0)))
5836                   return 1;
5837 #endif
5838               }
5839         }
5840       else
5841         {
5842           while (GET_CODE (r) == SUBREG
5843                  || GET_CODE (r) == STRICT_LOW_PART
5844                  || GET_CODE (r) == ZERO_EXTRACT)
5845             r = XEXP (r, 0);
5846
5847           if (GET_CODE (r) == REG)
5848             {
5849               int regno = REGNO (r);
5850
5851               /* Obvious.  */
5852               if (REGNO_REG_SET_P (pbi->reg_live, regno))
5853                 return 0;
5854
5855               /* If this is a hard register, verify that subsequent
5856                  words are not needed.  */
5857               if (regno < FIRST_PSEUDO_REGISTER)
5858                 {
5859                   int n = HARD_REGNO_NREGS (regno, GET_MODE (r));
5860
5861                   while (--n > 0)
5862                     if (REGNO_REG_SET_P (pbi->reg_live, regno+n))
5863                       return 0;
5864                 }
5865
5866               /* Don't delete insns to set global regs.  */
5867               if (regno < FIRST_PSEUDO_REGISTER && global_regs[regno])
5868                 return 0;
5869
5870               /* Make sure insns to set the stack pointer aren't deleted.  */
5871               if (regno == STACK_POINTER_REGNUM)
5872                 return 0;
5873
5874               /* ??? These bits might be redundant with the force live bits
5875                  in calculate_global_regs_live.  We would delete from
5876                  sequential sets; whether this actually affects real code
5877                  for anything but the stack pointer I don't know.  */
5878               /* Make sure insns to set the frame pointer aren't deleted.  */
5879               if (regno == FRAME_POINTER_REGNUM
5880                   && (! reload_completed || frame_pointer_needed))
5881                 return 0;
5882 #if FRAME_POINTER_REGNUM != HARD_FRAME_POINTER_REGNUM
5883               if (regno == HARD_FRAME_POINTER_REGNUM
5884                   && (! reload_completed || frame_pointer_needed))
5885                 return 0;
5886 #endif
5887
5888 #if FRAME_POINTER_REGNUM != ARG_POINTER_REGNUM
5889               /* Make sure insns to set arg pointer are never deleted
5890                  (if the arg pointer isn't fixed, there will be a USE
5891                  for it, so we can treat it normally).  */
5892               if (regno == ARG_POINTER_REGNUM && fixed_regs[regno])
5893                 return 0;
5894 #endif
5895
5896               /* Otherwise, the set is dead.  */
5897               return 1;
5898             }
5899         }
5900     }
5901
5902   /* If performing several activities, insn is dead if each activity
5903      is individually dead.  Also, CLOBBERs and USEs can be ignored; a
5904      CLOBBER or USE that's inside a PARALLEL doesn't make the insn
5905      worth keeping.  */
5906   else if (code == PARALLEL)
5907     {
5908       int i = XVECLEN (x, 0);
5909
5910       for (i--; i >= 0; i--)
5911         if (GET_CODE (XVECEXP (x, 0, i)) != CLOBBER
5912             && GET_CODE (XVECEXP (x, 0, i)) != USE
5913             && ! insn_dead_p (pbi, XVECEXP (x, 0, i), call_ok, NULL_RTX))
5914           return 0;
5915
5916       return 1;
5917     }
5918
5919   /* A CLOBBER of a pseudo-register that is dead serves no purpose.  That
5920      is not necessarily true for hard registers.  */
5921   else if (code == CLOBBER && GET_CODE (XEXP (x, 0)) == REG
5922            && REGNO (XEXP (x, 0)) >= FIRST_PSEUDO_REGISTER
5923            && ! REGNO_REG_SET_P (pbi->reg_live, REGNO (XEXP (x, 0))))
5924     return 1;
5925
5926   /* We do not check other CLOBBER or USE here.  An insn consisting of just
5927      a CLOBBER or just a USE should not be deleted.  */
5928   return 0;
5929 }
5930
5931 /* If INSN is the last insn in a libcall, and assuming INSN is dead,
5932    return 1 if the entire library call is dead.
5933    This is true if INSN copies a register (hard or pseudo)
5934    and if the hard return reg of the call insn is dead.
5935    (The caller should have tested the destination of the SET inside
5936    INSN already for death.)
5937
5938    If this insn doesn't just copy a register, then we don't
5939    have an ordinary libcall.  In that case, cse could not have
5940    managed to substitute the source for the dest later on,
5941    so we can assume the libcall is dead.
5942
5943    PBI is the block info giving pseudoregs live before this insn.
5944    NOTE is the REG_RETVAL note of the insn.  */
5945
5946 static int
5947 libcall_dead_p (pbi, note, insn)
5948      struct propagate_block_info *pbi;
5949      rtx note;
5950      rtx insn;
5951 {
5952   rtx x = single_set (insn);
5953
5954   if (x)
5955     {
5956       register rtx r = SET_SRC (x);
5957
5958       if (GET_CODE (r) == REG)
5959         {
5960           rtx call = XEXP (note, 0);
5961           rtx call_pat;
5962           register int i;
5963
5964           /* Find the call insn.  */
5965           while (call != insn && GET_CODE (call) != CALL_INSN)
5966             call = NEXT_INSN (call);
5967
5968           /* If there is none, do nothing special,
5969              since ordinary death handling can understand these insns.  */
5970           if (call == insn)
5971             return 0;
5972
5973           /* See if the hard reg holding the value is dead.
5974              If this is a PARALLEL, find the call within it.  */
5975           call_pat = PATTERN (call);
5976           if (GET_CODE (call_pat) == PARALLEL)
5977             {
5978               for (i = XVECLEN (call_pat, 0) - 1; i >= 0; i--)
5979                 if (GET_CODE (XVECEXP (call_pat, 0, i)) == SET
5980                     && GET_CODE (SET_SRC (XVECEXP (call_pat, 0, i))) == CALL)
5981                   break;
5982
5983               /* This may be a library call that is returning a value
5984                  via invisible pointer.  Do nothing special, since
5985                  ordinary death handling can understand these insns.  */
5986               if (i < 0)
5987                 return 0;
5988
5989               call_pat = XVECEXP (call_pat, 0, i);
5990             }
5991
5992           return insn_dead_p (pbi, call_pat, 1, REG_NOTES (call));
5993         }
5994     }
5995   return 1;
5996 }
5997
5998 /* Return 1 if register REGNO was used before it was set, i.e. if it is
5999    live at function entry.  Don't count global register variables, variables
6000    in registers that can be used for function arg passing, or variables in
6001    fixed hard registers.  */
6002
6003 int
6004 regno_uninitialized (regno)
6005      int regno;
6006 {
6007   if (n_basic_blocks == 0
6008       || (regno < FIRST_PSEUDO_REGISTER
6009           && (global_regs[regno]
6010               || fixed_regs[regno]
6011               || FUNCTION_ARG_REGNO_P (regno))))
6012     return 0;
6013
6014   return REGNO_REG_SET_P (BASIC_BLOCK (0)->global_live_at_start, regno);
6015 }
6016
6017 /* 1 if register REGNO was alive at a place where `setjmp' was called
6018    and was set more than once or is an argument.
6019    Such regs may be clobbered by `longjmp'.  */
6020
6021 int
6022 regno_clobbered_at_setjmp (regno)
6023      int regno;
6024 {
6025   if (n_basic_blocks == 0)
6026     return 0;
6027
6028   return ((REG_N_SETS (regno) > 1
6029            || REGNO_REG_SET_P (BASIC_BLOCK (0)->global_live_at_start, regno))
6030           && REGNO_REG_SET_P (regs_live_at_setjmp, regno));
6031 }
6032 \f
6033 /* Add MEM to PBI->MEM_SET_LIST.  MEM should be canonical.  Respect the
6034    maximal list size; look for overlaps in mode and select the largest.  */
6035 static void
6036 add_to_mem_set_list (pbi, mem)
6037      struct propagate_block_info *pbi;
6038      rtx mem;
6039 {
6040   rtx i;
6041
6042   /* We don't know how large a BLKmode store is, so we must not
6043      take them into consideration.  */
6044   if (GET_MODE (mem) == BLKmode)
6045     return;
6046
6047   for (i = pbi->mem_set_list; i ; i = XEXP (i, 1))
6048     {
6049       rtx e = XEXP (i, 0);
6050       if (rtx_equal_p (XEXP (mem, 0), XEXP (e, 0)))
6051         {
6052           if (GET_MODE_SIZE (GET_MODE (mem)) > GET_MODE_SIZE (GET_MODE (e)))
6053             {
6054 #ifdef AUTO_INC_DEC
6055               /* If we must store a copy of the mem, we can just modify
6056                  the mode of the stored copy.  */
6057               if (pbi->flags & PROP_AUTOINC)
6058                 PUT_MODE (e, GET_MODE (mem));
6059               else
6060 #endif
6061                 XEXP (i, 0) = mem;
6062             }
6063           return;
6064         }
6065     }
6066
6067   if (pbi->mem_set_list_len < MAX_MEM_SET_LIST_LEN)
6068     {
6069 #ifdef AUTO_INC_DEC
6070       /* Store a copy of mem, otherwise the address may be
6071          scrogged by find_auto_inc.  */
6072       if (pbi->flags & PROP_AUTOINC)
6073         mem = shallow_copy_rtx (mem);
6074 #endif
6075       pbi->mem_set_list = alloc_EXPR_LIST (0, mem, pbi->mem_set_list);
6076       pbi->mem_set_list_len++;
6077     }
6078 }
6079
6080 /* INSN references memory, possibly using autoincrement addressing modes.
6081    Find any entries on the mem_set_list that need to be invalidated due
6082    to an address change.  */
6083
6084 static void
6085 invalidate_mems_from_autoinc (pbi, insn)
6086      struct propagate_block_info *pbi;
6087      rtx insn;
6088 {
6089   rtx note = REG_NOTES (insn);
6090   for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
6091     if (REG_NOTE_KIND (note) == REG_INC)
6092       invalidate_mems_from_set (pbi, XEXP (note, 0));
6093 }
6094
6095 /* EXP is a REG.  Remove any dependant entries from pbi->mem_set_list.  */
6096
6097 static void
6098 invalidate_mems_from_set (pbi, exp)
6099      struct propagate_block_info *pbi;
6100      rtx exp;
6101 {
6102   rtx temp = pbi->mem_set_list;
6103   rtx prev = NULL_RTX;
6104   rtx next;
6105
6106   while (temp)
6107     {
6108       next = XEXP (temp, 1);
6109       if (reg_overlap_mentioned_p (exp, XEXP (temp, 0)))
6110         {
6111           /* Splice this entry out of the list.  */
6112           if (prev)
6113             XEXP (prev, 1) = next;
6114           else
6115             pbi->mem_set_list = next;
6116           free_EXPR_LIST_node (temp);
6117           pbi->mem_set_list_len--;
6118         }
6119       else
6120         prev = temp;
6121       temp = next;
6122     }
6123 }
6124
6125 /* Process the registers that are set within X.  Their bits are set to
6126    1 in the regset DEAD, because they are dead prior to this insn.
6127
6128    If INSN is nonzero, it is the insn being processed.
6129
6130    FLAGS is the set of operations to perform.  */
6131
6132 static void
6133 mark_set_regs (pbi, x, insn)
6134      struct propagate_block_info *pbi;
6135      rtx x, insn;
6136 {
6137   rtx cond = NULL_RTX;
6138   rtx link;
6139   enum rtx_code code;
6140
6141   if (insn)
6142     for (link = REG_NOTES (insn); link; link = XEXP (link, 1))
6143       {
6144         if (REG_NOTE_KIND (link) == REG_INC)
6145           mark_set_1 (pbi, SET, XEXP (link, 0),
6146                       (GET_CODE (x) == COND_EXEC
6147                        ? COND_EXEC_TEST (x) : NULL_RTX),
6148                       insn, pbi->flags);
6149       }
6150  retry:
6151   switch (code = GET_CODE (x))
6152     {
6153     case SET:
6154     case CLOBBER:
6155       mark_set_1 (pbi, code, SET_DEST (x), cond, insn, pbi->flags);
6156       return;
6157
6158     case COND_EXEC:
6159       cond = COND_EXEC_TEST (x);
6160       x = COND_EXEC_CODE (x);
6161       goto retry;
6162
6163     case PARALLEL:
6164       {
6165         register int i;
6166         for (i = XVECLEN (x, 0) - 1; i >= 0; i--)
6167           {
6168             rtx sub = XVECEXP (x, 0, i);
6169             switch (code = GET_CODE (sub))
6170               {
6171               case COND_EXEC:
6172                 if (cond != NULL_RTX)
6173                   abort ();
6174
6175                 cond = COND_EXEC_TEST (sub);
6176                 sub = COND_EXEC_CODE (sub);
6177                 if (GET_CODE (sub) != SET && GET_CODE (sub) != CLOBBER)
6178                   break;
6179                 /* Fall through.  */
6180
6181               case SET:
6182               case CLOBBER:
6183                 mark_set_1 (pbi, code, SET_DEST (sub), cond, insn, pbi->flags);
6184                 break;
6185
6186               default:
6187                 break;
6188               }
6189           }
6190         break;
6191       }
6192
6193     default:
6194       break;
6195     }
6196 }
6197
6198 /* Process a single set, which appears in INSN.  REG (which may not
6199    actually be a REG, it may also be a SUBREG, PARALLEL, etc.) is
6200    being set using the CODE (which may be SET, CLOBBER, or COND_EXEC).
6201    If the set is conditional (because it appear in a COND_EXEC), COND
6202    will be the condition.  */
6203
6204 static void
6205 mark_set_1 (pbi, code, reg, cond, insn, flags)
6206      struct propagate_block_info *pbi;
6207      enum rtx_code code;
6208      rtx reg, cond, insn;
6209      int flags;
6210 {
6211   int regno_first = -1, regno_last = -1;
6212   unsigned long not_dead = 0;
6213   int i;
6214
6215   /* Modifying just one hardware register of a multi-reg value or just a
6216      byte field of a register does not mean the value from before this insn
6217      is now dead.  Of course, if it was dead after it's unused now.  */
6218
6219   switch (GET_CODE (reg))
6220     {
6221     case PARALLEL:
6222       /* Some targets place small structures in registers for return values of
6223          functions.  We have to detect this case specially here to get correct
6224          flow information.  */
6225       for (i = XVECLEN (reg, 0) - 1; i >= 0; i--)
6226         if (XEXP (XVECEXP (reg, 0, i), 0) != 0)
6227           mark_set_1 (pbi, code, XEXP (XVECEXP (reg, 0, i), 0), cond, insn,
6228                       flags);
6229       return;
6230
6231     case ZERO_EXTRACT:
6232     case SIGN_EXTRACT:
6233     case STRICT_LOW_PART:
6234       /* ??? Assumes STRICT_LOW_PART not used on multi-word registers.  */
6235       do
6236         reg = XEXP (reg, 0);
6237       while (GET_CODE (reg) == SUBREG
6238              || GET_CODE (reg) == ZERO_EXTRACT
6239              || GET_CODE (reg) == SIGN_EXTRACT
6240              || GET_CODE (reg) == STRICT_LOW_PART);
6241       if (GET_CODE (reg) == MEM)
6242         break;
6243       not_dead = (unsigned long) REGNO_REG_SET_P (pbi->reg_live, REGNO (reg));
6244       /* Fall through.  */
6245
6246     case REG:
6247       regno_last = regno_first = REGNO (reg);
6248       if (regno_first < FIRST_PSEUDO_REGISTER)
6249         regno_last += HARD_REGNO_NREGS (regno_first, GET_MODE (reg)) - 1;
6250       break;
6251
6252     case SUBREG:
6253       if (GET_CODE (SUBREG_REG (reg)) == REG)
6254         {
6255           enum machine_mode outer_mode = GET_MODE (reg);
6256           enum machine_mode inner_mode = GET_MODE (SUBREG_REG (reg));
6257
6258           /* Identify the range of registers affected.  This is moderately
6259              tricky for hard registers.  See alter_subreg.  */
6260
6261           regno_last = regno_first = REGNO (SUBREG_REG (reg));
6262           if (regno_first < FIRST_PSEUDO_REGISTER)
6263             {
6264               regno_first += subreg_regno_offset (regno_first, inner_mode,
6265                                                   SUBREG_BYTE (reg),
6266                                                   outer_mode);
6267               regno_last = (regno_first
6268                             + HARD_REGNO_NREGS (regno_first, outer_mode) - 1);
6269
6270               /* Since we've just adjusted the register number ranges, make
6271                  sure REG matches.  Otherwise some_was_live will be clear
6272                  when it shouldn't have been, and we'll create incorrect
6273                  REG_UNUSED notes.  */
6274               reg = gen_rtx_REG (outer_mode, regno_first);
6275             }
6276           else
6277             {
6278               /* If the number of words in the subreg is less than the number
6279                  of words in the full register, we have a well-defined partial
6280                  set.  Otherwise the high bits are undefined.
6281
6282                  This is only really applicable to pseudos, since we just took
6283                  care of multi-word hard registers.  */
6284               if (((GET_MODE_SIZE (outer_mode)
6285                     + UNITS_PER_WORD - 1) / UNITS_PER_WORD)
6286                   < ((GET_MODE_SIZE (inner_mode)
6287                       + UNITS_PER_WORD - 1) / UNITS_PER_WORD))
6288                 not_dead = (unsigned long) REGNO_REG_SET_P (pbi->reg_live,
6289                                                             regno_first);
6290
6291               reg = SUBREG_REG (reg);
6292             }
6293         }
6294       else
6295         reg = SUBREG_REG (reg);
6296       break;
6297
6298     default:
6299       break;
6300     }
6301
6302   /* If this set is a MEM, then it kills any aliased writes.
6303      If this set is a REG, then it kills any MEMs which use the reg.  */
6304   if (optimize && (flags & PROP_SCAN_DEAD_CODE))
6305     {
6306       if (GET_CODE (reg) == REG)
6307         invalidate_mems_from_set (pbi, reg);
6308
6309       /* If the memory reference had embedded side effects (autoincrement
6310          address modes.  Then we may need to kill some entries on the
6311          memory set list.  */
6312       if (insn && GET_CODE (reg) == MEM)
6313         invalidate_mems_from_autoinc (pbi, insn);
6314
6315       if (GET_CODE (reg) == MEM && ! side_effects_p (reg)
6316           /* ??? With more effort we could track conditional memory life.  */
6317           && ! cond
6318           /* There are no REG_INC notes for SP, so we can't assume we'll see
6319              everything that invalidates it.  To be safe, don't eliminate any
6320              stores though SP; none of them should be redundant anyway.  */
6321           && ! reg_mentioned_p (stack_pointer_rtx, reg))
6322         add_to_mem_set_list (pbi, canon_rtx (reg));
6323     }
6324
6325   if (GET_CODE (reg) == REG
6326       && ! (regno_first == FRAME_POINTER_REGNUM
6327             && (! reload_completed || frame_pointer_needed))
6328 #if FRAME_POINTER_REGNUM != HARD_FRAME_POINTER_REGNUM
6329       && ! (regno_first == HARD_FRAME_POINTER_REGNUM
6330             && (! reload_completed || frame_pointer_needed))
6331 #endif
6332 #if FRAME_POINTER_REGNUM != ARG_POINTER_REGNUM
6333       && ! (regno_first == ARG_POINTER_REGNUM && fixed_regs[regno_first])
6334 #endif
6335       )
6336     {
6337       int some_was_live = 0, some_was_dead = 0;
6338
6339       for (i = regno_first; i <= regno_last; ++i)
6340         {
6341           int needed_regno = REGNO_REG_SET_P (pbi->reg_live, i);
6342           if (pbi->local_set)
6343             {
6344               /* Order of the set operation matters here since both
6345                  sets may be the same.  */
6346               CLEAR_REGNO_REG_SET (pbi->cond_local_set, i);
6347               if (cond != NULL_RTX
6348                   && ! REGNO_REG_SET_P (pbi->local_set, i))
6349                 SET_REGNO_REG_SET (pbi->cond_local_set, i);
6350               else
6351                 SET_REGNO_REG_SET (pbi->local_set, i);
6352             }
6353           if (code != CLOBBER)
6354             SET_REGNO_REG_SET (pbi->new_set, i);
6355
6356           some_was_live |= needed_regno;
6357           some_was_dead |= ! needed_regno;
6358         }
6359
6360 #ifdef HAVE_conditional_execution
6361       /* Consider conditional death in deciding that the register needs
6362          a death note.  */
6363       if (some_was_live && ! not_dead
6364           /* The stack pointer is never dead.  Well, not strictly true,
6365              but it's very difficult to tell from here.  Hopefully
6366              combine_stack_adjustments will fix up the most egregious
6367              errors.  */
6368           && regno_first != STACK_POINTER_REGNUM)
6369         {
6370           for (i = regno_first; i <= regno_last; ++i)
6371             if (! mark_regno_cond_dead (pbi, i, cond))
6372               not_dead |= ((unsigned long) 1) << (i - regno_first);
6373         }
6374 #endif
6375
6376       /* Additional data to record if this is the final pass.  */
6377       if (flags & (PROP_LOG_LINKS | PROP_REG_INFO
6378                    | PROP_DEATH_NOTES | PROP_AUTOINC))
6379         {
6380           register rtx y;
6381           register int blocknum = pbi->bb->index;
6382
6383           y = NULL_RTX;
6384           if (flags & (PROP_LOG_LINKS | PROP_AUTOINC))
6385             {
6386               y = pbi->reg_next_use[regno_first];
6387
6388               /* The next use is no longer next, since a store intervenes.  */
6389               for (i = regno_first; i <= regno_last; ++i)
6390                 pbi->reg_next_use[i] = 0;
6391             }
6392
6393           if (flags & PROP_REG_INFO)
6394             {
6395               for (i = regno_first; i <= regno_last; ++i)
6396                 {
6397                   /* Count (weighted) references, stores, etc.  This counts a
6398                      register twice if it is modified, but that is correct.  */
6399                   REG_N_SETS (i) += 1;
6400                   REG_N_REFS (i) += 1;
6401                   REG_FREQ (i) += REG_FREQ_FROM_BB (pbi->bb);
6402
6403                   /* The insns where a reg is live are normally counted
6404                      elsewhere, but we want the count to include the insn
6405                      where the reg is set, and the normal counting mechanism
6406                      would not count it.  */
6407                   REG_LIVE_LENGTH (i) += 1;
6408                 }
6409
6410               /* If this is a hard reg, record this function uses the reg.  */
6411               if (regno_first < FIRST_PSEUDO_REGISTER)
6412                 {
6413                   for (i = regno_first; i <= regno_last; i++)
6414                     regs_ever_live[i] = 1;
6415                 }
6416               else
6417                 {
6418                   /* Keep track of which basic blocks each reg appears in.  */
6419                   if (REG_BASIC_BLOCK (regno_first) == REG_BLOCK_UNKNOWN)
6420                     REG_BASIC_BLOCK (regno_first) = blocknum;
6421                   else if (REG_BASIC_BLOCK (regno_first) != blocknum)
6422                     REG_BASIC_BLOCK (regno_first) = REG_BLOCK_GLOBAL;
6423                 }
6424             }
6425
6426           if (! some_was_dead)
6427             {
6428               if (flags & PROP_LOG_LINKS)
6429                 {
6430                   /* Make a logical link from the next following insn
6431                      that uses this register, back to this insn.
6432                      The following insns have already been processed.
6433
6434                      We don't build a LOG_LINK for hard registers containing
6435                      in ASM_OPERANDs.  If these registers get replaced,
6436                      we might wind up changing the semantics of the insn,
6437                      even if reload can make what appear to be valid
6438                      assignments later.  */
6439                   if (y && (BLOCK_NUM (y) == blocknum)
6440                       && (regno_first >= FIRST_PSEUDO_REGISTER
6441                           || asm_noperands (PATTERN (y)) < 0))
6442                     LOG_LINKS (y) = alloc_INSN_LIST (insn, LOG_LINKS (y));
6443                 }
6444             }
6445           else if (not_dead)
6446             ;
6447           else if (! some_was_live)
6448             {
6449               if (flags & PROP_REG_INFO)
6450                 REG_N_DEATHS (regno_first) += 1;
6451
6452               if (flags & PROP_DEATH_NOTES)
6453                 {
6454                   /* Note that dead stores have already been deleted
6455                      when possible.  If we get here, we have found a
6456                      dead store that cannot be eliminated (because the
6457                      same insn does something useful).  Indicate this
6458                      by marking the reg being set as dying here.  */
6459                   REG_NOTES (insn)
6460                     = alloc_EXPR_LIST (REG_UNUSED, reg, REG_NOTES (insn));
6461                 }
6462             }
6463           else
6464             {
6465               if (flags & PROP_DEATH_NOTES)
6466                 {
6467                   /* This is a case where we have a multi-word hard register
6468                      and some, but not all, of the words of the register are
6469                      needed in subsequent insns.  Write REG_UNUSED notes
6470                      for those parts that were not needed.  This case should
6471                      be rare.  */
6472
6473                   for (i = regno_first; i <= regno_last; ++i)
6474                     if (! REGNO_REG_SET_P (pbi->reg_live, i))
6475                       REG_NOTES (insn)
6476                         = alloc_EXPR_LIST (REG_UNUSED,
6477                                            gen_rtx_REG (reg_raw_mode[i], i),
6478                                            REG_NOTES (insn));
6479                 }
6480             }
6481         }
6482
6483       /* Mark the register as being dead.  */
6484       if (some_was_live
6485           /* The stack pointer is never dead.  Well, not strictly true,
6486              but it's very difficult to tell from here.  Hopefully
6487              combine_stack_adjustments will fix up the most egregious
6488              errors.  */
6489           && regno_first != STACK_POINTER_REGNUM)
6490         {
6491           for (i = regno_first; i <= regno_last; ++i)
6492             if (!(not_dead & (((unsigned long) 1) << (i - regno_first))))
6493               CLEAR_REGNO_REG_SET (pbi->reg_live, i);
6494         }
6495     }
6496   else if (GET_CODE (reg) == REG)
6497     {
6498       if (flags & (PROP_LOG_LINKS | PROP_AUTOINC))
6499         pbi->reg_next_use[regno_first] = 0;
6500     }
6501
6502   /* If this is the last pass and this is a SCRATCH, show it will be dying
6503      here and count it.  */
6504   else if (GET_CODE (reg) == SCRATCH)
6505     {
6506       if (flags & PROP_DEATH_NOTES)
6507         REG_NOTES (insn)
6508           = alloc_EXPR_LIST (REG_UNUSED, reg, REG_NOTES (insn));
6509     }
6510 }
6511 \f
6512 #ifdef HAVE_conditional_execution
6513 /* Mark REGNO conditionally dead.
6514    Return true if the register is now unconditionally dead.  */
6515
6516 static int
6517 mark_regno_cond_dead (pbi, regno, cond)
6518      struct propagate_block_info *pbi;
6519      int regno;
6520      rtx cond;
6521 {
6522   /* If this is a store to a predicate register, the value of the
6523      predicate is changing, we don't know that the predicate as seen
6524      before is the same as that seen after.  Flush all dependent
6525      conditions from reg_cond_dead.  This will make all such
6526      conditionally live registers unconditionally live.  */
6527   if (REGNO_REG_SET_P (pbi->reg_cond_reg, regno))
6528     flush_reg_cond_reg (pbi, regno);
6529
6530   /* If this is an unconditional store, remove any conditional
6531      life that may have existed.  */
6532   if (cond == NULL_RTX)
6533     splay_tree_remove (pbi->reg_cond_dead, regno);
6534   else
6535     {
6536       splay_tree_node node;
6537       struct reg_cond_life_info *rcli;
6538       rtx ncond;
6539
6540       /* Otherwise this is a conditional set.  Record that fact.
6541          It may have been conditionally used, or there may be a
6542          subsequent set with a complimentary condition.  */
6543
6544       node = splay_tree_lookup (pbi->reg_cond_dead, regno);
6545       if (node == NULL)
6546         {
6547           /* The register was unconditionally live previously.
6548              Record the current condition as the condition under
6549              which it is dead.  */
6550           rcli = (struct reg_cond_life_info *) xmalloc (sizeof (*rcli));
6551           rcli->condition = cond;
6552           rcli->stores = cond;
6553           rcli->orig_condition = const0_rtx;
6554           splay_tree_insert (pbi->reg_cond_dead, regno,
6555                              (splay_tree_value) rcli);
6556
6557           SET_REGNO_REG_SET (pbi->reg_cond_reg, REGNO (XEXP (cond, 0)));
6558
6559           /* Not unconditionaly dead.  */
6560           return 0;
6561         }
6562       else
6563         {
6564           /* The register was conditionally live previously.
6565              Add the new condition to the old.  */
6566           rcli = (struct reg_cond_life_info *) node->value;
6567           ncond = rcli->condition;
6568           ncond = ior_reg_cond (ncond, cond, 1);
6569           if (rcli->stores == const0_rtx)
6570             rcli->stores = cond;
6571           else if (rcli->stores != const1_rtx)
6572             rcli->stores = ior_reg_cond (rcli->stores, cond, 1);
6573
6574           /* If the register is now unconditionally dead, remove the entry
6575              in the splay_tree.  A register is unconditionally dead if the
6576              dead condition ncond is true.  A register is also unconditionally
6577              dead if the sum of all conditional stores is an unconditional
6578              store (stores is true), and the dead condition is identically the
6579              same as the original dead condition initialized at the end of
6580              the block.  This is a pointer compare, not an rtx_equal_p
6581              compare.  */
6582           if (ncond == const1_rtx
6583               || (ncond == rcli->orig_condition && rcli->stores == const1_rtx))
6584             splay_tree_remove (pbi->reg_cond_dead, regno);
6585           else
6586             {
6587               rcli->condition = ncond;
6588
6589               SET_REGNO_REG_SET (pbi->reg_cond_reg, REGNO (XEXP (cond, 0)));
6590
6591               /* Not unconditionaly dead.  */
6592               return 0;
6593             }
6594         }
6595     }
6596
6597   return 1;
6598 }
6599
6600 /* Called from splay_tree_delete for pbi->reg_cond_life.  */
6601
6602 static void
6603 free_reg_cond_life_info (value)
6604      splay_tree_value value;
6605 {
6606   struct reg_cond_life_info *rcli = (struct reg_cond_life_info *) value;
6607   free (rcli);
6608 }
6609
6610 /* Helper function for flush_reg_cond_reg.  */
6611
6612 static int
6613 flush_reg_cond_reg_1 (node, data)
6614      splay_tree_node node;
6615      void *data;
6616 {
6617   struct reg_cond_life_info *rcli;
6618   int *xdata = (int *) data;
6619   unsigned int regno = xdata[0];
6620
6621   /* Don't need to search if last flushed value was farther on in
6622      the in-order traversal.  */
6623   if (xdata[1] >= (int) node->key)
6624     return 0;
6625
6626   /* Splice out portions of the expression that refer to regno.  */
6627   rcli = (struct reg_cond_life_info *) node->value;
6628   rcli->condition = elim_reg_cond (rcli->condition, regno);
6629   if (rcli->stores != const0_rtx && rcli->stores != const1_rtx)
6630     rcli->stores = elim_reg_cond (rcli->stores, regno);
6631
6632   /* If the entire condition is now false, signal the node to be removed.  */
6633   if (rcli->condition == const0_rtx)
6634     {
6635       xdata[1] = node->key;
6636       return -1;
6637     }
6638   else if (rcli->condition == const1_rtx)
6639     abort ();
6640
6641   return 0;
6642 }
6643
6644 /* Flush all (sub) expressions referring to REGNO from REG_COND_LIVE.  */
6645
6646 static void
6647 flush_reg_cond_reg (pbi, regno)
6648      struct propagate_block_info *pbi;
6649      int regno;
6650 {
6651   int pair[2];
6652
6653   pair[0] = regno;
6654   pair[1] = -1;
6655   while (splay_tree_foreach (pbi->reg_cond_dead,
6656                              flush_reg_cond_reg_1, pair) == -1)
6657     splay_tree_remove (pbi->reg_cond_dead, pair[1]);
6658
6659   CLEAR_REGNO_REG_SET (pbi->reg_cond_reg, regno);
6660 }
6661
6662 /* Logical arithmetic on predicate conditions.  IOR, NOT and AND.
6663    For ior/and, the ADD flag determines whether we want to add the new
6664    condition X to the old one unconditionally.  If it is zero, we will
6665    only return a new expression if X allows us to simplify part of
6666    OLD, otherwise we return OLD unchanged to the caller.
6667    If ADD is nonzero, we will return a new condition in all cases.  The
6668    toplevel caller of one of these functions should always pass 1 for
6669    ADD.  */
6670
6671 static rtx
6672 ior_reg_cond (old, x, add)
6673      rtx old, x;
6674      int add;
6675 {
6676   rtx op0, op1;
6677
6678   if (GET_RTX_CLASS (GET_CODE (old)) == '<')
6679     {
6680       if (GET_RTX_CLASS (GET_CODE (x)) == '<'
6681           && REVERSE_CONDEXEC_PREDICATES_P (GET_CODE (x), GET_CODE (old))
6682           && REGNO (XEXP (x, 0)) == REGNO (XEXP (old, 0)))
6683         return const1_rtx;
6684       if (GET_CODE (x) == GET_CODE (old)
6685           && REGNO (XEXP (x, 0)) == REGNO (XEXP (old, 0)))
6686         return old;
6687       if (! add)
6688         return old;
6689       return gen_rtx_IOR (0, old, x);
6690     }
6691
6692   switch (GET_CODE (old))
6693     {
6694     case IOR:
6695       op0 = ior_reg_cond (XEXP (old, 0), x, 0);
6696       op1 = ior_reg_cond (XEXP (old, 1), x, 0);
6697       if (op0 != XEXP (old, 0) || op1 != XEXP (old, 1))
6698         {
6699           if (op0 == const0_rtx)
6700             return op1;
6701           if (op1 == const0_rtx)
6702             return op0;
6703           if (op0 == const1_rtx || op1 == const1_rtx)
6704             return const1_rtx;
6705           if (op0 == XEXP (old, 0))
6706             op0 = gen_rtx_IOR (0, op0, x);
6707           else
6708             op1 = gen_rtx_IOR (0, op1, x);
6709           return gen_rtx_IOR (0, op0, op1);
6710         }
6711       if (! add)
6712         return old;
6713       return gen_rtx_IOR (0, old, x);
6714
6715     case AND:
6716       op0 = ior_reg_cond (XEXP (old, 0), x, 0);
6717       op1 = ior_reg_cond (XEXP (old, 1), x, 0);
6718       if (op0 != XEXP (old, 0) || op1 != XEXP (old, 1))
6719         {
6720           if (op0 == const1_rtx)
6721             return op1;
6722           if (op1 == const1_rtx)
6723             return op0;
6724           if (op0 == const0_rtx || op1 == const0_rtx)
6725             return const0_rtx;
6726           if (op0 == XEXP (old, 0))
6727             op0 = gen_rtx_IOR (0, op0, x);
6728           else
6729             op1 = gen_rtx_IOR (0, op1, x);
6730           return gen_rtx_AND (0, op0, op1);
6731         }
6732       if (! add)
6733         return old;
6734       return gen_rtx_IOR (0, old, x);
6735
6736     case NOT:
6737       op0 = and_reg_cond (XEXP (old, 0), not_reg_cond (x), 0);
6738       if (op0 != XEXP (old, 0))
6739         return not_reg_cond (op0);
6740       if (! add)
6741         return old;
6742       return gen_rtx_IOR (0, old, x);
6743
6744     default:
6745       abort ();
6746     }
6747 }
6748
6749 static rtx
6750 not_reg_cond (x)
6751      rtx x;
6752 {
6753   enum rtx_code x_code;
6754
6755   if (x == const0_rtx)
6756     return const1_rtx;
6757   else if (x == const1_rtx)
6758     return const0_rtx;
6759   x_code = GET_CODE (x);
6760   if (x_code == NOT)
6761     return XEXP (x, 0);
6762   if (GET_RTX_CLASS (x_code) == '<'
6763       && GET_CODE (XEXP (x, 0)) == REG)
6764     {
6765       if (XEXP (x, 1) != const0_rtx)
6766         abort ();
6767
6768       return gen_rtx_fmt_ee (reverse_condition (x_code),
6769                              VOIDmode, XEXP (x, 0), const0_rtx);
6770     }
6771   return gen_rtx_NOT (0, x);
6772 }
6773
6774 static rtx
6775 and_reg_cond (old, x, add)
6776      rtx old, x;
6777      int add;
6778 {
6779   rtx op0, op1;
6780
6781   if (GET_RTX_CLASS (GET_CODE (old)) == '<')
6782     {
6783       if (GET_RTX_CLASS (GET_CODE (x)) == '<'
6784           && GET_CODE (x) == reverse_condition (GET_CODE (old))
6785           && REGNO (XEXP (x, 0)) == REGNO (XEXP (old, 0)))
6786         return const0_rtx;
6787       if (GET_CODE (x) == GET_CODE (old)
6788           && REGNO (XEXP (x, 0)) == REGNO (XEXP (old, 0)))
6789         return old;
6790       if (! add)
6791         return old;
6792       return gen_rtx_AND (0, old, x);
6793     }
6794
6795   switch (GET_CODE (old))
6796     {
6797     case IOR:
6798       op0 = and_reg_cond (XEXP (old, 0), x, 0);
6799       op1 = and_reg_cond (XEXP (old, 1), x, 0);
6800       if (op0 != XEXP (old, 0) || op1 != XEXP (old, 1))
6801         {
6802           if (op0 == const0_rtx)
6803             return op1;
6804           if (op1 == const0_rtx)
6805             return op0;
6806           if (op0 == const1_rtx || op1 == const1_rtx)
6807             return const1_rtx;
6808           if (op0 == XEXP (old, 0))
6809             op0 = gen_rtx_AND (0, op0, x);
6810           else
6811             op1 = gen_rtx_AND (0, op1, x);
6812           return gen_rtx_IOR (0, op0, op1);
6813         }
6814       if (! add)
6815         return old;
6816       return gen_rtx_AND (0, old, x);
6817
6818     case AND:
6819       op0 = and_reg_cond (XEXP (old, 0), x, 0);
6820       op1 = and_reg_cond (XEXP (old, 1), x, 0);
6821       if (op0 != XEXP (old, 0) || op1 != XEXP (old, 1))
6822         {
6823           if (op0 == const1_rtx)
6824             return op1;
6825           if (op1 == const1_rtx)
6826             return op0;
6827           if (op0 == const0_rtx || op1 == const0_rtx)
6828             return const0_rtx;
6829           if (op0 == XEXP (old, 0))
6830             op0 = gen_rtx_AND (0, op0, x);
6831           else
6832             op1 = gen_rtx_AND (0, op1, x);
6833           return gen_rtx_AND (0, op0, op1);
6834         }
6835       if (! add)
6836         return old;
6837
6838       /* If X is identical to one of the existing terms of the AND,
6839          then just return what we already have.  */
6840       /* ??? There really should be some sort of recursive check here in
6841          case there are nested ANDs.  */
6842       if ((GET_CODE (XEXP (old, 0)) == GET_CODE (x)
6843            && REGNO (XEXP (XEXP (old, 0), 0)) == REGNO (XEXP (x, 0)))
6844           || (GET_CODE (XEXP (old, 1)) == GET_CODE (x)
6845               && REGNO (XEXP (XEXP (old, 1), 0)) == REGNO (XEXP (x, 0))))
6846         return old;
6847
6848       return gen_rtx_AND (0, old, x);
6849
6850     case NOT:
6851       op0 = ior_reg_cond (XEXP (old, 0), not_reg_cond (x), 0);
6852       if (op0 != XEXP (old, 0))
6853         return not_reg_cond (op0);
6854       if (! add)
6855         return old;
6856       return gen_rtx_AND (0, old, x);
6857
6858     default:
6859       abort ();
6860     }
6861 }
6862
6863 /* Given a condition X, remove references to reg REGNO and return the
6864    new condition.  The removal will be done so that all conditions
6865    involving REGNO are considered to evaluate to false.  This function
6866    is used when the value of REGNO changes.  */
6867
6868 static rtx
6869 elim_reg_cond (x, regno)
6870      rtx x;
6871      unsigned int regno;
6872 {
6873   rtx op0, op1;
6874
6875   if (GET_RTX_CLASS (GET_CODE (x)) == '<')
6876     {
6877       if (REGNO (XEXP (x, 0)) == regno)
6878         return const0_rtx;
6879       return x;
6880     }
6881
6882   switch (GET_CODE (x))
6883     {
6884     case AND:
6885       op0 = elim_reg_cond (XEXP (x, 0), regno);
6886       op1 = elim_reg_cond (XEXP (x, 1), regno);
6887       if (op0 == const0_rtx || op1 == const0_rtx)
6888         return const0_rtx;
6889       if (op0 == const1_rtx)
6890         return op1;
6891       if (op1 == const1_rtx)
6892         return op0;
6893       if (op0 == XEXP (x, 0) && op1 == XEXP (x, 1))
6894         return x;
6895       return gen_rtx_AND (0, op0, op1);
6896
6897     case IOR:
6898       op0 = elim_reg_cond (XEXP (x, 0), regno);
6899       op1 = elim_reg_cond (XEXP (x, 1), regno);
6900       if (op0 == const1_rtx || op1 == const1_rtx)
6901         return const1_rtx;
6902       if (op0 == const0_rtx)
6903         return op1;
6904       if (op1 == const0_rtx)
6905         return op0;
6906       if (op0 == XEXP (x, 0) && op1 == XEXP (x, 1))
6907         return x;
6908       return gen_rtx_IOR (0, op0, op1);
6909
6910     case NOT:
6911       op0 = elim_reg_cond (XEXP (x, 0), regno);
6912       if (op0 == const0_rtx)
6913         return const1_rtx;
6914       if (op0 == const1_rtx)
6915         return const0_rtx;
6916       if (op0 != XEXP (x, 0))
6917         return not_reg_cond (op0);
6918       return x;
6919
6920     default:
6921       abort ();
6922     }
6923 }
6924 #endif /* HAVE_conditional_execution */
6925 \f
6926 #ifdef AUTO_INC_DEC
6927
6928 /* Try to substitute the auto-inc expression INC as the address inside
6929    MEM which occurs in INSN.  Currently, the address of MEM is an expression
6930    involving INCR_REG, and INCR is the next use of INCR_REG; it is an insn
6931    that has a single set whose source is a PLUS of INCR_REG and something
6932    else.  */
6933
6934 static void
6935 attempt_auto_inc (pbi, inc, insn, mem, incr, incr_reg)
6936      struct propagate_block_info *pbi;
6937      rtx inc, insn, mem, incr, incr_reg;
6938 {
6939   int regno = REGNO (incr_reg);
6940   rtx set = single_set (incr);
6941   rtx q = SET_DEST (set);
6942   rtx y = SET_SRC (set);
6943   int opnum = XEXP (y, 0) == incr_reg ? 0 : 1;
6944
6945   /* Make sure this reg appears only once in this insn.  */
6946   if (count_occurrences (PATTERN (insn), incr_reg, 1) != 1)
6947     return;
6948
6949   if (dead_or_set_p (incr, incr_reg)
6950       /* Mustn't autoinc an eliminable register.  */
6951       && (regno >= FIRST_PSEUDO_REGISTER
6952           || ! TEST_HARD_REG_BIT (elim_reg_set, regno)))
6953     {
6954       /* This is the simple case.  Try to make the auto-inc.  If
6955          we can't, we are done.  Otherwise, we will do any
6956          needed updates below.  */
6957       if (! validate_change (insn, &XEXP (mem, 0), inc, 0))
6958         return;
6959     }
6960   else if (GET_CODE (q) == REG
6961            /* PREV_INSN used here to check the semi-open interval
6962               [insn,incr).  */
6963            && ! reg_used_between_p (q,  PREV_INSN (insn), incr)
6964            /* We must also check for sets of q as q may be
6965               a call clobbered hard register and there may
6966               be a call between PREV_INSN (insn) and incr.  */
6967            && ! reg_set_between_p (q,  PREV_INSN (insn), incr))
6968     {
6969       /* We have *p followed sometime later by q = p+size.
6970          Both p and q must be live afterward,
6971          and q is not used between INSN and its assignment.
6972          Change it to q = p, ...*q..., q = q+size.
6973          Then fall into the usual case.  */
6974       rtx insns, temp;
6975
6976       start_sequence ();
6977       emit_move_insn (q, incr_reg);
6978       insns = get_insns ();
6979       end_sequence ();
6980
6981       if (basic_block_for_insn)
6982         for (temp = insns; temp; temp = NEXT_INSN (temp))
6983           set_block_for_insn (temp, pbi->bb);
6984
6985       /* If we can't make the auto-inc, or can't make the
6986          replacement into Y, exit.  There's no point in making
6987          the change below if we can't do the auto-inc and doing
6988          so is not correct in the pre-inc case.  */
6989
6990       XEXP (inc, 0) = q;
6991       validate_change (insn, &XEXP (mem, 0), inc, 1);
6992       validate_change (incr, &XEXP (y, opnum), q, 1);
6993       if (! apply_change_group ())
6994         return;
6995
6996       /* We now know we'll be doing this change, so emit the
6997          new insn(s) and do the updates.  */
6998       emit_insns_before (insns, insn);
6999
7000       if (pbi->bb->head == insn)
7001         pbi->bb->head = insns;
7002
7003       /* INCR will become a NOTE and INSN won't contain a
7004          use of INCR_REG.  If a use of INCR_REG was just placed in
7005          the insn before INSN, make that the next use.
7006          Otherwise, invalidate it.  */
7007       if (GET_CODE (PREV_INSN (insn)) == INSN
7008           && GET_CODE (PATTERN (PREV_INSN (insn))) == SET
7009           && SET_SRC (PATTERN (PREV_INSN (insn))) == incr_reg)
7010         pbi->reg_next_use[regno] = PREV_INSN (insn);
7011       else
7012         pbi->reg_next_use[regno] = 0;
7013
7014       incr_reg = q;
7015       regno = REGNO (q);
7016
7017       /* REGNO is now used in INCR which is below INSN, but
7018          it previously wasn't live here.  If we don't mark
7019          it as live, we'll put a REG_DEAD note for it
7020          on this insn, which is incorrect.  */
7021       SET_REGNO_REG_SET (pbi->reg_live, regno);
7022
7023       /* If there are any calls between INSN and INCR, show
7024          that REGNO now crosses them.  */
7025       for (temp = insn; temp != incr; temp = NEXT_INSN (temp))
7026         if (GET_CODE (temp) == CALL_INSN)
7027           REG_N_CALLS_CROSSED (regno)++;
7028     }
7029   else
7030     return;
7031
7032   /* If we haven't returned, it means we were able to make the
7033      auto-inc, so update the status.  First, record that this insn
7034      has an implicit side effect.  */
7035
7036   REG_NOTES (insn) = alloc_EXPR_LIST (REG_INC, incr_reg, REG_NOTES (insn));
7037
7038   /* Modify the old increment-insn to simply copy
7039      the already-incremented value of our register.  */
7040   if (! validate_change (incr, &SET_SRC (set), incr_reg, 0))
7041     abort ();
7042
7043   /* If that makes it a no-op (copying the register into itself) delete
7044      it so it won't appear to be a "use" and a "set" of this
7045      register.  */
7046   if (REGNO (SET_DEST (set)) == REGNO (incr_reg))
7047     {
7048       /* If the original source was dead, it's dead now.  */
7049       rtx note;
7050
7051       while ((note = find_reg_note (incr, REG_DEAD, NULL_RTX)) != NULL_RTX)
7052         {
7053           remove_note (incr, note);
7054           if (XEXP (note, 0) != incr_reg)
7055             CLEAR_REGNO_REG_SET (pbi->reg_live, REGNO (XEXP (note, 0)));
7056         }
7057
7058       PUT_CODE (incr, NOTE);
7059       NOTE_LINE_NUMBER (incr) = NOTE_INSN_DELETED;
7060       NOTE_SOURCE_FILE (incr) = 0;
7061     }
7062
7063   if (regno >= FIRST_PSEUDO_REGISTER)
7064     {
7065       /* Count an extra reference to the reg.  When a reg is
7066          incremented, spilling it is worse, so we want to make
7067          that less likely.  */
7068       REG_FREQ (regno) += REG_FREQ_FROM_BB (pbi->bb);
7069
7070       /* Count the increment as a setting of the register,
7071          even though it isn't a SET in rtl.  */
7072       REG_N_SETS (regno)++;
7073     }
7074 }
7075
7076 /* X is a MEM found in INSN.  See if we can convert it into an auto-increment
7077    reference.  */
7078
7079 static void
7080 find_auto_inc (pbi, x, insn)
7081      struct propagate_block_info *pbi;
7082      rtx x;
7083      rtx insn;
7084 {
7085   rtx addr = XEXP (x, 0);
7086   HOST_WIDE_INT offset = 0;
7087   rtx set, y, incr, inc_val;
7088   int regno;
7089   int size = GET_MODE_SIZE (GET_MODE (x));
7090
7091   if (GET_CODE (insn) == JUMP_INSN)
7092     return;
7093
7094   /* Here we detect use of an index register which might be good for
7095      postincrement, postdecrement, preincrement, or predecrement.  */
7096
7097   if (GET_CODE (addr) == PLUS && GET_CODE (XEXP (addr, 1)) == CONST_INT)
7098     offset = INTVAL (XEXP (addr, 1)), addr = XEXP (addr, 0);
7099
7100   if (GET_CODE (addr) != REG)
7101     return;
7102
7103   regno = REGNO (addr);
7104
7105   /* Is the next use an increment that might make auto-increment? */
7106   incr = pbi->reg_next_use[regno];
7107   if (incr == 0 || BLOCK_NUM (incr) != BLOCK_NUM (insn))
7108     return;
7109   set = single_set (incr);
7110   if (set == 0 || GET_CODE (set) != SET)
7111     return;
7112   y = SET_SRC (set);
7113
7114   if (GET_CODE (y) != PLUS)
7115     return;
7116
7117   if (REG_P (XEXP (y, 0)) && REGNO (XEXP (y, 0)) == REGNO (addr))
7118     inc_val = XEXP (y, 1);
7119   else if (REG_P (XEXP (y, 1)) && REGNO (XEXP (y, 1)) == REGNO (addr))
7120     inc_val = XEXP (y, 0);
7121   else
7122     return;
7123
7124   if (GET_CODE (inc_val) == CONST_INT)
7125     {
7126       if (HAVE_POST_INCREMENT
7127           && (INTVAL (inc_val) == size && offset == 0))
7128         attempt_auto_inc (pbi, gen_rtx_POST_INC (Pmode, addr), insn, x,
7129                           incr, addr);
7130       else if (HAVE_POST_DECREMENT
7131                && (INTVAL (inc_val) == -size && offset == 0))
7132         attempt_auto_inc (pbi, gen_rtx_POST_DEC (Pmode, addr), insn, x,
7133                           incr, addr);
7134       else if (HAVE_PRE_INCREMENT
7135                && (INTVAL (inc_val) == size && offset == size))
7136         attempt_auto_inc (pbi, gen_rtx_PRE_INC (Pmode, addr), insn, x,
7137                           incr, addr);
7138       else if (HAVE_PRE_DECREMENT
7139                && (INTVAL (inc_val) == -size && offset == -size))
7140         attempt_auto_inc (pbi, gen_rtx_PRE_DEC (Pmode, addr), insn, x,
7141                           incr, addr);
7142       else if (HAVE_POST_MODIFY_DISP && offset == 0)
7143         attempt_auto_inc (pbi, gen_rtx_POST_MODIFY (Pmode, addr,
7144                                                     gen_rtx_PLUS (Pmode,
7145                                                                   addr,
7146                                                                   inc_val)),
7147                           insn, x, incr, addr);
7148     }
7149   else if (GET_CODE (inc_val) == REG
7150            && ! reg_set_between_p (inc_val, PREV_INSN (insn),
7151                                    NEXT_INSN (incr)))
7152
7153     {
7154       if (HAVE_POST_MODIFY_REG && offset == 0)
7155         attempt_auto_inc (pbi, gen_rtx_POST_MODIFY (Pmode, addr,
7156                                                     gen_rtx_PLUS (Pmode,
7157                                                                   addr,
7158                                                                   inc_val)),
7159                           insn, x, incr, addr);
7160     }
7161 }
7162
7163 #endif /* AUTO_INC_DEC */
7164 \f
7165 static void
7166 mark_used_reg (pbi, reg, cond, insn)
7167      struct propagate_block_info *pbi;
7168      rtx reg;
7169      rtx cond ATTRIBUTE_UNUSED;
7170      rtx insn;
7171 {
7172   unsigned int regno_first, regno_last, i;
7173   int some_was_live, some_was_dead, some_not_set;
7174
7175   regno_last = regno_first = REGNO (reg);
7176   if (regno_first < FIRST_PSEUDO_REGISTER)
7177     regno_last += HARD_REGNO_NREGS (regno_first, GET_MODE (reg)) - 1;
7178
7179   /* Find out if any of this register is live after this instruction.  */
7180   some_was_live = some_was_dead = 0;
7181   for (i = regno_first; i <= regno_last; ++i)
7182     {
7183       int needed_regno = REGNO_REG_SET_P (pbi->reg_live, i);
7184       some_was_live |= needed_regno;
7185       some_was_dead |= ! needed_regno;
7186     }
7187
7188   /* Find out if any of the register was set this insn.  */
7189   some_not_set = 0;
7190   for (i = regno_first; i <= regno_last; ++i)
7191     some_not_set |= ! REGNO_REG_SET_P (pbi->new_set, i);
7192
7193   if (pbi->flags & (PROP_LOG_LINKS | PROP_AUTOINC))
7194     {
7195       /* Record where each reg is used, so when the reg is set we know
7196          the next insn that uses it.  */
7197       pbi->reg_next_use[regno_first] = insn;
7198     }
7199
7200   if (pbi->flags & PROP_REG_INFO)
7201     {
7202       if (regno_first < FIRST_PSEUDO_REGISTER)
7203         {
7204           /* If this is a register we are going to try to eliminate,
7205              don't mark it live here.  If we are successful in
7206              eliminating it, it need not be live unless it is used for
7207              pseudos, in which case it will have been set live when it
7208              was allocated to the pseudos.  If the register will not
7209              be eliminated, reload will set it live at that point.
7210
7211              Otherwise, record that this function uses this register.  */
7212           /* ??? The PPC backend tries to "eliminate" on the pic
7213              register to itself.  This should be fixed.  In the mean
7214              time, hack around it.  */
7215
7216           if (! (TEST_HARD_REG_BIT (elim_reg_set, regno_first)
7217                  && (regno_first == FRAME_POINTER_REGNUM
7218                      || regno_first == ARG_POINTER_REGNUM)))
7219             for (i = regno_first; i <= regno_last; ++i)
7220               regs_ever_live[i] = 1;
7221         }
7222       else
7223         {
7224           /* Keep track of which basic block each reg appears in.  */
7225
7226           register int blocknum = pbi->bb->index;
7227           if (REG_BASIC_BLOCK (regno_first) == REG_BLOCK_UNKNOWN)
7228             REG_BASIC_BLOCK (regno_first) = blocknum;
7229           else if (REG_BASIC_BLOCK (regno_first) != blocknum)
7230             REG_BASIC_BLOCK (regno_first) = REG_BLOCK_GLOBAL;
7231
7232           /* Count (weighted) number of uses of each reg.  */
7233           REG_FREQ (regno_first) += REG_FREQ_FROM_BB (pbi->bb);
7234           REG_N_REFS (regno_first)++;
7235         }
7236     }
7237
7238   /* Record and count the insns in which a reg dies.  If it is used in
7239      this insn and was dead below the insn then it dies in this insn.
7240      If it was set in this insn, we do not make a REG_DEAD note;
7241      likewise if we already made such a note.  */
7242   if ((pbi->flags & (PROP_DEATH_NOTES | PROP_REG_INFO))
7243       && some_was_dead
7244       && some_not_set)
7245     {
7246       /* Check for the case where the register dying partially
7247          overlaps the register set by this insn.  */
7248       if (regno_first != regno_last)
7249         for (i = regno_first; i <= regno_last; ++i)
7250           some_was_live |= REGNO_REG_SET_P (pbi->new_set, i);
7251
7252       /* If none of the words in X is needed, make a REG_DEAD note.
7253          Otherwise, we must make partial REG_DEAD notes.  */
7254       if (! some_was_live)
7255         {
7256           if ((pbi->flags & PROP_DEATH_NOTES)
7257               && ! find_regno_note (insn, REG_DEAD, regno_first))
7258             REG_NOTES (insn)
7259               = alloc_EXPR_LIST (REG_DEAD, reg, REG_NOTES (insn));
7260
7261           if (pbi->flags & PROP_REG_INFO)
7262             REG_N_DEATHS (regno_first)++;
7263         }
7264       else
7265         {
7266           /* Don't make a REG_DEAD note for a part of a register
7267              that is set in the insn.  */
7268           for (i = regno_first; i <= regno_last; ++i)
7269             if (! REGNO_REG_SET_P (pbi->reg_live, i)
7270                 && ! dead_or_set_regno_p (insn, i))
7271               REG_NOTES (insn)
7272                 = alloc_EXPR_LIST (REG_DEAD,
7273                                    gen_rtx_REG (reg_raw_mode[i], i),
7274                                    REG_NOTES (insn));
7275         }
7276     }
7277
7278   /* Mark the register as being live.  */
7279   for (i = regno_first; i <= regno_last; ++i)
7280     {
7281       SET_REGNO_REG_SET (pbi->reg_live, i);
7282
7283 #ifdef HAVE_conditional_execution
7284       /* If this is a conditional use, record that fact.  If it is later
7285          conditionally set, we'll know to kill the register.  */
7286       if (cond != NULL_RTX)
7287         {
7288           splay_tree_node node;
7289           struct reg_cond_life_info *rcli;
7290           rtx ncond;
7291
7292           if (some_was_live)
7293             {
7294               node = splay_tree_lookup (pbi->reg_cond_dead, i);
7295               if (node == NULL)
7296                 {
7297                   /* The register was unconditionally live previously.
7298                      No need to do anything.  */
7299                 }
7300               else
7301                 {
7302                   /* The register was conditionally live previously.
7303                      Subtract the new life cond from the old death cond.  */
7304                   rcli = (struct reg_cond_life_info *) node->value;
7305                   ncond = rcli->condition;
7306                   ncond = and_reg_cond (ncond, not_reg_cond (cond), 1);
7307
7308                   /* If the register is now unconditionally live,
7309                      remove the entry in the splay_tree.  */
7310                   if (ncond == const0_rtx)
7311                     splay_tree_remove (pbi->reg_cond_dead, i);
7312                   else
7313                     {
7314                       rcli->condition = ncond;
7315                       SET_REGNO_REG_SET (pbi->reg_cond_reg,
7316                                          REGNO (XEXP (cond, 0)));
7317                     }
7318                 }
7319             }
7320           else
7321             {
7322               /* The register was not previously live at all.  Record
7323                  the condition under which it is still dead.  */
7324               rcli = (struct reg_cond_life_info *) xmalloc (sizeof (*rcli));
7325               rcli->condition = not_reg_cond (cond);
7326               rcli->stores = const0_rtx;
7327               rcli->orig_condition = const0_rtx;
7328               splay_tree_insert (pbi->reg_cond_dead, i,
7329                                  (splay_tree_value) rcli);
7330
7331               SET_REGNO_REG_SET (pbi->reg_cond_reg, REGNO (XEXP (cond, 0)));
7332             }
7333         }
7334       else if (some_was_live)
7335         {
7336           /* The register may have been conditionally live previously, but
7337              is now unconditionally live.  Remove it from the conditionally
7338              dead list, so that a conditional set won't cause us to think
7339              it dead.  */
7340           splay_tree_remove (pbi->reg_cond_dead, i);
7341         }
7342 #endif
7343     }
7344 }
7345
7346 /* Scan expression X and store a 1-bit in NEW_LIVE for each reg it uses.
7347    This is done assuming the registers needed from X are those that
7348    have 1-bits in PBI->REG_LIVE.
7349
7350    INSN is the containing instruction.  If INSN is dead, this function
7351    is not called.  */
7352
7353 static void
7354 mark_used_regs (pbi, x, cond, insn)
7355      struct propagate_block_info *pbi;
7356      rtx x, cond, insn;
7357 {
7358   register RTX_CODE code;
7359   register int regno;
7360   int flags = pbi->flags;
7361
7362  retry:
7363   code = GET_CODE (x);
7364   switch (code)
7365     {
7366     case LABEL_REF:
7367     case SYMBOL_REF:
7368     case CONST_INT:
7369     case CONST:
7370     case CONST_DOUBLE:
7371     case PC:
7372     case ADDR_VEC:
7373     case ADDR_DIFF_VEC:
7374       return;
7375
7376 #ifdef HAVE_cc0
7377     case CC0:
7378       pbi->cc0_live = 1;
7379       return;
7380 #endif
7381
7382     case CLOBBER:
7383       /* If we are clobbering a MEM, mark any registers inside the address
7384          as being used.  */
7385       if (GET_CODE (XEXP (x, 0)) == MEM)
7386         mark_used_regs (pbi, XEXP (XEXP (x, 0), 0), cond, insn);
7387       return;
7388
7389     case MEM:
7390       /* Don't bother watching stores to mems if this is not the
7391          final pass.  We'll not be deleting dead stores this round.  */
7392       if (optimize && (flags & PROP_SCAN_DEAD_CODE))
7393         {
7394           /* Invalidate the data for the last MEM stored, but only if MEM is
7395              something that can be stored into.  */
7396           if (GET_CODE (XEXP (x, 0)) == SYMBOL_REF
7397               && CONSTANT_POOL_ADDRESS_P (XEXP (x, 0)))
7398             /* Needn't clear the memory set list.  */
7399             ;
7400           else
7401             {
7402               rtx temp = pbi->mem_set_list;
7403               rtx prev = NULL_RTX;
7404               rtx next;
7405
7406               while (temp)
7407                 {
7408                   next = XEXP (temp, 1);
7409                   if (anti_dependence (XEXP (temp, 0), x))
7410                     {
7411                       /* Splice temp out of the list.  */
7412                       if (prev)
7413                         XEXP (prev, 1) = next;
7414                       else
7415                         pbi->mem_set_list = next;
7416                       free_EXPR_LIST_node (temp);
7417                       pbi->mem_set_list_len--;
7418                     }
7419                   else
7420                     prev = temp;
7421                   temp = next;
7422                 }
7423             }
7424
7425           /* If the memory reference had embedded side effects (autoincrement
7426              address modes.  Then we may need to kill some entries on the
7427              memory set list.  */
7428           if (insn)
7429             invalidate_mems_from_autoinc (pbi, insn);
7430         }
7431
7432 #ifdef AUTO_INC_DEC
7433       if (flags & PROP_AUTOINC)
7434         find_auto_inc (pbi, x, insn);
7435 #endif
7436       break;
7437
7438     case SUBREG:
7439 #ifdef CLASS_CANNOT_CHANGE_MODE
7440       if (GET_CODE (SUBREG_REG (x)) == REG
7441           && REGNO (SUBREG_REG (x)) >= FIRST_PSEUDO_REGISTER
7442           && CLASS_CANNOT_CHANGE_MODE_P (GET_MODE (x),
7443                                          GET_MODE (SUBREG_REG (x))))
7444         REG_CHANGES_MODE (REGNO (SUBREG_REG (x))) = 1;
7445 #endif
7446
7447       /* While we're here, optimize this case.  */
7448       x = SUBREG_REG (x);
7449       if (GET_CODE (x) != REG)
7450         goto retry;
7451       /* Fall through.  */
7452
7453     case REG:
7454       /* See a register other than being set => mark it as needed.  */
7455       mark_used_reg (pbi, x, cond, insn);
7456       return;
7457
7458     case SET:
7459       {
7460         register rtx testreg = SET_DEST (x);
7461         int mark_dest = 0;
7462
7463         /* If storing into MEM, don't show it as being used.  But do
7464            show the address as being used.  */
7465         if (GET_CODE (testreg) == MEM)
7466           {
7467 #ifdef AUTO_INC_DEC
7468             if (flags & PROP_AUTOINC)
7469               find_auto_inc (pbi, testreg, insn);
7470 #endif
7471             mark_used_regs (pbi, XEXP (testreg, 0), cond, insn);
7472             mark_used_regs (pbi, SET_SRC (x), cond, insn);
7473             return;
7474           }
7475
7476         /* Storing in STRICT_LOW_PART is like storing in a reg
7477            in that this SET might be dead, so ignore it in TESTREG.
7478            but in some other ways it is like using the reg.
7479
7480            Storing in a SUBREG or a bit field is like storing the entire
7481            register in that if the register's value is not used
7482            then this SET is not needed.  */
7483         while (GET_CODE (testreg) == STRICT_LOW_PART
7484                || GET_CODE (testreg) == ZERO_EXTRACT
7485                || GET_CODE (testreg) == SIGN_EXTRACT
7486                || GET_CODE (testreg) == SUBREG)
7487           {
7488 #ifdef CLASS_CANNOT_CHANGE_MODE
7489             if (GET_CODE (testreg) == SUBREG
7490                 && GET_CODE (SUBREG_REG (testreg)) == REG
7491                 && REGNO (SUBREG_REG (testreg)) >= FIRST_PSEUDO_REGISTER
7492                 && CLASS_CANNOT_CHANGE_MODE_P (GET_MODE (SUBREG_REG (testreg)),
7493                                                GET_MODE (testreg)))
7494               REG_CHANGES_MODE (REGNO (SUBREG_REG (testreg))) = 1;
7495 #endif
7496
7497             /* Modifying a single register in an alternate mode
7498                does not use any of the old value.  But these other
7499                ways of storing in a register do use the old value.  */
7500             if (GET_CODE (testreg) == SUBREG
7501                 && !(REG_SIZE (SUBREG_REG (testreg)) > REG_SIZE (testreg)))
7502               ;
7503             else
7504               mark_dest = 1;
7505
7506             testreg = XEXP (testreg, 0);
7507           }
7508
7509         /* If this is a store into a register or group of registers,
7510            recursively scan the value being stored.  */
7511
7512         if ((GET_CODE (testreg) == PARALLEL
7513              && GET_MODE (testreg) == BLKmode)
7514             || (GET_CODE (testreg) == REG
7515                 && (regno = REGNO (testreg),
7516                     ! (regno == FRAME_POINTER_REGNUM
7517                        && (! reload_completed || frame_pointer_needed)))
7518 #if FRAME_POINTER_REGNUM != HARD_FRAME_POINTER_REGNUM
7519                 && ! (regno == HARD_FRAME_POINTER_REGNUM
7520                       && (! reload_completed || frame_pointer_needed))
7521 #endif
7522 #if FRAME_POINTER_REGNUM != ARG_POINTER_REGNUM
7523                 && ! (regno == ARG_POINTER_REGNUM && fixed_regs[regno])
7524 #endif
7525                 ))
7526           {
7527             if (mark_dest)
7528               mark_used_regs (pbi, SET_DEST (x), cond, insn);
7529             mark_used_regs (pbi, SET_SRC (x), cond, insn);
7530             return;
7531           }
7532       }
7533       break;
7534
7535     case ASM_OPERANDS:
7536     case UNSPEC_VOLATILE:
7537     case TRAP_IF:
7538     case ASM_INPUT:
7539       {
7540         /* Traditional and volatile asm instructions must be considered to use
7541            and clobber all hard registers, all pseudo-registers and all of
7542            memory.  So must TRAP_IF and UNSPEC_VOLATILE operations.
7543
7544            Consider for instance a volatile asm that changes the fpu rounding
7545            mode.  An insn should not be moved across this even if it only uses
7546            pseudo-regs because it might give an incorrectly rounded result.
7547
7548            ?!? Unfortunately, marking all hard registers as live causes massive
7549            problems for the register allocator and marking all pseudos as live
7550            creates mountains of uninitialized variable warnings.
7551
7552            So for now, just clear the memory set list and mark any regs
7553            we can find in ASM_OPERANDS as used.  */
7554         if (code != ASM_OPERANDS || MEM_VOLATILE_P (x))
7555           {
7556             free_EXPR_LIST_list (&pbi->mem_set_list);
7557             pbi->mem_set_list_len = 0;
7558           }
7559
7560         /* For all ASM_OPERANDS, we must traverse the vector of input operands.
7561            We can not just fall through here since then we would be confused
7562            by the ASM_INPUT rtx inside ASM_OPERANDS, which do not indicate
7563            traditional asms unlike their normal usage.  */
7564         if (code == ASM_OPERANDS)
7565           {
7566             int j;
7567
7568             for (j = 0; j < ASM_OPERANDS_INPUT_LENGTH (x); j++)
7569               mark_used_regs (pbi, ASM_OPERANDS_INPUT (x, j), cond, insn);
7570           }
7571         break;
7572       }
7573
7574     case COND_EXEC:
7575       if (cond != NULL_RTX)
7576         abort ();
7577
7578       mark_used_regs (pbi, COND_EXEC_TEST (x), NULL_RTX, insn);
7579
7580       cond = COND_EXEC_TEST (x);
7581       x = COND_EXEC_CODE (x);
7582       goto retry;
7583
7584     case PHI:
7585       /* We _do_not_ want to scan operands of phi nodes.  Operands of
7586          a phi function are evaluated only when control reaches this
7587          block along a particular edge.  Therefore, regs that appear
7588          as arguments to phi should not be added to the global live at
7589          start.  */
7590       return;
7591
7592     default:
7593       break;
7594     }
7595
7596   /* Recursively scan the operands of this expression.  */
7597
7598   {
7599     register const char * const fmt = GET_RTX_FORMAT (code);
7600     register int i;
7601
7602     for (i = GET_RTX_LENGTH (code) - 1; i >= 0; i--)
7603       {
7604         if (fmt[i] == 'e')
7605           {
7606             /* Tail recursive case: save a function call level.  */
7607             if (i == 0)
7608               {
7609                 x = XEXP (x, 0);
7610                 goto retry;
7611               }
7612             mark_used_regs (pbi, XEXP (x, i), cond, insn);
7613           }
7614         else if (fmt[i] == 'E')
7615           {
7616             register int j;
7617             for (j = 0; j < XVECLEN (x, i); j++)
7618               mark_used_regs (pbi, XVECEXP (x, i, j), cond, insn);
7619           }
7620       }
7621   }
7622 }
7623 \f
7624 #ifdef AUTO_INC_DEC
7625
7626 static int
7627 try_pre_increment_1 (pbi, insn)
7628      struct propagate_block_info *pbi;
7629      rtx insn;
7630 {
7631   /* Find the next use of this reg.  If in same basic block,
7632      make it do pre-increment or pre-decrement if appropriate.  */
7633   rtx x = single_set (insn);
7634   HOST_WIDE_INT amount = ((GET_CODE (SET_SRC (x)) == PLUS ? 1 : -1)
7635                           * INTVAL (XEXP (SET_SRC (x), 1)));
7636   int regno = REGNO (SET_DEST (x));
7637   rtx y = pbi->reg_next_use[regno];
7638   if (y != 0
7639       && SET_DEST (x) != stack_pointer_rtx
7640       && BLOCK_NUM (y) == BLOCK_NUM (insn)
7641       /* Don't do this if the reg dies, or gets set in y; a standard addressing
7642          mode would be better.  */
7643       && ! dead_or_set_p (y, SET_DEST (x))
7644       && try_pre_increment (y, SET_DEST (x), amount))
7645     {
7646       /* We have found a suitable auto-increment and already changed
7647          insn Y to do it.  So flush this increment instruction.  */
7648       propagate_block_delete_insn (pbi->bb, insn);
7649
7650       /* Count a reference to this reg for the increment insn we are
7651          deleting.  When a reg is incremented, spilling it is worse,
7652          so we want to make that less likely.  */
7653       if (regno >= FIRST_PSEUDO_REGISTER)
7654         {
7655           REG_FREQ (regno) += REG_FREQ_FROM_BB (pbi->bb);
7656           REG_N_SETS (regno)++;
7657         }
7658
7659       /* Flush any remembered memories depending on the value of
7660          the incremented register.  */
7661       invalidate_mems_from_set (pbi, SET_DEST (x));
7662
7663       return 1;
7664     }
7665   return 0;
7666 }
7667
7668 /* Try to change INSN so that it does pre-increment or pre-decrement
7669    addressing on register REG in order to add AMOUNT to REG.
7670    AMOUNT is negative for pre-decrement.
7671    Returns 1 if the change could be made.
7672    This checks all about the validity of the result of modifying INSN.  */
7673
7674 static int
7675 try_pre_increment (insn, reg, amount)
7676      rtx insn, reg;
7677      HOST_WIDE_INT amount;
7678 {
7679   register rtx use;
7680
7681   /* Nonzero if we can try to make a pre-increment or pre-decrement.
7682      For example, addl $4,r1; movl (r1),... can become movl +(r1),...  */
7683   int pre_ok = 0;
7684   /* Nonzero if we can try to make a post-increment or post-decrement.
7685      For example, addl $4,r1; movl -4(r1),... can become movl (r1)+,...
7686      It is possible for both PRE_OK and POST_OK to be nonzero if the machine
7687      supports both pre-inc and post-inc, or both pre-dec and post-dec.  */
7688   int post_ok = 0;
7689
7690   /* Nonzero if the opportunity actually requires post-inc or post-dec.  */
7691   int do_post = 0;
7692
7693   /* From the sign of increment, see which possibilities are conceivable
7694      on this target machine.  */
7695   if (HAVE_PRE_INCREMENT && amount > 0)
7696     pre_ok = 1;
7697   if (HAVE_POST_INCREMENT && amount > 0)
7698     post_ok = 1;
7699
7700   if (HAVE_PRE_DECREMENT && amount < 0)
7701     pre_ok = 1;
7702   if (HAVE_POST_DECREMENT && amount < 0)
7703     post_ok = 1;
7704
7705   if (! (pre_ok || post_ok))
7706     return 0;
7707
7708   /* It is not safe to add a side effect to a jump insn
7709      because if the incremented register is spilled and must be reloaded
7710      there would be no way to store the incremented value back in memory.  */
7711
7712   if (GET_CODE (insn) == JUMP_INSN)
7713     return 0;
7714
7715   use = 0;
7716   if (pre_ok)
7717     use = find_use_as_address (PATTERN (insn), reg, 0);
7718   if (post_ok && (use == 0 || use == (rtx) 1))
7719     {
7720       use = find_use_as_address (PATTERN (insn), reg, -amount);
7721       do_post = 1;
7722     }
7723
7724   if (use == 0 || use == (rtx) 1)
7725     return 0;
7726
7727   if (GET_MODE_SIZE (GET_MODE (use)) != (amount > 0 ? amount : - amount))
7728     return 0;
7729
7730   /* See if this combination of instruction and addressing mode exists.  */
7731   if (! validate_change (insn, &XEXP (use, 0),
7732                          gen_rtx_fmt_e (amount > 0
7733                                         ? (do_post ? POST_INC : PRE_INC)
7734                                         : (do_post ? POST_DEC : PRE_DEC),
7735                                         Pmode, reg), 0))
7736     return 0;
7737
7738   /* Record that this insn now has an implicit side effect on X.  */
7739   REG_NOTES (insn) = alloc_EXPR_LIST (REG_INC, reg, REG_NOTES (insn));
7740   return 1;
7741 }
7742
7743 #endif /* AUTO_INC_DEC */
7744 \f
7745 /* Find the place in the rtx X where REG is used as a memory address.
7746    Return the MEM rtx that so uses it.
7747    If PLUSCONST is nonzero, search instead for a memory address equivalent to
7748    (plus REG (const_int PLUSCONST)).
7749
7750    If such an address does not appear, return 0.
7751    If REG appears more than once, or is used other than in such an address,
7752    return (rtx)1.  */
7753
7754 rtx
7755 find_use_as_address (x, reg, plusconst)
7756      register rtx x;
7757      rtx reg;
7758      HOST_WIDE_INT plusconst;
7759 {
7760   enum rtx_code code = GET_CODE (x);
7761   const char * const fmt = GET_RTX_FORMAT (code);
7762   register int i;
7763   register rtx value = 0;
7764   register rtx tem;
7765
7766   if (code == MEM && XEXP (x, 0) == reg && plusconst == 0)
7767     return x;
7768
7769   if (code == MEM && GET_CODE (XEXP (x, 0)) == PLUS
7770       && XEXP (XEXP (x, 0), 0) == reg
7771       && GET_CODE (XEXP (XEXP (x, 0), 1)) == CONST_INT
7772       && INTVAL (XEXP (XEXP (x, 0), 1)) == plusconst)
7773     return x;
7774
7775   if (code == SIGN_EXTRACT || code == ZERO_EXTRACT)
7776     {
7777       /* If REG occurs inside a MEM used in a bit-field reference,
7778          that is unacceptable.  */
7779       if (find_use_as_address (XEXP (x, 0), reg, 0) != 0)
7780         return (rtx) (HOST_WIDE_INT) 1;
7781     }
7782
7783   if (x == reg)
7784     return (rtx) (HOST_WIDE_INT) 1;
7785
7786   for (i = GET_RTX_LENGTH (code) - 1; i >= 0; i--)
7787     {
7788       if (fmt[i] == 'e')
7789         {
7790           tem = find_use_as_address (XEXP (x, i), reg, plusconst);
7791           if (value == 0)
7792             value = tem;
7793           else if (tem != 0)
7794             return (rtx) (HOST_WIDE_INT) 1;
7795         }
7796       else if (fmt[i] == 'E')
7797         {
7798           register int j;
7799           for (j = XVECLEN (x, i) - 1; j >= 0; j--)
7800             {
7801               tem = find_use_as_address (XVECEXP (x, i, j), reg, plusconst);
7802               if (value == 0)
7803                 value = tem;
7804               else if (tem != 0)
7805                 return (rtx) (HOST_WIDE_INT) 1;
7806             }
7807         }
7808     }
7809
7810   return value;
7811 }
7812 \f
7813 /* Write information about registers and basic blocks into FILE.
7814    This is part of making a debugging dump.  */
7815
7816 void
7817 dump_regset (r, outf)
7818      regset r;
7819      FILE *outf;
7820 {
7821   int i;
7822   if (r == NULL)
7823     {
7824       fputs (" (nil)", outf);
7825       return;
7826     }
7827
7828   EXECUTE_IF_SET_IN_REG_SET (r, 0, i,
7829     {
7830       fprintf (outf, " %d", i);
7831       if (i < FIRST_PSEUDO_REGISTER)
7832         fprintf (outf, " [%s]",
7833                  reg_names[i]);
7834     });
7835 }
7836
7837 /* Print a human-reaable representation of R on the standard error
7838    stream.  This function is designed to be used from within the
7839    debugger.  */
7840
7841 void
7842 debug_regset (r)
7843      regset r;
7844 {
7845   dump_regset (r, stderr);
7846   putc ('\n', stderr);
7847 }
7848
7849 void
7850 dump_flow_info (file)
7851      FILE *file;
7852 {
7853   register int i;
7854   static const char * const reg_class_names[] = REG_CLASS_NAMES;
7855
7856   fprintf (file, "%d registers.\n", max_regno);
7857   for (i = FIRST_PSEUDO_REGISTER; i < max_regno; i++)
7858     if (REG_N_REFS (i))
7859       {
7860         enum reg_class class, altclass;
7861         fprintf (file, "\nRegister %d used %d times across %d insns",
7862                  i, REG_N_REFS (i), REG_LIVE_LENGTH (i));
7863         if (REG_BASIC_BLOCK (i) >= 0)
7864           fprintf (file, " in block %d", REG_BASIC_BLOCK (i));
7865         if (REG_N_SETS (i))
7866           fprintf (file, "; set %d time%s", REG_N_SETS (i),
7867                    (REG_N_SETS (i) == 1) ? "" : "s");
7868         if (REG_USERVAR_P (regno_reg_rtx[i]))
7869           fprintf (file, "; user var");
7870         if (REG_N_DEATHS (i) != 1)
7871           fprintf (file, "; dies in %d places", REG_N_DEATHS (i));
7872         if (REG_N_CALLS_CROSSED (i) == 1)
7873           fprintf (file, "; crosses 1 call");
7874         else if (REG_N_CALLS_CROSSED (i))
7875           fprintf (file, "; crosses %d calls", REG_N_CALLS_CROSSED (i));
7876         if (PSEUDO_REGNO_BYTES (i) != UNITS_PER_WORD)
7877           fprintf (file, "; %d bytes", PSEUDO_REGNO_BYTES (i));
7878         class = reg_preferred_class (i);
7879         altclass = reg_alternate_class (i);
7880         if (class != GENERAL_REGS || altclass != ALL_REGS)
7881           {
7882             if (altclass == ALL_REGS || class == ALL_REGS)
7883               fprintf (file, "; pref %s", reg_class_names[(int) class]);
7884             else if (altclass == NO_REGS)
7885               fprintf (file, "; %s or none", reg_class_names[(int) class]);
7886             else
7887               fprintf (file, "; pref %s, else %s",
7888                        reg_class_names[(int) class],
7889                        reg_class_names[(int) altclass]);
7890           }
7891         if (REG_POINTER (regno_reg_rtx[i]))
7892           fprintf (file, "; pointer");
7893         fprintf (file, ".\n");
7894       }
7895
7896   fprintf (file, "\n%d basic blocks, %d edges.\n", n_basic_blocks, n_edges);
7897   for (i = 0; i < n_basic_blocks; i++)
7898     {
7899       register basic_block bb = BASIC_BLOCK (i);
7900       register edge e;
7901
7902       fprintf (file, "\nBasic block %d: first insn %d, last %d, loop_depth %d, count ",
7903                i, INSN_UID (bb->head), INSN_UID (bb->end), bb->loop_depth);
7904       fprintf (file, HOST_WIDEST_INT_PRINT_DEC, (HOST_WIDEST_INT) bb->count);
7905       fprintf (file, ", freq %i.\n", bb->frequency);
7906
7907       fprintf (file, "Predecessors: ");
7908       for (e = bb->pred; e; e = e->pred_next)
7909         dump_edge_info (file, e, 0);
7910
7911       fprintf (file, "\nSuccessors: ");
7912       for (e = bb->succ; e; e = e->succ_next)
7913         dump_edge_info (file, e, 1);
7914
7915       fprintf (file, "\nRegisters live at start:");
7916       dump_regset (bb->global_live_at_start, file);
7917
7918       fprintf (file, "\nRegisters live at end:");
7919       dump_regset (bb->global_live_at_end, file);
7920
7921       putc ('\n', file);
7922     }
7923
7924   putc ('\n', file);
7925 }
7926
7927 void
7928 debug_flow_info ()
7929 {
7930   dump_flow_info (stderr);
7931 }
7932
7933 void
7934 dump_edge_info (file, e, do_succ)
7935      FILE *file;
7936      edge e;
7937      int do_succ;
7938 {
7939   basic_block side = (do_succ ? e->dest : e->src);
7940
7941   if (side == ENTRY_BLOCK_PTR)
7942     fputs (" ENTRY", file);
7943   else if (side == EXIT_BLOCK_PTR)
7944     fputs (" EXIT", file);
7945   else
7946     fprintf (file, " %d", side->index);
7947
7948   if (e->probability)
7949     fprintf (file, " [%.1f%%] ", e->probability * 100.0 / REG_BR_PROB_BASE);
7950
7951   if (e->count)
7952     {
7953       fprintf (file, " count:");
7954       fprintf (file, HOST_WIDEST_INT_PRINT_DEC, (HOST_WIDEST_INT) e->count);
7955     }
7956
7957   if (e->flags)
7958     {
7959       static const char * const bitnames[] = {
7960         "fallthru", "crit", "ab", "abcall", "eh", "fake", "dfs_back"
7961       };
7962       int comma = 0;
7963       int i, flags = e->flags;
7964
7965       fputc (' ', file);
7966       fputc ('(', file);
7967       for (i = 0; flags; i++)
7968         if (flags & (1 << i))
7969           {
7970             flags &= ~(1 << i);
7971
7972             if (comma)
7973               fputc (',', file);
7974             if (i < (int) ARRAY_SIZE (bitnames))
7975               fputs (bitnames[i], file);
7976             else
7977               fprintf (file, "%d", i);
7978             comma = 1;
7979           }
7980       fputc (')', file);
7981     }
7982 }
7983 \f
7984 /* Print out one basic block with live information at start and end.  */
7985
7986 void
7987 dump_bb (bb, outf)
7988      basic_block bb;
7989      FILE *outf;
7990 {
7991   rtx insn;
7992   rtx last;
7993   edge e;
7994
7995   fprintf (outf, ";; Basic block %d, loop depth %d, count ",
7996            bb->index, bb->loop_depth);
7997   fprintf (outf, HOST_WIDEST_INT_PRINT_DEC, (HOST_WIDEST_INT) bb->count);
7998   putc ('\n', outf);
7999
8000   fputs (";; Predecessors: ", outf);
8001   for (e = bb->pred; e; e = e->pred_next)
8002     dump_edge_info (outf, e, 0);
8003   putc ('\n', outf);
8004
8005   fputs (";; Registers live at start:", outf);
8006   dump_regset (bb->global_live_at_start, outf);
8007   putc ('\n', outf);
8008
8009   for (insn = bb->head, last = NEXT_INSN (bb->end);
8010        insn != last;
8011        insn = NEXT_INSN (insn))
8012     print_rtl_single (outf, insn);
8013
8014   fputs (";; Registers live at end:", outf);
8015   dump_regset (bb->global_live_at_end, outf);
8016   putc ('\n', outf);
8017
8018   fputs (";; Successors: ", outf);
8019   for (e = bb->succ; e; e = e->succ_next)
8020     dump_edge_info (outf, e, 1);
8021   putc ('\n', outf);
8022 }
8023
8024 void
8025 debug_bb (bb)
8026      basic_block bb;
8027 {
8028   dump_bb (bb, stderr);
8029 }
8030
8031 void
8032 debug_bb_n (n)
8033      int n;
8034 {
8035   dump_bb (BASIC_BLOCK (n), stderr);
8036 }
8037
8038 /* Like print_rtl, but also print out live information for the start of each
8039    basic block.  */
8040
8041 void
8042 print_rtl_with_bb (outf, rtx_first)
8043      FILE *outf;
8044      rtx rtx_first;
8045 {
8046   register rtx tmp_rtx;
8047
8048   if (rtx_first == 0)
8049     fprintf (outf, "(nil)\n");
8050   else
8051     {
8052       int i;
8053       enum bb_state { NOT_IN_BB, IN_ONE_BB, IN_MULTIPLE_BB };
8054       int max_uid = get_max_uid ();
8055       basic_block *start = (basic_block *)
8056         xcalloc (max_uid, sizeof (basic_block));
8057       basic_block *end = (basic_block *)
8058         xcalloc (max_uid, sizeof (basic_block));
8059       enum bb_state *in_bb_p = (enum bb_state *)
8060         xcalloc (max_uid, sizeof (enum bb_state));
8061
8062       for (i = n_basic_blocks - 1; i >= 0; i--)
8063         {
8064           basic_block bb = BASIC_BLOCK (i);
8065           rtx x;
8066
8067           start[INSN_UID (bb->head)] = bb;
8068           end[INSN_UID (bb->end)] = bb;
8069           for (x = bb->head; x != NULL_RTX; x = NEXT_INSN (x))
8070             {
8071               enum bb_state state = IN_MULTIPLE_BB;
8072               if (in_bb_p[INSN_UID (x)] == NOT_IN_BB)
8073                 state = IN_ONE_BB;
8074               in_bb_p[INSN_UID (x)] = state;
8075
8076               if (x == bb->end)
8077                 break;
8078             }
8079         }
8080
8081       for (tmp_rtx = rtx_first; NULL != tmp_rtx; tmp_rtx = NEXT_INSN (tmp_rtx))
8082         {
8083           int did_output;
8084           basic_block bb;
8085
8086           if ((bb = start[INSN_UID (tmp_rtx)]) != NULL)
8087             {
8088               fprintf (outf, ";; Start of basic block %d, registers live:",
8089                        bb->index);
8090               dump_regset (bb->global_live_at_start, outf);
8091               putc ('\n', outf);
8092             }
8093
8094           if (in_bb_p[INSN_UID (tmp_rtx)] == NOT_IN_BB
8095               && GET_CODE (tmp_rtx) != NOTE
8096               && GET_CODE (tmp_rtx) != BARRIER)
8097             fprintf (outf, ";; Insn is not within a basic block\n");
8098           else if (in_bb_p[INSN_UID (tmp_rtx)] == IN_MULTIPLE_BB)
8099             fprintf (outf, ";; Insn is in multiple basic blocks\n");
8100
8101           did_output = print_rtl_single (outf, tmp_rtx);
8102
8103           if ((bb = end[INSN_UID (tmp_rtx)]) != NULL)
8104             {
8105               fprintf (outf, ";; End of basic block %d, registers live:\n",
8106                        bb->index);
8107               dump_regset (bb->global_live_at_end, outf);
8108               putc ('\n', outf);
8109             }
8110
8111           if (did_output)
8112             putc ('\n', outf);
8113         }
8114
8115       free (start);
8116       free (end);
8117       free (in_bb_p);
8118     }
8119
8120   if (current_function_epilogue_delay_list != 0)
8121     {
8122       fprintf (outf, "\n;; Insns in epilogue delay list:\n\n");
8123       for (tmp_rtx = current_function_epilogue_delay_list; tmp_rtx != 0;
8124            tmp_rtx = XEXP (tmp_rtx, 1))
8125         print_rtl_single (outf, XEXP (tmp_rtx, 0));
8126     }
8127 }
8128
8129 /* Dump the rtl into the current debugging dump file, then abort.  */
8130
8131 static void
8132 print_rtl_and_abort_fcn (file, line, function)
8133      const char *file;
8134      int line;
8135      const char *function;
8136 {
8137   if (rtl_dump_file)
8138     {
8139       print_rtl_with_bb (rtl_dump_file, get_insns ());
8140       fclose (rtl_dump_file);
8141     }
8142
8143   fancy_abort (file, line, function);
8144 }
8145
8146 /* Recompute register set/reference counts immediately prior to register
8147    allocation.
8148
8149    This avoids problems with set/reference counts changing to/from values
8150    which have special meanings to the register allocators.
8151
8152    Additionally, the reference counts are the primary component used by the
8153    register allocators to prioritize pseudos for allocation to hard regs.
8154    More accurate reference counts generally lead to better register allocation.
8155
8156    F is the first insn to be scanned.
8157
8158    LOOP_STEP denotes how much loop_depth should be incremented per
8159    loop nesting level in order to increase the ref count more for
8160    references in a loop.
8161
8162    It might be worthwhile to update REG_LIVE_LENGTH, REG_BASIC_BLOCK and
8163    possibly other information which is used by the register allocators.  */
8164
8165 void
8166 recompute_reg_usage (f, loop_step)
8167      rtx f ATTRIBUTE_UNUSED;
8168      int loop_step ATTRIBUTE_UNUSED;
8169 {
8170   allocate_reg_life_data ();
8171   update_life_info (NULL, UPDATE_LIFE_LOCAL, PROP_REG_INFO);
8172 }
8173
8174 /* Optionally removes all the REG_DEAD and REG_UNUSED notes from a set of
8175    blocks.  If BLOCKS is NULL, assume the universal set.  Returns a count
8176    of the number of registers that died.  */
8177
8178 int
8179 count_or_remove_death_notes (blocks, kill)
8180      sbitmap blocks;
8181      int kill;
8182 {
8183   int i, count = 0;
8184
8185   for (i = n_basic_blocks - 1; i >= 0; --i)
8186     {
8187       basic_block bb;
8188       rtx insn;
8189
8190       if (blocks && ! TEST_BIT (blocks, i))
8191         continue;
8192
8193       bb = BASIC_BLOCK (i);
8194
8195       for (insn = bb->head;; insn = NEXT_INSN (insn))
8196         {
8197           if (INSN_P (insn))
8198             {
8199               rtx *pprev = &REG_NOTES (insn);
8200               rtx link = *pprev;
8201
8202               while (link)
8203                 {
8204                   switch (REG_NOTE_KIND (link))
8205                     {
8206                     case REG_DEAD:
8207                       if (GET_CODE (XEXP (link, 0)) == REG)
8208                         {
8209                           rtx reg = XEXP (link, 0);
8210                           int n;
8211
8212                           if (REGNO (reg) >= FIRST_PSEUDO_REGISTER)
8213                             n = 1;
8214                           else
8215                             n = HARD_REGNO_NREGS (REGNO (reg), GET_MODE (reg));
8216                           count += n;
8217                         }
8218                       /* Fall through.  */
8219
8220                     case REG_UNUSED:
8221                       if (kill)
8222                         {
8223                           rtx next = XEXP (link, 1);
8224                           free_EXPR_LIST_node (link);
8225                           *pprev = link = next;
8226                           break;
8227                         }
8228                       /* Fall through.  */
8229
8230                     default:
8231                       pprev = &XEXP (link, 1);
8232                       link = *pprev;
8233                       break;
8234                     }
8235                 }
8236             }
8237
8238           if (insn == bb->end)
8239             break;
8240         }
8241     }
8242
8243   return count;
8244 }
8245
8246
8247 /* Update insns block within BB.  */
8248
8249 void
8250 update_bb_for_insn (bb)
8251      basic_block bb;
8252 {
8253   rtx insn;
8254
8255   if (! basic_block_for_insn)
8256     return;
8257
8258   for (insn = bb->head; ; insn = NEXT_INSN (insn))
8259     {
8260       set_block_for_insn (insn, bb);
8261
8262       if (insn == bb->end)
8263         break;
8264     }
8265 }
8266
8267
8268 /* Record INSN's block as BB.  */
8269
8270 void
8271 set_block_for_insn (insn, bb)
8272      rtx insn;
8273      basic_block bb;
8274 {
8275   size_t uid = INSN_UID (insn);
8276   if (uid >= basic_block_for_insn->num_elements)
8277     {
8278       int new_size;
8279
8280       /* Add one-eighth the size so we don't keep calling xrealloc.  */
8281       new_size = uid + (uid + 7) / 8;
8282
8283       VARRAY_GROW (basic_block_for_insn, new_size);
8284     }
8285   VARRAY_BB (basic_block_for_insn, uid) = bb;
8286 }
8287
8288 /* When a new insn has been inserted into an existing block, it will
8289    sometimes emit more than a single insn. This routine will set the
8290    block number for the specified insn, and look backwards in the insn
8291    chain to see if there are any other uninitialized insns immediately
8292    previous to this one, and set the block number for them too.  */
8293
8294 void
8295 set_block_for_new_insns (insn, bb)
8296      rtx insn;
8297      basic_block bb;
8298 {
8299   set_block_for_insn (insn, bb);
8300
8301   /* Scan the previous instructions setting the block number until we find
8302      an instruction that has the block number set, or we find a note
8303      of any kind.  */
8304   for (insn = PREV_INSN (insn); insn != NULL_RTX; insn = PREV_INSN (insn))
8305     {
8306       if (GET_CODE (insn) == NOTE)
8307         break;
8308       if ((unsigned) INSN_UID (insn) >= basic_block_for_insn->num_elements
8309           || BLOCK_FOR_INSN (insn) == 0)
8310         set_block_for_insn (insn, bb);
8311       else
8312         break;
8313     }
8314 }
8315 \f
8316 /* Verify the CFG consistency.  This function check some CFG invariants and
8317    aborts when something is wrong.  Hope that this function will help to
8318    convert many optimization passes to preserve CFG consistent.
8319
8320    Currently it does following checks:
8321
8322    - test head/end pointers
8323    - overlapping of basic blocks
8324    - edge list correctness
8325    - headers of basic blocks (the NOTE_INSN_BASIC_BLOCK note)
8326    - tails of basic blocks (ensure that boundary is necesary)
8327    - scans body of the basic block for JUMP_INSN, CODE_LABEL
8328      and NOTE_INSN_BASIC_BLOCK
8329    - check that all insns are in the basic blocks
8330    (except the switch handling code, barriers and notes)
8331    - check that all returns are followed by barriers
8332
8333    In future it can be extended check a lot of other stuff as well
8334    (reachability of basic blocks, life information, etc. etc.).  */
8335
8336 void
8337 verify_flow_info ()
8338 {
8339   const int max_uid = get_max_uid ();
8340   const rtx rtx_first = get_insns ();
8341   rtx last_head = get_last_insn ();
8342   basic_block *bb_info, *last_visited;
8343   rtx x;
8344   int i, last_bb_num_seen, num_bb_notes, err = 0;
8345
8346   bb_info = (basic_block *) xcalloc (max_uid, sizeof (basic_block));
8347   last_visited = (basic_block *) xcalloc (n_basic_blocks + 2,
8348                                           sizeof (basic_block));
8349
8350   for (i = n_basic_blocks - 1; i >= 0; i--)
8351     {
8352       basic_block bb = BASIC_BLOCK (i);
8353       rtx head = bb->head;
8354       rtx end = bb->end;
8355
8356       /* Verify the end of the basic block is in the INSN chain.  */
8357       for (x = last_head; x != NULL_RTX; x = PREV_INSN (x))
8358         if (x == end)
8359           break;
8360       if (!x)
8361         {
8362           error ("End insn %d for block %d not found in the insn stream.",
8363                  INSN_UID (end), bb->index);
8364           err = 1;
8365         }
8366
8367       /* Work backwards from the end to the head of the basic block
8368          to verify the head is in the RTL chain.  */
8369       for (; x != NULL_RTX; x = PREV_INSN (x))
8370         {
8371           /* While walking over the insn chain, verify insns appear
8372              in only one basic block and initialize the BB_INFO array
8373              used by other passes.  */
8374           if (bb_info[INSN_UID (x)] != NULL)
8375             {
8376               error ("Insn %d is in multiple basic blocks (%d and %d)",
8377                      INSN_UID (x), bb->index, bb_info[INSN_UID (x)]->index);
8378               err = 1;
8379             }
8380           bb_info[INSN_UID (x)] = bb;
8381
8382           if (x == head)
8383             break;
8384         }
8385       if (!x)
8386         {
8387           error ("Head insn %d for block %d not found in the insn stream.",
8388                  INSN_UID (head), bb->index);
8389           err = 1;
8390         }
8391
8392       last_head = x;
8393     }
8394
8395   /* Now check the basic blocks (boundaries etc.) */
8396   for (i = n_basic_blocks - 1; i >= 0; i--)
8397     {
8398       basic_block bb = BASIC_BLOCK (i);
8399       /* Check correctness of edge lists.  */
8400       edge e;
8401       int has_fallthru = 0;
8402
8403       e = bb->succ;
8404       while (e)
8405         {
8406           if (last_visited [e->dest->index + 2] == bb)
8407             {
8408               error ("verify_flow_info: Duplicate edge %i->%i",
8409                      e->src->index, e->dest->index);
8410               err = 1;
8411             }
8412           last_visited [e->dest->index + 2] = bb;
8413
8414           if (e->flags & EDGE_FALLTHRU)
8415             has_fallthru = 1;
8416
8417           if ((e->flags & EDGE_FALLTHRU)
8418               && e->src != ENTRY_BLOCK_PTR
8419               && e->dest != EXIT_BLOCK_PTR)
8420             {
8421               rtx insn;
8422               if (e->src->index + 1 != e->dest->index)
8423                 {
8424                     error ("verify_flow_info: Incorrect blocks for fallthru %i->%i",
8425                            e->src->index, e->dest->index);
8426                     err = 1;
8427                 }
8428               else
8429                 for (insn = NEXT_INSN (e->src->end); insn != e->dest->head;
8430                      insn = NEXT_INSN (insn))
8431                   if (GET_CODE (insn) == BARRIER || INSN_P (insn))
8432                     {
8433                       error ("verify_flow_info: Incorrect fallthru %i->%i",
8434                              e->src->index, e->dest->index);
8435                       fatal_insn ("Wrong insn in the fallthru edge", insn);
8436                       err = 1;
8437                     }
8438             }
8439           if (e->src != bb)
8440             {
8441               error ("verify_flow_info: Basic block %d succ edge is corrupted",
8442                      bb->index);
8443               fprintf (stderr, "Predecessor: ");
8444               dump_edge_info (stderr, e, 0);
8445               fprintf (stderr, "\nSuccessor: ");
8446               dump_edge_info (stderr, e, 1);
8447               fprintf (stderr, "\n");
8448               err = 1;
8449             }
8450           if (e->dest != EXIT_BLOCK_PTR)
8451             {
8452               edge e2 = e->dest->pred;
8453               while (e2 && e2 != e)
8454                 e2 = e2->pred_next;
8455               if (!e2)
8456                 {
8457                   error ("Basic block %i edge lists are corrupted", bb->index);
8458                   err = 1;
8459                 }
8460             }
8461           e = e->succ_next;
8462         }
8463       if (!has_fallthru)
8464         {
8465           rtx insn = bb->end;
8466
8467           /* Ensure existence of barrier in BB with no fallthru edges.  */
8468           for (insn = bb->end; GET_CODE (insn) != BARRIER;
8469                insn = NEXT_INSN (insn))
8470             if (!insn
8471                 || (GET_CODE (insn) == NOTE
8472                     && NOTE_LINE_NUMBER (insn) == NOTE_INSN_BASIC_BLOCK))
8473                 {
8474                   error ("Missing barrier after block %i", bb->index);
8475                   err = 1;
8476                 }
8477         }
8478
8479       e = bb->pred;
8480       while (e)
8481         {
8482           if (e->dest != bb)
8483             {
8484               error ("Basic block %d pred edge is corrupted", bb->index);
8485               fputs ("Predecessor: ", stderr);
8486               dump_edge_info (stderr, e, 0);
8487               fputs ("\nSuccessor: ", stderr);
8488               dump_edge_info (stderr, e, 1);
8489               fputc ('\n', stderr);
8490               err = 1;
8491             }
8492           if (e->src != ENTRY_BLOCK_PTR)
8493             {
8494               edge e2 = e->src->succ;
8495               while (e2 && e2 != e)
8496                 e2 = e2->succ_next;
8497               if (!e2)
8498                 {
8499                   error ("Basic block %i edge lists are corrupted", bb->index);
8500                   err = 1;
8501                 }
8502             }
8503           e = e->pred_next;
8504         }
8505
8506       /* OK pointers are correct.  Now check the header of basic
8507          block.  It ought to contain optional CODE_LABEL followed
8508          by NOTE_BASIC_BLOCK.  */
8509       x = bb->head;
8510       if (GET_CODE (x) == CODE_LABEL)
8511         {
8512           if (bb->end == x)
8513             {
8514               error ("NOTE_INSN_BASIC_BLOCK is missing for block %d",
8515                      bb->index);
8516               err = 1;
8517             }
8518           x = NEXT_INSN (x);
8519         }
8520       if (!NOTE_INSN_BASIC_BLOCK_P (x) || NOTE_BASIC_BLOCK (x) != bb)
8521         {
8522           error ("NOTE_INSN_BASIC_BLOCK is missing for block %d",
8523                  bb->index);
8524           err = 1;
8525         }
8526
8527       if (bb->end == x)
8528         {
8529           /* Do checks for empty blocks here */
8530         }
8531       else
8532         {
8533           x = NEXT_INSN (x);
8534           while (x)
8535             {
8536               if (NOTE_INSN_BASIC_BLOCK_P (x))
8537                 {
8538                   error ("NOTE_INSN_BASIC_BLOCK %d in the middle of basic block %d",
8539                          INSN_UID (x), bb->index);
8540                   err = 1;
8541                 }
8542
8543               if (x == bb->end)
8544                 break;
8545
8546               if (GET_CODE (x) == JUMP_INSN
8547                   || GET_CODE (x) == CODE_LABEL
8548                   || GET_CODE (x) == BARRIER)
8549                 {
8550                   error ("In basic block %d:", bb->index);
8551                   fatal_insn ("Flow control insn inside a basic block", x);
8552                 }
8553
8554               x = NEXT_INSN (x);
8555             }
8556         }
8557     }
8558
8559   last_bb_num_seen = -1;
8560   num_bb_notes = 0;
8561   x = rtx_first;
8562   while (x)
8563     {
8564       if (NOTE_INSN_BASIC_BLOCK_P (x))
8565         {
8566           basic_block bb = NOTE_BASIC_BLOCK (x);
8567           num_bb_notes++;
8568           if (bb->index != last_bb_num_seen + 1)
8569             internal_error ("Basic blocks not numbered consecutively.");
8570
8571           last_bb_num_seen = bb->index;
8572         }
8573
8574       if (!bb_info[INSN_UID (x)])
8575         {
8576           switch (GET_CODE (x))
8577             {
8578             case BARRIER:
8579             case NOTE:
8580               break;
8581
8582             case CODE_LABEL:
8583               /* An addr_vec is placed outside any block block.  */
8584               if (NEXT_INSN (x)
8585                   && GET_CODE (NEXT_INSN (x)) == JUMP_INSN
8586                   && (GET_CODE (PATTERN (NEXT_INSN (x))) == ADDR_DIFF_VEC
8587                       || GET_CODE (PATTERN (NEXT_INSN (x))) == ADDR_VEC))
8588                 {
8589                   x = NEXT_INSN (x);
8590                 }
8591
8592               /* But in any case, non-deletable labels can appear anywhere.  */
8593               break;
8594
8595             default:
8596               fatal_insn ("Insn outside basic block", x);
8597             }
8598         }
8599
8600       if (INSN_P (x)
8601           && GET_CODE (x) == JUMP_INSN
8602           && returnjump_p (x) && ! condjump_p (x)
8603           && ! (NEXT_INSN (x) && GET_CODE (NEXT_INSN (x)) == BARRIER))
8604             fatal_insn ("Return not followed by barrier", x);
8605
8606       x = NEXT_INSN (x);
8607     }
8608
8609   if (num_bb_notes != n_basic_blocks)
8610     internal_error
8611       ("number of bb notes in insn chain (%d) != n_basic_blocks (%d)",
8612        num_bb_notes, n_basic_blocks);
8613
8614   if (err)
8615     internal_error ("verify_flow_info failed.");
8616
8617   /* Clean up.  */
8618   free (bb_info);
8619   free (last_visited);
8620 }
8621 \f
8622 /* Functions to access an edge list with a vector representation.
8623    Enough data is kept such that given an index number, the
8624    pred and succ that edge represents can be determined, or
8625    given a pred and a succ, its index number can be returned.
8626    This allows algorithms which consume a lot of memory to
8627    represent the normally full matrix of edge (pred,succ) with a
8628    single indexed vector,  edge (EDGE_INDEX (pred, succ)), with no
8629    wasted space in the client code due to sparse flow graphs.  */
8630
8631 /* This functions initializes the edge list. Basically the entire
8632    flowgraph is processed, and all edges are assigned a number,
8633    and the data structure is filled in.  */
8634
8635 struct edge_list *
8636 create_edge_list ()
8637 {
8638   struct edge_list *elist;
8639   edge e;
8640   int num_edges;
8641   int x;
8642   int block_count;
8643
8644   block_count = n_basic_blocks + 2;   /* Include the entry and exit blocks.  */
8645
8646   num_edges = 0;
8647
8648   /* Determine the number of edges in the flow graph by counting successor
8649      edges on each basic block.  */
8650   for (x = 0; x < n_basic_blocks; x++)
8651     {
8652       basic_block bb = BASIC_BLOCK (x);
8653
8654       for (e = bb->succ; e; e = e->succ_next)
8655         num_edges++;
8656     }
8657   /* Don't forget successors of the entry block.  */
8658   for (e = ENTRY_BLOCK_PTR->succ; e; e = e->succ_next)
8659     num_edges++;
8660
8661   elist = (struct edge_list *) xmalloc (sizeof (struct edge_list));
8662   elist->num_blocks = block_count;
8663   elist->num_edges = num_edges;
8664   elist->index_to_edge = (edge *) xmalloc (sizeof (edge) * num_edges);
8665
8666   num_edges = 0;
8667
8668   /* Follow successors of the entry block, and register these edges.  */
8669   for (e = ENTRY_BLOCK_PTR->succ; e; e = e->succ_next)
8670     {
8671       elist->index_to_edge[num_edges] = e;
8672       num_edges++;
8673     }
8674
8675   for (x = 0; x < n_basic_blocks; x++)
8676     {
8677       basic_block bb = BASIC_BLOCK (x);
8678
8679       /* Follow all successors of blocks, and register these edges.  */
8680       for (e = bb->succ; e; e = e->succ_next)
8681         {
8682           elist->index_to_edge[num_edges] = e;
8683           num_edges++;
8684         }
8685     }
8686   return elist;
8687 }
8688
8689 /* This function free's memory associated with an edge list.  */
8690
8691 void
8692 free_edge_list (elist)
8693      struct edge_list *elist;
8694 {
8695   if (elist)
8696     {
8697       free (elist->index_to_edge);
8698       free (elist);
8699     }
8700 }
8701
8702 /* This function provides debug output showing an edge list.  */
8703
8704 void
8705 print_edge_list (f, elist)
8706      FILE *f;
8707      struct edge_list *elist;
8708 {
8709   int x;
8710   fprintf (f, "Compressed edge list, %d BBs + entry & exit, and %d edges\n",
8711            elist->num_blocks - 2, elist->num_edges);
8712
8713   for (x = 0; x < elist->num_edges; x++)
8714     {
8715       fprintf (f, " %-4d - edge(", x);
8716       if (INDEX_EDGE_PRED_BB (elist, x) == ENTRY_BLOCK_PTR)
8717         fprintf (f, "entry,");
8718       else
8719         fprintf (f, "%d,", INDEX_EDGE_PRED_BB (elist, x)->index);
8720
8721       if (INDEX_EDGE_SUCC_BB (elist, x) == EXIT_BLOCK_PTR)
8722         fprintf (f, "exit)\n");
8723       else
8724         fprintf (f, "%d)\n", INDEX_EDGE_SUCC_BB (elist, x)->index);
8725     }
8726 }
8727
8728 /* This function provides an internal consistency check of an edge list,
8729    verifying that all edges are present, and that there are no
8730    extra edges.  */
8731
8732 void
8733 verify_edge_list (f, elist)
8734      FILE *f;
8735      struct edge_list *elist;
8736 {
8737   int x, pred, succ, index;
8738   edge e;
8739
8740   for (x = 0; x < n_basic_blocks; x++)
8741     {
8742       basic_block bb = BASIC_BLOCK (x);
8743
8744       for (e = bb->succ; e; e = e->succ_next)
8745         {
8746           pred = e->src->index;
8747           succ = e->dest->index;
8748           index = EDGE_INDEX (elist, e->src, e->dest);
8749           if (index == EDGE_INDEX_NO_EDGE)
8750             {
8751               fprintf (f, "*p* No index for edge from %d to %d\n", pred, succ);
8752               continue;
8753             }
8754           if (INDEX_EDGE_PRED_BB (elist, index)->index != pred)
8755             fprintf (f, "*p* Pred for index %d should be %d not %d\n",
8756                      index, pred, INDEX_EDGE_PRED_BB (elist, index)->index);
8757           if (INDEX_EDGE_SUCC_BB (elist, index)->index != succ)
8758             fprintf (f, "*p* Succ for index %d should be %d not %d\n",
8759                      index, succ, INDEX_EDGE_SUCC_BB (elist, index)->index);
8760         }
8761     }
8762   for (e = ENTRY_BLOCK_PTR->succ; e; e = e->succ_next)
8763     {
8764       pred = e->src->index;
8765       succ = e->dest->index;
8766       index = EDGE_INDEX (elist, e->src, e->dest);
8767       if (index == EDGE_INDEX_NO_EDGE)
8768         {
8769           fprintf (f, "*p* No index for edge from %d to %d\n", pred, succ);
8770           continue;
8771         }
8772       if (INDEX_EDGE_PRED_BB (elist, index)->index != pred)
8773         fprintf (f, "*p* Pred for index %d should be %d not %d\n",
8774                  index, pred, INDEX_EDGE_PRED_BB (elist, index)->index);
8775       if (INDEX_EDGE_SUCC_BB (elist, index)->index != succ)
8776         fprintf (f, "*p* Succ for index %d should be %d not %d\n",
8777                  index, succ, INDEX_EDGE_SUCC_BB (elist, index)->index);
8778     }
8779   /* We've verified that all the edges are in the list, no lets make sure
8780      there are no spurious edges in the list.  */
8781
8782   for (pred = 0; pred < n_basic_blocks; pred++)
8783     for (succ = 0; succ < n_basic_blocks; succ++)
8784       {
8785         basic_block p = BASIC_BLOCK (pred);
8786         basic_block s = BASIC_BLOCK (succ);
8787
8788         int found_edge = 0;
8789
8790         for (e = p->succ; e; e = e->succ_next)
8791           if (e->dest == s)
8792             {
8793               found_edge = 1;
8794               break;
8795             }
8796         for (e = s->pred; e; e = e->pred_next)
8797           if (e->src == p)
8798             {
8799               found_edge = 1;
8800               break;
8801             }
8802         if (EDGE_INDEX (elist, BASIC_BLOCK (pred), BASIC_BLOCK (succ))
8803             == EDGE_INDEX_NO_EDGE && found_edge != 0)
8804           fprintf (f, "*** Edge (%d, %d) appears to not have an index\n",
8805                    pred, succ);
8806         if (EDGE_INDEX (elist, BASIC_BLOCK (pred), BASIC_BLOCK (succ))
8807             != EDGE_INDEX_NO_EDGE && found_edge == 0)
8808           fprintf (f, "*** Edge (%d, %d) has index %d, but there is no edge\n",
8809                    pred, succ, EDGE_INDEX (elist, BASIC_BLOCK (pred),
8810                                            BASIC_BLOCK (succ)));
8811       }
8812   for (succ = 0; succ < n_basic_blocks; succ++)
8813     {
8814       basic_block p = ENTRY_BLOCK_PTR;
8815       basic_block s = BASIC_BLOCK (succ);
8816
8817       int found_edge = 0;
8818
8819       for (e = p->succ; e; e = e->succ_next)
8820         if (e->dest == s)
8821           {
8822             found_edge = 1;
8823             break;
8824           }
8825       for (e = s->pred; e; e = e->pred_next)
8826         if (e->src == p)
8827           {
8828             found_edge = 1;
8829             break;
8830           }
8831       if (EDGE_INDEX (elist, ENTRY_BLOCK_PTR, BASIC_BLOCK (succ))
8832           == EDGE_INDEX_NO_EDGE && found_edge != 0)
8833         fprintf (f, "*** Edge (entry, %d) appears to not have an index\n",
8834                  succ);
8835       if (EDGE_INDEX (elist, ENTRY_BLOCK_PTR, BASIC_BLOCK (succ))
8836           != EDGE_INDEX_NO_EDGE && found_edge == 0)
8837         fprintf (f, "*** Edge (entry, %d) has index %d, but no edge exists\n",
8838                  succ, EDGE_INDEX (elist, ENTRY_BLOCK_PTR,
8839                                    BASIC_BLOCK (succ)));
8840     }
8841   for (pred = 0; pred < n_basic_blocks; pred++)
8842     {
8843       basic_block p = BASIC_BLOCK (pred);
8844       basic_block s = EXIT_BLOCK_PTR;
8845
8846       int found_edge = 0;
8847
8848       for (e = p->succ; e; e = e->succ_next)
8849         if (e->dest == s)
8850           {
8851             found_edge = 1;
8852             break;
8853           }
8854       for (e = s->pred; e; e = e->pred_next)
8855         if (e->src == p)
8856           {
8857             found_edge = 1;
8858             break;
8859           }
8860       if (EDGE_INDEX (elist, BASIC_BLOCK (pred), EXIT_BLOCK_PTR)
8861           == EDGE_INDEX_NO_EDGE && found_edge != 0)
8862         fprintf (f, "*** Edge (%d, exit) appears to not have an index\n",
8863                  pred);
8864       if (EDGE_INDEX (elist, BASIC_BLOCK (pred), EXIT_BLOCK_PTR)
8865           != EDGE_INDEX_NO_EDGE && found_edge == 0)
8866         fprintf (f, "*** Edge (%d, exit) has index %d, but no edge exists\n",
8867                  pred, EDGE_INDEX (elist, BASIC_BLOCK (pred),
8868                                    EXIT_BLOCK_PTR));
8869     }
8870 }
8871
8872 /* This routine will determine what, if any, edge there is between
8873    a specified predecessor and successor.  */
8874
8875 int
8876 find_edge_index (edge_list, pred, succ)
8877      struct edge_list *edge_list;
8878      basic_block pred, succ;
8879 {
8880   int x;
8881   for (x = 0; x < NUM_EDGES (edge_list); x++)
8882     {
8883       if (INDEX_EDGE_PRED_BB (edge_list, x) == pred
8884           && INDEX_EDGE_SUCC_BB (edge_list, x) == succ)
8885         return x;
8886     }
8887   return (EDGE_INDEX_NO_EDGE);
8888 }
8889
8890 /* This function will remove an edge from the flow graph.  */
8891
8892 void
8893 remove_edge (e)
8894      edge e;
8895 {
8896   edge last_pred = NULL;
8897   edge last_succ = NULL;
8898   edge tmp;
8899   basic_block src, dest;
8900   src = e->src;
8901   dest = e->dest;
8902   for (tmp = src->succ; tmp && tmp != e; tmp = tmp->succ_next)
8903     last_succ = tmp;
8904
8905   if (!tmp)
8906     abort ();
8907   if (last_succ)
8908     last_succ->succ_next = e->succ_next;
8909   else
8910     src->succ = e->succ_next;
8911
8912   for (tmp = dest->pred; tmp && tmp != e; tmp = tmp->pred_next)
8913     last_pred = tmp;
8914
8915   if (!tmp)
8916     abort ();
8917   if (last_pred)
8918     last_pred->pred_next = e->pred_next;
8919   else
8920     dest->pred = e->pred_next;
8921
8922   n_edges--;
8923   free (e);
8924 }
8925
8926 /* This routine will remove any fake successor edges for a basic block.
8927    When the edge is removed, it is also removed from whatever predecessor
8928    list it is in.  */
8929
8930 static void
8931 remove_fake_successors (bb)
8932      basic_block bb;
8933 {
8934   edge e;
8935   for (e = bb->succ; e;)
8936     {
8937       edge tmp = e;
8938       e = e->succ_next;
8939       if ((tmp->flags & EDGE_FAKE) == EDGE_FAKE)
8940         remove_edge (tmp);
8941     }
8942 }
8943
8944 /* This routine will remove all fake edges from the flow graph.  If
8945    we remove all fake successors, it will automatically remove all
8946    fake predecessors.  */
8947
8948 void
8949 remove_fake_edges ()
8950 {
8951   int x;
8952
8953   for (x = 0; x < n_basic_blocks; x++)
8954     remove_fake_successors (BASIC_BLOCK (x));
8955
8956   /* We've handled all successors except the entry block's.  */
8957   remove_fake_successors (ENTRY_BLOCK_PTR);
8958 }
8959
8960 /* This function will add a fake edge between any block which has no
8961    successors, and the exit block. Some data flow equations require these
8962    edges to exist.  */
8963
8964 void
8965 add_noreturn_fake_exit_edges ()
8966 {
8967   int x;
8968
8969   for (x = 0; x < n_basic_blocks; x++)
8970     if (BASIC_BLOCK (x)->succ == NULL)
8971       make_edge (NULL, BASIC_BLOCK (x), EXIT_BLOCK_PTR, EDGE_FAKE);
8972 }
8973
8974 /* This function adds a fake edge between any infinite loops to the
8975    exit block.  Some optimizations require a path from each node to
8976    the exit node.
8977
8978    See also Morgan, Figure 3.10, pp. 82-83.
8979
8980    The current implementation is ugly, not attempting to minimize the
8981    number of inserted fake edges.  To reduce the number of fake edges
8982    to insert, add fake edges from _innermost_ loops containing only
8983    nodes not reachable from the exit block.  */
8984
8985 void
8986 connect_infinite_loops_to_exit ()
8987 {
8988   basic_block unvisited_block;
8989
8990   /* Perform depth-first search in the reverse graph to find nodes
8991      reachable from the exit block.  */
8992   struct depth_first_search_dsS dfs_ds;
8993
8994   flow_dfs_compute_reverse_init (&dfs_ds);
8995   flow_dfs_compute_reverse_add_bb (&dfs_ds, EXIT_BLOCK_PTR);
8996
8997   /* Repeatedly add fake edges, updating the unreachable nodes.  */
8998   while (1)
8999     {
9000       unvisited_block = flow_dfs_compute_reverse_execute (&dfs_ds);
9001       if (!unvisited_block)
9002         break;
9003       make_edge (NULL, unvisited_block, EXIT_BLOCK_PTR, EDGE_FAKE);
9004       flow_dfs_compute_reverse_add_bb (&dfs_ds, unvisited_block);
9005     }
9006
9007   flow_dfs_compute_reverse_finish (&dfs_ds);
9008
9009   return;
9010 }
9011
9012 /* Redirect an edge's successor from one block to another.  */
9013
9014 void
9015 redirect_edge_succ (e, new_succ)
9016      edge e;
9017      basic_block new_succ;
9018 {
9019   edge *pe;
9020
9021   /* Disconnect the edge from the old successor block.  */
9022   for (pe = &e->dest->pred; *pe != e; pe = &(*pe)->pred_next)
9023     continue;
9024   *pe = (*pe)->pred_next;
9025
9026   /* Reconnect the edge to the new successor block.  */
9027   e->pred_next = new_succ->pred;
9028   new_succ->pred = e;
9029   e->dest = new_succ;
9030 }
9031
9032 /* Like previous but avoid possible dupplicate edge.  */
9033
9034 void
9035 redirect_edge_succ_nodup (e, new_succ)
9036      edge e;
9037      basic_block new_succ;
9038 {
9039   edge s;
9040   /* Check whether the edge is already present.  */
9041   for (s = e->src->succ; s; s = s->succ_next)
9042     if (s->dest == new_succ && s != e)
9043       break;
9044   if (s)
9045     {
9046       s->flags |= e->flags;
9047       s->probability += e->probability;
9048       s->count += e->count;
9049       remove_edge (e);
9050     }
9051   else
9052     redirect_edge_succ (e, new_succ);
9053 }
9054
9055 /* Redirect an edge's predecessor from one block to another.  */
9056
9057 void
9058 redirect_edge_pred (e, new_pred)
9059      edge e;
9060      basic_block new_pred;
9061 {
9062   edge *pe;
9063
9064   /* Disconnect the edge from the old predecessor block.  */
9065   for (pe = &e->src->succ; *pe != e; pe = &(*pe)->succ_next)
9066     continue;
9067   *pe = (*pe)->succ_next;
9068
9069   /* Reconnect the edge to the new predecessor block.  */
9070   e->succ_next = new_pred->succ;
9071   new_pred->succ = e;
9072   e->src = new_pred;
9073 }
9074 \f
9075 /* Dump the list of basic blocks in the bitmap NODES.  */
9076
9077 static void
9078 flow_nodes_print (str, nodes, file)
9079      const char *str;
9080      const sbitmap nodes;
9081      FILE *file;
9082 {
9083   int node;
9084
9085   if (! nodes)
9086     return;
9087
9088   fprintf (file, "%s { ", str);
9089   EXECUTE_IF_SET_IN_SBITMAP (nodes, 0, node, {fprintf (file, "%d ", node);});
9090   fputs ("}\n", file);
9091 }
9092
9093
9094 /* Dump the list of edges in the array EDGE_LIST.  */
9095
9096 static void
9097 flow_edge_list_print (str, edge_list, num_edges, file)
9098      const char *str;
9099      const edge *edge_list;
9100      int num_edges;
9101      FILE *file;
9102 {
9103   int i;
9104
9105   if (! edge_list)
9106     return;
9107
9108   fprintf (file, "%s { ", str);
9109   for (i = 0; i < num_edges; i++)
9110     fprintf (file, "%d->%d ", edge_list[i]->src->index,
9111              edge_list[i]->dest->index);
9112   fputs ("}\n", file);
9113 }
9114
9115
9116 /* Dump loop related CFG information.  */
9117
9118 static void
9119 flow_loops_cfg_dump (loops, file)
9120      const struct loops *loops;
9121      FILE *file;
9122 {
9123   int i;
9124
9125   if (! loops->num || ! file || ! loops->cfg.dom)
9126     return;
9127
9128   for (i = 0; i < n_basic_blocks; i++)
9129     {
9130       edge succ;
9131
9132       fprintf (file, ";; %d succs { ", i);
9133       for (succ = BASIC_BLOCK (i)->succ; succ; succ = succ->succ_next)
9134         fprintf (file, "%d ", succ->dest->index);
9135       flow_nodes_print ("} dom", loops->cfg.dom[i], file);
9136     }
9137
9138   /* Dump the DFS node order.  */
9139   if (loops->cfg.dfs_order)
9140     {
9141       fputs (";; DFS order: ", file);
9142       for (i = 0; i < n_basic_blocks; i++)
9143         fprintf (file, "%d ", loops->cfg.dfs_order[i]);
9144       fputs ("\n", file);
9145     }
9146   /* Dump the reverse completion node order.  */
9147   if (loops->cfg.rc_order)
9148     {
9149       fputs (";; RC order: ", file);
9150       for (i = 0; i < n_basic_blocks; i++)
9151         fprintf (file, "%d ", loops->cfg.rc_order[i]);
9152       fputs ("\n", file);
9153     }
9154 }
9155
9156 /* Return non-zero if the nodes of LOOP are a subset of OUTER.  */
9157
9158 static int
9159 flow_loop_nested_p (outer, loop)
9160      struct loop *outer;
9161      struct loop *loop;
9162 {
9163   return sbitmap_a_subset_b_p (loop->nodes, outer->nodes);
9164 }
9165
9166
9167 /* Dump the loop information specified by LOOP to the stream FILE
9168    using auxiliary dump callback function LOOP_DUMP_AUX if non null.  */
9169 void
9170 flow_loop_dump (loop, file, loop_dump_aux, verbose)
9171      const struct loop *loop;
9172      FILE *file;
9173      void (*loop_dump_aux) PARAMS((const struct loop *, FILE *, int));
9174      int verbose;
9175 {
9176   if (! loop || ! loop->header)
9177     return;
9178
9179   if (loop->first->head && loop->last->end)
9180     fprintf (file, ";;\n;; Loop %d (%d to %d):%s%s\n",
9181             loop->num, INSN_UID (loop->first->head),
9182             INSN_UID (loop->last->end),
9183             loop->shared ? " shared" : "",
9184             loop->invalid ? " invalid" : "");
9185   else
9186     fprintf (file, ";;\n;; Loop %d:%s%s\n", loop->num,
9187              loop->shared ? " shared" : "",
9188              loop->invalid ? " invalid" : "");
9189
9190   fprintf (file, ";;  header %d, latch %d, pre-header %d, first %d, last %d\n",
9191            loop->header->index, loop->latch->index,
9192            loop->pre_header ? loop->pre_header->index : -1,
9193            loop->first->index, loop->last->index);
9194   fprintf (file, ";;  depth %d, level %d, outer %ld\n",
9195            loop->depth, loop->level,
9196            (long) (loop->outer ? loop->outer->num : -1));
9197
9198   if (loop->pre_header_edges)
9199     flow_edge_list_print (";;  pre-header edges", loop->pre_header_edges,
9200                           loop->num_pre_header_edges, file);
9201   flow_edge_list_print (";;  entry edges", loop->entry_edges,
9202                         loop->num_entries, file);
9203   fprintf (file, ";;  %d", loop->num_nodes);
9204   flow_nodes_print (" nodes", loop->nodes, file);
9205   flow_edge_list_print (";;  exit edges", loop->exit_edges,
9206                         loop->num_exits, file);
9207   if (loop->exits_doms)
9208     flow_nodes_print (";;  exit doms", loop->exits_doms, file);
9209   if (loop_dump_aux)
9210     loop_dump_aux (loop, file, verbose);
9211 }
9212
9213
9214 /* Dump the loop information specified by LOOPS to the stream FILE,
9215    using auxiliary dump callback function LOOP_DUMP_AUX if non null.  */
9216 void
9217 flow_loops_dump (loops, file, loop_dump_aux, verbose)
9218      const struct loops *loops;
9219      FILE *file;
9220      void (*loop_dump_aux) PARAMS((const struct loop *, FILE *, int));
9221      int verbose;
9222 {
9223   int i;
9224   int num_loops;
9225
9226   num_loops = loops->num;
9227   if (! num_loops || ! file)
9228     return;
9229
9230   fprintf (file, ";; %d loops found, %d levels\n",
9231            num_loops, loops->levels);
9232
9233   for (i = 0; i < num_loops; i++)
9234     {
9235       struct loop *loop = &loops->array[i];
9236
9237       flow_loop_dump (loop, file, loop_dump_aux, verbose);
9238
9239       if (loop->shared)
9240         {
9241           int j;
9242
9243           for (j = 0; j < i; j++)
9244             {
9245               struct loop *oloop = &loops->array[j];
9246
9247               if (loop->header == oloop->header)
9248                 {
9249                   int disjoint;
9250                   int smaller;
9251
9252                   smaller = loop->num_nodes < oloop->num_nodes;
9253
9254                   /* If the union of LOOP and OLOOP is different than
9255                      the larger of LOOP and OLOOP then LOOP and OLOOP
9256                      must be disjoint.  */
9257                   disjoint = ! flow_loop_nested_p (smaller ? loop : oloop,
9258                                                    smaller ? oloop : loop);
9259                   fprintf (file,
9260                            ";; loop header %d shared by loops %d, %d %s\n",
9261                            loop->header->index, i, j,
9262                            disjoint ? "disjoint" : "nested");
9263                 }
9264             }
9265         }
9266     }
9267
9268   if (verbose)
9269     flow_loops_cfg_dump (loops, file);
9270 }
9271
9272
9273 /* Free all the memory allocated for LOOPS.  */
9274
9275 void
9276 flow_loops_free (loops)
9277      struct loops *loops;
9278 {
9279   if (loops->array)
9280     {
9281       int i;
9282
9283       if (! loops->num)
9284         abort ();
9285
9286       /* Free the loop descriptors.  */
9287       for (i = 0; i < loops->num; i++)
9288         {
9289           struct loop *loop = &loops->array[i];
9290
9291           if (loop->pre_header_edges)
9292             free (loop->pre_header_edges);
9293           if (loop->nodes)
9294             sbitmap_free (loop->nodes);
9295           if (loop->entry_edges)
9296             free (loop->entry_edges);
9297           if (loop->exit_edges)
9298             free (loop->exit_edges);
9299           if (loop->exits_doms)
9300             sbitmap_free (loop->exits_doms);
9301         }
9302       free (loops->array);
9303       loops->array = NULL;
9304
9305       if (loops->cfg.dom)
9306         sbitmap_vector_free (loops->cfg.dom);
9307       if (loops->cfg.dfs_order)
9308         free (loops->cfg.dfs_order);
9309
9310       if (loops->shared_headers)
9311         sbitmap_free (loops->shared_headers);
9312     }
9313 }
9314
9315
9316 /* Find the entry edges into the loop with header HEADER and nodes
9317    NODES and store in ENTRY_EDGES array.  Return the number of entry
9318    edges from the loop.  */
9319
9320 static int
9321 flow_loop_entry_edges_find (header, nodes, entry_edges)
9322      basic_block header;
9323      const sbitmap nodes;
9324      edge **entry_edges;
9325 {
9326   edge e;
9327   int num_entries;
9328
9329   *entry_edges = NULL;
9330
9331   num_entries = 0;
9332   for (e = header->pred; e; e = e->pred_next)
9333     {
9334       basic_block src = e->src;
9335
9336       if (src == ENTRY_BLOCK_PTR || ! TEST_BIT (nodes, src->index))
9337         num_entries++;
9338     }
9339
9340   if (! num_entries)
9341     abort ();
9342
9343   *entry_edges = (edge *) xmalloc (num_entries * sizeof (edge *));
9344
9345   num_entries = 0;
9346   for (e = header->pred; e; e = e->pred_next)
9347     {
9348       basic_block src = e->src;
9349
9350       if (src == ENTRY_BLOCK_PTR || ! TEST_BIT (nodes, src->index))
9351         (*entry_edges)[num_entries++] = e;
9352     }
9353
9354   return num_entries;
9355 }
9356
9357
9358 /* Find the exit edges from the loop using the bitmap of loop nodes
9359    NODES and store in EXIT_EDGES array.  Return the number of
9360    exit edges from the loop.  */
9361
9362 static int
9363 flow_loop_exit_edges_find (nodes, exit_edges)
9364      const sbitmap nodes;
9365      edge **exit_edges;
9366 {
9367   edge e;
9368   int node;
9369   int num_exits;
9370
9371   *exit_edges = NULL;
9372
9373   /* Check all nodes within the loop to see if there are any
9374      successors not in the loop.  Note that a node may have multiple
9375      exiting edges ?????  A node can have one jumping edge and one fallthru
9376      edge so only one of these can exit the loop.  */
9377   num_exits = 0;
9378   EXECUTE_IF_SET_IN_SBITMAP (nodes, 0, node, {
9379     for (e = BASIC_BLOCK (node)->succ; e; e = e->succ_next)
9380       {
9381         basic_block dest = e->dest;
9382
9383         if (dest == EXIT_BLOCK_PTR || ! TEST_BIT (nodes, dest->index))
9384             num_exits++;
9385       }
9386   });
9387
9388   if (! num_exits)
9389     return 0;
9390
9391   *exit_edges = (edge *) xmalloc (num_exits * sizeof (edge *));
9392
9393   /* Store all exiting edges into an array.  */
9394   num_exits = 0;
9395   EXECUTE_IF_SET_IN_SBITMAP (nodes, 0, node, {
9396     for (e = BASIC_BLOCK (node)->succ; e; e = e->succ_next)
9397       {
9398         basic_block dest = e->dest;
9399
9400         if (dest == EXIT_BLOCK_PTR || ! TEST_BIT (nodes, dest->index))
9401           (*exit_edges)[num_exits++] = e;
9402       }
9403   });
9404
9405   return num_exits;
9406 }
9407
9408
9409 /* Find the nodes contained within the loop with header HEADER and
9410    latch LATCH and store in NODES.  Return the number of nodes within
9411    the loop.  */
9412
9413 static int
9414 flow_loop_nodes_find (header, latch, nodes)
9415      basic_block header;
9416      basic_block latch;
9417      sbitmap nodes;
9418 {
9419   basic_block *stack;
9420   int sp;
9421   int num_nodes = 0;
9422
9423   stack = (basic_block *) xmalloc (n_basic_blocks * sizeof (basic_block));
9424   sp = 0;
9425
9426   /* Start with only the loop header in the set of loop nodes.  */
9427   sbitmap_zero (nodes);
9428   SET_BIT (nodes, header->index);
9429   num_nodes++;
9430   header->loop_depth++;
9431
9432   /* Push the loop latch on to the stack.  */
9433   if (! TEST_BIT (nodes, latch->index))
9434     {
9435       SET_BIT (nodes, latch->index);
9436       latch->loop_depth++;
9437       num_nodes++;
9438       stack[sp++] = latch;
9439     }
9440
9441   while (sp)
9442     {
9443       basic_block node;
9444       edge e;
9445
9446       node = stack[--sp];
9447       for (e = node->pred; e; e = e->pred_next)
9448         {
9449           basic_block ancestor = e->src;
9450
9451           /* If each ancestor not marked as part of loop, add to set of
9452              loop nodes and push on to stack.  */
9453           if (ancestor != ENTRY_BLOCK_PTR
9454               && ! TEST_BIT (nodes, ancestor->index))
9455             {
9456               SET_BIT (nodes, ancestor->index);
9457               ancestor->loop_depth++;
9458               num_nodes++;
9459               stack[sp++] = ancestor;
9460             }
9461         }
9462     }
9463   free (stack);
9464   return num_nodes;
9465 }
9466
9467 /* Compute the depth first search order and store in the array
9468   DFS_ORDER if non-zero, marking the nodes visited in VISITED.  If
9469   RC_ORDER is non-zero, return the reverse completion number for each
9470   node.  Returns the number of nodes visited.  A depth first search
9471   tries to get as far away from the starting point as quickly as
9472   possible.  */
9473
9474 int
9475 flow_depth_first_order_compute (dfs_order, rc_order)
9476      int *dfs_order;
9477      int *rc_order;
9478 {
9479   edge *stack;
9480   int sp;
9481   int dfsnum = 0;
9482   int rcnum = n_basic_blocks - 1;
9483   sbitmap visited;
9484
9485   /* Allocate stack for back-tracking up CFG.  */
9486   stack = (edge *) xmalloc ((n_basic_blocks + 1) * sizeof (edge));
9487   sp = 0;
9488
9489   /* Allocate bitmap to track nodes that have been visited.  */
9490   visited = sbitmap_alloc (n_basic_blocks);
9491
9492   /* None of the nodes in the CFG have been visited yet.  */
9493   sbitmap_zero (visited);
9494
9495   /* Push the first edge on to the stack.  */
9496   stack[sp++] = ENTRY_BLOCK_PTR->succ;
9497
9498   while (sp)
9499     {
9500       edge e;
9501       basic_block src;
9502       basic_block dest;
9503
9504       /* Look at the edge on the top of the stack.  */
9505       e = stack[sp - 1];
9506       src = e->src;
9507       dest = e->dest;
9508
9509       /* Check if the edge destination has been visited yet.  */
9510       if (dest != EXIT_BLOCK_PTR && ! TEST_BIT (visited, dest->index))
9511         {
9512           /* Mark that we have visited the destination.  */
9513           SET_BIT (visited, dest->index);
9514
9515           if (dfs_order)
9516             dfs_order[dfsnum++] = dest->index;
9517
9518           if (dest->succ)
9519             {
9520               /* Since the DEST node has been visited for the first
9521                  time, check its successors.  */
9522               stack[sp++] = dest->succ;
9523             }
9524           else
9525             {
9526               /* There are no successors for the DEST node so assign
9527                  its reverse completion number.  */
9528               if (rc_order)
9529                 rc_order[rcnum--] = dest->index;
9530             }
9531         }
9532       else
9533         {
9534           if (! e->succ_next && src != ENTRY_BLOCK_PTR)
9535             {
9536               /* There are no more successors for the SRC node
9537                  so assign its reverse completion number.  */
9538               if (rc_order)
9539                 rc_order[rcnum--] = src->index;
9540             }
9541
9542           if (e->succ_next)
9543             stack[sp - 1] = e->succ_next;
9544           else
9545             sp--;
9546         }
9547     }
9548
9549   free (stack);
9550   sbitmap_free (visited);
9551
9552   /* The number of nodes visited should not be greater than
9553      n_basic_blocks.  */
9554   if (dfsnum > n_basic_blocks)
9555     abort ();
9556
9557   /* There are some nodes left in the CFG that are unreachable.  */
9558   if (dfsnum < n_basic_blocks)
9559     abort ();
9560   return dfsnum;
9561 }
9562
9563 /* Compute the depth first search order on the _reverse_ graph and
9564    store in the array DFS_ORDER, marking the nodes visited in VISITED.
9565    Returns the number of nodes visited.
9566
9567    The computation is split into three pieces:
9568
9569    flow_dfs_compute_reverse_init () creates the necessary data
9570    structures.
9571
9572    flow_dfs_compute_reverse_add_bb () adds a basic block to the data
9573    structures.  The block will start the search.
9574
9575    flow_dfs_compute_reverse_execute () continues (or starts) the
9576    search using the block on the top of the stack, stopping when the
9577    stack is empty.
9578
9579    flow_dfs_compute_reverse_finish () destroys the necessary data
9580    structures.
9581
9582    Thus, the user will probably call ..._init(), call ..._add_bb() to
9583    add a beginning basic block to the stack, call ..._execute(),
9584    possibly add another bb to the stack and again call ..._execute(),
9585    ..., and finally call _finish().  */
9586
9587 /* Initialize the data structures used for depth-first search on the
9588    reverse graph.  If INITIALIZE_STACK is nonzero, the exit block is
9589    added to the basic block stack.  DATA is the current depth-first
9590    search context.  If INITIALIZE_STACK is non-zero, there is an
9591    element on the stack.  */
9592
9593 static void
9594 flow_dfs_compute_reverse_init (data)
9595      depth_first_search_ds data;
9596 {
9597   /* Allocate stack for back-tracking up CFG.  */
9598   data->stack =
9599     (basic_block *) xmalloc ((n_basic_blocks - (INVALID_BLOCK + 1))
9600                              * sizeof (basic_block));
9601   data->sp = 0;
9602
9603   /* Allocate bitmap to track nodes that have been visited.  */
9604   data->visited_blocks = sbitmap_alloc (n_basic_blocks - (INVALID_BLOCK + 1));
9605
9606   /* None of the nodes in the CFG have been visited yet.  */
9607   sbitmap_zero (data->visited_blocks);
9608
9609   return;
9610 }
9611
9612 /* Add the specified basic block to the top of the dfs data
9613    structures.  When the search continues, it will start at the
9614    block.  */
9615
9616 static void
9617 flow_dfs_compute_reverse_add_bb (data, bb)
9618      depth_first_search_ds data;
9619      basic_block bb;
9620 {
9621   data->stack[data->sp++] = bb;
9622   return;
9623 }
9624
9625 /* Continue the depth-first search through the reverse graph starting
9626    with the block at the stack's top and ending when the stack is
9627    empty.  Visited nodes are marked.  Returns an unvisited basic
9628    block, or NULL if there is none available.  */
9629
9630 static basic_block
9631 flow_dfs_compute_reverse_execute (data)
9632      depth_first_search_ds data;
9633 {
9634   basic_block bb;
9635   edge e;
9636   int i;
9637
9638   while (data->sp > 0)
9639     {
9640       bb = data->stack[--data->sp];
9641
9642       /* Mark that we have visited this node.  */
9643       if (!TEST_BIT (data->visited_blocks, bb->index - (INVALID_BLOCK + 1)))
9644         {
9645           SET_BIT (data->visited_blocks, bb->index - (INVALID_BLOCK + 1));
9646
9647           /* Perform depth-first search on adjacent vertices.  */
9648           for (e = bb->pred; e; e = e->pred_next)
9649             flow_dfs_compute_reverse_add_bb (data, e->src);
9650         }
9651     }
9652
9653   /* Determine if there are unvisited basic blocks.  */
9654   for (i = n_basic_blocks - (INVALID_BLOCK + 1); --i >= 0;)
9655     if (!TEST_BIT (data->visited_blocks, i))
9656       return BASIC_BLOCK (i + (INVALID_BLOCK + 1));
9657   return NULL;
9658 }
9659
9660 /* Destroy the data structures needed for depth-first search on the
9661    reverse graph.  */
9662
9663 static void
9664 flow_dfs_compute_reverse_finish (data)
9665      depth_first_search_ds data;
9666 {
9667   free (data->stack);
9668   sbitmap_free (data->visited_blocks);
9669   return;
9670 }
9671
9672
9673 /* Find the root node of the loop pre-header extended basic block and
9674    the edges along the trace from the root node to the loop header.  */
9675
9676 static void
9677 flow_loop_pre_header_scan (loop)
9678      struct loop *loop;
9679 {
9680   int num = 0;
9681   basic_block ebb;
9682
9683   loop->num_pre_header_edges = 0;
9684
9685   if (loop->num_entries != 1)
9686      return;
9687
9688   ebb = loop->entry_edges[0]->src;
9689
9690   if (ebb != ENTRY_BLOCK_PTR)
9691     {
9692       edge e;
9693
9694       /* Count number of edges along trace from loop header to
9695          root of pre-header extended basic block.  Usually this is
9696          only one or two edges.  */
9697       num++;
9698       while (ebb->pred->src != ENTRY_BLOCK_PTR && ! ebb->pred->pred_next)
9699         {
9700           ebb = ebb->pred->src;
9701           num++;
9702         }
9703
9704       loop->pre_header_edges = (edge *) xmalloc (num * sizeof (edge *));
9705       loop->num_pre_header_edges = num;
9706
9707       /* Store edges in order that they are followed.   The source
9708          of the first edge is the root node of the pre-header extended
9709          basic block and the destination of the last last edge is
9710          the loop header.  */
9711       for (e = loop->entry_edges[0]; num; e = e->src->pred)
9712         {
9713           loop->pre_header_edges[--num] = e;
9714         }
9715     }
9716 }
9717
9718
9719 /* Return the block for the pre-header of the loop with header
9720    HEADER where DOM specifies the dominator information.  Return NULL if
9721    there is no pre-header.  */
9722
9723 static basic_block
9724 flow_loop_pre_header_find (header, dom)
9725      basic_block header;
9726      const sbitmap *dom;
9727 {
9728   basic_block pre_header;
9729   edge e;
9730
9731   /* If block p is a predecessor of the header and is the only block
9732      that the header does not dominate, then it is the pre-header.  */
9733   pre_header = NULL;
9734   for (e = header->pred; e; e = e->pred_next)
9735     {
9736       basic_block node = e->src;
9737
9738       if (node != ENTRY_BLOCK_PTR
9739           && ! TEST_BIT (dom[node->index], header->index))
9740         {
9741           if (pre_header == NULL)
9742             pre_header = node;
9743           else
9744             {
9745               /* There are multiple edges into the header from outside
9746                  the loop so there is no pre-header block.  */
9747               pre_header = NULL;
9748               break;
9749             }
9750         }
9751     }
9752   return pre_header;
9753 }
9754
9755 /* Add LOOP to the loop hierarchy tree where PREVLOOP was the loop
9756    previously added.  The insertion algorithm assumes that the loops
9757    are added in the order found by a depth first search of the CFG.  */
9758
9759 static void
9760 flow_loop_tree_node_add (prevloop, loop)
9761      struct loop *prevloop;
9762      struct loop *loop;
9763 {
9764
9765   if (flow_loop_nested_p (prevloop, loop))
9766     {
9767       prevloop->inner = loop;
9768       loop->outer = prevloop;
9769       return;
9770     }
9771
9772   while (prevloop->outer)
9773     {
9774       if (flow_loop_nested_p (prevloop->outer, loop))
9775         {
9776           prevloop->next = loop;
9777           loop->outer = prevloop->outer;
9778           return;
9779         }
9780       prevloop = prevloop->outer;
9781     }
9782
9783   prevloop->next = loop;
9784   loop->outer = NULL;
9785 }
9786
9787 /* Build the loop hierarchy tree for LOOPS.  */
9788
9789 static void
9790 flow_loops_tree_build (loops)
9791      struct loops *loops;
9792 {
9793   int i;
9794   int num_loops;
9795
9796   num_loops = loops->num;
9797   if (! num_loops)
9798     return;
9799
9800   /* Root the loop hierarchy tree with the first loop found.
9801      Since we used a depth first search this should be the
9802      outermost loop.  */
9803   loops->tree_root = &loops->array[0];
9804   loops->tree_root->outer = loops->tree_root->inner = loops->tree_root->next = NULL;
9805
9806   /* Add the remaining loops to the tree.  */
9807   for (i = 1; i < num_loops; i++)
9808     flow_loop_tree_node_add (&loops->array[i - 1], &loops->array[i]);
9809 }
9810
9811 /* Helper function to compute loop nesting depth and enclosed loop level
9812    for the natural loop specified by LOOP at the loop depth DEPTH.
9813    Returns the loop level.  */
9814
9815 static int
9816 flow_loop_level_compute (loop, depth)
9817      struct loop *loop;
9818      int depth;
9819 {
9820   struct loop *inner;
9821   int level = 1;
9822
9823   if (! loop)
9824     return 0;
9825
9826   /* Traverse loop tree assigning depth and computing level as the
9827      maximum level of all the inner loops of this loop.  The loop
9828      level is equivalent to the height of the loop in the loop tree
9829      and corresponds to the number of enclosed loop levels (including
9830      itself).  */
9831   for (inner = loop->inner; inner; inner = inner->next)
9832     {
9833       int ilevel;
9834
9835       ilevel = flow_loop_level_compute (inner, depth + 1) + 1;
9836
9837       if (ilevel > level)
9838         level = ilevel;
9839     }
9840   loop->level = level;
9841   loop->depth = depth;
9842   return level;
9843 }
9844
9845 /* Compute the loop nesting depth and enclosed loop level for the loop
9846    hierarchy tree specfied by LOOPS.  Return the maximum enclosed loop
9847    level.  */
9848
9849 static int
9850 flow_loops_level_compute (loops)
9851      struct loops *loops;
9852 {
9853   struct loop *loop;
9854   int level;
9855   int levels = 0;
9856
9857   /* Traverse all the outer level loops.  */
9858   for (loop = loops->tree_root; loop; loop = loop->next)
9859     {
9860       level = flow_loop_level_compute (loop, 1);
9861       if (level > levels)
9862         levels = level;
9863     }
9864   return levels;
9865 }
9866
9867
9868 /* Scan a single natural loop specified by LOOP collecting information
9869    about it specified by FLAGS.  */
9870
9871 int
9872 flow_loop_scan (loops, loop, flags)
9873      struct loops *loops;
9874      struct loop *loop;
9875      int flags;
9876 {
9877   /* Determine prerequisites.  */
9878   if ((flags & LOOP_EXITS_DOMS) && ! loop->exit_edges)
9879     flags |= LOOP_EXIT_EDGES;
9880
9881   if (flags & LOOP_ENTRY_EDGES)
9882     {
9883       /* Find edges which enter the loop header.
9884          Note that the entry edges should only
9885          enter the header of a natural loop.  */
9886       loop->num_entries
9887         = flow_loop_entry_edges_find (loop->header,
9888                                       loop->nodes,
9889                                       &loop->entry_edges);
9890     }
9891
9892   if (flags & LOOP_EXIT_EDGES)
9893     {
9894       /* Find edges which exit the loop.  */
9895       loop->num_exits
9896         = flow_loop_exit_edges_find (loop->nodes,
9897                                      &loop->exit_edges);
9898     }
9899
9900   if (flags & LOOP_EXITS_DOMS)
9901     {
9902       int j;
9903
9904       /* Determine which loop nodes dominate all the exits
9905          of the loop.  */
9906       loop->exits_doms = sbitmap_alloc (n_basic_blocks);
9907       sbitmap_copy (loop->exits_doms, loop->nodes);
9908       for (j = 0; j < loop->num_exits; j++)
9909         sbitmap_a_and_b (loop->exits_doms, loop->exits_doms,
9910                          loops->cfg.dom[loop->exit_edges[j]->src->index]);
9911
9912       /* The header of a natural loop must dominate
9913          all exits.  */
9914       if (! TEST_BIT (loop->exits_doms, loop->header->index))
9915         abort ();
9916     }
9917
9918   if (flags & LOOP_PRE_HEADER)
9919     {
9920       /* Look to see if the loop has a pre-header node.  */
9921       loop->pre_header
9922         = flow_loop_pre_header_find (loop->header, loops->cfg.dom);
9923
9924       /* Find the blocks within the extended basic block of
9925          the loop pre-header.  */
9926       flow_loop_pre_header_scan (loop);
9927     }
9928   return 1;
9929 }
9930
9931
9932 /* Find all the natural loops in the function and save in LOOPS structure
9933    and recalculate loop_depth information in basic block structures.
9934    FLAGS controls which loop information is collected.
9935    Return the number of natural loops found.  */
9936
9937 int
9938 flow_loops_find (loops, flags)
9939      struct loops *loops;
9940      int flags;
9941 {
9942   int i;
9943   int b;
9944   int num_loops;
9945   edge e;
9946   sbitmap headers;
9947   sbitmap *dom;
9948   int *dfs_order;
9949   int *rc_order;
9950
9951   /* This function cannot be repeatedly called with different
9952      flags to build up the loop information.  The loop tree
9953      must always be built if this function is called.  */
9954   if (! (flags & LOOP_TREE))
9955     abort ();
9956
9957   memset (loops, 0, sizeof (*loops));
9958
9959   /* Taking care of this degenerate case makes the rest of
9960      this code simpler.  */
9961   if (n_basic_blocks == 0)
9962     return 0;
9963
9964   dfs_order = NULL;
9965   rc_order = NULL;
9966
9967   /* Compute the dominators.  */
9968   dom = sbitmap_vector_alloc (n_basic_blocks, n_basic_blocks);
9969   calculate_dominance_info (NULL, dom, CDI_DOMINATORS);
9970
9971   /* Count the number of loop edges (back edges).  This should be the
9972      same as the number of natural loops.  */
9973
9974   num_loops = 0;
9975   for (b = 0; b < n_basic_blocks; b++)
9976     {
9977       basic_block header;
9978
9979       header = BASIC_BLOCK (b);
9980       header->loop_depth = 0;
9981
9982       for (e = header->pred; e; e = e->pred_next)
9983         {
9984           basic_block latch = e->src;
9985
9986           /* Look for back edges where a predecessor is dominated
9987              by this block.  A natural loop has a single entry
9988              node (header) that dominates all the nodes in the
9989              loop.  It also has single back edge to the header
9990              from a latch node.  Note that multiple natural loops
9991              may share the same header.  */
9992           if (b != header->index)
9993             abort ();
9994
9995           if (latch != ENTRY_BLOCK_PTR && TEST_BIT (dom[latch->index], b))
9996             num_loops++;
9997         }
9998     }
9999
10000   if (num_loops)
10001     {
10002       /* Compute depth first search order of the CFG so that outer
10003          natural loops will be found before inner natural loops.  */
10004       dfs_order = (int *) xmalloc (n_basic_blocks * sizeof (int));
10005       rc_order = (int *) xmalloc (n_basic_blocks * sizeof (int));
10006       flow_depth_first_order_compute (dfs_order, rc_order);
10007
10008       /* Save CFG derived information to avoid recomputing it.  */
10009       loops->cfg.dom = dom;
10010       loops->cfg.dfs_order = dfs_order;
10011       loops->cfg.rc_order = rc_order;
10012
10013       /* Allocate loop structures.  */
10014       loops->array
10015         = (struct loop *) xcalloc (num_loops, sizeof (struct loop));
10016
10017       headers = sbitmap_alloc (n_basic_blocks);
10018       sbitmap_zero (headers);
10019
10020       loops->shared_headers = sbitmap_alloc (n_basic_blocks);
10021       sbitmap_zero (loops->shared_headers);
10022
10023       /* Find and record information about all the natural loops
10024          in the CFG.  */
10025       num_loops = 0;
10026       for (b = 0; b < n_basic_blocks; b++)
10027         {
10028           basic_block header;
10029
10030           /* Search the nodes of the CFG in reverse completion order
10031              so that we can find outer loops first.  */
10032           header = BASIC_BLOCK (rc_order[b]);
10033
10034           /* Look for all the possible latch blocks for this header.  */
10035           for (e = header->pred; e; e = e->pred_next)
10036             {
10037               basic_block latch = e->src;
10038
10039               /* Look for back edges where a predecessor is dominated
10040                  by this block.  A natural loop has a single entry
10041                  node (header) that dominates all the nodes in the
10042                  loop.  It also has single back edge to the header
10043                  from a latch node.  Note that multiple natural loops
10044                  may share the same header.  */
10045               if (latch != ENTRY_BLOCK_PTR
10046                   && TEST_BIT (dom[latch->index], header->index))
10047                 {
10048                   struct loop *loop;
10049
10050                   loop = loops->array + num_loops;
10051
10052                   loop->header = header;
10053                   loop->latch = latch;
10054                   loop->num = num_loops;
10055
10056                   num_loops++;
10057                 }
10058             }
10059         }
10060
10061       for (i = 0; i < num_loops; i++)
10062         {
10063           struct loop *loop = &loops->array[i];
10064
10065           /* Keep track of blocks that are loop headers so
10066              that we can tell which loops should be merged.  */
10067           if (TEST_BIT (headers, loop->header->index))
10068             SET_BIT (loops->shared_headers, loop->header->index);
10069           SET_BIT (headers, loop->header->index);
10070
10071           /* Find nodes contained within the loop.  */
10072           loop->nodes = sbitmap_alloc (n_basic_blocks);
10073           loop->num_nodes
10074             = flow_loop_nodes_find (loop->header, loop->latch, loop->nodes);
10075
10076           /* Compute first and last blocks within the loop.
10077              These are often the same as the loop header and
10078              loop latch respectively, but this is not always
10079              the case.  */
10080           loop->first
10081             = BASIC_BLOCK (sbitmap_first_set_bit (loop->nodes));
10082           loop->last
10083             = BASIC_BLOCK (sbitmap_last_set_bit (loop->nodes));
10084
10085           flow_loop_scan (loops, loop, flags);
10086         }
10087
10088       /* Natural loops with shared headers may either be disjoint or
10089          nested.  Disjoint loops with shared headers cannot be inner
10090          loops and should be merged.  For now just mark loops that share
10091          headers.  */
10092       for (i = 0; i < num_loops; i++)
10093         if (TEST_BIT (loops->shared_headers, loops->array[i].header->index))
10094           loops->array[i].shared = 1;
10095
10096       sbitmap_free (headers);
10097     }
10098   else
10099     {
10100       sbitmap_vector_free (dom);
10101     }
10102
10103   loops->num = num_loops;
10104
10105   /* Build the loop hierarchy tree.  */
10106   flow_loops_tree_build (loops);
10107
10108   /* Assign the loop nesting depth and enclosed loop level for each
10109      loop.  */
10110   loops->levels = flow_loops_level_compute (loops);
10111
10112   return num_loops;
10113 }
10114
10115
10116 /* Update the information regarding the loops in the CFG
10117    specified by LOOPS.  */
10118 int
10119 flow_loops_update (loops, flags)
10120      struct loops *loops;
10121      int flags;
10122 {
10123   /* One day we may want to update the current loop data.  For now
10124      throw away the old stuff and rebuild what we need.  */
10125   if (loops->array)
10126     flow_loops_free (loops);
10127
10128   return flow_loops_find (loops, flags);
10129 }
10130
10131
10132 /* Return non-zero if edge E enters header of LOOP from outside of LOOP.  */
10133
10134 int
10135 flow_loop_outside_edge_p (loop, e)
10136      const struct loop *loop;
10137      edge e;
10138 {
10139   if (e->dest != loop->header)
10140     abort ();
10141   return (e->src == ENTRY_BLOCK_PTR)
10142     || ! TEST_BIT (loop->nodes, e->src->index);
10143 }
10144
10145 /* Clear LOG_LINKS fields of insns in a chain.
10146    Also clear the global_live_at_{start,end} fields of the basic block
10147    structures.  */
10148
10149 void
10150 clear_log_links (insns)
10151      rtx insns;
10152 {
10153   rtx i;
10154   int b;
10155
10156   for (i = insns; i; i = NEXT_INSN (i))
10157     if (INSN_P (i))
10158       LOG_LINKS (i) = 0;
10159
10160   for (b = 0; b < n_basic_blocks; b++)
10161     {
10162       basic_block bb = BASIC_BLOCK (b);
10163
10164       bb->global_live_at_start = NULL;
10165       bb->global_live_at_end = NULL;
10166     }
10167
10168   ENTRY_BLOCK_PTR->global_live_at_end = NULL;
10169   EXIT_BLOCK_PTR->global_live_at_start = NULL;
10170 }
10171
10172 /* Given a register bitmap, turn on the bits in a HARD_REG_SET that
10173    correspond to the hard registers, if any, set in that map.  This
10174    could be done far more efficiently by having all sorts of special-cases
10175    with moving single words, but probably isn't worth the trouble.  */
10176
10177 void
10178 reg_set_to_hard_reg_set (to, from)
10179      HARD_REG_SET *to;
10180      bitmap from;
10181 {
10182   int i;
10183
10184   EXECUTE_IF_SET_IN_BITMAP
10185     (from, 0, i,
10186      {
10187        if (i >= FIRST_PSEUDO_REGISTER)
10188          return;
10189        SET_HARD_REG_BIT (*to, i);
10190      });
10191 }
10192
10193 /* Called once at intialization time.  */
10194
10195 void
10196 init_flow ()
10197 {
10198   static int initialized;
10199
10200   if (!initialized)
10201     {
10202       gcc_obstack_init (&flow_obstack);
10203       flow_firstobj = (char *) obstack_alloc (&flow_obstack, 0);
10204       initialized = 1;
10205     }
10206   else
10207     {
10208       obstack_free (&flow_obstack, flow_firstobj);
10209       flow_firstobj = (char *) obstack_alloc (&flow_obstack, 0);
10210     }
10211 }
10212
10213 /* Assume that the preceeding pass has possibly eliminated jump instructions
10214    or converted the unconditional jumps.  Eliminate the edges from CFG.
10215    Return true if any edges are eliminated.  */
10216
10217 bool
10218 purge_dead_edges (bb)
10219      basic_block bb;
10220 {
10221   edge e, next;
10222   rtx insn = bb->end;
10223   bool purged = false;
10224
10225   if (GET_CODE (insn) == JUMP_INSN && !simplejump_p (insn))
10226     return false;
10227   if (GET_CODE (insn) == JUMP_INSN)
10228     {
10229       rtx note;
10230       edge b,f;
10231       /* We do care only about conditional jumps and simplejumps.  */
10232       if (!any_condjump_p (insn)
10233           && !returnjump_p (insn)
10234           && !simplejump_p (insn))
10235         return false;
10236       for (e = bb->succ; e; e = next)
10237         {
10238           next = e->succ_next;
10239
10240           /* Check purposes we can have edge.  */
10241           if ((e->flags & EDGE_FALLTHRU)
10242               && any_condjump_p (insn))
10243             continue;
10244           if (e->dest != EXIT_BLOCK_PTR
10245               && e->dest->head == JUMP_LABEL (insn))
10246             continue;
10247           if (e->dest == EXIT_BLOCK_PTR
10248               && returnjump_p (insn))
10249             continue;
10250           purged = true;
10251           remove_edge (e);
10252         }
10253       if (!bb->succ || !purged)
10254         return false;
10255       if (rtl_dump_file)
10256         fprintf (rtl_dump_file, "Purged edges from bb %i\n", bb->index);
10257       if (!optimize)
10258         return purged;
10259
10260       /* Redistribute probabilities.  */
10261       if (!bb->succ->succ_next)
10262         {
10263           bb->succ->probability = REG_BR_PROB_BASE;
10264           bb->succ->count = bb->count;
10265         }
10266       else
10267         {
10268           note = find_reg_note (insn, REG_BR_PROB, NULL);
10269           if (!note)
10270             return purged;
10271           b = BRANCH_EDGE (bb);
10272           f = FALLTHRU_EDGE (bb);
10273           b->probability = INTVAL (XEXP (note, 0));
10274           f->probability = REG_BR_PROB_BASE - b->probability;
10275           b->count = bb->count * b->probability / REG_BR_PROB_BASE;
10276           f->count = bb->count * f->probability / REG_BR_PROB_BASE;
10277         }
10278       return purged;
10279     }
10280
10281   /* Cleanup abnormal edges caused by throwing insns that have been
10282      eliminated.  */
10283   if (! can_throw_internal (bb->end))
10284     for (e = bb->succ; e; e = next)
10285       {
10286         next = e->succ_next;
10287         if (e->flags & EDGE_EH)
10288           {
10289             remove_edge (e);
10290             purged = true;
10291           }
10292       }
10293
10294   /* If we don't see a jump insn, we don't know exactly why the block would
10295      have been broken at this point.  Look for a simple, non-fallthru edge,
10296      as these are only created by conditional branches.  If we find such an
10297      edge we know that there used to be a jump here and can then safely
10298      remove all non-fallthru edges.  */
10299   for (e = bb->succ; e && (e->flags & (EDGE_COMPLEX | EDGE_FALLTHRU));
10300        e = e->succ_next);
10301   if (!e)
10302     return purged;
10303   for (e = bb->succ; e; e = next)
10304     {
10305       next = e->succ_next;
10306       if (!(e->flags & EDGE_FALLTHRU))
10307         remove_edge (e), purged = true;
10308     }
10309   if (!bb->succ || bb->succ->succ_next)
10310     abort ();
10311   bb->succ->probability = REG_BR_PROB_BASE;
10312   bb->succ->count = bb->count;
10313
10314   if (rtl_dump_file)
10315     fprintf (rtl_dump_file, "Purged non-fallthru edges from bb %i\n",
10316              bb->index);
10317   return purged;
10318 }
10319
10320 /* Search all basic blocks for potentionally dead edges and purge them.
10321
10322    Return true ifif some edge has been elliminated.
10323  */
10324
10325 bool
10326 purge_all_dead_edges ()
10327 {
10328   int i, purged = false;
10329   for (i = 0; i < n_basic_blocks; i++)
10330     purged |= purge_dead_edges (BASIC_BLOCK (i));
10331   return purged;
10332 }