OSDN Git Service

3777ae8fba6aaa46300fcabe0725e07a1f17e27a
[pf3gnuchains/gcc-fork.git] / gcc / var-tracking.c
1 /* Variable tracking routines for the GNU compiler.
2    Copyright (C) 2002, 2003, 2004, 2005, 2007, 2008, 2009, 2010
3    Free Software Foundation, Inc.
4
5    This file is part of GCC.
6
7    GCC is free software; you can redistribute it and/or modify it
8    under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3, or (at your option)
10    any later version.
11
12    GCC is distributed in the hope that it will be useful, but WITHOUT
13    ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14    or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public
15    License for more details.
16
17    You should have received a copy of the GNU General Public License
18    along with GCC; see the file COPYING3.  If not see
19    <http://www.gnu.org/licenses/>.  */
20
21 /* This file contains the variable tracking pass.  It computes where
22    variables are located (which registers or where in memory) at each position
23    in instruction stream and emits notes describing the locations.
24    Debug information (DWARF2 location lists) is finally generated from
25    these notes.
26    With this debug information, it is possible to show variables
27    even when debugging optimized code.
28
29    How does the variable tracking pass work?
30
31    First, it scans RTL code for uses, stores and clobbers (register/memory
32    references in instructions), for call insns and for stack adjustments
33    separately for each basic block and saves them to an array of micro
34    operations.
35    The micro operations of one instruction are ordered so that
36    pre-modifying stack adjustment < use < use with no var < call insn <
37      < set < clobber < post-modifying stack adjustment
38
39    Then, a forward dataflow analysis is performed to find out how locations
40    of variables change through code and to propagate the variable locations
41    along control flow graph.
42    The IN set for basic block BB is computed as a union of OUT sets of BB's
43    predecessors, the OUT set for BB is copied from the IN set for BB and
44    is changed according to micro operations in BB.
45
46    The IN and OUT sets for basic blocks consist of a current stack adjustment
47    (used for adjusting offset of variables addressed using stack pointer),
48    the table of structures describing the locations of parts of a variable
49    and for each physical register a linked list for each physical register.
50    The linked list is a list of variable parts stored in the register,
51    i.e. it is a list of triplets (reg, decl, offset) where decl is
52    REG_EXPR (reg) and offset is REG_OFFSET (reg).  The linked list is used for
53    effective deleting appropriate variable parts when we set or clobber the
54    register.
55
56    There may be more than one variable part in a register.  The linked lists
57    should be pretty short so it is a good data structure here.
58    For example in the following code, register allocator may assign same
59    register to variables A and B, and both of them are stored in the same
60    register in CODE:
61
62      if (cond)
63        set A;
64      else
65        set B;
66      CODE;
67      if (cond)
68        use A;
69      else
70        use B;
71
72    Finally, the NOTE_INSN_VAR_LOCATION notes describing the variable locations
73    are emitted to appropriate positions in RTL code.  Each such a note describes
74    the location of one variable at the point in instruction stream where the
75    note is.  There is no need to emit a note for each variable before each
76    instruction, we only emit these notes where the location of variable changes
77    (this means that we also emit notes for changes between the OUT set of the
78    previous block and the IN set of the current block).
79
80    The notes consist of two parts:
81    1. the declaration (from REG_EXPR or MEM_EXPR)
82    2. the location of a variable - it is either a simple register/memory
83       reference (for simple variables, for example int),
84       or a parallel of register/memory references (for a large variables
85       which consist of several parts, for example long long).
86
87 */
88
89 #include "config.h"
90 #include "system.h"
91 #include "coretypes.h"
92 #include "tm.h"
93 #include "rtl.h"
94 #include "tree.h"
95 #include "hard-reg-set.h"
96 #include "basic-block.h"
97 #include "flags.h"
98 #include "output.h"
99 #include "insn-config.h"
100 #include "reload.h"
101 #include "sbitmap.h"
102 #include "alloc-pool.h"
103 #include "fibheap.h"
104 #include "hashtab.h"
105 #include "regs.h"
106 #include "expr.h"
107 #include "timevar.h"
108 #include "tree-pass.h"
109 #include "tree-flow.h"
110 #include "cselib.h"
111 #include "target.h"
112 #include "toplev.h"
113 #include "params.h"
114 #include "diagnostic.h"
115 #include "pointer-set.h"
116 #include "recog.h"
117
118 /* var-tracking.c assumes that tree code with the same value as VALUE rtx code
119    has no chance to appear in REG_EXPR/MEM_EXPRs and isn't a decl.
120    Currently the value is the same as IDENTIFIER_NODE, which has such
121    a property.  If this compile time assertion ever fails, make sure that
122    the new tree code that equals (int) VALUE has the same property.  */
123 extern char check_value_val[(int) VALUE == (int) IDENTIFIER_NODE ? 1 : -1];
124
125 /* Type of micro operation.  */
126 enum micro_operation_type
127 {
128   MO_USE,       /* Use location (REG or MEM).  */
129   MO_USE_NO_VAR,/* Use location which is not associated with a variable
130                    or the variable is not trackable.  */
131   MO_VAL_USE,   /* Use location which is associated with a value.  */
132   MO_VAL_LOC,   /* Use location which appears in a debug insn.  */
133   MO_VAL_SET,   /* Set location associated with a value.  */
134   MO_SET,       /* Set location.  */
135   MO_COPY,      /* Copy the same portion of a variable from one
136                    location to another.  */
137   MO_CLOBBER,   /* Clobber location.  */
138   MO_CALL,      /* Call insn.  */
139   MO_ADJUST     /* Adjust stack pointer.  */
140
141 };
142
143 static const char * const ATTRIBUTE_UNUSED
144 micro_operation_type_name[] = {
145   "MO_USE",
146   "MO_USE_NO_VAR",
147   "MO_VAL_USE",
148   "MO_VAL_LOC",
149   "MO_VAL_SET",
150   "MO_SET",
151   "MO_COPY",
152   "MO_CLOBBER",
153   "MO_CALL",
154   "MO_ADJUST"
155 };
156
157 /* Where shall the note be emitted?  BEFORE or AFTER the instruction.
158    Notes emitted as AFTER_CALL are to take effect during the call,
159    rather than after the call.  */
160 enum emit_note_where
161 {
162   EMIT_NOTE_BEFORE_INSN,
163   EMIT_NOTE_AFTER_INSN,
164   EMIT_NOTE_AFTER_CALL_INSN
165 };
166
167 /* Structure holding information about micro operation.  */
168 typedef struct micro_operation_def
169 {
170   /* Type of micro operation.  */
171   enum micro_operation_type type;
172
173   /* The instruction which the micro operation is in, for MO_USE,
174      MO_USE_NO_VAR, MO_CALL and MO_ADJUST, or the subsequent
175      instruction or note in the original flow (before any var-tracking
176      notes are inserted, to simplify emission of notes), for MO_SET
177      and MO_CLOBBER.  */
178   rtx insn;
179
180   union {
181     /* Location.  For MO_SET and MO_COPY, this is the SET that
182        performs the assignment, if known, otherwise it is the target
183        of the assignment.  For MO_VAL_USE and MO_VAL_SET, it is a
184        CONCAT of the VALUE and the LOC associated with it.  For
185        MO_VAL_LOC, it is a CONCAT of the VALUE and the VAR_LOCATION
186        associated with it.  */
187     rtx loc;
188
189     /* Stack adjustment.  */
190     HOST_WIDE_INT adjust;
191   } u;
192 } micro_operation;
193
194 DEF_VEC_O(micro_operation);
195 DEF_VEC_ALLOC_O(micro_operation,heap);
196
197 /* A declaration of a variable, or an RTL value being handled like a
198    declaration.  */
199 typedef void *decl_or_value;
200
201 /* Structure for passing some other parameters to function
202    emit_note_insn_var_location.  */
203 typedef struct emit_note_data_def
204 {
205   /* The instruction which the note will be emitted before/after.  */
206   rtx insn;
207
208   /* Where the note will be emitted (before/after insn)?  */
209   enum emit_note_where where;
210
211   /* The variables and values active at this point.  */
212   htab_t vars;
213 } emit_note_data;
214
215 /* Description of location of a part of a variable.  The content of a physical
216    register is described by a chain of these structures.
217    The chains are pretty short (usually 1 or 2 elements) and thus
218    chain is the best data structure.  */
219 typedef struct attrs_def
220 {
221   /* Pointer to next member of the list.  */
222   struct attrs_def *next;
223
224   /* The rtx of register.  */
225   rtx loc;
226
227   /* The declaration corresponding to LOC.  */
228   decl_or_value dv;
229
230   /* Offset from start of DECL.  */
231   HOST_WIDE_INT offset;
232 } *attrs;
233
234 /* Structure holding a refcounted hash table.  If refcount > 1,
235    it must be first unshared before modified.  */
236 typedef struct shared_hash_def
237 {
238   /* Reference count.  */
239   int refcount;
240
241   /* Actual hash table.  */
242   htab_t htab;
243 } *shared_hash;
244
245 /* Structure holding the IN or OUT set for a basic block.  */
246 typedef struct dataflow_set_def
247 {
248   /* Adjustment of stack offset.  */
249   HOST_WIDE_INT stack_adjust;
250
251   /* Attributes for registers (lists of attrs).  */
252   attrs regs[FIRST_PSEUDO_REGISTER];
253
254   /* Variable locations.  */
255   shared_hash vars;
256
257   /* Vars that is being traversed.  */
258   shared_hash traversed_vars;
259 } dataflow_set;
260
261 /* The structure (one for each basic block) containing the information
262    needed for variable tracking.  */
263 typedef struct variable_tracking_info_def
264 {
265   /* The vector of micro operations.  */
266   VEC(micro_operation, heap) *mos;
267
268   /* The IN and OUT set for dataflow analysis.  */
269   dataflow_set in;
270   dataflow_set out;
271
272   /* The permanent-in dataflow set for this block.  This is used to
273      hold values for which we had to compute entry values.  ??? This
274      should probably be dynamically allocated, to avoid using more
275      memory in non-debug builds.  */
276   dataflow_set *permp;
277
278   /* Has the block been visited in DFS?  */
279   bool visited;
280
281   /* Has the block been flooded in VTA?  */
282   bool flooded;
283
284 } *variable_tracking_info;
285
286 /* Structure for chaining the locations.  */
287 typedef struct location_chain_def
288 {
289   /* Next element in the chain.  */
290   struct location_chain_def *next;
291
292   /* The location (REG, MEM or VALUE).  */
293   rtx loc;
294
295   /* The "value" stored in this location.  */
296   rtx set_src;
297
298   /* Initialized? */
299   enum var_init_status init;
300 } *location_chain;
301
302 /* Structure describing one part of variable.  */
303 typedef struct variable_part_def
304 {
305   /* Chain of locations of the part.  */
306   location_chain loc_chain;
307
308   /* Location which was last emitted to location list.  */
309   rtx cur_loc;
310
311   /* The offset in the variable.  */
312   HOST_WIDE_INT offset;
313 } variable_part;
314
315 /* Maximum number of location parts.  */
316 #define MAX_VAR_PARTS 16
317
318 /* Structure describing where the variable is located.  */
319 typedef struct variable_def
320 {
321   /* The declaration of the variable, or an RTL value being handled
322      like a declaration.  */
323   decl_or_value dv;
324
325   /* Reference count.  */
326   int refcount;
327
328   /* Number of variable parts.  */
329   char n_var_parts;
330
331   /* True if this variable changed (any of its) cur_loc fields
332      during the current emit_notes_for_changes resp.
333      emit_notes_for_differences call.  */
334   bool cur_loc_changed;
335
336   /* True if this variable_def struct is currently in the
337      changed_variables hash table.  */
338   bool in_changed_variables;
339
340   /* The variable parts.  */
341   variable_part var_part[1];
342 } *variable;
343 typedef const struct variable_def *const_variable;
344
345 /* Structure for chaining backlinks from referenced VALUEs to
346    DVs that are referencing them.  */
347 typedef struct value_chain_def
348 {
349   /* Next value_chain entry.  */
350   struct value_chain_def *next;
351
352   /* The declaration of the variable, or an RTL value
353      being handled like a declaration, whose var_parts[0].loc_chain
354      references the VALUE owning this value_chain.  */
355   decl_or_value dv;
356
357   /* Reference count.  */
358   int refcount;
359 } *value_chain;
360 typedef const struct value_chain_def *const_value_chain;
361
362 /* Pointer to the BB's information specific to variable tracking pass.  */
363 #define VTI(BB) ((variable_tracking_info) (BB)->aux)
364
365 /* Macro to access MEM_OFFSET as an HOST_WIDE_INT.  Evaluates MEM twice.  */
366 #define INT_MEM_OFFSET(mem) (MEM_OFFSET (mem) ? INTVAL (MEM_OFFSET (mem)) : 0)
367
368 /* Alloc pool for struct attrs_def.  */
369 static alloc_pool attrs_pool;
370
371 /* Alloc pool for struct variable_def with MAX_VAR_PARTS entries.  */
372 static alloc_pool var_pool;
373
374 /* Alloc pool for struct variable_def with a single var_part entry.  */
375 static alloc_pool valvar_pool;
376
377 /* Alloc pool for struct location_chain_def.  */
378 static alloc_pool loc_chain_pool;
379
380 /* Alloc pool for struct shared_hash_def.  */
381 static alloc_pool shared_hash_pool;
382
383 /* Alloc pool for struct value_chain_def.  */
384 static alloc_pool value_chain_pool;
385
386 /* Changed variables, notes will be emitted for them.  */
387 static htab_t changed_variables;
388
389 /* Links from VALUEs to DVs referencing them in their current loc_chains.  */
390 static htab_t value_chains;
391
392 /* Shall notes be emitted?  */
393 static bool emit_notes;
394
395 /* Empty shared hashtable.  */
396 static shared_hash empty_shared_hash;
397
398 /* Scratch register bitmap used by cselib_expand_value_rtx.  */
399 static bitmap scratch_regs = NULL;
400
401 /* Variable used to tell whether cselib_process_insn called our hook.  */
402 static bool cselib_hook_called;
403
404 /* Local function prototypes.  */
405 static void stack_adjust_offset_pre_post (rtx, HOST_WIDE_INT *,
406                                           HOST_WIDE_INT *);
407 static void insn_stack_adjust_offset_pre_post (rtx, HOST_WIDE_INT *,
408                                                HOST_WIDE_INT *);
409 static bool vt_stack_adjustments (void);
410 static rtx compute_cfa_pointer (HOST_WIDE_INT);
411 static hashval_t variable_htab_hash (const void *);
412 static int variable_htab_eq (const void *, const void *);
413 static void variable_htab_free (void *);
414
415 static void init_attrs_list_set (attrs *);
416 static void attrs_list_clear (attrs *);
417 static attrs attrs_list_member (attrs, decl_or_value, HOST_WIDE_INT);
418 static void attrs_list_insert (attrs *, decl_or_value, HOST_WIDE_INT, rtx);
419 static void attrs_list_copy (attrs *, attrs);
420 static void attrs_list_union (attrs *, attrs);
421
422 static void **unshare_variable (dataflow_set *set, void **slot, variable var,
423                                 enum var_init_status);
424 static void vars_copy (htab_t, htab_t);
425 static tree var_debug_decl (tree);
426 static void var_reg_set (dataflow_set *, rtx, enum var_init_status, rtx);
427 static void var_reg_delete_and_set (dataflow_set *, rtx, bool,
428                                     enum var_init_status, rtx);
429 static void var_reg_delete (dataflow_set *, rtx, bool);
430 static void var_regno_delete (dataflow_set *, int);
431 static void var_mem_set (dataflow_set *, rtx, enum var_init_status, rtx);
432 static void var_mem_delete_and_set (dataflow_set *, rtx, bool,
433                                     enum var_init_status, rtx);
434 static void var_mem_delete (dataflow_set *, rtx, bool);
435
436 static void dataflow_set_init (dataflow_set *);
437 static void dataflow_set_clear (dataflow_set *);
438 static void dataflow_set_copy (dataflow_set *, dataflow_set *);
439 static int variable_union_info_cmp_pos (const void *, const void *);
440 static void dataflow_set_union (dataflow_set *, dataflow_set *);
441 static location_chain find_loc_in_1pdv (rtx, variable, htab_t);
442 static bool canon_value_cmp (rtx, rtx);
443 static int loc_cmp (rtx, rtx);
444 static bool variable_part_different_p (variable_part *, variable_part *);
445 static bool onepart_variable_different_p (variable, variable);
446 static bool variable_different_p (variable, variable);
447 static bool dataflow_set_different (dataflow_set *, dataflow_set *);
448 static void dataflow_set_destroy (dataflow_set *);
449
450 static bool contains_symbol_ref (rtx);
451 static bool track_expr_p (tree, bool);
452 static bool same_variable_part_p (rtx, tree, HOST_WIDE_INT);
453 static int add_uses (rtx *, void *);
454 static void add_uses_1 (rtx *, void *);
455 static void add_stores (rtx, const_rtx, void *);
456 static bool compute_bb_dataflow (basic_block);
457 static bool vt_find_locations (void);
458
459 static void dump_attrs_list (attrs);
460 static int dump_var_slot (void **, void *);
461 static void dump_var (variable);
462 static void dump_vars (htab_t);
463 static void dump_dataflow_set (dataflow_set *);
464 static void dump_dataflow_sets (void);
465
466 static void variable_was_changed (variable, dataflow_set *);
467 static void **set_slot_part (dataflow_set *, rtx, void **,
468                              decl_or_value, HOST_WIDE_INT,
469                              enum var_init_status, rtx);
470 static void set_variable_part (dataflow_set *, rtx,
471                                decl_or_value, HOST_WIDE_INT,
472                                enum var_init_status, rtx, enum insert_option);
473 static void **clobber_slot_part (dataflow_set *, rtx,
474                                  void **, HOST_WIDE_INT, rtx);
475 static void clobber_variable_part (dataflow_set *, rtx,
476                                    decl_or_value, HOST_WIDE_INT, rtx);
477 static void **delete_slot_part (dataflow_set *, rtx, void **, HOST_WIDE_INT);
478 static void delete_variable_part (dataflow_set *, rtx,
479                                   decl_or_value, HOST_WIDE_INT);
480 static int emit_note_insn_var_location (void **, void *);
481 static void emit_notes_for_changes (rtx, enum emit_note_where, shared_hash);
482 static int emit_notes_for_differences_1 (void **, void *);
483 static int emit_notes_for_differences_2 (void **, void *);
484 static void emit_notes_for_differences (rtx, dataflow_set *, dataflow_set *);
485 static void emit_notes_in_bb (basic_block, dataflow_set *);
486 static void vt_emit_notes (void);
487
488 static bool vt_get_decl_and_offset (rtx, tree *, HOST_WIDE_INT *);
489 static void vt_add_function_parameters (void);
490 static bool vt_initialize (void);
491 static void vt_finalize (void);
492
493 /* Given a SET, calculate the amount of stack adjustment it contains
494    PRE- and POST-modifying stack pointer.
495    This function is similar to stack_adjust_offset.  */
496
497 static void
498 stack_adjust_offset_pre_post (rtx pattern, HOST_WIDE_INT *pre,
499                               HOST_WIDE_INT *post)
500 {
501   rtx src = SET_SRC (pattern);
502   rtx dest = SET_DEST (pattern);
503   enum rtx_code code;
504
505   if (dest == stack_pointer_rtx)
506     {
507       /* (set (reg sp) (plus (reg sp) (const_int))) */
508       code = GET_CODE (src);
509       if (! (code == PLUS || code == MINUS)
510           || XEXP (src, 0) != stack_pointer_rtx
511           || !CONST_INT_P (XEXP (src, 1)))
512         return;
513
514       if (code == MINUS)
515         *post += INTVAL (XEXP (src, 1));
516       else
517         *post -= INTVAL (XEXP (src, 1));
518     }
519   else if (MEM_P (dest))
520     {
521       /* (set (mem (pre_dec (reg sp))) (foo)) */
522       src = XEXP (dest, 0);
523       code = GET_CODE (src);
524
525       switch (code)
526         {
527         case PRE_MODIFY:
528         case POST_MODIFY:
529           if (XEXP (src, 0) == stack_pointer_rtx)
530             {
531               rtx val = XEXP (XEXP (src, 1), 1);
532               /* We handle only adjustments by constant amount.  */
533               gcc_assert (GET_CODE (XEXP (src, 1)) == PLUS &&
534                           CONST_INT_P (val));
535
536               if (code == PRE_MODIFY)
537                 *pre -= INTVAL (val);
538               else
539                 *post -= INTVAL (val);
540               break;
541             }
542           return;
543
544         case PRE_DEC:
545           if (XEXP (src, 0) == stack_pointer_rtx)
546             {
547               *pre += GET_MODE_SIZE (GET_MODE (dest));
548               break;
549             }
550           return;
551
552         case POST_DEC:
553           if (XEXP (src, 0) == stack_pointer_rtx)
554             {
555               *post += GET_MODE_SIZE (GET_MODE (dest));
556               break;
557             }
558           return;
559
560         case PRE_INC:
561           if (XEXP (src, 0) == stack_pointer_rtx)
562             {
563               *pre -= GET_MODE_SIZE (GET_MODE (dest));
564               break;
565             }
566           return;
567
568         case POST_INC:
569           if (XEXP (src, 0) == stack_pointer_rtx)
570             {
571               *post -= GET_MODE_SIZE (GET_MODE (dest));
572               break;
573             }
574           return;
575
576         default:
577           return;
578         }
579     }
580 }
581
582 /* Given an INSN, calculate the amount of stack adjustment it contains
583    PRE- and POST-modifying stack pointer.  */
584
585 static void
586 insn_stack_adjust_offset_pre_post (rtx insn, HOST_WIDE_INT *pre,
587                                    HOST_WIDE_INT *post)
588 {
589   rtx pattern;
590
591   *pre = 0;
592   *post = 0;
593
594   pattern = PATTERN (insn);
595   if (RTX_FRAME_RELATED_P (insn))
596     {
597       rtx expr = find_reg_note (insn, REG_FRAME_RELATED_EXPR, NULL_RTX);
598       if (expr)
599         pattern = XEXP (expr, 0);
600     }
601
602   if (GET_CODE (pattern) == SET)
603     stack_adjust_offset_pre_post (pattern, pre, post);
604   else if (GET_CODE (pattern) == PARALLEL
605            || GET_CODE (pattern) == SEQUENCE)
606     {
607       int i;
608
609       /* There may be stack adjustments inside compound insns.  Search
610          for them.  */
611       for ( i = XVECLEN (pattern, 0) - 1; i >= 0; i--)
612         if (GET_CODE (XVECEXP (pattern, 0, i)) == SET)
613           stack_adjust_offset_pre_post (XVECEXP (pattern, 0, i), pre, post);
614     }
615 }
616
617 /* Compute stack adjustments for all blocks by traversing DFS tree.
618    Return true when the adjustments on all incoming edges are consistent.
619    Heavily borrowed from pre_and_rev_post_order_compute.  */
620
621 static bool
622 vt_stack_adjustments (void)
623 {
624   edge_iterator *stack;
625   int sp;
626
627   /* Initialize entry block.  */
628   VTI (ENTRY_BLOCK_PTR)->visited = true;
629   VTI (ENTRY_BLOCK_PTR)->in.stack_adjust = INCOMING_FRAME_SP_OFFSET;
630   VTI (ENTRY_BLOCK_PTR)->out.stack_adjust = INCOMING_FRAME_SP_OFFSET;
631
632   /* Allocate stack for back-tracking up CFG.  */
633   stack = XNEWVEC (edge_iterator, n_basic_blocks + 1);
634   sp = 0;
635
636   /* Push the first edge on to the stack.  */
637   stack[sp++] = ei_start (ENTRY_BLOCK_PTR->succs);
638
639   while (sp)
640     {
641       edge_iterator ei;
642       basic_block src;
643       basic_block dest;
644
645       /* Look at the edge on the top of the stack.  */
646       ei = stack[sp - 1];
647       src = ei_edge (ei)->src;
648       dest = ei_edge (ei)->dest;
649
650       /* Check if the edge destination has been visited yet.  */
651       if (!VTI (dest)->visited)
652         {
653           rtx insn;
654           HOST_WIDE_INT pre, post, offset;
655           VTI (dest)->visited = true;
656           VTI (dest)->in.stack_adjust = offset = VTI (src)->out.stack_adjust;
657
658           if (dest != EXIT_BLOCK_PTR)
659             for (insn = BB_HEAD (dest);
660                  insn != NEXT_INSN (BB_END (dest));
661                  insn = NEXT_INSN (insn))
662               if (INSN_P (insn))
663                 {
664                   insn_stack_adjust_offset_pre_post (insn, &pre, &post);
665                   offset += pre + post;
666                 }
667
668           VTI (dest)->out.stack_adjust = offset;
669
670           if (EDGE_COUNT (dest->succs) > 0)
671             /* Since the DEST node has been visited for the first
672                time, check its successors.  */
673             stack[sp++] = ei_start (dest->succs);
674         }
675       else
676         {
677           /* Check whether the adjustments on the edges are the same.  */
678           if (VTI (dest)->in.stack_adjust != VTI (src)->out.stack_adjust)
679             {
680               free (stack);
681               return false;
682             }
683
684           if (! ei_one_before_end_p (ei))
685             /* Go to the next edge.  */
686             ei_next (&stack[sp - 1]);
687           else
688             /* Return to previous level if there are no more edges.  */
689             sp--;
690         }
691     }
692
693   free (stack);
694   return true;
695 }
696
697 /* Compute a CFA-based value for the stack pointer.  */
698
699 static rtx
700 compute_cfa_pointer (HOST_WIDE_INT adjustment)
701 {
702   rtx cfa;
703
704 #ifdef FRAME_POINTER_CFA_OFFSET
705   adjustment -= FRAME_POINTER_CFA_OFFSET (current_function_decl);
706   cfa = plus_constant (frame_pointer_rtx, adjustment);
707 #else
708   adjustment -= ARG_POINTER_CFA_OFFSET (current_function_decl);
709   cfa = plus_constant (arg_pointer_rtx, adjustment);
710 #endif
711
712   return cfa;
713 }
714
715 /* Adjustment for hard_frame_pointer_rtx to cfa base reg,
716    or -1 if the replacement shouldn't be done.  */
717 static HOST_WIDE_INT hard_frame_pointer_adjustment = -1;
718
719 /* Data for adjust_mems callback.  */
720
721 struct adjust_mem_data
722 {
723   bool store;
724   enum machine_mode mem_mode;
725   HOST_WIDE_INT stack_adjust;
726   rtx side_effects;
727 };
728
729 /* Helper function for adjusting used MEMs.  */
730
731 static rtx
732 adjust_mems (rtx loc, const_rtx old_rtx, void *data)
733 {
734   struct adjust_mem_data *amd = (struct adjust_mem_data *) data;
735   rtx mem, addr = loc, tem;
736   enum machine_mode mem_mode_save;
737   bool store_save;
738   switch (GET_CODE (loc))
739     {
740     case REG:
741       /* Don't do any sp or fp replacements outside of MEM addresses.  */
742       if (amd->mem_mode == VOIDmode)
743         return loc;
744       if (loc == stack_pointer_rtx
745           && !frame_pointer_needed)
746         return compute_cfa_pointer (amd->stack_adjust);
747       else if (loc == hard_frame_pointer_rtx
748                && frame_pointer_needed
749                && hard_frame_pointer_adjustment != -1)
750         return compute_cfa_pointer (hard_frame_pointer_adjustment);
751       return loc;
752     case MEM:
753       mem = loc;
754       if (!amd->store)
755         {
756           mem = targetm.delegitimize_address (mem);
757           if (mem != loc && !MEM_P (mem))
758             return simplify_replace_fn_rtx (mem, old_rtx, adjust_mems, data);
759         }
760
761       addr = XEXP (mem, 0);
762       mem_mode_save = amd->mem_mode;
763       amd->mem_mode = GET_MODE (mem);
764       store_save = amd->store;
765       amd->store = false;
766       addr = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
767       amd->store = store_save;
768       amd->mem_mode = mem_mode_save;
769       if (mem == loc)
770         addr = targetm.delegitimize_address (addr);
771       if (addr != XEXP (mem, 0))
772         mem = replace_equiv_address_nv (mem, addr);
773       if (!amd->store)
774         mem = avoid_constant_pool_reference (mem);
775       return mem;
776     case PRE_INC:
777     case PRE_DEC:
778       addr = gen_rtx_PLUS (GET_MODE (loc), XEXP (loc, 0),
779                            GEN_INT (GET_CODE (loc) == PRE_INC
780                                     ? GET_MODE_SIZE (amd->mem_mode)
781                                     : -GET_MODE_SIZE (amd->mem_mode)));
782     case POST_INC:
783     case POST_DEC:
784       if (addr == loc)
785         addr = XEXP (loc, 0);
786       gcc_assert (amd->mem_mode != VOIDmode && amd->mem_mode != BLKmode);
787       addr = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
788       tem = gen_rtx_PLUS (GET_MODE (loc), XEXP (loc, 0),
789                            GEN_INT ((GET_CODE (loc) == PRE_INC
790                                      || GET_CODE (loc) == POST_INC)
791                                     ? GET_MODE_SIZE (amd->mem_mode)
792                                     : -GET_MODE_SIZE (amd->mem_mode)));
793       amd->side_effects = alloc_EXPR_LIST (0,
794                                            gen_rtx_SET (VOIDmode,
795                                                         XEXP (loc, 0),
796                                                         tem),
797                                            amd->side_effects);
798       return addr;
799     case PRE_MODIFY:
800       addr = XEXP (loc, 1);
801     case POST_MODIFY:
802       if (addr == loc)
803         addr = XEXP (loc, 0);
804       gcc_assert (amd->mem_mode != VOIDmode);
805       addr = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
806       amd->side_effects = alloc_EXPR_LIST (0,
807                                            gen_rtx_SET (VOIDmode,
808                                                         XEXP (loc, 0),
809                                                         XEXP (loc, 1)),
810                                            amd->side_effects);
811       return addr;
812     case SUBREG:
813       /* First try without delegitimization of whole MEMs and
814          avoid_constant_pool_reference, which is more likely to succeed.  */
815       store_save = amd->store;
816       amd->store = true;
817       addr = simplify_replace_fn_rtx (SUBREG_REG (loc), old_rtx, adjust_mems,
818                                       data);
819       amd->store = store_save;
820       mem = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
821       if (mem == SUBREG_REG (loc))
822         return loc;
823       tem = simplify_gen_subreg (GET_MODE (loc), mem,
824                                  GET_MODE (SUBREG_REG (loc)),
825                                  SUBREG_BYTE (loc));
826       if (tem)
827         return tem;
828       tem = simplify_gen_subreg (GET_MODE (loc), addr,
829                                  GET_MODE (SUBREG_REG (loc)),
830                                  SUBREG_BYTE (loc));
831       if (tem)
832         return tem;
833       return gen_rtx_raw_SUBREG (GET_MODE (loc), addr, SUBREG_BYTE (loc));
834     default:
835       break;
836     }
837   return NULL_RTX;
838 }
839
840 /* Helper function for replacement of uses.  */
841
842 static void
843 adjust_mem_uses (rtx *x, void *data)
844 {
845   rtx new_x = simplify_replace_fn_rtx (*x, NULL_RTX, adjust_mems, data);
846   if (new_x != *x)
847     validate_change (NULL_RTX, x, new_x, true);
848 }
849
850 /* Helper function for replacement of stores.  */
851
852 static void
853 adjust_mem_stores (rtx loc, const_rtx expr, void *data)
854 {
855   if (MEM_P (loc))
856     {
857       rtx new_dest = simplify_replace_fn_rtx (SET_DEST (expr), NULL_RTX,
858                                               adjust_mems, data);
859       if (new_dest != SET_DEST (expr))
860         {
861           rtx xexpr = CONST_CAST_RTX (expr);
862           validate_change (NULL_RTX, &SET_DEST (xexpr), new_dest, true);
863         }
864     }
865 }
866
867 /* Simplify INSN.  Remove all {PRE,POST}_{INC,DEC,MODIFY} rtxes,
868    replace them with their value in the insn and add the side-effects
869    as other sets to the insn.  */
870
871 static void
872 adjust_insn (basic_block bb, rtx insn)
873 {
874   struct adjust_mem_data amd;
875   rtx set;
876   amd.mem_mode = VOIDmode;
877   amd.stack_adjust = -VTI (bb)->out.stack_adjust;
878   amd.side_effects = NULL_RTX;
879
880   amd.store = true;
881   note_stores (PATTERN (insn), adjust_mem_stores, &amd);
882
883   amd.store = false;
884   note_uses (&PATTERN (insn), adjust_mem_uses, &amd);
885
886   /* For read-only MEMs containing some constant, prefer those
887      constants.  */
888   set = single_set (insn);
889   if (set && MEM_P (SET_SRC (set)) && MEM_READONLY_P (SET_SRC (set)))
890     {
891       rtx note = find_reg_equal_equiv_note (insn);
892
893       if (note && CONSTANT_P (XEXP (note, 0)))
894         validate_change (NULL_RTX, &SET_SRC (set), XEXP (note, 0), true);
895     }
896
897   if (amd.side_effects)
898     {
899       rtx *pat, new_pat, s;
900       int i, oldn, newn;
901
902       pat = &PATTERN (insn);
903       if (GET_CODE (*pat) == COND_EXEC)
904         pat = &COND_EXEC_CODE (*pat);
905       if (GET_CODE (*pat) == PARALLEL)
906         oldn = XVECLEN (*pat, 0);
907       else
908         oldn = 1;
909       for (s = amd.side_effects, newn = 0; s; newn++)
910         s = XEXP (s, 1);
911       new_pat = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (oldn + newn));
912       if (GET_CODE (*pat) == PARALLEL)
913         for (i = 0; i < oldn; i++)
914           XVECEXP (new_pat, 0, i) = XVECEXP (*pat, 0, i);
915       else
916         XVECEXP (new_pat, 0, 0) = *pat;
917       for (s = amd.side_effects, i = oldn; i < oldn + newn; i++, s = XEXP (s, 1))
918         XVECEXP (new_pat, 0, i) = XEXP (s, 0);
919       free_EXPR_LIST_list (&amd.side_effects);
920       validate_change (NULL_RTX, pat, new_pat, true);
921     }
922 }
923
924 /* Return true if a decl_or_value DV is a DECL or NULL.  */
925 static inline bool
926 dv_is_decl_p (decl_or_value dv)
927 {
928   return !dv || (int) TREE_CODE ((tree) dv) != (int) VALUE;
929 }
930
931 /* Return true if a decl_or_value is a VALUE rtl.  */
932 static inline bool
933 dv_is_value_p (decl_or_value dv)
934 {
935   return dv && !dv_is_decl_p (dv);
936 }
937
938 /* Return the decl in the decl_or_value.  */
939 static inline tree
940 dv_as_decl (decl_or_value dv)
941 {
942 #ifdef ENABLE_CHECKING
943   gcc_assert (dv_is_decl_p (dv));
944 #endif
945   return (tree) dv;
946 }
947
948 /* Return the value in the decl_or_value.  */
949 static inline rtx
950 dv_as_value (decl_or_value dv)
951 {
952 #ifdef ENABLE_CHECKING
953   gcc_assert (dv_is_value_p (dv));
954 #endif
955   return (rtx)dv;
956 }
957
958 /* Return the opaque pointer in the decl_or_value.  */
959 static inline void *
960 dv_as_opaque (decl_or_value dv)
961 {
962   return dv;
963 }
964
965 /* Return true if a decl_or_value must not have more than one variable
966    part.  */
967 static inline bool
968 dv_onepart_p (decl_or_value dv)
969 {
970   tree decl;
971
972   if (!MAY_HAVE_DEBUG_INSNS)
973     return false;
974
975   if (dv_is_value_p (dv))
976     return true;
977
978   decl = dv_as_decl (dv);
979
980   if (!decl)
981     return true;
982
983   if (TREE_CODE (decl) == DEBUG_EXPR_DECL)
984     return true;
985
986   return (target_for_debug_bind (decl) != NULL_TREE);
987 }
988
989 /* Return the variable pool to be used for dv, depending on whether it
990    can have multiple parts or not.  */
991 static inline alloc_pool
992 dv_pool (decl_or_value dv)
993 {
994   return dv_onepart_p (dv) ? valvar_pool : var_pool;
995 }
996
997 /* Build a decl_or_value out of a decl.  */
998 static inline decl_or_value
999 dv_from_decl (tree decl)
1000 {
1001   decl_or_value dv;
1002   dv = decl;
1003 #ifdef ENABLE_CHECKING
1004   gcc_assert (dv_is_decl_p (dv));
1005 #endif
1006   return dv;
1007 }
1008
1009 /* Build a decl_or_value out of a value.  */
1010 static inline decl_or_value
1011 dv_from_value (rtx value)
1012 {
1013   decl_or_value dv;
1014   dv = value;
1015 #ifdef ENABLE_CHECKING
1016   gcc_assert (dv_is_value_p (dv));
1017 #endif
1018   return dv;
1019 }
1020
1021 extern void debug_dv (decl_or_value dv);
1022
1023 void
1024 debug_dv (decl_or_value dv)
1025 {
1026   if (dv_is_value_p (dv))
1027     debug_rtx (dv_as_value (dv));
1028   else
1029     debug_generic_stmt (dv_as_decl (dv));
1030 }
1031
1032 typedef unsigned int dvuid;
1033
1034 /* Return the uid of DV.  */
1035
1036 static inline dvuid
1037 dv_uid (decl_or_value dv)
1038 {
1039   if (dv_is_value_p (dv))
1040     return CSELIB_VAL_PTR (dv_as_value (dv))->uid;
1041   else
1042     return DECL_UID (dv_as_decl (dv));
1043 }
1044
1045 /* Compute the hash from the uid.  */
1046
1047 static inline hashval_t
1048 dv_uid2hash (dvuid uid)
1049 {
1050   return uid;
1051 }
1052
1053 /* The hash function for a mask table in a shared_htab chain.  */
1054
1055 static inline hashval_t
1056 dv_htab_hash (decl_or_value dv)
1057 {
1058   return dv_uid2hash (dv_uid (dv));
1059 }
1060
1061 /* The hash function for variable_htab, computes the hash value
1062    from the declaration of variable X.  */
1063
1064 static hashval_t
1065 variable_htab_hash (const void *x)
1066 {
1067   const_variable const v = (const_variable) x;
1068
1069   return dv_htab_hash (v->dv);
1070 }
1071
1072 /* Compare the declaration of variable X with declaration Y.  */
1073
1074 static int
1075 variable_htab_eq (const void *x, const void *y)
1076 {
1077   const_variable const v = (const_variable) x;
1078   decl_or_value dv = CONST_CAST2 (decl_or_value, const void *, y);
1079
1080   return (dv_as_opaque (v->dv) == dv_as_opaque (dv));
1081 }
1082
1083 /* Free the element of VARIABLE_HTAB (its type is struct variable_def).  */
1084
1085 static void
1086 variable_htab_free (void *elem)
1087 {
1088   int i;
1089   variable var = (variable) elem;
1090   location_chain node, next;
1091
1092   gcc_assert (var->refcount > 0);
1093
1094   var->refcount--;
1095   if (var->refcount > 0)
1096     return;
1097
1098   for (i = 0; i < var->n_var_parts; i++)
1099     {
1100       for (node = var->var_part[i].loc_chain; node; node = next)
1101         {
1102           next = node->next;
1103           pool_free (loc_chain_pool, node);
1104         }
1105       var->var_part[i].loc_chain = NULL;
1106     }
1107   pool_free (dv_pool (var->dv), var);
1108 }
1109
1110 /* The hash function for value_chains htab, computes the hash value
1111    from the VALUE.  */
1112
1113 static hashval_t
1114 value_chain_htab_hash (const void *x)
1115 {
1116   const_value_chain const v = (const_value_chain) x;
1117
1118   return dv_htab_hash (v->dv);
1119 }
1120
1121 /* Compare the VALUE X with VALUE Y.  */
1122
1123 static int
1124 value_chain_htab_eq (const void *x, const void *y)
1125 {
1126   const_value_chain const v = (const_value_chain) x;
1127   decl_or_value dv = CONST_CAST2 (decl_or_value, const void *, y);
1128
1129   return dv_as_opaque (v->dv) == dv_as_opaque (dv);
1130 }
1131
1132 /* Initialize the set (array) SET of attrs to empty lists.  */
1133
1134 static void
1135 init_attrs_list_set (attrs *set)
1136 {
1137   int i;
1138
1139   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1140     set[i] = NULL;
1141 }
1142
1143 /* Make the list *LISTP empty.  */
1144
1145 static void
1146 attrs_list_clear (attrs *listp)
1147 {
1148   attrs list, next;
1149
1150   for (list = *listp; list; list = next)
1151     {
1152       next = list->next;
1153       pool_free (attrs_pool, list);
1154     }
1155   *listp = NULL;
1156 }
1157
1158 /* Return true if the pair of DECL and OFFSET is the member of the LIST.  */
1159
1160 static attrs
1161 attrs_list_member (attrs list, decl_or_value dv, HOST_WIDE_INT offset)
1162 {
1163   for (; list; list = list->next)
1164     if (dv_as_opaque (list->dv) == dv_as_opaque (dv) && list->offset == offset)
1165       return list;
1166   return NULL;
1167 }
1168
1169 /* Insert the triplet DECL, OFFSET, LOC to the list *LISTP.  */
1170
1171 static void
1172 attrs_list_insert (attrs *listp, decl_or_value dv,
1173                    HOST_WIDE_INT offset, rtx loc)
1174 {
1175   attrs list;
1176
1177   list = (attrs) pool_alloc (attrs_pool);
1178   list->loc = loc;
1179   list->dv = dv;
1180   list->offset = offset;
1181   list->next = *listp;
1182   *listp = list;
1183 }
1184
1185 /* Copy all nodes from SRC and create a list *DSTP of the copies.  */
1186
1187 static void
1188 attrs_list_copy (attrs *dstp, attrs src)
1189 {
1190   attrs n;
1191
1192   attrs_list_clear (dstp);
1193   for (; src; src = src->next)
1194     {
1195       n = (attrs) pool_alloc (attrs_pool);
1196       n->loc = src->loc;
1197       n->dv = src->dv;
1198       n->offset = src->offset;
1199       n->next = *dstp;
1200       *dstp = n;
1201     }
1202 }
1203
1204 /* Add all nodes from SRC which are not in *DSTP to *DSTP.  */
1205
1206 static void
1207 attrs_list_union (attrs *dstp, attrs src)
1208 {
1209   for (; src; src = src->next)
1210     {
1211       if (!attrs_list_member (*dstp, src->dv, src->offset))
1212         attrs_list_insert (dstp, src->dv, src->offset, src->loc);
1213     }
1214 }
1215
1216 /* Combine nodes that are not onepart nodes from SRC and SRC2 into
1217    *DSTP.  */
1218
1219 static void
1220 attrs_list_mpdv_union (attrs *dstp, attrs src, attrs src2)
1221 {
1222   gcc_assert (!*dstp);
1223   for (; src; src = src->next)
1224     {
1225       if (!dv_onepart_p (src->dv))
1226         attrs_list_insert (dstp, src->dv, src->offset, src->loc);
1227     }
1228   for (src = src2; src; src = src->next)
1229     {
1230       if (!dv_onepart_p (src->dv)
1231           && !attrs_list_member (*dstp, src->dv, src->offset))
1232         attrs_list_insert (dstp, src->dv, src->offset, src->loc);
1233     }
1234 }
1235
1236 /* Shared hashtable support.  */
1237
1238 /* Return true if VARS is shared.  */
1239
1240 static inline bool
1241 shared_hash_shared (shared_hash vars)
1242 {
1243   return vars->refcount > 1;
1244 }
1245
1246 /* Return the hash table for VARS.  */
1247
1248 static inline htab_t
1249 shared_hash_htab (shared_hash vars)
1250 {
1251   return vars->htab;
1252 }
1253
1254 /* Return true if VAR is shared, or maybe because VARS is shared.  */
1255
1256 static inline bool
1257 shared_var_p (variable var, shared_hash vars)
1258 {
1259   /* Don't count an entry in the changed_variables table as a duplicate.  */
1260   return ((var->refcount > 1 + (int) var->in_changed_variables)
1261           || shared_hash_shared (vars));
1262 }
1263
1264 /* Copy variables into a new hash table.  */
1265
1266 static shared_hash
1267 shared_hash_unshare (shared_hash vars)
1268 {
1269   shared_hash new_vars = (shared_hash) pool_alloc (shared_hash_pool);
1270   gcc_assert (vars->refcount > 1);
1271   new_vars->refcount = 1;
1272   new_vars->htab
1273     = htab_create (htab_elements (vars->htab) + 3, variable_htab_hash,
1274                    variable_htab_eq, variable_htab_free);
1275   vars_copy (new_vars->htab, vars->htab);
1276   vars->refcount--;
1277   return new_vars;
1278 }
1279
1280 /* Increment reference counter on VARS and return it.  */
1281
1282 static inline shared_hash
1283 shared_hash_copy (shared_hash vars)
1284 {
1285   vars->refcount++;
1286   return vars;
1287 }
1288
1289 /* Decrement reference counter and destroy hash table if not shared
1290    anymore.  */
1291
1292 static void
1293 shared_hash_destroy (shared_hash vars)
1294 {
1295   gcc_assert (vars->refcount > 0);
1296   if (--vars->refcount == 0)
1297     {
1298       htab_delete (vars->htab);
1299       pool_free (shared_hash_pool, vars);
1300     }
1301 }
1302
1303 /* Unshare *PVARS if shared and return slot for DV.  If INS is
1304    INSERT, insert it if not already present.  */
1305
1306 static inline void **
1307 shared_hash_find_slot_unshare_1 (shared_hash *pvars, decl_or_value dv,
1308                                  hashval_t dvhash, enum insert_option ins)
1309 {
1310   if (shared_hash_shared (*pvars))
1311     *pvars = shared_hash_unshare (*pvars);
1312   return htab_find_slot_with_hash (shared_hash_htab (*pvars), dv, dvhash, ins);
1313 }
1314
1315 static inline void **
1316 shared_hash_find_slot_unshare (shared_hash *pvars, decl_or_value dv,
1317                                enum insert_option ins)
1318 {
1319   return shared_hash_find_slot_unshare_1 (pvars, dv, dv_htab_hash (dv), ins);
1320 }
1321
1322 /* Return slot for DV, if it is already present in the hash table.
1323    If it is not present, insert it only VARS is not shared, otherwise
1324    return NULL.  */
1325
1326 static inline void **
1327 shared_hash_find_slot_1 (shared_hash vars, decl_or_value dv, hashval_t dvhash)
1328 {
1329   return htab_find_slot_with_hash (shared_hash_htab (vars), dv, dvhash,
1330                                    shared_hash_shared (vars)
1331                                    ? NO_INSERT : INSERT);
1332 }
1333
1334 static inline void **
1335 shared_hash_find_slot (shared_hash vars, decl_or_value dv)
1336 {
1337   return shared_hash_find_slot_1 (vars, dv, dv_htab_hash (dv));
1338 }
1339
1340 /* Return slot for DV only if it is already present in the hash table.  */
1341
1342 static inline void **
1343 shared_hash_find_slot_noinsert_1 (shared_hash vars, decl_or_value dv,
1344                                   hashval_t dvhash)
1345 {
1346   return htab_find_slot_with_hash (shared_hash_htab (vars), dv, dvhash,
1347                                    NO_INSERT);
1348 }
1349
1350 static inline void **
1351 shared_hash_find_slot_noinsert (shared_hash vars, decl_or_value dv)
1352 {
1353   return shared_hash_find_slot_noinsert_1 (vars, dv, dv_htab_hash (dv));
1354 }
1355
1356 /* Return variable for DV or NULL if not already present in the hash
1357    table.  */
1358
1359 static inline variable
1360 shared_hash_find_1 (shared_hash vars, decl_or_value dv, hashval_t dvhash)
1361 {
1362   return (variable) htab_find_with_hash (shared_hash_htab (vars), dv, dvhash);
1363 }
1364
1365 static inline variable
1366 shared_hash_find (shared_hash vars, decl_or_value dv)
1367 {
1368   return shared_hash_find_1 (vars, dv, dv_htab_hash (dv));
1369 }
1370
1371 /* Return true if TVAL is better than CVAL as a canonival value.  We
1372    choose lowest-numbered VALUEs, using the RTX address as a
1373    tie-breaker.  The idea is to arrange them into a star topology,
1374    such that all of them are at most one step away from the canonical
1375    value, and the canonical value has backlinks to all of them, in
1376    addition to all the actual locations.  We don't enforce this
1377    topology throughout the entire dataflow analysis, though.
1378  */
1379
1380 static inline bool
1381 canon_value_cmp (rtx tval, rtx cval)
1382 {
1383   return !cval
1384     || CSELIB_VAL_PTR (tval)->uid < CSELIB_VAL_PTR (cval)->uid;
1385 }
1386
1387 static bool dst_can_be_shared;
1388
1389 /* Return a copy of a variable VAR and insert it to dataflow set SET.  */
1390
1391 static void **
1392 unshare_variable (dataflow_set *set, void **slot, variable var,
1393                   enum var_init_status initialized)
1394 {
1395   variable new_var;
1396   int i;
1397
1398   new_var = (variable) pool_alloc (dv_pool (var->dv));
1399   new_var->dv = var->dv;
1400   new_var->refcount = 1;
1401   var->refcount--;
1402   new_var->n_var_parts = var->n_var_parts;
1403   new_var->cur_loc_changed = var->cur_loc_changed;
1404   var->cur_loc_changed = false;
1405   new_var->in_changed_variables = false;
1406
1407   if (! flag_var_tracking_uninit)
1408     initialized = VAR_INIT_STATUS_INITIALIZED;
1409
1410   for (i = 0; i < var->n_var_parts; i++)
1411     {
1412       location_chain node;
1413       location_chain *nextp;
1414
1415       new_var->var_part[i].offset = var->var_part[i].offset;
1416       nextp = &new_var->var_part[i].loc_chain;
1417       for (node = var->var_part[i].loc_chain; node; node = node->next)
1418         {
1419           location_chain new_lc;
1420
1421           new_lc = (location_chain) pool_alloc (loc_chain_pool);
1422           new_lc->next = NULL;
1423           if (node->init > initialized)
1424             new_lc->init = node->init;
1425           else
1426             new_lc->init = initialized;
1427           if (node->set_src && !(MEM_P (node->set_src)))
1428             new_lc->set_src = node->set_src;
1429           else
1430             new_lc->set_src = NULL;
1431           new_lc->loc = node->loc;
1432
1433           *nextp = new_lc;
1434           nextp = &new_lc->next;
1435         }
1436
1437       new_var->var_part[i].cur_loc = var->var_part[i].cur_loc;
1438     }
1439
1440   dst_can_be_shared = false;
1441   if (shared_hash_shared (set->vars))
1442     slot = shared_hash_find_slot_unshare (&set->vars, var->dv, NO_INSERT);
1443   else if (set->traversed_vars && set->vars != set->traversed_vars)
1444     slot = shared_hash_find_slot_noinsert (set->vars, var->dv);
1445   *slot = new_var;
1446   if (var->in_changed_variables)
1447     {
1448       void **cslot
1449         = htab_find_slot_with_hash (changed_variables, var->dv,
1450                                     dv_htab_hash (var->dv), NO_INSERT);
1451       gcc_assert (*cslot == (void *) var);
1452       var->in_changed_variables = false;
1453       variable_htab_free (var);
1454       *cslot = new_var;
1455       new_var->in_changed_variables = true;
1456     }
1457   return slot;
1458 }
1459
1460 /* Copy all variables from hash table SRC to hash table DST.  */
1461
1462 static void
1463 vars_copy (htab_t dst, htab_t src)
1464 {
1465   htab_iterator hi;
1466   variable var;
1467
1468   FOR_EACH_HTAB_ELEMENT (src, var, variable, hi)
1469     {
1470       void **dstp;
1471       var->refcount++;
1472       dstp = htab_find_slot_with_hash (dst, var->dv,
1473                                        dv_htab_hash (var->dv),
1474                                        INSERT);
1475       *dstp = var;
1476     }
1477 }
1478
1479 /* Map a decl to its main debug decl.  */
1480
1481 static inline tree
1482 var_debug_decl (tree decl)
1483 {
1484   if (decl && DECL_P (decl)
1485       && DECL_DEBUG_EXPR_IS_FROM (decl))
1486     {
1487       tree debugdecl = DECL_DEBUG_EXPR (decl);
1488       if (debugdecl && DECL_P (debugdecl))
1489         decl = debugdecl;
1490     }
1491
1492   return decl;
1493 }
1494
1495 /* Set the register LOC to contain DV, OFFSET.  */
1496
1497 static void
1498 var_reg_decl_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1499                   decl_or_value dv, HOST_WIDE_INT offset, rtx set_src,
1500                   enum insert_option iopt)
1501 {
1502   attrs node;
1503   bool decl_p = dv_is_decl_p (dv);
1504
1505   if (decl_p)
1506     dv = dv_from_decl (var_debug_decl (dv_as_decl (dv)));
1507
1508   for (node = set->regs[REGNO (loc)]; node; node = node->next)
1509     if (dv_as_opaque (node->dv) == dv_as_opaque (dv)
1510         && node->offset == offset)
1511       break;
1512   if (!node)
1513     attrs_list_insert (&set->regs[REGNO (loc)], dv, offset, loc);
1514   set_variable_part (set, loc, dv, offset, initialized, set_src, iopt);
1515 }
1516
1517 /* Set the register to contain REG_EXPR (LOC), REG_OFFSET (LOC).  */
1518
1519 static void
1520 var_reg_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1521              rtx set_src)
1522 {
1523   tree decl = REG_EXPR (loc);
1524   HOST_WIDE_INT offset = REG_OFFSET (loc);
1525
1526   var_reg_decl_set (set, loc, initialized,
1527                     dv_from_decl (decl), offset, set_src, INSERT);
1528 }
1529
1530 static enum var_init_status
1531 get_init_value (dataflow_set *set, rtx loc, decl_or_value dv)
1532 {
1533   variable var;
1534   int i;
1535   enum var_init_status ret_val = VAR_INIT_STATUS_UNKNOWN;
1536
1537   if (! flag_var_tracking_uninit)
1538     return VAR_INIT_STATUS_INITIALIZED;
1539
1540   var = shared_hash_find (set->vars, dv);
1541   if (var)
1542     {
1543       for (i = 0; i < var->n_var_parts && ret_val == VAR_INIT_STATUS_UNKNOWN; i++)
1544         {
1545           location_chain nextp;
1546           for (nextp = var->var_part[i].loc_chain; nextp; nextp = nextp->next)
1547             if (rtx_equal_p (nextp->loc, loc))
1548               {
1549                 ret_val = nextp->init;
1550                 break;
1551               }
1552         }
1553     }
1554
1555   return ret_val;
1556 }
1557
1558 /* Delete current content of register LOC in dataflow set SET and set
1559    the register to contain REG_EXPR (LOC), REG_OFFSET (LOC).  If
1560    MODIFY is true, any other live copies of the same variable part are
1561    also deleted from the dataflow set, otherwise the variable part is
1562    assumed to be copied from another location holding the same
1563    part.  */
1564
1565 static void
1566 var_reg_delete_and_set (dataflow_set *set, rtx loc, bool modify,
1567                         enum var_init_status initialized, rtx set_src)
1568 {
1569   tree decl = REG_EXPR (loc);
1570   HOST_WIDE_INT offset = REG_OFFSET (loc);
1571   attrs node, next;
1572   attrs *nextp;
1573
1574   decl = var_debug_decl (decl);
1575
1576   if (initialized == VAR_INIT_STATUS_UNKNOWN)
1577     initialized = get_init_value (set, loc, dv_from_decl (decl));
1578
1579   nextp = &set->regs[REGNO (loc)];
1580   for (node = *nextp; node; node = next)
1581     {
1582       next = node->next;
1583       if (dv_as_opaque (node->dv) != decl || node->offset != offset)
1584         {
1585           delete_variable_part (set, node->loc, node->dv, node->offset);
1586           pool_free (attrs_pool, node);
1587           *nextp = next;
1588         }
1589       else
1590         {
1591           node->loc = loc;
1592           nextp = &node->next;
1593         }
1594     }
1595   if (modify)
1596     clobber_variable_part (set, loc, dv_from_decl (decl), offset, set_src);
1597   var_reg_set (set, loc, initialized, set_src);
1598 }
1599
1600 /* Delete the association of register LOC in dataflow set SET with any
1601    variables that aren't onepart.  If CLOBBER is true, also delete any
1602    other live copies of the same variable part, and delete the
1603    association with onepart dvs too.  */
1604
1605 static void
1606 var_reg_delete (dataflow_set *set, rtx loc, bool clobber)
1607 {
1608   attrs *nextp = &set->regs[REGNO (loc)];
1609   attrs node, next;
1610
1611   if (clobber)
1612     {
1613       tree decl = REG_EXPR (loc);
1614       HOST_WIDE_INT offset = REG_OFFSET (loc);
1615
1616       decl = var_debug_decl (decl);
1617
1618       clobber_variable_part (set, NULL, dv_from_decl (decl), offset, NULL);
1619     }
1620
1621   for (node = *nextp; node; node = next)
1622     {
1623       next = node->next;
1624       if (clobber || !dv_onepart_p (node->dv))
1625         {
1626           delete_variable_part (set, node->loc, node->dv, node->offset);
1627           pool_free (attrs_pool, node);
1628           *nextp = next;
1629         }
1630       else
1631         nextp = &node->next;
1632     }
1633 }
1634
1635 /* Delete content of register with number REGNO in dataflow set SET.  */
1636
1637 static void
1638 var_regno_delete (dataflow_set *set, int regno)
1639 {
1640   attrs *reg = &set->regs[regno];
1641   attrs node, next;
1642
1643   for (node = *reg; node; node = next)
1644     {
1645       next = node->next;
1646       delete_variable_part (set, node->loc, node->dv, node->offset);
1647       pool_free (attrs_pool, node);
1648     }
1649   *reg = NULL;
1650 }
1651
1652 /* Set the location of DV, OFFSET as the MEM LOC.  */
1653
1654 static void
1655 var_mem_decl_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1656                   decl_or_value dv, HOST_WIDE_INT offset, rtx set_src,
1657                   enum insert_option iopt)
1658 {
1659   if (dv_is_decl_p (dv))
1660     dv = dv_from_decl (var_debug_decl (dv_as_decl (dv)));
1661
1662   set_variable_part (set, loc, dv, offset, initialized, set_src, iopt);
1663 }
1664
1665 /* Set the location part of variable MEM_EXPR (LOC) in dataflow set
1666    SET to LOC.
1667    Adjust the address first if it is stack pointer based.  */
1668
1669 static void
1670 var_mem_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1671              rtx set_src)
1672 {
1673   tree decl = MEM_EXPR (loc);
1674   HOST_WIDE_INT offset = INT_MEM_OFFSET (loc);
1675
1676   var_mem_decl_set (set, loc, initialized,
1677                     dv_from_decl (decl), offset, set_src, INSERT);
1678 }
1679
1680 /* Delete and set the location part of variable MEM_EXPR (LOC) in
1681    dataflow set SET to LOC.  If MODIFY is true, any other live copies
1682    of the same variable part are also deleted from the dataflow set,
1683    otherwise the variable part is assumed to be copied from another
1684    location holding the same part.
1685    Adjust the address first if it is stack pointer based.  */
1686
1687 static void
1688 var_mem_delete_and_set (dataflow_set *set, rtx loc, bool modify,
1689                         enum var_init_status initialized, rtx set_src)
1690 {
1691   tree decl = MEM_EXPR (loc);
1692   HOST_WIDE_INT offset = INT_MEM_OFFSET (loc);
1693
1694   decl = var_debug_decl (decl);
1695
1696   if (initialized == VAR_INIT_STATUS_UNKNOWN)
1697     initialized = get_init_value (set, loc, dv_from_decl (decl));
1698
1699   if (modify)
1700     clobber_variable_part (set, NULL, dv_from_decl (decl), offset, set_src);
1701   var_mem_set (set, loc, initialized, set_src);
1702 }
1703
1704 /* Delete the location part LOC from dataflow set SET.  If CLOBBER is
1705    true, also delete any other live copies of the same variable part.
1706    Adjust the address first if it is stack pointer based.  */
1707
1708 static void
1709 var_mem_delete (dataflow_set *set, rtx loc, bool clobber)
1710 {
1711   tree decl = MEM_EXPR (loc);
1712   HOST_WIDE_INT offset = INT_MEM_OFFSET (loc);
1713
1714   decl = var_debug_decl (decl);
1715   if (clobber)
1716     clobber_variable_part (set, NULL, dv_from_decl (decl), offset, NULL);
1717   delete_variable_part (set, loc, dv_from_decl (decl), offset);
1718 }
1719
1720 /* Bind a value to a location it was just stored in.  If MODIFIED
1721    holds, assume the location was modified, detaching it from any
1722    values bound to it.  */
1723
1724 static void
1725 val_store (dataflow_set *set, rtx val, rtx loc, rtx insn, bool modified)
1726 {
1727   cselib_val *v = CSELIB_VAL_PTR (val);
1728
1729   gcc_assert (cselib_preserved_value_p (v));
1730
1731   if (dump_file)
1732     {
1733       fprintf (dump_file, "%i: ", INSN_UID (insn));
1734       print_inline_rtx (dump_file, val, 0);
1735       fprintf (dump_file, " stored in ");
1736       print_inline_rtx (dump_file, loc, 0);
1737       if (v->locs)
1738         {
1739           struct elt_loc_list *l;
1740           for (l = v->locs; l; l = l->next)
1741             {
1742               fprintf (dump_file, "\n%i: ", INSN_UID (l->setting_insn));
1743               print_inline_rtx (dump_file, l->loc, 0);
1744             }
1745         }
1746       fprintf (dump_file, "\n");
1747     }
1748
1749   if (REG_P (loc))
1750     {
1751       if (modified)
1752         var_regno_delete (set, REGNO (loc));
1753       var_reg_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1754                         dv_from_value (val), 0, NULL_RTX, INSERT);
1755     }
1756   else if (MEM_P (loc))
1757     var_mem_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1758                       dv_from_value (val), 0, NULL_RTX, INSERT);
1759   else
1760     set_variable_part (set, loc, dv_from_value (val), 0,
1761                        VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1762 }
1763
1764 /* Reset this node, detaching all its equivalences.  Return the slot
1765    in the variable hash table that holds dv, if there is one.  */
1766
1767 static void
1768 val_reset (dataflow_set *set, decl_or_value dv)
1769 {
1770   variable var = shared_hash_find (set->vars, dv) ;
1771   location_chain node;
1772   rtx cval;
1773
1774   if (!var || !var->n_var_parts)
1775     return;
1776
1777   gcc_assert (var->n_var_parts == 1);
1778
1779   cval = NULL;
1780   for (node = var->var_part[0].loc_chain; node; node = node->next)
1781     if (GET_CODE (node->loc) == VALUE
1782         && canon_value_cmp (node->loc, cval))
1783       cval = node->loc;
1784
1785   for (node = var->var_part[0].loc_chain; node; node = node->next)
1786     if (GET_CODE (node->loc) == VALUE && cval != node->loc)
1787       {
1788         /* Redirect the equivalence link to the new canonical
1789            value, or simply remove it if it would point at
1790            itself.  */
1791         if (cval)
1792           set_variable_part (set, cval, dv_from_value (node->loc),
1793                              0, node->init, node->set_src, NO_INSERT);
1794         delete_variable_part (set, dv_as_value (dv),
1795                               dv_from_value (node->loc), 0);
1796       }
1797
1798   if (cval)
1799     {
1800       decl_or_value cdv = dv_from_value (cval);
1801
1802       /* Keep the remaining values connected, accummulating links
1803          in the canonical value.  */
1804       for (node = var->var_part[0].loc_chain; node; node = node->next)
1805         {
1806           if (node->loc == cval)
1807             continue;
1808           else if (GET_CODE (node->loc) == REG)
1809             var_reg_decl_set (set, node->loc, node->init, cdv, 0,
1810                               node->set_src, NO_INSERT);
1811           else if (GET_CODE (node->loc) == MEM)
1812             var_mem_decl_set (set, node->loc, node->init, cdv, 0,
1813                               node->set_src, NO_INSERT);
1814           else
1815             set_variable_part (set, node->loc, cdv, 0,
1816                                node->init, node->set_src, NO_INSERT);
1817         }
1818     }
1819
1820   /* We remove this last, to make sure that the canonical value is not
1821      removed to the point of requiring reinsertion.  */
1822   if (cval)
1823     delete_variable_part (set, dv_as_value (dv), dv_from_value (cval), 0);
1824
1825   clobber_variable_part (set, NULL, dv, 0, NULL);
1826
1827   /* ??? Should we make sure there aren't other available values or
1828      variables whose values involve this one other than by
1829      equivalence?  E.g., at the very least we should reset MEMs, those
1830      shouldn't be too hard to find cselib-looking up the value as an
1831      address, then locating the resulting value in our own hash
1832      table.  */
1833 }
1834
1835 /* Find the values in a given location and map the val to another
1836    value, if it is unique, or add the location as one holding the
1837    value.  */
1838
1839 static void
1840 val_resolve (dataflow_set *set, rtx val, rtx loc, rtx insn)
1841 {
1842   decl_or_value dv = dv_from_value (val);
1843
1844   if (dump_file && (dump_flags & TDF_DETAILS))
1845     {
1846       if (insn)
1847         fprintf (dump_file, "%i: ", INSN_UID (insn));
1848       else
1849         fprintf (dump_file, "head: ");
1850       print_inline_rtx (dump_file, val, 0);
1851       fputs (" is at ", dump_file);
1852       print_inline_rtx (dump_file, loc, 0);
1853       fputc ('\n', dump_file);
1854     }
1855
1856   val_reset (set, dv);
1857
1858   if (REG_P (loc))
1859     {
1860       attrs node, found = NULL;
1861
1862       for (node = set->regs[REGNO (loc)]; node; node = node->next)
1863         if (dv_is_value_p (node->dv)
1864             && GET_MODE (dv_as_value (node->dv)) == GET_MODE (loc))
1865           {
1866             found = node;
1867
1868             /* Map incoming equivalences.  ??? Wouldn't it be nice if
1869              we just started sharing the location lists?  Maybe a
1870              circular list ending at the value itself or some
1871              such.  */
1872             set_variable_part (set, dv_as_value (node->dv),
1873                                dv_from_value (val), node->offset,
1874                                VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1875             set_variable_part (set, val, node->dv, node->offset,
1876                                VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1877           }
1878
1879       /* If we didn't find any equivalence, we need to remember that
1880          this value is held in the named register.  */
1881       if (!found)
1882         var_reg_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1883                           dv_from_value (val), 0, NULL_RTX, INSERT);
1884     }
1885   else if (MEM_P (loc))
1886     /* ??? Merge equivalent MEMs.  */
1887     var_mem_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1888                       dv_from_value (val), 0, NULL_RTX, INSERT);
1889   else
1890     /* ??? Merge equivalent expressions.  */
1891     set_variable_part (set, loc, dv_from_value (val), 0,
1892                        VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1893 }
1894
1895 /* Initialize dataflow set SET to be empty.
1896    VARS_SIZE is the initial size of hash table VARS.  */
1897
1898 static void
1899 dataflow_set_init (dataflow_set *set)
1900 {
1901   init_attrs_list_set (set->regs);
1902   set->vars = shared_hash_copy (empty_shared_hash);
1903   set->stack_adjust = 0;
1904   set->traversed_vars = NULL;
1905 }
1906
1907 /* Delete the contents of dataflow set SET.  */
1908
1909 static void
1910 dataflow_set_clear (dataflow_set *set)
1911 {
1912   int i;
1913
1914   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1915     attrs_list_clear (&set->regs[i]);
1916
1917   shared_hash_destroy (set->vars);
1918   set->vars = shared_hash_copy (empty_shared_hash);
1919 }
1920
1921 /* Copy the contents of dataflow set SRC to DST.  */
1922
1923 static void
1924 dataflow_set_copy (dataflow_set *dst, dataflow_set *src)
1925 {
1926   int i;
1927
1928   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1929     attrs_list_copy (&dst->regs[i], src->regs[i]);
1930
1931   shared_hash_destroy (dst->vars);
1932   dst->vars = shared_hash_copy (src->vars);
1933   dst->stack_adjust = src->stack_adjust;
1934 }
1935
1936 /* Information for merging lists of locations for a given offset of variable.
1937  */
1938 struct variable_union_info
1939 {
1940   /* Node of the location chain.  */
1941   location_chain lc;
1942
1943   /* The sum of positions in the input chains.  */
1944   int pos;
1945
1946   /* The position in the chain of DST dataflow set.  */
1947   int pos_dst;
1948 };
1949
1950 /* Buffer for location list sorting and its allocated size.  */
1951 static struct variable_union_info *vui_vec;
1952 static int vui_allocated;
1953
1954 /* Compare function for qsort, order the structures by POS element.  */
1955
1956 static int
1957 variable_union_info_cmp_pos (const void *n1, const void *n2)
1958 {
1959   const struct variable_union_info *const i1 =
1960     (const struct variable_union_info *) n1;
1961   const struct variable_union_info *const i2 =
1962     ( const struct variable_union_info *) n2;
1963
1964   if (i1->pos != i2->pos)
1965     return i1->pos - i2->pos;
1966
1967   return (i1->pos_dst - i2->pos_dst);
1968 }
1969
1970 /* Compute union of location parts of variable *SLOT and the same variable
1971    from hash table DATA.  Compute "sorted" union of the location chains
1972    for common offsets, i.e. the locations of a variable part are sorted by
1973    a priority where the priority is the sum of the positions in the 2 chains
1974    (if a location is only in one list the position in the second list is
1975    defined to be larger than the length of the chains).
1976    When we are updating the location parts the newest location is in the
1977    beginning of the chain, so when we do the described "sorted" union
1978    we keep the newest locations in the beginning.  */
1979
1980 static int
1981 variable_union (variable src, dataflow_set *set)
1982 {
1983   variable dst;
1984   void **dstp;
1985   int i, j, k;
1986
1987   dstp = shared_hash_find_slot (set->vars, src->dv);
1988   if (!dstp || !*dstp)
1989     {
1990       src->refcount++;
1991
1992       dst_can_be_shared = false;
1993       if (!dstp)
1994         dstp = shared_hash_find_slot_unshare (&set->vars, src->dv, INSERT);
1995
1996       *dstp = src;
1997
1998       /* Continue traversing the hash table.  */
1999       return 1;
2000     }
2001   else
2002     dst = (variable) *dstp;
2003
2004   gcc_assert (src->n_var_parts);
2005
2006   /* We can combine one-part variables very efficiently, because their
2007      entries are in canonical order.  */
2008   if (dv_onepart_p (src->dv))
2009     {
2010       location_chain *nodep, dnode, snode;
2011
2012       gcc_assert (src->n_var_parts == 1
2013                   && dst->n_var_parts == 1);
2014
2015       snode = src->var_part[0].loc_chain;
2016       gcc_assert (snode);
2017
2018     restart_onepart_unshared:
2019       nodep = &dst->var_part[0].loc_chain;
2020       dnode = *nodep;
2021       gcc_assert (dnode);
2022
2023       while (snode)
2024         {
2025           int r = dnode ? loc_cmp (dnode->loc, snode->loc) : 1;
2026
2027           if (r > 0)
2028             {
2029               location_chain nnode;
2030
2031               if (shared_var_p (dst, set->vars))
2032                 {
2033                   dstp = unshare_variable (set, dstp, dst,
2034                                            VAR_INIT_STATUS_INITIALIZED);
2035                   dst = (variable)*dstp;
2036                   goto restart_onepart_unshared;
2037                 }
2038
2039               *nodep = nnode = (location_chain) pool_alloc (loc_chain_pool);
2040               nnode->loc = snode->loc;
2041               nnode->init = snode->init;
2042               if (!snode->set_src || MEM_P (snode->set_src))
2043                 nnode->set_src = NULL;
2044               else
2045                 nnode->set_src = snode->set_src;
2046               nnode->next = dnode;
2047               dnode = nnode;
2048             }
2049 #ifdef ENABLE_CHECKING
2050           else if (r == 0)
2051             gcc_assert (rtx_equal_p (dnode->loc, snode->loc));
2052 #endif
2053
2054           if (r >= 0)
2055             snode = snode->next;
2056
2057           nodep = &dnode->next;
2058           dnode = *nodep;
2059         }
2060
2061       return 1;
2062     }
2063
2064   /* Count the number of location parts, result is K.  */
2065   for (i = 0, j = 0, k = 0;
2066        i < src->n_var_parts && j < dst->n_var_parts; k++)
2067     {
2068       if (src->var_part[i].offset == dst->var_part[j].offset)
2069         {
2070           i++;
2071           j++;
2072         }
2073       else if (src->var_part[i].offset < dst->var_part[j].offset)
2074         i++;
2075       else
2076         j++;
2077     }
2078   k += src->n_var_parts - i;
2079   k += dst->n_var_parts - j;
2080
2081   /* We track only variables whose size is <= MAX_VAR_PARTS bytes
2082      thus there are at most MAX_VAR_PARTS different offsets.  */
2083   gcc_assert (dv_onepart_p (dst->dv) ? k == 1 : k <= MAX_VAR_PARTS);
2084
2085   if (dst->n_var_parts != k && shared_var_p (dst, set->vars))
2086     {
2087       dstp = unshare_variable (set, dstp, dst, VAR_INIT_STATUS_UNKNOWN);
2088       dst = (variable)*dstp;
2089     }
2090
2091   i = src->n_var_parts - 1;
2092   j = dst->n_var_parts - 1;
2093   dst->n_var_parts = k;
2094
2095   for (k--; k >= 0; k--)
2096     {
2097       location_chain node, node2;
2098
2099       if (i >= 0 && j >= 0
2100           && src->var_part[i].offset == dst->var_part[j].offset)
2101         {
2102           /* Compute the "sorted" union of the chains, i.e. the locations which
2103              are in both chains go first, they are sorted by the sum of
2104              positions in the chains.  */
2105           int dst_l, src_l;
2106           int ii, jj, n;
2107           struct variable_union_info *vui;
2108
2109           /* If DST is shared compare the location chains.
2110              If they are different we will modify the chain in DST with
2111              high probability so make a copy of DST.  */
2112           if (shared_var_p (dst, set->vars))
2113             {
2114               for (node = src->var_part[i].loc_chain,
2115                    node2 = dst->var_part[j].loc_chain; node && node2;
2116                    node = node->next, node2 = node2->next)
2117                 {
2118                   if (!((REG_P (node2->loc)
2119                          && REG_P (node->loc)
2120                          && REGNO (node2->loc) == REGNO (node->loc))
2121                         || rtx_equal_p (node2->loc, node->loc)))
2122                     {
2123                       if (node2->init < node->init)
2124                         node2->init = node->init;
2125                       break;
2126                     }
2127                 }
2128               if (node || node2)
2129                 {
2130                   dstp = unshare_variable (set, dstp, dst,
2131                                            VAR_INIT_STATUS_UNKNOWN);
2132                   dst = (variable)*dstp;
2133                 }
2134             }
2135
2136           src_l = 0;
2137           for (node = src->var_part[i].loc_chain; node; node = node->next)
2138             src_l++;
2139           dst_l = 0;
2140           for (node = dst->var_part[j].loc_chain; node; node = node->next)
2141             dst_l++;
2142
2143           if (dst_l == 1)
2144             {
2145               /* The most common case, much simpler, no qsort is needed.  */
2146               location_chain dstnode = dst->var_part[j].loc_chain;
2147               dst->var_part[k].loc_chain = dstnode;
2148               dst->var_part[k].offset = dst->var_part[j].offset;
2149               node2 = dstnode;
2150               for (node = src->var_part[i].loc_chain; node; node = node->next)
2151                 if (!((REG_P (dstnode->loc)
2152                        && REG_P (node->loc)
2153                        && REGNO (dstnode->loc) == REGNO (node->loc))
2154                       || rtx_equal_p (dstnode->loc, node->loc)))
2155                   {
2156                     location_chain new_node;
2157
2158                     /* Copy the location from SRC.  */
2159                     new_node = (location_chain) pool_alloc (loc_chain_pool);
2160                     new_node->loc = node->loc;
2161                     new_node->init = node->init;
2162                     if (!node->set_src || MEM_P (node->set_src))
2163                       new_node->set_src = NULL;
2164                     else
2165                       new_node->set_src = node->set_src;
2166                     node2->next = new_node;
2167                     node2 = new_node;
2168                   }
2169               node2->next = NULL;
2170             }
2171           else
2172             {
2173               if (src_l + dst_l > vui_allocated)
2174                 {
2175                   vui_allocated = MAX (vui_allocated * 2, src_l + dst_l);
2176                   vui_vec = XRESIZEVEC (struct variable_union_info, vui_vec,
2177                                         vui_allocated);
2178                 }
2179               vui = vui_vec;
2180
2181               /* Fill in the locations from DST.  */
2182               for (node = dst->var_part[j].loc_chain, jj = 0; node;
2183                    node = node->next, jj++)
2184                 {
2185                   vui[jj].lc = node;
2186                   vui[jj].pos_dst = jj;
2187
2188                   /* Pos plus value larger than a sum of 2 valid positions.  */
2189                   vui[jj].pos = jj + src_l + dst_l;
2190                 }
2191
2192               /* Fill in the locations from SRC.  */
2193               n = dst_l;
2194               for (node = src->var_part[i].loc_chain, ii = 0; node;
2195                    node = node->next, ii++)
2196                 {
2197                   /* Find location from NODE.  */
2198                   for (jj = 0; jj < dst_l; jj++)
2199                     {
2200                       if ((REG_P (vui[jj].lc->loc)
2201                            && REG_P (node->loc)
2202                            && REGNO (vui[jj].lc->loc) == REGNO (node->loc))
2203                           || rtx_equal_p (vui[jj].lc->loc, node->loc))
2204                         {
2205                           vui[jj].pos = jj + ii;
2206                           break;
2207                         }
2208                     }
2209                   if (jj >= dst_l)      /* The location has not been found.  */
2210                     {
2211                       location_chain new_node;
2212
2213                       /* Copy the location from SRC.  */
2214                       new_node = (location_chain) pool_alloc (loc_chain_pool);
2215                       new_node->loc = node->loc;
2216                       new_node->init = node->init;
2217                       if (!node->set_src || MEM_P (node->set_src))
2218                         new_node->set_src = NULL;
2219                       else
2220                         new_node->set_src = node->set_src;
2221                       vui[n].lc = new_node;
2222                       vui[n].pos_dst = src_l + dst_l;
2223                       vui[n].pos = ii + src_l + dst_l;
2224                       n++;
2225                     }
2226                 }
2227
2228               if (dst_l == 2)
2229                 {
2230                   /* Special case still very common case.  For dst_l == 2
2231                      all entries dst_l ... n-1 are sorted, with for i >= dst_l
2232                      vui[i].pos == i + src_l + dst_l.  */
2233                   if (vui[0].pos > vui[1].pos)
2234                     {
2235                       /* Order should be 1, 0, 2... */
2236                       dst->var_part[k].loc_chain = vui[1].lc;
2237                       vui[1].lc->next = vui[0].lc;
2238                       if (n >= 3)
2239                         {
2240                           vui[0].lc->next = vui[2].lc;
2241                           vui[n - 1].lc->next = NULL;
2242                         }
2243                       else
2244                         vui[0].lc->next = NULL;
2245                       ii = 3;
2246                     }
2247                   else
2248                     {
2249                       dst->var_part[k].loc_chain = vui[0].lc;
2250                       if (n >= 3 && vui[2].pos < vui[1].pos)
2251                         {
2252                           /* Order should be 0, 2, 1, 3... */
2253                           vui[0].lc->next = vui[2].lc;
2254                           vui[2].lc->next = vui[1].lc;
2255                           if (n >= 4)
2256                             {
2257                               vui[1].lc->next = vui[3].lc;
2258                               vui[n - 1].lc->next = NULL;
2259                             }
2260                           else
2261                             vui[1].lc->next = NULL;
2262                           ii = 4;
2263                         }
2264                       else
2265                         {
2266                           /* Order should be 0, 1, 2... */
2267                           ii = 1;
2268                           vui[n - 1].lc->next = NULL;
2269                         }
2270                     }
2271                   for (; ii < n; ii++)
2272                     vui[ii - 1].lc->next = vui[ii].lc;
2273                 }
2274               else
2275                 {
2276                   qsort (vui, n, sizeof (struct variable_union_info),
2277                          variable_union_info_cmp_pos);
2278
2279                   /* Reconnect the nodes in sorted order.  */
2280                   for (ii = 1; ii < n; ii++)
2281                     vui[ii - 1].lc->next = vui[ii].lc;
2282                   vui[n - 1].lc->next = NULL;
2283                   dst->var_part[k].loc_chain = vui[0].lc;
2284                 }
2285
2286               dst->var_part[k].offset = dst->var_part[j].offset;
2287             }
2288           i--;
2289           j--;
2290         }
2291       else if ((i >= 0 && j >= 0
2292                 && src->var_part[i].offset < dst->var_part[j].offset)
2293                || i < 0)
2294         {
2295           dst->var_part[k] = dst->var_part[j];
2296           j--;
2297         }
2298       else if ((i >= 0 && j >= 0
2299                 && src->var_part[i].offset > dst->var_part[j].offset)
2300                || j < 0)
2301         {
2302           location_chain *nextp;
2303
2304           /* Copy the chain from SRC.  */
2305           nextp = &dst->var_part[k].loc_chain;
2306           for (node = src->var_part[i].loc_chain; node; node = node->next)
2307             {
2308               location_chain new_lc;
2309
2310               new_lc = (location_chain) pool_alloc (loc_chain_pool);
2311               new_lc->next = NULL;
2312               new_lc->init = node->init;
2313               if (!node->set_src || MEM_P (node->set_src))
2314                 new_lc->set_src = NULL;
2315               else
2316                 new_lc->set_src = node->set_src;
2317               new_lc->loc = node->loc;
2318
2319               *nextp = new_lc;
2320               nextp = &new_lc->next;
2321             }
2322
2323           dst->var_part[k].offset = src->var_part[i].offset;
2324           i--;
2325         }
2326       dst->var_part[k].cur_loc = NULL;
2327     }
2328
2329   if (flag_var_tracking_uninit)
2330     for (i = 0; i < src->n_var_parts && i < dst->n_var_parts; i++)
2331       {
2332         location_chain node, node2;
2333         for (node = src->var_part[i].loc_chain; node; node = node->next)
2334           for (node2 = dst->var_part[i].loc_chain; node2; node2 = node2->next)
2335             if (rtx_equal_p (node->loc, node2->loc))
2336               {
2337                 if (node->init > node2->init)
2338                   node2->init = node->init;
2339               }
2340       }
2341
2342   /* Continue traversing the hash table.  */
2343   return 1;
2344 }
2345
2346 /* Compute union of dataflow sets SRC and DST and store it to DST.  */
2347
2348 static void
2349 dataflow_set_union (dataflow_set *dst, dataflow_set *src)
2350 {
2351   int i;
2352
2353   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
2354     attrs_list_union (&dst->regs[i], src->regs[i]);
2355
2356   if (dst->vars == empty_shared_hash)
2357     {
2358       shared_hash_destroy (dst->vars);
2359       dst->vars = shared_hash_copy (src->vars);
2360     }
2361   else
2362     {
2363       htab_iterator hi;
2364       variable var;
2365
2366       FOR_EACH_HTAB_ELEMENT (shared_hash_htab (src->vars), var, variable, hi)
2367         variable_union (var, dst);
2368     }
2369 }
2370
2371 /* Whether the value is currently being expanded.  */
2372 #define VALUE_RECURSED_INTO(x) \
2373   (RTL_FLAG_CHECK2 ("VALUE_RECURSED_INTO", (x), VALUE, DEBUG_EXPR)->used)
2374 /* Whether the value is in changed_variables hash table.  */
2375 #define VALUE_CHANGED(x) \
2376   (RTL_FLAG_CHECK1 ("VALUE_CHANGED", (x), VALUE)->frame_related)
2377 /* Whether the decl is in changed_variables hash table.  */
2378 #define DECL_CHANGED(x) TREE_VISITED (x)
2379
2380 /* Record that DV has been added into resp. removed from changed_variables
2381    hashtable.  */
2382
2383 static inline void
2384 set_dv_changed (decl_or_value dv, bool newv)
2385 {
2386   if (dv_is_value_p (dv))
2387     VALUE_CHANGED (dv_as_value (dv)) = newv;
2388   else
2389     DECL_CHANGED (dv_as_decl (dv)) = newv;
2390 }
2391
2392 /* Return true if DV is present in changed_variables hash table.  */
2393
2394 static inline bool
2395 dv_changed_p (decl_or_value dv)
2396 {
2397   return (dv_is_value_p (dv)
2398           ? VALUE_CHANGED (dv_as_value (dv))
2399           : DECL_CHANGED (dv_as_decl (dv)));
2400 }
2401
2402 /* Return a location list node whose loc is rtx_equal to LOC, in the
2403    location list of a one-part variable or value VAR, or in that of
2404    any values recursively mentioned in the location lists.  */
2405
2406 static location_chain
2407 find_loc_in_1pdv (rtx loc, variable var, htab_t vars)
2408 {
2409   location_chain node;
2410   enum rtx_code loc_code;
2411
2412   if (!var)
2413     return NULL;
2414
2415   gcc_assert (dv_onepart_p (var->dv));
2416
2417   if (!var->n_var_parts)
2418     return NULL;
2419
2420   gcc_assert (var->var_part[0].offset == 0);
2421
2422   loc_code = GET_CODE (loc);
2423   for (node = var->var_part[0].loc_chain; node; node = node->next)
2424     {
2425       if (GET_CODE (node->loc) != loc_code)
2426         {
2427           if (GET_CODE (node->loc) != VALUE)
2428             continue;
2429         }
2430       else if (loc == node->loc)
2431         return node;
2432       else if (loc_code != VALUE)
2433         {
2434           if (rtx_equal_p (loc, node->loc))
2435             return node;
2436           continue;
2437         }
2438       if (!VALUE_RECURSED_INTO (node->loc))
2439         {
2440           decl_or_value dv = dv_from_value (node->loc);
2441           variable var = (variable)
2442                          htab_find_with_hash (vars, dv, dv_htab_hash (dv));
2443
2444           if (var)
2445             {
2446               location_chain where;
2447               VALUE_RECURSED_INTO (node->loc) = true;
2448               if ((where = find_loc_in_1pdv (loc, var, vars)))
2449                 {
2450                   VALUE_RECURSED_INTO (node->loc) = false;
2451                   return where;
2452                 }
2453               VALUE_RECURSED_INTO (node->loc) = false;
2454             }
2455         }
2456     }
2457
2458   return NULL;
2459 }
2460
2461 /* Hash table iteration argument passed to variable_merge.  */
2462 struct dfset_merge
2463 {
2464   /* The set in which the merge is to be inserted.  */
2465   dataflow_set *dst;
2466   /* The set that we're iterating in.  */
2467   dataflow_set *cur;
2468   /* The set that may contain the other dv we are to merge with.  */
2469   dataflow_set *src;
2470   /* Number of onepart dvs in src.  */
2471   int src_onepart_cnt;
2472 };
2473
2474 /* Insert LOC in *DNODE, if it's not there yet.  The list must be in
2475    loc_cmp order, and it is maintained as such.  */
2476
2477 static void
2478 insert_into_intersection (location_chain *nodep, rtx loc,
2479                           enum var_init_status status)
2480 {
2481   location_chain node;
2482   int r;
2483
2484   for (node = *nodep; node; nodep = &node->next, node = *nodep)
2485     if ((r = loc_cmp (node->loc, loc)) == 0)
2486       {
2487         node->init = MIN (node->init, status);
2488         return;
2489       }
2490     else if (r > 0)
2491       break;
2492
2493   node = (location_chain) pool_alloc (loc_chain_pool);
2494
2495   node->loc = loc;
2496   node->set_src = NULL;
2497   node->init = status;
2498   node->next = *nodep;
2499   *nodep = node;
2500 }
2501
2502 /* Insert in DEST the intersection the locations present in both
2503    S1NODE and S2VAR, directly or indirectly.  S1NODE is from a
2504    variable in DSM->cur, whereas S2VAR is from DSM->src.  dvar is in
2505    DSM->dst.  */
2506
2507 static void
2508 intersect_loc_chains (rtx val, location_chain *dest, struct dfset_merge *dsm,
2509                       location_chain s1node, variable s2var)
2510 {
2511   dataflow_set *s1set = dsm->cur;
2512   dataflow_set *s2set = dsm->src;
2513   location_chain found;
2514
2515   for (; s1node; s1node = s1node->next)
2516     {
2517       if (s1node->loc == val)
2518         continue;
2519
2520       if ((found = find_loc_in_1pdv (s1node->loc, s2var,
2521                                      shared_hash_htab (s2set->vars))))
2522         {
2523           insert_into_intersection (dest, s1node->loc,
2524                                     MIN (s1node->init, found->init));
2525           continue;
2526         }
2527
2528       if (GET_CODE (s1node->loc) == VALUE
2529           && !VALUE_RECURSED_INTO (s1node->loc))
2530         {
2531           decl_or_value dv = dv_from_value (s1node->loc);
2532           variable svar = shared_hash_find (s1set->vars, dv);
2533           if (svar)
2534             {
2535               if (svar->n_var_parts == 1)
2536                 {
2537                   VALUE_RECURSED_INTO (s1node->loc) = true;
2538                   intersect_loc_chains (val, dest, dsm,
2539                                         svar->var_part[0].loc_chain,
2540                                         s2var);
2541                   VALUE_RECURSED_INTO (s1node->loc) = false;
2542                 }
2543             }
2544         }
2545
2546       /* ??? if the location is equivalent to any location in src,
2547          searched recursively
2548
2549            add to dst the values needed to represent the equivalence
2550
2551      telling whether locations S is equivalent to another dv's
2552      location list:
2553
2554        for each location D in the list
2555
2556          if S and D satisfy rtx_equal_p, then it is present
2557
2558          else if D is a value, recurse without cycles
2559
2560          else if S and D have the same CODE and MODE
2561
2562            for each operand oS and the corresponding oD
2563
2564              if oS and oD are not equivalent, then S an D are not equivalent
2565
2566              else if they are RTX vectors
2567
2568                if any vector oS element is not equivalent to its respective oD,
2569                then S and D are not equivalent
2570
2571    */
2572
2573
2574     }
2575 }
2576
2577 /* Return -1 if X should be before Y in a location list for a 1-part
2578    variable, 1 if Y should be before X, and 0 if they're equivalent
2579    and should not appear in the list.  */
2580
2581 static int
2582 loc_cmp (rtx x, rtx y)
2583 {
2584   int i, j, r;
2585   RTX_CODE code = GET_CODE (x);
2586   const char *fmt;
2587
2588   if (x == y)
2589     return 0;
2590
2591   if (REG_P (x))
2592     {
2593       if (!REG_P (y))
2594         return -1;
2595       gcc_assert (GET_MODE (x) == GET_MODE (y));
2596       if (REGNO (x) == REGNO (y))
2597         return 0;
2598       else if (REGNO (x) < REGNO (y))
2599         return -1;
2600       else
2601         return 1;
2602     }
2603
2604   if (REG_P (y))
2605     return 1;
2606
2607   if (MEM_P (x))
2608     {
2609       if (!MEM_P (y))
2610         return -1;
2611       gcc_assert (GET_MODE (x) == GET_MODE (y));
2612       return loc_cmp (XEXP (x, 0), XEXP (y, 0));
2613     }
2614
2615   if (MEM_P (y))
2616     return 1;
2617
2618   if (GET_CODE (x) == VALUE)
2619     {
2620       if (GET_CODE (y) != VALUE)
2621         return -1;
2622       /* Don't assert the modes are the same, that is true only
2623          when not recursing.  (subreg:QI (value:SI 1:1) 0)
2624          and (subreg:QI (value:DI 2:2) 0) can be compared,
2625          even when the modes are different.  */
2626       if (canon_value_cmp (x, y))
2627         return -1;
2628       else
2629         return 1;
2630     }
2631
2632   if (GET_CODE (y) == VALUE)
2633     return 1;
2634
2635   if (GET_CODE (x) == GET_CODE (y))
2636     /* Compare operands below.  */;
2637   else if (GET_CODE (x) < GET_CODE (y))
2638     return -1;
2639   else
2640     return 1;
2641
2642   gcc_assert (GET_MODE (x) == GET_MODE (y));
2643
2644   if (GET_CODE (x) == DEBUG_EXPR)
2645     {
2646       if (DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (x))
2647           < DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (y)))
2648         return -1;
2649 #ifdef ENABLE_CHECKING
2650       gcc_assert (DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (x))
2651                   > DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (y)));
2652 #endif
2653       return 1;
2654     }
2655
2656   fmt = GET_RTX_FORMAT (code);
2657   for (i = 0; i < GET_RTX_LENGTH (code); i++)
2658     switch (fmt[i])
2659       {
2660       case 'w':
2661         if (XWINT (x, i) == XWINT (y, i))
2662           break;
2663         else if (XWINT (x, i) < XWINT (y, i))
2664           return -1;
2665         else
2666           return 1;
2667
2668       case 'n':
2669       case 'i':
2670         if (XINT (x, i) == XINT (y, i))
2671           break;
2672         else if (XINT (x, i) < XINT (y, i))
2673           return -1;
2674         else
2675           return 1;
2676
2677       case 'V':
2678       case 'E':
2679         /* Compare the vector length first.  */
2680         if (XVECLEN (x, i) == XVECLEN (y, i))
2681           /* Compare the vectors elements.  */;
2682         else if (XVECLEN (x, i) < XVECLEN (y, i))
2683           return -1;
2684         else
2685           return 1;
2686
2687         for (j = 0; j < XVECLEN (x, i); j++)
2688           if ((r = loc_cmp (XVECEXP (x, i, j),
2689                             XVECEXP (y, i, j))))
2690             return r;
2691         break;
2692
2693       case 'e':
2694         if ((r = loc_cmp (XEXP (x, i), XEXP (y, i))))
2695           return r;
2696         break;
2697
2698       case 'S':
2699       case 's':
2700         if (XSTR (x, i) == XSTR (y, i))
2701           break;
2702         if (!XSTR (x, i))
2703           return -1;
2704         if (!XSTR (y, i))
2705           return 1;
2706         if ((r = strcmp (XSTR (x, i), XSTR (y, i))) == 0)
2707           break;
2708         else if (r < 0)
2709           return -1;
2710         else
2711           return 1;
2712
2713       case 'u':
2714         /* These are just backpointers, so they don't matter.  */
2715         break;
2716
2717       case '0':
2718       case 't':
2719         break;
2720
2721         /* It is believed that rtx's at this level will never
2722            contain anything but integers and other rtx's,
2723            except for within LABEL_REFs and SYMBOL_REFs.  */
2724       default:
2725         gcc_unreachable ();
2726       }
2727
2728   return 0;
2729 }
2730
2731 /* If decl or value DVP refers to VALUE from *LOC, add backlinks
2732    from VALUE to DVP.  */
2733
2734 static int
2735 add_value_chain (rtx *loc, void *dvp)
2736 {
2737   decl_or_value dv, ldv;
2738   value_chain vc, nvc;
2739   void **slot;
2740
2741   if (GET_CODE (*loc) == VALUE)
2742     ldv = dv_from_value (*loc);
2743   else if (GET_CODE (*loc) == DEBUG_EXPR)
2744     ldv = dv_from_decl (DEBUG_EXPR_TREE_DECL (*loc));
2745   else
2746     return 0;
2747
2748   if (dv_as_opaque (ldv) == dvp)
2749     return 0;
2750
2751   dv = (decl_or_value) dvp;
2752   slot = htab_find_slot_with_hash (value_chains, ldv, dv_htab_hash (ldv),
2753                                    INSERT);
2754   if (!*slot)
2755     {
2756       vc = (value_chain) pool_alloc (value_chain_pool);
2757       vc->dv = ldv;
2758       vc->next = NULL;
2759       vc->refcount = 0;
2760       *slot = (void *) vc;
2761     }
2762   else
2763     {
2764       for (vc = ((value_chain) *slot)->next; vc; vc = vc->next)
2765         if (dv_as_opaque (vc->dv) == dv_as_opaque (dv))
2766           break;
2767       if (vc)
2768         {
2769           vc->refcount++;
2770           return 0;
2771         }
2772     }
2773   vc = (value_chain) *slot;
2774   nvc = (value_chain) pool_alloc (value_chain_pool);
2775   nvc->dv = dv;
2776   nvc->next = vc->next;
2777   nvc->refcount = 1;
2778   vc->next = nvc;
2779   return 0;
2780 }
2781
2782 /* If decl or value DVP refers to VALUEs from within LOC, add backlinks
2783    from those VALUEs to DVP.  */
2784
2785 static void
2786 add_value_chains (decl_or_value dv, rtx loc)
2787 {
2788   if (GET_CODE (loc) == VALUE || GET_CODE (loc) == DEBUG_EXPR)
2789     {
2790       add_value_chain (&loc, dv_as_opaque (dv));
2791       return;
2792     }
2793   if (REG_P (loc))
2794     return;
2795   if (MEM_P (loc))
2796     loc = XEXP (loc, 0);
2797   for_each_rtx (&loc, add_value_chain, dv_as_opaque (dv));
2798 }
2799
2800 /* If CSELIB_VAL_PTR of value DV refer to VALUEs, add backlinks from those
2801    VALUEs to DV.  Add the same time get rid of ASM_OPERANDS from locs list,
2802    that is something we never can express in .debug_info and can prevent
2803    reverse ops from being used.  */
2804
2805 static void
2806 add_cselib_value_chains (decl_or_value dv)
2807 {
2808   struct elt_loc_list **l;
2809
2810   for (l = &CSELIB_VAL_PTR (dv_as_value (dv))->locs; *l;)
2811     if (GET_CODE ((*l)->loc) == ASM_OPERANDS)
2812       *l = (*l)->next;
2813     else
2814       {
2815         for_each_rtx (&(*l)->loc, add_value_chain, dv_as_opaque (dv));
2816         l = &(*l)->next;
2817       }
2818 }
2819
2820 /* If decl or value DVP refers to VALUE from *LOC, remove backlinks
2821    from VALUE to DVP.  */
2822
2823 static int
2824 remove_value_chain (rtx *loc, void *dvp)
2825 {
2826   decl_or_value dv, ldv;
2827   value_chain vc;
2828   void **slot;
2829
2830   if (GET_CODE (*loc) == VALUE)
2831     ldv = dv_from_value (*loc);
2832   else if (GET_CODE (*loc) == DEBUG_EXPR)
2833     ldv = dv_from_decl (DEBUG_EXPR_TREE_DECL (*loc));
2834   else
2835     return 0;
2836
2837   if (dv_as_opaque (ldv) == dvp)
2838     return 0;
2839
2840   dv = (decl_or_value) dvp;
2841   slot = htab_find_slot_with_hash (value_chains, ldv, dv_htab_hash (ldv),
2842                                    NO_INSERT);
2843   for (vc = (value_chain) *slot; vc->next; vc = vc->next)
2844     if (dv_as_opaque (vc->next->dv) == dv_as_opaque (dv))
2845       {
2846         value_chain dvc = vc->next;
2847         gcc_assert (dvc->refcount > 0);
2848         if (--dvc->refcount == 0)
2849           {
2850             vc->next = dvc->next;
2851             pool_free (value_chain_pool, dvc);
2852             if (vc->next == NULL && vc == (value_chain) *slot)
2853               {
2854                 pool_free (value_chain_pool, vc);
2855                 htab_clear_slot (value_chains, slot);
2856               }
2857           }
2858         return 0;
2859       }
2860   gcc_unreachable ();
2861 }
2862
2863 /* If decl or value DVP refers to VALUEs from within LOC, remove backlinks
2864    from those VALUEs to DVP.  */
2865
2866 static void
2867 remove_value_chains (decl_or_value dv, rtx loc)
2868 {
2869   if (GET_CODE (loc) == VALUE || GET_CODE (loc) == DEBUG_EXPR)
2870     {
2871       remove_value_chain (&loc, dv_as_opaque (dv));
2872       return;
2873     }
2874   if (REG_P (loc))
2875     return;
2876   if (MEM_P (loc))
2877     loc = XEXP (loc, 0);
2878   for_each_rtx (&loc, remove_value_chain, dv_as_opaque (dv));
2879 }
2880
2881 #if ENABLE_CHECKING
2882 /* If CSELIB_VAL_PTR of value DV refer to VALUEs, remove backlinks from those
2883    VALUEs to DV.  */
2884
2885 static void
2886 remove_cselib_value_chains (decl_or_value dv)
2887 {
2888   struct elt_loc_list *l;
2889
2890   for (l = CSELIB_VAL_PTR (dv_as_value (dv))->locs; l; l = l->next)
2891     for_each_rtx (&l->loc, remove_value_chain, dv_as_opaque (dv));
2892 }
2893
2894 /* Check the order of entries in one-part variables.   */
2895
2896 static int
2897 canonicalize_loc_order_check (void **slot, void *data ATTRIBUTE_UNUSED)
2898 {
2899   variable var = (variable) *slot;
2900   decl_or_value dv = var->dv;
2901   location_chain node, next;
2902
2903 #ifdef ENABLE_RTL_CHECKING
2904   int i;
2905   for (i = 0; i < var->n_var_parts; i++)
2906     gcc_assert (var->var_part[0].cur_loc == NULL);
2907   gcc_assert (!var->cur_loc_changed && !var->in_changed_variables);
2908 #endif
2909
2910   if (!dv_onepart_p (dv))
2911     return 1;
2912
2913   gcc_assert (var->n_var_parts == 1);
2914   node = var->var_part[0].loc_chain;
2915   gcc_assert (node);
2916
2917   while ((next = node->next))
2918     {
2919       gcc_assert (loc_cmp (node->loc, next->loc) < 0);
2920       node = next;
2921     }
2922
2923   return 1;
2924 }
2925 #endif
2926
2927 /* Mark with VALUE_RECURSED_INTO values that have neighbors that are
2928    more likely to be chosen as canonical for an equivalence set.
2929    Ensure less likely values can reach more likely neighbors, making
2930    the connections bidirectional.  */
2931
2932 static int
2933 canonicalize_values_mark (void **slot, void *data)
2934 {
2935   dataflow_set *set = (dataflow_set *)data;
2936   variable var = (variable) *slot;
2937   decl_or_value dv = var->dv;
2938   rtx val;
2939   location_chain node;
2940
2941   if (!dv_is_value_p (dv))
2942     return 1;
2943
2944   gcc_assert (var->n_var_parts == 1);
2945
2946   val = dv_as_value (dv);
2947
2948   for (node = var->var_part[0].loc_chain; node; node = node->next)
2949     if (GET_CODE (node->loc) == VALUE)
2950       {
2951         if (canon_value_cmp (node->loc, val))
2952           VALUE_RECURSED_INTO (val) = true;
2953         else
2954           {
2955             decl_or_value odv = dv_from_value (node->loc);
2956             void **oslot = shared_hash_find_slot_noinsert (set->vars, odv);
2957
2958             oslot = set_slot_part (set, val, oslot, odv, 0,
2959                                    node->init, NULL_RTX);
2960
2961             VALUE_RECURSED_INTO (node->loc) = true;
2962           }
2963       }
2964
2965   return 1;
2966 }
2967
2968 /* Remove redundant entries from equivalence lists in onepart
2969    variables, canonicalizing equivalence sets into star shapes.  */
2970
2971 static int
2972 canonicalize_values_star (void **slot, void *data)
2973 {
2974   dataflow_set *set = (dataflow_set *)data;
2975   variable var = (variable) *slot;
2976   decl_or_value dv = var->dv;
2977   location_chain node;
2978   decl_or_value cdv;
2979   rtx val, cval;
2980   void **cslot;
2981   bool has_value;
2982   bool has_marks;
2983
2984   if (!dv_onepart_p (dv))
2985     return 1;
2986
2987   gcc_assert (var->n_var_parts == 1);
2988
2989   if (dv_is_value_p (dv))
2990     {
2991       cval = dv_as_value (dv);
2992       if (!VALUE_RECURSED_INTO (cval))
2993         return 1;
2994       VALUE_RECURSED_INTO (cval) = false;
2995     }
2996   else
2997     cval = NULL_RTX;
2998
2999  restart:
3000   val = cval;
3001   has_value = false;
3002   has_marks = false;
3003
3004   gcc_assert (var->n_var_parts == 1);
3005
3006   for (node = var->var_part[0].loc_chain; node; node = node->next)
3007     if (GET_CODE (node->loc) == VALUE)
3008       {
3009         has_value = true;
3010         if (VALUE_RECURSED_INTO (node->loc))
3011           has_marks = true;
3012         if (canon_value_cmp (node->loc, cval))
3013           cval = node->loc;
3014       }
3015
3016   if (!has_value)
3017     return 1;
3018
3019   if (cval == val)
3020     {
3021       if (!has_marks || dv_is_decl_p (dv))
3022         return 1;
3023
3024       /* Keep it marked so that we revisit it, either after visiting a
3025          child node, or after visiting a new parent that might be
3026          found out.  */
3027       VALUE_RECURSED_INTO (val) = true;
3028
3029       for (node = var->var_part[0].loc_chain; node; node = node->next)
3030         if (GET_CODE (node->loc) == VALUE
3031             && VALUE_RECURSED_INTO (node->loc))
3032           {
3033             cval = node->loc;
3034           restart_with_cval:
3035             VALUE_RECURSED_INTO (cval) = false;
3036             dv = dv_from_value (cval);
3037             slot = shared_hash_find_slot_noinsert (set->vars, dv);
3038             if (!slot)
3039               {
3040                 gcc_assert (dv_is_decl_p (var->dv));
3041                 /* The canonical value was reset and dropped.
3042                    Remove it.  */
3043                 clobber_variable_part (set, NULL, var->dv, 0, NULL);
3044                 return 1;
3045               }
3046             var = (variable)*slot;
3047             gcc_assert (dv_is_value_p (var->dv));
3048             if (var->n_var_parts == 0)
3049               return 1;
3050             gcc_assert (var->n_var_parts == 1);
3051             goto restart;
3052           }
3053
3054       VALUE_RECURSED_INTO (val) = false;
3055
3056       return 1;
3057     }
3058
3059   /* Push values to the canonical one.  */
3060   cdv = dv_from_value (cval);
3061   cslot = shared_hash_find_slot_noinsert (set->vars, cdv);
3062
3063   for (node = var->var_part[0].loc_chain; node; node = node->next)
3064     if (node->loc != cval)
3065       {
3066         cslot = set_slot_part (set, node->loc, cslot, cdv, 0,
3067                                node->init, NULL_RTX);
3068         if (GET_CODE (node->loc) == VALUE)
3069           {
3070             decl_or_value ndv = dv_from_value (node->loc);
3071
3072             set_variable_part (set, cval, ndv, 0, node->init, NULL_RTX,
3073                                NO_INSERT);
3074
3075             if (canon_value_cmp (node->loc, val))
3076               {
3077                 /* If it could have been a local minimum, it's not any more,
3078                    since it's now neighbor to cval, so it may have to push
3079                    to it.  Conversely, if it wouldn't have prevailed over
3080                    val, then whatever mark it has is fine: if it was to
3081                    push, it will now push to a more canonical node, but if
3082                    it wasn't, then it has already pushed any values it might
3083                    have to.  */
3084                 VALUE_RECURSED_INTO (node->loc) = true;
3085                 /* Make sure we visit node->loc by ensuring we cval is
3086                    visited too.  */
3087                 VALUE_RECURSED_INTO (cval) = true;
3088               }
3089             else if (!VALUE_RECURSED_INTO (node->loc))
3090               /* If we have no need to "recurse" into this node, it's
3091                  already "canonicalized", so drop the link to the old
3092                  parent.  */
3093               clobber_variable_part (set, cval, ndv, 0, NULL);
3094           }
3095         else if (GET_CODE (node->loc) == REG)
3096           {
3097             attrs list = set->regs[REGNO (node->loc)], *listp;
3098
3099             /* Change an existing attribute referring to dv so that it
3100                refers to cdv, removing any duplicate this might
3101                introduce, and checking that no previous duplicates
3102                existed, all in a single pass.  */
3103
3104             while (list)
3105               {
3106                 if (list->offset == 0
3107                     && (dv_as_opaque (list->dv) == dv_as_opaque (dv)
3108                         || dv_as_opaque (list->dv) == dv_as_opaque (cdv)))
3109                   break;
3110
3111                 list = list->next;
3112               }
3113
3114             gcc_assert (list);
3115             if (dv_as_opaque (list->dv) == dv_as_opaque (dv))
3116               {
3117                 list->dv = cdv;
3118                 for (listp = &list->next; (list = *listp); listp = &list->next)
3119                   {
3120                     if (list->offset)
3121                       continue;
3122
3123                     if (dv_as_opaque (list->dv) == dv_as_opaque (cdv))
3124                       {
3125                         *listp = list->next;
3126                         pool_free (attrs_pool, list);
3127                         list = *listp;
3128                         break;
3129                       }
3130
3131                     gcc_assert (dv_as_opaque (list->dv) != dv_as_opaque (dv));
3132                   }
3133               }
3134             else if (dv_as_opaque (list->dv) == dv_as_opaque (cdv))
3135               {
3136                 for (listp = &list->next; (list = *listp); listp = &list->next)
3137                   {
3138                     if (list->offset)
3139                       continue;
3140
3141                     if (dv_as_opaque (list->dv) == dv_as_opaque (dv))
3142                       {
3143                         *listp = list->next;
3144                         pool_free (attrs_pool, list);
3145                         list = *listp;
3146                         break;
3147                       }
3148
3149                     gcc_assert (dv_as_opaque (list->dv) != dv_as_opaque (cdv));
3150                   }
3151               }
3152             else
3153               gcc_unreachable ();
3154
3155 #if ENABLE_CHECKING
3156             while (list)
3157               {
3158                 if (list->offset == 0
3159                     && (dv_as_opaque (list->dv) == dv_as_opaque (dv)
3160                         || dv_as_opaque (list->dv) == dv_as_opaque (cdv)))
3161                   gcc_unreachable ();
3162
3163                 list = list->next;
3164               }
3165 #endif
3166           }
3167       }
3168
3169   if (val)
3170     cslot = set_slot_part (set, val, cslot, cdv, 0,
3171                            VAR_INIT_STATUS_INITIALIZED, NULL_RTX);
3172
3173   slot = clobber_slot_part (set, cval, slot, 0, NULL);
3174
3175   /* Variable may have been unshared.  */
3176   var = (variable)*slot;
3177   gcc_assert (var->n_var_parts && var->var_part[0].loc_chain->loc == cval
3178               && var->var_part[0].loc_chain->next == NULL);
3179
3180   if (VALUE_RECURSED_INTO (cval))
3181     goto restart_with_cval;
3182
3183   return 1;
3184 }
3185
3186 /* Bind one-part variables to the canonical value in an equivalence
3187    set.  Not doing this causes dataflow convergence failure in rare
3188    circumstances, see PR42873.  Unfortunately we can't do this
3189    efficiently as part of canonicalize_values_star, since we may not
3190    have determined or even seen the canonical value of a set when we
3191    get to a variable that references another member of the set.  */
3192
3193 static int
3194 canonicalize_vars_star (void **slot, void *data)
3195 {
3196   dataflow_set *set = (dataflow_set *)data;
3197   variable var = (variable) *slot;
3198   decl_or_value dv = var->dv;
3199   location_chain node;
3200   rtx cval;
3201   decl_or_value cdv;
3202   void **cslot;
3203   variable cvar;
3204   location_chain cnode;
3205
3206   if (!dv_onepart_p (dv) || dv_is_value_p (dv))
3207     return 1;
3208
3209   gcc_assert (var->n_var_parts == 1);
3210
3211   node = var->var_part[0].loc_chain;
3212
3213   if (GET_CODE (node->loc) != VALUE)
3214     return 1;
3215
3216   gcc_assert (!node->next);
3217   cval = node->loc;
3218
3219   /* Push values to the canonical one.  */
3220   cdv = dv_from_value (cval);
3221   cslot = shared_hash_find_slot_noinsert (set->vars, cdv);
3222   if (!cslot)
3223     return 1;
3224   cvar = (variable)*cslot;
3225   gcc_assert (cvar->n_var_parts == 1);
3226
3227   cnode = cvar->var_part[0].loc_chain;
3228
3229   /* CVAL is canonical if its value list contains non-VALUEs or VALUEs
3230      that are not “more canonical” than it.  */
3231   if (GET_CODE (cnode->loc) != VALUE
3232       || !canon_value_cmp (cnode->loc, cval))
3233     return 1;
3234
3235   /* CVAL was found to be non-canonical.  Change the variable to point
3236      to the canonical VALUE.  */
3237   gcc_assert (!cnode->next);
3238   cval = cnode->loc;
3239
3240   slot = set_slot_part (set, cval, slot, dv, 0,
3241                         node->init, node->set_src);
3242   slot = clobber_slot_part (set, cval, slot, 0, node->set_src);
3243
3244   return 1;
3245 }
3246
3247 /* Combine variable or value in *S1SLOT (in DSM->cur) with the
3248    corresponding entry in DSM->src.  Multi-part variables are combined
3249    with variable_union, whereas onepart dvs are combined with
3250    intersection.  */
3251
3252 static int
3253 variable_merge_over_cur (variable s1var, struct dfset_merge *dsm)
3254 {
3255   dataflow_set *dst = dsm->dst;
3256   void **dstslot;
3257   variable s2var, dvar = NULL;
3258   decl_or_value dv = s1var->dv;
3259   bool onepart = dv_onepart_p (dv);
3260   rtx val;
3261   hashval_t dvhash;
3262   location_chain node, *nodep;
3263
3264   /* If the incoming onepart variable has an empty location list, then
3265      the intersection will be just as empty.  For other variables,
3266      it's always union.  */
3267   gcc_assert (s1var->n_var_parts
3268               && s1var->var_part[0].loc_chain);
3269
3270   if (!onepart)
3271     return variable_union (s1var, dst);
3272
3273   gcc_assert (s1var->n_var_parts == 1
3274               && s1var->var_part[0].offset == 0);
3275
3276   dvhash = dv_htab_hash (dv);
3277   if (dv_is_value_p (dv))
3278     val = dv_as_value (dv);
3279   else
3280     val = NULL;
3281
3282   s2var = shared_hash_find_1 (dsm->src->vars, dv, dvhash);
3283   if (!s2var)
3284     {
3285       dst_can_be_shared = false;
3286       return 1;
3287     }
3288
3289   dsm->src_onepart_cnt--;
3290   gcc_assert (s2var->var_part[0].loc_chain
3291               && s2var->n_var_parts == 1
3292               && s2var->var_part[0].offset == 0);
3293
3294   dstslot = shared_hash_find_slot_noinsert_1 (dst->vars, dv, dvhash);
3295   if (dstslot)
3296     {
3297       dvar = (variable)*dstslot;
3298       gcc_assert (dvar->refcount == 1
3299                   && dvar->n_var_parts == 1
3300                   && dvar->var_part[0].offset == 0);
3301       nodep = &dvar->var_part[0].loc_chain;
3302     }
3303   else
3304     {
3305       nodep = &node;
3306       node = NULL;
3307     }
3308
3309   if (!dstslot && !onepart_variable_different_p (s1var, s2var))
3310     {
3311       dstslot = shared_hash_find_slot_unshare_1 (&dst->vars, dv,
3312                                                  dvhash, INSERT);
3313       *dstslot = dvar = s2var;
3314       dvar->refcount++;
3315     }
3316   else
3317     {
3318       dst_can_be_shared = false;
3319
3320       intersect_loc_chains (val, nodep, dsm,
3321                             s1var->var_part[0].loc_chain, s2var);
3322
3323       if (!dstslot)
3324         {
3325           if (node)
3326             {
3327               dvar = (variable) pool_alloc (dv_pool (dv));
3328               dvar->dv = dv;
3329               dvar->refcount = 1;
3330               dvar->n_var_parts = 1;
3331               dvar->cur_loc_changed = false;
3332               dvar->in_changed_variables = false;
3333               dvar->var_part[0].offset = 0;
3334               dvar->var_part[0].loc_chain = node;
3335               dvar->var_part[0].cur_loc = NULL;
3336
3337               dstslot
3338                 = shared_hash_find_slot_unshare_1 (&dst->vars, dv, dvhash,
3339                                                    INSERT);
3340               gcc_assert (!*dstslot);
3341               *dstslot = dvar;
3342             }
3343           else
3344             return 1;
3345         }
3346     }
3347
3348   nodep = &dvar->var_part[0].loc_chain;
3349   while ((node = *nodep))
3350     {
3351       location_chain *nextp = &node->next;
3352
3353       if (GET_CODE (node->loc) == REG)
3354         {
3355           attrs list;
3356
3357           for (list = dst->regs[REGNO (node->loc)]; list; list = list->next)
3358             if (GET_MODE (node->loc) == GET_MODE (list->loc)
3359                 && dv_is_value_p (list->dv))
3360               break;
3361
3362           if (!list)
3363             attrs_list_insert (&dst->regs[REGNO (node->loc)],
3364                                dv, 0, node->loc);
3365           /* If this value became canonical for another value that had
3366              this register, we want to leave it alone.  */
3367           else if (dv_as_value (list->dv) != val)
3368             {
3369               dstslot = set_slot_part (dst, dv_as_value (list->dv),
3370                                        dstslot, dv, 0,
3371                                        node->init, NULL_RTX);
3372               dstslot = delete_slot_part (dst, node->loc, dstslot, 0);
3373
3374               /* Since nextp points into the removed node, we can't
3375                  use it.  The pointer to the next node moved to nodep.
3376                  However, if the variable we're walking is unshared
3377                  during our walk, we'll keep walking the location list
3378                  of the previously-shared variable, in which case the
3379                  node won't have been removed, and we'll want to skip
3380                  it.  That's why we test *nodep here.  */
3381               if (*nodep != node)
3382                 nextp = nodep;
3383             }
3384         }
3385       else
3386         /* Canonicalization puts registers first, so we don't have to
3387            walk it all.  */
3388         break;
3389       nodep = nextp;
3390     }
3391
3392   if (dvar != (variable)*dstslot)
3393     dvar = (variable)*dstslot;
3394   nodep = &dvar->var_part[0].loc_chain;
3395
3396   if (val)
3397     {
3398       /* Mark all referenced nodes for canonicalization, and make sure
3399          we have mutual equivalence links.  */
3400       VALUE_RECURSED_INTO (val) = true;
3401       for (node = *nodep; node; node = node->next)
3402         if (GET_CODE (node->loc) == VALUE)
3403           {
3404             VALUE_RECURSED_INTO (node->loc) = true;
3405             set_variable_part (dst, val, dv_from_value (node->loc), 0,
3406                                node->init, NULL, INSERT);
3407           }
3408
3409       dstslot = shared_hash_find_slot_noinsert_1 (dst->vars, dv, dvhash);
3410       gcc_assert (*dstslot == dvar);
3411       canonicalize_values_star (dstslot, dst);
3412 #ifdef ENABLE_CHECKING
3413       gcc_assert (dstslot
3414                   == shared_hash_find_slot_noinsert_1 (dst->vars, dv, dvhash));
3415 #endif
3416       dvar = (variable)*dstslot;
3417     }
3418   else
3419     {
3420       bool has_value = false, has_other = false;
3421
3422       /* If we have one value and anything else, we're going to
3423          canonicalize this, so make sure all values have an entry in
3424          the table and are marked for canonicalization.  */
3425       for (node = *nodep; node; node = node->next)
3426         {
3427           if (GET_CODE (node->loc) == VALUE)
3428             {
3429               /* If this was marked during register canonicalization,
3430                  we know we have to canonicalize values.  */
3431               if (has_value)
3432                 has_other = true;
3433               has_value = true;
3434               if (has_other)
3435                 break;
3436             }
3437           else
3438             {
3439               has_other = true;
3440               if (has_value)
3441                 break;
3442             }
3443         }
3444
3445       if (has_value && has_other)
3446         {
3447           for (node = *nodep; node; node = node->next)
3448             {
3449               if (GET_CODE (node->loc) == VALUE)
3450                 {
3451                   decl_or_value dv = dv_from_value (node->loc);
3452                   void **slot = NULL;
3453
3454                   if (shared_hash_shared (dst->vars))
3455                     slot = shared_hash_find_slot_noinsert (dst->vars, dv);
3456                   if (!slot)
3457                     slot = shared_hash_find_slot_unshare (&dst->vars, dv,
3458                                                           INSERT);
3459                   if (!*slot)
3460                     {
3461                       variable var = (variable) pool_alloc (dv_pool (dv));
3462                       var->dv = dv;
3463                       var->refcount = 1;
3464                       var->n_var_parts = 1;
3465                       var->cur_loc_changed = false;
3466                       var->in_changed_variables = false;
3467                       var->var_part[0].offset = 0;
3468                       var->var_part[0].loc_chain = NULL;
3469                       var->var_part[0].cur_loc = NULL;
3470                       *slot = var;
3471                     }
3472
3473                   VALUE_RECURSED_INTO (node->loc) = true;
3474                 }
3475             }
3476
3477           dstslot = shared_hash_find_slot_noinsert_1 (dst->vars, dv, dvhash);
3478           gcc_assert (*dstslot == dvar);
3479           canonicalize_values_star (dstslot, dst);
3480 #ifdef ENABLE_CHECKING
3481           gcc_assert (dstslot
3482                       == shared_hash_find_slot_noinsert_1 (dst->vars,
3483                                                            dv, dvhash));
3484 #endif
3485           dvar = (variable)*dstslot;
3486         }
3487     }
3488
3489   if (!onepart_variable_different_p (dvar, s2var))
3490     {
3491       variable_htab_free (dvar);
3492       *dstslot = dvar = s2var;
3493       dvar->refcount++;
3494     }
3495   else if (s2var != s1var && !onepart_variable_different_p (dvar, s1var))
3496     {
3497       variable_htab_free (dvar);
3498       *dstslot = dvar = s1var;
3499       dvar->refcount++;
3500       dst_can_be_shared = false;
3501     }
3502   else
3503     dst_can_be_shared = false;
3504
3505   return 1;
3506 }
3507
3508 /* Copy s2slot (in DSM->src) to DSM->dst if the variable is a
3509    multi-part variable.  Unions of multi-part variables and
3510    intersections of one-part ones will be handled in
3511    variable_merge_over_cur().  */
3512
3513 static int
3514 variable_merge_over_src (variable s2var, struct dfset_merge *dsm)
3515 {
3516   dataflow_set *dst = dsm->dst;
3517   decl_or_value dv = s2var->dv;
3518   bool onepart = dv_onepart_p (dv);
3519
3520   if (!onepart)
3521     {
3522       void **dstp = shared_hash_find_slot (dst->vars, dv);
3523       *dstp = s2var;
3524       s2var->refcount++;
3525       return 1;
3526     }
3527
3528   dsm->src_onepart_cnt++;
3529   return 1;
3530 }
3531
3532 /* Combine dataflow set information from SRC2 into DST, using PDST
3533    to carry over information across passes.  */
3534
3535 static void
3536 dataflow_set_merge (dataflow_set *dst, dataflow_set *src2)
3537 {
3538   dataflow_set cur = *dst;
3539   dataflow_set *src1 = &cur;
3540   struct dfset_merge dsm;
3541   int i;
3542   size_t src1_elems, src2_elems;
3543   htab_iterator hi;
3544   variable var;
3545