OSDN Git Service

c1df06b48c895965a9702ebcf0175a395f2b6473
[pf3gnuchains/gcc-fork.git] / gcc / var-tracking.c
1 /* Variable tracking routines for the GNU compiler.
2    Copyright (C) 2002, 2003, 2004, 2005, 2007, 2008, 2009, 2010
3    Free Software Foundation, Inc.
4
5    This file is part of GCC.
6
7    GCC is free software; you can redistribute it and/or modify it
8    under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3, or (at your option)
10    any later version.
11
12    GCC is distributed in the hope that it will be useful, but WITHOUT
13    ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
14    or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public
15    License for more details.
16
17    You should have received a copy of the GNU General Public License
18    along with GCC; see the file COPYING3.  If not see
19    <http://www.gnu.org/licenses/>.  */
20
21 /* This file contains the variable tracking pass.  It computes where
22    variables are located (which registers or where in memory) at each position
23    in instruction stream and emits notes describing the locations.
24    Debug information (DWARF2 location lists) is finally generated from
25    these notes.
26    With this debug information, it is possible to show variables
27    even when debugging optimized code.
28
29    How does the variable tracking pass work?
30
31    First, it scans RTL code for uses, stores and clobbers (register/memory
32    references in instructions), for call insns and for stack adjustments
33    separately for each basic block and saves them to an array of micro
34    operations.
35    The micro operations of one instruction are ordered so that
36    pre-modifying stack adjustment < use < use with no var < call insn <
37      < set < clobber < post-modifying stack adjustment
38
39    Then, a forward dataflow analysis is performed to find out how locations
40    of variables change through code and to propagate the variable locations
41    along control flow graph.
42    The IN set for basic block BB is computed as a union of OUT sets of BB's
43    predecessors, the OUT set for BB is copied from the IN set for BB and
44    is changed according to micro operations in BB.
45
46    The IN and OUT sets for basic blocks consist of a current stack adjustment
47    (used for adjusting offset of variables addressed using stack pointer),
48    the table of structures describing the locations of parts of a variable
49    and for each physical register a linked list for each physical register.
50    The linked list is a list of variable parts stored in the register,
51    i.e. it is a list of triplets (reg, decl, offset) where decl is
52    REG_EXPR (reg) and offset is REG_OFFSET (reg).  The linked list is used for
53    effective deleting appropriate variable parts when we set or clobber the
54    register.
55
56    There may be more than one variable part in a register.  The linked lists
57    should be pretty short so it is a good data structure here.
58    For example in the following code, register allocator may assign same
59    register to variables A and B, and both of them are stored in the same
60    register in CODE:
61
62      if (cond)
63        set A;
64      else
65        set B;
66      CODE;
67      if (cond)
68        use A;
69      else
70        use B;
71
72    Finally, the NOTE_INSN_VAR_LOCATION notes describing the variable locations
73    are emitted to appropriate positions in RTL code.  Each such a note describes
74    the location of one variable at the point in instruction stream where the
75    note is.  There is no need to emit a note for each variable before each
76    instruction, we only emit these notes where the location of variable changes
77    (this means that we also emit notes for changes between the OUT set of the
78    previous block and the IN set of the current block).
79
80    The notes consist of two parts:
81    1. the declaration (from REG_EXPR or MEM_EXPR)
82    2. the location of a variable - it is either a simple register/memory
83       reference (for simple variables, for example int),
84       or a parallel of register/memory references (for a large variables
85       which consist of several parts, for example long long).
86
87 */
88
89 #include "config.h"
90 #include "system.h"
91 #include "coretypes.h"
92 #include "tm.h"
93 #include "rtl.h"
94 #include "tree.h"
95 #include "hard-reg-set.h"
96 #include "basic-block.h"
97 #include "flags.h"
98 #include "output.h"
99 #include "insn-config.h"
100 #include "reload.h"
101 #include "sbitmap.h"
102 #include "alloc-pool.h"
103 #include "fibheap.h"
104 #include "hashtab.h"
105 #include "regs.h"
106 #include "expr.h"
107 #include "timevar.h"
108 #include "tree-pass.h"
109 #include "tree-flow.h"
110 #include "cselib.h"
111 #include "target.h"
112 #include "toplev.h"
113 #include "params.h"
114 #include "diagnostic.h"
115 #include "pointer-set.h"
116 #include "recog.h"
117
118 /* var-tracking.c assumes that tree code with the same value as VALUE rtx code
119    has no chance to appear in REG_EXPR/MEM_EXPRs and isn't a decl.
120    Currently the value is the same as IDENTIFIER_NODE, which has such
121    a property.  If this compile time assertion ever fails, make sure that
122    the new tree code that equals (int) VALUE has the same property.  */
123 extern char check_value_val[(int) VALUE == (int) IDENTIFIER_NODE ? 1 : -1];
124
125 /* Type of micro operation.  */
126 enum micro_operation_type
127 {
128   MO_USE,       /* Use location (REG or MEM).  */
129   MO_USE_NO_VAR,/* Use location which is not associated with a variable
130                    or the variable is not trackable.  */
131   MO_VAL_USE,   /* Use location which is associated with a value.  */
132   MO_VAL_LOC,   /* Use location which appears in a debug insn.  */
133   MO_VAL_SET,   /* Set location associated with a value.  */
134   MO_SET,       /* Set location.  */
135   MO_COPY,      /* Copy the same portion of a variable from one
136                    location to another.  */
137   MO_CLOBBER,   /* Clobber location.  */
138   MO_CALL,      /* Call insn.  */
139   MO_ADJUST     /* Adjust stack pointer.  */
140
141 };
142
143 static const char * const ATTRIBUTE_UNUSED
144 micro_operation_type_name[] = {
145   "MO_USE",
146   "MO_USE_NO_VAR",
147   "MO_VAL_USE",
148   "MO_VAL_LOC",
149   "MO_VAL_SET",
150   "MO_SET",
151   "MO_COPY",
152   "MO_CLOBBER",
153   "MO_CALL",
154   "MO_ADJUST"
155 };
156
157 /* Where shall the note be emitted?  BEFORE or AFTER the instruction.
158    Notes emitted as AFTER_CALL are to take effect during the call,
159    rather than after the call.  */
160 enum emit_note_where
161 {
162   EMIT_NOTE_BEFORE_INSN,
163   EMIT_NOTE_AFTER_INSN,
164   EMIT_NOTE_AFTER_CALL_INSN
165 };
166
167 /* Structure holding information about micro operation.  */
168 typedef struct micro_operation_def
169 {
170   /* Type of micro operation.  */
171   enum micro_operation_type type;
172
173   /* The instruction which the micro operation is in, for MO_USE,
174      MO_USE_NO_VAR, MO_CALL and MO_ADJUST, or the subsequent
175      instruction or note in the original flow (before any var-tracking
176      notes are inserted, to simplify emission of notes), for MO_SET
177      and MO_CLOBBER.  */
178   rtx insn;
179
180   union {
181     /* Location.  For MO_SET and MO_COPY, this is the SET that
182        performs the assignment, if known, otherwise it is the target
183        of the assignment.  For MO_VAL_USE and MO_VAL_SET, it is a
184        CONCAT of the VALUE and the LOC associated with it.  For
185        MO_VAL_LOC, it is a CONCAT of the VALUE and the VAR_LOCATION
186        associated with it.  */
187     rtx loc;
188
189     /* Stack adjustment.  */
190     HOST_WIDE_INT adjust;
191   } u;
192 } micro_operation;
193
194 DEF_VEC_O(micro_operation);
195 DEF_VEC_ALLOC_O(micro_operation,heap);
196
197 /* A declaration of a variable, or an RTL value being handled like a
198    declaration.  */
199 typedef void *decl_or_value;
200
201 /* Structure for passing some other parameters to function
202    emit_note_insn_var_location.  */
203 typedef struct emit_note_data_def
204 {
205   /* The instruction which the note will be emitted before/after.  */
206   rtx insn;
207
208   /* Where the note will be emitted (before/after insn)?  */
209   enum emit_note_where where;
210
211   /* The variables and values active at this point.  */
212   htab_t vars;
213 } emit_note_data;
214
215 /* Description of location of a part of a variable.  The content of a physical
216    register is described by a chain of these structures.
217    The chains are pretty short (usually 1 or 2 elements) and thus
218    chain is the best data structure.  */
219 typedef struct attrs_def
220 {
221   /* Pointer to next member of the list.  */
222   struct attrs_def *next;
223
224   /* The rtx of register.  */
225   rtx loc;
226
227   /* The declaration corresponding to LOC.  */
228   decl_or_value dv;
229
230   /* Offset from start of DECL.  */
231   HOST_WIDE_INT offset;
232 } *attrs;
233
234 /* Structure holding a refcounted hash table.  If refcount > 1,
235    it must be first unshared before modified.  */
236 typedef struct shared_hash_def
237 {
238   /* Reference count.  */
239   int refcount;
240
241   /* Actual hash table.  */
242   htab_t htab;
243 } *shared_hash;
244
245 /* Structure holding the IN or OUT set for a basic block.  */
246 typedef struct dataflow_set_def
247 {
248   /* Adjustment of stack offset.  */
249   HOST_WIDE_INT stack_adjust;
250
251   /* Attributes for registers (lists of attrs).  */
252   attrs regs[FIRST_PSEUDO_REGISTER];
253
254   /* Variable locations.  */
255   shared_hash vars;
256
257   /* Vars that is being traversed.  */
258   shared_hash traversed_vars;
259 } dataflow_set;
260
261 /* The structure (one for each basic block) containing the information
262    needed for variable tracking.  */
263 typedef struct variable_tracking_info_def
264 {
265   /* The vector of micro operations.  */
266   VEC(micro_operation, heap) *mos;
267
268   /* The IN and OUT set for dataflow analysis.  */
269   dataflow_set in;
270   dataflow_set out;
271
272   /* The permanent-in dataflow set for this block.  This is used to
273      hold values for which we had to compute entry values.  ??? This
274      should probably be dynamically allocated, to avoid using more
275      memory in non-debug builds.  */
276   dataflow_set *permp;
277
278   /* Has the block been visited in DFS?  */
279   bool visited;
280
281   /* Has the block been flooded in VTA?  */
282   bool flooded;
283
284 } *variable_tracking_info;
285
286 /* Structure for chaining the locations.  */
287 typedef struct location_chain_def
288 {
289   /* Next element in the chain.  */
290   struct location_chain_def *next;
291
292   /* The location (REG, MEM or VALUE).  */
293   rtx loc;
294
295   /* The "value" stored in this location.  */
296   rtx set_src;
297
298   /* Initialized? */
299   enum var_init_status init;
300 } *location_chain;
301
302 /* Structure describing one part of variable.  */
303 typedef struct variable_part_def
304 {
305   /* Chain of locations of the part.  */
306   location_chain loc_chain;
307
308   /* Location which was last emitted to location list.  */
309   rtx cur_loc;
310
311   /* The offset in the variable.  */
312   HOST_WIDE_INT offset;
313 } variable_part;
314
315 /* Maximum number of location parts.  */
316 #define MAX_VAR_PARTS 16
317
318 /* Structure describing where the variable is located.  */
319 typedef struct variable_def
320 {
321   /* The declaration of the variable, or an RTL value being handled
322      like a declaration.  */
323   decl_or_value dv;
324
325   /* Reference count.  */
326   int refcount;
327
328   /* Number of variable parts.  */
329   char n_var_parts;
330
331   /* True if this variable changed (any of its) cur_loc fields
332      during the current emit_notes_for_changes resp.
333      emit_notes_for_differences call.  */
334   bool cur_loc_changed;
335
336   /* True if this variable_def struct is currently in the
337      changed_variables hash table.  */
338   bool in_changed_variables;
339
340   /* The variable parts.  */
341   variable_part var_part[1];
342 } *variable;
343 typedef const struct variable_def *const_variable;
344
345 /* Structure for chaining backlinks from referenced VALUEs to
346    DVs that are referencing them.  */
347 typedef struct value_chain_def
348 {
349   /* Next value_chain entry.  */
350   struct value_chain_def *next;
351
352   /* The declaration of the variable, or an RTL value
353      being handled like a declaration, whose var_parts[0].loc_chain
354      references the VALUE owning this value_chain.  */
355   decl_or_value dv;
356
357   /* Reference count.  */
358   int refcount;
359 } *value_chain;
360 typedef const struct value_chain_def *const_value_chain;
361
362 /* Pointer to the BB's information specific to variable tracking pass.  */
363 #define VTI(BB) ((variable_tracking_info) (BB)->aux)
364
365 /* Macro to access MEM_OFFSET as an HOST_WIDE_INT.  Evaluates MEM twice.  */
366 #define INT_MEM_OFFSET(mem) (MEM_OFFSET (mem) ? INTVAL (MEM_OFFSET (mem)) : 0)
367
368 /* Alloc pool for struct attrs_def.  */
369 static alloc_pool attrs_pool;
370
371 /* Alloc pool for struct variable_def with MAX_VAR_PARTS entries.  */
372 static alloc_pool var_pool;
373
374 /* Alloc pool for struct variable_def with a single var_part entry.  */
375 static alloc_pool valvar_pool;
376
377 /* Alloc pool for struct location_chain_def.  */
378 static alloc_pool loc_chain_pool;
379
380 /* Alloc pool for struct shared_hash_def.  */
381 static alloc_pool shared_hash_pool;
382
383 /* Alloc pool for struct value_chain_def.  */
384 static alloc_pool value_chain_pool;
385
386 /* Changed variables, notes will be emitted for them.  */
387 static htab_t changed_variables;
388
389 /* Links from VALUEs to DVs referencing them in their current loc_chains.  */
390 static htab_t value_chains;
391
392 /* Shall notes be emitted?  */
393 static bool emit_notes;
394
395 /* Empty shared hashtable.  */
396 static shared_hash empty_shared_hash;
397
398 /* Scratch register bitmap used by cselib_expand_value_rtx.  */
399 static bitmap scratch_regs = NULL;
400
401 /* Variable used to tell whether cselib_process_insn called our hook.  */
402 static bool cselib_hook_called;
403
404 /* Local function prototypes.  */
405 static void stack_adjust_offset_pre_post (rtx, HOST_WIDE_INT *,
406                                           HOST_WIDE_INT *);
407 static void insn_stack_adjust_offset_pre_post (rtx, HOST_WIDE_INT *,
408                                                HOST_WIDE_INT *);
409 static bool vt_stack_adjustments (void);
410 static rtx compute_cfa_pointer (HOST_WIDE_INT);
411 static hashval_t variable_htab_hash (const void *);
412 static int variable_htab_eq (const void *, const void *);
413 static void variable_htab_free (void *);
414
415 static void init_attrs_list_set (attrs *);
416 static void attrs_list_clear (attrs *);
417 static attrs attrs_list_member (attrs, decl_or_value, HOST_WIDE_INT);
418 static void attrs_list_insert (attrs *, decl_or_value, HOST_WIDE_INT, rtx);
419 static void attrs_list_copy (attrs *, attrs);
420 static void attrs_list_union (attrs *, attrs);
421
422 static void **unshare_variable (dataflow_set *set, void **slot, variable var,
423                                 enum var_init_status);
424 static void vars_copy (htab_t, htab_t);
425 static tree var_debug_decl (tree);
426 static void var_reg_set (dataflow_set *, rtx, enum var_init_status, rtx);
427 static void var_reg_delete_and_set (dataflow_set *, rtx, bool,
428                                     enum var_init_status, rtx);
429 static void var_reg_delete (dataflow_set *, rtx, bool);
430 static void var_regno_delete (dataflow_set *, int);
431 static void var_mem_set (dataflow_set *, rtx, enum var_init_status, rtx);
432 static void var_mem_delete_and_set (dataflow_set *, rtx, bool,
433                                     enum var_init_status, rtx);
434 static void var_mem_delete (dataflow_set *, rtx, bool);
435
436 static void dataflow_set_init (dataflow_set *);
437 static void dataflow_set_clear (dataflow_set *);
438 static void dataflow_set_copy (dataflow_set *, dataflow_set *);
439 static int variable_union_info_cmp_pos (const void *, const void *);
440 static void dataflow_set_union (dataflow_set *, dataflow_set *);
441 static location_chain find_loc_in_1pdv (rtx, variable, htab_t);
442 static bool canon_value_cmp (rtx, rtx);
443 static int loc_cmp (rtx, rtx);
444 static bool variable_part_different_p (variable_part *, variable_part *);
445 static bool onepart_variable_different_p (variable, variable);
446 static bool variable_different_p (variable, variable);
447 static bool dataflow_set_different (dataflow_set *, dataflow_set *);
448 static void dataflow_set_destroy (dataflow_set *);
449
450 static bool contains_symbol_ref (rtx);
451 static bool track_expr_p (tree, bool);
452 static bool same_variable_part_p (rtx, tree, HOST_WIDE_INT);
453 static int add_uses (rtx *, void *);
454 static void add_uses_1 (rtx *, void *);
455 static void add_stores (rtx, const_rtx, void *);
456 static bool compute_bb_dataflow (basic_block);
457 static bool vt_find_locations (void);
458
459 static void dump_attrs_list (attrs);
460 static int dump_var_slot (void **, void *);
461 static void dump_var (variable);
462 static void dump_vars (htab_t);
463 static void dump_dataflow_set (dataflow_set *);
464 static void dump_dataflow_sets (void);
465
466 static void variable_was_changed (variable, dataflow_set *);
467 static void **set_slot_part (dataflow_set *, rtx, void **,
468                              decl_or_value, HOST_WIDE_INT,
469                              enum var_init_status, rtx);
470 static void set_variable_part (dataflow_set *, rtx,
471                                decl_or_value, HOST_WIDE_INT,
472                                enum var_init_status, rtx, enum insert_option);
473 static void **clobber_slot_part (dataflow_set *, rtx,
474                                  void **, HOST_WIDE_INT, rtx);
475 static void clobber_variable_part (dataflow_set *, rtx,
476                                    decl_or_value, HOST_WIDE_INT, rtx);
477 static void **delete_slot_part (dataflow_set *, rtx, void **, HOST_WIDE_INT);
478 static void delete_variable_part (dataflow_set *, rtx,
479                                   decl_or_value, HOST_WIDE_INT);
480 static int emit_note_insn_var_location (void **, void *);
481 static void emit_notes_for_changes (rtx, enum emit_note_where, shared_hash);
482 static int emit_notes_for_differences_1 (void **, void *);
483 static int emit_notes_for_differences_2 (void **, void *);
484 static void emit_notes_for_differences (rtx, dataflow_set *, dataflow_set *);
485 static void emit_notes_in_bb (basic_block, dataflow_set *);
486 static void vt_emit_notes (void);
487
488 static bool vt_get_decl_and_offset (rtx, tree *, HOST_WIDE_INT *);
489 static void vt_add_function_parameters (void);
490 static bool vt_initialize (void);
491 static void vt_finalize (void);
492
493 /* Given a SET, calculate the amount of stack adjustment it contains
494    PRE- and POST-modifying stack pointer.
495    This function is similar to stack_adjust_offset.  */
496
497 static void
498 stack_adjust_offset_pre_post (rtx pattern, HOST_WIDE_INT *pre,
499                               HOST_WIDE_INT *post)
500 {
501   rtx src = SET_SRC (pattern);
502   rtx dest = SET_DEST (pattern);
503   enum rtx_code code;
504
505   if (dest == stack_pointer_rtx)
506     {
507       /* (set (reg sp) (plus (reg sp) (const_int))) */
508       code = GET_CODE (src);
509       if (! (code == PLUS || code == MINUS)
510           || XEXP (src, 0) != stack_pointer_rtx
511           || !CONST_INT_P (XEXP (src, 1)))
512         return;
513
514       if (code == MINUS)
515         *post += INTVAL (XEXP (src, 1));
516       else
517         *post -= INTVAL (XEXP (src, 1));
518     }
519   else if (MEM_P (dest))
520     {
521       /* (set (mem (pre_dec (reg sp))) (foo)) */
522       src = XEXP (dest, 0);
523       code = GET_CODE (src);
524
525       switch (code)
526         {
527         case PRE_MODIFY:
528         case POST_MODIFY:
529           if (XEXP (src, 0) == stack_pointer_rtx)
530             {
531               rtx val = XEXP (XEXP (src, 1), 1);
532               /* We handle only adjustments by constant amount.  */
533               gcc_assert (GET_CODE (XEXP (src, 1)) == PLUS &&
534                           CONST_INT_P (val));
535
536               if (code == PRE_MODIFY)
537                 *pre -= INTVAL (val);
538               else
539                 *post -= INTVAL (val);
540               break;
541             }
542           return;
543
544         case PRE_DEC:
545           if (XEXP (src, 0) == stack_pointer_rtx)
546             {
547               *pre += GET_MODE_SIZE (GET_MODE (dest));
548               break;
549             }
550           return;
551
552         case POST_DEC:
553           if (XEXP (src, 0) == stack_pointer_rtx)
554             {
555               *post += GET_MODE_SIZE (GET_MODE (dest));
556               break;
557             }
558           return;
559
560         case PRE_INC:
561           if (XEXP (src, 0) == stack_pointer_rtx)
562             {
563               *pre -= GET_MODE_SIZE (GET_MODE (dest));
564               break;
565             }
566           return;
567
568         case POST_INC:
569           if (XEXP (src, 0) == stack_pointer_rtx)
570             {
571               *post -= GET_MODE_SIZE (GET_MODE (dest));
572               break;
573             }
574           return;
575
576         default:
577           return;
578         }
579     }
580 }
581
582 /* Given an INSN, calculate the amount of stack adjustment it contains
583    PRE- and POST-modifying stack pointer.  */
584
585 static void
586 insn_stack_adjust_offset_pre_post (rtx insn, HOST_WIDE_INT *pre,
587                                    HOST_WIDE_INT *post)
588 {
589   rtx pattern;
590
591   *pre = 0;
592   *post = 0;
593
594   pattern = PATTERN (insn);
595   if (RTX_FRAME_RELATED_P (insn))
596     {
597       rtx expr = find_reg_note (insn, REG_FRAME_RELATED_EXPR, NULL_RTX);
598       if (expr)
599         pattern = XEXP (expr, 0);
600     }
601
602   if (GET_CODE (pattern) == SET)
603     stack_adjust_offset_pre_post (pattern, pre, post);
604   else if (GET_CODE (pattern) == PARALLEL
605            || GET_CODE (pattern) == SEQUENCE)
606     {
607       int i;
608
609       /* There may be stack adjustments inside compound insns.  Search
610          for them.  */
611       for ( i = XVECLEN (pattern, 0) - 1; i >= 0; i--)
612         if (GET_CODE (XVECEXP (pattern, 0, i)) == SET)
613           stack_adjust_offset_pre_post (XVECEXP (pattern, 0, i), pre, post);
614     }
615 }
616
617 /* Compute stack adjustments for all blocks by traversing DFS tree.
618    Return true when the adjustments on all incoming edges are consistent.
619    Heavily borrowed from pre_and_rev_post_order_compute.  */
620
621 static bool
622 vt_stack_adjustments (void)
623 {
624   edge_iterator *stack;
625   int sp;
626
627   /* Initialize entry block.  */
628   VTI (ENTRY_BLOCK_PTR)->visited = true;
629   VTI (ENTRY_BLOCK_PTR)->in.stack_adjust = INCOMING_FRAME_SP_OFFSET;
630   VTI (ENTRY_BLOCK_PTR)->out.stack_adjust = INCOMING_FRAME_SP_OFFSET;
631
632   /* Allocate stack for back-tracking up CFG.  */
633   stack = XNEWVEC (edge_iterator, n_basic_blocks + 1);
634   sp = 0;
635
636   /* Push the first edge on to the stack.  */
637   stack[sp++] = ei_start (ENTRY_BLOCK_PTR->succs);
638
639   while (sp)
640     {
641       edge_iterator ei;
642       basic_block src;
643       basic_block dest;
644
645       /* Look at the edge on the top of the stack.  */
646       ei = stack[sp - 1];
647       src = ei_edge (ei)->src;
648       dest = ei_edge (ei)->dest;
649
650       /* Check if the edge destination has been visited yet.  */
651       if (!VTI (dest)->visited)
652         {
653           rtx insn;
654           HOST_WIDE_INT pre, post, offset;
655           VTI (dest)->visited = true;
656           VTI (dest)->in.stack_adjust = offset = VTI (src)->out.stack_adjust;
657
658           if (dest != EXIT_BLOCK_PTR)
659             for (insn = BB_HEAD (dest);
660                  insn != NEXT_INSN (BB_END (dest));
661                  insn = NEXT_INSN (insn))
662               if (INSN_P (insn))
663                 {
664                   insn_stack_adjust_offset_pre_post (insn, &pre, &post);
665                   offset += pre + post;
666                 }
667
668           VTI (dest)->out.stack_adjust = offset;
669
670           if (EDGE_COUNT (dest->succs) > 0)
671             /* Since the DEST node has been visited for the first
672                time, check its successors.  */
673             stack[sp++] = ei_start (dest->succs);
674         }
675       else
676         {
677           /* Check whether the adjustments on the edges are the same.  */
678           if (VTI (dest)->in.stack_adjust != VTI (src)->out.stack_adjust)
679             {
680               free (stack);
681               return false;
682             }
683
684           if (! ei_one_before_end_p (ei))
685             /* Go to the next edge.  */
686             ei_next (&stack[sp - 1]);
687           else
688             /* Return to previous level if there are no more edges.  */
689             sp--;
690         }
691     }
692
693   free (stack);
694   return true;
695 }
696
697 /* Compute a CFA-based value for the stack pointer.  */
698
699 static rtx
700 compute_cfa_pointer (HOST_WIDE_INT adjustment)
701 {
702   rtx cfa;
703
704 #ifdef FRAME_POINTER_CFA_OFFSET
705   adjustment -= FRAME_POINTER_CFA_OFFSET (current_function_decl);
706   cfa = plus_constant (frame_pointer_rtx, adjustment);
707 #else
708   adjustment -= ARG_POINTER_CFA_OFFSET (current_function_decl);
709   cfa = plus_constant (arg_pointer_rtx, adjustment);
710 #endif
711
712   return cfa;
713 }
714
715 /* Adjustment for hard_frame_pointer_rtx to cfa base reg,
716    or -1 if the replacement shouldn't be done.  */
717 static HOST_WIDE_INT hard_frame_pointer_adjustment = -1;
718
719 /* Data for adjust_mems callback.  */
720
721 struct adjust_mem_data
722 {
723   bool store;
724   enum machine_mode mem_mode;
725   HOST_WIDE_INT stack_adjust;
726   rtx side_effects;
727 };
728
729 /* Helper for adjust_mems.  Return 1 if *loc is unsuitable for
730    transformation of wider mode arithmetics to narrower mode,
731    -1 if it is suitable and subexpressions shouldn't be
732    traversed and 0 if it is suitable and subexpressions should
733    be traversed.  Called through for_each_rtx.  */
734
735 static int
736 use_narrower_mode_test (rtx *loc, void *data)
737 {
738   rtx subreg = (rtx) data;
739
740   if (CONSTANT_P (*loc))
741     return -1;
742   switch (GET_CODE (*loc))
743     {
744     case REG:
745       if (cselib_lookup (*loc, GET_MODE (SUBREG_REG (subreg)), 0))
746         return 1;
747       return -1;
748     case PLUS:
749     case MINUS:
750     case MULT:
751       return 0;
752     case ASHIFT:
753       if (for_each_rtx (&XEXP (*loc, 0), use_narrower_mode_test, data))
754         return 1;
755       else
756         return -1;
757     default:
758       return 1;
759     }
760 }
761
762 /* Transform X into narrower mode MODE from wider mode WMODE.  */
763
764 static rtx
765 use_narrower_mode (rtx x, enum machine_mode mode, enum machine_mode wmode)
766 {
767   rtx op0, op1;
768   if (CONSTANT_P (x))
769     return lowpart_subreg (mode, x, wmode);
770   switch (GET_CODE (x))
771     {
772     case REG:
773       return lowpart_subreg (mode, x, wmode);
774     case PLUS:
775     case MINUS:
776     case MULT:
777       op0 = use_narrower_mode (XEXP (x, 0), mode, wmode);
778       op1 = use_narrower_mode (XEXP (x, 1), mode, wmode);
779       return simplify_gen_binary (GET_CODE (x), mode, op0, op1);
780     case ASHIFT:
781       op0 = use_narrower_mode (XEXP (x, 0), mode, wmode);
782       return simplify_gen_binary (ASHIFT, mode, op0, XEXP (x, 1));
783     default:
784       gcc_unreachable ();
785     }
786 }
787
788 /* Helper function for adjusting used MEMs.  */
789
790 static rtx
791 adjust_mems (rtx loc, const_rtx old_rtx, void *data)
792 {
793   struct adjust_mem_data *amd = (struct adjust_mem_data *) data;
794   rtx mem, addr = loc, tem;
795   enum machine_mode mem_mode_save;
796   bool store_save;
797   switch (GET_CODE (loc))
798     {
799     case REG:
800       /* Don't do any sp or fp replacements outside of MEM addresses.  */
801       if (amd->mem_mode == VOIDmode)
802         return loc;
803       if (loc == stack_pointer_rtx
804           && !frame_pointer_needed)
805         return compute_cfa_pointer (amd->stack_adjust);
806       else if (loc == hard_frame_pointer_rtx
807                && frame_pointer_needed
808                && hard_frame_pointer_adjustment != -1)
809         return compute_cfa_pointer (hard_frame_pointer_adjustment);
810       return loc;
811     case MEM:
812       mem = loc;
813       if (!amd->store)
814         {
815           mem = targetm.delegitimize_address (mem);
816           if (mem != loc && !MEM_P (mem))
817             return simplify_replace_fn_rtx (mem, old_rtx, adjust_mems, data);
818         }
819
820       addr = XEXP (mem, 0);
821       mem_mode_save = amd->mem_mode;
822       amd->mem_mode = GET_MODE (mem);
823       store_save = amd->store;
824       amd->store = false;
825       addr = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
826       amd->store = store_save;
827       amd->mem_mode = mem_mode_save;
828       if (mem == loc)
829         addr = targetm.delegitimize_address (addr);
830       if (addr != XEXP (mem, 0))
831         mem = replace_equiv_address_nv (mem, addr);
832       if (!amd->store)
833         mem = avoid_constant_pool_reference (mem);
834       return mem;
835     case PRE_INC:
836     case PRE_DEC:
837       addr = gen_rtx_PLUS (GET_MODE (loc), XEXP (loc, 0),
838                            GEN_INT (GET_CODE (loc) == PRE_INC
839                                     ? GET_MODE_SIZE (amd->mem_mode)
840                                     : -GET_MODE_SIZE (amd->mem_mode)));
841     case POST_INC:
842     case POST_DEC:
843       if (addr == loc)
844         addr = XEXP (loc, 0);
845       gcc_assert (amd->mem_mode != VOIDmode && amd->mem_mode != BLKmode);
846       addr = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
847       tem = gen_rtx_PLUS (GET_MODE (loc), XEXP (loc, 0),
848                            GEN_INT ((GET_CODE (loc) == PRE_INC
849                                      || GET_CODE (loc) == POST_INC)
850                                     ? GET_MODE_SIZE (amd->mem_mode)
851                                     : -GET_MODE_SIZE (amd->mem_mode)));
852       amd->side_effects = alloc_EXPR_LIST (0,
853                                            gen_rtx_SET (VOIDmode,
854                                                         XEXP (loc, 0),
855                                                         tem),
856                                            amd->side_effects);
857       return addr;
858     case PRE_MODIFY:
859       addr = XEXP (loc, 1);
860     case POST_MODIFY:
861       if (addr == loc)
862         addr = XEXP (loc, 0);
863       gcc_assert (amd->mem_mode != VOIDmode);
864       addr = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
865       amd->side_effects = alloc_EXPR_LIST (0,
866                                            gen_rtx_SET (VOIDmode,
867                                                         XEXP (loc, 0),
868                                                         XEXP (loc, 1)),
869                                            amd->side_effects);
870       return addr;
871     case SUBREG:
872       /* First try without delegitimization of whole MEMs and
873          avoid_constant_pool_reference, which is more likely to succeed.  */
874       store_save = amd->store;
875       amd->store = true;
876       addr = simplify_replace_fn_rtx (SUBREG_REG (loc), old_rtx, adjust_mems,
877                                       data);
878       amd->store = store_save;
879       mem = simplify_replace_fn_rtx (addr, old_rtx, adjust_mems, data);
880       if (mem == SUBREG_REG (loc))
881         {
882           tem = loc;
883           goto finish_subreg;
884         }
885       tem = simplify_gen_subreg (GET_MODE (loc), mem,
886                                  GET_MODE (SUBREG_REG (loc)),
887                                  SUBREG_BYTE (loc));
888       if (tem)
889         goto finish_subreg;
890       tem = simplify_gen_subreg (GET_MODE (loc), addr,
891                                  GET_MODE (SUBREG_REG (loc)),
892                                  SUBREG_BYTE (loc));
893       if (tem == NULL_RTX)
894         tem = gen_rtx_raw_SUBREG (GET_MODE (loc), addr, SUBREG_BYTE (loc));
895     finish_subreg:
896       if (MAY_HAVE_DEBUG_INSNS
897           && GET_CODE (tem) == SUBREG
898           && (GET_CODE (SUBREG_REG (tem)) == PLUS
899               || GET_CODE (SUBREG_REG (tem)) == MINUS
900               || GET_CODE (SUBREG_REG (tem)) == MULT
901               || GET_CODE (SUBREG_REG (tem)) == ASHIFT)
902           && GET_MODE_CLASS (GET_MODE (tem)) == MODE_INT
903           && GET_MODE_CLASS (GET_MODE (SUBREG_REG (tem))) == MODE_INT
904           && GET_MODE_SIZE (GET_MODE (tem))
905              < GET_MODE_SIZE (GET_MODE (SUBREG_REG (tem)))
906           && subreg_lowpart_p (tem)
907           && !for_each_rtx (&SUBREG_REG (tem), use_narrower_mode_test, tem))
908         return use_narrower_mode (SUBREG_REG (tem), GET_MODE (tem),
909                                   GET_MODE (SUBREG_REG (tem)));
910       return tem;
911     default:
912       break;
913     }
914   return NULL_RTX;
915 }
916
917 /* Helper function for replacement of uses.  */
918
919 static void
920 adjust_mem_uses (rtx *x, void *data)
921 {
922   rtx new_x = simplify_replace_fn_rtx (*x, NULL_RTX, adjust_mems, data);
923   if (new_x != *x)
924     validate_change (NULL_RTX, x, new_x, true);
925 }
926
927 /* Helper function for replacement of stores.  */
928
929 static void
930 adjust_mem_stores (rtx loc, const_rtx expr, void *data)
931 {
932   if (MEM_P (loc))
933     {
934       rtx new_dest = simplify_replace_fn_rtx (SET_DEST (expr), NULL_RTX,
935                                               adjust_mems, data);
936       if (new_dest != SET_DEST (expr))
937         {
938           rtx xexpr = CONST_CAST_RTX (expr);
939           validate_change (NULL_RTX, &SET_DEST (xexpr), new_dest, true);
940         }
941     }
942 }
943
944 /* Simplify INSN.  Remove all {PRE,POST}_{INC,DEC,MODIFY} rtxes,
945    replace them with their value in the insn and add the side-effects
946    as other sets to the insn.  */
947
948 static void
949 adjust_insn (basic_block bb, rtx insn)
950 {
951   struct adjust_mem_data amd;
952   rtx set;
953   amd.mem_mode = VOIDmode;
954   amd.stack_adjust = -VTI (bb)->out.stack_adjust;
955   amd.side_effects = NULL_RTX;
956
957   amd.store = true;
958   note_stores (PATTERN (insn), adjust_mem_stores, &amd);
959
960   amd.store = false;
961   note_uses (&PATTERN (insn), adjust_mem_uses, &amd);
962
963   /* For read-only MEMs containing some constant, prefer those
964      constants.  */
965   set = single_set (insn);
966   if (set && MEM_P (SET_SRC (set)) && MEM_READONLY_P (SET_SRC (set)))
967     {
968       rtx note = find_reg_equal_equiv_note (insn);
969
970       if (note && CONSTANT_P (XEXP (note, 0)))
971         validate_change (NULL_RTX, &SET_SRC (set), XEXP (note, 0), true);
972     }
973
974   if (amd.side_effects)
975     {
976       rtx *pat, new_pat, s;
977       int i, oldn, newn;
978
979       pat = &PATTERN (insn);
980       if (GET_CODE (*pat) == COND_EXEC)
981         pat = &COND_EXEC_CODE (*pat);
982       if (GET_CODE (*pat) == PARALLEL)
983         oldn = XVECLEN (*pat, 0);
984       else
985         oldn = 1;
986       for (s = amd.side_effects, newn = 0; s; newn++)
987         s = XEXP (s, 1);
988       new_pat = gen_rtx_PARALLEL (VOIDmode, rtvec_alloc (oldn + newn));
989       if (GET_CODE (*pat) == PARALLEL)
990         for (i = 0; i < oldn; i++)
991           XVECEXP (new_pat, 0, i) = XVECEXP (*pat, 0, i);
992       else
993         XVECEXP (new_pat, 0, 0) = *pat;
994       for (s = amd.side_effects, i = oldn; i < oldn + newn; i++, s = XEXP (s, 1))
995         XVECEXP (new_pat, 0, i) = XEXP (s, 0);
996       free_EXPR_LIST_list (&amd.side_effects);
997       validate_change (NULL_RTX, pat, new_pat, true);
998     }
999 }
1000
1001 /* Return true if a decl_or_value DV is a DECL or NULL.  */
1002 static inline bool
1003 dv_is_decl_p (decl_or_value dv)
1004 {
1005   return !dv || (int) TREE_CODE ((tree) dv) != (int) VALUE;
1006 }
1007
1008 /* Return true if a decl_or_value is a VALUE rtl.  */
1009 static inline bool
1010 dv_is_value_p (decl_or_value dv)
1011 {
1012   return dv && !dv_is_decl_p (dv);
1013 }
1014
1015 /* Return the decl in the decl_or_value.  */
1016 static inline tree
1017 dv_as_decl (decl_or_value dv)
1018 {
1019 #ifdef ENABLE_CHECKING
1020   gcc_assert (dv_is_decl_p (dv));
1021 #endif
1022   return (tree) dv;
1023 }
1024
1025 /* Return the value in the decl_or_value.  */
1026 static inline rtx
1027 dv_as_value (decl_or_value dv)
1028 {
1029 #ifdef ENABLE_CHECKING
1030   gcc_assert (dv_is_value_p (dv));
1031 #endif
1032   return (rtx)dv;
1033 }
1034
1035 /* Return the opaque pointer in the decl_or_value.  */
1036 static inline void *
1037 dv_as_opaque (decl_or_value dv)
1038 {
1039   return dv;
1040 }
1041
1042 /* Return true if a decl_or_value must not have more than one variable
1043    part.  */
1044 static inline bool
1045 dv_onepart_p (decl_or_value dv)
1046 {
1047   tree decl;
1048
1049   if (!MAY_HAVE_DEBUG_INSNS)
1050     return false;
1051
1052   if (dv_is_value_p (dv))
1053     return true;
1054
1055   decl = dv_as_decl (dv);
1056
1057   if (!decl)
1058     return true;
1059
1060   if (TREE_CODE (decl) == DEBUG_EXPR_DECL)
1061     return true;
1062
1063   return (target_for_debug_bind (decl) != NULL_TREE);
1064 }
1065
1066 /* Return the variable pool to be used for dv, depending on whether it
1067    can have multiple parts or not.  */
1068 static inline alloc_pool
1069 dv_pool (decl_or_value dv)
1070 {
1071   return dv_onepart_p (dv) ? valvar_pool : var_pool;
1072 }
1073
1074 /* Build a decl_or_value out of a decl.  */
1075 static inline decl_or_value
1076 dv_from_decl (tree decl)
1077 {
1078   decl_or_value dv;
1079   dv = decl;
1080 #ifdef ENABLE_CHECKING
1081   gcc_assert (dv_is_decl_p (dv));
1082 #endif
1083   return dv;
1084 }
1085
1086 /* Build a decl_or_value out of a value.  */
1087 static inline decl_or_value
1088 dv_from_value (rtx value)
1089 {
1090   decl_or_value dv;
1091   dv = value;
1092 #ifdef ENABLE_CHECKING
1093   gcc_assert (dv_is_value_p (dv));
1094 #endif
1095   return dv;
1096 }
1097
1098 extern void debug_dv (decl_or_value dv);
1099
1100 void
1101 debug_dv (decl_or_value dv)
1102 {
1103   if (dv_is_value_p (dv))
1104     debug_rtx (dv_as_value (dv));
1105   else
1106     debug_generic_stmt (dv_as_decl (dv));
1107 }
1108
1109 typedef unsigned int dvuid;
1110
1111 /* Return the uid of DV.  */
1112
1113 static inline dvuid
1114 dv_uid (decl_or_value dv)
1115 {
1116   if (dv_is_value_p (dv))
1117     return CSELIB_VAL_PTR (dv_as_value (dv))->uid;
1118   else
1119     return DECL_UID (dv_as_decl (dv));
1120 }
1121
1122 /* Compute the hash from the uid.  */
1123
1124 static inline hashval_t
1125 dv_uid2hash (dvuid uid)
1126 {
1127   return uid;
1128 }
1129
1130 /* The hash function for a mask table in a shared_htab chain.  */
1131
1132 static inline hashval_t
1133 dv_htab_hash (decl_or_value dv)
1134 {
1135   return dv_uid2hash (dv_uid (dv));
1136 }
1137
1138 /* The hash function for variable_htab, computes the hash value
1139    from the declaration of variable X.  */
1140
1141 static hashval_t
1142 variable_htab_hash (const void *x)
1143 {
1144   const_variable const v = (const_variable) x;
1145
1146   return dv_htab_hash (v->dv);
1147 }
1148
1149 /* Compare the declaration of variable X with declaration Y.  */
1150
1151 static int
1152 variable_htab_eq (const void *x, const void *y)
1153 {
1154   const_variable const v = (const_variable) x;
1155   decl_or_value dv = CONST_CAST2 (decl_or_value, const void *, y);
1156
1157   return (dv_as_opaque (v->dv) == dv_as_opaque (dv));
1158 }
1159
1160 /* Free the element of VARIABLE_HTAB (its type is struct variable_def).  */
1161
1162 static void
1163 variable_htab_free (void *elem)
1164 {
1165   int i;
1166   variable var = (variable) elem;
1167   location_chain node, next;
1168
1169   gcc_assert (var->refcount > 0);
1170
1171   var->refcount--;
1172   if (var->refcount > 0)
1173     return;
1174
1175   for (i = 0; i < var->n_var_parts; i++)
1176     {
1177       for (node = var->var_part[i].loc_chain; node; node = next)
1178         {
1179           next = node->next;
1180           pool_free (loc_chain_pool, node);
1181         }
1182       var->var_part[i].loc_chain = NULL;
1183     }
1184   pool_free (dv_pool (var->dv), var);
1185 }
1186
1187 /* The hash function for value_chains htab, computes the hash value
1188    from the VALUE.  */
1189
1190 static hashval_t
1191 value_chain_htab_hash (const void *x)
1192 {
1193   const_value_chain const v = (const_value_chain) x;
1194
1195   return dv_htab_hash (v->dv);
1196 }
1197
1198 /* Compare the VALUE X with VALUE Y.  */
1199
1200 static int
1201 value_chain_htab_eq (const void *x, const void *y)
1202 {
1203   const_value_chain const v = (const_value_chain) x;
1204   decl_or_value dv = CONST_CAST2 (decl_or_value, const void *, y);
1205
1206   return dv_as_opaque (v->dv) == dv_as_opaque (dv);
1207 }
1208
1209 /* Initialize the set (array) SET of attrs to empty lists.  */
1210
1211 static void
1212 init_attrs_list_set (attrs *set)
1213 {
1214   int i;
1215
1216   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1217     set[i] = NULL;
1218 }
1219
1220 /* Make the list *LISTP empty.  */
1221
1222 static void
1223 attrs_list_clear (attrs *listp)
1224 {
1225   attrs list, next;
1226
1227   for (list = *listp; list; list = next)
1228     {
1229       next = list->next;
1230       pool_free (attrs_pool, list);
1231     }
1232   *listp = NULL;
1233 }
1234
1235 /* Return true if the pair of DECL and OFFSET is the member of the LIST.  */
1236
1237 static attrs
1238 attrs_list_member (attrs list, decl_or_value dv, HOST_WIDE_INT offset)
1239 {
1240   for (; list; list = list->next)
1241     if (dv_as_opaque (list->dv) == dv_as_opaque (dv) && list->offset == offset)
1242       return list;
1243   return NULL;
1244 }
1245
1246 /* Insert the triplet DECL, OFFSET, LOC to the list *LISTP.  */
1247
1248 static void
1249 attrs_list_insert (attrs *listp, decl_or_value dv,
1250                    HOST_WIDE_INT offset, rtx loc)
1251 {
1252   attrs list;
1253
1254   list = (attrs) pool_alloc (attrs_pool);
1255   list->loc = loc;
1256   list->dv = dv;
1257   list->offset = offset;
1258   list->next = *listp;
1259   *listp = list;
1260 }
1261
1262 /* Copy all nodes from SRC and create a list *DSTP of the copies.  */
1263
1264 static void
1265 attrs_list_copy (attrs *dstp, attrs src)
1266 {
1267   attrs n;
1268
1269   attrs_list_clear (dstp);
1270   for (; src; src = src->next)
1271     {
1272       n = (attrs) pool_alloc (attrs_pool);
1273       n->loc = src->loc;
1274       n->dv = src->dv;
1275       n->offset = src->offset;
1276       n->next = *dstp;
1277       *dstp = n;
1278     }
1279 }
1280
1281 /* Add all nodes from SRC which are not in *DSTP to *DSTP.  */
1282
1283 static void
1284 attrs_list_union (attrs *dstp, attrs src)
1285 {
1286   for (; src; src = src->next)
1287     {
1288       if (!attrs_list_member (*dstp, src->dv, src->offset))
1289         attrs_list_insert (dstp, src->dv, src->offset, src->loc);
1290     }
1291 }
1292
1293 /* Combine nodes that are not onepart nodes from SRC and SRC2 into
1294    *DSTP.  */
1295
1296 static void
1297 attrs_list_mpdv_union (attrs *dstp, attrs src, attrs src2)
1298 {
1299   gcc_assert (!*dstp);
1300   for (; src; src = src->next)
1301     {
1302       if (!dv_onepart_p (src->dv))
1303         attrs_list_insert (dstp, src->dv, src->offset, src->loc);
1304     }
1305   for (src = src2; src; src = src->next)
1306     {
1307       if (!dv_onepart_p (src->dv)
1308           && !attrs_list_member (*dstp, src->dv, src->offset))
1309         attrs_list_insert (dstp, src->dv, src->offset, src->loc);
1310     }
1311 }
1312
1313 /* Shared hashtable support.  */
1314
1315 /* Return true if VARS is shared.  */
1316
1317 static inline bool
1318 shared_hash_shared (shared_hash vars)
1319 {
1320   return vars->refcount > 1;
1321 }
1322
1323 /* Return the hash table for VARS.  */
1324
1325 static inline htab_t
1326 shared_hash_htab (shared_hash vars)
1327 {
1328   return vars->htab;
1329 }
1330
1331 /* Return true if VAR is shared, or maybe because VARS is shared.  */
1332
1333 static inline bool
1334 shared_var_p (variable var, shared_hash vars)
1335 {
1336   /* Don't count an entry in the changed_variables table as a duplicate.  */
1337   return ((var->refcount > 1 + (int) var->in_changed_variables)
1338           || shared_hash_shared (vars));
1339 }
1340
1341 /* Copy variables into a new hash table.  */
1342
1343 static shared_hash
1344 shared_hash_unshare (shared_hash vars)
1345 {
1346   shared_hash new_vars = (shared_hash) pool_alloc (shared_hash_pool);
1347   gcc_assert (vars->refcount > 1);
1348   new_vars->refcount = 1;
1349   new_vars->htab
1350     = htab_create (htab_elements (vars->htab) + 3, variable_htab_hash,
1351                    variable_htab_eq, variable_htab_free);
1352   vars_copy (new_vars->htab, vars->htab);
1353   vars->refcount--;
1354   return new_vars;
1355 }
1356
1357 /* Increment reference counter on VARS and return it.  */
1358
1359 static inline shared_hash
1360 shared_hash_copy (shared_hash vars)
1361 {
1362   vars->refcount++;
1363   return vars;
1364 }
1365
1366 /* Decrement reference counter and destroy hash table if not shared
1367    anymore.  */
1368
1369 static void
1370 shared_hash_destroy (shared_hash vars)
1371 {
1372   gcc_assert (vars->refcount > 0);
1373   if (--vars->refcount == 0)
1374     {
1375       htab_delete (vars->htab);
1376       pool_free (shared_hash_pool, vars);
1377     }
1378 }
1379
1380 /* Unshare *PVARS if shared and return slot for DV.  If INS is
1381    INSERT, insert it if not already present.  */
1382
1383 static inline void **
1384 shared_hash_find_slot_unshare_1 (shared_hash *pvars, decl_or_value dv,
1385                                  hashval_t dvhash, enum insert_option ins)
1386 {
1387   if (shared_hash_shared (*pvars))
1388     *pvars = shared_hash_unshare (*pvars);
1389   return htab_find_slot_with_hash (shared_hash_htab (*pvars), dv, dvhash, ins);
1390 }
1391
1392 static inline void **
1393 shared_hash_find_slot_unshare (shared_hash *pvars, decl_or_value dv,
1394                                enum insert_option ins)
1395 {
1396   return shared_hash_find_slot_unshare_1 (pvars, dv, dv_htab_hash (dv), ins);
1397 }
1398
1399 /* Return slot for DV, if it is already present in the hash table.
1400    If it is not present, insert it only VARS is not shared, otherwise
1401    return NULL.  */
1402
1403 static inline void **
1404 shared_hash_find_slot_1 (shared_hash vars, decl_or_value dv, hashval_t dvhash)
1405 {
1406   return htab_find_slot_with_hash (shared_hash_htab (vars), dv, dvhash,
1407                                    shared_hash_shared (vars)
1408                                    ? NO_INSERT : INSERT);
1409 }
1410
1411 static inline void **
1412 shared_hash_find_slot (shared_hash vars, decl_or_value dv)
1413 {
1414   return shared_hash_find_slot_1 (vars, dv, dv_htab_hash (dv));
1415 }
1416
1417 /* Return slot for DV only if it is already present in the hash table.  */
1418
1419 static inline void **
1420 shared_hash_find_slot_noinsert_1 (shared_hash vars, decl_or_value dv,
1421                                   hashval_t dvhash)
1422 {
1423   return htab_find_slot_with_hash (shared_hash_htab (vars), dv, dvhash,
1424                                    NO_INSERT);
1425 }
1426
1427 static inline void **
1428 shared_hash_find_slot_noinsert (shared_hash vars, decl_or_value dv)
1429 {
1430   return shared_hash_find_slot_noinsert_1 (vars, dv, dv_htab_hash (dv));
1431 }
1432
1433 /* Return variable for DV or NULL if not already present in the hash
1434    table.  */
1435
1436 static inline variable
1437 shared_hash_find_1 (shared_hash vars, decl_or_value dv, hashval_t dvhash)
1438 {
1439   return (variable) htab_find_with_hash (shared_hash_htab (vars), dv, dvhash);
1440 }
1441
1442 static inline variable
1443 shared_hash_find (shared_hash vars, decl_or_value dv)
1444 {
1445   return shared_hash_find_1 (vars, dv, dv_htab_hash (dv));
1446 }
1447
1448 /* Return true if TVAL is better than CVAL as a canonival value.  We
1449    choose lowest-numbered VALUEs, using the RTX address as a
1450    tie-breaker.  The idea is to arrange them into a star topology,
1451    such that all of them are at most one step away from the canonical
1452    value, and the canonical value has backlinks to all of them, in
1453    addition to all the actual locations.  We don't enforce this
1454    topology throughout the entire dataflow analysis, though.
1455  */
1456
1457 static inline bool
1458 canon_value_cmp (rtx tval, rtx cval)
1459 {
1460   return !cval
1461     || CSELIB_VAL_PTR (tval)->uid < CSELIB_VAL_PTR (cval)->uid;
1462 }
1463
1464 static bool dst_can_be_shared;
1465
1466 /* Return a copy of a variable VAR and insert it to dataflow set SET.  */
1467
1468 static void **
1469 unshare_variable (dataflow_set *set, void **slot, variable var,
1470                   enum var_init_status initialized)
1471 {
1472   variable new_var;
1473   int i;
1474
1475   new_var = (variable) pool_alloc (dv_pool (var->dv));
1476   new_var->dv = var->dv;
1477   new_var->refcount = 1;
1478   var->refcount--;
1479   new_var->n_var_parts = var->n_var_parts;
1480   new_var->cur_loc_changed = var->cur_loc_changed;
1481   var->cur_loc_changed = false;
1482   new_var->in_changed_variables = false;
1483
1484   if (! flag_var_tracking_uninit)
1485     initialized = VAR_INIT_STATUS_INITIALIZED;
1486
1487   for (i = 0; i < var->n_var_parts; i++)
1488     {
1489       location_chain node;
1490       location_chain *nextp;
1491
1492       new_var->var_part[i].offset = var->var_part[i].offset;
1493       nextp = &new_var->var_part[i].loc_chain;
1494       for (node = var->var_part[i].loc_chain; node; node = node->next)
1495         {
1496           location_chain new_lc;
1497
1498           new_lc = (location_chain) pool_alloc (loc_chain_pool);
1499           new_lc->next = NULL;
1500           if (node->init > initialized)
1501             new_lc->init = node->init;
1502           else
1503             new_lc->init = initialized;
1504           if (node->set_src && !(MEM_P (node->set_src)))
1505             new_lc->set_src = node->set_src;
1506           else
1507             new_lc->set_src = NULL;
1508           new_lc->loc = node->loc;
1509
1510           *nextp = new_lc;
1511           nextp = &new_lc->next;
1512         }
1513
1514       new_var->var_part[i].cur_loc = var->var_part[i].cur_loc;
1515     }
1516
1517   dst_can_be_shared = false;
1518   if (shared_hash_shared (set->vars))
1519     slot = shared_hash_find_slot_unshare (&set->vars, var->dv, NO_INSERT);
1520   else if (set->traversed_vars && set->vars != set->traversed_vars)
1521     slot = shared_hash_find_slot_noinsert (set->vars, var->dv);
1522   *slot = new_var;
1523   if (var->in_changed_variables)
1524     {
1525       void **cslot
1526         = htab_find_slot_with_hash (changed_variables, var->dv,
1527                                     dv_htab_hash (var->dv), NO_INSERT);
1528       gcc_assert (*cslot == (void *) var);
1529       var->in_changed_variables = false;
1530       variable_htab_free (var);
1531       *cslot = new_var;
1532       new_var->in_changed_variables = true;
1533     }
1534   return slot;
1535 }
1536
1537 /* Copy all variables from hash table SRC to hash table DST.  */
1538
1539 static void
1540 vars_copy (htab_t dst, htab_t src)
1541 {
1542   htab_iterator hi;
1543   variable var;
1544
1545   FOR_EACH_HTAB_ELEMENT (src, var, variable, hi)
1546     {
1547       void **dstp;
1548       var->refcount++;
1549       dstp = htab_find_slot_with_hash (dst, var->dv,
1550                                        dv_htab_hash (var->dv),
1551                                        INSERT);
1552       *dstp = var;
1553     }
1554 }
1555
1556 /* Map a decl to its main debug decl.  */
1557
1558 static inline tree
1559 var_debug_decl (tree decl)
1560 {
1561   if (decl && DECL_P (decl)
1562       && DECL_DEBUG_EXPR_IS_FROM (decl))
1563     {
1564       tree debugdecl = DECL_DEBUG_EXPR (decl);
1565       if (debugdecl && DECL_P (debugdecl))
1566         decl = debugdecl;
1567     }
1568
1569   return decl;
1570 }
1571
1572 /* Set the register LOC to contain DV, OFFSET.  */
1573
1574 static void
1575 var_reg_decl_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1576                   decl_or_value dv, HOST_WIDE_INT offset, rtx set_src,
1577                   enum insert_option iopt)
1578 {
1579   attrs node;
1580   bool decl_p = dv_is_decl_p (dv);
1581
1582   if (decl_p)
1583     dv = dv_from_decl (var_debug_decl (dv_as_decl (dv)));
1584
1585   for (node = set->regs[REGNO (loc)]; node; node = node->next)
1586     if (dv_as_opaque (node->dv) == dv_as_opaque (dv)
1587         && node->offset == offset)
1588       break;
1589   if (!node)
1590     attrs_list_insert (&set->regs[REGNO (loc)], dv, offset, loc);
1591   set_variable_part (set, loc, dv, offset, initialized, set_src, iopt);
1592 }
1593
1594 /* Set the register to contain REG_EXPR (LOC), REG_OFFSET (LOC).  */
1595
1596 static void
1597 var_reg_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1598              rtx set_src)
1599 {
1600   tree decl = REG_EXPR (loc);
1601   HOST_WIDE_INT offset = REG_OFFSET (loc);
1602
1603   var_reg_decl_set (set, loc, initialized,
1604                     dv_from_decl (decl), offset, set_src, INSERT);
1605 }
1606
1607 static enum var_init_status
1608 get_init_value (dataflow_set *set, rtx loc, decl_or_value dv)
1609 {
1610   variable var;
1611   int i;
1612   enum var_init_status ret_val = VAR_INIT_STATUS_UNKNOWN;
1613
1614   if (! flag_var_tracking_uninit)
1615     return VAR_INIT_STATUS_INITIALIZED;
1616
1617   var = shared_hash_find (set->vars, dv);
1618   if (var)
1619     {
1620       for (i = 0; i < var->n_var_parts && ret_val == VAR_INIT_STATUS_UNKNOWN; i++)
1621         {
1622           location_chain nextp;
1623           for (nextp = var->var_part[i].loc_chain; nextp; nextp = nextp->next)
1624             if (rtx_equal_p (nextp->loc, loc))
1625               {
1626                 ret_val = nextp->init;
1627                 break;
1628               }
1629         }
1630     }
1631
1632   return ret_val;
1633 }
1634
1635 /* Delete current content of register LOC in dataflow set SET and set
1636    the register to contain REG_EXPR (LOC), REG_OFFSET (LOC).  If
1637    MODIFY is true, any other live copies of the same variable part are
1638    also deleted from the dataflow set, otherwise the variable part is
1639    assumed to be copied from another location holding the same
1640    part.  */
1641
1642 static void
1643 var_reg_delete_and_set (dataflow_set *set, rtx loc, bool modify,
1644                         enum var_init_status initialized, rtx set_src)
1645 {
1646   tree decl = REG_EXPR (loc);
1647   HOST_WIDE_INT offset = REG_OFFSET (loc);
1648   attrs node, next;
1649   attrs *nextp;
1650
1651   decl = var_debug_decl (decl);
1652
1653   if (initialized == VAR_INIT_STATUS_UNKNOWN)
1654     initialized = get_init_value (set, loc, dv_from_decl (decl));
1655
1656   nextp = &set->regs[REGNO (loc)];
1657   for (node = *nextp; node; node = next)
1658     {
1659       next = node->next;
1660       if (dv_as_opaque (node->dv) != decl || node->offset != offset)
1661         {
1662           delete_variable_part (set, node->loc, node->dv, node->offset);
1663           pool_free (attrs_pool, node);
1664           *nextp = next;
1665         }
1666       else
1667         {
1668           node->loc = loc;
1669           nextp = &node->next;
1670         }
1671     }
1672   if (modify)
1673     clobber_variable_part (set, loc, dv_from_decl (decl), offset, set_src);
1674   var_reg_set (set, loc, initialized, set_src);
1675 }
1676
1677 /* Delete the association of register LOC in dataflow set SET with any
1678    variables that aren't onepart.  If CLOBBER is true, also delete any
1679    other live copies of the same variable part, and delete the
1680    association with onepart dvs too.  */
1681
1682 static void
1683 var_reg_delete (dataflow_set *set, rtx loc, bool clobber)
1684 {
1685   attrs *nextp = &set->regs[REGNO (loc)];
1686   attrs node, next;
1687
1688   if (clobber)
1689     {
1690       tree decl = REG_EXPR (loc);
1691       HOST_WIDE_INT offset = REG_OFFSET (loc);
1692
1693       decl = var_debug_decl (decl);
1694
1695       clobber_variable_part (set, NULL, dv_from_decl (decl), offset, NULL);
1696     }
1697
1698   for (node = *nextp; node; node = next)
1699     {
1700       next = node->next;
1701       if (clobber || !dv_onepart_p (node->dv))
1702         {
1703           delete_variable_part (set, node->loc, node->dv, node->offset);
1704           pool_free (attrs_pool, node);
1705           *nextp = next;
1706         }
1707       else
1708         nextp = &node->next;
1709     }
1710 }
1711
1712 /* Delete content of register with number REGNO in dataflow set SET.  */
1713
1714 static void
1715 var_regno_delete (dataflow_set *set, int regno)
1716 {
1717   attrs *reg = &set->regs[regno];
1718   attrs node, next;
1719
1720   for (node = *reg; node; node = next)
1721     {
1722       next = node->next;
1723       delete_variable_part (set, node->loc, node->dv, node->offset);
1724       pool_free (attrs_pool, node);
1725     }
1726   *reg = NULL;
1727 }
1728
1729 /* Set the location of DV, OFFSET as the MEM LOC.  */
1730
1731 static void
1732 var_mem_decl_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1733                   decl_or_value dv, HOST_WIDE_INT offset, rtx set_src,
1734                   enum insert_option iopt)
1735 {
1736   if (dv_is_decl_p (dv))
1737     dv = dv_from_decl (var_debug_decl (dv_as_decl (dv)));
1738
1739   set_variable_part (set, loc, dv, offset, initialized, set_src, iopt);
1740 }
1741
1742 /* Set the location part of variable MEM_EXPR (LOC) in dataflow set
1743    SET to LOC.
1744    Adjust the address first if it is stack pointer based.  */
1745
1746 static void
1747 var_mem_set (dataflow_set *set, rtx loc, enum var_init_status initialized,
1748              rtx set_src)
1749 {
1750   tree decl = MEM_EXPR (loc);
1751   HOST_WIDE_INT offset = INT_MEM_OFFSET (loc);
1752
1753   var_mem_decl_set (set, loc, initialized,
1754                     dv_from_decl (decl), offset, set_src, INSERT);
1755 }
1756
1757 /* Delete and set the location part of variable MEM_EXPR (LOC) in
1758    dataflow set SET to LOC.  If MODIFY is true, any other live copies
1759    of the same variable part are also deleted from the dataflow set,
1760    otherwise the variable part is assumed to be copied from another
1761    location holding the same part.
1762    Adjust the address first if it is stack pointer based.  */
1763
1764 static void
1765 var_mem_delete_and_set (dataflow_set *set, rtx loc, bool modify,
1766                         enum var_init_status initialized, rtx set_src)
1767 {
1768   tree decl = MEM_EXPR (loc);
1769   HOST_WIDE_INT offset = INT_MEM_OFFSET (loc);
1770
1771   decl = var_debug_decl (decl);
1772
1773   if (initialized == VAR_INIT_STATUS_UNKNOWN)
1774     initialized = get_init_value (set, loc, dv_from_decl (decl));
1775
1776   if (modify)
1777     clobber_variable_part (set, NULL, dv_from_decl (decl), offset, set_src);
1778   var_mem_set (set, loc, initialized, set_src);
1779 }
1780
1781 /* Delete the location part LOC from dataflow set SET.  If CLOBBER is
1782    true, also delete any other live copies of the same variable part.
1783    Adjust the address first if it is stack pointer based.  */
1784
1785 static void
1786 var_mem_delete (dataflow_set *set, rtx loc, bool clobber)
1787 {
1788   tree decl = MEM_EXPR (loc);
1789   HOST_WIDE_INT offset = INT_MEM_OFFSET (loc);
1790
1791   decl = var_debug_decl (decl);
1792   if (clobber)
1793     clobber_variable_part (set, NULL, dv_from_decl (decl), offset, NULL);
1794   delete_variable_part (set, loc, dv_from_decl (decl), offset);
1795 }
1796
1797 /* Bind a value to a location it was just stored in.  If MODIFIED
1798    holds, assume the location was modified, detaching it from any
1799    values bound to it.  */
1800
1801 static void
1802 val_store (dataflow_set *set, rtx val, rtx loc, rtx insn, bool modified)
1803 {
1804   cselib_val *v = CSELIB_VAL_PTR (val);
1805
1806   gcc_assert (cselib_preserved_value_p (v));
1807
1808   if (dump_file)
1809     {
1810       fprintf (dump_file, "%i: ", INSN_UID (insn));
1811       print_inline_rtx (dump_file, val, 0);
1812       fprintf (dump_file, " stored in ");
1813       print_inline_rtx (dump_file, loc, 0);
1814       if (v->locs)
1815         {
1816           struct elt_loc_list *l;
1817           for (l = v->locs; l; l = l->next)
1818             {
1819               fprintf (dump_file, "\n%i: ", INSN_UID (l->setting_insn));
1820               print_inline_rtx (dump_file, l->loc, 0);
1821             }
1822         }
1823       fprintf (dump_file, "\n");
1824     }
1825
1826   if (REG_P (loc))
1827     {
1828       if (modified)
1829         var_regno_delete (set, REGNO (loc));
1830       var_reg_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1831                         dv_from_value (val), 0, NULL_RTX, INSERT);
1832     }
1833   else if (MEM_P (loc))
1834     var_mem_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1835                       dv_from_value (val), 0, NULL_RTX, INSERT);
1836   else
1837     set_variable_part (set, loc, dv_from_value (val), 0,
1838                        VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1839 }
1840
1841 /* Reset this node, detaching all its equivalences.  Return the slot
1842    in the variable hash table that holds dv, if there is one.  */
1843
1844 static void
1845 val_reset (dataflow_set *set, decl_or_value dv)
1846 {
1847   variable var = shared_hash_find (set->vars, dv) ;
1848   location_chain node;
1849   rtx cval;
1850
1851   if (!var || !var->n_var_parts)
1852     return;
1853
1854   gcc_assert (var->n_var_parts == 1);
1855
1856   cval = NULL;
1857   for (node = var->var_part[0].loc_chain; node; node = node->next)
1858     if (GET_CODE (node->loc) == VALUE
1859         && canon_value_cmp (node->loc, cval))
1860       cval = node->loc;
1861
1862   for (node = var->var_part[0].loc_chain; node; node = node->next)
1863     if (GET_CODE (node->loc) == VALUE && cval != node->loc)
1864       {
1865         /* Redirect the equivalence link to the new canonical
1866            value, or simply remove it if it would point at
1867            itself.  */
1868         if (cval)
1869           set_variable_part (set, cval, dv_from_value (node->loc),
1870                              0, node->init, node->set_src, NO_INSERT);
1871         delete_variable_part (set, dv_as_value (dv),
1872                               dv_from_value (node->loc), 0);
1873       }
1874
1875   if (cval)
1876     {
1877       decl_or_value cdv = dv_from_value (cval);
1878
1879       /* Keep the remaining values connected, accummulating links
1880          in the canonical value.  */
1881       for (node = var->var_part[0].loc_chain; node; node = node->next)
1882         {
1883           if (node->loc == cval)
1884             continue;
1885           else if (GET_CODE (node->loc) == REG)
1886             var_reg_decl_set (set, node->loc, node->init, cdv, 0,
1887                               node->set_src, NO_INSERT);
1888           else if (GET_CODE (node->loc) == MEM)
1889             var_mem_decl_set (set, node->loc, node->init, cdv, 0,
1890                               node->set_src, NO_INSERT);
1891           else
1892             set_variable_part (set, node->loc, cdv, 0,
1893                                node->init, node->set_src, NO_INSERT);
1894         }
1895     }
1896
1897   /* We remove this last, to make sure that the canonical value is not
1898      removed to the point of requiring reinsertion.  */
1899   if (cval)
1900     delete_variable_part (set, dv_as_value (dv), dv_from_value (cval), 0);
1901
1902   clobber_variable_part (set, NULL, dv, 0, NULL);
1903
1904   /* ??? Should we make sure there aren't other available values or
1905      variables whose values involve this one other than by
1906      equivalence?  E.g., at the very least we should reset MEMs, those
1907      shouldn't be too hard to find cselib-looking up the value as an
1908      address, then locating the resulting value in our own hash
1909      table.  */
1910 }
1911
1912 /* Find the values in a given location and map the val to another
1913    value, if it is unique, or add the location as one holding the
1914    value.  */
1915
1916 static void
1917 val_resolve (dataflow_set *set, rtx val, rtx loc, rtx insn)
1918 {
1919   decl_or_value dv = dv_from_value (val);
1920
1921   if (dump_file && (dump_flags & TDF_DETAILS))
1922     {
1923       if (insn)
1924         fprintf (dump_file, "%i: ", INSN_UID (insn));
1925       else
1926         fprintf (dump_file, "head: ");
1927       print_inline_rtx (dump_file, val, 0);
1928       fputs (" is at ", dump_file);
1929       print_inline_rtx (dump_file, loc, 0);
1930       fputc ('\n', dump_file);
1931     }
1932
1933   val_reset (set, dv);
1934
1935   if (REG_P (loc))
1936     {
1937       attrs node, found = NULL;
1938
1939       for (node = set->regs[REGNO (loc)]; node; node = node->next)
1940         if (dv_is_value_p (node->dv)
1941             && GET_MODE (dv_as_value (node->dv)) == GET_MODE (loc))
1942           {
1943             found = node;
1944
1945             /* Map incoming equivalences.  ??? Wouldn't it be nice if
1946              we just started sharing the location lists?  Maybe a
1947              circular list ending at the value itself or some
1948              such.  */
1949             set_variable_part (set, dv_as_value (node->dv),
1950                                dv_from_value (val), node->offset,
1951                                VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1952             set_variable_part (set, val, node->dv, node->offset,
1953                                VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1954           }
1955
1956       /* If we didn't find any equivalence, we need to remember that
1957          this value is held in the named register.  */
1958       if (!found)
1959         var_reg_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1960                           dv_from_value (val), 0, NULL_RTX, INSERT);
1961     }
1962   else if (MEM_P (loc))
1963     /* ??? Merge equivalent MEMs.  */
1964     var_mem_decl_set (set, loc, VAR_INIT_STATUS_INITIALIZED,
1965                       dv_from_value (val), 0, NULL_RTX, INSERT);
1966   else
1967     /* ??? Merge equivalent expressions.  */
1968     set_variable_part (set, loc, dv_from_value (val), 0,
1969                        VAR_INIT_STATUS_INITIALIZED, NULL_RTX, INSERT);
1970 }
1971
1972 /* Initialize dataflow set SET to be empty.
1973    VARS_SIZE is the initial size of hash table VARS.  */
1974
1975 static void
1976 dataflow_set_init (dataflow_set *set)
1977 {
1978   init_attrs_list_set (set->regs);
1979   set->vars = shared_hash_copy (empty_shared_hash);
1980   set->stack_adjust = 0;
1981   set->traversed_vars = NULL;
1982 }
1983
1984 /* Delete the contents of dataflow set SET.  */
1985
1986 static void
1987 dataflow_set_clear (dataflow_set *set)
1988 {
1989   int i;
1990
1991   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
1992     attrs_list_clear (&set->regs[i]);
1993
1994   shared_hash_destroy (set->vars);
1995   set->vars = shared_hash_copy (empty_shared_hash);
1996 }
1997
1998 /* Copy the contents of dataflow set SRC to DST.  */
1999
2000 static void
2001 dataflow_set_copy (dataflow_set *dst, dataflow_set *src)
2002 {
2003   int i;
2004
2005   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
2006     attrs_list_copy (&dst->regs[i], src->regs[i]);
2007
2008   shared_hash_destroy (dst->vars);
2009   dst->vars = shared_hash_copy (src->vars);
2010   dst->stack_adjust = src->stack_adjust;
2011 }
2012
2013 /* Information for merging lists of locations for a given offset of variable.
2014  */
2015 struct variable_union_info
2016 {
2017   /* Node of the location chain.  */
2018   location_chain lc;
2019
2020   /* The sum of positions in the input chains.  */
2021   int pos;
2022
2023   /* The position in the chain of DST dataflow set.  */
2024   int pos_dst;
2025 };
2026
2027 /* Buffer for location list sorting and its allocated size.  */
2028 static struct variable_union_info *vui_vec;
2029 static int vui_allocated;
2030
2031 /* Compare function for qsort, order the structures by POS element.  */
2032
2033 static int
2034 variable_union_info_cmp_pos (const void *n1, const void *n2)
2035 {
2036   const struct variable_union_info *const i1 =
2037     (const struct variable_union_info *) n1;
2038   const struct variable_union_info *const i2 =
2039     ( const struct variable_union_info *) n2;
2040
2041   if (i1->pos != i2->pos)
2042     return i1->pos - i2->pos;
2043
2044   return (i1->pos_dst - i2->pos_dst);
2045 }
2046
2047 /* Compute union of location parts of variable *SLOT and the same variable
2048    from hash table DATA.  Compute "sorted" union of the location chains
2049    for common offsets, i.e. the locations of a variable part are sorted by
2050    a priority where the priority is the sum of the positions in the 2 chains
2051    (if a location is only in one list the position in the second list is
2052    defined to be larger than the length of the chains).
2053    When we are updating the location parts the newest location is in the
2054    beginning of the chain, so when we do the described "sorted" union
2055    we keep the newest locations in the beginning.  */
2056
2057 static int
2058 variable_union (variable src, dataflow_set *set)
2059 {
2060   variable dst;
2061   void **dstp;
2062   int i, j, k;
2063
2064   dstp = shared_hash_find_slot (set->vars, src->dv);
2065   if (!dstp || !*dstp)
2066     {
2067       src->refcount++;
2068
2069       dst_can_be_shared = false;
2070       if (!dstp)
2071         dstp = shared_hash_find_slot_unshare (&set->vars, src->dv, INSERT);
2072
2073       *dstp = src;
2074
2075       /* Continue traversing the hash table.  */
2076       return 1;
2077     }
2078   else
2079     dst = (variable) *dstp;
2080
2081   gcc_assert (src->n_var_parts);
2082
2083   /* We can combine one-part variables very efficiently, because their
2084      entries are in canonical order.  */
2085   if (dv_onepart_p (src->dv))
2086     {
2087       location_chain *nodep, dnode, snode;
2088
2089       gcc_assert (src->n_var_parts == 1
2090                   && dst->n_var_parts == 1);
2091
2092       snode = src->var_part[0].loc_chain;
2093       gcc_assert (snode);
2094
2095     restart_onepart_unshared:
2096       nodep = &dst->var_part[0].loc_chain;
2097       dnode = *nodep;
2098       gcc_assert (dnode);
2099
2100       while (snode)
2101         {
2102           int r = dnode ? loc_cmp (dnode->loc, snode->loc) : 1;
2103
2104           if (r > 0)
2105             {
2106               location_chain nnode;
2107
2108               if (shared_var_p (dst, set->vars))
2109                 {
2110                   dstp = unshare_variable (set, dstp, dst,
2111                                            VAR_INIT_STATUS_INITIALIZED);
2112                   dst = (variable)*dstp;
2113                   goto restart_onepart_unshared;
2114                 }
2115
2116               *nodep = nnode = (location_chain) pool_alloc (loc_chain_pool);
2117               nnode->loc = snode->loc;
2118               nnode->init = snode->init;
2119               if (!snode->set_src || MEM_P (snode->set_src))
2120                 nnode->set_src = NULL;
2121               else
2122                 nnode->set_src = snode->set_src;
2123               nnode->next = dnode;
2124               dnode = nnode;
2125             }
2126 #ifdef ENABLE_CHECKING
2127           else if (r == 0)
2128             gcc_assert (rtx_equal_p (dnode->loc, snode->loc));
2129 #endif
2130
2131           if (r >= 0)
2132             snode = snode->next;
2133
2134           nodep = &dnode->next;
2135           dnode = *nodep;
2136         }
2137
2138       return 1;
2139     }
2140
2141   /* Count the number of location parts, result is K.  */
2142   for (i = 0, j = 0, k = 0;
2143        i < src->n_var_parts && j < dst->n_var_parts; k++)
2144     {
2145       if (src->var_part[i].offset == dst->var_part[j].offset)
2146         {
2147           i++;
2148           j++;
2149         }
2150       else if (src->var_part[i].offset < dst->var_part[j].offset)
2151         i++;
2152       else
2153         j++;
2154     }
2155   k += src->n_var_parts - i;
2156   k += dst->n_var_parts - j;
2157
2158   /* We track only variables whose size is <= MAX_VAR_PARTS bytes
2159      thus there are at most MAX_VAR_PARTS different offsets.  */
2160   gcc_assert (dv_onepart_p (dst->dv) ? k == 1 : k <= MAX_VAR_PARTS);
2161
2162   if (dst->n_var_parts != k && shared_var_p (dst, set->vars))
2163     {
2164       dstp = unshare_variable (set, dstp, dst, VAR_INIT_STATUS_UNKNOWN);
2165       dst = (variable)*dstp;
2166     }
2167
2168   i = src->n_var_parts - 1;
2169   j = dst->n_var_parts - 1;
2170   dst->n_var_parts = k;
2171
2172   for (k--; k >= 0; k--)
2173     {
2174       location_chain node, node2;
2175
2176       if (i >= 0 && j >= 0
2177           && src->var_part[i].offset == dst->var_part[j].offset)
2178         {
2179           /* Compute the "sorted" union of the chains, i.e. the locations which
2180              are in both chains go first, they are sorted by the sum of
2181              positions in the chains.  */
2182           int dst_l, src_l;
2183           int ii, jj, n;
2184           struct variable_union_info *vui;
2185
2186           /* If DST is shared compare the location chains.
2187              If they are different we will modify the chain in DST with
2188              high probability so make a copy of DST.  */
2189           if (shared_var_p (dst, set->vars))
2190             {
2191               for (node = src->var_part[i].loc_chain,
2192                    node2 = dst->var_part[j].loc_chain; node && node2;
2193                    node = node->next, node2 = node2->next)
2194                 {
2195                   if (!((REG_P (node2->loc)
2196                          && REG_P (node->loc)
2197                          && REGNO (node2->loc) == REGNO (node->loc))
2198                         || rtx_equal_p (node2->loc, node->loc)))
2199                     {
2200                       if (node2->init < node->init)
2201                         node2->init = node->init;
2202                       break;
2203                     }
2204                 }
2205               if (node || node2)
2206                 {
2207                   dstp = unshare_variable (set, dstp, dst,
2208                                            VAR_INIT_STATUS_UNKNOWN);
2209                   dst = (variable)*dstp;
2210                 }
2211             }
2212
2213           src_l = 0;
2214           for (node = src->var_part[i].loc_chain; node; node = node->next)
2215             src_l++;
2216           dst_l = 0;
2217           for (node = dst->var_part[j].loc_chain; node; node = node->next)
2218             dst_l++;
2219
2220           if (dst_l == 1)
2221             {
2222               /* The most common case, much simpler, no qsort is needed.  */
2223               location_chain dstnode = dst->var_part[j].loc_chain;
2224               dst->var_part[k].loc_chain = dstnode;
2225               dst->var_part[k].offset = dst->var_part[j].offset;
2226               node2 = dstnode;
2227               for (node = src->var_part[i].loc_chain; node; node = node->next)
2228                 if (!((REG_P (dstnode->loc)
2229                        && REG_P (node->loc)
2230                        && REGNO (dstnode->loc) == REGNO (node->loc))
2231                       || rtx_equal_p (dstnode->loc, node->loc)))
2232                   {
2233                     location_chain new_node;
2234
2235                     /* Copy the location from SRC.  */
2236                     new_node = (location_chain) pool_alloc (loc_chain_pool);
2237                     new_node->loc = node->loc;
2238                     new_node->init = node->init;
2239                     if (!node->set_src || MEM_P (node->set_src))
2240                       new_node->set_src = NULL;
2241                     else
2242                       new_node->set_src = node->set_src;
2243                     node2->next = new_node;
2244                     node2 = new_node;
2245                   }
2246               node2->next = NULL;
2247             }
2248           else
2249             {
2250               if (src_l + dst_l > vui_allocated)
2251                 {
2252                   vui_allocated = MAX (vui_allocated * 2, src_l + dst_l);
2253                   vui_vec = XRESIZEVEC (struct variable_union_info, vui_vec,
2254                                         vui_allocated);
2255                 }
2256               vui = vui_vec;
2257
2258               /* Fill in the locations from DST.  */
2259               for (node = dst->var_part[j].loc_chain, jj = 0; node;
2260                    node = node->next, jj++)
2261                 {
2262                   vui[jj].lc = node;
2263                   vui[jj].pos_dst = jj;
2264
2265                   /* Pos plus value larger than a sum of 2 valid positions.  */
2266                   vui[jj].pos = jj + src_l + dst_l;
2267                 }
2268
2269               /* Fill in the locations from SRC.  */
2270               n = dst_l;
2271               for (node = src->var_part[i].loc_chain, ii = 0; node;
2272                    node = node->next, ii++)
2273                 {
2274                   /* Find location from NODE.  */
2275                   for (jj = 0; jj < dst_l; jj++)
2276                     {
2277                       if ((REG_P (vui[jj].lc->loc)
2278                            && REG_P (node->loc)
2279                            && REGNO (vui[jj].lc->loc) == REGNO (node->loc))
2280                           || rtx_equal_p (vui[jj].lc->loc, node->loc))
2281                         {
2282                           vui[jj].pos = jj + ii;
2283                           break;
2284                         }
2285                     }
2286                   if (jj >= dst_l)      /* The location has not been found.  */
2287                     {
2288                       location_chain new_node;
2289
2290                       /* Copy the location from SRC.  */
2291                       new_node = (location_chain) pool_alloc (loc_chain_pool);
2292                       new_node->loc = node->loc;
2293                       new_node->init = node->init;
2294                       if (!node->set_src || MEM_P (node->set_src))
2295                         new_node->set_src = NULL;
2296                       else
2297                         new_node->set_src = node->set_src;
2298                       vui[n].lc = new_node;
2299                       vui[n].pos_dst = src_l + dst_l;
2300                       vui[n].pos = ii + src_l + dst_l;
2301                       n++;
2302                     }
2303                 }
2304
2305               if (dst_l == 2)
2306                 {
2307                   /* Special case still very common case.  For dst_l == 2
2308                      all entries dst_l ... n-1 are sorted, with for i >= dst_l
2309                      vui[i].pos == i + src_l + dst_l.  */
2310                   if (vui[0].pos > vui[1].pos)
2311                     {
2312                       /* Order should be 1, 0, 2... */
2313                       dst->var_part[k].loc_chain = vui[1].lc;
2314                       vui[1].lc->next = vui[0].lc;
2315                       if (n >= 3)
2316                         {
2317                           vui[0].lc->next = vui[2].lc;
2318                           vui[n - 1].lc->next = NULL;
2319                         }
2320                       else
2321                         vui[0].lc->next = NULL;
2322                       ii = 3;
2323                     }
2324                   else
2325                     {
2326                       dst->var_part[k].loc_chain = vui[0].lc;
2327                       if (n >= 3 && vui[2].pos < vui[1].pos)
2328                         {
2329                           /* Order should be 0, 2, 1, 3... */
2330                           vui[0].lc->next = vui[2].lc;
2331                           vui[2].lc->next = vui[1].lc;
2332                           if (n >= 4)
2333                             {
2334                               vui[1].lc->next = vui[3].lc;
2335                               vui[n - 1].lc->next = NULL;
2336                             }
2337                           else
2338                             vui[1].lc->next = NULL;
2339                           ii = 4;
2340                         }
2341                       else
2342                         {
2343                           /* Order should be 0, 1, 2... */
2344                           ii = 1;
2345                           vui[n - 1].lc->next = NULL;
2346                         }
2347                     }
2348                   for (; ii < n; ii++)
2349                     vui[ii - 1].lc->next = vui[ii].lc;
2350                 }
2351               else
2352                 {
2353                   qsort (vui, n, sizeof (struct variable_union_info),
2354                          variable_union_info_cmp_pos);
2355
2356                   /* Reconnect the nodes in sorted order.  */
2357                   for (ii = 1; ii < n; ii++)
2358                     vui[ii - 1].lc->next = vui[ii].lc;
2359                   vui[n - 1].lc->next = NULL;
2360                   dst->var_part[k].loc_chain = vui[0].lc;
2361                 }
2362
2363               dst->var_part[k].offset = dst->var_part[j].offset;
2364             }
2365           i--;
2366           j--;
2367         }
2368       else if ((i >= 0 && j >= 0
2369                 && src->var_part[i].offset < dst->var_part[j].offset)
2370                || i < 0)
2371         {
2372           dst->var_part[k] = dst->var_part[j];
2373           j--;
2374         }
2375       else if ((i >= 0 && j >= 0
2376                 && src->var_part[i].offset > dst->var_part[j].offset)
2377                || j < 0)
2378         {
2379           location_chain *nextp;
2380
2381           /* Copy the chain from SRC.  */
2382           nextp = &dst->var_part[k].loc_chain;
2383           for (node = src->var_part[i].loc_chain; node; node = node->next)
2384             {
2385               location_chain new_lc;
2386
2387               new_lc = (location_chain) pool_alloc (loc_chain_pool);
2388               new_lc->next = NULL;
2389               new_lc->init = node->init;
2390               if (!node->set_src || MEM_P (node->set_src))
2391                 new_lc->set_src = NULL;
2392               else
2393                 new_lc->set_src = node->set_src;
2394               new_lc->loc = node->loc;
2395
2396               *nextp = new_lc;
2397               nextp = &new_lc->next;
2398             }
2399
2400           dst->var_part[k].offset = src->var_part[i].offset;
2401           i--;
2402         }
2403       dst->var_part[k].cur_loc = NULL;
2404     }
2405
2406   if (flag_var_tracking_uninit)
2407     for (i = 0; i < src->n_var_parts && i < dst->n_var_parts; i++)
2408       {
2409         location_chain node, node2;
2410         for (node = src->var_part[i].loc_chain; node; node = node->next)
2411           for (node2 = dst->var_part[i].loc_chain; node2; node2 = node2->next)
2412             if (rtx_equal_p (node->loc, node2->loc))
2413               {
2414                 if (node->init > node2->init)
2415                   node2->init = node->init;
2416               }
2417       }
2418
2419   /* Continue traversing the hash table.  */
2420   return 1;
2421 }
2422
2423 /* Compute union of dataflow sets SRC and DST and store it to DST.  */
2424
2425 static void
2426 dataflow_set_union (dataflow_set *dst, dataflow_set *src)
2427 {
2428   int i;
2429
2430   for (i = 0; i < FIRST_PSEUDO_REGISTER; i++)
2431     attrs_list_union (&dst->regs[i], src->regs[i]);
2432
2433   if (dst->vars == empty_shared_hash)
2434     {
2435       shared_hash_destroy (dst->vars);
2436       dst->vars = shared_hash_copy (src->vars);
2437     }
2438   else
2439     {
2440       htab_iterator hi;
2441       variable var;
2442
2443       FOR_EACH_HTAB_ELEMENT (shared_hash_htab (src->vars), var, variable, hi)
2444         variable_union (var, dst);
2445     }
2446 }
2447
2448 /* Whether the value is currently being expanded.  */
2449 #define VALUE_RECURSED_INTO(x) \
2450   (RTL_FLAG_CHECK2 ("VALUE_RECURSED_INTO", (x), VALUE, DEBUG_EXPR)->used)
2451 /* Whether the value is in changed_variables hash table.  */
2452 #define VALUE_CHANGED(x) \
2453   (RTL_FLAG_CHECK1 ("VALUE_CHANGED", (x), VALUE)->frame_related)
2454 /* Whether the decl is in changed_variables hash table.  */
2455 #define DECL_CHANGED(x) TREE_VISITED (x)
2456
2457 /* Record that DV has been added into resp. removed from changed_variables
2458    hashtable.  */
2459
2460 static inline void
2461 set_dv_changed (decl_or_value dv, bool newv)
2462 {
2463   if (dv_is_value_p (dv))
2464     VALUE_CHANGED (dv_as_value (dv)) = newv;
2465   else
2466     DECL_CHANGED (dv_as_decl (dv)) = newv;
2467 }
2468
2469 /* Return true if DV is present in changed_variables hash table.  */
2470
2471 static inline bool
2472 dv_changed_p (decl_or_value dv)
2473 {
2474   return (dv_is_value_p (dv)
2475           ? VALUE_CHANGED (dv_as_value (dv))
2476           : DECL_CHANGED (dv_as_decl (dv)));
2477 }
2478
2479 /* Return a location list node whose loc is rtx_equal to LOC, in the
2480    location list of a one-part variable or value VAR, or in that of
2481    any values recursively mentioned in the location lists.  */
2482
2483 static location_chain
2484 find_loc_in_1pdv (rtx loc, variable var, htab_t vars)
2485 {
2486   location_chain node;
2487   enum rtx_code loc_code;
2488
2489   if (!var)
2490     return NULL;
2491
2492   gcc_assert (dv_onepart_p (var->dv));
2493
2494   if (!var->n_var_parts)
2495     return NULL;
2496
2497   gcc_assert (var->var_part[0].offset == 0);
2498
2499   loc_code = GET_CODE (loc);
2500   for (node = var->var_part[0].loc_chain; node; node = node->next)
2501     {
2502       if (GET_CODE (node->loc) != loc_code)
2503         {
2504           if (GET_CODE (node->loc) != VALUE)
2505             continue;
2506         }
2507       else if (loc == node->loc)
2508         return node;
2509       else if (loc_code != VALUE)
2510         {
2511           if (rtx_equal_p (loc, node->loc))
2512             return node;
2513           continue;
2514         }
2515       if (!VALUE_RECURSED_INTO (node->loc))
2516         {
2517           decl_or_value dv = dv_from_value (node->loc);
2518           variable var = (variable)
2519                          htab_find_with_hash (vars, dv, dv_htab_hash (dv));
2520
2521           if (var)
2522             {
2523               location_chain where;
2524               VALUE_RECURSED_INTO (node->loc) = true;
2525               if ((where = find_loc_in_1pdv (loc, var, vars)))
2526                 {
2527                   VALUE_RECURSED_INTO (node->loc) = false;
2528                   return where;
2529                 }
2530               VALUE_RECURSED_INTO (node->loc) = false;
2531             }
2532         }
2533     }
2534
2535   return NULL;
2536 }
2537
2538 /* Hash table iteration argument passed to variable_merge.  */
2539 struct dfset_merge
2540 {
2541   /* The set in which the merge is to be inserted.  */
2542   dataflow_set *dst;
2543   /* The set that we're iterating in.  */
2544   dataflow_set *cur;
2545   /* The set that may contain the other dv we are to merge with.  */
2546   dataflow_set *src;
2547   /* Number of onepart dvs in src.  */
2548   int src_onepart_cnt;
2549 };
2550
2551 /* Insert LOC in *DNODE, if it's not there yet.  The list must be in
2552    loc_cmp order, and it is maintained as such.  */
2553
2554 static void
2555 insert_into_intersection (location_chain *nodep, rtx loc,
2556                           enum var_init_status status)
2557 {
2558   location_chain node;
2559   int r;
2560
2561   for (node = *nodep; node; nodep = &node->next, node = *nodep)
2562     if ((r = loc_cmp (node->loc, loc)) == 0)
2563       {
2564         node->init = MIN (node->init, status);
2565         return;
2566       }
2567     else if (r > 0)
2568       break;
2569
2570   node = (location_chain) pool_alloc (loc_chain_pool);
2571
2572   node->loc = loc;
2573   node->set_src = NULL;
2574   node->init = status;
2575   node->next = *nodep;
2576   *nodep = node;
2577 }
2578
2579 /* Insert in DEST the intersection the locations present in both
2580    S1NODE and S2VAR, directly or indirectly.  S1NODE is from a
2581    variable in DSM->cur, whereas S2VAR is from DSM->src.  dvar is in
2582    DSM->dst.  */
2583
2584 static void
2585 intersect_loc_chains (rtx val, location_chain *dest, struct dfset_merge *dsm,
2586                       location_chain s1node, variable s2var)
2587 {
2588   dataflow_set *s1set = dsm->cur;
2589   dataflow_set *s2set = dsm->src;
2590   location_chain found;
2591
2592   for (; s1node; s1node = s1node->next)
2593     {
2594       if (s1node->loc == val)
2595         continue;
2596
2597       if ((found = find_loc_in_1pdv (s1node->loc, s2var,
2598                                      shared_hash_htab (s2set->vars))))
2599         {
2600           insert_into_intersection (dest, s1node->loc,
2601                                     MIN (s1node->init, found->init));
2602           continue;
2603         }
2604
2605       if (GET_CODE (s1node->loc) == VALUE
2606           && !VALUE_RECURSED_INTO (s1node->loc))
2607         {
2608           decl_or_value dv = dv_from_value (s1node->loc);
2609           variable svar = shared_hash_find (s1set->vars, dv);
2610           if (svar)
2611             {
2612               if (svar->n_var_parts == 1)
2613                 {
2614                   VALUE_RECURSED_INTO (s1node->loc) = true;
2615                   intersect_loc_chains (val, dest, dsm,
2616                                         svar->var_part[0].loc_chain,
2617                                         s2var);
2618                   VALUE_RECURSED_INTO (s1node->loc) = false;
2619                 }
2620             }
2621         }
2622
2623       /* ??? if the location is equivalent to any location in src,
2624          searched recursively
2625
2626            add to dst the values needed to represent the equivalence
2627
2628      telling whether locations S is equivalent to another dv's
2629      location list:
2630
2631        for each location D in the list
2632
2633          if S and D satisfy rtx_equal_p, then it is present
2634
2635          else if D is a value, recurse without cycles
2636
2637          else if S and D have the same CODE and MODE
2638
2639            for each operand oS and the corresponding oD
2640
2641              if oS and oD are not equivalent, then S an D are not equivalent
2642
2643              else if they are RTX vectors
2644
2645                if any vector oS element is not equivalent to its respective oD,
2646                then S and D are not equivalent
2647
2648    */
2649
2650
2651     }
2652 }
2653
2654 /* Return -1 if X should be before Y in a location list for a 1-part
2655    variable, 1 if Y should be before X, and 0 if they're equivalent
2656    and should not appear in the list.  */
2657
2658 static int
2659 loc_cmp (rtx x, rtx y)
2660 {
2661   int i, j, r;
2662   RTX_CODE code = GET_CODE (x);
2663   const char *fmt;
2664
2665   if (x == y)
2666     return 0;
2667
2668   if (REG_P (x))
2669     {
2670       if (!REG_P (y))
2671         return -1;
2672       gcc_assert (GET_MODE (x) == GET_MODE (y));
2673       if (REGNO (x) == REGNO (y))
2674         return 0;
2675       else if (REGNO (x) < REGNO (y))
2676         return -1;
2677       else
2678         return 1;
2679     }
2680
2681   if (REG_P (y))
2682     return 1;
2683
2684   if (MEM_P (x))
2685     {
2686       if (!MEM_P (y))
2687         return -1;
2688       gcc_assert (GET_MODE (x) == GET_MODE (y));
2689       return loc_cmp (XEXP (x, 0), XEXP (y, 0));
2690     }
2691
2692   if (MEM_P (y))
2693     return 1;
2694
2695   if (GET_CODE (x) == VALUE)
2696     {
2697       if (GET_CODE (y) != VALUE)
2698         return -1;
2699       /* Don't assert the modes are the same, that is true only
2700          when not recursing.  (subreg:QI (value:SI 1:1) 0)
2701          and (subreg:QI (value:DI 2:2) 0) can be compared,
2702          even when the modes are different.  */
2703       if (canon_value_cmp (x, y))
2704         return -1;
2705       else
2706         return 1;
2707     }
2708
2709   if (GET_CODE (y) == VALUE)
2710     return 1;
2711
2712   if (GET_CODE (x) == GET_CODE (y))
2713     /* Compare operands below.  */;
2714   else if (GET_CODE (x) < GET_CODE (y))
2715     return -1;
2716   else
2717     return 1;
2718
2719   gcc_assert (GET_MODE (x) == GET_MODE (y));
2720
2721   if (GET_CODE (x) == DEBUG_EXPR)
2722     {
2723       if (DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (x))
2724           < DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (y)))
2725         return -1;
2726 #ifdef ENABLE_CHECKING
2727       gcc_assert (DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (x))
2728                   > DEBUG_TEMP_UID (DEBUG_EXPR_TREE_DECL (y)));
2729 #endif
2730       return 1;
2731     }
2732
2733   fmt = GET_RTX_FORMAT (code);
2734   for (i = 0; i < GET_RTX_LENGTH (code); i++)
2735     switch (fmt[i])
2736       {
2737       case 'w':
2738         if (XWINT (x, i) == XWINT (y, i))
2739           break;
2740         else if (XWINT (x, i) < XWINT (y, i))
2741           return -1;
2742         else
2743           return 1;
2744
2745       case 'n':
2746       case 'i':
2747         if (XINT (x, i) == XINT (y, i))
2748           break;
2749         else if (XINT (x, i) < XINT (y, i))
2750           return -1;
2751         else
2752           return 1;
2753
2754       case 'V':
2755       case 'E':
2756         /* Compare the vector length first.  */
2757         if (XVECLEN (x, i) == XVECLEN (y, i))
2758           /* Compare the vectors elements.  */;
2759         else if (XVECLEN (x, i) < XVECLEN (y, i))
2760           return -1;
2761         else
2762           return 1;
2763
2764         for (j = 0; j < XVECLEN (x, i); j++)
2765           if ((r = loc_cmp (XVECEXP (x, i, j),
2766                             XVECEXP (y, i, j))))
2767             return r;
2768         break;
2769
2770       case 'e':
2771         if ((r = loc_cmp (XEXP (x, i), XEXP (y, i))))
2772           return r;
2773         break;
2774
2775       case 'S':
2776       case 's':
2777         if (XSTR (x, i) == XSTR (y, i))
2778           break;
2779         if (!XSTR (x, i))
2780           return -1;
2781         if (!XSTR (y, i))
2782           return 1;
2783         if ((r = strcmp (XSTR (x, i), XSTR (y, i))) == 0)
2784           break;
2785         else if (r < 0)
2786           return -1;
2787         else
2788           return 1;
2789
2790       case 'u':
2791         /* These are just backpointers, so they don't matter.  */
2792         break;
2793
2794       case '0':
2795       case 't':
2796         break;
2797
2798         /* It is believed that rtx's at this level will never
2799            contain anything but integers and other rtx's,
2800            except for within LABEL_REFs and SYMBOL_REFs.  */
2801       default:
2802         gcc_unreachable ();
2803       }
2804
2805   return 0;
2806 }
2807
2808 /* If decl or value DVP refers to VALUE from *LOC, add backlinks
2809    from VALUE to DVP.  */
2810
2811 static int
2812 add_value_chain (rtx *loc, void *dvp)
2813 {
2814   decl_or_value dv, ldv;
2815   value_chain vc, nvc;
2816   void **slot;
2817
2818   if (GET_CODE (*loc) == VALUE)
2819     ldv = dv_from_value (*loc);
2820   else if (GET_CODE (*loc) == DEBUG_EXPR)
2821     ldv = dv_from_decl (DEBUG_EXPR_TREE_DECL (*loc));
2822   else
2823     return 0;
2824
2825   if (dv_as_opaque (ldv) == dvp)
2826     return 0;
2827
2828   dv = (decl_or_value) dvp;
2829   slot = htab_find_slot_with_hash (value_chains, ldv, dv_htab_hash (ldv),
2830                                    INSERT);
2831   if (!*slot)
2832     {
2833       vc = (value_chain) pool_alloc (value_chain_pool);
2834       vc->dv = ldv;
2835       vc->next = NULL;
2836       vc->refcount = 0;
2837       *slot = (void *) vc;
2838     }
2839   else
2840     {
2841       for (vc = ((value_chain) *slot)->next; vc; vc = vc->next)
2842         if (dv_as_opaque (vc->dv) == dv_as_opaque (dv))
2843           break;
2844       if (vc)
2845         {
2846           vc->refcount++;
2847           return 0;
2848         }
2849     }
2850   vc = (value_chain) *slot;
2851   nvc = (value_chain) pool_alloc (value_chain_pool);
2852   nvc->dv = dv;
2853   nvc->next = vc->next;
2854   nvc->refcount = 1;
2855   vc->next = nvc;
2856   return 0;
2857 }
2858
2859 /* If decl or value DVP refers to VALUEs from within LOC, add backlinks
2860    from those VALUEs to DVP.  */
2861
2862 static void
2863 add_value_chains (decl_or_value dv, rtx loc)
2864 {
2865   if (GET_CODE (loc) == VALUE || GET_CODE (loc) == DEBUG_EXPR)
2866     {
2867       add_value_chain (&loc, dv_as_opaque (dv));
2868       return;
2869     }
2870   if (REG_P (loc))
2871     return;
2872   if (MEM_P (loc))
2873     loc = XEXP (loc, 0);
2874   for_each_rtx (&loc, add_value_chain, dv_as_opaque (dv));
2875 }
2876
2877 /* If CSELIB_VAL_PTR of value DV refer to VALUEs, add backlinks from those
2878    VALUEs to DV.  Add the same time get rid of ASM_OPERANDS from locs list,
2879    that is something we never can express in .debug_info and can prevent
2880    reverse ops from being used.  */
2881
2882 static void
2883 add_cselib_value_chains (decl_or_value dv)
2884 {
2885   struct elt_loc_list **l;
2886
2887   for (l = &CSELIB_VAL_PTR (dv_as_value (dv))->locs; *l;)
2888     if (GET_CODE ((*l)->loc) == ASM_OPERANDS)
2889       *l = (*l)->next;
2890     else
2891       {
2892         for_each_rtx (&(*l)->loc, add_value_chain, dv_as_opaque (dv));
2893         l = &(*l)->next;
2894       }
2895 }
2896
2897 /* If decl or value DVP refers to VALUE from *LOC, remove backlinks
2898    from VALUE to DVP.  */
2899
2900 static int
2901 remove_value_chain (rtx *loc, void *dvp)
2902 {
2903   decl_or_value dv, ldv;
2904   value_chain vc;
2905   void **slot;
2906
2907   if (GET_CODE (*loc) == VALUE)
2908     ldv = dv_from_value (*loc);
2909   else if (GET_CODE (*loc) == DEBUG_EXPR)
2910     ldv = dv_from_decl (DEBUG_EXPR_TREE_DECL (*loc));
2911   else
2912     return 0;
2913
2914   if (dv_as_opaque (ldv) == dvp)
2915     return 0;
2916
2917   dv = (decl_or_value) dvp;
2918   slot = htab_find_slot_with_hash (value_chains, ldv, dv_htab_hash (ldv),
2919                                    NO_INSERT);
2920   for (vc = (value_chain) *slot; vc->next; vc = vc->next)
2921     if (dv_as_opaque (vc->next->dv) == dv_as_opaque (dv))
2922       {
2923         value_chain dvc = vc->next;
2924         gcc_assert (dvc->refcount > 0);
2925         if (--dvc->refcount == 0)
2926           {
2927             vc->next = dvc->next;
2928             pool_free (value_chain_pool, dvc);
2929             if (vc->next == NULL && vc == (value_chain) *slot)
2930               {
2931                 pool_free (value_chain_pool, vc);
2932                 htab_clear_slot (value_chains, slot);
2933               }
2934           }
2935         return 0;
2936       }
2937   gcc_unreachable ();
2938 }
2939
2940 /* If decl or value DVP refers to VALUEs from within LOC, remove backlinks
2941    from those VALUEs to DVP.  */
2942
2943 static void
2944 remove_value_chains (decl_or_value dv, rtx loc)
2945 {
2946   if (GET_CODE (loc) == VALUE || GET_CODE (loc) == DEBUG_EXPR)
2947     {
2948       remove_value_chain (&loc, dv_as_opaque (dv));
2949       return;
2950     }
2951   if (REG_P (loc))
2952     return;
2953   if (MEM_P (loc))
2954     loc = XEXP (loc, 0);
2955   for_each_rtx (&loc, remove_value_chain, dv_as_opaque (dv));
2956 }
2957
2958 #if ENABLE_CHECKING
2959 /* If CSELIB_VAL_PTR of value DV refer to VALUEs, remove backlinks from those
2960    VALUEs to DV.  */
2961
2962 static void
2963 remove_cselib_value_chains (decl_or_value dv)
2964 {
2965   struct elt_loc_list *l;
2966
2967   for (l = CSELIB_VAL_PTR (dv_as_value (dv))->locs; l; l = l->next)
2968     for_each_rtx (&l->loc, remove_value_chain, dv_as_opaque (dv));
2969 }
2970
2971 /* Check the order of entries in one-part variables.   */
2972
2973 static int
2974 canonicalize_loc_order_check (void **slot, void *data ATTRIBUTE_UNUSED)
2975 {
2976   variable var = (variable) *slot;
2977   decl_or_value dv = var->dv;
2978   location_chain node, next;
2979
2980 #ifdef ENABLE_RTL_CHECKING
2981   int i;
2982   for (i = 0; i < var->n_var_parts; i++)
2983     gcc_assert (var->var_part[0].cur_loc == NULL);
2984   gcc_assert (!var->cur_loc_changed && !var->in_changed_variables);
2985 #endif
2986
2987   if (!dv_onepart_p (dv))
2988     return 1;
2989
2990   gcc_assert (var->n_var_parts == 1);
2991   node = var->var_part[0].loc_chain;
2992   gcc_assert (node);
2993
2994   while ((next = node->next))
2995     {
2996       gcc_assert (loc_cmp (node->loc, next->loc) < 0);
2997       node = next;
2998     }
2999
3000   return 1;
3001 }
3002 #endif
3003
3004 /* Mark with VALUE_RECURSED_INTO values that have neighbors that are
3005    more likely to be chosen as canonical for an equivalence set.
3006    Ensure less likely values can reach more likely neighbors, making
3007    the connections bidirectional.  */
3008
3009 static int
3010 canonicalize_values_mark (void **slot, void *data)
3011 {
3012   dataflow_set *set = (dataflow_set *)data;
3013   variable var = (variable) *slot;
3014   decl_or_value dv = var->dv;
3015   rtx val;
3016   location_chain node;
3017
3018   if (!dv_is_value_p (dv))
3019     return 1;
3020
3021   gcc_assert (var->n_var_parts == 1);
3022
3023   val = dv_as_value (dv);
3024
3025   for (node = var->var_part[0].loc_chain; node; node = node->next)
3026     if (GET_CODE (node->loc) == VALUE)
3027       {
3028         if (canon_value_cmp (node->loc, val))
3029           VALUE_RECURSED_INTO (val) = true;
3030         else
3031           {
3032             decl_or_value odv = dv_from_value (node->loc);
3033             void **oslot = shared_hash_find_slot_noinsert (set->vars, odv);
3034
3035             oslot = set_slot_part (set, val, oslot, odv, 0,
3036                                    node->init, NULL_RTX);
3037
3038             VALUE_RECURSED_INTO (node->loc) = true;
3039           }
3040       }
3041
3042   return 1;
3043 }
3044
3045 /* Remove redundant entries from equivalence lists in onepart
3046    variables, canonicalizing equivalence sets into star shapes.  */
3047
3048 static int
3049 canonicalize_values_star (void **slot, void *data)
3050 {
3051   dataflow_set *set = (dataflow_set *)data;
3052   variable var = (variable) *slot;
3053   decl_or_value dv = var->dv;
3054   location_chain node;
3055   decl_or_value cdv;
3056   rtx val, cval;
3057   void **cslot;
3058   bool has_value;
3059   bool has_marks;
3060
3061   if (!dv_onepart_p (dv))
3062     return 1;
3063
3064   gcc_assert (var->n_var_parts == 1);
3065
3066   if (dv_is_value_p (dv))
3067     {
3068       cval = dv_as_value (dv);
3069       if (!VALUE_RECURSED_INTO (cval))
3070         return 1;
3071       VALUE_RECURSED_INTO (cval) = false;
3072     }
3073   else
3074     cval = NULL_RTX;
3075
3076  restart:
3077   val = cval;
3078   has_value = false;
3079   has_marks = false;
3080
3081   gcc_assert (var->n_var_parts == 1);
3082
3083   for (node = var->var_part[0].loc_chain; node; node = node->next)
3084     if (GET_CODE (node->loc) == VALUE)
3085       {
3086         has_value = true;
3087         if (VALUE_RECURSED_INTO (node->loc))
3088           has_marks = true;
3089         if (canon_value_cmp (node->loc, cval))
3090           cval = node->loc;
3091       }
3092
3093   if (!has_value)
3094     return 1;
3095
3096   if (cval == val)
3097     {
3098       if (!has_marks || dv_is_decl_p (dv))
3099         return 1;
3100
3101       /* Keep it marked so that we revisit it, either after visiting a
3102          child node, or after visiting a new parent that might be
3103          found out.  */
3104       VALUE_RECURSED_INTO (val) = true;
3105
3106       for (node = var->var_part[0].loc_chain; node; node = node->next)
3107         if (GET_CODE (node->loc) == VALUE
3108             && VALUE_RECURSED_INTO (node->loc))
3109           {
3110             cval = node->loc;
3111           restart_with_cval:
3112             VALUE_RECURSED_INTO (cval) = false;
3113             dv = dv_from_value (cval);
3114             slot = shared_hash_find_slot_noinsert (set->vars, dv);
3115             if (!slot)
3116               {
3117                 gcc_assert (dv_is_decl_p (var->dv));
3118                 /* The canonical value was reset and dropped.
3119                    Remove it.  */
3120                 clobber_variable_part (set, NULL, var->dv, 0, NULL);
3121                 return 1;
3122               }
3123             var = (variable)*slot;
3124             gcc_assert (dv_is_value_p (var->dv));
3125             if (var->n_var_parts == 0)
3126               return 1;
3127             gcc_assert (var->n_var_parts == 1);
3128             goto restart;
3129           }
3130
3131       VALUE_RECURSED_INTO (val) = false;
3132
3133       return 1;
3134     }
3135
3136   /* Push values to the canonical one.  */
3137   cdv = dv_from_value (cval);
3138   cslot = shared_hash_find_slot_noinsert (set->vars, cdv);
3139
3140   for (node = var->var_part[0].loc_chain; node; node = node->next)
3141     if (node->loc != cval)
3142       {
3143         cslot = set_slot_part (set, node->loc, cslot, cdv, 0,
3144                                node->init, NULL_RTX);
3145         if (GET_CODE (node->loc) == VALUE)
3146           {
3147             decl_or_value ndv = dv_from_value (node->loc);
3148
3149             set_variable_part (set, cval, ndv, 0, node->init, NULL_RTX,
3150                                NO_INSERT);
3151
3152             if (canon_value_cmp (node->loc, val))
3153               {
3154                 /* If it could have been a local minimum, it's not any more,
3155                    since it's now neighbor to cval, so it may have to push
3156                    to it.  Conversely, if it wouldn't have prevailed over
3157                    val, then whatever mark it has is fine: if it was to
3158                    push, it will now push to a more canonical node, but if
3159                    it wasn't, then it has already pushed any values it might
3160                    have to.  */
3161                 VALUE_RECURSED_INTO (node->loc) = true;
3162                 /* Make sure we visit node->loc by ensuring we cval is
3163                    visited too.  */
3164                 VALUE_RECURSED_INTO (cval) = true;
3165               }
3166             else if (!VALUE_RECURSED_INTO (node->loc))
3167               /* If we have no need to "recurse" into this node, it's
3168                  already "canonicalized", so drop the link to the old
3169                  parent.  */
3170               clobber_variable_part (set, cval, ndv, 0, NULL);
3171           }
3172         else if (GET_CODE (node->loc) == REG)
3173           {
3174             attrs list = set->regs[REGNO (node->loc)], *listp;
3175
3176             /* Change an existing attribute referring to dv so that it
3177                refers to cdv, removing any duplicate this might
3178                introduce, and checking that no previous duplicates
3179                existed, all in a single pass.  */
3180
3181             while (list)
3182               {
3183                 if (list->offset == 0
3184                     && (dv_as_opaque (list->dv) == dv_as_opaque (dv)
3185                         || dv_as_opaque (list->dv) == dv_as_opaque (cdv)))
3186                   break;
3187
3188                 list = list->next;
3189               }
3190
3191             gcc_assert (list);
3192             if (dv_as_opaque (list->dv) == dv_as_opaque (dv))
3193               {
3194                 list->dv = cdv;
3195                 for (listp = &list->next; (list = *listp); listp = &list->next)
3196                   {
3197                     if (list->offset)
3198                       continue;
3199
3200                     if (dv_as_opaque (list->dv) == dv_as_opaque (cdv))
3201                       {
3202                         *listp = list->next;
3203                         pool_free (attrs_pool, list);
3204                         list = *listp;
3205                         break;
3206                       }
3207
3208                     gcc_assert (dv_as_opaque (list->dv) != dv_as_opaque (dv));
3209                   }
3210               }
3211             else if (dv_as_opaque (list->dv) == dv_as_opaque (cdv))
3212               {
3213                 for (listp = &list->next; (list = *listp); listp = &list->next)
3214                   {
3215                     if (list->offset)
3216                       continue;
3217
3218                     if (dv_as_opaque (list->dv) == dv_as_opaque (dv))
3219                       {
3220                         *listp = list->next;
3221                         pool_free (attrs_pool, list);
3222                         list = *listp;
3223                         break;
3224                       }
3225
3226                     gcc_assert (dv_as_opaque (list->dv) != dv_as_opaque (cdv));
3227                   }
3228               }
3229             else
3230               gcc_unreachable ();
3231
3232 #if ENABLE_CHECKING
3233             while (list)
3234               {
3235                 if (list->offset == 0
3236                     && (dv_as_opaque (list->dv) == dv_as_opaque (dv)
3237                         || dv_as_opaque (list->dv) == dv_as_opaque (cdv)))
3238                   gcc_unreachable ();
3239
3240                 list = list->next;
3241               }
3242 #endif
3243           }
3244       }
3245
3246   if (val)
3247     cslot = set_slot_part (set, val, cslot, cdv, 0,
3248                            VAR_INIT_STATUS_INITIALIZED, NULL_RTX);
3249
3250   slot = clobber_slot_part (set, cval, slot, 0, NULL);
3251
3252   /* Variable may have been unshared.  */
3253   var = (variable)*slot;
3254   gcc_assert (var->n_var_parts && var->var_part[0].loc_chain->loc == cval
3255               && var->var_part[0].loc_chain->next == NULL);
3256
3257   if (VALUE_RECURSED_INTO (cval))
3258     goto restart_with_cval;
3259
3260   return 1;
3261 }
3262
3263 /* Bind one-part variables to the canonical value in an equivalence
3264    set.  Not doing this causes dataflow convergence failure in rare
3265    circumstances, see PR42873.  Unfortunately we can't do this
3266    efficiently as part of canonicalize_values_star, since we may not
3267    have determined or even seen the canonical value of a set when we
3268    get to a variable that references another member of the set.  */
3269
3270 static int
3271 canonicalize_vars_star (void **slot, void *data)
3272 {
3273   dataflow_set *set = (dataflow_set *)data;
3274   variable var = (variable) *slot;
3275   decl_or_value dv = var->dv;
3276   location_chain node;
3277   rtx cval;
3278   decl_or_value cdv;
3279   void **cslot;
3280   variable cvar;
3281   location_chain cnode;
3282
3283   if (!dv_onepart_p (dv) || dv_is_value_p (dv))
3284     return 1;
3285
3286   gcc_assert (var->n_var_parts == 1);
3287
3288   node = var->var_part[0].loc_chain;
3289
3290   if (GET_CODE (node->loc) != VALUE)
3291     return 1;
3292
3293   gcc_assert (!node->next);
3294   cval = node->loc;
3295
3296   /* Push values to the canonical one.  */
3297   cdv = dv_from_value (cval);
3298   cslot = shared_hash_find_slot_noinsert (set->vars, cdv);
3299   if (!cslot)
3300     return 1;
3301   cvar = (variable)*cslot;
3302   gcc_assert (cvar->n_var_parts == 1);
3303
3304   cnode = cvar->var_part[0].loc_chain;
3305
3306   /* CVAL is canonical if its value list contains non-VALUEs or VALUEs
3307      that are not “more canonical” than it.  */
3308   if (GET_CODE (cnode->loc) != VALUE
3309       || !canon_value_cmp (cnode->loc, cval))
3310     return 1;
3311
3312   /* CVAL was found to be non-canonical.  Change the variable to point
3313      to the canonical VALUE.  */
3314   gcc_assert (!cnode->next);
3315   cval = cnode->loc;
3316
3317   slot = set_slot_part (set, cval, slot, dv, 0,
3318                         node->init, node->set_src);
3319   slot = clobber_slot_part (set, cval, slot, 0, node->set_src);
3320
3321   return 1;
3322 }
3323
3324 /* Combine variable or value in *S1SLOT (in DSM->cur) with the
3325    corresponding entry in DSM->src.  Multi-part variables are combined
3326    with variable_union, whereas onepart dvs are combined with
3327    intersection.  */
3328
3329 static int
3330 variable_merge_over_cur (variable s1var, struct dfset_merge *dsm)
3331 {
3332   dataflow_set *dst = dsm->dst;
3333   void **dstslot;
3334   variable s2var, dvar = NULL;
3335   decl_or_value dv = s1var->dv;
3336   bool onepart = dv_onepart_p (dv);
3337   rtx val;
3338   hashval_t dvhash;
3339   location_chain node, *nodep;
3340
3341   /* If the incoming onepart variable has an empty location list, then
3342      the intersection will be just as empty.  For other variables,
3343      it's always union.  */
3344   gcc_assert (s1var->n_var_parts
3345               && s1var->var_part[0].loc_chain);
3346
3347   if (!onepart)
3348     return variable_union (s1var, dst);
3349
3350   gcc_assert (s1var->n_var_parts == 1
3351               && s1var->var_part[0].offset == 0);
3352
3353   dvhash = dv_htab_hash (dv);
3354   if (dv_is_value_p (dv))
3355     val = dv_as_value (dv);
3356   else
3357     val = NULL;
3358
3359   s2var = shared_hash_find_1 (dsm->src->vars, dv, dvhash);
3360   if (!s2var)
3361     {
3362       dst_can_be_shared = false;
3363       return 1;
3364     }
3365
3366   dsm->src_onepart_cnt--;
3367   gcc_assert (s2var->var_part[0].loc_chain
3368               && s2var->n_var_parts == 1
3369               && s2var->var_part[0].offset == 0);
3370
3371   dstslot = shared_hash_find_slot_noinsert_1 (dst->vars, dv, dvhash);
3372   if (dstslot)
3373     {
3374       dvar = (variable)*dstslot;
3375       gcc_assert (dvar->refcount == 1
3376                   && dvar->n_var_parts == 1
3377                   && dvar->var_part[0].offset == 0);
3378       nodep = &dvar->var_part[0].loc_chain;
3379     }
3380   else
3381     {
3382       nodep = &node;
3383       node = NULL;
3384     }
3385
3386   if (!dstslot && !onepart_variable_different_p (s1var, s2var))
3387     {
3388       dstslot = shared_hash_find_slot_unshare_1 (&dst->vars, dv,
3389                                                  dvhash, INSERT);
3390       *dstslot = dvar = s2var;
3391       dvar->refcount++;
3392     }
3393   else
3394     {
3395       dst_can_be_shared = false;
3396
3397       intersect_loc_chains (val, nodep, dsm,
3398                             s1var->var_part[0].loc_chain, s2var);
3399
3400       if (!dstslot)
3401         {
3402           if (node)
3403             {
3404               dvar = (variable) pool_alloc (dv_pool (dv));
3405               dvar->dv = dv;
3406               dvar->refcount = 1;
3407               dvar->n_var_parts = 1;
3408               dvar->cur_loc_changed = false;
3409               dvar->in_changed_variables = false;
3410               dvar->var_part[0].offset = 0;
3411               dvar->var_part[0].loc_chain = node;
3412               dvar->var_part[0].cur_loc = NULL;
3413
3414               dstslot
3415                 = shared_hash_find_slot_unshare_1 (&dst->vars, dv, dvhash,
3416                                                    INSERT);
3417               gcc_assert (!*dstslot);
3418               *dstslot = dvar;
3419             }
3420           else
3421             return 1;
3422         }
3423     }
3424
3425   nodep = &dvar->var_part[0].loc_chain;
3426   while ((node = *nodep))
3427     {
3428       location_chain *nextp = &node->next;
3429
3430       if (GET_CODE (node->loc) == REG)
3431         {
3432           attrs list;
3433
3434           for (list = dst->regs[REGNO (node->loc)]; list; list = list->next)
3435             if (GET_MODE (node->loc) == GET_MODE (list->loc)
3436                 && dv_is_value_p (list->dv))
3437               break;
3438
3439           if (!list)
3440             attrs_list_insert (&dst->regs[REGNO (node->loc)],
3441                                dv, 0, node->loc);
3442           /* If this value became canonical for another value that had
3443              this register, we want to leave it alone.  */
3444           else if (dv_as_value (list->dv) != val)
3445             {
3446               dstslot = set_slot_part (dst, dv_as_value (list->dv),
3447                                        dstslot, dv, 0,
3448                                        node->init, NULL_RTX);
3449               dstslot = delete_slot_part (dst, node->loc, dstslot, 0);
3450
3451               /* Since nextp points into the removed node, we can't
3452                  use it.  The pointer to the next node moved to nodep.
3453                  However, if the variable we're walking is unshared
3454                  during our walk, we'll keep walking the location list
3455                  of the previously-shared variable, in which case the
3456                  node won't have been removed, and we'll want to skip
3457                  it.  That's why we test *nodep here.  */
3458               if (*nodep != node)
3459                 nextp = nodep;
3460             }
3461         }
3462       else
3463         /* Canonicalization puts registers first, so we don't have to
3464            walk it all.  */
3465         break;
3466       nodep = nextp;
3467     }
3468
3469   if (dvar != (variable)*dstslot)
3470     dvar = (variable)*dstslot;
3471   nodep = &dvar->var_part[0].loc_chain;
3472
3473   if (val)
3474     {
3475       /* Mark all referenced nodes for canonicalization, and make sure
3476          we have mutual equivalence links.  */
3477       VALUE_RECURSED_INTO (val) = true;
3478       for (node = *nodep; node; node = node->next)
3479         if (GET_CODE (node->loc) == VALUE)
3480           {
3481             VALUE_RECURSED_INTO (node->loc) = true;
3482             set_variable_part (dst, val, dv_from_value (node->loc), 0,
3483                                node->init, NULL, INSERT);
3484           }
3485
3486       dstslot = shared_hash_find_slot_noinsert_1 (dst->vars, dv, dvhash);
3487       gcc_assert (*dstslot == dvar);
3488       canonicalize_values_star (dstslot, dst);
3489 #ifdef ENABLE_CHECKING
3490       gcc_assert (dstslot
3491                   == shared_hash_find_slot_noinsert_1 (dst->vars, dv, dvhash));
3492 #endif
3493       dvar = (variable)*dstslot;
3494     }
3495   else
3496     {
3497       bool has_value = false, has_other = false;
3498
3499       /* If we have one value and anything else, we're going to
3500          canonicalize this, so make sure all values have an entry in
3501          the table and are marked for canonicalization.  */
3502       for (node = *nodep; node; node = node->next)
3503         {
3504           if (GET_CODE (node->loc) == VALUE)
3505             {
3506               /* If this was marked during register canonicalization,
3507                  we know we have to canonicalize values.  */
3508               if (has_value)
3509                 has_other = true;
3510               has_value = true;
3511               if (has_other)
3512                 break;
3513             }
3514           else
3515             {
3516               has_other = true;
3517               if (has_value)
3518                 break;
3519             }
3520         }
3521
3522       if (has_value && has_other)
3523         {
3524           for (node = *nodep; node; node = node->next)
3525             {
3526               if (GET_CODE (node->loc) == VALUE)
3527                 {
3528                   decl_or_value dv = dv_from_value (node->loc);
3529                   void **slot = NULL;
3530
3531                   if (shared_hash_shared (dst->vars))
3532                     slot = shared_hash_find_slot_noinsert (dst->vars, dv);
3533                   if (!slot)
3534                     slot = shared_hash_find_slot_unshare (&dst->vars, dv,
3535                                                           INSERT);
3536                   if (!*slot)
3537                     {
3538                       variable var = (variable) pool_alloc (dv_pool (dv));
3539                       var->dv = dv;
3540                       var->refcount = 1;
3541                       var->n_var_parts = 1;
3542                       var->cur_loc_changed = false;
3543                       var->in_changed_variables = false;