boehm-gc/misc.c

   1 /*
   2  * Copyright 1988, 1989 Hans-J. Boehm, Alan J. Demers
   3  * Copyright (c) 1991-1994 by Xerox Corporation.  All rights reserved.
   4  * Copyright (c) 1999-2001 by Hewlett-Packard Company. All rights reserved.
   5  *
   6  * THIS MATERIAL IS PROVIDED AS IS, WITH ABSOLUTELY NO WARRANTY EXPRESSED
   7  * OR IMPLIED.  ANY USE IS AT YOUR OWN RISK.
   8  *
   9  * Permission is hereby granted to use or copy this program
  10  * for any purpose,  provided the above notices are retained on all copies.
  11  * Permission to modify the code and to distribute modified code is granted,
  12  * provided the above notices are retained, and a notice that the code was
  13  * modified is included with the above copyright notice.
  14  */
  15 /* Boehm, July 31, 1995 5:02 pm PDT */
  16
  17
  18 #include <stdio.h>
  19 #ifndef _WIN32_WCE
  20 #include <signal.h>
  21 #endif
  22
  23 #define I_HIDE_POINTERS /* To make GC_call_with_alloc_lock visible */
  24 #include "private/gc_pmark.h"
  25
  26 #ifdef GC_SOLARIS_THREADS
  27 # include <sys/syscall.h>
  28 #endif
  29 #if defined(MSWIN32) || defined(MSWINCE)
  30 # define WIN32_LEAN_AND_MEAN
  31 # define NOSERVICE
  32 # include <windows.h>
  33 # include <tchar.h>
  34 #endif
  35
  36 # ifdef THREADS
  37 #   ifdef PCR
  38 #     include "il/PCR_IL.h"
  39       PCR_Th_ML GC_allocate_ml;
  40 #   else
  41 #     ifdef SRC_M3
  42         /* Critical section counter is defined in the M3 runtime        */
  43         /* That's all we use.                                           */
  44 #     else
  45 #       ifdef GC_SOLARIS_THREADS
  46           mutex_t GC_allocate_ml;       /* Implicitly initialized.      */
  47 #       else
  48 #          ifdef GC_WIN32_THREADS
  49 #             if !defined(GC_NOT_DLL) && (defined(_DLL) || defined(GC_DLL))
  50                  __declspec(dllexport) CRITICAL_SECTION GC_allocate_ml;
  51 #             else
  52                  CRITICAL_SECTION GC_allocate_ml;
  53 #             endif
  54 #          else
  55 #             if defined(GC_PTHREADS) && !defined(GC_SOLARIS_THREADS)
  56 #               if defined(USE_SPIN_LOCK)
  57                   pthread_t GC_lock_holder = NO_THREAD;
  58 #               else
  59                   pthread_mutex_t GC_allocate_ml = PTHREAD_MUTEX_INITIALIZER;
  60                   pthread_t GC_lock_holder = NO_THREAD;
  61                         /* Used only for assertions, and to prevent      */
  62                         /* recursive reentry in the system call wrapper. */
  63 #               endif
  64 #             else
  65                   --> declare allocator lock here
  66 #             endif
  67 #          endif
  68 #       endif
  69 #     endif
  70 #   endif
  71 # endif
  72
  73 #if defined(NOSYS) || defined(ECOS)
  74 #undef STACKBASE
  75 #endif
  76
  77 GC_FAR struct _GC_arrays GC_arrays /* = { 0 } */;
  78
  79
  80 GC_bool GC_debugging_started = FALSE;
  81         /* defined here so we don't have to load debug_malloc.o */
  82
  83 void (*GC_check_heap) GC_PROTO((void)) = (void (*) GC_PROTO((void)))0;
  84
  85 void (*GC_start_call_back) GC_PROTO((void)) = (void (*) GC_PROTO((void)))0;
  86
  87 ptr_t GC_stackbottom = 0;
  88
  89 #ifdef IA64
  90   ptr_t GC_register_stackbottom = 0;
  91 #endif
  92
  93 GC_bool GC_dont_gc = 0;
  94
  95 GC_bool GC_dont_precollect = 0;
  96
  97 GC_bool GC_quiet = 0;
  98
  99 GC_bool GC_print_stats = 0;
 100
 101 GC_bool GC_print_back_height = 0;
 102
 103 #ifdef FIND_LEAK
 104   int GC_find_leak = 1;
 105 #else
 106   int GC_find_leak = 0;
 107 #endif
 108
 109 #ifdef ALL_INTERIOR_POINTERS
 110   int GC_all_interior_pointers = 1;
 111 #else
 112   int GC_all_interior_pointers = 0;
 113 #endif
 114
 115 /*ARGSUSED*/
 116 GC_PTR GC_default_oom_fn GC_PROTO((size_t bytes_requested))
 117 {
 118     return(0);
 119 }
 120
 121 GC_PTR (*GC_oom_fn) GC_PROTO((size_t bytes_requested)) = GC_default_oom_fn;
 122
 123 extern signed_word GC_mem_found;
 124
 125 # ifdef MERGE_SIZES
 126     /* Set things up so that GC_size_map[i] >= words(i),                */
 127     /* but not too much bigger                                          */
 128     /* and so that size_map contains relatively few distinct entries    */
 129     /* This is stolen from Russ Atkinson's Cedar quantization           */
 130     /* alogrithm (but we precompute it).                                */
 131
 132
 133     void GC_init_size_map()
 134     {
 135         register unsigned i;
 136
 137         /* Map size 0 to something bigger.                      */
 138         /* This avoids problems at lower levels.                */
 139         /* One word objects don't have to be 2 word aligned,    */
 140         /* unless we're using mark bytes.                       */
 141           for (i = 0; i < sizeof(word); i++) {
 142               GC_size_map[i] = MIN_WORDS;
 143           }
 144 #         if MIN_WORDS > 1
 145             GC_size_map[sizeof(word)] = MIN_WORDS;
 146 #         else
 147             GC_size_map[sizeof(word)] = ROUNDED_UP_WORDS(sizeof(word));
 148 #         endif
 149         for (i = sizeof(word) + 1; i <= 8 * sizeof(word); i++) {
 150             GC_size_map[i] = ALIGNED_WORDS(i);
 151         }
 152         for (i = 8*sizeof(word) + 1; i <= 16 * sizeof(word); i++) {
 153               GC_size_map[i] = (ROUNDED_UP_WORDS(i) + 1) & (~1);
 154         }
 155 #       ifdef GC_GCJ_SUPPORT
 156            /* Make all sizes up to 32 words predictable, so that a      */
 157            /* compiler can statically perform the same computation,     */
 158            /* or at least a computation that results in similar size    */
 159            /* classes.                                                  */
 160            for (i = 16*sizeof(word) + 1; i <= 32 * sizeof(word); i++) {
 161               GC_size_map[i] = (ROUNDED_UP_WORDS(i) + 3) & (~3);
 162            }
 163 #       endif
 164         /* We leave the rest of the array to be filled in on demand. */
 165     }
 166
 167     /* Fill in additional entries in GC_size_map, including the ith one */
 168     /* We assume the ith entry is currently 0.                          */
 169     /* Note that a filled in section of the array ending at n always    */
 170     /* has length at least n/4.                                         */
 171     void GC_extend_size_map(i)
 172     word i;
 173     {
 174         word orig_word_sz = ROUNDED_UP_WORDS(i);
 175         word word_sz = orig_word_sz;
 176         register word byte_sz = WORDS_TO_BYTES(word_sz);
 177                                 /* The size we try to preserve.         */
 178                                 /* Close to to i, unless this would     */
 179                                 /* introduce too many distinct sizes.   */
 180         word smaller_than_i = byte_sz - (byte_sz >> 3);
 181         word much_smaller_than_i = byte_sz - (byte_sz >> 2);
 182         register word low_limit;        /* The lowest indexed entry we  */
 183                                         /* initialize.                  */
 184         register word j;
 185
 186         if (GC_size_map[smaller_than_i] == 0) {
 187             low_limit = much_smaller_than_i;
 188             while (GC_size_map[low_limit] != 0) low_limit++;
 189         } else {
 190             low_limit = smaller_than_i + 1;
 191             while (GC_size_map[low_limit] != 0) low_limit++;
 192             word_sz = ROUNDED_UP_WORDS(low_limit);
 193             word_sz += word_sz >> 3;
 194             if (word_sz < orig_word_sz) word_sz = orig_word_sz;
 195         }
 196 #       ifdef ALIGN_DOUBLE
 197             word_sz += 1;
 198             word_sz &= ~1;
 199 #       endif
 200         if (word_sz > MAXOBJSZ) {
 201             word_sz = MAXOBJSZ;
 202         }
 203         /* If we can fit the same number of larger objects in a block,  */
 204         /* do so.                                                       */
 205         {
 206             size_t number_of_objs = BODY_SZ/word_sz;
 207             word_sz = BODY_SZ/number_of_objs;
 208 #           ifdef ALIGN_DOUBLE
 209                 word_sz &= ~1;
 210 #           endif
 211         }
 212         byte_sz = WORDS_TO_BYTES(word_sz);
 213         if (GC_all_interior_pointers) {
 214             /* We need one extra byte; don't fill in GC_size_map[byte_sz] */
 215             byte_sz--;
 216         }
 217
 218         for (j = low_limit; j <= byte_sz; j++) GC_size_map[j] = word_sz;
 219     }
 220 # endif
 221
 222
 223 /*
 224  * The following is a gross hack to deal with a problem that can occur
 225  * on machines that are sloppy about stack frame sizes, notably SPARC.
 226  * Bogus pointers may be written to the stack and not cleared for
 227  * a LONG time, because they always fall into holes in stack frames
 228  * that are not written.  We partially address this by clearing
 229  * sections of the stack whenever we get control.
 230  */
 231 word GC_stack_last_cleared = 0; /* GC_no when we last did this */
 232 # ifdef THREADS
 233 #   define BIG_CLEAR_SIZE 2048  /* Clear this much now and then.        */
 234 #   define SMALL_CLEAR_SIZE 256 /* Clear this much every time.          */
 235 # endif
 236 # define CLEAR_SIZE 213  /* Granularity for GC_clear_stack_inner */
 237 # define DEGRADE_RATE 50
 238
 239 word GC_min_sp;         /* Coolest stack pointer value from which we've */
 240                         /* already cleared the stack.                   */
 241
 242 word GC_high_water;
 243                         /* "hottest" stack pointer value we have seen   */
 244                         /* recently.  Degrades over time.               */
 245
 246 word GC_words_allocd_at_reset;
 247
 248 #if defined(ASM_CLEAR_CODE)
 249   extern ptr_t GC_clear_stack_inner();
 250 #else
 251 /* Clear the stack up to about limit.  Return arg. */
 252 /*ARGSUSED*/
 253 ptr_t GC_clear_stack_inner(arg, limit)
 254 ptr_t arg;
 255 word limit;
 256 {
 257     word dummy[CLEAR_SIZE];
 258
 259     BZERO(dummy, CLEAR_SIZE*sizeof(word));
 260     if ((word)(dummy) COOLER_THAN limit) {
 261         (void) GC_clear_stack_inner(arg, limit);
 262     }
 263     /* Make sure the recursive call is not a tail call, and the bzero   */
 264     /* call is not recognized as dead code.                             */
 265     GC_noop1((word)dummy);
 266     return(arg);
 267 }
 268 #endif
 269
 270 /* Clear some of the inaccessible part of the stack.  Returns its       */
 271 /* argument, so it can be used in a tail call position, hence clearing  */
 272 /* another frame.                                                       */
 273 ptr_t GC_clear_stack(arg)
 274 ptr_t arg;
 275 {
 276     register word sp = (word)GC_approx_sp();  /* Hotter than actual sp */
 277 #   ifdef THREADS
 278         word dummy[SMALL_CLEAR_SIZE];
 279         static unsigned random_no = 0;
 280                                  /* Should be more random than it is ... */
 281                                  /* Used to occasionally clear a bigger  */
 282                                  /* chunk.                               */
 283 #   endif
 284     register word limit;
 285
 286 #   define SLOP 400
 287         /* Extra bytes we clear every time.  This clears our own        */
 288         /* activation record, and should cause more frequent            */
 289         /* clearing near the cold end of the stack, a good thing.       */
 290 #   define GC_SLOP 4000
 291         /* We make GC_high_water this much hotter than we really saw    */
 292         /* saw it, to cover for GC noise etc. above our current frame.  */
 293 #   define CLEAR_THRESHOLD 100000
 294         /* We restart the clearing process after this many bytes of     */
 295         /* allocation.  Otherwise very heavily recursive programs       */
 296         /* with sparse stacks may result in heaps that grow almost      */
 297         /* without bounds.  As the heap gets larger, collection         */
 298         /* frequency decreases, thus clearing frequency would decrease, */
 299         /* thus more junk remains accessible, thus the heap gets        */
 300         /* larger ...                                                   */
 301 # ifdef THREADS
 302     if (++random_no % 13 == 0) {
 303         limit = sp;
 304         MAKE_HOTTER(limit, BIG_CLEAR_SIZE*sizeof(word));
 305         limit &= ~0xf;  /* Make it sufficiently aligned for assembly    */
 306                         /* implementations of GC_clear_stack_inner.     */
 307         return GC_clear_stack_inner(arg, limit);
 308     } else {
 309         BZERO(dummy, SMALL_CLEAR_SIZE*sizeof(word));
 310         return arg;
 311     }
 312 # else
 313     if (GC_gc_no > GC_stack_last_cleared) {
 314         /* Start things over, so we clear the entire stack again */
 315         if (GC_stack_last_cleared == 0) GC_high_water = (word) GC_stackbottom;
 316         GC_min_sp = GC_high_water;
 317         GC_stack_last_cleared = GC_gc_no;
 318         GC_words_allocd_at_reset = GC_words_allocd;
 319     }
 320     /* Adjust GC_high_water */
 321         MAKE_COOLER(GC_high_water, WORDS_TO_BYTES(DEGRADE_RATE) + GC_SLOP);
 322         if (sp HOTTER_THAN GC_high_water) {
 323             GC_high_water = sp;
 324         }
 325         MAKE_HOTTER(GC_high_water, GC_SLOP);
 326     limit = GC_min_sp;
 327     MAKE_HOTTER(limit, SLOP);
 328     if (sp COOLER_THAN limit) {
 329         limit &= ~0xf;  /* Make it sufficiently aligned for assembly    */
 330                         /* implementations of GC_clear_stack_inner.     */
 331         GC_min_sp = sp;
 332         return(GC_clear_stack_inner(arg, limit));
 333     } else if (WORDS_TO_BYTES(GC_words_allocd - GC_words_allocd_at_reset)
 334                > CLEAR_THRESHOLD) {
 335         /* Restart clearing process, but limit how much clearing we do. */
 336         GC_min_sp = sp;
 337         MAKE_HOTTER(GC_min_sp, CLEAR_THRESHOLD/4);
 338         if (GC_min_sp HOTTER_THAN GC_high_water) GC_min_sp = GC_high_water;
 339         GC_words_allocd_at_reset = GC_words_allocd;
 340     }
 341     return(arg);
 342 # endif
 343 }
 344
 345
 346 /* Return a pointer to the base address of p, given a pointer to a      */
 347 /* an address within an object.  Return 0 o.w.                          */
 348 # ifdef __STDC__
 349     GC_PTR GC_base(GC_PTR p)
 350 # else
 351     GC_PTR GC_base(p)
 352     GC_PTR p;
 353 # endif
 354 {
 355     register word r;
 356     register struct hblk *h;
 357     register bottom_index *bi;
 358     register hdr *candidate_hdr;
 359     register word limit;
 360
 361     r = (word)p;
 362     if (!GC_is_initialized) return 0;
 363     h = HBLKPTR(r);
 364     GET_BI(r, bi);
 365     candidate_hdr = HDR_FROM_BI(bi, r);
 366     if (candidate_hdr == 0) return(0);
 367     /* If it's a pointer to the middle of a large object, move it       */
 368     /* to the beginning.                                                */
 369         while (IS_FORWARDING_ADDR_OR_NIL(candidate_hdr)) {
 370            h = FORWARDED_ADDR(h,candidate_hdr);
 371            r = (word)h;
 372            candidate_hdr = HDR(h);
 373         }
 374     if (candidate_hdr -> hb_map == GC_invalid_map) return(0);
 375     /* Make sure r points to the beginning of the object */
 376         r &= ~(WORDS_TO_BYTES(1) - 1);
 377         {
 378             register int offset = HBLKDISPL(r);
 379             register signed_word sz = candidate_hdr -> hb_sz;
 380             register signed_word map_entry;
 381
 382             map_entry = MAP_ENTRY((candidate_hdr -> hb_map), offset);
 383             if (map_entry > CPP_MAX_OFFSET) {
 384                 map_entry = (signed_word)(BYTES_TO_WORDS(offset)) % sz;
 385             }
 386             r -= WORDS_TO_BYTES(map_entry);
 387             limit = r + WORDS_TO_BYTES(sz);
 388             if (limit > (word)(h + 1)
 389                 && sz <= BYTES_TO_WORDS(HBLKSIZE)) {
 390                 return(0);
 391             }
 392             if ((word)p >= limit) return(0);
 393         }
 394     return((GC_PTR)r);
 395 }
 396
 397
 398 /* Return the size of an object, given a pointer to its base.           */
 399 /* (For small obects this also happens to work from interior pointers,  */
 400 /* but that shouldn't be relied upon.)                                  */
 401 # ifdef __STDC__
 402     size_t GC_size(GC_PTR p)
 403 # else
 404     size_t GC_size(p)
 405     GC_PTR p;
 406 # endif
 407 {
 408     register int sz;
 409     register hdr * hhdr = HDR(p);
 410
 411     sz = WORDS_TO_BYTES(hhdr -> hb_sz);
 412     return(sz);
 413 }
 414
 415 size_t GC_get_heap_size GC_PROTO(())
 416 {
 417     return ((size_t) GC_heapsize);
 418 }
 419
 420 size_t GC_get_free_bytes GC_PROTO(())
 421 {
 422     return ((size_t) GC_large_free_bytes);
 423 }
 424
 425 size_t GC_get_bytes_since_gc GC_PROTO(())
 426 {
 427     return ((size_t) WORDS_TO_BYTES(GC_words_allocd));
 428 }
 429
 430 size_t GC_get_total_bytes GC_PROTO(())
 431 {
 432     return ((size_t) WORDS_TO_BYTES(GC_words_allocd+GC_words_allocd_before_gc));
 433 }
 434
 435 GC_bool GC_is_initialized = FALSE;
 436
 437 void GC_init()
 438 {
 439     DCL_LOCK_STATE;
 440
 441     DISABLE_SIGNALS();
 442
 443 #ifdef MSWIN32
 444     if (!GC_is_initialized) InitializeCriticalSection(&GC_allocate_ml);
 445 #endif /* MSWIN32 */
 446
 447     LOCK();
 448     GC_init_inner();
 449     UNLOCK();
 450     ENABLE_SIGNALS();
 451
 452 #   if defined(PARALLEL_MARK) || defined(THREAD_LOCAL_ALLOC)
 453         /* Make sure marker threads and started and thread local */
 454         /* allocation is initialized, in case we didn't get      */
 455         /* called from GC_init_parallel();                       */
 456         {
 457           extern void GC_init_parallel(void);
 458           GC_init_parallel();
 459         }
 460 #   endif /* PARALLEL_MARK || THREAD_LOCAL_ALLOC */
 461 }
 462
 463 #if defined(MSWIN32) || defined(MSWINCE)
 464     CRITICAL_SECTION GC_write_cs;
 465 #endif
 466
 467 #ifdef MSWIN32
 468     extern void GC_init_win32 GC_PROTO((void));
 469 #endif
 470
 471 extern void GC_setpagesize();
 472
 473 #ifdef UNIX_LIKE
 474
 475 extern void GC_set_and_save_fault_handler GC_PROTO((void (*handler)(int)));
 476
 477 static void looping_handler(sig)
 478 int sig;
 479 {
 480     GC_err_printf1("Caught signal %d: looping in handler\n", sig);
 481     for(;;);
 482 }
 483 #endif
 484
 485 #ifdef MSWIN32
 486 extern GC_bool GC_no_win32_dlls;
 487 #else
 488 # define GC_no_win32_dlls FALSE
 489 #endif
 490
 491 void GC_init_inner()
 492 {
 493 #   if !defined(THREADS) && defined(GC_ASSERTIONS)
 494         word dummy;
 495 #   endif
 496     word initial_heap_sz = (word)MINHINCR;
 497
 498     if (GC_is_initialized) return;
 499 #   ifdef PRINTSTATS
 500       GC_print_stats = 1;
 501 #   endif
 502     if (0 != GETENV("GC_PRINT_STATS")) {
 503       GC_print_stats = 1;
 504     }
 505     if (0 != GETENV("GC_FIND_LEAK")) {
 506       GC_find_leak = 1;
 507     }
 508     if (0 != GETENV("GC_ALL_INTERIOR_POINTERS")) {
 509       GC_all_interior_pointers = 1;
 510     }
 511     if (0 != GETENV("GC_DONT_GC")) {
 512       GC_dont_gc = 1;
 513     }
 514     if (0 != GETENV("GC_PRINT_BACK_HEIGHT")) {
 515       GC_print_back_height = 1;
 516     }
 517     {
 518       char * time_limit_string = GETENV("GC_PAUSE_TIME_TARGET");
 519       if (0 != time_limit_string) {
 520         long time_limit;
 521         if (time_limit_string != 0) time_limit = atol(time_limit_string);
 522         if (time_limit < 5) {
 523           WARN("GC_PAUSE_TIME_TARGET environment variable value too small "
 524                "or bad syntax: Ignoring\n", 0);
 525         } else {
 526           GC_time_limit = time_limit;
 527         }
 528       }
 529     }
 530 #   ifdef UNIX_LIKE
 531       if (0 != GETENV("GC_LOOP_ON_ABORT")) {
 532         GC_set_and_save_fault_handler(looping_handler);
 533       }
 534 #   endif
 535     /* Adjust normal object descriptor for extra allocation.    */
 536     if (ALIGNMENT > GC_DS_TAGS && EXTRA_BYTES != 0) {
 537       GC_obj_kinds[NORMAL].ok_descriptor = ((word)(-ALIGNMENT) | GC_DS_LENGTH);
 538     }
 539 #   if defined(MSWIN32) || defined(MSWINCE)
 540         InitializeCriticalSection(&GC_write_cs);
 541 #   endif
 542     GC_setpagesize();
 543     GC_exclude_static_roots(beginGC_arrays, endGC_arrays);
 544     GC_exclude_static_roots(beginGC_obj_kinds, endGC_obj_kinds);
 545 #   ifdef SEPARATE_GLOBALS
 546       GC_exclude_static_roots(beginGC_objfreelist, endGC_objfreelist);
 547       GC_exclude_static_roots(beginGC_aobjfreelist, endGC_aobjfreelist);
 548 #   endif
 549 #   ifdef MSWIN32
 550         GC_init_win32();
 551 #   endif
 552 #   if defined(SEARCH_FOR_DATA_START)
 553         GC_init_linux_data_start();
 554 #   endif
 555 #   if (defined(NETBSD) || defined(OPENBSD)) && defined(__ELF__)
 556         GC_init_netbsd_elf();
 557 #   endif
 558 #   if defined(GC_PTHREADS) || defined(GC_SOLARIS_THREADS)
 559         GC_thr_init();
 560 #   endif
 561 #   ifdef GC_SOLARIS_THREADS
 562         /* We need dirty bits in order to find live stack sections.     */
 563         GC_dirty_init();
 564 #   endif
 565 #   if !defined(THREADS) || defined(GC_PTHREADS) || defined(GC_WIN32_THREADS) \
 566         || defined(GC_SOLARIS_THREADS)
 567       if (GC_stackbottom == 0) {
 568         GC_stackbottom = GC_get_stack_base();
 569 #       if defined(LINUX) && defined(IA64)
 570           GC_register_stackbottom = GC_get_register_stack_base();
 571 #       endif
 572       }
 573 #   endif
 574     GC_ASSERT(sizeof (ptr_t) == sizeof(word));
 575     GC_ASSERT(sizeof (signed_word) == sizeof(word));
 576     GC_ASSERT(sizeof (struct hblk) == HBLKSIZE);
 577 #   ifndef THREADS
 578 #     if defined(STACK_GROWS_UP) && defined(STACK_GROWS_DOWN)
 579         ABORT(
 580           "Only one of STACK_GROWS_UP and STACK_GROWS_DOWN should be defd\n");
 581 #     endif
 582 #     if !defined(STACK_GROWS_UP) && !defined(STACK_GROWS_DOWN)
 583         ABORT(
 584           "One of STACK_GROWS_UP and STACK_GROWS_DOWN should be defd\n");
 585 #     endif
 586 #     ifdef STACK_GROWS_DOWN
 587         GC_ASSERT((word)(&dummy) <= (word)GC_stackbottom);
 588 #     else
 589         GC_ASSERT((word)(&dummy) >= (word)GC_stackbottom);
 590 #     endif
 591 #   endif
 592 #   if !defined(_AUX_SOURCE) || defined(__GNUC__)
 593       GC_ASSERT((word)(-1) > (word)0);
 594       /* word should be unsigned */
 595 #   endif
 596     GC_ASSERT((signed_word)(-1) < (signed_word)0);
 597
 598     /* Add initial guess of root sets.  Do this first, since sbrk(0)    */
 599     /* might be used.                                                   */
 600       GC_register_data_segments();
 601     GC_init_headers();
 602     GC_bl_init();
 603     GC_mark_init();
 604     {
 605         char * sz_str = GETENV("GC_INITIAL_HEAP_SIZE");
 606         if (sz_str != NULL) {
 607           initial_heap_sz = atoi(sz_str);
 608           if (initial_heap_sz <= MINHINCR * HBLKSIZE) {
 609             WARN("Bad initial heap size %s - ignoring it.\n",
 610                  sz_str);
 611           }
 612           initial_heap_sz = divHBLKSZ(initial_heap_sz);
 613         }
 614     }
 615     if (!GC_expand_hp_inner(initial_heap_sz)) {
 616         GC_err_printf0("Can't start up: not enough memory\n");
 617         EXIT();
 618     }
 619     /* Preallocate large object map.  It's otherwise inconvenient to    */
 620     /* deal with failure.                                               */
 621       if (!GC_add_map_entry((word)0)) {
 622         GC_err_printf0("Can't start up: not enough memory\n");
 623         EXIT();
 624       }
 625     GC_register_displacement_inner(0L);
 626 #   ifdef MERGE_SIZES
 627       GC_init_size_map();
 628 #   endif
 629 #   ifdef PCR
 630       if (PCR_IL_Lock(PCR_Bool_false, PCR_allSigsBlocked, PCR_waitForever)
 631           != PCR_ERes_okay) {
 632           ABORT("Can't lock load state\n");
 633       } else if (PCR_IL_Unlock() != PCR_ERes_okay) {
 634           ABORT("Can't unlock load state\n");
 635       }
 636       PCR_IL_Unlock();
 637       GC_pcr_install();
 638 #   endif
 639 #   if !defined(SMALL_CONFIG)
 640       if (!GC_no_win32_dlls && 0 != GETENV("GC_ENABLE_INCREMENTAL")) {
 641         GC_ASSERT(!GC_incremental);
 642         GC_setpagesize();
 643 #       ifndef GC_SOLARIS_THREADS
 644           GC_dirty_init();
 645 #       endif
 646         GC_ASSERT(GC_words_allocd == 0)
 647         GC_incremental = TRUE;
 648       }
 649 #   endif /* !SMALL_CONFIG */
 650     /* Get black list set up and/or incrmental GC started */
 651       if (!GC_dont_precollect || GC_incremental) GC_gcollect_inner();
 652     GC_is_initialized = TRUE;
 653 #   ifdef STUBBORN_ALLOC
 654         GC_stubborn_init();
 655 #   endif
 656     /* Convince lint that some things are used */
 657 #   ifdef LINT
 658       {
 659           extern char * GC_copyright[];
 660           extern int GC_read();
 661           extern void GC_register_finalizer_no_order();
 662
 663           GC_noop(GC_copyright, GC_find_header,
 664                   GC_push_one, GC_call_with_alloc_lock, GC_read,
 665                   GC_dont_expand,
 666 #                 ifndef NO_DEBUGGING
 667                     GC_dump,
 668 #                 endif
 669                   GC_register_finalizer_no_order);
 670       }
 671 #   endif
 672 }
 673
 674 void GC_enable_incremental GC_PROTO(())
 675 {
 676 # if !defined(SMALL_CONFIG)
 677   if (!GC_find_leak) {
 678     DCL_LOCK_STATE;
 679
 680     DISABLE_SIGNALS();
 681     LOCK();
 682     if (GC_incremental) goto out;
 683     GC_setpagesize();
 684     if (GC_no_win32_dlls) goto out;
 685 #   ifndef GC_SOLARIS_THREADS
 686         GC_dirty_init();
 687 #   endif
 688     if (!GC_is_initialized) {
 689         GC_init_inner();
 690     }
 691     if (GC_incremental) goto out;
 692     if (GC_dont_gc) {
 693         /* Can't easily do it. */
 694         UNLOCK();
 695         ENABLE_SIGNALS();
 696         return;
 697     }
 698     if (GC_words_allocd > 0) {
 699         /* There may be unmarked reachable objects      */
 700         GC_gcollect_inner();
 701     }   /* else we're OK in assuming everything's       */
 702         /* clean since nothing can point to an          */
 703         /* unmarked object.                             */
 704     GC_read_dirty();
 705     GC_incremental = TRUE;
 706 out:
 707     UNLOCK();
 708     ENABLE_SIGNALS();
 709   }
 710 # endif
 711 }
 712
 713
 714 #if defined(MSWIN32) || defined(MSWINCE)
 715 # define LOG_FILE _T("gc.log")
 716
 717   HANDLE GC_stdout = 0;
 718
 719   void GC_deinit()
 720   {
 721       if (GC_is_initialized) {
 722         DeleteCriticalSection(&GC_write_cs);
 723       }
 724   }
 725
 726   int GC_write(buf, len)
 727   GC_CONST char * buf;
 728   size_t len;
 729   {
 730       BOOL tmp;
 731       DWORD written;
 732       if (len == 0)
 733           return 0;
 734       EnterCriticalSection(&GC_write_cs);
 735       if (GC_stdout == INVALID_HANDLE_VALUE) {
 736           return -1;
 737       } else if (GC_stdout == 0) {
 738           GC_stdout = CreateFile(LOG_FILE, GENERIC_WRITE,
 739                                  FILE_SHARE_READ | FILE_SHARE_WRITE,
 740                                  NULL, CREATE_ALWAYS, FILE_FLAG_WRITE_THROUGH,
 741                                  NULL);
 742           if (GC_stdout == INVALID_HANDLE_VALUE) ABORT("Open of log file failed");
 743       }
 744       tmp = WriteFile(GC_stdout, buf, len, &written, NULL);
 745       if (!tmp)
 746           DebugBreak();
 747       LeaveCriticalSection(&GC_write_cs);
 748       return tmp ? (int)written : -1;
 749   }
 750
 751 #endif
 752
 753 #if defined(OS2) || defined(MACOS)
 754 FILE * GC_stdout = NULL;
 755 FILE * GC_stderr = NULL;
 756 int GC_tmp;  /* Should really be local ... */
 757
 758   void GC_set_files()
 759   {
 760       if (GC_stdout == NULL) {
 761         GC_stdout = stdout;
 762     }
 763     if (GC_stderr == NULL) {
 764         GC_stderr = stderr;
 765     }
 766   }
 767 #endif
 768
 769 #if !defined(OS2) && !defined(MACOS) && !defined(MSWIN32) && !defined(MSWINCE)
 770   int GC_stdout = 1;
 771   int GC_stderr = 2;
 772 # if !defined(AMIGA)
 773 #   include <unistd.h>
 774 # endif
 775 #endif
 776
 777 #if !defined(MSWIN32) && !defined(MSWINCE) && !defined(OS2) \
 778     && !defined(MACOS)  && !defined(ECOS) && !defined(NOSYS)
 779 int GC_write(fd, buf, len)
 780 int fd;
 781 GC_CONST char *buf;
 782 size_t len;
 783 {
 784      register int bytes_written = 0;
 785      register int result;
 786
 787      while (bytes_written < len) {
 788 #       ifdef GC_SOLARIS_THREADS
 789             result = syscall(SYS_write, fd, buf + bytes_written,
 790                                             len - bytes_written);
 791 #       else
 792             result = write(fd, buf + bytes_written, len - bytes_written);
 793 #       endif
 794         if (-1 == result) return(result);
 795         bytes_written += result;
 796     }
 797     return(bytes_written);
 798 }
 799 #endif /* UN*X */
 800
 801 #ifdef ECOS
 802 int GC_write(fd, buf, len)
 803 {
 804   _Jv_diag_write (buf, len);
 805   return len;
 806 }
 807 #endif
 808
 809 #ifdef NOSYS
 810 int GC_write(fd, buf, len)
 811 {
 812   /* No writing.  */
 813   return len;
 814 }
 815 #endif
 816
 817
 818 #if defined(MSWIN32) || defined(MSWINCE)
 819 #   define WRITE(f, buf, len) GC_write(buf, len)
 820 #else
 821 #   if defined(OS2) || defined(MACOS)
 822 #   define WRITE(f, buf, len) (GC_set_files(), \
 823                                GC_tmp = fwrite((buf), 1, (len), (f)), \
 824                                fflush(f), GC_tmp)
 825 #   else
 826 #     define WRITE(f, buf, len) GC_write((f), (buf), (len))
 827 #   endif
 828 #endif
 829
 830 /* A version of printf that is unlikely to call malloc, and is thus safer */
 831 /* to call from the collector in case malloc has been bound to GC_malloc. */
 832 /* Assumes that no more than 1023 characters are written at once.         */
 833 /* Assumes that all arguments have been converted to something of the     */
 834 /* same size as long, and that the format conversions expect something    */
 835 /* of that size.                                                          */
 836 void GC_printf(format, a, b, c, d, e, f)
 837 GC_CONST char * format;
 838 long a, b, c, d, e, f;
 839 {
 840     char buf[1025];
 841
 842     if (GC_quiet) return;
 843     buf[1024] = 0x15;
 844     (void) sprintf(buf, format, a, b, c, d, e, f);
 845     if (buf[1024] != 0x15) ABORT("GC_printf clobbered stack");
 846     if (WRITE(GC_stdout, buf, strlen(buf)) < 0) ABORT("write to stdout failed");
 847 }
 848
 849 void GC_err_printf(format, a, b, c, d, e, f)
 850 GC_CONST char * format;
 851 long a, b, c, d, e, f;
 852 {
 853     char buf[1025];
 854
 855     buf[1024] = 0x15;
 856     (void) sprintf(buf, format, a, b, c, d, e, f);
 857     if (buf[1024] != 0x15) ABORT("GC_err_printf clobbered stack");
 858     if (WRITE(GC_stderr, buf, strlen(buf)) < 0) ABORT("write to stderr failed");
 859 }
 860
 861 void GC_err_puts(s)
 862 GC_CONST char *s;
 863 {
 864     if (WRITE(GC_stderr, s, strlen(s)) < 0) ABORT("write to stderr failed");
 865 }
 866
 867 #if defined(LINUX) && !defined(SMALL_CONFIG)
 868 void GC_err_write(buf, len)
 869 GC_CONST char *buf;
 870 size_t len;
 871 {
 872     if (WRITE(GC_stderr, buf, len) < 0) ABORT("write to stderr failed");
 873 }
 874 #endif
 875
 876 # if defined(__STDC__) || defined(__cplusplus)
 877     void GC_default_warn_proc(char *msg, GC_word arg)
 878 # else
 879     void GC_default_warn_proc(msg, arg)
 880     char *msg;
 881     GC_word arg;
 882 # endif
 883 {
 884     GC_err_printf1(msg, (unsigned long)arg);
 885 }
 886
 887 GC_warn_proc GC_current_warn_proc = GC_default_warn_proc;
 888
 889 # if defined(__STDC__) || defined(__cplusplus)
 890     GC_warn_proc GC_set_warn_proc(GC_warn_proc p)
 891 # else
 892     GC_warn_proc GC_set_warn_proc(p)
 893     GC_warn_proc p;
 894 # endif
 895 {
 896     GC_warn_proc result;
 897
 898     LOCK();
 899     result = GC_current_warn_proc;
 900     GC_current_warn_proc = p;
 901     UNLOCK();
 902     return(result);
 903 }
 904
 905
 906 #ifndef PCR
 907 void GC_abort(msg)
 908 GC_CONST char * msg;
 909 {
 910 #   if defined(MSWIN32)
 911       (void) MessageBoxA(NULL, msg, "Fatal error in gc", MB_ICONERROR|MB_OK);
 912       DebugBreak();
 913 #   else
 914       GC_err_printf1("%s\n", msg);
 915 #   endif
 916     if (GETENV("GC_LOOP_ON_ABORT") != NULL) {
 917             /* In many cases it's easier to debug a running process.    */
 918             /* It's arguably nicer to sleep, but that makes it harder   */
 919             /* to look at the thread if the debugger doesn't know much  */
 920             /* about threads.                                           */
 921             for(;;) {}
 922     }
 923 #   ifdef MSWIN32
 924         DebugBreak();
 925 #   else
 926         (void) abort();
 927 #   endif
 928 }
 929 #endif
 930
 931 #ifdef NEED_CALLINFO
 932
 933 #ifdef HAVE_BUILTIN_BACKTRACE
 934 # include <execinfo.h>
 935 # ifdef LINUX
 936 #   include <unistd.h>
 937 # endif
 938 #endif
 939
 940 void GC_print_callers (info)
 941 struct callinfo info[NFRAMES];
 942 {
 943     register int i;
 944
 945 #   if NFRAMES == 1
 946       GC_err_printf0("\tCaller at allocation:\n");
 947 #   else
 948       GC_err_printf0("\tCall chain at allocation:\n");
 949 #   endif
 950     for (i = 0; i < NFRAMES; i++) {
 951         if (info[i].ci_pc == 0) break;
 952 #       if NARGS > 0
 953         {
 954           int j;
 955
 956           GC_err_printf0("\t\targs: ");
 957           for (j = 0; j < NARGS; j++) {
 958             if (j != 0) GC_err_printf0(", ");
 959             GC_err_printf2("%d (0x%X)", ~(info[i].ci_arg[j]),
 960                                         ~(info[i].ci_arg[j]));
 961           }
 962           GC_err_printf0("\n");
 963         }
 964 #       endif
 965 #       if defined(HAVE_BUILTIN_BACKTRACE) && !defined(REDIRECT_MALLOC)
 966           /* Unfortunately backtrace_symbols calls malloc, which makes  */
 967           /* it dangersous if that has been redirected.                 */
 968           {
 969             char **sym_name =
 970               backtrace_symbols((void **)(&(info[i].ci_pc)), 1);
 971             char *name = sym_name[0];
 972             GC_bool found_it = (strchr(name, '(') != 0);
 973             FILE *pipe;
 974 #           ifdef LINUX
 975               if (!found_it) {
 976 #               define EXE_SZ 100
 977                 static char exe_name[EXE_SZ];
 978 #               define CMD_SZ 200
 979                 char cmd_buf[CMD_SZ];
 980 #               define RESULT_SZ 200
 981                 static char result_buf[RESULT_SZ];
 982                 size_t result_len;
 983                 static GC_bool found_exe_name = FALSE;
 984                 static GC_bool will_fail = FALSE;
 985                 int ret_code;
 986                 /* Unfortunately, this is the common case for the       */
 987                 /* main executable.                                     */
 988                 /* Try to get it via a hairy and expensive scheme.      */
 989                 /* First we get the name of the executable:             */
 990                 if (will_fail) goto out;
 991                 if (!found_exe_name) {
 992                   ret_code = readlink("/proc/self/exe", exe_name, EXE_SZ);
 993                   if (ret_code < 0 || ret_code >= EXE_SZ || exe_name[0] != '/') {
 994                     will_fail = TRUE;   /* Dont try again. */
 995                     goto out;
 996                   }
 997                   exe_name[ret_code] = '\0';
 998                   found_exe_name = TRUE;
 999                 }
1000                 /* Then we use popen to start addr2line -e <exe> <addr> */
1001                 /* There are faster ways to do this, but hopefully this */
1002                 /* isn't time critical.                                 */
1003                 sprintf(cmd_buf, "/usr/bin/addr2line -e %s 0x%lx", exe_name,
1004                                  (unsigned long)info[i].ci_pc);
1005                 pipe = popen(cmd_buf, "r");
1006                 if (pipe < 0 || fgets(result_buf, RESULT_SZ, pipe) == 0) {
1007                   will_fail = TRUE;
1008                   goto out;
1009                 }
1010                 result_len = strlen(result_buf);
1011                 if (result_buf[result_len - 1] == '\n') --result_len;
1012                 if (result_buf[0] == '?'
1013                     || result_buf[result_len-2] == ':'
1014                        && result_buf[result_len-1] == '0')
1015                     goto out;
1016                 if (result_len < RESULT_SZ - 25) {
1017                   /* Add in hex address */
1018                     sprintf(result_buf + result_len, " [0x%lx]",
1019                           (unsigned long)info[i].ci_pc);
1020                 }
1021                 name = result_buf;
1022                 pclose(pipe);
1023                 out:
1024               }
1025 #           endif
1026             GC_err_printf1("\t\t%s\n", name);
1027             free(sym_name);
1028           }
1029 #       else
1030           GC_err_printf1("\t\t##PC##= 0x%lx\n", info[i].ci_pc);
1031 #       endif
1032     }
1033 }
1034
1035 #endif /* SAVE_CALL_CHAIN */
1036
1037 /* Needed by SRC_M3, gcj, and should perhaps be the official interface  */
1038 /* to GC_dont_gc.                                                       */
1039 void GC_enable()
1040 {
1041     GC_dont_gc--;
1042 }
1043
1044 void GC_disable()
1045 {
1046     GC_dont_gc++;
1047 }
1048
1049 #if !defined(NO_DEBUGGING)
1050
1051 void GC_dump()
1052 {
1053     GC_printf0("***Static roots:\n");
1054     GC_print_static_roots();
1055     GC_printf0("\n***Heap sections:\n");
1056     GC_print_heap_sects();
1057     GC_printf0("\n***Free blocks:\n");
1058     GC_print_hblkfreelist();
1059     GC_printf0("\n***Blocks in use:\n");
1060     GC_print_block_list();
1061 }
1062
1063 #endif /* NO_DEBUGGING */