libc/bionic/clone.cpp

   1 /*
   2  * Copyright (C) 2010 The Android Open Source Project
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  *  * Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  *  * Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in
  12  *    the documentation and/or other materials provided with the
  13  *    distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  16  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  17  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  18  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE
  19  * COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  20  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING,
  21  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS
  22  * OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  23  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  24  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  25  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  26  * SUCH DAMAGE.
  27  */
  28
  29 #define _GNU_SOURCE 1
  30 #include <sched.h>
  31 #include <stdlib.h>
  32 #include <stdarg.h>
  33
  34 #include "pthread_internal.h"
  35
  36 extern "C" pid_t __bionic_clone(uint32_t flags, void* child_stack, int* parent_tid, void* tls, int* child_tid, int (*fn)(void*), void* arg);
  37 extern "C" __noreturn void __exit(int status);
  38
  39 // Called from the __bionic_clone assembler to call the thread function then exit.
  40 extern "C" __LIBC_HIDDEN__ void __start_thread(int (*fn)(void*), void* arg) {
  41   pthread_internal_t* self = __get_thread();
  42   if (self && self->tid == -1) {
  43     self->tid = syscall(__NR_gettid);
  44   }
  45
  46   int status = (*fn)(arg);
  47   __exit(status);
  48 }
  49
  50 int clone(int (*fn)(void*), void* child_stack, int flags, void* arg, ...) {
  51   int* parent_tid = NULL;
  52   void* new_tls = NULL;
  53   int* child_tid = NULL;
  54
  55   if (fn != nullptr && child_stack == nullptr) {
  56     errno = EINVAL;
  57     return -1;
  58   }
  59
  60   // Extract any optional parameters required by the flags.
  61   va_list args;
  62   va_start(args, arg);
  63   if ((flags & (CLONE_PARENT_SETTID|CLONE_SETTLS|CLONE_CHILD_SETTID|CLONE_CHILD_CLEARTID)) != 0) {
  64     parent_tid = va_arg(args, int*);
  65   }
  66   if ((flags & (CLONE_SETTLS|CLONE_CHILD_SETTID|CLONE_CHILD_CLEARTID)) != 0) {
  67     new_tls = va_arg(args, void*);
  68   }
  69   if ((flags & (CLONE_CHILD_SETTID|CLONE_CHILD_CLEARTID)) != 0) {
  70     child_tid = va_arg(args, int*);
  71   }
  72   va_end(args);
  73
  74   // Align 'child_stack' to 16 bytes.
  75   uintptr_t child_stack_addr = reinterpret_cast<uintptr_t>(child_stack);
  76   child_stack_addr &= ~0xf;
  77   child_stack = reinterpret_cast<void*>(child_stack_addr);
  78
  79   // Remember the parent pid and invalidate the cached value while we clone.
  80   pthread_internal_t* self = __get_thread();
  81   pid_t parent_pid = self->invalidate_cached_pid();
  82
  83   // Remmber the caller's tid so that it can be restored in the parent after clone.
  84   pid_t caller_tid = self->tid;
  85   // Invalidate the tid before the syscall. The value is lazily cached in gettid(),
  86   // and it will be updated by fork() and pthread_create(). We don't do this if
  87   // we are sharing address space with the child.
  88   if (!(flags & (CLONE_VM|CLONE_VFORK))) {
  89     self->tid = -1;
  90   }
  91
  92   // Actually do the clone.
  93   int clone_result;
  94   if (fn != nullptr) {
  95     clone_result = __bionic_clone(flags, child_stack, parent_tid, new_tls, child_tid, fn, arg);
  96   } else {
  97 #if defined(__x86_64__) // sys_clone's last two arguments are flipped on x86-64.
  98     clone_result = syscall(__NR_clone, flags, child_stack, parent_tid, child_tid, new_tls);
  99 #else
 100     clone_result = syscall(__NR_clone, flags, child_stack, parent_tid, new_tls, child_tid);
 101 #endif
 102   }
 103
 104   if (clone_result != 0) {
 105     // We're the parent, so put our known pid and tid back in place.
 106     // We leave the child without a cached pid and tid, but:
 107     // 1. pthread_create gives its children their own pthread_internal_t with the correct pid and tid.
 108     // 2. fork uses CLONE_CHILD_SETTID to get the new pid/tid.
 109     // 3. The tid is lazily fetched in gettid().
 110     // If any other cases become important, we could use a double trampoline like __pthread_start.
 111     self->set_cached_pid(parent_pid);
 112     self->tid = caller_tid;
 113   } else if (self->tid == -1) {
 114     self->tid = syscall(__NR_gettid);
 115     self->set_cached_pid(self->tid);
 116   }
 117
 118   return clone_result;
 119 }