OSDN Git Service

2011-05-03 Paolo Carlini <paolo.carlini@oracle.com>
[pf3gnuchains/gcc-fork.git] / libstdc++-v3 / include / parallel / losertree.h
index 2f2fae7..cb24f7f 100644 (file)
@@ -1,11 +1,11 @@
 // -*- C++ -*-
 
-// Copyright (C) 2007 Free Software Foundation, Inc.
+// Copyright (C) 2007, 2008, 2009, 2010, 2011 Free Software Foundation, Inc.
 //
 // This file is part of the GNU ISO C++ Library.  This library is free
 // software; you can redistribute it and/or modify it under the terms
 // of the GNU General Public License as published by the Free Software
-// Foundation; either version 2, or (at your option) any later
+// Foundation; either version 3, or (at your option) any later
 // version.
 
 // This library is distributed in the hope that it will be useful, but
 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
 // General Public License for more details.
 
-// You should have received a copy of the GNU General Public License
-// along with this library; see the file COPYING.  If not, write to
-// the Free Software Foundation, 59 Temple Place - Suite 330, Boston,
-// MA 02111-1307, USA.
-
-// As a special exception, you may use this file as part of a free
-// software library without restriction.  Specifically, if other files
-// instantiate templates or use macros or inline functions from this
-// file, or you compile this file and link it with other files to
-// produce an executable, this file does not by itself cause the
-// resulting executable to be covered by the GNU General Public
-// License.  This exception does not however invalidate any other
-// reasons why the executable file might be covered by the GNU General
-// Public License.
+// Under Section 7 of GPL version 3, you are granted additional
+// permissions described in the GCC Runtime Library Exception, version
+// 3.1, as published by the Free Software Foundation.
+
+// You should have received a copy of the GNU General Public License and
+// a copy of the GCC Runtime Library Exception along with this program;
+// see the files COPYING3 and COPYING.RUNTIME respectively.  If not, see
+// <http://www.gnu.org/licenses/>.
 
 /** @file parallel/losertree.h
 *  @brief Many generic loser tree variants.
 #ifndef _GLIBCXX_PARALLEL_LOSERTREE_H
 #define _GLIBCXX_PARALLEL_LOSERTREE_H 1
 
-#include <functional>
-
 #include <bits/stl_algobase.h>
+#include <bits/stl_function.h>
 #include <parallel/features.h>
 #include <parallel/base.h>
 
 namespace __gnu_parallel
 {
-
-#if _GLIBCXX_LOSER_TREE_EXPLICIT
-
-/** @brief Guarded loser tree, copying the whole element into the
-* tree structure.
-*
-*  Guarding is done explicitly through two flags per element, inf
-*  and sup This is a quite slow variant.
-*/
-template<typename T, typename Comparator = std::less<T> >
-  class LoserTreeExplicit
-  {
-  private:
-    struct Loser
+  /**
+   * @brief Guarded loser/tournament tree.
+   *
+   * The smallest element is at the top.
+   *
+   * Guarding is done explicitly through one flag _M_sup per element,
+   * inf is not needed due to a better initialization routine.  This
+   * is a well-performing variant.
+   *
+   * @param _Tp the element type
+   * @param _Compare the comparator to use, defaults to std::less<_Tp>
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreeBase
     {
-      // The relevant element.
-      T key;
-
-      // Is this an infimum or supremum element?
-      bool inf, sup;
-
-      // Number of the sequence the element comes from.
-      int source;
+    protected:
+      /** @brief Internal representation of a _LoserTree element. */
+      struct _Loser
+      {
+       /** @brief flag, true iff this is a "maximum" __sentinel. */
+       bool _M_sup;
+       /** @brief __index of the __source __sequence. */
+       int _M_source;
+       /** @brief _M_key of the element in the _LoserTree. */
+       _Tp _M_key;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+
+      /** log_2{_M_k} */
+      unsigned int _M_log_k;
+
+      /** @brief _LoserTree __elements. */
+      _Loser* _M_losers;
+
+      /** @brief _Compare to use. */
+      _Compare _M_comp;
+
+      /**
+       * @brief State flag that determines whether the _LoserTree is empty.
+       *
+       * Only used for building the _LoserTree.
+       */
+      bool _M_first_insert;
+
+    public:
+      /**
+       * @brief The constructor.
+       *
+       * @param __k The number of sequences to merge.
+       * @param __comp The comparator to use.
+       */
+      _LoserTreeBase(unsigned int __k, _Compare __comp)
+      : _M_comp(__comp)
+      {
+       _M_ik = __k;
+
+       // Compute log_2{_M_k} for the _Loser Tree
+       _M_log_k = __rd_log2(_M_ik - 1) + 1;
+
+       // Next greater power of 2.
+       _M_k = 1 << _M_log_k;
+       _M_offset = _M_k;
+
+       // Avoid default-constructing _M_losers[]._M_key
+       _M_losers = static_cast<_Loser*>(::operator new(2 * _M_k
+                                                       * sizeof(_Loser)));
+       for (unsigned int __i = _M_ik - 1; __i < _M_k; ++__i)
+         _M_losers[__i + _M_k]._M_sup = true;
+
+       _M_first_insert = true;
+      }
+
+      /**
+       * @brief The destructor.
+       */
+      ~_LoserTreeBase()
+      {
+       for (unsigned int __i = 0; __i < (2 * _M_k); ++__i)
+         _M_losers[__i].~_Loser();
+       ::operator delete(_M_losers);
+      }
+
+      /**
+       * @brief Initializes the sequence "_M_source" with the element "__key".
+       *
+       * @param __key the element to insert
+       * @param __source __index of the __source __sequence
+       * @param __sup flag that determines whether the value to insert is an
+       *   explicit __supremum.
+       */
+      void
+      __insert_start(const _Tp& __key, int __source, bool __sup)
+      {
+       unsigned int __pos = _M_k + __source;
+
+       if (_M_first_insert)
+         {
+           // Construct all keys, so we can easily destruct them.
+           for (unsigned int __i = 0; __i < (2 * _M_k); ++__i)
+             ::new(&(_M_losers[__i]._M_key)) _Tp(__key);
+           _M_first_insert = false;
+         }
+       else
+         _M_losers[__pos]._M_key = __key;
+
+       _M_losers[__pos]._M_sup = __sup;
+       _M_losers[__pos]._M_source = __source;
+      }
+
+      /**
+       * @return the index of the sequence with the smallest element.
+       */
+      int __get_min_source()
+      { return _M_losers[0]._M_source; }
     };
 
-    unsigned int size, offset;
-    Loser* losers;
-    Comparator comp;
-
-  public:
-    inline
-    LoserTreeExplicit(unsigned int _size, Comparator _comp = std::less<T>())
-      : comp(_comp)
-    {
-      size = _size;
-      offset = size;
-      losers = new Loser[size];
-      for (unsigned int l = 0; l < size; l++)
-        {
-          //losers[l].key = ...        stays unset
-          losers[l].inf = true;
-          losers[l].sup = false;
-          //losers[l].source = -1;     //sentinel
-        }
-    }
-
-    inline ~LoserTreeExplicit()
-    { delete[] losers; }
-
-    inline int
-    get_min_source()
-    { return losers[0].source; }
-
-    inline void
-    insert_start(T key, int source, bool sup)
-    {
-      bool inf = false;
-      for (unsigned int pos = (offset + source) / 2; pos > 0; pos /= 2)
-        {
-          if ((!inf && !losers[pos].inf && !sup && !losers[pos].sup
-               && comp(losers[pos].key, key)) || losers[pos].inf || sup)
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].key, key);
-              std::swap(losers[pos].inf, inf);
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-            }
-        }
-
-      losers[0].key = key;
-      losers[0].inf = inf;
-      losers[0].sup = sup;
-      losers[0].source = source;
-    }
-
-    inline void
-    init() { }
-
-    inline void
-    delete_min_insert(T key, bool sup)
-    {
-      bool inf = false;
-      int source = losers[0].source;
-      for (unsigned int pos = (offset + source) / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted.
-          if ((!inf && !losers[pos].inf && !sup && !losers[pos].sup
-              && comp(losers[pos].key, key))
-              || losers[pos].inf || sup)
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].key, key);
-              std::swap(losers[pos].inf, inf);
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-            }
-        }
-
-      losers[0].key = key;
-      losers[0].inf = inf;
-      losers[0].sup = sup;
-      losers[0].source = source;
-    }
-
-    inline void
-    insert_start_stable(T key, int source, bool sup)
-    {
-      bool inf = false;
-      for (unsigned int pos = (offset + source) / 2; pos > 0; pos /= 2)
-        {
-          if ((!inf && !losers[pos].inf && !sup && !losers[pos].sup &&
-              ((comp(losers[pos].key, key)) ||
-                (!comp(key, losers[pos].key) && losers[pos].source < source)))
-              || losers[pos].inf || sup)
-            {
-              // Take next key.
-              std::swap(losers[pos].key, key);
-              std::swap(losers[pos].inf, inf);
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-            }
-        }
-
-      losers[0].key = key;
-      losers[0].inf = inf;
-      losers[0].sup = sup;
-      losers[0].source = source;
-    }
-
-    inline void
-    init_stable() { }
-
-    inline void
-    delete_min_insert_stable(T key, bool sup)
+    /**
+     * @brief Stable _LoserTree variant.
+     *
+     * Provides the stable implementations of insert_start, __init_winner,
+     * __init and __delete_min_insert.
+     *
+     * Unstable variant is done using partial specialisation below.
+     */
+  template<bool __stable/* default == true */, typename _Tp,
+          typename _Compare>
+    class _LoserTree
+    : public _LoserTreeBase<_Tp, _Compare>
     {
-      bool inf = false;
-      int source = losers[0].source;
-      for (unsigned int pos = (offset + source) / 2; pos > 0; pos /= 2)
-        {
-          if ((!inf && !losers[pos].inf && !sup && !losers[pos].sup
-              && ((comp(losers[pos].key, key)) ||
-                (!comp(key, losers[pos].key) && losers[pos].source < source)))
-              || losers[pos].inf || sup)
-            {
-              std::swap(losers[pos].key, key);
-              std::swap(losers[pos].inf, inf);
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-            }
-        }
-
-      losers[0].key = key;
-      losers[0].inf = inf;
-      losers[0].sup = sup;
-      losers[0].source = source;
-    }
-  };
-
+      typedef _LoserTreeBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+      using _Base::_M_first_insert;
+
+    public:
+      _LoserTree(unsigned int __k, _Compare __comp)
+      : _Base::_LoserTreeBase(__k, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(_M_losers[__right]._M_key,
+                               _M_losers[__left]._M_key)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
+
+      /**
+       * @brief Delete the smallest element and insert a new element from
+       *   the previously smallest element's sequence.
+       *
+       * This implementation is stable.
+       */
+      // Do not pass a const reference since __key will be used as
+      // local variable.
+      void
+      __delete_min_insert(_Tp __key, bool __sup)
+      {
+        using std::swap;
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
 
-#if _GLIBCXX_LOSER_TREE
-
-/** @brief Guarded loser tree, either copying the whole element into
-* the tree structure, or looking up the element via the index.
-*
-*  Guarding is done explicitly through one flag sup per element,
-*  inf is not needed due to a better initialization routine.  This
-*  is a well-performing variant.
-*/
-template<typename T, typename Comparator = std::less<T> >
-  class LoserTree
-  {
-  private:
-    struct Loser
-    {
-      bool sup;
-      int source;
-      T key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by _M_source.
+           if ((__sup && (!_M_losers[__pos]._M_sup
+                          || _M_losers[__pos]._M_source < __source))
+               || (!__sup && !_M_losers[__pos]._M_sup
+                   && ((_M_comp(_M_losers[__pos]._M_key, __key))
+                       || (!_M_comp(__key, _M_losers[__pos]._M_key)
+                           && _M_losers[__pos]._M_source < __source))))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
+      }
     };
 
-    unsigned int ik, k, offset;
-    Loser* losers;
-    Comparator comp;
-    bool first_insert;
-
-  public:
-    inline LoserTree(unsigned int _k, Comparator _comp = std::less<T>())
-    : comp(_comp)
-    {
-      ik = _k;
-
-      // Next greater power of 2.
-      k = 1 << (log2(ik - 1) + 1);
-      offset = k;
-      // Avoid default-constructing losers[].key
-      losers = static_cast<Loser*>(::operator new(2 * k * sizeof(Loser)));
-      for (unsigned int i = ik - 1; i < k; ++i)
-        losers[i + k].sup = true;
-
-      first_insert = true;
-    }
-
-    inline ~LoserTree()
-    { delete[] losers; }
-
-    inline int
-    get_min_source()
-    { return losers[0].source; }
-
-    inline void
-    insert_start(const T& key, int source, bool sup)
-    {
-      unsigned int pos = k + source;
-
-      if(first_insert)
-        {
-          // Construct all keys, so we can easily deconstruct them.
-          for (unsigned int i = 0; i < (2 * k); ++i)
-            ::new(&(losers[i].key)) T(key);
-          first_insert = false;
-        }
-      else
-        ::new(&(losers[pos].key)) T(key);
-
-      losers[pos].sup = sup;
-      losers[pos].source = source;
-    }
-
-    unsigned int
-    init_winner (unsigned int root)
+    /**
+     * @brief Unstable _LoserTree variant.
+     *
+     * Stability (non-stable here) is selected with partial specialization.
+     */
+  template<typename _Tp, typename _Compare>
+    class _LoserTree</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreeBase<_Tp, _Compare>
     {
-      if (root >= k)
-        {
-          return root;
-        }
-      else
-        {
-          unsigned int left = init_winner (2 * root);
-          unsigned int right = init_winner (2 * root + 1);
-          if (losers[right].sup ||
-              (!losers[left].sup
-                && !comp(losers[right].key, losers[left].key)))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init()
-    { losers[0] = losers[init_winner(1)]; }
-
-    // Do not pass const reference since key will be used as local variable.
-    inline void
-    delete_min_insert(T key, bool sup)
-    {
-      int source = losers[0].source;
-      for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted.
-          if (sup || (!losers[pos].sup && comp(losers[pos].key, key)))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].key, key);
-            }
-        }
-
-      losers[0].sup = sup;
-      losers[0].source = source;
-      losers[0].key = key;
-    }
-
-    inline void
-    insert_start_stable(const T& key, int source, bool sup)
-    { return insert_start(key, source, sup); }
-
-    unsigned int
-    init_winner_stable (unsigned int root)
-    {
-      if (root >= k)
-        {
-          return root;
-        }
-      else
-        {
-          unsigned int left = init_winner (2 * root);
-          unsigned int right = init_winner (2 * root + 1);
-          if (losers[right].sup
-              || (!losers[left].sup
-                && !comp(losers[right].key, losers[left].key)))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init_stable()
-    { losers[0] = losers[init_winner_stable(1)]; }
-
-    // Do not pass const reference since key will be used as local variable.
-    inline void
-    delete_min_insert_stable(T key, bool sup)
-    {
-      int source = losers[0].source;
-      for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted, ties are broken by source.
-          if ( (sup && (!losers[pos].sup || losers[pos].source < source))
-                || (!sup && !losers[pos].sup
-                  && ((comp(losers[pos].key, key))
-                    || (!comp(key, losers[pos].key)
-                      && losers[pos].source < source))))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].key, key);
-            }
-        }
-
-      losers[0].sup = sup;
-      losers[0].source = source;
-      losers[0].key = key;
-    }
-  };
-
+      typedef _LoserTreeBase<_Tp, _Compare> _Base;
+      using _Base::_M_log_k;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+      using _Base::_M_first_insert;
+
+    public:
+      _LoserTree(unsigned int __k, _Compare __comp)
+      : _Base::_LoserTreeBase(__k, __comp)
+      { }
+
+      /**
+       * Computes the winner of the competition at position "__root".
+       *
+       * Called recursively (starting at 0) to build the initial tree.
+       *
+       * @param __root __index of the "game" to start.
+       */
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(_M_losers[__right]._M_key,
+                               _M_losers[__left]._M_key)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void
+      __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
+
+      /**
+       * Delete the _M_key smallest element and insert the element __key
+       * instead.
+       *
+       * @param __key the _M_key to insert
+       * @param __sup true iff __key is an explicitly marked supremum
+       */
+      // Do not pass a const reference since __key will be used as local
+      // variable.
+      void
+      __delete_min_insert(_Tp __key, bool __sup)
+      {
+        using std::swap;
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
 
-#if _GLIBCXX_LOSER_TREE_REFERENCE
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (__sup || (!_M_losers[__pos]._M_sup
+                         && _M_comp(_M_losers[__pos]._M_key, __key)))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
+      }
+    };
 
-/** @brief Guarded loser tree, either copying the whole element into
-* the tree structure, or looking up the element via the index.
-*
-*  Guarding is done explicitly through one flag sup per element,
-*  inf is not needed due to a better initialization routine.  This
-*  is a well-performing variant.
-*/
-template<typename T, typename Comparator = std::less<T> >
-  class LoserTreeReference
-  {
-#undef COPY
-#ifdef COPY
-#define KEY(i) losers[i].key
-#define KEY_SOURCE(i) key
-#else
-#define KEY(i) keys[losers[i].source]
-#define KEY_SOURCE(i) keys[i]
-#endif
-  private:
-    struct Loser
+  /**
+   * @brief Base class of _Loser Tree implementation using pointers.
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointerBase
     {
-      bool sup;
-      int source;
-#ifdef COPY
-      T key;
-#endif
+    protected:
+      /** @brief Internal representation of _LoserTree __elements. */
+      struct _Loser
+      {
+       bool _M_sup;
+       int _M_source;
+       const _Tp* _M_keyp;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+      _Loser* _M_losers;
+      _Compare _M_comp;
+
+    public:
+      _LoserTreePointerBase(unsigned int __k,
+                           _Compare __comp = std::less<_Tp>())
+      : _M_comp(__comp)
+      {
+       _M_ik = __k;
+
+       // Next greater power of 2.
+       _M_k = 1 << (__rd_log2(_M_ik - 1) + 1);
+       _M_offset = _M_k;
+       _M_losers = new _Loser[_M_k * 2];
+       for (unsigned int __i = _M_ik - 1; __i < _M_k; __i++)
+         _M_losers[__i + _M_k]._M_sup = true;
+      }
+
+      ~_LoserTreePointerBase()
+      { delete[] _M_losers; }
+
+      int __get_min_source()
+      { return _M_losers[0]._M_source; }
+
+      void __insert_start(const _Tp& __key, int __source, bool __sup)
+      {
+       unsigned int __pos = _M_k + __source;
+
+       _M_losers[__pos]._M_sup = __sup;
+       _M_losers[__pos]._M_source = __source;
+       _M_losers[__pos]._M_keyp = &__key;
+      }
     };
 
-    unsigned int ik, k, offset;
-    Loser* losers;
-#ifndef COPY
-    T* keys;
-#endif
-    Comparator comp;
-
-  public:
-    inline
-    LoserTreeReference(unsigned int _k, Comparator _comp = std::less<T>())
-      : comp(_comp)
+  /**
+   * @brief Stable _LoserTree implementation.
+   *
+   * The unstable variant is implemented using partial instantiation below.
+   */
+  template<bool __stable/* default == true */, typename _Tp, typename _Compare>
+    class _LoserTreePointer
+    : public _LoserTreePointerBase<_Tp, _Compare>
     {
-      ik = _k;
-
-      // Next greater power of 2.
-      k = 1 << (log2(ik - 1) + 1);
-      offset = k;
-      losers = new Loser[k * 2];
-#ifndef COPY
-      keys = new T[ik];
+      typedef _LoserTreePointerBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+    public:
+      _LoserTreePointer(unsigned int __k, _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerBase(__k, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(*_M_losers[__right]._M_keyp,
+                               *_M_losers[__left]._M_keyp)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
+
+      void __delete_min_insert(const _Tp& __key, bool __sup)
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-      for (unsigned int i = ik - 1; i < k; i++)
-        losers[i + k].sup = true;
-    }
 
-    inline ~LoserTreeReference()
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by __source.
+           if ((__sup && (!_M_losers[__pos]._M_sup
+                          || _M_losers[__pos]._M_source < __source))
+               || (!__sup && !_M_losers[__pos]._M_sup &&
+                   ((_M_comp(*_M_losers[__pos]._M_keyp, *__keyp))
+                    || (!_M_comp(*__keyp, *_M_losers[__pos]._M_keyp)
+                        && _M_losers[__pos]._M_source < __source))))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
+    };
+
+  /**
+   * @brief Unstable _LoserTree implementation.
+   *
+   * The stable variant is above.
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointer</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreePointerBase<_Tp, _Compare>
     {
-      delete[] losers;
-#ifndef COPY
-      delete[] keys;
+      typedef _LoserTreePointerBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+    public:
+      _LoserTreePointer(unsigned int __k, _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerBase(__k, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (_M_losers[__right]._M_sup
+               || (!_M_losers[__left]._M_sup
+                   && !_M_comp(*_M_losers[__right]._M_keyp,
+                               *_M_losers[__left]._M_keyp)))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void __init()
+      { _M_losers[0] = _M_losers[__init_winner(1)]; }
+
+      void __delete_min_insert(const _Tp& __key, bool __sup)
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-    }
 
-    inline int
-    get_min_source()
-    { return losers[0].source; }
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (__sup || (!_M_losers[__pos]._M_sup
+                         && _M_comp(*_M_losers[__pos]._M_keyp, *__keyp)))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_sup, __sup);
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_sup = __sup;
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
+    };
 
-    inline void
-    insert_start(T key, int source, bool sup)
+  /** @brief Base class for unguarded _LoserTree implementation.
+   * 
+   * The whole element is copied into the tree structure.
+   *
+   * No guarding is done, therefore not a single input sequence must
+   * run empty.  Unused __sequence heads are marked with a sentinel which
+   * is &gt; all elements that are to be merged.
+   *
+   * This is a very fast variant.
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreeUnguardedBase
     {
-      unsigned int pos = k + source;
+    protected:
+      struct _Loser
+      {
+       int _M_source;
+       _Tp _M_key;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+      _Loser* _M_losers;
+      _Compare _M_comp;
+
+    public:
+      _LoserTreeUnguardedBase(unsigned int __k, const _Tp& __sentinel,
+                             _Compare __comp = std::less<_Tp>())
+      : _M_comp(__comp)
+      {
+       _M_ik = __k;
+
+       // Next greater power of 2.
+       _M_k = 1 << (__rd_log2(_M_ik - 1) + 1);
+       _M_offset = _M_k;
+       // Avoid default-constructing _M_losers[]._M_key
+       _M_losers = static_cast<_Loser*>(::operator new(2 * _M_k
+                                                       * sizeof(_Loser)));
+
+        for (unsigned int __i = 0; __i < _M_k; ++__i)
+          {
+           ::new(&(_M_losers[__i]._M_key)) _Tp(__sentinel);
+           _M_losers[__i]._M_source = -1;
+         }
+        for (unsigned int __i = _M_k + _M_ik - 1; __i < (2 * _M_k); ++__i)
+          {
+           ::new(&(_M_losers[__i]._M_key)) _Tp(__sentinel);
+           _M_losers[__i]._M_source = -1;
+         }
+      }
+
+      ~_LoserTreeUnguardedBase()
+      {
+       for (unsigned int __i = 0; __i < (2 * _M_k); ++__i)
+         _M_losers[__i].~_Loser();
+       ::operator delete(_M_losers);
+      }
+
+      int
+      __get_min_source()
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
+       return _M_losers[0]._M_source;
+      }
 
-      losers[pos].sup = sup;
-      losers[pos].source = source;
-      KEY(pos) = key;
-    }
+      void
+      __insert_start(const _Tp& __key, int __source, bool)
+      {
+       unsigned int __pos = _M_k + __source;
 
-    unsigned int
-    init_winner(unsigned int root)
-    {
-      if (root >= k)
-        {
-          return root;
-        }
-      else
-        {
-          unsigned int left = init_winner (2 * root);
-          unsigned int right = init_winner (2 * root + 1);
-          if ( losers[right].sup ||
-                (!losers[left].sup && !comp(KEY(right), KEY(left))))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init()
-    {
-      losers[0] = losers[init_winner(1)];
-    }
+       ::new(&(_M_losers[__pos]._M_key)) _Tp(__key);
+       _M_losers[__pos]._M_source = __source;
+      }
+    };
 
-    inline void
-    delete_min_insert(T key, bool sup)
+  /**
+   * @brief Stable implementation of unguarded _LoserTree.
+   *
+   * Unstable variant is selected below with partial specialization.
+   */
+  template<bool __stable/* default == true */, typename _Tp, typename _Compare>
+    class _LoserTreeUnguarded
+    : public _LoserTreeUnguardedBase<_Tp, _Compare>
     {
-      int source = losers[0].source;
-      for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted.
-          if (sup || (!losers[pos].sup && comp(KEY(pos), KEY_SOURCE(source))))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-#ifdef COPY
-              std::swap(KEY(pos), KEY_SOURCE(source));
-#endif
-            }
-        }
+      typedef _LoserTreeUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
 
-      losers[0].sup = sup;
-      losers[0].source = source;
-#ifdef COPY
-      KEY(0) = KEY_SOURCE(source);
+  public:
+      _LoserTreeUnguarded(unsigned int __k, const _Tp& __sentinel,
+                         _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreeUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (!_M_comp(_M_losers[__right]._M_key,
+                        _M_losers[__left]._M_key))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void
+      __init()
+      {
+       _M_losers[0] = _M_losers[__init_winner(1)];
+
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
+      }
+
+      // Do not pass a const reference since __key will be used as
+      // local variable.
+      void
+      __delete_min_insert(_Tp __key, bool)
+      {
+        using std::swap;
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-    }
 
-    inline void
-    insert_start_stable(T key, int source, bool sup)
-    { return insert_start(key, source, sup); }
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by _M_source.
+           if (_M_comp(_M_losers[__pos]._M_key, __key)
+               || (!_M_comp(__key, _M_losers[__pos]._M_key)
+                    && _M_losers[__pos]._M_source < __source))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
+      }
+    };
 
-    unsigned int
-    init_winner_stable(unsigned int root)
+  /**
+   * @brief Non-Stable implementation of unguarded _LoserTree.
+   *
+   * Stable implementation is above.
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreeUnguarded</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreeUnguardedBase<_Tp, _Compare>
     {
-      if (root >= k)
-        {
-          return root;
-        }
-      else
-        {
-          unsigned int left = init_winner (2 * root);
-          unsigned int right = init_winner (2 * root + 1);
-          if (losers[right].sup
-              || (!losers[left].sup && !comp(KEY(right), KEY(left))))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init_stable()
-    { losers[0] = losers[init_winner_stable(1)]; }
-
-    inline void
-    delete_min_insert_stable(T key, bool sup)
-    {
-      int source = losers[0].source;
-      for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted, ties are broken by source.
-          if ( (sup && (!losers[pos].sup || losers[pos].source < source)) ||
-                (!sup && !losers[pos].sup &&
-                ((comp(KEY(pos), KEY_SOURCE(source))) ||
-                  (!comp(KEY_SOURCE(source), KEY(pos))
-                    && losers[pos].source < source))))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-#ifdef COPY
-              std::swap(KEY(pos), KEY_SOURCE(source));
+      typedef _LoserTreeUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+    public:
+      _LoserTreeUnguarded(unsigned int __k, const _Tp& __sentinel,
+                         _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreeUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+
+#if _GLIBCXX_ASSERTIONS
+           // If __left one is sentinel then __right one must be, too.
+           if (_M_losers[__left]._M_source == -1)
+             _GLIBCXX_PARALLEL_ASSERT(_M_losers[__right]._M_source == -1);
 #endif
-            }
-        }
 
-      losers[0].sup = sup;
-      losers[0].source = source;
-#ifdef COPY
-      KEY(0) = KEY_SOURCE(source);
+           if (!_M_comp(_M_losers[__right]._M_key,
+                        _M_losers[__left]._M_key))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void
+      __init()
+      {
+       _M_losers[0] = _M_losers[__init_winner(1)];
+
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-    }
-  };
-#undef KEY
-#undef KEY_SOURCE
-
+      }
+
+      // Do not pass a const reference since __key will be used as
+      // local variable.
+      void
+      __delete_min_insert(_Tp __key, bool)
+      {
+        using std::swap;
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
 
-#if _GLIBCXX_LOSER_TREE_POINTER
-
-/** @brief Guarded loser tree, either copying the whole element into
-    the tree structure, or looking up the element via the index.
-*  Guarding is done explicitly through one flag sup per element,
-*  inf is not needed due to a better initialization routine.
-*  This is a well-performing variant.
-*/
-template<typename T, typename Comparator = std::less<T> >
-  class LoserTreePointer
-  {
-  private:
-    struct Loser
-    {
-      bool sup;
-      int source;
-      const T* keyp;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (_M_comp(_M_losers[__pos]._M_key, __key))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               swap(_M_losers[__pos]._M_key, __key);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_key = __key;
+      }
     };
 
-    unsigned int ik, k, offset;
-    Loser* losers;
-    Comparator comp;
-
-  public:
-    inline
-    LoserTreePointer(unsigned int _k, Comparator _comp = std::less<T>())
-      : comp(_comp)
-    {
-      ik = _k;
-
-      // Next greater power of 2.
-      k = 1 << (log2(ik - 1) + 1);
-      offset = k;
-      losers = new Loser[k * 2];
-      for (unsigned int i = ik - 1; i < k; i++)
-        losers[i + k].sup = true;
-    }
-
-    inline ~LoserTreePointer()
-    { delete[] losers; }
-
-    inline int
-    get_min_source()
-    { return losers[0].source; }
-
-    inline void
-    insert_start(const T& key, int source, bool sup)
-    {
-      unsigned int pos = k + source;
-
-      losers[pos].sup = sup;
-      losers[pos].source = source;
-      losers[pos].keyp = &key;
-    }
-
-    unsigned int
-    init_winner(unsigned int root)
-    {
-      if (root >= k)
-        {
-          return root;
-        }
-      else
-        {
-          unsigned int left = init_winner (2 * root);
-          unsigned int right = init_winner (2 * root + 1);
-          if (losers[right].sup
-                || (!losers[left].sup
-                  && !comp(*losers[right].keyp, *losers[left].keyp)))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init()
-    { losers[0] = losers[init_winner(1)]; }
-
-    inline void
-    delete_min_insert(const T& key, bool sup)
+  /** @brief Unguarded loser tree, keeping only pointers to the
+  * elements in the tree structure.
+  *
+  *  No guarding is done, therefore not a single input sequence must
+  *  run empty.  This is a very fast variant.
+  */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointerUnguardedBase
     {
-      const T* keyp = &key;
-      int source = losers[0].source;
-      for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted.
-          if (sup || (!losers[pos].sup && comp(*losers[pos].keyp, *keyp)))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].keyp, keyp);
-            }
-        }
-
-      losers[0].sup = sup;
-      losers[0].source = source;
-      losers[0].keyp = keyp;
-    }
-
-    inline void
-    insert_start_stable(const T& key, int source, bool sup)
-    { return insert_start(key, source, sup); }
-
-    unsigned int
-    init_winner_stable(unsigned int root)
-    {
-      if (root >= k)
-        {
-          return root;
-        }
-      else
-        {
-          unsigned int left = init_winner (2 * root);
-          unsigned int right = init_winner (2 * root + 1);
-          if (losers[right].sup
-              || (!losers[left].sup && !comp(*losers[right].keyp,
-                                            *losers[left].keyp)))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init_stable()
-    { losers[0] = losers[init_winner_stable(1)]; }
-
-    inline void
-    delete_min_insert_stable(const T& key, bool sup)
-    {
-      const T* keyp = &key;
-      int source = losers[0].source;
-      for (unsigned int pos = (k + source) / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted, ties are broken by source.
-          if ( (sup && (!losers[pos].sup || losers[pos].source < source)) ||
-                (!sup && !losers[pos].sup &&
-                ((comp(*losers[pos].keyp, *keyp)) ||
-                  (!comp(*keyp, *losers[pos].keyp)
-                  && losers[pos].source < source))))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].sup, sup);
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].keyp, keyp);
-            }
-        }
-
-      losers[0].sup = sup;
-      losers[0].source = source;
-      losers[0].keyp = keyp;
-    }
-  };
-
+    protected:
+      struct _Loser
+      {
+       int _M_source;
+       const _Tp* _M_keyp;
+      };
+
+      unsigned int _M_ik, _M_k, _M_offset;
+      _Loser* _M_losers;
+      _Compare _M_comp;
+
+    public:
+
+      _LoserTreePointerUnguardedBase(unsigned int __k, const _Tp& __sentinel,
+                                    _Compare __comp = std::less<_Tp>())
+      : _M_comp(__comp)
+      {
+       _M_ik = __k;
+
+       // Next greater power of 2.
+       _M_k = 1 << (__rd_log2(_M_ik - 1) + 1);
+       _M_offset = _M_k;
+       // Avoid default-constructing _M_losers[]._M_key
+       _M_losers = new _Loser[2 * _M_k];
+
+       for (unsigned int __i = _M_k + _M_ik - 1; __i < (2 * _M_k); ++__i)
+         {
+           _M_losers[__i]._M_keyp = &__sentinel;
+           _M_losers[__i]._M_source = -1;
+         }
+      }
+
+      ~_LoserTreePointerUnguardedBase()
+      { delete[] _M_losers; }
+
+      int
+      __get_min_source()
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
+       return _M_losers[0]._M_source;
+      }
 
-#if _GLIBCXX_LOSER_TREE_UNGUARDED
+      void
+      __insert_start(const _Tp& __key, int __source, bool)
+      {
+       unsigned int __pos = _M_k + __source;
 
-/** @brief Unguarded loser tree, copying the whole element into the
-* tree structure.
-*
-*  No guarding is done, therefore not a single input sequence must
-*  run empty.  This is a very fast variant.
-*/
-template<typename T, typename Comparator = std::less<T> >
-  class LoserTreeUnguarded
-  {
-  private:
-    struct Loser
-    {
-      int source;
-      T key;
+       _M_losers[__pos]._M_keyp = &__key;
+       _M_losers[__pos]._M_source = __source;
+      }
     };
 
-    unsigned int ik, k, offset;
-    unsigned int* mapping;
-    Loser* losers;
-    Comparator comp;
-
-    void
-    map(unsigned int root, unsigned int begin, unsigned int end)
-    {
-      if (begin + 1 == end)
-        mapping[begin] = root;
-      else
-        {
-          // Next greater or equal power of 2.
-          unsigned int left = 1 << (log2(end - begin - 1));
-          map(root * 2, begin, begin + left);
-          map(root * 2 + 1, begin + left, end);
-        }
-    }
-
-  public:
-    inline
-    LoserTreeUnguarded(unsigned int _k, Comparator _comp = std::less<T>())
-      : comp(_comp)
-    {
-      ik = _k;
-      // Next greater or equal power of 2.
-      k = 1 << (log2(ik - 1) + 1);
-      offset = k;
-      losers = new Loser[k + ik];
-      mapping = new unsigned int[ik];
-      map(1, 0, ik);
-    }
-
-    inline ~LoserTreeUnguarded()
-    {
-      delete[] losers;
-      delete[] mapping;
-    }
-
-    inline int
-    get_min_source()
-    { return losers[0].source; }
-
-    inline void
-    insert_start(const T& key, int source, bool)
+  /**
+   * @brief Stable unguarded _LoserTree variant storing pointers.
+   *
+   * Unstable variant is implemented below using partial specialization.
+   */
+  template<bool __stable/* default == true */, typename _Tp, typename _Compare>
+    class _LoserTreePointerUnguarded
+    : public _LoserTreePointerUnguardedBase<_Tp, _Compare>
     {
-      unsigned int pos = mapping[source];
-      losers[pos].source = source;
-      losers[pos].key = key;
-    }
-
-    unsigned int
-    init_winner(unsigned int root, unsigned int begin, unsigned int end)
-    {
-      if (begin + 1 == end)
-        return mapping[begin];
-      else
-        {
-          // Next greater or equal power of 2.
-          unsigned int division = 1 << (log2(end - begin - 1));
-          unsigned int left = init_winner(2 * root, begin, begin + division);
-          unsigned int right =
-                          init_winner(2 * root + 1, begin + division, end);
-          if (!comp(losers[right].key, losers[left].key))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init()
-    { losers[0] = losers[init_winner(1, 0, ik)]; }
-
-    // Do not pass const reference since key will be used as local variable.
-    inline void
-    delete_min_insert(const T& key, bool)
-    {
-      losers[0].key = key;
-      T& keyr = losers[0].key;
-      int& source = losers[0].source;
-      for (int pos = mapping[source] / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted.
-          if (comp(losers[pos].key, keyr))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].key, keyr);
-            }
-        }
-    }
-
-    inline void
-    insert_start_stable(const T& key, int source, bool)
-    { return insert_start(key, source, false); }
-
-    inline void
-    init_stable()
-    { init(); }
-
-    inline void
-    delete_min_insert_stable(const T& key, bool)
-    {
-      losers[0].key = key;
-      T& keyr = losers[0].key;
-      int& source = losers[0].source;
-      for (int pos = mapping[source] / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted, ties are broken by source.
-          if (comp(losers[pos].key, keyr)
-              || (!comp(keyr, losers[pos].key)
-                && losers[pos].source < source))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].key, keyr);
-            }
-        }
-    }
-  };
-
+      typedef _LoserTreePointerUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
+
+    public:
+      _LoserTreePointerUnguarded(unsigned int __k, const _Tp& __sentinel,
+                                _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+           if (!_M_comp(*_M_losers[__right]._M_keyp,
+                        *_M_losers[__left]._M_keyp))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void
+      __init()
+      {
+       _M_losers[0] = _M_losers[__init_winner(1)];
+
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
+#endif
+      }
+
+      void
+      __delete_min_insert(const _Tp& __key, bool __sup)
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
 
-#if _GLIBCXX_LOSER_TREE_POINTER_UNGUARDED
-
-/** @brief Unguarded loser tree, keeping only pointers to the
-* elements in the tree structure.
-*
-*  No guarding is done, therefore not a single input sequence must
-*  run empty.  This is a very fast variant.
-*/
-template<typename T, typename Comparator = std::less<T> >
-  class LoserTreePointerUnguarded
-  {
-  private:
-    struct Loser
-    {
-      int source;
-      const T* keyp;
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted, ties are broken by _M_source.
+           if (_M_comp(*_M_losers[__pos]._M_keyp, *__keyp)
+               || (!_M_comp(*__keyp, *_M_losers[__pos]._M_keyp)
+                   && _M_losers[__pos]._M_source < __source))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
     };
 
-    unsigned int ik, k, offset;
-    unsigned int* mapping;
-    Loser* losers;
-    Comparator comp;
-
-    void map(unsigned int root, unsigned int begin, unsigned int end)
+  /**
+   * @brief Unstable unguarded _LoserTree variant storing pointers.
+   *
+   * Stable variant is above.
+   */
+  template<typename _Tp, typename _Compare>
+    class _LoserTreePointerUnguarded</* __stable == */false, _Tp, _Compare>
+    : public _LoserTreePointerUnguardedBase<_Tp, _Compare>
     {
-      if (begin + 1 == end)
-        mapping[begin] = root;
-      else
-        {
-          // Next greater or equal power of 2.
-          unsigned int left = 1 << (log2(end - begin - 1));
-          map(root * 2, begin, begin + left);
-          map(root * 2 + 1, begin + left, end);
-        }
-    }
+      typedef _LoserTreePointerUnguardedBase<_Tp, _Compare> _Base;
+      using _Base::_M_k;
+      using _Base::_M_losers;
 
   public:
-    inline
-    LoserTreePointerUnguarded(unsigned int _k,
-                              Comparator _comp = std::less<T>())
-      : comp(_comp)
-    {
-      ik = _k;
-
-      // Next greater power of 2.
-      k = 1 << (log2(ik - 1) + 1);
-      offset = k;
-      losers = new Loser[k + ik];
-      mapping = new unsigned int[ik];
-      map(1, 0, ik);
-    }
-
-    inline ~LoserTreePointerUnguarded()
-    {
-      delete[] losers;
-      delete[] mapping;
-    }
-
-    inline int
-    get_min_source()
-    { return losers[0].source; }
-
-    inline void
-    insert_start(const T& key, int source, bool)
-    {
-      unsigned int pos = mapping[source];
-      losers[pos].source = source;
-      losers[pos].keyp = &key;
-    }
-
-    unsigned int
-    init_winner(unsigned int root, unsigned int begin, unsigned int end)
-    {
-      if (begin + 1 == end)
-        return mapping[begin];
-      else
-        {
-          // Next greater or equal power of 2.
-          unsigned int division = 1 << (log2(end - begin - 1));
-          unsigned int left = init_winner(2 * root, begin, begin + division);
-          unsigned int right
-                          = init_winner(2 * root + 1, begin + division, end);
-          if (!comp(*losers[right].keyp, *losers[left].keyp))
-            {
-              // Left one is less or equal.
-              losers[root] = losers[right];
-              return left;
-            }
-          else
-            {
-              // Right one is less.
-              losers[root] = losers[left];
-              return right;
-            }
-        }
-    }
-
-    inline void
-    init()
-    {
-      losers[0] = losers[init_winner(1, 0, ik)];
-    }
-
-    inline void
-    delete_min_insert(const T& key, bool)
-    {
-      const T* keyp = &key;
-      int& source = losers[0].source;
-      for (int pos = mapping[source] / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted.
-          if (comp(*losers[pos].keyp, *keyp))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].keyp, keyp);
-            }
-        }
-
-      losers[0].keyp = keyp;
-    }
-
-    inline void
-    insert_start_stable(const T& key, int source, bool)
-    { return insert_start(key, source, false); }
-
-    inline void
-    init_stable()
-    { init(); }
-
-    inline void
-    delete_min_insert_stable(const T& key, bool)
-    {
-      int& source = losers[0].source;
-      const T* keyp = &key;
-      for (int pos = mapping[source] / 2; pos > 0; pos /= 2)
-        {
-          // The smaller one gets promoted, ties are broken by source.
-          if (comp(*losers[pos].keyp, *keyp)
-              || (!comp(*keyp, *losers[pos].keyp)
-                  && losers[pos].source < source))
-            {
-              // The other one is smaller.
-              std::swap(losers[pos].source, source);
-              std::swap(losers[pos].keyp, keyp);
-            }
-        }
-      losers[0].keyp = keyp;
-    }
-  };
+      _LoserTreePointerUnguarded(unsigned int __k, const _Tp& __sentinel,
+                                _Compare __comp = std::less<_Tp>())
+      : _Base::_LoserTreePointerUnguardedBase(__k, __sentinel, __comp)
+      { }
+
+      unsigned int
+      __init_winner(unsigned int __root)
+      {
+       if (__root >= _M_k)
+         return __root;
+       else
+         {
+           unsigned int __left = __init_winner(2 * __root);
+           unsigned int __right = __init_winner(2 * __root + 1);
+
+#if _GLIBCXX_ASSERTIONS
+           // If __left one is sentinel then __right one must be, too.
+           if (_M_losers[__left]._M_source == -1)
+             _GLIBCXX_PARALLEL_ASSERT(_M_losers[__right]._M_source == -1);
 #endif
 
-template<typename _ValueTp, class Comparator>
-  struct loser_tree_traits
-  {
-#if _GLIBCXX_LOSER_TREE
-    typedef LoserTree<_ValueTp, Comparator> LT;
-#else
-#  if _GLIBCXX_LOSER_TREE_POINTER
-    typedef LoserTreePointer<_ValueTp, Comparator> LT;
-#  else
-#    error Must define some type in losertree.h.
-#  endif
+           if (!_M_comp(*_M_losers[__right]._M_keyp,
+                        *_M_losers[__left]._M_keyp))
+             {
+               // Left one is less or equal.
+               _M_losers[__root] = _M_losers[__right];
+               return __left;
+             }
+           else
+             {
+               // Right one is less.
+               _M_losers[__root] = _M_losers[__left];
+               return __right;
+             }
+         }
+      }
+
+      void
+      __init()
+      {
+       _M_losers[0] = _M_losers[__init_winner(1)];
+
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top at the beginning
+       // (0 sequences!)
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-  };
-
-template<typename _ValueTp, class Comparator>
-  struct loser_tree_unguarded_traits
-  {
-#if _GLIBCXX_LOSER_TREE_UNGUARDED
-    typedef LoserTreeUnguarded<_ValueTp, Comparator> LT;
-#else
-#  if _GLIBCXX_LOSER_TREE_POINTER_UNGUARDED
-    typedef LoserTreePointerUnguarded<_ValueTp, Comparator> LT;
-#  else
-#    error Must define some unguarded type in losertree.h.
-#  endif
+      }
+
+      void
+      __delete_min_insert(const _Tp& __key, bool __sup)
+      {
+#if _GLIBCXX_ASSERTIONS
+       // no dummy sequence can ever be at the top!
+       _GLIBCXX_PARALLEL_ASSERT(_M_losers[0]._M_source != -1);
 #endif
-  };
 
-}
+       const _Tp* __keyp = &__key;
+       int __source = _M_losers[0]._M_source;
+       for (unsigned int __pos = (_M_k + __source) / 2; __pos > 0;
+            __pos /= 2)
+         {
+           // The smaller one gets promoted.
+           if (_M_comp(*(_M_losers[__pos]._M_keyp), *__keyp))
+             {
+               // The other one is smaller.
+               std::swap(_M_losers[__pos]._M_source, __source);
+               std::swap(_M_losers[__pos]._M_keyp, __keyp);
+             }
+         }
+
+       _M_losers[0]._M_source = __source;
+       _M_losers[0]._M_keyp = __keyp;
+      }
+    };
+} // namespace __gnu_parallel
 
-#endif
+#endif /* _GLIBCXX_PARALLEL_LOSERTREE_H */