runtime/utf.h

   1 /*
   2  * Copyright (C) 2011 The Android Open Source Project
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef ART_RUNTIME_UTF_H_
  18 #define ART_RUNTIME_UTF_H_
  19
  20 #include "base/macros.h"
  21 #include "base/mutex.h"
  22
  23 #include <stddef.h>
  24 #include <stdint.h>
  25
  26 /*
  27  * All UTF-8 in art is actually modified UTF-8. Mostly, this distinction
  28  * doesn't matter.
  29  *
  30  * See http://en.wikipedia.org/wiki/UTF-8#Modified_UTF-8 for the details.
  31  */
  32 namespace art {
  33
  34 namespace mirror {
  35   template<class T> class PrimitiveArray;
  36   typedef PrimitiveArray<uint16_t> CharArray;
  37 }  // namespace mirror
  38
  39 /*
  40  * Returns the number of UTF-16 characters in the given modified UTF-8 string.
  41  */
  42 size_t CountModifiedUtf8Chars(const char* utf8);
  43 size_t CountModifiedUtf8Chars(const char* utf8, size_t byte_count);
  44
  45 /*
  46  * Returns the number of modified UTF-8 bytes needed to represent the given
  47  * UTF-16 string.
  48  */
  49 size_t CountUtf8Bytes(const uint16_t* chars, size_t char_count);
  50
  51 /*
  52  * Convert from Modified UTF-8 to UTF-16.
  53  */
  54 void ConvertModifiedUtf8ToUtf16(uint16_t* utf16_out, const char* utf8_in);
  55 void ConvertModifiedUtf8ToUtf16(uint16_t* utf16_out, size_t out_chars,
  56                                 const char* utf8_in, size_t in_bytes);
  57
  58 /*
  59  * Compare two modified UTF-8 strings as UTF-16 code point values in a non-locale sensitive manner
  60  */
  61 ALWAYS_INLINE int CompareModifiedUtf8ToModifiedUtf8AsUtf16CodePointValues(const char* utf8_1,
  62                                                                           const char* utf8_2);
  63
  64 /*
  65  * Compare a null-terminated modified UTF-8 string with a UTF-16 string (not null-terminated)
  66  * as code point values in a non-locale sensitive manner.
  67  */
  68 int CompareModifiedUtf8ToUtf16AsCodePointValues(const char* utf8, const uint16_t* utf16,
  69                                                 size_t utf16_length);
  70
  71 /*
  72  * Convert from UTF-16 to Modified UTF-8. Note that the output is _not_
  73  * NUL-terminated. You probably need to call CountUtf8Bytes before calling
  74  * this anyway, so if you want a NUL-terminated string, you know where to
  75  * put the NUL byte.
  76  */
  77 void ConvertUtf16ToModifiedUtf8(char* utf8_out, size_t byte_count,
  78                                 const uint16_t* utf16_in, size_t char_count);
  79
  80 /*
  81  * The java.lang.String hashCode() algorithm.
  82  */
  83 int32_t ComputeUtf16Hash(mirror::CharArray* chars, int32_t offset, size_t char_count)
  84     SHARED_REQUIRES(Locks::mutator_lock_);
  85 int32_t ComputeUtf16Hash(const uint16_t* chars, size_t char_count);
  86 int32_t ComputeUtf16HashFromModifiedUtf8(const char* utf8, size_t utf16_length);
  87
  88 // Compute a hash code of a modified UTF-8 string. Not the standard java hash since it returns a
  89 // uint32_t and hashes individual chars instead of codepoint words.
  90 uint32_t ComputeModifiedUtf8Hash(const char* chars);
  91
  92 /*
  93  * Retrieve the next UTF-16 character or surrogate pair from a UTF-8 string.
  94  * single byte, 2-byte and 3-byte UTF-8 sequences result in a single UTF-16
  95  * character (possibly one half of a surrogate) whereas 4-byte UTF-8 sequences
  96  * result in a surrogate pair. Use GetLeadingUtf16Char and GetTrailingUtf16Char
  97  * to process the return value of this function.
  98  *
  99  * Advances "*utf8_data_in" to the start of the next character.
 100  *
 101  * WARNING: If a string is corrupted by dropping a '\0' in the middle
 102  * of a multi byte sequence, you can end up overrunning the buffer with
 103  * reads (and possibly with the writes if the length was computed and
 104  * cached before the damage). For performance reasons, this function
 105  * assumes that the string being parsed is known to be valid (e.g., by
 106  * already being verified). Most strings we process here are coming
 107  * out of dex files or other internal translations, so the only real
 108  * risk comes from the JNI NewStringUTF call.
 109  */
 110 uint32_t GetUtf16FromUtf8(const char** utf8_data_in);
 111
 112 /**
 113  * Gets the leading UTF-16 character from a surrogate pair, or the sole
 114  * UTF-16 character from the return value of GetUtf16FromUtf8.
 115  */
 116 ALWAYS_INLINE uint16_t GetLeadingUtf16Char(uint32_t maybe_pair);
 117
 118 /**
 119  * Gets the trailing UTF-16 character from a surrogate pair, or 0 otherwise
 120  * from the return value of GetUtf16FromUtf8.
 121  */
 122 ALWAYS_INLINE uint16_t GetTrailingUtf16Char(uint32_t maybe_pair);
 123
 124 }  // namespace art
 125
 126 #endif  // ART_RUNTIME_UTF_H_