Просмотр кода страницы UTF-16

'''UTF-16''' ({{lang-en|Unicode Transformation Format}}) в [[Информатика|информатике]] — один из [[набор символов|способов кодирования]] символов из [[Юникод]]а в виде последовательности 16-[[бит]]ных слов.

Данная кодировка позволяет записывать символы Юникода в диапазонах U+0000..U+D7FF и U+E000..U+10FFFF (общим количеством {{число|1112064}}). При этом каждый символ записывается одним или двумя словами (последнее называется '''суррогатная пара'''). Кодировка UTF-16 описана в приложении Q к международному стандарту [[:en:Universal Character Set|ISO/IEC 10646]], а также ей посвящён IETF RFC 2781 «UTF-16, an encoding of ISO 10646».

== История появления ==
Первая версия Юникода (1991 г.) представляла собой 16-битную кодировку с фиксированной шириной символа; общее число разных символов было 2<sup>16</sup> ({{число|65536}}). Во второй версии Юникода (1996 г.) было решено значительно расширить кодовую область; для сохранения совместимости с теми системами, где уже был реализован 16-битный Юникод, и была создана UTF-16. Область 0xD800—0xDFFF, отведённая для суррогатных пар, ранее принадлежала к области «символов для частного использования».

Поскольку в UTF-16 можно отобразить {{math|2<sup>20</sup>+2<sup>16</sup>−2048}} ({{число|1112064}}) символов, то это число и было выбрано в качестве новой величины кодового пространства Юникода.

== Принцип кодирования ==
{| align="right" class="standard" style="margin-left: 20px" cellpadding="8"
 | 
 !<font color="#0070ff">DC00</font>
 !…
 !<font color="#0070ff">DFFE</font>
 !<font color="#0070ff">DFFF</font>
 |-
 !<font color="#ff7000">D800</font>
 |010000||…||0103FE||0103FF
 |-
 !<font color="#ff7000">D801</font>
 |010400||…||0107FE||0107FF
 |-
 !…
 | colspan=4 align="center" |…
 |-
 !<font color="#ff7000">DBFF</font>
 |10FC00||…||10FFFE
 | bgcolor="#666666" |&nbsp;
 |}

В UTF-16 символы кодируются двухбайтовыми словами с использованием всех возможных диапазонов значений (от 0 до FFFF<sub>16</sub>).
При этом можно кодировать символы Unicode в диапазонах 0000<sub>16</sub>..D7FF<sub>16</sub> и E000<sub>16</sub>..FFFF<sub>16</sub>.
Исключенный отсюда диапазон D800<sub>16</sub>..DFFF<sub>16</sub> используется как раз для кодирования так называемых суррогатных пар — символов, которые кодируются двумя 16-битными словами.

Символы Unicode до FFFF<sub>16</sub> включительно (исключая диапазон для суррогатов) записываются как есть 16-битным словом.

Символы же в диапазоне 10000<sub>16</sub>..10FFFF<sub>16</sub> (больше 16 бит) кодируются по следующей схеме:

* Из кода символа вычитается 10000<sub>16</sub>. В результате получится значение от нуля до FFFFF<sub>16</sub>, которое помещается в разрядную сетку 20 бит.

* Старшие 10 бит (число в диапазоне 0000<sub>16</sub>..03FF<sub>16</sub>) суммируются с D800<sub>16</sub>, и результат идёт в ведущее (первое) слово, которое входит в диапазон <span style="color:#00AA00;">D800<sub>16</sub>..DBFF<sub>16</sub></span>.

* Младшие 10 бит (тоже число в диапазоне 0000<sub>16</sub>..03FF<sub>16</sub>) суммируются с DC00<sub>16</sub>, и результат идёт в последующее (второе) слово, которое входит в диапазон <span style="color:#0070FF;">DC00<sub>16</sub>..DFFF<sub>16</sub></span>.

== Порядок байтов ==
Один символ кодировки UTF-16 представлен последовательностью двух байтов или двух пар байтов.
Который из двух байтов идёт впереди, старший или младший, зависит от [[порядок байтов|порядка байтов]].
Систему, совместимую с процессорами [[x86]], называют {{lang-en2|[[порядок байтов|little endian]]}}, а с процессорами [[m68k]] и [[SPARC]] — {{lang-en2|[[порядок байтов|big endian]]}}.

Для определения порядка байтов используется [[Byte order mark|метка порядка байтов]] ({{lang-en|Byte order mark}}). В начале текста записывается код U+FEFF. При считывании, если вместо U+FEFF считалось U+FFFE, значит порядок байтов обратный (little endian), поскольку код U+FFFE в Юникоде не кодирует символ и зарезервирован как раз для целей определения порядка байтов. Так как в кодировке UTF-8 не используются значения 0xFE и 0xFF, можно использовать метку порядка байтов как признак, позволяющий различать UTF-16 и UTF-8.

=== UTF-16LE и UTF-16BE ===
Предусмотрена также возможность внешнего указания порядка байтов — для этого кодировка должна быть описана как '''UTF-16LE''' или '''UTF-16BE''' (little-endian / big-endian), а не просто UTF-16. В этом случае метка порядка байтов (U+FEFF) не нужна.

== UTF-16 в ОС Windows ==
{{main|Юникод в операционных системах Microsoft}}
В [[Интерфейс программирования приложений|API]] [[Win32]], распространённом в современных версиях операционной системы [[Microsoft Windows]], имеется два способа представления текста: в форме традиционных 8-битных [[кодовая страница|кодовых страниц]] и в виде UTF-16.

При использовании UTF-16, Windows не накладывает ограничений на прикладные программы касательно кодирования текстовых файлов, позволяя им использовать как UTF-16LE, так и UTF-16BE посредством установки и трактовки соответствующей [[Маркер последовательности байтов|метки порядка байтов]]. Однако внутренний формат Windows — всегда UTF-16LE. Этот момент следует учитывать при работе с [[Portable Executable|исполняемыми файлами]], использующими юникодовые версии функций WinAPI. Строки в них всегда кодируются в UTF-16LE<ref>{{Cite web |url=https://msdn.microsoft.com/en-us/library/windows/desktop/dd374101(v=vs.85).aspx |title=Using Byte Order Marks|lang=en|access-date=2016-02-18 |archive-date=2016-01-22 |archive-url=https://web.archive.org/web/20160122202803/https://msdn.microsoft.com/en-us/library/windows/desktop/dd374101(v=vs.85).aspx |deadlink=no }}</ref>.

В [[файловая система|файловых системах]] [[NTFS]], а также [[File Allocation Table|FAT]] с поддержкой длинных имён, [[имя файла|имена файлов]] записываются также в UTF-16LE.

== Примеры процедур ==
Примеры ниже записаны на псевдокоде и в них не учитывается маска порядка байтов — они лишь показывают суть кодирования.
Порядок байтов — от младшего к старшему (Little-Endian, интеловский x86).
Тип <code>Word</code> — двухбайтовое слово (16-битное беззнаковое целое), а тип <code>UInt32</code> — 32-битное беззнаковое целое.
Шестнадцатеричные значения начинаются со знака доллара «$».

=== Кодирование ===
В примере <code>WriteWord()</code> — условная процедура, которая пишет одно слово (при этом сдвигает внутренний указатель).
Функция <code>LoWord()</code> возвращает младшее слово от 32-битного целого (старшие биты, не глядя, отбрасываются).

<source lang="pascal">
// Допустимые значения Code: $0000..$D7FF, $E000..$10FFFF.
Procedure WriteUTF16Char(Code: UInt32)
    If (Code < $10000) Then
        WriteWord(LoWord(Code))
    Else
        Code = Code - $10000
        Var Lo10: Word = LoWord(Code And $3FF)
        Var Hi10: Word = LoWord(Code Shr 10)
        WriteWord($D800 Or Hi10)
        WriteWord($DC00 Or Lo10)
    End If
End Procedure
</source>

=== Декодирование ===
В примере <code>ReadWord()</code> читает слово из потока (сдвигая при этом внутренний указатель).
Она же при необходимости может корректировать порядок байтов.
Функция <code>WordToUInt32</code> расширяет двухбайтовое слово до четырёхбайтового беззнакового целого, заполняя старшие биты нулями.
<code>Error()</code> прерывает выполнение (по сути [[Обработка исключений|исключение]]).

<source lang="pascal">
// В случае успеха возвращаются значения
// в диапазонах $0000..$D7FF и $E000..$10FFFF.
Function ReadUTF16Char: UInt32
    Var Leading:  Word  // Лидирующее (первое) слово.
    Var Trailing: Word  // Последующее (второе) слово.

    Leading = ReadWord();
    If (Leading < $D800) Or (Leading > $DFFF) Then
        Return WordToUInt32(Leading)
    Else If (Leading >= $DC00) Then
        Error("Недопустимая кодовая последовательность.")
    Else
        Var Code: UInt32
        Code = WordToUInt32(Leading And $3FF) Shl 10
        Trailing = ReadWord()
        If ((Trailing < $DC00) Or (Trailing > $DFFF)) Then
            Error("Недопустимая кодовая последовательность.")
        Else
            Code = Code Or WordToUInt32(Trailing And $3FF)
            Return (Code + $10000)
        End If
    End If
End Function
</source>

== Примечания ==
{{примечания}}

== Ссылки ==
* [http://www.unicode.org/notes/tn12/ Unicode Technical Note #12: Обработка UTF-16]{{ref-en}}
* [http://www.unicode.org/faq/utf_bom.html#utf16-11 Unicode FAQ: В чём разница между UCS-2 и UTF-16?]{{ref-en}}
* {{Inet-note-ref|type=rfc|id=2781|text=RFC 2781: UTF-16, an encoding of ISO 10646}}{{ref-en}}
* [http://www.unicode.org/ Полное описание стандарта Unicode]{{ref-en}}
* [http://www.cl.cam.ac.uk/~mgk25/ucs/ISO-10646-UTF-16.html ISO-10646-UTF-16 (Информация о конвертировании больших значений в два слова UTF-16)]{{ref-en}}

{{Кодировки символов}}

[[Категория:Юникод]]
[[Категория:Компьютерные кодировки]]