Журнал фильтра правок

'[[Файл:New Unicode logo.svg|x200px|thumb|right|Логотип Консорциума Юникода]] '''Юнико́д'''<ref name=autogenerated1>{{cite web|url=http://www.unicode.org/standard/UnicodeTranscriptions.html|title=Unicode Transcriptions|publisher=|date=|accessdate=10 мая 2010|lang=en|archiveurl=https://web.archive.org/web/20060408204540/http://www.unicode.org/standard/UnicodeTranscriptions.html|archivedate=2006-04-08|deadlink=yes}}</ref> (чаще всего) или '''Унико́д'''<ref>[http://www.paratype.ru/help/term/terms.asp?code=361 Уникод в словаре Paratype]</ref> ({{lang-en|Unicode}}) — стандарт [[Набор символов|кодирования символов]], включающий в себя знаки почти всех письменных [[язык]]ов мира<ref name="unicode-techintro">{{cite web|url=http://www.unicode.org/standard/principles.html|title=The Unicode® Standard: A Technical Introduction|accessdate=2010-07-04|archiveurl=https://web.archive.org/web/20100310120125/http://www.unicode.org/standard/principles.html|archivedate=2010-03-10|deadlink=yes}}</ref>. В настоящее время стандарт является преобладающим в [[Интернет|Интернете]]. Стандарт предложен в [[1991 год]]у некоммерческой организацией «Консорциум Юникода» ({{lang-en|Unicode Consortium, Unicode Inc.}})<ref>{{cite web|url=http://www.unicode.org/history/publicationdates.html|title=History of Unicode Release and Publication Dates|accessdate=2010-07-04|archiveurl=https://web.archive.org/web/20100110085403/http://www.unicode.org/history/publicationdates.html|archivedate=2010-01-10|deadlink=yes}}</ref><ref>{{cite web|url=http://www.unicode.org/consortium/consort.html|title=The Unicode Consortium|accessdate=2010-07-04|archiveurl=https://web.archive.org/web/20100627085503/http://www.unicode.org/consortium/consort.html|archivedate=2010-06-27|deadlink=yes}}</ref>. Применение этого стандарта позволяет закодировать очень большое число символов из разных систем письменности: в документах, закодированных по стандарту Юникод, могут соседствовать китайские [[иероглиф]]ы, математические символы, буквы [[греческий алфавит|греческого алфавита]], [[латинский алфавит|латиницы]] и [[кириллица|кириллицы]], символы музыкальной нотной нотации, при этом становится ненужным переключение [[кодовая страница|кодовых страниц]]<ref name="unicode-foreword">{{cite web|url=http://www.unicode.org/versions/Unicode5.2.0/Foreword.pdf|title=Foreword|accessdate=2010-07-04|archiveurl=https://web.archive.org/web/20100627141434/http://www.unicode.org/versions/Unicode5.2.0/Foreword.pdf|archivedate=2010-06-27|deadlink=yes}}</ref>. Стандарт состоит из двух основных частей: универсального набора символов ({{lang-en|Universal character set, UCS}}) и семейства кодировок ({{lang-en|Unicode transformation format, UTF}}). Универсальный набор символов перечисляет допустимые по стандарту Юникод символы и присваивает каждому символу код в виде неотрицательного целого числа, записываемого обычно в шестнадцатеричной форме с префиксом <code>U+</code>, например, <code>U+040F</code>. Семейство кодировок определяет способы преобразования кодов символов для передачи в потоке или в файле. Коды в стандарте Юникод разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора [[ASCII]], и коды этих символов совпадают с их кодами в ASCII. Далее расположены области символов других систем письменности, знаки пунктуации и технические символы. Часть кодов зарезервирована для использования в будущем<ref name='unicode-02'>{{cite web|url=http://www.unicode.org/versions/Unicode5.2.0/ch02.pdf|title=General Structure|accessdate=2010-07-05|archiveurl=https://web.archive.org/web/20100627093139/http://www.unicode.org/versions/Unicode5.2.0/ch02.pdf|archivedate=2010-06-27|deadlink=yes}}</ref>. Под символы кириллицы выделены области знаков с кодами от U+0400 до U+052F, от U+2DE0 до U+2DFF, от U+A640 до U+A69F (см. [[Кириллица в Юникоде]])<ref>{{cite web|url=http://www.unicode.org/versions/Unicode5.2.0/ch07.pdf|title=European Alphabetic Scripts|accessdate=2010-07-04|archiveurl=https://web.archive.org/web/20100627140856/http://www.unicode.org/versions/Unicode5.2.0/ch07.pdf|archivedate=2010-06-27|deadlink=yes}}</ref>. == Предпосылки создания и развитие Юникода == {{цитата|Unicode — это уникальный код для любого символа, независимо от платформы, независимо от программы, независимо от языка.|автор=Консорциум Юникода<ref>[http://www.unicode.org/standard/translations/russian.html Что такое Unicode?]</ref>}} К концу 1980-х годов стандартом стали 8-битные кодировки, их существовало уже большое множество, и постоянно появлялись новые. Это объяснялось как расширением круга поддерживаемых языков, так и стремлением создавать кодировки, частично совместимые между собой (характерный пример — появление [[альтернативная кодировка|альтернативной кодировки для русского языка]], обусловленное эксплуатацией западных программ, созданных для кодировки [[CP437]]). В результате появилось несколько проблем: # проблема неправильной раскодировки; # проблема ограниченности набора символов; # проблема преобразования одной кодировки в другую; # проблема дублирования шрифтов. '''Проблема неправильной раскодировки''' вызывала появление в документе символов иностранных языков, не предполагавшихся в документе, или появление не предполагавшихся [[псевдографика|псевдографических]] символов, прозванных русскоязычными пользователями «кракозябрами». Проблема во многом была вызвана отсутствием стандартизированной формы указания кодировки для файла или потока. Проблему можно было решить либо последовательным внедрением стандарта указания кодировки, либо внедрением общей для всех языков кодировки.<ref name='unicode-foreword' /> '''Проблема ограниченности набора символов'''<ref name='unicode-foreword' />. Проблему можно было решить либо переключением шрифтов внутри документа, либо внедрением «широкой» кодировки. Переключение шрифтов издавна практиковалось в [[текстовый процессор|текстовых процессорах]], причём часто использовались [[нестандартные шрифты|шрифты с нестандартной кодировкой]], т. н. «dingbat fonts». В итоге при попытке переноса документа в другую систему все нестандартные символы превращались в «кракозябры». '''Проблема преобразования одной кодировки в другую'''. Проблему можно было решить либо составлением таблиц перекодировки для каждой пары кодировок, либо использованием промежуточного преобразования в третью кодировку, включающую все символы всех кодировок<ref>{{cite web|url=http://www.unicode.org/history/unicode88.pdf|title=Unicode 88|accessdate=2010-07-08|archiveurl=https://web.archive.org/web/20170906035012/http://unicode.org/history/unicode88.pdf|archivedate=2017-09-06|deadlink=yes}}</ref>. '''Проблема дублирования шрифтов'''. Для каждой кодировки создавался свой шрифт, даже если наборы символов в кодировках совпадали частично или полностью. Проблему можно было решить путём создания «больших» шрифтов, из которых впоследствии выбирались бы нужные для данной кодировки символы. Однако это требовало создания единого реестра символов, чтобы определять, чему что соответствует. Была признана необходимость создания единой «широкой» кодировки. Кодировки с переменной длиной символа, широко использующиеся в Восточной Азии, были признаны слишком сложными в использовании, поэтому было решено использовать символы фиксированной ширины. Использование 32-битных символов казалось слишком расточительным, поэтому было решено использовать 16-битные. Первая версия Юникода представляла собой кодировку с фиксированным размером символа в 16 бит, то есть общее число кодов было 2¹⁶ ({{formatnum:65536}}). С тех пор символы стали обозначать четырьмя шестнадцатеричными цифрами (например, <code>U+04F0</code>). При этом в Юникоде планировалось кодировать не все существующие символы, а только те, которые необходимы в повседневном обиходе. Редко используемые символы должны были размещаться в «области пользовательских символов» ({{lang|en|private use area}}), которая первоначально занимала коды <code>U+D800…U+F8FF</code>. Чтобы использовать Юникод также и в качестве промежуточного звена при преобразовании разных кодировок друг в друга, в него включили все символы, представленные во всех наиболее известных кодировках. В дальнейшем, однако, было принято решение кодировать все символы и в связи с этим значительно расширить кодовую область. Одновременно с этим, коды символов стали рассматриваться не как 16-битные значения, а как абстрактные числа, которые в компьютере могут представляться множеством разных способов (см. [[#Способы представления|способы представления]]). Поскольку в ряде компьютерных систем (например, [[Windows NT]]<ref name="windows-nt">{{cite web|url=http://support.microsoft.com/kb/99884|title=Unicode and Microsoft Windows NT|work=Microsoft Support|lang=en|archiveurl=https://web.archive.org/web/20090926092654/http://support.microsoft.com/kb/99884|archivedate=2009-09-26|accessdate=2009-11-12|deadlink=yes}}</ref>) фиксированные 16-битные символы уже использовались в качестве кодировки по умолчанию, было решено все наиболее важные знаки кодировать только в пределах первых {{formatnum:65536}} позиций (так называемая {{lang-en|Basic Multilingual Plane, BMP}}). Остальное пространство используется для «дополнительных символов» ({{lang-en|supplementary characters}}): систем письма вымерших языков или очень редко используемых [[китай]]ских иероглифов, математических и музыкальных символов. Для совместимости со старыми 16-битными системами была изобретена система [[UTF-16]], где первые {{formatnum:65536}} позиций, за исключением позиций из интервала U+D800…U+DFFF, отображаются непосредственно как 16-битные числа, а остальные представляются в виде «суррогатных пар» (первый элемент пары из области U+D800…U+DBFF, второй элемент пары из области U+DC00…U+DFFF). Для суррогатных пар была использована часть кодового пространства (2048 позиций), отведённого «для частного использования». Поскольку в UTF-16 можно отобразить только 2²⁰+2¹⁶−2048 ({{formatnum:1112064}}) символов, то это число и было выбрано в качестве окончательной величины кодового пространства Юникода (диапазон кодов: 0x000000-0x10FFFF). Хотя кодовая область Юникода была расширена за пределы 2¹⁶ уже в версии 2.0, первые символы в «верхней» области были размещены только в версии 3.1. Роль этой кодировки в веб-секторе постоянно растёт. На начало 2010 доля веб-сайтов, использующих Юникод, составила около 50 %<ref>{{cite web|url=http://w3pro.ru/news/unicode-ispolzuetsya-pochti-na-50-veb-saitov|title=Unicode используется почти на 50% веб-сайтов|lang=ru|archiveurl=https://web.archive.org/web/20100611042601/http://w3pro.ru/news/unicode-ispolzuetsya-pochti-na-50-veb-saitov|archivedate=2010-06-11|accessdate=2010-02-09|deadlink=yes}}</ref>. == Версии Юникода == Работа по доработке стандарта продолжается. Новые версии выпускаются по мере изменения и пополнения таблиц символов. Параллельно выпускаются новые документы [[Международная организация по стандартизации|ISO]]/IEC 10646. Первый стандарт выпущен в 1991 году, последний на данный момент — в 2020. Версии стандарта 1.0—5.0 публиковались как книги и имеют [[ISBN]]<ref>[http://www.unicode.org/history/publicationdates.html History of Unicode Release and Publication Dates]</ref><ref>[http://www.unicode.org/versions/enumeratedversions.html Enumerated Versions]</ref>. Номер версии стандарта составлен из трёх цифр (например, 3.1.1). Третью цифру меняют при внесении в стандарт небольших изменений, не добавляющих новых символов (исключение — версия 1.0.1, в которой добавлены {{iw|Унифицированные идеограммы ККЯ|унифицированные идеограммы китайского, японского и корейского письма|en|CJK Unified Ideographs}})<ref>[http://www.unicode.org/versions/index.html About Versions]</ref>. База данных символов Юникода ([http://www.unicode.org/ucd/ Unicode Character Database]) доступна для всех версий на официальном сайте как в простом текстовом, так и в XML-формате. Файлы распространяются под BSD-подобной [http://www.unicode.org/copyright.html лицензией]. {{Временная линия Юникода}} {| class="wikitable" |- |+ Версии Юникода |- ! Номер вер&shy;сии ! Дата публи&shy;ка&shy;ции ! [[Международный стандартный книжный номер|ISBN]] книги ! Изда&shy;ние ISO/IEC 10646 ! Коли&shy;че&shy;ство [[Письменность|пись&shy;мен&shy;но&shy;стей]] ! Коли&shy;че&shy;ство сим&shy;во&shy;лов<ref group="A">'''Включая''' символы графические ({{lang-en|graphic}}), управляющие ({{lang-en|control}}) и символы форматирования ({{lang-en|format}}); '''не включая''' [[Области для частного использования|символы для частного использования]] ({{Lang-en|private-use}}), несимвольные знаки ({{Lang-en|noncharacters}}) и суррогаты ({{lang-en|surrogate code points}}).</ref> ! Изменения |- | 1.0.0<ref>{{cite web|title=Unicode® 1.0|url=http://www.unicode.org/versions/Unicode1.0.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Октябрь 1991 | ISBN 0-201-56788-1 (Vol.1) | | {{formatnum:24}} | {{formatnum:7161}} | Изначально Юникод содержал символы следующих письменностей: [[арабское письмо]], [[армянское письмо]], [[бенгальское письмо]], [[Чжуинь|чжуиньское письмо]], [[кириллица]], [[деванагари]], [[грузинское письмо]], [[Греческий алфавит|греческое и коптское письмо]], [[Гуджарати (письмо)|гуджарати]], [[гурмукхи]], [[хангыль]], [[Еврейский алфавит|еврейское письмо]], [[хирагана]], [[Каннада (письмо)|каннада]], [[катакана]], [[лаосское письмо]], [[Латинский алфавит|латиница]], [[Малаялам (письмо)|малаялам]], [[Ория (письмо)|ория]], [[тамильское письмо]], [[Телугу (письмо)|телугу]], [[тайское письмо]] и [[тибетское письмо]]<ref>{{cite web | title = Unicode Data 1.0.0 | url = http://www.unicode.org/Public/reconstructed/1.0.0/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 1.0.1 | Июнь 1992 | ISBN 0-201-60845-6 (Vol.2) | | {{formatnum:25}} | {{formatnum:28359}} | Добавлены {{formatnum:20902}} {{iw|Унифицированные идеограммы ККЯ|унифицированные идеограммы китайского, японского и корейского письма|en|CJK Unified Ideographs}}<ref>{{cite web | title = Unicode Data 1.0.1 | url = http://www.unicode.org/Public/reconstructed/1.0.1/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 1.1<ref>{{cite web|title=Unicode® 1.1|url=http://www.unicode.org/versions/Unicode1.1.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Июнь 1993 | | ISO/IEC 10646-1:1993 | {{formatnum:24}} | {{formatnum:34233}} | Добавлено {{formatnum:4306}} слогов [[Хангыль|хангыля]], дополнивших уже имеющиеся в кодировке {{formatnum:2350}} символов. Удалены символы [[Тибетское письмо|тибетского письма]]<ref>{{cite web | title = Unicode Data 1995 | url = http://www.unicode.org/Public/1.1-Update/UnicodeData-1.1.5.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 2.0<ref>{{cite web|title=Unicode 2.0.0|url=http://www.unicode.org/versions/Unicode2.0.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Июль 1996 | ISBN 0-201-48345-9 | ISO/IEC 10646-1:1993 и Amendments 5, 6, 7 | {{formatnum:25}} | {{formatnum:38950}} | Удалены добавленные ранее слоги [[Хангыль|хангыля]], и добавлены {{formatnum:11172}} новых слога хангыля с новыми кодами. Возвращены удалённые ранее символы [[Тибетское письмо|тибетского письма]]; символы получили новые коды и были размещены в разных таблицах. Введён механизм суррогатных ({{lang-en|surrogate}}) символов. Выделено место для плоскостей ({{lang-en|planes}}) [[Области для частного использования|15 и 16]]<ref>{{cite web | title = Unicode Data 2.0.14 | url = http://www.unicode.org/Public/2.0-Update/UnicodeData-2.0.14.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 2.1<ref>{{cite web|title=Unicode 2.1.0|url=http://www.unicode.org/versions/Unicode2.1.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Май 1998 | | ISO/IEC 10646-1:1993, Amendments 5, 6, 7, два символа из Amendment 18 | 25 | {{formatnum:38952}} | Добавлены [[символ евро]] и [[заменяющий символ]]<ref>{{cite web | title = Unicode Data 2.1.2 | url = http://www.unicode.org/Public/2.1-Update/UnicodeData-2.1.2.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 3.0<ref>{{cite web|title=Unicode 3.0.0|url=http://www.unicode.org/versions/Unicode3.0.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Сентябрь 1999 | ISBN 0-201-61633-5 | ISO/IEC 10646-1:2000 | {{formatnum:38}} | {{formatnum:49259}} | Добавлены письмо [[Чероки (письмо)|чероки]], [[эфиопское письмо]], [[кхмерское письмо]], [[монгольские письменности]], [[бирманское письмо]], [[огамическое письмо]], [[руны]], [[сингальское письмо]], [[сирийское письмо]], [[Тана (письмо)|тана]], [[канадское слоговое письмо]] и [[письмо и]], а также символы [[Шрифт Брайля|шрифта Брайля]]<ref>{{cite web | title = Unicode Data 3.0.0 | url = http://www.unicode.org/Public/3.0-Update/UnicodeData-3.0.0.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 3.1<ref>{{cite web|title=Unicode 3.1.0|url=http://www.unicode.org/versions/Unicode3.1.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Март 2001 | | ISO/IEC 10646-1:2000 ISO/IEC 10646-2:2001 | {{formatnum:41}} | {{formatnum:94205}} | Добавлены [[Дезеретский алфавит|дезеретское письмо]], [[готское письмо]] и {{iw|древнеиталийское письмо||en|Old Italic alphabet}}, а также символы [[Современная музыкальная нотация|западной]] и [[Византийская музыка|византийской музыки]], {{formatnum:42711}} {{iw|Унифицированные идеограммы ККЯ|унифицированных идеограмм китайского, японского и корейского письма|en|CJK Unified Ideographs}}. Выделено место для плоскостей [[Плоскость (Юникод)#Дополнительная многоязычная плоскость|1]], [[Плоскость (Юникод)#Дополнительная идеографическая плоскость|2]] и [[Плоскость (Юникод)#Специализированная дополнительная плоскость|14]]<ref>{{cite web | title = Unicode Data 3.1.0 | url = http://www.unicode.org/Public/3.1-Update/UnicodeData-3.1.0.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 3.2<ref>{{cite web|title=Unicode 3.2.0|url=http://www.unicode.org/versions/Unicode3.2.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Март 2002 | | ISO/IEC 10646-1:2000 и Amendment 1 ISO/IEC 10646-2:2001 | {{formatnum:45}} | {{formatnum:95221}} | Добавлены [[Бухид (письмо)|письмо бухид]], {{iw|Письмо хануноо|хануноо|en|Hanunó'o script}}, [[байбайин]] и [[Тагбанва (письмо)|письмо тагбанва]]<ref>{{cite web | title = Unicode Data 3.2.0 | url = http://www.unicode.org/Public/3.2-Update/UnicodeData-3.2.0.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 4.0<ref>{{cite web|title=Unicode 4.0.0|url=http://www.unicode.org/versions/Unicode4.0.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Апрель 2003 | ISBN 0-321-18578-1 | ISO/IEC 10646:2003 | {{formatnum:52}} | {{formatnum:96447}} | Добавлены [[кипрское письмо]], [[Лимбу (письмо)|письмо лимбу]], [[линейное письмо Б]], [[сомалийское письмо]], [[Алфавит Шоу|алфавит шоу]], [[Тай-ныа#Письменность|письмо лы]] и [[угаритское письмо]], а также символы [[Гексаграмма (Ицзин)|гексаграмм]]<ref>{{cite web | title = Unicode Data 4.0.0 | url = http://www.unicode.org/Public/4.0-Update/UnicodeData-4.0.0.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 4.1<ref>{{cite web|title=Unicode 4.1.0|url=http://www.unicode.org/versions/Unicode4.1.0/|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Март 2005 | | ISO/IEC 10646:2003 и Amendment 1 | {{formatnum:59}} | {{formatnum:97720}} | Добавлены [[Лонтара|письмо лонтара]], [[глаголица]], [[Кхароштхи|письмо кхароштхи]], [[новое письмо лы]], [[древнеперсидская клинопись]], [[силхетское нагари]] и [[древнеливийское письмо]]. Символы [[Коптское письмо|коптского письма]] были отделены от символов [[Греческий алфавит|греческого письма]]. Также добавлены [[Аттическая система счисления|символы старых греческих цифр]], музыкальные символы Древней Греции и [[символ гривны]] (валюты [[Украина|Украины]])<ref>{{cite web | title = Unicode Data 4.1.0 | url = http://www.unicode.org/Public/4.1.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 5.0<ref>{{cite web|title=Unicode 5.0.0|url=http://www.unicode.org/versions/Unicode5.0.0/|date=2006-07-14|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Июль 2006 | ISBN 0-321-48091-0 | ISO/IEC 10646:2003, Amendments 1, 2, четыре символа из Amendment 3 | {{formatnum:64}} | {{formatnum:99089}} | Добавлены [[балийское письмо]], [[клинопись]], [[Нко (письмо)|письмо нко]], [[монгольское квадратное письмо]] и [[финикийское письмо]]<ref>{{cite web | title = Unicode Data 5.0.0 | url = http://www.unicode.org/Public/5.0.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 5.1<ref>{{cite web|title=Unicode 5.1.0|url=http://www.unicode.org/versions/Unicode5.1.0/|date=2008-04-04|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Апрель 2008 | | ISO/IEC 10646:2003 и Amendments 1, 2, 3, 4 | {{formatnum:75}} | {{formatnum:100713}} | Добавлены [[карийское письмо]], [[чамская письменность]], [[Кая-ли|письмо кая-ли]], [[Лепча (письмо)|письмо лепча]], [[Ликийский алфавит|ликийское письмо]], [[Лидийский алфавит|лидийское письмо]], [[Ол-чики|письмо ол-чики]], [[реджангское письмо]], [[Саураштра (письмо)|письмо саураштра]], [[сунданское письмо]], [[древнетюркское письмо]] и [[Ваи (письмо)|письмо ваи]]. Добавлены [[Фестский диск|символы фестского диска]], символы костей для [[маджонг]]а и [[домино]], [[заглавная буква эсцет]] (ẞ), а также буквы латиницы, использовавшиеся в средневековых [[Рукопись|рукописях]] для {{iw|аббревация|аббревиации|en|Scribal abbreviation}}. Новыми символами дополнен набор символов [[Бирманское письмо|бирманского письма]]<ref>{{cite web | title = Unicode Data 5.1.0 | url = http://www.unicode.org/Public/5.1.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 5.2<ref>{{cite web|title=Unicode® 5.2.0|url=http://www.unicode.org/versions/Unicode5.2.0/|date=2009-10-01|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Октябрь 2009 | | ISO/IEC 10646:2003 и Amendments 1, 2, 3, 4, 5, 6 | {{formatnum:90}} | {{formatnum:107361}} | Добавлены [[Авестийский алфавит|авестийское письмо]], [[Бамум (письменность)|письмо бамум]], [[египетское иероглифическое письмо]] (по {{iw|список Гардинера|списку Гардинера|en|Gardiner's sign list}}, содержащему {{formatnum:1071}} символ), [[имперское арамейское письмо]], {{iw|пахлевийское эпиграфическое письмо||en|Inscriptional Pahlavi}}, {{iw|парфянское эпиграфическое письмо||en|Inscriptional Parthian}}, [[яванское письмо]], [[Кайтхи|письмо кайтхи]], [[Алфавит Фрейзера|письмо лису]], [[Манипури (письмо)|письмо манипури]], [[южноаравийское письмо]], [[древнетюркское письмо]], [[самаритянское письмо]], [[Ланна (письмо)|письмо ланна]] и {{iw|письмо тай-вьет||en|Tai Viet script}}. Добавлены {{formatnum:4149}} новых {{iw|унифицированные идеограммы китайского, японского, корейского письма|унифицированных идеограмм китайского, японского и корейского письма|en|CJK Unified Ideographs}} (CJK-C), символы [[Ведийский язык|ведийского письма]], [[символ тенге]] (валюты [[Казахстан]]а), а также расширен набор символов чамо [[Хангыль|старого хангыля]]<ref>{{cite web | title = Unicode Data 5.2.0 | url = http://www.unicode.org/Public/5.2.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 6.0<ref>{{cite web|title=Unicode® 6.0.0|url=http://www.unicode.org/versions/Unicode6.0.0/|date=2010-10-11|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Октябрь 2010 | | ISO/IEC 10646:2010 и [[символ индийской рупии]] | {{formatnum:93}} | {{formatnum:109449}} | Добавлены [[батакское письмо]], [[Брахми|письмо брахми]], [[мандейское письмо]]. Добавлены символы [[Игральные карты|игральных карт]], [[Дорожный знак|дорожных знаков]], [[Географическая карта|географических карт]], [[Алхимические символы|алхимии]], [[эмотикон]]а и [[эмодзи]], а также {{formatnum:222}} {{iw|унифицированные идеограммы китайского, японского и корейского письма||en|CJK Unified Ideographs}} (CJK-D)<ref>{{cite web | title = Unicode Data 6.0.0 | url = http://www.unicode.org/Public/6.0.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 6.1<ref>{{cite web|title=Unicode® 6.1.0|url=http://www.unicode.org/versions/Unicode6.1.0/|date=2012-01-31|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | Январь 2012 | | ISO/IEC 10646:2012 | {{formatnum:100}} | {{formatnum:110181}} | Добавлены [[Чакма (письмо)|письмо чакма]], [[Мероитское письмо|мероитский курсив и мероитские иероглифы]], [[Письмо Полларда|письмо мяо]], [[Шарада (письмо)|письмо шарада]], {{iw|письмо соранг-сомпенг||en|Sora Sompeng}} и [[Такри|письмо такри]]<ref>{{cite web | title = Unicode Data 6.1.0 | url = http://www.unicode.org/Public/6.1.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 6.2<ref>{{cite web|title=Unicode® 6.2.0|url=http://www.unicode.org/versions/Unicode6.2.0/|date=2012-09-26|work={{нп5|Unicode Consortium}}|accessdate=2017-12-07|language=en}}</ref> | Сентябрь 2012 | | ISO/IEC 10646:2012 и [[символ турецкой лиры]] | {{formatnum:100}} | {{formatnum:110182}} | Добавлен [[символ турецкой лиры]] (валюты [[Турция|Турции]])<ref>{{cite web | title = Unicode Data 6.2.0 | url = http://www.unicode.org/Public/6.2.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 6.3<ref>{{cite web|title=Unicode® 6.3.0|url=http://www.unicode.org/versions/Unicode6.3.0/|date=2012-09-30|work={{нп5|Unicode Consortium}}|accessdate=2017-12-07|language=en}}</ref> | Сентябрь 2013 | | ISO/IEC 10646:2012 и шесть символов | {{formatnum:100}} | {{formatnum:110187}} | Добавлено пять символов для форматирования двунаправленного текста<ref>{{cite web | title = Unicode Data 6.3.0 | url = http://www.unicode.org/Public/6.3.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 7.0<ref>{{cite web|title=Unicode® 7.0.0|url=http://www.unicode.org/versions/Unicode7.0.0/|date=2014-06-16|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | 16 июня 2014 | | ISO/IEC 10646:2012, Amendments 1, 2 и [[символ российского рубля|символ рубля]] | {{formatnum:123}} | {{formatnum:113021}} | Добавлены [[Басса (письмо)|письмо басса]], [[агванское письмо]], [[Система Дюплойе|стенография Дюплойе]], [[эльбасанское письмо]], [[Грантха|письмо грантха]], {{iw|письмо ходжики||en|Khojki}}, {{iw|письменность худавади||en|Khudabadi alphabet}}, [[линейное письмо А]], {{iw|письмо махаджани||en|Mahajani}}, [[манихейское письмо]], [[Кикакуи|письмо кикакуи]], [[Моди (письмо)|письмо моди]], {{iw|письмо мро||en|Mro script}}, [[набатейское письмо]], [[Северноаравийские языки|северноаравийское письмо]], [[древнепермское письмо]], [[Пахау|письмо пахау]], [[Пальмирский алфавит|пальмирское письмо]], {{iw|письмо по чин хо||en|Pau Cin Hau}}, {{iw|письмо псалтирь пехлеви||en|Psalter Pahlavi}}, [[сиддхаматрика]], [[Тирхута|письмо тирхута]], [[варанг-кшити]] и {{iw|дингбат|орнамент дингбат|en|Dingbat}}, а также [[символ российского рубля]] и [[символ азербайджанского маната]]<ref>{{cite web | title = Unicode Data 7.0.0 | url = http://www.unicode.org/Public/7.0.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 8.0<ref>{{cite web|title=Unicode® 8.0.0|url=http://www.unicode.org/versions/Unicode8.0.0/|date=2015-06-17|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | 17 июня 2015 | |ISO/IEC 10646:2014, Amendment 1, [[символ лари]], 9 уни&shy;фи&shy;ци&shy;ро&shy;ван&shy;ных идеограмм ККЯ, 41 [[эмодзи]] |129 | {{formatnum:120737}} |Добавлены [[Ахом (письмо)|письмо ахом]], [[анатолийские иероглифы]], [[Хатран|письмо хатран]], [[Мултани|письмо мултани]], [[венгерские руны]], [[SignWriting]], {{formatnum:5776}} [[Унифицированные идеограммы ККЯ — расширение E]], строчные буквы письма [[чероки]], буквы латиницы для немецкой диалектологии, 41 [[эмодзи]], а также пять символов изменения [[Шкала Фитцпатрика|цвета кожи]] для эмотиконов. Добавлен [[символ лари]] (валюты [[Грузия|Грузии]])<ref>{{cite web | title = Unicode Data 8.0.0 | url = http://www.unicode.org/Public/8.0.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-04 }}</ref> |- | 9.0<ref>{{cite web|title=Unicode® 9.0.0|url=http://www.unicode.org/versions/Unicode9.0.0/|date=2016-06-21|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | 21 июня 2016 | |ISO/IEC 10646:2014, Amendments 1, 2, адлам, нева, японские символы для ТВ, 74 [[эмодзи]] и символов |135 | {{formatnum:128237}} |Добавлены [[Адлам|письмо адлам]], [[Бхайкшуки|письмо бхайкшуки]], [[Марчен|письмо марчен]], [[Нева (письмо)|письмо нева]], [[Осейдж (письмо)|письмо осейдж]], [[тангутское письмо]], а также 72 [[эмодзи]] и японские символы для телевидения<ref>{{cite web | title = Unicode Data 9.0.0 | url = http://www.unicode.org/Public/9.0.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-06 }}</ref> |- | 10.0<ref>{{cite web|title=Unicode® 10.0.0|url=http://www.unicode.org/versions/Unicode10.0.0/|date=2017-06-27|work={{нп5|Unicode Consortium}}|accessdate=2017-12-08|language=en}}</ref> | 20 июня 2017 | |ISO/IEC 10646:2017, 56 [[эмодзи]], 285 символов [[Хэнтайгана|хэнтайганы]], 3 символа квадратного письма Дзанабадзара |139 | {{formatnum:136755}} |Добавлены [[Монгольские письменности#Горизонтальное квадратное письмо|квадратное письмо Дзанабадзара]], [[Соёмбо (письмо)|письмо соёмбо]], [[гонди Масарама]], [[Нюй-шу|письмо нюй-шу]], [[Хэнтайгана|письмо хэнтайгана]], {{formatnum:7494}} [[Унифицированные идеограммы ККЯ — расширение F]], а также 56 [[эмодзи]] и символ [[биткойн]]а<ref>{{cite web | title = Unicode Data 10.0.0 | url = http://www.unicode.org/Public/10.0.0/ucd/UnicodeData.txt | lang = en | accessdate = 2017-12-07 }}</ref> |- | 11.0 | Июнь 2018 | | ISO/IEC 10646:2017 | 146 | {{formatnum:137439}} |Добавлены догра, [[грузинское письмо]] мтаврули, гунджалское гонди, [[ханифи]], индийские цифры сийяк, [[Макасарский язык|макасарское]] письмо, медефайдрин, (древне-)[[согдийское письмо]], [[цифры майя]], 5 идеограмм ККЯ, символы [[сянци]] и половин звёздочек для оценки, а также 145 [[эмодзи]], четыре символа изменения причёски для эмотиконов и символ [[копилефт]]а<ref>{{Cite web|url=http://www.unicode.org/Public/11.0.0/ucd/UnicodeData.txt|title=Unicode Data 11.0.0|author=|website=|date=|publisher=|accessdate=2019-04-12|lang=en}}</ref><ref>[http://blog.unicode.org/2018/06/announcing-unicode-standard-version-110.html The Unicode Blog: Announcing The Unicode&#174; Standard, Version 11.0]</ref><ref>[http://www.unicode.org/versions/Unicode11.0.0/ Unicode 11.0.0]</ref> |- |12.0 |Март 2019 | |ISO/IEC 10646:2017, Amendments 1, 2, а также 62 допол&shy;ни&shy;тель&shy;ных символов |150 |{{formatnum:137993}} |Добавлены элимайское письмо, {{Не переведено 3|надинагари|3=en|4=Nandinagari}}, хмонг, ванчо, дополнения для [[Письмо Полларда|письма Полларда]], малая [[кана]] для старых японских текстов, исторические дроби и символы [[Тамильское письмо|тамильского письма]], буквы [[Лаосское письмо|лаосского письма]] для [[пали]], буквы латиницы для транслитерации угаритского, управляющие символы форматирования египетских иероглифов, а также 61 [[эмодзи]]<ref>[http://blog.unicode.org/2019/03/announcing-unicode-standard-version-120.html The Unicode Blog: Announcing The Unicode&#174; Standard, Version 12.0]</ref><ref>[http://www.unicode.org/versions/Unicode12.0.0/ Unicode 12.0.0]</ref> |- |12.1 |Май 2019 | | |150 |{{formatnum:137994}} |Добавлен квадратный символ эпохи [[рэйва]]<ref>[http://blog.unicode.org/2019/05/unicode-12-1-en.html The Unicode Blog: Unicode Version 12.1 released in support of the Reiwa Era]</ref><ref>[http://www.unicode.org/versions/Unicode12.1.0/ Unicode 12.1.0]</ref> |- |13.0 |Март 2020 | | |154 |{{formatnum:143859}} |Добавлены [[хорезмийское письмо]], письмо [[дивес акуру]], [[малое киданьское письмо]], [[езидское письмо]], {{formatnum:4969}} идеограмм ККЯ (включая {{formatnum:4939}} [[Унифицированные идеограммы ККЯ — расширение G]]), а также 55 [[эмодзи]], символы [[Creative Commons]] и символы для унаследованной вычислительной техники. Выделено место для [[Плоскость (Юникод)#Третичная идеографическая плоскость|плоскости 3]]<ref>[http://blog.unicode.org/2020/03/announcing-unicode-standard-version-130.html The Unicode Blog: Announcing The Unicode Standard, Version 13.0]</ref><ref>[http://www.unicode.org/versions/Unicode13.0.0/ Unicode 13.0.0]</ref> |- |colspan="7" | '''Примечания''' <references group="A" /> |} == Кодовое пространство == Хотя форма записи UTF-8 позволяет кодировать до 2²¹ ({{formatnum:2097152}}) кодовых позиций, было принято решение использовать лишь {{formatnum:1112064}} для совместимости с UTF-16. Впрочем, даже и этого в данный момент более чем достаточно — в версии 13.0 используется всего {{formatnum:143859}} кодовых позиций. Кодовое пространство разбито на 17 ''[[Плоскость (Юникод)|плоскостей]]'' ({{lang-en|planes}}) по 2¹⁶ ({{formatnum:65536}}) символов. Нулевая плоскость ({{lang-en2|plane{{nbsp}}0}}) называется ''базовой'' ({{lang-en2|basic}}) и содержит символы наиболее употребительных письменностей. Остальные плоскости — дополнительные ({{lang-en2|supplementary}}). Первая плоскость ({{lang-en2|plane{{nbsp}}1}}) используется в основном для исторических письменностей, вторая ({{lang-en2|plane{{nbsp}}2}}) — для редко используемых иероглифов [[CJK|китайского письма (ККЯ)]], третья ({{lang-en2|plane{{nbsp}}3}}) зарезервирована для архаичных китайских иероглифов<ref>[http://unicode.org/roadmaps/tip/ Roadmap to the TIP (Tertiary Ideographic Plane)]</ref>. Плоскость 14 отведена для символов, используемых по особому назначению. Плоскости 15 и 16 выделены для частного употребления<ref name='unicode-02' />. Для обозначения символов Unicode используется запись вида «U+''xxxx''» (для кодов 0…FFFF), или «U+''xxxxx''» (для кодов 10000…FFFFF), или «U+''xxxxxx''» (для кодов 100000…10FFFF), где ''xxx'' — [[шестнадцатеричная система счисления|шестнадцатеричные]] цифры. Например, символ «я» (U+044F) имеет код 044F{{sub|16}}{{nbsp}}= 1103{{sub|[[десятичная система счисления|10]]}}. {| class="wikitable sortable collapsible collapsed" |- ! colspan="3" | Плоскости Юникода |- ! Плоскость !! Название !! Диапазон символов |- | 0 || [[Плоскость (Юникод)#Основная многоязычная плоскость|Базовая многоязыковая плоскость]] ({{lang-en2|Basic Multilingual Plane, BMP}}) || U+0000…U+FFFF |- | 1 || [[Плоскость (Юникод)#Дополнительная многоязычная плоскость|Дополнительная многоязыковая плоскость]] ({{lang-en2|Supplementary Multilingual Plane, SMP}}) || U+10000…U+1FFFF |- | 2 || [[Плоскость (Юникод)#Дополнительная идеографическая плоскость|Дополнительная идеографическая плоскость]] ({{lang-en2|Supplementary Ideographic Plane, SIP}}) || U+20000…U+2FFFF |- | 3 || [[Плоскость (Юникод)#Третичная идеографическая плоскость|Третичная идеографическая плоскость]] ({{lang-en2|Tertiary Ideographic Plane, TIP}}) || U+30000…U+3FFFF |- | 4—13 || не используются || U+40000…U+DFFFF |- | 14 || [[Плоскость (Юникод)#Специализированная дополнительная плоскость|Дополнительная специализированная плоскость]] ({{lang-en2|Supplementary Special-purpose Plane, SSP}}) || U+E0000…U+EFFFF |- | 15—16 || [[Плоскость (Юникод)#Области для частного использования|Дополнительные области для частного использования]] ({{lang-en2|Supplementary Private Use Area-A/B, SPUA-A/B}}) || U+F0000…U+10FFFF |- |} == Система кодирования == Универсальная система кодирования (Юникод) представляет собой набор графических символов и способ их кодирования для [[компьютер]]ной обработки текстовых данных. Графические символы — это символы, имеющие видимое изображение. Графическим символам противопоставляются управляющие символы и символы форматирования. Графические символы включают в себя следующие группы: * буквы, содержащиеся хотя бы в одном из обслуживаемых [[алфавит]]ов; * цифры; * знаки пунктуации; * специальные знаки ([[математика|математические]], технические, [[идеограмма|идеограммы]] и пр.); * разделители. Юникод — это система для линейного представления текста. Символы, имеющие дополнительные над- или подстрочные элементы, могут быть представлены в виде построенной по определённым правилам последовательности кодов (составной вариант, composite character) или в виде единого символа (монолитный вариант, precomposed character). С 2014 года считается, что все буквы крупных письменностей в Юникод внесены, и если символ доступен в составном варианте, дублировать его в монолитном виде не нужно. === Политика консорциума === Консорциум не создаёт нового, а констатирует сложившийся порядок вещей<ref name="emoji">[http://www.unicode.org/faq/emoji_dingbats.html FAQ — Emoji{{nbsp}}& Dingbats]</ref>. Например, картинки «[[эмодзи]]» были добавлены потому, что японские операторы мобильной связи широко их использовали. Для этого добавление символа проходит через сложный процесс<ref name="emoji" />. И, например, [[символ российского рубля]] прошёл его за три месяца, как только получил официальный статус, причём до этого он много лет де-факто использовался и его отказывались включить в Юникод. [[Товарный знак|Товарные знаки]] кодируют только в порядке исключения. Так, в Юникоде нет флага [[Windows]] или яблока [[Apple]]. Как только символ появился в кодировке, он никогда не сдвинется и не исчезнет. Если же потребуется изменить порядок символов, это делается не переменой позиций, а национальным порядком сортировки. Есть и другие, более тонкие гарантии стабильности — например, не будут меняться таблицы нормализации<ref>[http://www.unicode.org/policies/stability_policy.html Unicode Character Encoding Stability Policy]</ref>. === Объединение и дублирование символов === Один и тот же символ может иметь несколько форм; в Юникод эти формы входят одной кодовой позицией: * если это сложилось исторически. Например, у [[арабское письмо|арабских букв]] есть четыре формы: обособленная, в начале, в середине и в конце<ref>Впоследствии конкретным формам арабских букв отвели отдельные позиции. Но всё равно рекомендуется писать по-арабски «общими» вариантами букв.</ref>; * либо если в одном языке принята одна форма, а в другом — другая. [[Болгарская кириллица (типографика)|Болгарская кириллица]] отличается от русской, а китайские иероглифы — от японских. С другой стороны, если исторически в шрифтах у разных форм начертания были разные символы, то они остаются разными и в Юникоде. Например, строчная греческая [[Сигма (буква)|сигма]] имеет две формы, и в Юникоде у них разные коды; буква [[Расширенная латиница|расширенной латиницы]]{{nbsp}}[[Å (латиница)|Å]] ({{nobr|A с кружком}}) и знак [[ангстрем]]а{{nbsp}}Å, греческая буква{{nbsp}}[[Мю|μ]] и обозначение приставки «[[микро-]]»{{nbsp}}µ — тоже имеют разные кодовые позиции. Конечно же, похожие символы в неродственных письменностях также ставятся в разные кодовые позиции. Например, буква{{nbsp}}А в [[Латиница|латинице]], [[Кириллица|кириллице]], [[Греческий алфавит|греческом]] и [[Письмо чероки|чероки]] — разные символы. Крайне редко один и тот же символ ставится в две разные кодовые позиции для упрощения обработки текста. [[Штрих (математика)|Математический штрих]] и такой же штрих для индикации [[Мягкий звук|мягкости звуков]] — разные символы, второй считается буквой. == Комбинируемые символы == [[Файл:Diacritic-j.png|right|thumb|Представление символа «Й» (U+0419) в виде базового символа «И» (U+0418) и комбинируемого символа « ̆» (U+0306).]] Cимволы в Юникоде подразделяются на базовые ({{lang-en|base characters}}) и комбинируемые ({{lang-en|combining characters}}). Комбинируемые символы обычно следуют за базовым и изменяют его отображение определённым образом. К комбинируемым символам, например, относятся [[диакритические знаки]], знаки ударения. Например, русскую букву «Й» в Юникоде можно записать в виде базового символа «И» (U+0418) и комбинируемого символа « ̆» (U+0306), отображаемого над базовым. Комбинируемые символы помечены в таблицах символов Юникода особыми категориями: * Nonspacing Mark — безинтервальный (непротяжённый) знак; таковые обычно отображаются над или под базовым символом и не занимают отдельной горизонтальной позиции (интервала) в отображаемой строке; * Enclosing Mark — обрамляющий знак; эти символы также не занимают отдельной горизонтальной позиции (интервала) в отображаемой строке, но отображаются сразу с нескольких сторон базового символа; * Spacing Combining Mark — интервальный (протяжённый) комбинируемый знак; таковые, как и базовый символ, занимают отдельную горизонтальную позицию (интервал) в отображаемой строке. Особый тип комбинируемых символов — селекторы варианта начертания ({{lang-en|variation selectors}}). Они действуют только на те базовые символы, для которых такие варианты определены. К примеру, в версии Юникода 5.0 варианты начертания определены для ряда математических символов, для символов традиционного [[монгольский алфавит|монгольского алфавита]] и для символов [[Монгольское квадратное письмо|монгольского квадратного письма]]. == Алгоритмы нормализации == Из-за наличия в Юникоде комбинируемых символов одни и те же знаки письменности можно представить различными кодами. Так, например, букву "Й" в примере выше можно записать как отдельным символом, так и сочетанием базового и комбинированного. Из-за этого сравнение строк байт за байтом становится невозможным. Алгоритмы нормализации ({{lang-en|normalization forms}}) решают эту проблему, выполняя приведение символов к определённому стандартному виду. Приведение осуществляется путём замены символов на эквивалентные с использованием таблиц и правил. «Декомпозицией» называется замена (разложение) одного символа на несколько составляющих символов, а «композицией», наоборот, — замена (соединение) нескольких составляющих символов на один символ. В стандарте Юникода определены четыре алгоритма нормализации текста: NFD, NFC, NFKD и NFKC. === NFD === NFD, {{lang-en|'''n'''ormalization '''f'''orm '''D'''}} («D» от {{lang-en|'''d'''ecomposition}}), форма нормализации D — каноническая декомпозиция — алгоритм, согласно которому выполняется рекурсивное разложение составных символов ({{lang-en|precomposed characters}}) на последовательность из одного или нескольких простых символов в соответствии с таблицами декомпозиции. Рекурсивное потому, что в процессе разложения составной символ может быть разложен на несколько других, некоторые из которых тоже являются составными, и к которым применяется дальнейшее разложение. Примеры: {| style="text-align:center" | {| class="wikitable" style="text-align:center" | Ω |- | <small>U+2126</small> |} | colspan="2" | → | {| class="wikitable" | Ω |- | <small>U+03A9</small> |} |} {| style="text-align:center" | {| class="wikitable" style="text-align:center" | <big>&#x00C5;</big> |- | <small>U+00C5</small> |} | colspan="2" | → | {| class="wikitable" | <big>&#x0041;</big> |- | <small>U+0041</small> |} | {| class="wikitable" | <big> &#x030A;</big> |- | <small>U+030A</small> |} |} {| style="text-align:center" | {| class="wikitable" style="text-align:center" | <big>&#x1E69;</big> |- | <small>U+1E69</small> |} | colspan="2" | → | {| class="wikitable" | <big>&#x0073;</big> |- | <small>U+0073</small> |} | {| class="wikitable" | <big> &#x0323;</big> |- | <small>U+0323</small> |} | {| class="wikitable" | <big> &#x0307;</big> |- | <small>U+0307</small> |} |} {| style="text-align:center" | {| class="wikitable" style="text-align:center" | colspan="2" | <big>&#x1E0B;&#x0323;</big> |- | <small>U+1E0B</small> || <small>U+0323</small> |} | colspan="2" | → | {| class="wikitable" | <big>&#x0064;</big> |- | <small>U+0064</small> |} | {| class="wikitable" | <big> &#x0323;</big> |- | <small>U+0323</small> |} | {| class="wikitable" | <big> &#x0307;</big> |- | <small>U+0307</small> |} |} {| style="text-align:center" | {| class="wikitable" style="text-align:center" | colspan="3" | <big>&#x0071;&#x0307;&#x0323;</big> |- | <small>U+0071</small> || <small>U+0307</small> || <small>U+0323</small> |} | colspan="2" | → | {| class="wikitable" | <big>&#x0071;</big> |- | <small>U+0071</small> |} | {| class="wikitable" | <big> &#x0323;</big> |- | <small>U+0323</small> |} | {| class="wikitable" | <big> &#x0307;</big> |- | <small>U+0307</small> |} |} === NFC === NFC, {{lang-en|'''n'''ormalization '''f'''orm '''C'''}} («C» от {{lang-en|'''c'''omposition}}), форма нормализации C — алгоритм, согласно которому последовательно выполняются каноническая декомпозиция и каноническая композиция. Сначала каноническая декомпозиция (алгоритм NFD) приводит текст к форме D. Затем каноническая композиция — операция, обратная NFD, обрабатывает текст от начала к концу с учётом следующих правил: * символ <code>S</code> считается ''начальным'', если имеет нулевой класс комбинируемости ({{lang-en|combining class of zero}}) согласно таблице символов Юникода; * в любой последовательности символов, начинающейся с символа <code>S</code>, символ <code>C</code> блокируется от <code>S</code>, только если между <code>S</code> и <code>C</code> есть какой-либо символ <code>B</code>, который либо является начальным, либо имеет одинаковый или больший класс комбинируемости, чем <code>C</code>. Это правило распространяется только на строки, прошедшие каноническую декомпозицию; * символ считается ''первичным'' композитом, если имеет каноническую декомпозицию в таблице символов Юникода (или каноническую декомпозицию для [[Хангыль|хангыля]] и он не входит в [http://www.unicode.org/unicode/reports/tr15/#Primary_Exclusion_List_Table список исключений]); * символ <code>X</code> может быть первично совмещён с символом <code>Y</code>, если и только если существует первичный композит <code>Z</code>, канонически эквивалентный последовательности &lt;<code>X</code>, <code>Y</code>&gt;; * если очередной символ <code>C</code> не блокируется последним встреченным начальным базовым символом <code>L</code> и он может быть успешно первично совмещён с ним, то <code>L</code> заменяется на композит <code>L-C</code>, а <code>C</code> удаляется. Пример: {| style="text-align:center" | {| class="wikitable" style="text-align:center" | <big>&#x006F;</big> |- | <small>U+006F</small> |} | {| class="wikitable" style="text-align:center" | <big> &#x0302;</big> |- | <small>U+0302</small> |} | colspan="2" | → | {| class="wikitable" | <big>&#x00F4;</big> |- | <small>U+00F4</small> |} |} === NFKD === NFKD, {{lang-en|'''n'''ormalization '''f'''orm '''KD'''}}, форма нормализации KD — совместимая декомпозиция — алгоритм, согласно которому последовательно выполняются каноническая декомпозиция и замены символов текста по таблицам совместимой декомпозиции. Таблицы совместимой декомпозиции предусматривают замену на почти эквивалентные символы<ref>[http://habrahabr.ru/post/45489/ Нормализация Unicode]</ref>: * похожих на буквы (ℍ и ℌ); * обведённых кружками (①); * с изменёнными размерами (ｶ и カ); * повёрнутых (︷ и {); * степеней (⁹ и ₉); * дробей (¼); * других (™). Примеры: {| style="text-align:center;" | {| class="wikitable" style="text-align:center;" | <big>&#x210d;</big> |- | <small>U+210d</small> |} | colspan="2" | → | {| class="wikitable" style="text-align:center;" | <big>&#x0048;</big> |- | <small>U+0048</small> |} |} {| style="text-align:center;" | {| class="wikitable" style="text-align:center;" | <big>&#x2460;</big> |- | <small>U+2460</small> |} | colspan="2" | → | {| class="wikitable" style="text-align:center;" | <big>&#x0031;</big> |- | <small>U+0031</small> |} |} {| | {| class="wikitable" style="text-align:center;" | <big>&#xFF76;</big> |- | <small>U+FF76</small> |} | colspan="2" | → | {| class="wikitable" style="text-align:center;" | <big>&#x30AB;</big> |- | <small>U+30AB</small> |} |} {| | {| class="wikitable" style="text-align:center;" | <big>&#xFE37;</big> |- | <small>U+FE37</small> |} | colspan="2" | → | {| class="wikitable" style="text-align:center;" | <big>&#x007B;</big> |- | <small>U+007B</small> |} |} {| | {| class="wikitable" style="text-align:center;" | <big>&#x2079;</big> |- | <small>U+2079</small> |} | colspan="2" | → | {| class="wikitable" style="text-align:center;" | <big>&#x0039;</big> |- | <small>U+0039</small> |} |} {| | {| class="wikitable" style="text-align:center;" | <big>&#x00BC;</big> |- | <small>U+00BC</small> |} | colspan="2" | → | {| class="wikitable" style="text-align:center;" | <big>&#x0031;</big> || <big> &#x2044; </big> || <big>&#x0034;</big> |- | <small>U+0031</small> || <small>U+2044</small> || <small>U+0034</small> |} |} {| | {| class="wikitable" style="text-align:center;" | <big>&#x2122;</big> |- | <small>U+2122</small> |} | colspan="2" | → | {| class="wikitable" style="text-align:center;" | <big>&#x0054;</big> || <big>&#x004D;</big> |- | <small>U+0054</small> || <small>U+004D</small> |} |} === NFKC === NFKC, {{lang-en|'''n'''ormalization '''f'''orm '''KC'''}}, форма нормализации KC — алгоритм, согласно которому последовательно выполняются совместимая декомпозиция (алгоритм NFKD) и каноническая композиция (алгоритм NFC). === Примеры === {| class="standard" !Исходный текст||NFD||NFC||NFKD||NFKC |- | <!-- fi --> {| class="wikitable" style="text-align:center;" | <big>fi</big> |- | <small>U+FB01</small> |} | {| class="wikitable" style="text-align:center;" | <big>fi</big> |- | <small>U+FB01</small> |} | {| class="wikitable" style="text-align:center;" | <big>fi</big> |- | <small>U+FB01</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0066;</big> || <big>&#x0069;</big> |- | <small>U+0066</small> || <small>U+0069</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0066;</big> || <big>&#x0069;</big> |- | <small>U+0066</small> || <small>U+0069</small> |} |- | <!-- 2^5 --> {| class="wikitable" style="text-align:center;" | <big>&#x0032;</big> || <big>⁵</big> |- | <small>U+0032</small> || <small>U+2075</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0032;</big> || <big>⁵</big> |- | <small>U+0032</small> || <small>U+2075</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0032;</big> || <big>⁵</big> |- | <small>U+0032</small> || <small>U+2075</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0032;</big> || <big>&#x0035;</big> |- | <small>U+0032</small> || <small>U+0035</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0032;</big> || <big>&#x0035;</big> |- | <small>U+0032</small> || <small>U+0035</small> |} |- | <!-- "s" (looks like "f") with two dots --> {| class="wikitable" style="text-align:center;" | colspan="2" | <big>ẛ̣</big> |- | <small>U+1E9B</small> || <small>U+0323</small> |} | {| class="wikitable" style="text-align:center;" | <big>ſ</big> || <big>̣</big> || <big>̇</big> |- | <small>U+017F</small> || <small>U+0323</small> || <small>U+0307</small> |} | {| class="wikitable" style="text-align:center;" | <big>ẛ</big> || <big>̣</big> |- | <small>U+1E9B</small> || <small>U+0323</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0073;</big> || <big>̣</big> || <big>̇</big> |- | <small>U+0073</small> || <small>U+0323</small> || <small>U+0307</small> |} | {| class="wikitable" style="text-align:center;" | <big>ṩ</big> |- | <small>U+1E69</small> |} |- | <!-- "й" --> {| class="wikitable" style="text-align:center;" | <big>й</big> |- | <small>U+0439</small> |} | {| class="wikitable" style="text-align:center;" | <big>и</big> || <big> ̆</big> |- | <small>U+0438</small> || <small>U+0306</small> |} | {| class="wikitable" style="text-align:center;" | <big>й</big> |- | <small>U+0439</small> |} | {| class="wikitable" style="text-align:center;" | <big>и</big> || <big> ̆</big> |- | <small>U+0438</small> || <small>U+0306</small> |} | {| class="wikitable" style="text-align:center;" | <big>й</big> |- | <small>U+0439</small> |} |- | <!-- "ё" --> {| class="wikitable" style="text-align:center;" | <big>ё</big> |- | <small>U+0451</small> |} | {| class="wikitable" style="text-align:center;" | <big>е</big> || <big>̈</big> |- | <small>U+0435</small> || <small>U+0308</small> |} | {| class="wikitable" style="text-align:center;" | <big>ё</big> |- | <small>U+0451</small> |} | {| class="wikitable" style="text-align:center;" | <big>е</big> || <big>̈</big> |- | <small>U+0435</small> || <small>U+0308</small> |} | {| class="wikitable" style="text-align:center;" | <big>ё</big> |- | <small>U+0451</small> |} |- | <!-- "А" --> {| class="wikitable" style="text-align:center;" | <big>А</big> |- | <small>U+0410</small> |} | {| class="wikitable" style="text-align:center;" | <big>А</big> |- | <small>U+0410</small> |} | {| class="wikitable" style="text-align:center;" | <big>А</big> |- | <small>U+0410</small> |} | {| class="wikitable" style="text-align:center;" | <big>А</big> |- | <small>U+0410</small> |} | {| class="wikitable" style="text-align:center;" | <big>А</big> |- | <small>U+0410</small> |} |- | <!-- "が" --> {| class="wikitable" style="text-align:center;" | <big>が</big> |- | <small>U+304C</small> |} | {| class="wikitable" style="text-align:center;" | <big>か</big> || <big>゙</big> |- | <small>U+304B</small> || <small>U+3099</small> |} | {| class="wikitable" style="text-align:center;" | <big>が</big> |- | <small>U+304C</small> |} | {| class="wikitable" style="text-align:center;" | <big>か</big> || <big>゙</big> |- | <small>U+304B</small> || <small>U+3099</small> |} | {| class="wikitable" style="text-align:center;" | <big>が</big> |- | <small>U+304C</small> |} |- | <!-- "VIII" --> {| class="wikitable" style="text-align:center;" | <big>Ⅷ</big> |- | <small>U+2167</small> |} | {| class="wikitable" style="text-align:center;" | <big>Ⅷ</big> |- | <small>U+2167</small> |} | {| class="wikitable" style="text-align:center;" | <big>Ⅷ</big> |- | <small>U+2167</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0056;</big> || <big>&#x0049;</big> || <big>&#x0049;</big> || <big>&#x0049;</big> |- | <small>U+0056</small> || <small>U+0049</small> || <small>U+0049</small> || <small>U+0049</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0056;</big> || <big>&#x0049;</big> || <big>&#x0049;</big> || <big>&#x0049;</big> |- | <small>U+0056</small> || <small>U+0049</small> || <small>U+0049</small> || <small>U+0049</small> |} |- | <!-- "ç" --> {| class="wikitable" style="text-align:center;" | <big>ç</big> |- | <small>U+00E7</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0063;</big> || <big>̧</big> |- | <small>U+0063</small> || <small>U+0327</small> |} | {| class="wikitable" style="text-align:center;" | <big>ç</big> |- | <small>U+00E7</small> |} | {| class="wikitable" style="text-align:center;" | <big>&#x0063;</big> || <big>̧</big> |- | <small>U+0063</small> || <small>U+0327</small> |} | {| class="wikitable" style="text-align:center;" | <big>ç</big> |- | <small>U+00E7</small> |} |} == Двунаправленное письмо == Стандарт Юникод поддерживает письменности языков как с направлением написания слева направо ({{lang-en|left-to-right, LTR}}), так и с написанием справа налево ({{lang-en|right-to-left, RTL}}) — например, [[арабское письмо|арабское]] и [[еврейский алфавит|еврейское]] письмо. В обоих случаях символы хранятся в «естественном» порядке; их отображение с учётом нужного направления письма обеспечивается приложением. Кроме того, Юникод поддерживает комбинированные тексты, сочетающие фрагменты с разным направлением письма. Данная возможность называется ''двунаправленность'' ({{lang-en|bidirectional text, BiDi}}). Некоторые упрощённые обработчики текста (например, в сотовых телефонах) могут поддерживать Юникод, но не иметь поддержки двунаправленности. Все символы Юникода поделены на несколько категорий: пишущиеся слева направо, пишущиеся справа налево, и пишущиеся в любом направлении. Символы последней категории (в основном это [[знаки пунктуации]]) при отображении принимают направление окружающего их текста. == Представленные символы == [[Файл:Roadmap to Unicode BMP multilingual.svg|lang=ru|right|500px|thumb|Схема [[Плоскость (Юникод)#Основная многоязычная плоскость|основной мультиязычной плоскости]] Юникода]] {{Main|Плоскость (Юникод)}} Юникод включает практически все современные [[письменность|письменности]], в том числе: {{columns-list|2| * [[арабское письмо|арабскую]], * [[армянское письмо|армянскую]], * [[бенгальское письмо|бенгальскую]], * [[Бирманское письмо|бирманскую]], * [[Глаголица|глаголицу]], * [[Греческий алфавит|греческую]], * [[грузинское письмо|грузинскую]], * [[деванагари]], * [[еврейский алфавит|еврейскую]], * [[Кириллица|кириллицу]], * [[китайское письмо|китайскую]] (китайские иероглифы активно используются в [[японский язык|японском языке]], а также изредка в [[корейский язык|корейском]]), * [[коптское письмо|коптскую]], * [[Кхмерское письмо|кхмерскую]], * [[Латинский алфавит|латинскую]], * [[Тамильское письмо|тамильскую]], * [[Хангыль|корейскую (хангыль)]], * [[письмо чероки|чероки]], * [[Эфиопское письмо|эфиопскую]], * [[японское письмо|японскую]] (которая включает в себя, кроме [[кана|слоговой азбуки]], ещё и [[кандзи|китайские иероглифы]]) }} и другие. С академическими целями добавлены многие исторические письменности, в том числе: [[руны|германские руны]], [[Древнетюркское письмо|древнетюркские руны]], [[древнегреческий язык|древнегреческая письменность]], [[египетские иероглифы]], [[клинопись]], [[письменность майя]], [[этрусский алфавит]]. В Юникоде представлен широкий набор [[таблица математических символов|математических]] и [[музыка]]льных символов, а также [[пиктограмма|пиктограмм]]. [[государственный флаг|Государственные флаги]] не включены в Юникод напрямую. Для их кодирования используются пары из 26 буквенных символов, предназначенных для представления двухбуквенных кодов стран по стандарту [[ISO 3166-1 alpha-2]]. Эти буквы закодированы в диапазоне от {{unichar|1F1E6|regional indicator symbol letter a|html=}} до {{unichar|1F1FF|regional indicator symbol letter z|html=}}. В Юникод принципиально не включаются [[логотип]]ы компаний и продуктов, хотя они и встречаются в шрифтах (например, логотип [[Apple]] в кодировке [[MacRoman]] (0xF0) или логотип [[Microsoft Windows|Windows]] в шрифте Wingdings (0xFF)). В юникодовских шрифтах логотипы должны размещаться только в области пользовательских символов. Существуют свободные бесплатные шрифты, включающие в себя логотипы компаний, программных продуктов и другие товарные знаки (например, {{нп4|Шрифт Awesome|||Font Awesome}}<ref>[https://github.com/FortAwesome/Font-Awesome GitHub - FortAwesome/Font-Awesome: The iconic SVG, font, and CSS toolkit]</ref>). == ISO/IEC 10646 == Консорциум Юникода работает в тесной связи с рабочей группой ISO/IEC/JTC1/SC2/WG2, которая занимается разработкой международного стандарта 10646 ([[ISO]]/[[IEC]] 10646). Между стандартом Юникода и ISO/IEC 10646 установлена синхронизация, хотя каждый стандарт использует свою терминологию и систему документации. Сотрудничество Консорциума Юникода с Международной организацией по стандартизации ({{lang-en|International Organization for Standardization, ISO}}) началось в [[1991 год]]у. В [[1993 год]]у ISO выпустила стандарт DIS 10646.1. Для синхронизации с ним Консорциум утвердил стандарт Юникода версии 1.1, в который были внесены дополнительные символы из DIS 10646.1. В результате значения закодированных символов в Unicode 1.1 и DIS 10646.1 полностью совпали. В дальнейшем сотрудничество двух организаций продолжилось. В 2000 году стандарт Unicode 3.0 был синхронизирован с ISO/IEC 10646-1:2000. Предстоящая третья версия ISO/IEC 10646 будет синхронизирована с Unicode 4.0. Возможно, эти спецификации даже будут опубликованы как единый стандарт. Аналогично форматам UTF-16 и UTF-32 в стандарте Юникода, стандарт ISO/IEC 10646 также имеет две основные формы кодирования символов: UCS-2 (2 байта на символ, аналогично UTF-16) и UCS-4 (4 байта на символ, аналогично UTF-32). UCS значит ''универсальный набор кодированных символов'' ({{lang-en|universal coded character set}}). UCS-2 можно считать подмножеством UTF-16 (UTF-16 без суррогатных пар), а UCS-4 является синонимом для UTF-32. Различия стандартов Юникод и ISO/IEC 10646: * небольшие различия в терминологии; * ISO/IEC 10646 не включает разделы, необходимые для полноценной реализации поддержки Юникода: ** нет данных о двоичном кодировании символов; ** нет описания алгоритмов сравнения ({{lang-en|collation}}) и отрисовки ({{lang-en|rendering}}) символов; ** нет перечня свойств символов (например, нет перечня свойств, необходимых для реализации поддержки двунаправленного ({{lang-en|bi-directional}}) письма). == Способы представления == Юникод имеет несколько форм представления ({{lang-en|Unicode transformation format, UTF}}): [[UTF-8]], [[UTF-16]] (UTF-16BE, UTF-16LE) и [[UTF-32]] (UTF-32BE, UTF-32LE). Была разработана также форма представления [[UTF-7]] для передачи по семибитным каналам, но из-за несовместимости с [[ASCII]] она не получила распространения и не включена в стандарт. 1 апреля 2005 года были предложены две [[День смеха|шуточные]] формы представления: UTF-9 и UTF-18 ([http://tools.ietf.org/html/rfc4042 RFC{{nbsp}}4042]). В [[Microsoft]] [[Windows NT]] и основанных на ней системах [[Windows 2000]] и [[Windows XP]] в основном [[Юникод в операционных системах семейства Microsoft Windows|используется]] форма UTF-16LE. В [[UNIX]]-подобных [[Операционная система|операционных системах]] [[GNU/Linux]], [[BSD]] и [[Mac OS X]] принята форма UTF-8 для файлов и UTF-32 или UTF-8 для обработки символов в [[оперативная память|оперативной памяти]]. [[Punycode]] — другая форма кодирования последовательностей Unicode-символов в так называемые ACE-последовательности, которые состоят только из алфавитно-цифровых символов, как это разрешено в доменных именах. === UTF-8 === {{Основная статья|UTF-8}} UTF-8 — представление Юникода, обеспечивающее наибольшую компактность и обратную совместимость с 7-битной системой [[ASCII]]; текст, состоящий только из символов с номерами меньше 128, при записи в UTF-8 превращается в обычный текст [[ASCII]] и может быть отображён любой программой, работающей с ASCII; и наоборот, текст, закодированный 7-битной ASCII может быть отображён программой, предназначенной для работы с UTF-8. Остальные символы Юникода изображаются последовательностями длиной от 2 до 4 байт, в которых первый байт всегда имеет маску <code>11xxxxxx</code>, а остальные — <code>10xxxxxx</code>. В UTF-8 не используются суррогатные пары. Формат UTF-8 был изобретён [[2 сентября]] [[1992 год]]а [[Томпсон, Кен|Кеном Томпсоном]] и [[Пайк, Роб|Робом Пайком]] и реализован в ОС [[Plan 9]]<ref>http://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt{{ref-en}}{{Недоступная ссылка|date=Октябрь 2019 |bot=InternetArchiveBot }}</ref>. Сейчас стандарт UTF-8 официально закреплён в документах RFC 3629 и ISO/IEC 10646 Annex D. === UTF-16 и UTF-32 === {{Основная статья|UTF-16|UTF-32}} UTF-16 — кодировка, позволяющая записывать символы Юникода в диапазонах U+0000...U+D7FF и U+E000...U+10FFFF (общим количеством 1 112 064). При этом каждый символ записывается одним или двумя словами (суррогатная пара). Кодировка UTF-16 описана в приложении Q к международному стандарту ISO/IEC 10646, а также ей посвящён документ IETF RFC 2781 под названием «UTF-16, an encoding of ISO 10646». UTF-32 — способ представления Юникода, при котором каждый символ занимает ровно 4 байта. Главное преимущество UTF-32 перед кодировками переменной длины заключается в том, что символы Юникод в ней непосредственно индексируемы, поэтому найти символ по номеру его позиции в файле можно чрезвычайно быстро, и получение любого символа ''n''-й позиции при этом является операцией, занимающей всегда одинаковое время. Это также делает замену символов в строках UTF-32 очень простой. Напротив, кодировки с переменной длиной требуют последовательного доступа к символу ''n''-й позиции, что может быть очень затратной по времени операцией. Главный недостаток UTF-32 — это неэффективное использование пространства, так как для хранения любого символа используется четыре байта. Символы, лежащие за пределами нулевой (базовой) плоскости кодового пространства, редко используются в большинстве текстов. Поэтому удвоение, в сравнении с UTF-16, занимаемого строками в UTF-32 пространства, зачастую не оправдано. ==== Порядок байтов ==== {{Основная статья|Порядок байтов}} В потоке данных UTF-16 младший байт может записываться либо перед старшим ({{lang-en|UTF-16 little-endian, UTF-16LE}}), либо после старшего ({{lang-en|UTF-16 big-endian, UTF-16BE}}). Аналогично существует два варианта четырёхбайтной кодировки — UTF-32LE и UTF-32BE. === Маркер последовательности байтов === {{Основная статья|Маркер последовательности байтов}} Для указания на использование Юникода, в начале текстового файла или потока может передаваться [[Маркер последовательности байтов]] ({{lang-en|byte order mark (BOM)}}) — символ U+FEFF (неразрывный пробел нулевой ширины). По его виду можно легко различить как формат представления Юникода, так и последовательность байтов. Маркер последовательности байтов может принимать следующий вид: ; UTF-8 : EF BB BF ; UTF-16BE : FE FF ; UTF-16LE : FF FE ; UTF-32BE : 00 00 FE FF ; UTF-32LE : FF FE 00 00 === Юникод и традиционные кодировки === Внедрение Юникода привело к изменению подхода к традиционным 8-битным кодировкам. Если раньше такая кодировка всегда задавалась непосредственно, то теперь она может задаваться таблицей соответствия между данной кодировкой и Юникодом. Фактически почти все 8-битные кодировки теперь можно рассматривать как форму представления некоторого подмножества Юникода. И это намного упростило создание программ, которые должны работать с множеством разных кодировок: теперь, чтобы добавить поддержку ещё одной кодировки, надо всего лишь добавить ещё одну таблицу перекодировки символов в Юникод. Кроме того, многие форматы данных позволяют вставлять любые символы Юникода, даже если документ записан в старой 8-битной кодировке. Например, в HTML можно использовать [[Мнемоники в HTML|коды с амперсандом]]. === Реализации === Большинство современных операционных систем в той или иной степени обеспечивает поддержку Юникода. В операционных системах семейства [[Windows NT]] для внутреннего представления имён файлов и других системных строк используется двухбайтовая кодировка UTF-16LE. Системные вызовы, принимающие строковые параметры, существуют в однобайтном и двухбайтном вариантах. Подробнее см. в статье [[Юникод в операционных системах семейства Microsoft Windows]]. [[UNIX]]-подобные операционные системы, в том числе [[GNU/Linux]], [[BSD]], [[OS X]], используют для представления Юникода кодировку UTF-8. Большинство программ может работать с UTF-8 как с традиционными однобайтными кодировками, не обращая внимания на то, что символ представляется как несколько последовательных байт. Для работы с отдельными символами строки обычно перекодируются в UCS-4, так что каждому символу соответствует [[машинное слово]]. Одной из первых успешных коммерческих реализаций Юникода стала среда программирования [[Java]]. В ней принципиально отказались от 8-битного представления символов в пользу 16-битного. Это решение увеличило расход памяти, но позволило вернуть в программирование важную абстракцию: произвольный одиночный символ (тип <code>char</code>). В частности, программист мог работать со строкой, как с простым массивом. К сожалению, успех не был окончательным, Юникод перерос ограничение в 16 бит и к версии J2SE 5.0 произвольный символ снова стал занимать переменное число единиц памяти — один <code>char</code> или два (см. [[UTF-16|суррогатная пара]]). Сейчас{{когда}} большинство{{сколько}} языков программирования поддерживает строки Юникода, хотя их представление может различаться в зависимости от реализации. == Методы ввода == Поскольку ни одна [[раскладка клавиатуры]] не может позволить вводить все символы Юникода одновременно, от [[операционная система|операционных систем]] и [[прикладное программное обеспечение|прикладных программ]] требуется поддержка альтернативных методов ввода произвольных символов Юникода. === [[Microsoft Windows]] === {{main|Юникод в операционных системах семейства Microsoft Windows}} Хотя, начиная с [[Windows 2000]], служебная программа «Таблица символов» (charmap.exe) поддерживает символы Юникода и позволяет копировать их в [[буфер обмена]], эта поддержка ограничена только базовой плоскостью (коды символов U+0000…U+FFFF). Символы с кодами от U+10000 «Таблица символов» не отображает. Похожая таблица есть, например, в [[Microsoft Word]]. Иногда можно набрать [[Шестнадцатеричная система счисления|шестнадцатеричный]] код, нажать {{key|[[Alt (клавиша)|Alt]]|X}}, и код будет заменён на соответствующий символ, например, в [[WordPad]], Microsoft Word. В редакторах {{key|Alt|X}} выполняет и обратное преобразование. Во многих программах MS Windows, чтобы получить символ Unicode, нужно [[Alt-код|при нажатой клавише Alt набрать десятичное значение кода символа на цифровой клавиатуре]]. Например, полезными при наборе кириллических текстов будут комбинации Alt+0171 (<!-- защита от Викификатора --><nowiki>«</nowiki>), Alt+0187 (<nowiki>»</nowiki>) и Alt+0769 ([[знак ударения]]). Интересны также комбинации Alt+0133 (…) и Alt+0151 (—). === [[Macintosh]] === В [[Mac OS]] 8.5 и более поздних версиях поддерживается метод ввода, называемый «Unicode Hex Input». При зажатой клавише Option требуется набрать четырёхзначный шестнадцатеричный код требуемого символа. Этот метод позволяет вводить символы с кодами, большими U+FFFF, используя пары суррогатов; такие пары операционной системой будут автоматически заменены на одиночные символы. Этот метод ввода перед использованием нужно активизировать в соответствующем разделе системных настроек и затем выбрать как текущий метод ввода в меню клавиатуры. Начиная с [[Mac OS X]] 10.2, существует также приложение «Character Palette», позволяющее выбирать символы из таблицы, в которой можно выделять символы определённого блока или символы, поддерживаемые конкретным шрифтом. === [[GNU/Linux]] === В [[GNOME]] также есть утилита «[[Таблица символов GNOME|Таблица символов]]» (ранее gucharmap), позволяющая отображать символы определённого блока или системы письма и предоставляющая возможность поиска по названию или описанию символа. Когда код нужного символа известен, его можно ввести в соответствии со стандартом [[Международная организация по стандартизации|ISO]]{{nbsp}}14755: при зажатых клавишах {{key|Ctrl|Shift}} ввести шестнадцатеричный код (начиная с некоторой версии GTK+, ввод кода нужно предварить нажатием клавиши ''«U»''). Вводимый шестнадцатеричный код может иметь до {{num|32|бит}} в длину, позволяя вводить любые символы Юникода без использования суррогатных пар. Все приложения [[X Window System|X{{nbsp}}Window]], включая GNOME и [[KDE]], поддерживают ввод при помощи клавиши {{Key|[[Compose]]}}. Для клавиатур, на которых нет отдельной клавиши [[Compose]], для этой цели можно назначить любую клавишу — например, {{Key|[[Caps Lock]]}}. Консоль GNU/Linux также допускает ввод символа Юникода по его коду — для этого десятичный код символа нужно ввести цифрами расширенного блока клавиатуры при зажатой клавише {{Key|[[Alt (клавиша)|Alt]]}}. Можно вводить символы и по их шестнадцатеричному коду: для этого нужно зажать клавишу {{key|AltGr}}, и для ввода цифр A—F использовать клавиши расширенного блока клавиатуры от {{Key|NumLock}} до {{Key|Enter}} (по часовой стрелке). Поддерживается также и ввод в соответствии с ISO{{nbsp}}14755. Для того чтобы перечисленные способы могли работать, нужно включить в консоли режим Юникода вызовом <code>unicode_start</code>(1) и выбрать подходящий шрифт вызовом <code>setfont</code>(8). [[Mozilla Firefox]] для Linux поддерживает ввод символов по ISO{{nbsp}}14755. == Проблемы Юникода == В Юникоде английское «a» и польское «a» — один и тот же символ. Точно так же одним и тем же символом (но отличающимся от «a» латинского) считаются русское «а» и сербское «а». Такой принцип кодирования не универсален; по-видимому, решения «на все случаи жизни» вообще не может существовать. * Тексты на [[китайский язык|китайском]], [[корейский язык|корейском]] и [[японский язык|японском]] языках имеют традиционное написание сверху вниз, начиная с правого верхнего угла. Переключение горизонтального и вертикального написания для этих языков не предусмотрено в Юникоде — это должно осуществляться средствами [[язык разметки|языков разметки]] или внутренними механизмами [[текстовый процессор|текстовых процессоров]]. * Наличие или отсутствие в Юникоде разных начертаний одного и того же символа в зависимости от языка. Нужно следить, чтобы текст всегда был правильно помечен как относящийся к тому или другому языку. *: Так, [[китайское письмо|китайские иероглифы]] могут иметь разные начертания в китайском, японском ([[кандзи]]) и корейском ([[ханча]]), но при этом в Юникоде обозначаются одним и тем же символом (так называемая CJK-унификация), хотя упрощённые и полные иероглифы всё же имеют разные коды. *: Аналогично, [[русский язык|русский]] и [[сербский язык|сербский]] <!-- защита от Викификатора --><nowiki>языки</nowiki> используют разное начертание курсивных букв ''п'' и ''т'' (в сербском они выглядят как {{lang-sr2|п}} (''ӣ'') и {{lang-sr2|т}} (''ш̄''), см. [[сербский курсив]]). * Перевод из строчных букв в заглавные тоже зависит от языка. Например: в [[турецкий язык|турецком]] существуют буквы [[i без точки|İi и Iı]] — таким образом, турецкие правила изменения регистра конфликтуют с [[английский язык|английскими]], которые предписывают «i» переводить в «I». Подобные проблемы есть и в других языках — например, в канадском диалекте французского языка регистр переводится немного не так, как во Франции<ref>[http://www.transl-gunsmoker.ru/2008/11/unicode.html Регистр в Unicode — это непросто]</ref>. * Даже с [[арабские цифры|арабскими цифрами]] есть определённые типографские тонкости: цифры бывают «прописными» и «[[минускульные цифры|строчными]]», пропорциональными и [[моноширинный шрифт|моноширинными]]<ref>В большинстве шрифтов для ПК реализованы «прописные» (маюскульные) моноширинные цифры.</ref> — для Юникода разницы между ними нет. Подобные нюансы остаются за программным обеспечением. Некоторые недостатки связаны не с самим Юникодом, а с возможностями обработчиков текста. * Файлы нелатинского текста в Юникоде всегда занимают больше места, так как один символ кодируется не одним байтом, как в различных национальных кодировках, а последовательностью байтов (исключение составляет UTF-8 для языков, алфавит которых укладывается в ASCII, а также наличие в тексте символов двух и более языков, алфавит которых ''не'' укладывается в ASCII<ref>В некоторых случаях документ (не простой текст) в Юникоде может занимать существенно меньше места, чем документ в однобайтовой кодировке. Например, если некая веб-страница содержит примерно поровну русского и греческого текста, то в однобайтовой кодировке придётся либо русские, либо греческие буквы записывать, используя возможности формата документов, в виде кодов с амперсандом, которые занимают 6—7 байт на символ (при использовании десятичных кодов), то есть в среднем на букву придётся 3,5—4 байта, в то время как UTF-8 занимает только 2 байта на греческую или русскую букву.</ref>). Файл шрифта, необходимый для отображения всех символов таблицы Юникод, занимает сравнительно много места в памяти и требует бо́льших вычислительных ресурсов, чем шрифт только одного национального языка пользователя<ref>Один из файлов шрифтов Arial Unicode имеет размер 24 мегабайта; существует Times New Roman размером 120 мегабайт, он содержит количество символов, близкое к 65536.</ref>. С увеличением мощности компьютерных систем и удешевлением памяти и дискового пространства эта проблема становится всё менее существенной; тем не менее, она остаётся актуальной для портативных устройств, например, для мобильных телефонов. * Хотя поддержка Юникода реализована в наиболее распространённых операционных системах, до сих пор не всё прикладное программное обеспечение поддерживает корректную работу с ним. В частности, не всегда обрабатываются метки порядка байтов ([[Byte order mark|BOM]]) и плохо поддерживаются диакритические символы. Проблема является временной и есть следствие сравнительной новизны стандартов Юникода (в сравнении с однобайтовыми национальными кодировками). * Производительность всех программ обработки строк (в том числе и сортировок в БД) снижается при использовании Юникода вместо однобайтовых кодировок. Некоторые редкие системы письма всё ещё не представлены должным образом в Юникоде. Изображение «длинных» надстрочных символов, простирающихся над несколькими буквами, как, например, в [[церковнославянский язык|церковнославянском языке]], пока не реализовано. == «Юникод» или «Уникод»? == «Unicode» — одновременно и имя собственное (или часть имени, например, Unicode Consortium), и имя нарицательное, происходящее из английского языка. На первый взгляд предпочтительнее использовать написание «Уникод». В [[Русский язык|русском языке]] уже есть [[Морфема|морфемы]] «уни-» (слова с латинским элементом «uni-» традиционно переводились и писались через «уни-»: универсальный, униполярный, унификация, униформа) и «код». Напротив, торговые марки, заимствованные из [[Английский язык|английского языка]], обычно передаются посредством практической транскрипции, в которой деэтимологизированное сочетание букв «uni-» записывается в виде «юни-» («[[Юнилевер]]», «[[UNIX|Юникс]]» и т. п.), то есть точно так же, как в случае с побуквенными сокращениями, вроде [[UNICEF]] «United Nations International Children’s Emergency Fund» — [[ЮНИСЕФ]]. Написание «Юникод» уже твёрдо вошло в русскоязычные тексты. В [[Википедия|Википедии]] используется более распространённый вариант. В [[MS Windows]] используется вариант «Юникод». На сайте Консорциума есть специальная страница, где рассматриваются проблемы передачи слова «Unicode» в различных языках и системах письма. Для русской кириллицы указан вариант «Юникод»<ref name=autogenerated1 />. Формы, принятые иностранными организациями для русской передачи слова «Unicode», являются рекомендательными. == См. также == * [[Символы, представленные в Юникоде]] * [[ASCII]] * [[ISO 8859-1]] * [[UTF-8]] * [[UTF-16]] * [[UTF-32]] * [[Кириллица в Юникоде]] * [[Дроби в Юникоде]] * [[XeTeX]] * [[Свободные универсальные шрифты]] * [[Windows Glyph List 4]] * [[Широкий символ]] * Библиотека [[GLib]] содержит широкий набор функций для работы c символами и строками в кодировке Unicode * [[Проект:Внесение символов алфавитов народов России в Юникод]] == Примечания == {{примечания|2}} == Ссылки == * [http://www.unicode.org/ Официальный сайт Консорциума Юникода]{{ref-en}} * {{dmoz|Computers/Software/Globalization/Character_Encoding/Unicode/|Unicode}}{{ref-en}} * Статья «[http://www.unicode.org/standard/translations/russian.html Что такое Unicode?]»{{ref-ru}} на официальном сайте Консорциума * [http://www.unicode.org/versions/latest/ Последняя версия стандарта Юникод]{{ref-en}} * Последнюю версию стандарта ISO/IEC 10646 ищите в [http://standards.iso.org/ittf/PubliclyAvailableStandards/ списке доступных стандартов]{{ref-en}}. Документы, соответствующие стандарту Unicode 7.0: [http://standards.iso.org/ittf/PubliclyAvailableStandards/c056921_ISO_IEC_10646_2012.zip ISO/IEC 10646] (файл ZIP){{ref-en}}, [http://standards.iso.org/ittf/PubliclyAvailableStandards/c061712_ISO_IEC_10646_2012_Amd_1_2013.zip Amendments 1] (файл ZIP){{ref-en}}, Amendments 2 (по состоянию 2014-08-06 ещё недоступен) * [http://unicode-table.com/ Таблица символов Юникода с названиями и описаниями]{{ref-ru}}{{ref-en}}{{ref-de}} * [http://www.unicode.org/versions/Unicode5.0.0/appC.pdf Связь Юникода версии 5.0.0 и ISO/IEC 10646] (файл PDF){{ref-en}} * [http://www.cl.cam.ac.uk/~mgk25/unicode.html FAQ по UTF-8 и Unicode]{{ref-en}} * [[Кириллица в Юникоде]]: http://www.unicode.org/charts/PDF/U0400.pdf, http://www.unicode.org/charts/PDF/U0500.pdf, http://www.unicode.org/charts/PDF/U2DE0.pdf, http://www.unicode.org/charts/PDF/UA640.pdf{{ref-en}}{{Недоступная ссылка|date=Январь 2020 |bot=InternetArchiveBot }} * [http://www.i18nguy.com/surrogates.html Включение поддержки дополнительных символов Юникода в Windows]{{ref-en}} * [http://www.fileformat.info/info/unicode/char/search.htm Поиск по символам Юникода]{{ref-en}} {{Стандарты ISO}} {{Шрифтовой дизайн}} [[Категория:Юникод| ]] [[Категория:Стандарты Интернета]] [[Категория:Стандарты ISO]]'