Awesome Unicode

Unicodeを扱う資料や関連プロジェクトをまとめたAwesomeリストです。

目次

• Unicodeの基礎
  • Unicode標準に含まれる文字
  • Unicode文字エンコーディング
  • 数値の話
  • UTF-16サロゲートペア
  • サロゲートペアの計算
  • 合成と分解
  • Unicodeの誤解
  • Unicodeエンコーディングの応用
  • ソースコード
• 優れた文字の一覧
  • 特殊文字
  • 変数識別子には実質的に空白を含められる
  • 修飾子
  • Uppercase Transformation Collisions
  • Lowercase Transformation Collisions
• 癖とトラブルシューティング
  • 一対多の大小文字対応
• 優れたパッケージとライブラリ
• 絵文字
  • 多様性
• 変数・メソッドの創造的な命名
  • 再帰的HTMLタグ改名スクリプト
• Unicodeフォント
• 追加資料
• Unicodeをさらに深く調べる
• 概要図
  • 基本多言語面の図
  • Unicodeブロック
• Unicode標準の原則
• Unicodeの版
• コントリビューション
• 行動規範
• ライセンス

Unicodeの基礎

Unicode標準に含まれる文字

Unicode標準に含まれる文字に関するUnicode標準・文字処理の解説です。

Unicode標準に含まれる文字に関するUnicode標準・文字処理の解説です。 値: 9.0、128,172。

Unicode標準に含まれる文字に関するUnicode標準・文字処理の解説です。 値: 850,000。

Unicode標準に含まれる文字に関するUnicode標準・文字処理の解説です。 値: 6,400、131,068、6,400。

Unicode文字エンコーディング

Unicode文字エンコーディングに関するUnicode標準・文字処理の解説です。

Unicode文字エンコーディングに関するUnicode標準・文字処理の解説です。 値: 8、16、32。

Unicode文字エンコーディングに関するUnicode標準・文字処理の解説です。 値: 8、8、8。

Unicode文字エンコーディングに関するUnicode標準・文字処理の解説です。 値: 16、16、16。

Unicode文字エンコーディングに関するUnicode標準・文字処理の解説です。 値: 32、32、32。

Unicode文字エンコーディングに関するUnicode標準・文字処理の解説です。 値: 4、32。

数値の話

数値の話に関するUnicode標準・文字処理の解説です。 値: 17、65,536、2、1,114,112、16、17、131,072。

数値の話に関するUnicode標準・文字処理の解説です。 値: U+0000、U+FFFF、U+010000、U+10FFFF。

UTF-16サロゲートペア

UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 値: U+1D306、16、16、0xD834、0xDF06。 UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 値: 0xD800、0xDBFF。 UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 値: 0xDC00、0xDFFF。

-UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 関連参照: https://mathiasbynens.be/notes/javascript-encoding#surrogate-pairs。

UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 値: 16。 UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 値: 16、3.9。 UTF-16サロゲートペアに関するUnicode標準・文字処理の解説です。 関連参照: http://unicode.org/versions/Unicode8.0.0/ch03.pdf#page=47。 値: 8.0.0、3、0.0、47。

サロゲートペアの計算

サロゲートペアの計算に関するUnicode標準・文字処理の解説です。 値: U+1F4A9、16。

 var High_Surrogate = function(Code_Point){ return Math.floor((Code_Point - 0x10000) / 0x400) + 0xD800 };
 var Low_Surrogate  = function(Code_Point){ return (Code_Point - 0x10000) % 0x400 + 0xDC00 };

 // Reverses The Conversion
 var Code_Point = function(High_Surrogate, Low_Surrogate){
	return (High_Surrogate - 0xD800) * 0x400 + Low_Surrogate - 0xDC00 + 0x10000;
 };

 > var codepoint = 0x1F4A9;   								// 0x1F4A9 == 128169
 > High_Surrogate(codepoint).toString(16)
 "d83d"  													// 0xD83D == 55357
 > Low_Surrogate(codepoint).toString(16)
 "dca9"  													// 0xDCA9 == 56489

 > String.fromCharCode(  High_Surrogate(codepoint) , Low_Surrogate(codepoint) );
  "💩"
> String.fromCodePoint(0x1F4A9)
  "💩"
 > '\ud83d\udca9'
  "💩"

合成と分解

合成と分解に関するUnicode標準・文字処理の解説です。

合成と分解に関するUnicode標準・文字処理の解説です。 値: U+00FC、U+0075、U+0308、1。

合成と分解に関するUnicode標準・文字処理の解説です。 関連参照: http://unicode.org/versions/Unicode8.0.0/ch03.pdf#page=44。 値: 0.0、44。

Unicodeの誤解

*Unicodeの誤解に関するUnicode標準・文字処理の解説です。 関連参照: http://macchiato.com/slides/UnicodeMyths.pdf。

• Unicodeの誤解に関するUnicode標準・文字処理の解説です。 値: 16、16、16、65,536。

• Unicodeの誤解に関するUnicode標準・文字処理の解説です。

• Unicodeの誤解に関するUnicode標準・文字処理の解説です。 Unicodeの誤解に関するUnicode標準・文字処理の解説です。

• Unicodeの誤解に関するUnicode標準・文字処理の解説です。 関連参照: http://www.unicode.org/roadmaps/

• Unicodeの誤解に関するUnicode標準・文字処理の解説です。 値: 1、1。

  • Unicodeの誤解に関するUnicode標準・文字処理の解説です。
  • Unicodeの誤解に関するUnicode標準・文字処理の解説です。
  • Unicodeの誤解に関するUnicode標準・文字処理の解説です。

Unicodeエンコーディングの応用

ソースコード

優れた文字の一覧

特殊文字

特殊文字に関するUnicode標準・文字処理の解説です。 関連参照: http://www.unicode.org/charts/PDF/U2000.pdf。

今読んだものは何だったのか

変数識別子には実質的に空白を含められる

変数識別子には実質的に空白を含められるに関するUnicode標準・文字処理の解説です。 関連参照: http://unicode.org/faq/unsup_char.html。 値: U+3164。

変数識別子には実質的に空白を含められるに関するUnicode標準・文字処理の解説です。 値: U+3164、U+3164、1.1、1993。

> var ᅟ = 'foo';
undefined
> ᅟ
'foo'


> var ㅤ= alert;
undefined
> var foo = 'bar'
undefined
> if ( foo ===ㅤ`baz` ){} 	// alert
undefined


> var varㅤfooㅤ\u{A60C}ㅤπ = 'bar';
undefined
> varㅤfooㅤꘌㅤπ
'bar'

修飾子

修飾子に関するUnicode標準・文字処理の解説です。

修飾子に関するUnicode標準・文字処理の解説です。

> 'a'
 "a"

> 'a\u{0308}'
 "ä"

> 'a\u{20DE}\u{0308}'
 "a⃞̈"

> 'a\u{20DE}\u{0308}\u{20DD}'
 "a⃞̈⃝"

// Modifying Invisible Characters
> '\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}'
 "‎‎‎‎‎‎‎‎‎‎"

> '\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}\u{200E}'.length
 10

:collision: 大文字変換の衝突

:collision: 小文字変換の衝突

癖とトラブルシューティング

• 文字列長は通常、コードポイントを数えて求めます。 そのため、サロゲートペアは2文字として数えられます。複数のダイアクリティカルマークが同じ文字に重なる場合もあります。a + ̈ == ̈a は見た目上1文字でも長さが増えます。

• 同様に、文字列の反転も簡単ではないことがあります。 サロゲートペアとダイアクリティカルマークを一体として反転する必要があります。ES Reverserは有用な解決策を提供します。

• 大文字と小文字の対応は常に一対一とは限りません。 次のような場合もあります。

  • 一対多：（ß → SS）
  • 文脈依存：（…Σ ↔ …ς、および …ΣΤ… ↔ …στ…）
  • ロケール依存：（I ↔ ı、および İ ↔ i）

一対多の大小文字対応

以下の文字の多くは大文字化すると一対多の対応になりますが、小文字化すべきものもあります。この一覧は分割する必要があります。

優れたパッケージとライブラリ

• PhantomScript - :ghost: :flashlight: 不可視のJavaScriptコード実行とソーシャルエンジニアリング。
• ESReverser - Unicodeを考慮して文字列を反転するJavaScript製ツールです。
• mimic - Unicodeを悪用して紛らわしい文字列を作成します。
• python-ftfy - Unicodeテキストの表現を統一し、文字化けなどの破損を可能な限り修復します。
• vim-troll-stopper - Unicodeを使った紛らわしい文字でコードを改変されるのを防ぎます。

絵文字

• Unicode Consortium’s Emoji Chart
• Emojipedia - 個々の絵文字に関する情報とニュースブログです。
• emojitracker - Twitter上での絵文字の使用状況をリアルタイムに追跡します。
• World Translation Foundation - 書き言葉を絵文字の視覚的なアルファベットへ翻訳する取り組みを推進・研究します。
• Can I Emoji? - iOS、Android、Windowsにおけるネイティブ絵文字対応の現状を表示します。
• How to register an emoji URL

多様性

多様性に関するUnicode標準・文字処理の解説です。 関連参照: http://unicode.org/reports/tr51/#Diversity。

多様性に関するUnicode標準・文字処理の解説です。 関連参照: http://www.unicode.org/emoji/charts/emoji-zwj-sequences.html。

Code Points	Recipe	Combined
U+1F469 U+200D U+2764 U+FE0F U+200D U+1F469
U+1F468 U+200D U+1F468 U+200D U+1F467 U+200D U+1F466

多様性に関するUnicode標準・文字処理の解説です。

多様性に関するUnicode標準・文字処理の解説です。 関連参照: http://unicode.org/reports/tr51/#Diversity。 値: 8.0、2015。

Code	Name	Samples
U+1F3FB	EMOJI MODIFIER FITZPATRICK TYPE-1-2
U+1F3FC	EMOJI MODIFIER FITZPATRICK TYPE-3
U+1F3FD	EMOJI MODIFIER FITZPATRICK TYPE-4
U+1F3FE	EMOJI MODIFIER FITZPATRICK TYPE-5
U+1F3FF	EMOJI MODIFIER FITZPATRICK TYPE-6

多様性に関するUnicode標準・文字処理の解説です。 コード: \u{1F466}\u{1F3FE}。

多様性に関するUnicode標準・文字処理の解説です。 関連参照: 。 値: 36。 多様性に関するUnicode標準・文字処理の解説です。 値: 36。 多様性に関するUnicode標準・文字処理の解説です。 関連参照: 。 値: 5、36。 多様性に関するUnicode標準・文字処理の解説です。 値: 36。 多様性に関するUnicode標準・文字処理の解説です。 関連参照: 。 値: 5、36。

多様性に関するUnicode標準・文字処理の解説です。 関連参照: 。 値: 48。

変数・メソッドの創造的な命名

*変数・メソッドの創造的な命名に関するUnicode標準・文字処理の解説です。

変数・メソッドの創造的な命名に関するUnicode標準・文字処理の解説です。 関連参照: https://codepoints.net/search?IDS=1、https://codepoints.net/search?IDC=1。 値: 1、1。

function rand(μ,σ){ ... };

String.prototype.reverseⵑ = function(){..};

Number.prototype.isTrueɁ = function(){..};

var WhatDoesThisDoɁɁɁɁ = 42

変数・メソッドの創造的な命名に関するUnicode標準・文字処理の解説です。 関連参照: https://mathiasbynens.be/notes/javascript-identifiers#examples。

// How convenient!
var π = Math.PI;

// Sometimes, you just have to use the Bad Parts of JavaScript:
var ಠ_ಠ = eval;

// Code, Y U NO WORK?!
var ლ_ಠ益ಠ_ლ = 42;

// How about a JavaScript library for functional programming?
var λ = function() {};

// Obfuscate boring variable names for great justice
var \u006C\u006F\u006C\u0077\u0061\u0074 = 'heh';

// …or just make up random ones
var Ꙭൽↈⴱ = 'huh';

// While perfectly valid, this doesn’t work in most browsers:
var foo\u200Cbar = 42;

// This is *not* a bitwise left shift (`<<`):
var 〱〱 = 2;
// This is, though:
〱〱 << 〱〱; // 8

// Give yourself a discount:
var price_9̶9̶_89 = 'cheap';

// Fun with Roman numerals
var Ⅳ = 4;
var Ⅴ = 5;
Ⅳ + Ⅴ; // 9

// Cthulhu was here
var Hͫ̆̒̐ͣ̊̄ͯ͗͏̵̗̻̰̠̬͝ͅE̴̷̬͎̱̘͇͍̾ͦ͊͒͊̓̓̐_̫̠̱̩̭̤͈̑̎̋ͮͩ̒͑̾͋͘Ç̳͕̯̭̱̲̣̠̜͋̍O̴̦̗̯̹̼ͭ̐ͨ̊̈͘͠M̶̝̠̭̭̤̻͓͑̓̊ͣͤ̎͟͠E̢̞̮̹͍̞̳̣ͣͪ͐̈T̡̯̳̭̜̠͕͌̈́̽̿ͤ̿̅̑Ḧ̱̱̺̰̳̹̘̰́̏ͪ̂̽͂̀͠ = 'Zalgo';

変数・メソッドの創造的な命名に関するUnicode標準・文字処理の解説です。 関連参照: https://davidwalsh.name/unicode-css-classes。

<meta charset="UTF-8" />


<div class="ಠ_ಠ">You do not have access to this page.</div>


<div class="❤">Your changes have been saved successfully!</div>

.ಠ_ಠ {
	border: 1px solid #f00;
}

.❤ {
	background: lightgreen;
}

再帰的HTMLタグ改名スクリプト

再帰的HTMLタグ改名スクリプトに関するUnicode標準・文字処理の解説です。

*再帰的HTMLタグ改名スクリプトに関するUnicode標準・文字処理の解説です。

// U+1160 HANGUL JUNGSEONG FILLER
transformAllTags('ᅠ');

// An actual HTML element node designed to look like a comment node, using the U+01C3 LATIN LETTER RETROFLEX CLICK 
//	<ǃ-- name="viewport" content="width=device-width"></ǃ-->
transformAllTags('ǃ--');

// or even <ᅠ⃝
transformAllTags('\u{1160}\u{20dd}');

// and for a bonus, all existing tag names will have each character ensquared. h⃞t⃞m⃞l⃞
transformAllTags();


function transformAllTags (newName){
   // querySelectorAll doesn't actually return an array.
   Array.from(document.querySelectorAll('*'))
     .forEach(function(x){
         transformTag(x, newName);
   });
}

function wonky(str){
  return str.split('').join('\u{20de}') + '\u{20de}';
}

function transformTag(tagIdOrElem, tagType){
    var elem = (tagIdOrElem instanceof HTMLElement) ? tagIdOrElem : document.getElementById(tagIdOrElem);
    if(!elem || !(elem instanceof HTMLElement))return;
    var children = elem.childNodes;
    var parent = elem.parentNode;
    var newNode = document.createElement(tagType||wonky(elem.tagName));
    for(var a=0;a<elem.attributes.length;a++){
        newNode.setAttribute(elem.attributes[a].nodeName, elem.attributes[a].value);
    }
    for(var i= 0,clen=children.length;i<clen;i++){
        newNode.appendChild(children[0]); //0...always point to the first non-moved element
    }
    newNode.style.cssText = elem.style.cssText;
    parent.replaceChild(newNode,elem);
}

再帰的HTMLタグ改名スクリプトに関するUnicode標準・文字処理の解説です。

function testBegin(str){
 try{
    eval(`document.createElement( '${str}' );`)
    return true;
 }
 catch(e){ return false; }
}

function testContinue(str){
 try{
    eval(`document.createElement( 'a${str}' );`)
    return true;
 }
 catch(e){ return false; }
}

再帰的HTMLタグ改名スクリプトに関するUnicode標準・文字処理の解説です。

// Test if dashes can start an HTML Tag
> testBegin('-')
< false

> testContinue('-')
< true

> testBegin('ᅠ-')	// Prepend dash with U+1160 HANGUL JUNGSEONG FILLER
< true

Unicodeフォント

*Unicodeフォントに関するUnicode標準・文字処理の解説です。 値: 8、65535、1.1、8。

• Unicodeフォントに関するUnicode標準・文字処理の解説です。 関連参照: https://en.wikipedia.org/wiki/Unicode_font#List_of_Unicode_fonts
• Unicodeフォントに関するUnicode標準・文字処理の解説です。 関連参照: http://www.unifont.org/fontguide/

追加資料

• The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets - Joel Spolskyによる記事です。
• What Every Programmer Absolutely, Positively Needs To Know About Encodings And Character Sets To Work With Text
• The Unicode Consortium’s Recommended Reading List
• Space Yourself - Smashing Magazineによるスペーシングガイドです。
• JavaScript has a Unicode Problem
• Creative usernames and Spotify account hijacking

Unicodeをさらに深く調べる

• Shapecatcher - 探している文字の形を描いて検索できます。
• Confusable Unicode Characters
• Unicode Character Database
• Database Dumps of Codepoints.net
• Unicode Blocks List
• Unicode Character Code Charts
• Unicode Case Charts
• Unicode Normalization Chart
• Unicode FAQ

概要図

基本多言語面の図

*基本多言語面の図に関するUnicode標準・文字処理の解説です。 値: 256。

基本多言語面の図に関するUnicode標準・文字処理の解説です。 関連参照: 。 値: 8、256。

*基本多言語面の図に関するUnicode標準・文字処理の解説です。

Unicodeブロック

*Unicodeブロックに関するUnicode標準・文字処理の解説です。 値: 17。

Unicode標準の原則

Unicode標準の原則に関するUnicode標準・文字処理の解説です。

• 普遍的レパートリー - Unicode標準が守る基本原則です。
• 論理順序 - Unicode標準が守る基本原則です。
• 効率性 - Unicode標準が守る基本原則です。
• 統合 - Unicode標準が守る基本原則です。
• グリフではなく文字 - Unicode標準が守る基本原則です。
• 動的合成 - Unicode標準が守る基本原則です。
• 意味論 - Unicode標準が守る基本原則です。
• 安定性 - Unicode標準が守る基本原則です。
• プレーンテキスト - Unicode標準が守る基本原則です。
• 変換可能性 - Unicode標準が守る基本原則です。

Unicode標準の原則に関するUnicode標準・文字処理の解説です。 関連参照: https://codepoints.net/about#unicode。

Unicodeの版

• Version 9.0.0 (Latest Version, August 2016 - adds exactly 7,500 characters)
• Version 8.0.0
• Version 7.0.0
• Version 6.3.0
• Version 6.2.0
• Version 6.1.0
• Version 6.0.0
• Version 5.2.0
• Version 5.1.0
• Unicodeの版に関するUnicode標準・文字処理の解説です。 値: 5.0.0。
• Version 4.0.1
• Version 4.0.0

コントリビューション

貢献方法の詳細はAwesome Unicodeのコントリビューションガイドを参照してください。

行動規範

行動規範に関するUnicode標準・文字処理の解説です。 関連参照: https://github.com/jagracey/Awesome-Unicode/blob/e219c3f2de42804eae17107149fa5a025b02bc23/CODE-OF-CONDUCT.md。

行動規範に関するUnicode標準・文字処理の解説です。 行動規範に関するUnicode標準・文字処理の解説です。 行動規範に関するUnicode標準・文字処理の解説です。 行動規範に関するUnicode標準・文字処理の解説です。 行動規範に関するUnicode標準・文字処理の解説です。

ライセンス

ライセンスに関するUnicode標準・文字処理の解説です。 関連参照: http://mirrors.creativecommons.org/presskit/buttons/88x31/svg/cc-zero.svg、https://creativecommons.org/publicdomain/zero/1.0/。 値: 1.0。

法律で認められる範囲で、コントリビューターはこの作品に関する著作権および関連・隣接する権利を放棄しています。詳細はライセンスファイルを参照してください。