12.4.4. 日本語文字コードと変換

ISO-2022-JP #

インターネットの電子メールで使われてきました。区切り文字を使って、 ASCII や JIS X 0208 の文字集合を切り替えながら両文字集合の文字を表現します。具体的には、

ESC ( B → ASCII
ESC ( J → JIS X 0201 下半分（JIS ローマ字）
ESC $ @ → 78JIS
ESC $ B → 83JIS or 90JIS

といった文字列（エスケープシーケンスといいます。ESC はASCIIの制御文字の1つです）で、「ここからはこの文字集合を使うよ」ということをその都度指定するわけです。JIS X 0208 の文字は、区・点をそれぞれ 21(16) から 7E(16) の範囲の数値にスライドし, 計 2 バイトで 1 文字を表現します。

この符号化方式は、最上位ビット（8ビット目）を使いません。そのため過去に 7bitしか使えない通信路でも使用することができました。 一方で「今使っている文字集合は何か」を常に覚えておく必要があります。同じバイト列がモードにより別の文字になるためです。

EUC-JP #

Linux 等の UNIX 系統の OS で使われてきました。ASCII とJIS X 0208 を共存させるために、JIS X 0208 の文字は、区・点を

この符号化では、区切り文字を必要とせず最上位ビットを見るだけで、その文字が ASCII か否かがわかります。 つまり1バイト目が128未満ならASCII、128以上ならなら続く文字と組み合わせて日本語文字とわかります。 一方、ISO-2022-JPと比べて、JIS 仮名には 2 バイトが、JIS 補助漢字には 3 バイトと、一部の文字が長くなっています。

Shift_JIS #

Windows や Macintosh で伝統的に使われている漢字コードです（実際に両 OS で使われているのは亜種です）。符号化方式としては、JIS ローマ字 (0201) をそのままに、他の日本語をずらして表現します。具体的には、JIS X 0201 はそのまままま採用し、のこりの81 から 9F までと、E0 から EF までを第 1 バイトとした部分に JIS 基本漢字 (0208) の文字集合を押し込めています。いわゆる半角カナが 1 バイトで表現でき、漢字も 2 バイトとコンパクトな表現です。トレードオフとして、拡張性が低く、また漢字を表すときの 2 バイト目に 128 未満の値が現れてしまい ASCII文字と誤認しやすい という問題もあります。

なおWindows で伝統的に使われている漢字コードは、正確に言うとシフト JIS ではなく、CP932 と通称されるものです。詳しい事項は省きますが、プログラミングを行うときなどにシフト JIS と CP932 の些細な違いが問題になることがあります。

過去にフォントサイズを自由に変えられなかった頃 (ワープロ専用機と近い時代です)、 英数字などを縦横比が 2:1 の細い字形で表示し、漢字などの日本語の文字は縦横比が 1:1 の字形で表示することが主流でした。 前者を半角文字、後者を全角文字と慣習的に呼ぶ場合があります。 その後も JIS X 0201 の文字には2:1に近い字形が使われたことから、それらを半角文字と呼ぶことがあります。特に、表の下半分のカタカナと関連する記号は半角カナと呼ばれます。

現在では文字の幅はフォント次第です。プロポーショナルフォントでは、同じASCII文字でも G は太く i は細く表示されます。

また過去には文字の符号化に必要な情報量から、半角文字・全角文字のことをそれぞれ「1 バイト文字」「2 バイト文字」と呼ぶ場合もありました。これも正確ではありません

• 半角カナは、Shift_JIS では 1 バイトで符号化されますが、EUC-JP では 2 バイト、UTF-8 では3 バイトを必要とします。
• EUC-JP, ISO-2022-JP, Shift_JIS では全角文字は 2 バイトで符号化されますが、UTF-8 では全角文字は 3 バイトまたは 4 バイトを必要とします。