12.4. 人のための文字

名簿や住所録など各国の文字を入力し照合することを考えます。 人の使う文字は、当然ながらアルファベットだけではありません。 現在では、Unicodeとutf-8の普及で日本語だけでなく複数の言語を混ぜて表記できます。これは容易なことではなく、さまざまな困難やトレードオフを乗り越えて実現しました。

難しさの一つは、何が文字かの特定です。これは人間が決める (合意する) 必要があります。 また文字の種類が増えると、1文字を何byteで表現するかトレードオフが生じます。ASCIIのように1文字を1 byteで表現できれば効率的です。 一方、1 byte =8bit では256通りの文字種しか表せません。つまりたとえば常用漢字を収録できません。 1文字を2 byte =16bit にすれば 65536文字表現できますが、1文字を1 byteのときより2倍のメモリや通信が必要になります。 さらに世界の言語を収録するためには 65536文字 では不足します。