Verwendung von Entitäten unter Unicode

Diese Seite dient als Beispiel welche Unterschiede zwischen den Zeichensätzen Unicode und ISO-8859 existieren im Bezug auf benannte Entitäten. Dabei erläutere ich warum der Einsatz von Entitäten unter Unicode sinnlos ist durch diese Seite am besten in der Praxis. Das gilt dann auch für die entsprechenden Unicode Zeichenreferenzen anstelle des entsprechendem Zeichen.

Zeichensätze

Zuerst möchte ich etwas auf die Zeichensätze ASCII, Unicode und ISO-8859 eingehen um einen Einstieg in dieses Thema zu ermöglichen.

Zeichensatz ASCII

Der Zeichensatz ASCII besteht aus 128 Zeichen und ist in Zeichensätzen Unicode und ISO-8859 enthalten.

Zeichensatz Unicode

Der Unicode Zeichensatz beinhaltet eine Technik alle denkbaren Zeichen darzustellen. Man benötigt auch nur das direkte Zeichen unter UTF-8 anstatt im Vergleich zu ISO-8859 Unicode Zeichenreferenzen oder benannte Entitäten.

Die ersten 128 Zeichen stammen aus dem ASCII Zeichensatz und die zusätzlichen 128 Zeichen aus ISO-8859 sind die Zeichen für die Unicode ein Byte zur Darstellung benötigt. Alle weiteren Zeichen werden mit 2 bis 4 Bytes momentan dargestellt. Dabei wird ein Prinzip angewendet wodurch man aus dem Binärkode der Bytes die entsprechende Zeichenreferenz ermitteln kann.

1. 0....... - Zeichen mit einem Byte entstammen dem ASCII Zeichensatz und aus diesem Grunde ist das erste Zeichen im Binärkode eine Null. Das trifft auf den hexadezimalen Bereich 0 bis 7f zu.
2. 10...... - Nach dem ersten Byte eines Zeichens das nicht aus dem ASCII Zeichensatz stammt ist auf jeden Fall ein weiterer Byte vorhanden. Das trifft auf den hexadezimalen Bereich 80 bis bf zu.
3. 110..... - Der erste Byte für ein Zeichen mit insgesamt 2 Bytes. Das trifft auf den hexadezimalen Bereich c0 bis df zu.
4. 1110.... - Der erste Byte für ein Zeichen mit insgesamt 3 Bytes. Das trifft auf den hexadezimalen Bereich e0 bis ef zu.
5. 11110... - Der erste Byte für ein Zeichen mit insgesamt 4 Bytes. Das trifft auf den hexadezimalen Bereich f0 bis f7 zu.

Um nun zur entsprechenden Zeichenreferenz zu gelangen, werden alle weiteren Zeichen nur benutzt um daraus den resultierenden Binärkode in die dezimale oder hexadezimale Zeichenreferenz zu überführen.

Zeichensatz ISO-8859

Der Zeichensatz ISO-8859 besteht aus 256 Zeichen die eingesetzt werden können. Um weitere Zeichen darstellen zu können werden entweder benannte Entitäten oder Unicode Zeichenreferenzen benötigt. Unter diesen 256 Zeichen befinden sich einige nicht sichtbare Steuerzeichen. Die ersten 128 Zeichen wurden aus dem ASCII Zeichensatz übernommen.

Im Gegensatz zu Unicode wird unter ISO-8859 jedes Byte als eigenes Zeichen interpretiert. Durch diesen Unterschied ergeben sich Darstellungsfehler, wenn ein Zeichen oberhalb des ASCII Zeichensatzes unter ISO-8859 gespeichert wird aber das Dokument als Unicode interpretiert wird. In diesem Fall ist der Binärkode von diesem Zeichen ein Byte groß. Unter Unicode müsste dieses Zeichen aus zwei Byte bestehen und ist in diesem Falle unbekannt. Im anderen Fall wenn ein Dokument als UTF-8 vorliegt werden Zeichen mit mehreren Bytes bei einer Ausgabe als ISO-8859 wird jedes Byte als einzelnes Zeichen interpretiert. Es hängt hier noch von der verwendeten Teilnorm ab welche Zeichen dargestellt werden.

Benannte Entitäten

Benannte Entitäten werden unter dem Zeichensatz ISO-8859 benötigt beziehungsweise entsprechende Unicode Zeichenreferenzen um weitere nicht im Zeichensatz enthaltene Zeichen darstellen zu können. Für mich ein Grund eine Teilnorm dieses Zeichensatzes nicht einzusetzen. Diese Liste der erlaubten Entitäten für HTML5 zeigt auch das spezielle Entitäten die für MathML benutzt wurden Einzug erhalten haben dadurch das MathML und SVG in HTML5 direkt eingebunden werden können.

Umsetzung der Tabellen

Zuerst möchte ich erläutern wie ich vorgegangen bin um die Tabellen zu erzeugen. Durch diese Erläuterung ergeben sich schon viele Zusammenhänge von den Funktionen die ich mit PHP umgesetzt habe.

Eine gekürzte und Version meiner PHP Klasse, welche aber alle Variablen zur Erzeugung dieser Tabellen enthält stelle ich nun vor.

class Zeichen {
public $zeichen;
public $bytes;
public $zeichenlaenge;
public $iso;
public $binaer;
public $hexadezimal;
public $dezimal;
public $bytes_hexadezimal;
public function __construct($zeichen) {
$this->zeichen = html_entity_decode($zeichen,ENT_QUOTES,'UTF-8');
$this->zeichenlaenge = mb_strlen($this->zeichen,'UTF-8');
$this->bytes = mb_strlen($this->zeichen,'8bit');
$this->bytes_hexadezimal = bin2hex($this->zeichen);
$this->binaer = decbin(hexdec($this->bytes_hexadezimal));
if(strlen($this->binaer) < 8){$this->binaer = str_pad($this->binaer,8,'0',STR_PAD_LEFT);}
switch($this->bytes) {
case 1: $referenz = substr($this->binaer,1,7);break;
case 2: $referenz = substr($this->binaer,3,5).substr($this->binaer,10,6);break;
case 3: $referenz = substr($this->binaer,4,4).substr($this->binaer,10,6).substr($this->binaer,18,6);break;
case 4: $referenz = substr($this->binaer,5,3).substr($this->binaer,10,6).substr($this->binaer,18,6).substr($this->binaer,26,6);break;
}
$this->dezimal = bindec($referenz);
$this->hexadezimal = dechex($this->dezimal);
$this->iso = '';
for ($n=0;$n<$this->bytes;$n++){
$byte = bindec(substr($b,$n*8,8));
if ($byte > 31 AND $byte < 127){$this->iso .= htmlspecialchars(chr($byte),ENT_NOQUOTES,'UTF-8',0);}
elseif ($byte > 159) {$this->iso .= html_entity_decode('&#'.$byte.';');}
}
}
}

$this->zeichen = html_entity_decode($zeichen,ENT_QUOTES,'UTF-8');
$this->zeichenlaenge = mb_strlen($this->zeichen,'UTF-8');
$this->bytes = mb_strlen($this->zeichen,'8bit');
$this->bytes_hexadezimal = bin2hex($this->zeichen);
$this->binaer = decbin(hexdec($this->bytes_hexadezimal));
if(strlen($this->binaer) < 8){$this->binaer = str_pad($this->binaer,8,'0',STR_PAD_LEFT);}

switch($this->bytes) {
case 1: $referenz = substr($this->binaer,1,7);break;
case 2: $referenz = substr($this->binaer,3,5).substr($this->binaer,10,6);break;
case 3: $referenz = substr($this->binaer,4,4).substr($this->binaer,10,6).substr($this->binaer,18,6);break;
case 4: $referenz = substr($this->binaer,5,3).substr($this->binaer,10,6).substr($this->binaer,18,6).substr($this->binaer,26,6);break;
}
$this->dezimal = bindec($referenz);
$this->hexadezimal = dechex($this->dezimal);

$this->iso = '';
for ($n=0;$n<$this->bytes;$n++){
$byte = bindec(substr($b,$n*8,8));
if ($byte > 31 AND $byte < 127){$this->iso .= htmlspecialchars(chr($byte),ENT_NOQUOTES,'UTF-8',0);}
elseif ($byte > 159) {$this->iso .= html_entity_decode('&#'.$byte.';');}
}

Tabellen der Entitäten

Zuerst folgt die erste Tabelle wo eine Entität aus einem druckbaren Zeichen in Unicode besteht. Danach wird in der weiteren Tabelle Entitäten die aus mehreren Zeichen bestehen ausgegeben.

Insgesamt sind 1511 Entitäten in diesen Tabellen enthalten.