Verschiedene UTF Codierungen von Dateien in PHP erkennen

23.01.2023 225 Wörter 2 Minuten

Inhalt

Inhalte in Textdateien liegen üblicherweise in relativ gängigen Formatierungen vor (ISO-8859-1, UTF-8, Windows-1252, …). Jetzt sind mir allerdings immer mal wieder ungewöhnlichere UTF-Formate untergekommen. Offensichtlich werden diese Formate nun standardmäßig von Windows 10, 11 erzeugt, wenn man die Einstellungen nicht selbständig anpasst .

Um zu erkennen, mit welcher Codierung eine Datei abgespeichert wurde, kann man sich die BOM (Byte Order Mark, deutsch: Byte-Reihenfolge-Markierung) anschauen. Es handelt sich dabei um eine charakteristische Bytefolge am Anfang eines Datenstroms.

Übersicht BOM (Byte Order Mark)

Bytes	Encoding Form
00 00 FE FF	UTF-32-BE, big-endian
FF FE 00 00	UTF-32-LE, little-endian
FE FF	UTF-16-BE, big-endian
FF FE	UTF-16-LE, little-endian
EF BB BF	UTF-8

PHP-Implementierung

define ('UTF32_BIG_ENDIAN_BOM'   , chr(0x00) . chr(0x00) . chr(0xFE) . chr(0xFF), false);
define ('UTF32_LITTLE_ENDIAN_BOM', chr(0xFF) . chr(0xFE) . chr(0x00) . chr(0x00), false);
define ('UTF16_BIG_ENDIAN_BOM'   , chr(0xFE) . chr(0xFF), false);
define ('UTF16_LITTLE_ENDIAN_BOM', chr(0xFF) . chr(0xFE), false);
define ('UTF8_BOM'               , chr(0xEF) . chr(0xBB) . chr(0xBF), false);

function detect_utf_encoding($filename) {

    $text = file_get_contents($filename);
    $first2 = substr($text, 0, 2);
    $first3 = substr($text, 0, 3);
    $first4 = substr($text, 0, 4);

    if ($first3 == UTF8_BOM) return 'UTF-8';
    elseif ($first4 == UTF32_BIG_ENDIAN_BOM) return 'UTF-32BE';
    elseif ($first4 == UTF32_LITTLE_ENDIAN_BOM) return 'UTF-32LE';
    elseif ($first2 == UTF16_BIG_ENDIAN_BOM) return 'UTF-16BE';
    elseif ($first2 == UTF16_LITTLE_ENDIAN_BOM) return 'UTF-16LE';
}

Um jetzt auszuprobieren, um welches Format es sich in der Textdatei ($fileName) handelt, kann man folgendes machen:

$test = detect_utf_encoding($fileName);
var_dump($test);