Блог

Как проверить ограничение в байтах UTF-8 с помощью счётчика символов

На скриншотах показано, как проверить лимит в 24 байта UTF-8 для имени поля CSV, найти начало строки без разрыва эмодзи и сократить текст, чтобы сохранить эмодзи.

Английский интерфейс показывает семь символов с пробелами, шесть без них и 27 байт UTF-8.

Предположим, при импорте CSV имя поля должно занимать не более 24 байт в UTF-8. В варианте 開発 チーム👩‍💻 семь символов с пробелом, но он занимает 27 байт. Откройте счётчик символов, чтобы перед правкой увидеть, какая часть помещается.

Найдите начало текста, которое укладывается в 24 байта

  1. Вставьте 開発 チーム👩‍💻 в поле «Текст для подсчёта». Убедитесь, что видно семь символов с пробелом, шесть без него и 27 байт UTF-8.
  2. Введите 24 в поле «Лимит байтов (необязательно)».
  3. Исходный текст превышает лимит на три байта. В поле результата появится 開発 チーム. Чтобы использовать эту часть, выделите и скопируйте её. Исходный текст с эмодзи останется в поле ввода.
Английский интерфейс показывает лимит в 24 байта, превышение на три байта и начало 開発 チーム.
Начало текста занимает 16 байт. Эмодзи 👩‍💻 считается одним символом, состоит из нескольких кодовых точек и занимает 11 байт. Осталось восемь байт, поэтому инструмент останавливается перед эмодзи и оставляет его целым.

Сократите текст и сохраните эмодзи

  1. Оставьте лимит 24 и замените текст в первом поле на 開発班👩‍💻.
  2. Сокращённый текст занимает 20 байт, и ещё четыре остаются свободными. В поле результата появится весь текст. Скопируйте его туда, где он нужен, и проверьте, принимает ли его система.
Английский интерфейс показывает весь текст 開発班👩‍💻, 20 занятых и четыре свободных байта.
Если сократить японское выражение «команда разработки», для эмодзи останется место.

Здесь измеряется значение поля в UTF-8. Для учёта разделителей CSV и кавычек, добавляемых при экспорте, измерьте размер сохранённого файла. Перенос строки в поле ввода считается как один байт (LF), а в файле с CRLF занимает два байта. Если при импорте используются другая кодировка или правила подсчёта, руководствуйтесь ими.