Очистка текста · гомоглифыЛатиница в русском тексте
Слово выглядит русским, но внутри притаилась латинская «а» или «с» — и поиск, проверка орфографии и сравнение строк его не узнают. Найдём такие слова и исправим.
Текст обрабатывается в браузере — ничего не отправляется на сервер
чужие буквы подчёркнуты — наведите, чтобы увидеть код
Вход · исходный текст
Мoсква, Санкт-Пeтербург и Hижний Новгород — три города из отчёта. В PDF слово «стoл» не нашлось поиском.
А вот Moskвa не исправится: у «в» нет латинской пары. Тaxi станет Taxi — латиницы в нём больше.
Ничья тоже остаётся как есть: Pyсь.
Мoсква, Санкт-Пeтербург и Hижний Новгород — три города из отчёта. В PDF слово «стoл» не нашлось поиском.
А вот Moskвa не исправится: у «в» нет латинской пары. Тaxi станет Taxi — латиницы в нём больше.
Ничья тоже остаётся как есть: Pyсь.
Санкт-Пeтербург→Санкт-Петербургкириллицы больше — меняем латиницу
Hижний→Нижнийкириллицы больше — меняем латиницу
стoл→столкириллицы больше — меняем латиницу
Moskвa→не исправляеместь буква без пары — только показываем
Тaxi→Taxiлатиницы больше — меняем кириллицу
Pyсь→не исправляемничья — не исправляем
03
О гомоглифах
В русском и латинском алфавитах больше десятка букв выглядят одинаково. Смешанные слова появляются при копировании из PDF, при наборе с переключённой раскладкой и намеренно — чтобы обойти фильтры. Мы проверяем каждое слово: если в нём есть буквы обоих алфавитов, подсвечиваем их и предлагаем заменить на буквы алфавита, которого в слове больше.
Двойники
18 пар
а a · о o · с c
Строчные а, е, о, р, с, у, х и заглавные А, В, Е, К, М, Н, О, Р, С, Т, Х совпадают с латинскими по виду.
Почему это проблема
Поиск
0 совпадений
Слово «стол» с латинской «о» не найдётся ни поиском, ни Ctrl+F, ни запросом к базе данных.
Откуда берутся
PDF и раскладка
Mосква
Чаще всего — копирование из PDF и набор с переключённой раскладкой. Реже — намеренно.
Антиплагиат
Обход
не сработает
Системы проверки приводят двойников к одному алфавиту до сравнения, а их обилие помечают как подозрение.
Как исправляем
По большинству
Mосква → Москва
Если в слове больше кириллицы, латинские двойники меняются на кириллические, и наоборот.
Стандарт
UTS #39
confusables
Похожие символы описаны в стандарте Unicode о безопасности — по нему браузеры защищаются от поддельных доменов.
04
Частые вопросы
Вставьте текст в поле: слова, в которых смешаны кириллица и латиница, подсветятся, а латинские буквы в них будут подчёркнуты. Наведите на букву — увидите её код, например U+0061 у латинской «a» против U+0430 у русской «а». Под таблицей пар появится список всех смешанных слов: как каждое будет исправлено или почему его лучше оставить.
Строчные а, е, о, р, с, у, х и заглавные А, В, Е, К, М, Н, О, Р, С, Т, Х — восемнадцать пар, которые в большинстве шрифтов неотличимы. В некоторых гарнитурах похожи и другие пары, например строчные к и k или курсивные т и m. Их инструмент только подсвечивает, но не исправляет: менять букву по одному сходству начертания слишком рискованно.
Включите «Исправить по большинству»: в каждом смешанном слове двойники заменятся на буквы того алфавита, которого в слове больше. «Mосква» станет «Москва», а «Тaxi» — «Taxi». Если в слове поровну букв обоих алфавитов или у буквы меньшинства нет двойника, как у латинской z, слово останется как есть и будет помечено в списке.
Нет. Системы проверки приводят двойников к одному алфавиту до сравнения, поэтому совпадения находятся как обычно, а само обилие смешанных слов считают признаком попытки обхода и показывают проверяющему. К тому же такой текст ломает поиск и проверку орфографии у любого читателя. Этот инструмент делает обратное — возвращает каждому слову один алфавит.
Скорее всего, в слове есть латинская буква-двойник. Для компьютера «стол» с латинской «о» — другое слово: у буквы другой код, и ни Ctrl+F, ни поиск по сайту, ни запрос к базе данных его не найдут. Вставьте фрагмент сюда — такое слово подсветится, а исправление вернёт ему кириллицу, после чего поиск снова заработает.
Чаще всего из PDF и при наборе с переключённой раскладкой, когда часть слова набрана на английской. Реже двойников вставляют специально: чтобы обойти фильтры спама и модерации или выдать поддельный адрес сайта за настоящий. Проверка стоит того в любом случае: на вид такой текст ничем не отличается от обычного, а ошибки всплывают позже — в поиске и базах данных.