Картотека · Как мы распознаём тексты

Как мы распознаём тексты

Часть книг и документов, на которые опирается база знаний decolonial.ist, лежала в сети только сканами или с испорченным текстовым слоем. По таким файлам нельзя искать и нельзя сверить цитату без листания картинок. Мы распознаём эти тексты сами и выкладываем рядом со сканом. У каждого такого текста на карточке материала стоит блок «Как получен текст»: чем распознано, как проверено и что в нём ещё не так.

Чем распознаём

Tesseract - свободная программа распознавания. Она читает слова верно, но на дореформенной печати портит буквы ѣ, і, ъ, ѳ, ѵ.

Qwen 3.6 (35B) - языковая модель, которая видит картинку страницы. Мы не даём ей читать страницу с нуля: на целой странице она подменяет слова («Я не буду» превращалось в «Я буду»). Модель только правит буквы в тексте Tesseract или издательского слоя. Программа сверяет каждое её исправление: принимается правка, которая меняет только похожие или дореформенные буквы; правка, меняющая само слово, отклоняется, и остаётся слово Tesseract. Отклонённое модель смотрит второй раз - по одному слову, вырезанному из скана.

whisper large-v3-turbo - модель распознавания речи. Ею сделаны расшифровки звука из видеозаписей и эфиров. Это черновики без вычитки: где речь заглушена музыкой или шумом, в них есть пропуски и повторы.

Как проверяем

До прогона способ проверяется слово в слово со сканом на пробных страницах. Во время прогона программа проверяет каждую правку модели, как описано выше. Цитаты базы знаний сверяются с нашим текстом скриптом сверки, а где текст вызывает сомнение - со сканом вручную. Числа проверки для каждого тома стоят на его карточке.

Где ошибаемся

Таблицы, сноски мелким шрифтом и пометы на полях могут идти не по порядку. Где Tesseract ошибся не в букве, а в слове, ошибка остаётся. Чеченские алфавиты XIX-XX веков (Услар 1862, Бартоломей 1866, «Сердало» 1938) модель не читает, а выдумывает, поэтому такие издания лежат только сканами. Расшифровки звука - без вычитки.

Что улучшаем

Выборочная сверка каждого распознанного тома со сканом с числом ошибок на тысячу слов - это число пойдёт на карточку. Книги Е. Н. Кушевой: том документов 1957 года перераспознаётся целиком. Чеченские алфавиты: распознавание русских частей и таблицы букв вручную. Расшифровки звука вычитываются по мере цитирования.

Нашли ошибку в распознанном тексте - пишите на contact@decolonial.ist.