Картотека · Як ми розпізнаємо тексти

Як ми розпізнаємо тексти

Частина книжок і документів, на які спирається база знань decolonial.ist, лежала в мережі лише сканами або з зіпсованим текстовим шаром. У таких файлах не можна шукати і не можна звірити цитату, не гортаючи картинки. Ми розпізнаємо ці тексти самі й викладаємо поруч зі сканом. У кожного такого тексту на картці матеріалу стоїть блок «Як отримано текст»: чим розпізнано, як перевірено і що в ньому ще не так.

Чим розпізнаємо

Tesseract - вільна програма розпізнавання. Вона читає слова правильно, але на дореформеному друці псує літери ѣ, і, ъ, ѳ, ѵ.

Qwen 3.6 (35B) - мовна модель, яка бачить картинку сторінки. Ми не даємо їй читати сторінку з нуля: на цілій сторінці вона підміняє слова («Я не буду» перетворювалося на «Я буду»). Модель лише править літери в тексті Tesseract або видавничого шару. Програма звіряє кожне її виправлення: приймається правка, що змінює лише схожі або дореформені літери; правка, що змінює саме слово, відхиляється, і лишається слово Tesseract. Відхилене модель дивиться вдруге - за одним словом, вирізаним зі скану.

whisper large-v3-turbo - модель розпізнавання мовлення. Нею зроблено розшифровки звуку з відеозаписів та ефірів. Це чернетки без вичитки: де мову заглушено музикою чи шумом, у них є пропуски й повтори.

Як перевіряємо

До прогону спосіб перевіряється слово в слово зі сканом на пробних сторінках. Під час прогону програма перевіряє кожну правку моделі, як описано вище. Цитати бази знань звіряються з нашим текстом скриптом звірки, а де текст викликає сумнів - зі сканом вручну. Числа перевірки для кожного тому стоять на його картці.

Де помиляємося

Таблиці, виноски дрібним шрифтом і позначки на полях можуть іти не по порядку. Де Tesseract помилився не в літері, а в слові, помилка лишається. Чеченські абетки XIX-XX століть (Услар 1862, Бартоломей 1866, «Сердало» 1938) модель не читає, а вигадує, тому такі видання лежать лише сканами. Розшифровки звуку - без вичитки.

Що поліпшуємо

Вибіркова звірка кожного розпізнаного тому зі сканом із кількістю помилок на тисячу слів - це число піде на картку. Книжки Є. М. Кушевої: том документів 1957 року перерозпізнається цілком. Чеченські абетки: розпізнавання російських частин і таблиці літер вручну. Розшифровки звуку вичитуються в міру цитування.

Знайшли помилку в розпізнаному тексті - пишіть на contact@decolonial.ist.