Статистический анализ больших текстов

Статистический анализ больших текстов
Программа должна выдавать диаграммы статистических характеристик текстов. Например. распределение частот употребления букв. статистику распределения длин слов. Статистику использования знаков пунктуации. И так далее. В чем проблема? В
том, что надо придумать алгоритмы быстрой обработки больших текстов. А статистику выдавать в динамике. Типа: обработано 5% текста (100 000 знаков), обработано 10% (200 000 знаков) и так далее. Если тексты большие, то простой перебор будет
работать медленно. Надою как-то ускорять обработку. Можно еще по статистике и автора пытаться определить
размер шрифта стандартный