https://object.pouta.csc.fi... вот автоматически собранный частотник по субтитрам, там 5.5 млн строк. Большая часть конечно мусор, дубликаты, транслитирации....
Дело в корпусе текстов, на котором частотный словарь собрать. Это походу проблема. Для русского например есть OpenCorpora. там вообще крутизна - он размеченный. А для сербского делают на текстах...
