В то время как большинство латышей стали протестантами, большинство латгалов, находясь под властью Польши, остались католиками. Сильное польское влияние оказалось, пожалуй, решающим в том, что латгалы остались латгалами, хотя они подверглись полонизации. В этот период появилась литература на латгальском языке. Латгальский алфавит был разработан на основе польского. Польское влияние было сильным в Латгалии даже после присоединения латгальских земель к России в 1772 году. Из-за этого соседи латыши порой называли латгалов «поляками».

Тесные связи с единоверцами поляками и литовцами сыграли злую шутку с латгалами. После очередного польского восстания против России, в котором активное участие принимали литовцы и латгалы, царское правительство в 1865 году запретило печатать книги на латгальском языке латинским шрифтом. Но навязываемая кириллица не находила отклика у латгалов. А рядом были быстро экономически развивающиеся Лифляндия и Курляндия, в которых постепенно развивалось и крепло латышское националистическое движение, которое, выбрав своим флагом найденное в хрониках описание знамени видземских латгалов, стремилось распространить свое влияние и на Латгалию, в чем оно не встречало отпора: царские власти не доверяли «полякам» и видели в ассимиляции латгалов латышами верный способ ослабить католическое влияние в крае.

В 1904 году запрет на латгальское книгопечатание был снят, после чего на латгальском языке стали выходить книги, журналы, газеты, были открыты латгальские школы, но время было упущено. В начале ХХ века аграрная Латгалия не смогла обеспечить становление латгальской интеллигенции, которая смогла бы возглавить латгальское  национальное движение и создать предпосылки для появления независимой Латгалии, как это сделала латышская интеллигенция в случае с Латвией.