Название Хаврогор, по все вероятности, произошло от высоких гор, но первоначальные слоги «Хавро» не сохранили о себе никакого предания. Первыми обитателями были беглые и новгородские бродяги. Они селились в XIV и XV веках и избрали себе местом жительства Хаврогоры, как место заречное, гористое, лесное и прилежащее к большим ручьям и дремучим лесам, а потому удобное и надежное к укрывательству беглых и бродяг.

Первым занятием их была звериная и рыбная ловля. Они, выходцы из разных мест, будучи без надзора и без всяких правил общежития, чинили разбои в двух лесистых урочищах - Тордово и Немчиново. Они грабили проплывающие по Двине суда, совершали убийства и быстро скрывались, не боясь никакого преследования.

Кроме беглых новгородцев Хаврогоры населяли собственные двинские жители - «чудь». Они были идолопоклонниками, жили особо от новгородцев, удаляясь подальше от них. Но кто из жителей Хаврогор в настоящее время принадлежит к чудскому племени, кто к новгородскому, из-за смешения племен между собой отличить нельзя.

Жителей Хаврогор вообще именуют «бессчетными» по следующему случаю. В торговый день четверг предки нынешних хаврогорцев, переправляясь через Двину на карбасе в село Емецкое, были застигнуты на реке бурей. Карбас опрокинулся, и находящиеся в нем люди утонули, - кроме немногих спасшихся, которые, отыскав погибших, не могли досчитаться до числа людей, находившихся в карбасе. Всех их было сорок человек, а из погибших отыскали пятьдесят. Хаврогорцы, не довольствуясь этим, утверждали, что отыскали «еще все не всех». Поэтому за незнание счета и дано им было наименование «бессчетных».

Существовало и другое, не настолько распространенное, как первое, предание. Хаврогоры расположены выше Пингиши по тому же берегу р. Двины. В Хаврогорах земли лучше для урожая хлебов - их не затопляет вода, а в Пингише наоборот: многие поля затопляемы весенним паводком, не удобришь их заранее навозом, вода не позволяет сделать ранний посев зерновых. Хорошими в Пингише были лишь урожаи репы. Существовала купля-продажа между хаврогорцами и пингишанами, хаврогорцы меняли рожь на репу пингишенскую. Обмен был своеобразный - где как осуществлялся, без
определенного счета. Поэтому Хаврогорцев называли бессчетными, а пингишан - кислорепыми.

В начале XVI века население Хаврогор значительно увеличилось, что доказывается христианской деятельностью. В 1597 году прихожанами была построена другая деревянная церковь во имя Архистратига Михаила, теплая, на угоре близ р. Двины у большого ручья пониже Предтеченской. На обе эти церкви в середине XVI века (не далее 1570 года) крестьянами отказаны в вечное владение значительные пахотные и сенокосные
земли. Этими землями церковь пользовалась и в XIX веке. Всей земли, пахотной и сенокосной, находящейся в пяти разных участках, не далее пяти верст, было 40 десятин 1842 сажени (44,5 га). От сдачи в аренду земли церкви получали арендную плату - 315 рублей в год, а до 1866 года плата вносилась зерновым хлебом - неравномерно и по условиям, заключаемым при торгах.