Urodziła się i wychowała w zamku Andechs w Bawarii, jako córka Bertolda VI von Andechs i Agnieszki von Rochlitz z rodu Wettynów. Miała czterech braci, w tym Eckberta, biskupa Bambergu oraz trzy siostry, w tym Agnieszkę (żonę Filipa II Augusta) i Gertrudę (żonę króla węgierskiego Andrzeja II i matkę św. Elżbiety Węgierskiej). Trzecia z jej sióstr była przełożoną klasztoru benedyktynek w Kitzingen koło Würzburga, dokąd Jadwiga została wysłana w młodym wieku, gdzie zdobyła wykształcenie.
