Walaupun terkenal dan saling menghormati dengan Permaisuri Zhangsun yang berbudi luhur dan bijaksana, Kaisar Taizong tidak kekurangan wanita cantik di haremnya. Kaisar Taizong lebih menyukai Nona Yang, yang sebenarnya adalah istri adiknya, Li Yuanji (Hanzi: 李元吉, Pinyin: Lǐ Yuánjí).
Lǐ Yuánjí dibunuh oleh Li Shimin (Hanzi: 李世民, Pinyin: Lǐ Shìmín) pada insiden Gerbang Xuanwu, kejadian yang kemudian menetapkan Lǐ Shìmín sebagai Kaisar Taizong setelah membunuh dua saudara laki-lakinya dalam suatu pertempuran perebutan takhta.
Karena kecantikan Nona Yang, setelah Lǐ Shìmín menjadi kaisar, Lǐ Shìmín membawa Nona Yang ke harem.
Setelah Permaisuri Zhangsun meninggal, Kaisar Taizong bermaksud menjadikan Nona Yang sebagai permaisuri, namun ditentang keras oleh para menterinya, sehingga Kaisar Taizong mengurungkan niat tersebut.
Kaisar Taizong kemudian jatuh cinta kepada seorang gadis berusia 14 tahun dan menetapkannya sebagai Cairen, ranking terendah dari selir menengah. Gadis ini adalah Wu Zetian (Simplified: 武则天, Traditional: 武則天, Pinyin: Wǔ Zétiān) yang nantinya menjadi kaisar wanita pertama di Tiongkok.