上官侍郎家的这名宠妾说话硬气乃是有缘故的，并非只是受宠而已；这女子大名谢三娘，正是那“旧时王谢堂前燕”的谢家，虽则家道没落已久，乃至为人妾室，但教养气节仍在。谢氏收养了萝瑟女之后，丈夫上官亦不能如何。这家大妇颜色已衰，一生未出，性格温柔软弱，在家没有权势；加上这新妾人格远远超过主人主母，两年来家中的大小原是听从谢三娘的，却也不怪，若是这家中能添丁，也是这位谢夫人的儿女，故而人人趋炎附势。
萝瑟奴大难不死，留在谢夫人身边，名字中的“奴”也去掉，直称萝瑟；虽然名上是个侍女，夫人知道她是个音乐奇才，从不令她沾染一点阳春水，免得以后回宫任职时双手不再灵活。两人在闺房中时，谢夫人称她为妹妹，萝瑟不会说话，却会笑着点头。
波斯人爱以花名女，那九死一生的幼儿，萝瑟替她取名为牡丹。因为波斯语中没有牡丹一词，她在巾子上绣了“天国之花”的波斯语，读作阿瑟芒斡朵。她知道唐人最怜爱的就是此花，绝不会令牡丹遭受一点风雨摧残。谢夫人指着巾帕上的文字问她给女儿取了何名，她站起来伸出手点了点窗外盛开的牡丹花。
她手指的正是姚黄牡丹，与魏紫并占牡丹鳌头，此时正是仲春花好。谢夫人笑着点头，道“如此，她也有个汉人名字，叫做黄楼。”黄楼子是姚黄别称。从此谢夫人总是抱着这女儿穿行在花园，“黄楼儿”、“黄楼子”这样唤她，女孩儿也十分聪慧，三个月时便会应答。萝瑟不能出声，但能令女儿小手摸着她的双唇，教她念若干波斯词语，若是黄楼模仿出来，萝瑟便激动得落下泪来，教育这小小女儿竟是她能听到乡音的唯一途径。
及黄楼十月大时，安庆绪出逃邺城，官军收复洛阳，接连迫降斩杀安氏一族手下将领数人，连胜回朝，肃宗归都长安。既然唐军到、新帝归，那么马上就要彻查变节徒了。上官宅上下闻军马蹄声便溃不成行，谢夫人令萝瑟带黄楼去寻王维先生，谁知王维毕竟受过伪职，此刻也被当作变节叛党押回都城去了。官兵收复后，洛阳的城禁森严，虽一蚁不能出入。叛党被一家一户抄送押往京师，竟搜到次年四月才搜空，将上官一家装车送往长安。
黄楼已经一岁有余，一路上指着押解兵身上的铠甲呀呀儿语，喊“要”、“要”。每每如此，便让萝瑟想起曾经被叛军欺侮的日子来，泪流不止，谢夫人只得抱过孩子要她安静一些。但这女孩儿十分坚持，每见到着铠甲的兵卒，都喊要穿。
大约就是从那时开始，一家人就知道这夷女与平常人不同，隐隐约约中又不敢替她的人生下什么断语，只知道这女儿会有很多年都在战乱中度过，她将一生与兵甲为伴。
颠沛流离来到长安城，国都仍在，宫阙已经化作飞烟。上官侍郎家一行收押进天牢时，恰又逢王维的牢房正在对面，重逢时分不禁百感交集。王维自上次离去，还未见过黄楼，此时见这小小女儿竟然也身陷囹圄，一时不知究竟是救了她还是害了她。然而谢夫人此时一句话说出来，更是令狱中一片死寂。