虽身负盛名，但夏志清不是板着面孔、言辞严谨的学究。他语速飞快，情绪表达极端，一张嘴就爱憎分明。
他说鲁迅“有一点最不好：不喜欢自己的原配，但又不让她离开，不跟她生孩子，这对女性很残忍”。而他自己是老才子做派，怜香惜玉，恋爱也谈得浪漫。在他和张爱玲的通信中，关于自己的情史有坦白记载：年轻时追求过两位小姐未果，在第一段婚姻里跟陈若曦、於梨华都有婚外恋，最终和外国妻子离婚，和王洞结婚后还和陈若曦再坠爱河。这样还不算，为声明陈若曦《七十自述》中若干叙述为造谣，夏志清一一清点当年，令读者目瞪口呆。夏夫人王洞倒为丈夫鸣不平：“他觉得和这些女作家谈恋爱，是一件美好的事情，这些女作家觉得他很有用，不肯放弃他，一定要和他做朋友。但我真的没有想到，等到夏先生老了，她们来欺负夏先生。”
除了学问和重要事实，夏志清玩笑开得百无禁忌，是纽约学者圈里的老顽童。最著名的玩笑话是在跟王洞的婚礼上，他对举办婚礼的酒店赞不绝口，兴奋之余，转过身来对唐德刚说：“下次结婚再到此地来。”李安拍《色·戒》，王德威推荐夏志清做顾问，看片时夏志清会在不可怕的地方“哎呀”一声，把全场的气氛都搞乱；在最露骨的性描写部分，他突然跑去跟夫人说：“这个好像是真的！”
但鲜为人知的是，这样骄傲、浪漫、顽皮的夏志清，有一个患自闭症的女儿。在夏志清给张爱玲的信里，提到女儿自珍时他总是说“智慧未开”，张爱玲则说“自珍将来极有可能是幸福的”。编号为H17的夏志清信件按语里说到，女儿成年后和四个女孩同住，由安德生自闭症中心管理。“她不肯见人，也不许我们有访客，甚至不许我们接电话，像爱玲一样，把自己封闭起来。”
宋淇撰文回忆过详细情况：“自珍自幼身体不够健全，到了晚上，脑波活动比白天活跃，非要父母轮流陪伴不可。志清在学校忙了一天之后，回家还要扮马驮她以逗她开心，等她安睡后，才定下心来做学问。”美籍华人周励写有一篇《纽约：飘逝的最后炉香——与夏志清谈张爱玲》，记录夏志清告诉过自己的一段往事：“有一晚，5岁的女儿要父亲背她到楼下大门口去玩，那天正是圣诞夜，有人醉酒吐了一地，夏志清背着女儿不慎滑倒，他一手撑地，另一只手紧紧保护背上的女儿，回来后胳膊肿疼了好几天，‘幸亏骨头没摔断’。夏公讲自己是被命运安排当了‘二十四孝父’，却生不出一个‘二十四孝子’。”
女儿降生时恰逢《中国现代小说史》的研究正在进行。就是在照顾女儿的重任下，夏志清写完了有关钱锺书、张爱玲的重要章节。但在书信和友人的回忆文字中，从未见夏志清抱怨、诉苦，流露一点点负面情绪。他从来都是慈眉善目地交朋友、做学问，讲着开心的玩笑话。
对自己的成就，夏志清充分自知。就在一个月前，晚辈去拜访他，见到他问医生：“我到底怎么样？”医生答：“很好。”他说：“你别讲假话了，我们都是现代人，我不相信这套的。我已经永垂不朽了，因为我写了《中国现代小说史》。”