胡適與小曼之間的一點情感曖昧，是在徐志摩去歐洲之后。徐志摩與陸小曼的戀情被發現，受到眾人非議，王庚更是氣得拔出槍來。志摩為了避免更大矛盾的激化，只好遠赴歐洲暫時緩解一下氣氛。這一時，胡適與小曼是師生關系，但在志摩離去，小曼精神空虛，胡適與曹誠英的婚外戀情也暫時劃一個句點時，兩人在一起，替代著情感上缺失的那一位，不免有點游戲人生的成分。

與小曼這樣一位迷人的女子交往，不動心都難。他們一起去聽戲，在樓上軟語。小曼不是不知道胡適元配太太的厲害，也知道胡適心內有一個曹誠英，卻依然給胡適用英文寫信。這用英文便是怕胡適的太太看見，連字的寫法，小曼都心細到寫得又粗又大，像個男人。這些后來出土的信件，有些讀起來是很深情款款：“我就用這封信來代替我本人，因為我的人不能到你身邊來。我希望我的信可以給你一點慰藉。”“你怎么又發燒了？難道你又不小心感冒了？今天體溫多少？我真是焦急，真希望我能這就去看你，真可惜我不可能去看你。我真真很不開心。”

“喔！我現在多么希望能到你的身邊，讀些神話奇譚讓你笑，讓你大笑，忘掉這個邪惡的世界。你覺得如果我去看你的時候，她(注：即胡適太太江冬秀)剛好在家會有問題嗎？請讓我知道！”這樣的感情，私密隱晦，但終至沒有發展到水深火熱不可收拾的地步。想必胡適是怕的，他非常珍惜自己的羽毛，時時記掛著歷史對他的評價，所以，他不會像徐志摩那樣，不顧一切地尋找結果。他與葦蓮司如此，與曹誠英也是如此。以胡適英俊的外表與滿腹的才華，當年追他的女生不少，胡適偶爾沉入，一旦發現對方有糾纏，立刻退身離開。后來，徐志摩與陸小曼通過努力，得到了希望的結果，卻也是幾年光景，徐志摩便離開人世。小曼那年29歲，心內也是痛的。

志摩辭世之后，小曼斷續給胡適寫過書信。上言：我們雖然近兩年來意見有些相左，可是你我之情豈能因細小誤會而有兩樣么？你知道我的朋友也很少，知己更不必說，我生活上若不得安逸，我又何能靜心的工作呢？這是最要緊的事。你豈能不管我？我怕你心腸不能如此之忍吧！”小曼請求胡適幫助周轉解決經濟問題，胡適也答應了，但條件是讓她離開唱戲的翁瑞午。自志摩離去，小曼就與翁瑞午同居。想她之所以會選擇翁瑞午，也許要的就是一種光明正大的相守吧。這個胡適給不了她。胡適勸小曼的信如此寫：一、希望戒除嗜好;二、遠離翁瑞午;三、速來南京，由胡適安排新的生活。

在上面這段描寫里，兩個人截然不同的形象躍然紙上。陸的浪漫依舊是奔放的程度，而胡雖涉入浪漫情事，但依然老夫子情懷。陸小曼看中的只是胡適的才學，但胡適的理性和骨子里的自私，讓她不能忍受。胡先生在這場風花雪月的故事里，沒有什么詩意，說得難聽一點，他的愛只不過是男人低級本能的催生，但他愿意以愛的名義來運作。可是在作的過程中，又難保證滴水不露，露出原本的冬烘和可笑。陸小曼不要理性，她要任性。她不要自私，她要全身心地“私我”她要生活在熱烈的情感里繼續做浪漫的女人，而不是關在恒溫的展柜里做一件藏品。

而翁瑞午就不同了。另一篇文章這樣說——翁瑞午幾乎是全盤照料起陸小曼的生活。翁瑞午家有賢妻陳明榴和五個子女，在養家活口的同時，如此不間斷地供養開銷甚大的陸小曼，并花錢讓她向賀天健學山水畫，經濟負擔很重，但他始終精神樂觀。他后來擔任江南造船廠的會計科長，每逢阮囊羞澀，就變賣祖上傳下來的書畫古玩。1953年，翁瑞午的發妻逝世，陸小曼遂正式成為他的續弦。她的性格比較放任，而翁瑞午對她始終和顏悅色，極盡關懷之能事。陸小曼與王賡離婚再嫁徐志摩，徐家的其他人對她多少有些歧視，族中婚喪之事她往往不能參加。與翁瑞午同居期間，翁家的此類儀式她也無份出席，為此內心頗為扭曲。翁瑞午則循循善誘，耐心引導，為她排除精神苦惱。就這樣，在徐志摩故世后，翁瑞午與陸小曼和睦相守了將近四十年，直到他1960年病逝為止。

陸小曼后來成為上海中國畫院的畫師，她的學生王敬之曾經引用篆刻家陳巨來的話，如此評論翁瑞午："翁瑞午跟陸小曼的關系，卻不能簡單地責之以'朋友妻不可欺'。陸小曼從來不事生產，全賴翁一直是黑(煙)白(飯)供應無缺，在陸年老色衰之后翁仍侍奉不改，也不能不算是情義很重的了。"陳巨來是同翁瑞午幾十年的老朋友，但他倆也難免爭吵，據信，此話為陳巨來同翁瑞午鬧翻期間所言，可見是公正的評論。這才是陸小曼要的，這也是胡適不能給而只有翁瑞午才能給的，所以，陸小曼不選大師而選了公子。