宋高宗紹興五年(1135)，陳與義除顯謨閣直學士提舉江州太平觀，奉祠閑居，乃卜居于浙江桐鄉縣青墩鎮。六年春，與義夜登青墩鎮壽圣院僧舍小閣，憶念洛陽舊友，因作《臨江仙》以寄慨。

與義有《牡丹》詩，“一自胡塵入漢關，十年伊洛路漫漫。青墩溪畔龍鍾客，獨立東風看牡丹。”這首詩與《臨江仙》詞寫于同年同地。詩由牡丹花引起情思，而《臨江仙》詞則由杏花感發興會，它們的藝術構思，確有異曲同工之妙。詞的上片專寫“憶昔”。“午橋”，在洛陽城南。二十多年前，時當宋徽宗政和年間，詞人與“豪英”們在“杏花疏影”的良辰美景里，雅集午橋，豪情滿懷。溝水帶著月影無聲地流去，大家舉觴酣飲，在悠揚的笛聲里度過一個美好的夜晚。“杏花疏影里，吹笛到天明”二句，造語妙絕，“清婉奇麗”(胡仔《苕溪漁隱叢話后集》語)，它們仰承“憶昔”句，分明寫出是二十余年前的賞心樂事，劉熙戴說：“倘謂現在如此，則甚矣。”(《藝概·詞概》)極是。然而，如今這一切都已成為過眼煙云，句外含有“悵悒”之意，俯注“二十余年如一夢”句，很自然地與下片“言今”銜接起來，氣勢內譖。可見，上片的結句具有很重要的結構作用。

下片抒寫夜登小閣的情思。換頭處，詞人以對立聯想的藝術想象方式，從昔日的豪酣，突然跌出“二十余年如一夢”的悲涼。靖康之變后，社稷板蕩，世事滄桑，親故零落凋傷，詞人也顛沛流離，轉輾來到南方，百感交集，生出“此身雖在堪驚”的無限感嘆來。今朝，登上僧舍小閣，閑看“新晴”風物，耳聽“漁唱”閑聲，多少古往今來、盛衰興亡之事，一齊涌上心頭。當然詞人悲嘆的重點還在宋徽宗靖康以后“胡塵入漢關”的動亂現實，以及自己飽經喪亂的切身感受。

本詞上下片構成強烈的、多側面的比照：“今”與“昔”，“豪英”與“此身”，“吹笛”與“漁唱”，“豪情”與“閑情”，呈現出詞意跌宕、詞境多變的特色，有效地揭示出承平、動亂、茍安的時代特征遞相交替的跡象，有力地反襯出詞人悲咽、蒼涼的心境。全詞筆意超曠，不假雕飾，渾成自然，語言疏宕明快，多巧語、快語。陳與義是宋代的詩學名家，詞雖然寫得不多，卻很受后代詞學評論家的推重，黃升說他“可靡坡公之壘”(《中興以來絕妙詞選》)，陳廷焯說他“逼近大蘇”(《白雨齋詞話》)。從本詞和現存的陳與義詞“語意超絕”的藝術風貌看，說他的詞風接近蘇東坡，言之成理。