夫人的情人故事发生在一间退稿图书馆中，顾名思义，这座图书馆专门接收遭到了编辑拒绝的书稿，让这些浸淫了作者苦心和汗水的书稿有能够被人阅读的机会。费德里科（巴斯蒂安·布永 Bastien Bouillon 饰）是一名郁郁不得志的作家，某日，他和女友黛富妮（爱丽丝·伊萨 Alice Isaaz 饰）一起来到了退稿图书馆，在一堆废纸中，两人发现了一本名为《一段爱情故事的弥留时刻》的小说，作者署名为亨利皮克，而他已经去世了。