Der wohl bekannteste Einwohner von Key West war der Schriftsteller Ernest Hemingway (1889-1961), der seine produktivsten Jahre auf der Insel verbrachte. Nachdem Hemingway mit seiner zweiten Frau Pauline 1928 zum ersten Mal nach Key West kamen wuchs ihnen die Insel derart ans Herz, dass sie 1931 schließlich eine Villa im spanischen Kolonialstil erwarben. Nach umfassenden Reparatur- und Umbauarbeiten befand sich das Haus schließlich in jenem wunderschönen Zustand, an dem sich heute tausende Besucher pro Jahr erfreuen. Die Art und Weise, wie in diesem Kleinod der Geist Hemingways erhalten wird lohnt auf jeden Fall einen Besuch. Eine einmalige Verbindung in die Zeit Hemingways stellen die Nachkommen seiner Katzen dar, die heute noch auf dem Grundstück des Museums leben. Viele davon haben eine ungewöhnliche sechste Zehe, genauso wie eine von Hemingways Katzen.