何人かのエラの知人は彼女の人生の皮肉さについて言及している。彼女の歌ではしばしば“完璧なロマンス”が取り上げられたが、実際のエラの生活は1930年代から数十年に亘り、ツアーとレコーディングに明け暮れるロマンスとはほど遠いものであった。

エラは2度の結婚を経験している。1度目は1941年にベニー・コーネゲイと結婚したが、彼は麻薬の密売と詐欺で有罪を宣告され、結婚も早々に解消された。1947年には著名なダブル・ベース奏者であったレイ・ブラウンと再婚した。2人はエラの義理の姉妹の子を養子にとり、レイ・ブラウン・Jrと名付け養育した。1952年に2人は離婚した。1957年7月にはロイターにより、エラがオスロ生まれのノルウェー人 Thor Einar Larsen と結婚する予定であると報じられたが、彼が以前に結婚詐欺を犯していたことが判明、婚約も解消された。1958年8月に編曲家でElla Fitzgerald Sings the Irving Berlin Songbookのレコードの指揮者でもあったポール・ウェストンにパテック・フィリップの腕時計Ref.2452（当時家一軒分の値段）を贈った。[2]

晩年のエラは糖尿病により盲目となり、1993年には手術で両足を切断、表舞台から距離を置く。1996年6月15日、カリフォルニア州ビバリーヒルズで死去。亡骸はロサンゼルスにある、イングルウッドの墓地に埋葬された。

後の研究の為にエラに関する個人文書および財産の一部がスミソニアン学術協会およびボストン大学図書館、アメリカ議会図書館に保管されている。