В 1742 году появление этого, первого здания вне крепостных стен Яффо стало событием. Оно было построено в качестве приюта для еврейских пилигримов, направлявшихся в Иерусалим. Это убежище защищало их от грабителей, которые в те времена были настоящей головной болью Яффо.
Дальнейшая история здания также живописна. В XIX веке это мануфактура по производству мыла и парфюмерии из оливкового масла (основного предмета экспорта Палестины в то время). В XX веке — синагога для ливийских евреев и хостел для иммигрантов с Балкан. И, наконец, после начала джентрификации Яффо в 1983 году, часть дома покупает художница Илана Гур.
И тут начинается самое интересное. Здание стояло заброшенным и заколоченным, и чтобы зайти в него Илане, в буквальном смысле слова, пришлось пробивать дыру. Местами отсутствовали полы и перекрытия. Тем не менее, она решила организовать здесь музей для своих работ и богатейшей коллекции искусства. Во время ремонта один из рабочих соскользнул в отверстие, оказавшееся трубой. Его вытащили, и благодаря этому раскопали подвал, частью которого оказалась огромная каменная печь, использовавшаяся для варки мыла. Сейчас там находится сувенирный магазин музея.
А в 2010 году внезапно начал отваливаться цемент с потолка зала скульптур. В ходе ремонта был обнаружен уникальный «амфорный» потолок. Для снижения веса и смягчения холода и жары в потолок в XVIII веке были вмонтированы глиняные амфоры.