Het “Klein Trippenhuis" is bekend vanwege een legende. In de 17e eeuw bouwden twee broers, Lodewijk and Hendrik Trip, die zeer rijke wapenhandelaren waren, een groot grachtenpand  op de Kloveniersburgwal, Het Trippenhuis. Het was het grootste huis in die tijd. Volgens de legende hoorde één van de broers Trip een bediende zeggen dat hij een huis wenste zo breed als hun voordeur. Toen bouwde hij het Kleine Trippenhuis voor de bediende aan de andere kant van de gracht. Een leuk verhaal, maar waarschijnlijk niet waar, want het grote huis werd opgeleverd in 1662, het kleine huis in 1696. De broers waren toen al overleden.