Най-ранните пъзели са били пъзели с карти. През 1762 г. френският търговец на карти Дюма нарязва пълна карта на много части, които хората да сглобяват, превръщайки се в предшественик на пъзела. През 1767 г. британският картограф Джон Спиърсбъри създава „анатомичната карта“ за преподаване на география, смятана за първия в света дървен пъзел.
Частите от ранния пъзел имаха гладки ръбове, което караше сглобения пъзел лесно да се разпада. Изобретяването на техниката на "заключване" през 1840 г. решава този проблем, като нейното подобрение е вдъхновено от структурата на вдлъбнатина и шип в китайската архитектура. През 19-ти век материалите за пъзел се променят от дърво на шперплат или картон, а технологията за рязане-заменя ръчните триони; тези иновации задвижиха масовото производство на пъзели.
Пъзелите постепенно се превърнаха от образователна играчка във форма на забавление за възрастни. В историята е имало няколко мании за пъзели. Първият продължава от 1907 до 1911 г., особено популярен в североизточните щати, превръщайки се във форма на забавление сред висшата класа. Втората вълна на популярност на пъзелите съвпадна с Голямата депресия от 30-те години на миналия век. По-ниските производствени разходи и приемането на картона направиха пъзелите евтина и популярна форма на забавление, което доведе до скок в състезанията по редене на пъзели.
В Япония осведомеността за пъзелите се увеличи значително след "Изложбата на Мона Лиза" през 1974 г. в Националния музей на Токио, която увеличи продажбите на вносни пъзели. През 2008 г. Японската асоциация на производителите на пъзели кандидатства 3 март да бъде признат за "Ден на пъзелите". Япония е развила уникална култура на пъзели, като играчите често рамкират завършените си пъзели като интериорни декорации.
От 21-ви век насам видовете пъзели продължават да се разширяват, а темите стават все по-разнообразни. Пъзелите са комбинирани с музейни културни и творчески продукти и популярни IP адреси, което води до нови форми като 3D пъзели, светещи-в-{-тъмните пъзели и цифрови пъзели.
