В первое время крепостью руководил епископ Сион, при этом он огромное внимание уделил расширению укреплений. Далее владельцами крепостных муров стала династия графов Савойских, при которых улучшилась архитектура и укрепление крепостных сооружений. В дальнейшем крепость перешла во владение кантона Во и наместников из Берна, как раз в этот период замок стал иметь исторический облик, который могут созерцать в наши дни многочисленные туристы.

С годами утрачивалась значимость дороги в Италию, что стало причиной того, что замок из оборонительного сооружения превратился в тюрьму. Самым известным узником здесь считается Франсуа де Бонивар, арестованный герцогом Савойским за поддержку реформаторских идей. Освобожден Бонивар был после четырехлетнего заключения бернцами, при этом его воспел в поэме «Шильонский узник» Джордж Байрон. В XVIII столетии подземелья замка использовались бернским флотом как арсенал для боеприпасов.