Идею фильма подарил известный сценарист Валентин Ежов. Изначально, правда, сюжет был совсем иным: добрый капитан/лейтенант милиции силой убеждения перевоспитывал бандитов, но высшему милицейскому начальству эта задумка не понравилось. В итоге главным героем стал директор детского сада, а его антиподом — рецидивист по кличке Доцент.

Миронов, Быков и Никулин сниматься отказались. У кого-то не было времени, кто-то был уже занят в других проектах. На роль Хмыря сначала пробовался Лев Дуров, но исполнил этого персонажа Георгий Вицин. Неудачными поначалу были и кинопробы Савелия Крамарова, но Данелия уговорил начальство, и Савелий Викторович стал Косым.

«К тому времени Крамаров снялся у меня в нескольких фильмах, — рассказывал Данелия. — Мне поверили. Правда, когда актёр эмигрировал, его пытались вырезать. Но я им написал, что они совершают идеологическую ошибку. Предложил посмотреть картину внимательнее, ведь актёр Крамаров играет бандита и отщепенца. Подействовало! Оставили всё как было».

Вся блатная речь в картине появилась благодаря Александру Серому — пригодился его тюремный опыт. Плакаты, висевшие в камере: «На свободу — с чистой совестью», «Запомни сам, скажи другому, что честный труд — дорога к дому», а также воровской жаргон: «канай отсюда», «пасть порву, моргалы выколю» — это всё оттуда, с зоны.

«Но про «мужика в пиджаке» (памятник Лермонтову) мы с Данелией сами придумали», — вспоминает Токарева. Цензура очень серьёзно раскритиковала диалоги в сценарии фильма. От авторов сценария потребовали максимально вычистить «блатной жаргон», в результате чего появились разные новые «квази-блатные» слова: «редиска», «сосиска», «Навуходоносор» и другие. А еще есть легенда, что от погребения на “полке” фильм спас глава МВД Николай Щёлоков. В преддверии Дня милиции ему показали опальных «Джентльменов удачи», и он так хохотал, что иной раз заглушал реплики, доносящиеся с экрана. Генсек Леонид Брежнев, который смеялся не меньше Щёлокова, а по поводу жаргонных словечек сказал: «Да половину этих слов у нас каждый уличный мальчишка знает».

Роль воспитанника московского детского сада № 83 Игорька была сыграна Игорем Угольниковым, в будущем ставшим известным артистом. Угольников не запомнился по этой роли, и узнать по ней будущего ведущего телевизионного шоу «Оба-на!» и звезду фильма «Ширли-Мырли» почти невозможно.

В городе Джамбул (Казахстан), который упоминает Василий Алибабаевич Алибаба, ныне переименованном в Тараз, установлен памятник «Джентльменам удачи». Только вот в скульптурной композиции отсутствует один «джентльмен удачи» — Хмырь.