В одному інтерв'ю Лем визнав:
Перед війною я навіть ніколи не був у Варшаві, ніколи не бачив Кракова. Отож можу сказати, що Львів становить частину мене, а я є частиною Львова. Я вріс у Львів як дерево.
Його автобіографічний «Високий Замок» був однією з небагатьох книжок, виданих у ПНР, які заторкували польське минуле Львова. Історія цього міста у польській літературі обросла багатьма мітами. Лем докинув свій камінчик до ідеалізованого образу галицької метрополії, хоча цей ідилічний вимір легко зрозуміти: він-бо описує світ з точки зору дитини і підлітка із заможної сім'ї.
Львів Лема був третім за величиною місто Другої Речі Посполитої (після Варшави і Лодзі). Польська столиця модерності, осередок вільної думки під час поділів Польщі. Місто математичної школи та університету. Місце, де пам'ятки ренесансної і сецесійної архітектури сусідять із першими ластівками модернізму. Місто, порівняно з яким Відень, як ствердив Лем, — це просто «дуже збільшений Львів». Але це також місто великих контрастів і напружень: етнічних, політичних, класових. У післямові до «Високого Замку» Юрій Андрухович Львів молодого Лема окреслив як «місто див». Місто лунапарків, штукмістрів, шоколадних фонтанів. Туманним і нереалістинчим спогадом того, що велика і страшна історія не оминала також Львова, є слід від кулі, який залишився у рамі кватирки у спальні батьків — пам'ятка польсько-українських боїв 1918 року.
«Трудному» місту Лем не присвячує надто багато уваги. Раз згадує про те, як із балкону бачив замішання, які вибухли, коли під час антисанаційної демонстрації застрелила робітника, Владислава Козака. Образ довоєнної біди з'являється також, коли письменник згадує, як під час винятково морозної зими 1930 року за возами вуглярів бігали групки дітей, які намагалися вхопити грудки вугілля, що спадали на землю. Так само небагато уваги Лем присвятив складній етнічній мозаїці міста: немає тут єврейської дільниці, яка містилася у близькому сусідстві з його будинком, українців також небагато. Щоправда, у розмові з Томашем Фіалковським Лем розповідає про свого українського шкільного колегу Міська, з котрим, проте, у школі він розмовляв лише польською. Коли під час радянської окупації Львова колега заговорив до нього на вулиці українською, здивований Лем так само українською йому відповів: «Ти що, здурів?»
Можливо, письменник ідеалізував собі країну дитинства після кошмару двох окупацій, можливо, тоді його мало цікавили такі справи — надто був поглинутий своїм багатим внутрішнім життям, світом зірок, галактик і винаходів. Лем був майстром уникання відповідей, отож напевно болісні моменти замовчував (як у випадку ледве згаданої історії численної родини, більшість якої загинула у Голокості). Але так діє людська пам'ять: пригадує радше хаотичне нагромадження, ніж упорядкований каталог подій. Антрополог Дейвід Ловенталь у тексті «Минуле — це інша країна» писав:
[...] минуле ми трактуємо як археологічний музей [...] розкиданих абияк решток.
У спогадах з дитинства більше значення мають події, які нині здаються анекдотичними, хоча тоді вони пробивалися на перші сторінки газет, як-от падіння людини-мухи, котра намагалася піднятися на одну з кам'яниць у середмісті за допомогою заледве «гачка до взування» (пісеньку про той випадок написав старший кузин Лема, Маріян Гемар; закінчується вона словами: «Так ся закінчило страшне видовисько — не пнися високо, то не впадеш низько»).