По одной из версий, там, где сегодня возвышается Кайзербург, когда-то стояло римское укрепление Неронберг, названное в честь императора Нерона. Так или иначе первые письменные упоминания о крепости в Нюрнберге появляются только с 1105 г.