بد نیست به این موضوع اشاره كنیم كه قرن هاست كه یزد را به نام زندان اسکندر می شناسند اما می دانیم كه مدرسه ضیائیه هیچ گاه زندان نبوده است. یكی از مواردی كه بر این امر دامن زده تأثیر گسترده ی شعر خواجه شیراز، حافظ است كه می فرماید:
دلم از وحشت زندان سکندر بگرفت رخت بر بندم و تا ملک سلیمان بروم
(از نظر صاحب نظران و بزرگان ادبی، منظور حافظ از زندان سکندر، شهر یزد بوده است).