Боб Марголин родился в Бостоне (США) в 1949 году. Увлечение гитарой пришло с самого детства после знакомства с записями рок-н-ролла великого Чака Берри. Но очень скоро Боб был покорен блюзом другого артиста фирмы «Chess» – Мадди Уотерса. Участвуя в блюзовых джемах, Боб познакомился и начал выступать вместе с певцом-гитаристом Лютером «Джорджия Боем» Джонсоном, игравшим в блюзбэнде Мадди Уотерса в 60-х годах прошлого столетия. Затем молодой музыкант вошел в блюзбэнд Мадди Уотерса в качестве второго гитариста, приняв на себя также обязанности гитарного техника и менеджера. Боб Марголин участвовал в записи последних шести альбомов Мадди Уотерса и в записи двух альбомов Джонни Винтера того же периода.
Первую собственную группу Боб собрал в 1980-м, когда Мадди Уотерс стал меньше гастролировать. Принимал участие в записи альбомов многих блюзовых ветеранов. В 1989 году выпустил дебютный альбом под собственным именем, но уже в названии альбома «Старая школа» декларировал свое стремление хранить традиции тех блюзовых учителей, с которыми ему посчастливилось выступать. Альбом, вышедший два года спустя, также носил программное название «Чикагский блюз». Боб Марголин был основной движущей силой проекта записи альбома памяти Мадди Уотерса при участии бывших музыкантов его блюз-бэнда The Muddy Waters Tribute Band (Telarc, CD, 1996). В 2017 году выиграл первую премию в Blues Music Award в номинации лучший мужской блюзовый исполнитель, а в 2016-м – Blues Blast Magazine Awards в номинациях «лучший блюзовый альбом» и «лучший мужской блюзовый исполнитель» со своим последним альбомом «My Road».