Свою назву Петрівська вулиця, як і більшість вулиць у старовинній частині лівобережжя міста, отримала від назви одного з бастіонів фортеці Святої Єлисавети – бастіону Святого Петра. У 1911 році «комиссия о пользах и нуждах» внесла пропозицію про перейменування вулиці на 19 лютого 1861 року, але вона не була підтримана міською управою. З 1926 року вулиця носить ім’я Тараса Шевченка. Разом з Великою Перспективною та Дворцовою Петрівську можна зарахувати до трійці найбільш значимих вулиць міста.
На ній зо два десятки пам’яток історії, культури та архітектури. З нею пов’язано чимало історичних подій. До революції на Петрівській були три гімназії та Фірсовське народне училище. Вулиця розпочинається від будівлі громадської жіночої гімназії (нині центральний корпус ніверситету ім.В.Винниченка). Дослідники історії цього навчального закладу вважають, що споруджували будівлю у 1902-1904 роках за проєктом архітектора Олександра Лішневського. Якщо це так, то будівництво велося без його нагляду, бо Олександр Львович залишив посаду міського архітектора Єлисаветграда ще навесні 1901-го. У 2010-му перед цим будинком встановили пам’ятник В.Винниченку (скульптор В.Цісарик, архітектор В.Кривенко).
По парному боці вулиці на розі з Миргородською (нині Шульгіних) був двоповерховий будинок Олександра Акінцієвича Бредюкова, який мав землі у селі Витязівка (нині Бобринецького району). По непарному боці були Московські лавки, які будували у 1857-1862 роках для російських купців. У подальшому їх кілька разів перебудовували під казарми для військових та чоловічу гімназію. Під останню у 1879 році пристосували один з корпусів лавок. У 1887 році зробили надбудову другого поверху гімназії. Сьогодні у цьому будинку адмінбудівля ГУ МНС в області.
Серед вихованців гімназії лауреат Нобелівської премії Ігор Тамм, письменник Володимир Винниченко та багато інших відомих людей. Припускають, що будинок №8 споруджений у стилі раціонального модерну на початку ХХ століття на кошти Роберта Ельворті. Начебто у двоповерховій цегляній споруді проживав головний інженер заводу. За іншою версією, будинок належав техніку Шостовському. Фасад прикрашає вишуканий малюнок з виразною рельєфністю у вигляді накладних елементів – маски левів, мушлі, рослинно-фруктові гірлянди.
На Ярмарковій площі (нині сквер біля пам’ятника Т.Шевченку) міська управа виділяла місце на встановлення пересувного шапіто заїжджим циркачам. 2 квітня 1880 року у такому шапіто уперше в Єлисаветграді загорілася електрична лампочка. Сталося це за сприяння нашого земляка Миколи Миколайовича Бенардоса.
На початку серпня 1905 року на цій площі працювала народна виставка картин. В її експозиції, зокрема, були дві картини Іллі Репіна. «Выставка усердно посещается публикой. Плата за вход – кто сколько может», – писала газета «Голос Юга».
У 1961 році на відзнаку 100-річчя від дня смерті Тараса Григоровича у сквері встановили пам’ятник поету із нетривких матеріалів, а у 1982-му його замінили на металевий (скульптори М. Вронський і А. Гончар, архітектор А. Губенко).
Два дореволюційної побудови будинки №16 та №20 – неатрибутовані. Перший на розі з вулицею Інгульською (Декабристів). За даними інвентарної справи ОБТІ, він збудований у 1890 році у стилі еклектики з використанням мотивів “цегляного” стилю. Зберігся балкон з вишуканою кованою візерунчастою решіткою. Деякі дослідники припускають, що у будинку №20 був готель, не виключено, що це був готель «Франція» Івана Єрмолайовича Потапова. Збудований він у стилі еклектики. Первісний вхід з двору має красиву перемичку лучкової форми.
На перехресті з Іванівською вулицею у будинку вдови капітана Анастасії Петрівни Баумгартен з 1895 року була земська управа. За квартал між вулицями Іванівською та Великою Перспективною розміщувалася в орендованому будинку приватна жіноча гімназія Марії Дезірівни Гослен. Вона розпочала свою роботу 11 серпня 1906 року. Нині ці два будинки – корпуси гімназії №5.
У 1907-му у будинку члена міської думи Зіновія Ксаверійовича Шишковського на розі з Великою Перспективною вулицею відкрився перший у місті магазин з продажу грамофонів. Через дорогу на парному боці цього перехрестя у будинку Камінської був готель “Петербурзький”, який тримала Потапова, що проживала у сусідньому одноповерховому будинку. На іншому розі перехрестя на будинку №34 встановлена пам’ятна дошка, що на цьому місці у літньому театрі у вересні 1847 року виступав угорський композитор і піаніст Ференц Ліст. На думку автора, тут допущена неточність, оскільки літній театр був на іншому розі, там, де потім збудували «Петербурзький» готель.
На перехресті з вулицею Пашутінською знаходився будинок Ганни Самохвалової (будинок №21). Датується він 1860 роком. Архітектор Ілля Акимович Шилін.
Приміщення колишньої чоловічої гімназії не єдина будівля у нашому місті, яка пов'язана з Ігорем Таммом. На плані Єлисаветграда за 1913 рік на Петрівській позначений будинок з виноскою: «Контора городского водопровода, Петровская улица, дом Кошкиной». Нині це будинок №46. На його першому поверсі була контора міського водопроводу та електричного освітлення, якою завідував інженер-технолог Євген Тамм, а на другому поверсі проживала його сім’я.
За даними 1913 року на Петрівській у будинку Очесальського (місцезнаходження не встановлено) проживав рідний дядько письменника Юрія Карловича Олеші – Мамерт Антонович Олеша, старший контролер акцизного окружного управління. Юрій Олеша народився у нашому місті у 1899 році, а коли йому було три роки сім’я переїхала до Одеси. Де проживала в Єлисаветграді сім’я Карла Олеші, не встановлено. Не виключено, що під час відвідування Єлисаветграда у 1918 році у складі товариства молодих одеських поетів «Зелена лампа» Юрій Олеша зупинявся у квартирі дядька.
На Петрівській вулиці у березні 1910 року у будинку Сюненберга була відкрита Пастерівська станція на 40 ліжок. Нині це одна з будівель хлібзаводу. Будинок №68 на цьому ж перехресті неатрибутований. Відповідно до планування, можна припустити, що він був прибутковим. Архітектурний стиль – пізній модерн з елементами псевдоготики. Будівля двоповерхова, має багате оформлення фасаду. Старожили називають його будинком Бороди, але чи це було прізвище власника – в Єлисаветграді був купець Юхим Васильович Борода, чи так говорили через зовнішній вигляд власника будинку – не встановлено.
Будинок №51 на перехресті з Карабінерною вулицею належав Петру Анатолійовичу Фірсову. Припускають, що приміщення збудоване у 1899 році. У ньому було народне училище, яке засноване у 1901 році.