На думку дослідників, сармати сформувалися в Поволзько-Приуральських степах у VІ–IІ ст. до н.е. Вони поділялися на племена роксоланів, сіраків, аорсів, язигів і аланів.
За свідченням Геродота, який вперше згадав про сарматів, походили вони від союзу скіфських чоловіків з амазонками. Очевидно, підставою для цього твердження був високий статус сарматських жінок. Адже так само, як і чоловіки, вони їздили верхи, полювали та брали участь у битвах. Жодна сарматська дівчина не могла вийти заміж, поки не вб'є ворога.
На історичну арену сармати вийшли в 513 р. до н. е., під час перської навали на Скіфію. Тоді вони були першими, хто прийшов скіфам на допомогу. Зокрема, сарматський воєвода, відомий нам під грецьким іменем Скопасіс, став правою рукою верховного головнокомандуючого скіфською армією царя Іданфірса.
Пізніше, близько 250 р. до н. е., сарматські війська перейшли кордони Скіфії та почали з нею війну, в результаті якої сармати в буквальному сенсі вирізали більшу частину скіфського панівного класу, так званих паралатів (царських скіфів), пограбували та спалили багато поселень скіфів-орачів і встановили свою політичну владу над усією скіфською територією. Звідси вони почали здійснювати грабіжницькі напади на грецькі міста північного узбережжя Чорного моря. Сармати навіть на деякий час підкорили Ольвію, яка, за свідченням античних джерел, потрапила в залежність від їхнього царя Фарзоя, а пізніше і від його сина Інісмея.
Ходили сармати також походами і на праслов'янські племена зарубинецької культури. До речі, вважається, що система земляних укріплень, відомих як Змієві вали, збудованих приблизно з II по VII ст. н. е. (а подекуди й пізніше), на початках призначалася для захисту саме від них.
Найбільшої шкоди сармати завдавали Дунайським провінціям Римської імперії. Зокрема, у спілці з германськими племенами маркоманів і квадів вони розв'язали проти Риму Маркоманські війни (166–180 рр. н. е.). Проте зазнали в них поразки і заключили з Римом мир, у результаті якого близько 5500 сарматських воїнів було направлено як кінноту для захисту Британії від нападів північних племен піктів. Між іншим, деякі дослідники, зокрема англієць Говард Рід, пов'язують перебування сарматів у Британії з появою легенд про короля Артура та його лицарів. Адже одягнені у важку броню, сарматські вершники — катафрактарії, вважаються предтечами європейського лицарства.
Разом із цим слід зазначити, що у 2023 році в Кембриджширі був знайдений скелет, який належав сармату. Це стало першим біологічним доказом того, що сармати справді перебували в Британії.
Починаючи з IV століття нашої ери, пануванню сарматів у Північному Причорномор’ї приходить кінець. Спочатку їх звідти на Кубань і Прикавказзя витісняють готи. Згодом підкорюють гуни.
Щодо способу життя сарматів, то його основою було кочове скотарство, яке повністю задовольняло всі їхні потреби.
Релігією сарматів був культ бога війни, якого уособлював меч, а також поклоніння сонцю і вогню. Крім того, у них набуло поширення шанування пращурів.
Ховали сармати померлих у курганах. Поряд з трупами в них клали зброю та прикраси (намисто з напівкоштовних каменів чи скла, амулети, бронзові круглі люстерка, фібули-застібки тощо).
Починаючи з XVI і завершуючи XIX століттям, серед польської, української, білоруської та литовської шляхти розвинулась концепція «сарматизму». Відповідно до неї шляхтичі розглядалися нащадками сарматів, які походили від біблійного Яфета. Також набула поширення, базована на співзвучності назв, латинізація назви Русі як «Роксоланії», а русинів як «роксоланів» — одного з сарматських племен. Згодом на основі цього виникла гіпотеза, що назва «Русь» походить від вищезгаданого сарматського племені. Її основоположником та популяризатором був вчений та історик Михайло Ломоносов (1711-1765).