Впервые термин «Малая Россия» встречается в начале XIV века в Византии для определения земель Западной Руси в церковно-административной практике. Список епархий Великой и Малой Руси, датированный 1347 годом, относит к Великой Руси (Μεγάλη Ῥωσία — Megálē Rhōsía) 12 епархий, находившихся под властью киевского митрополита, а к Малой Руси (греч. Μικρά Ῥωσία — Mikrá Rhōsía) — 6 епархий, которые с 1303 года находились под властью галицкого митрополита (Галицко-Волынское княжество), и 1 епархию, входящую в сферу влияния Литвы в 1339—1351 годах[7][8].

Князь Галицкий и Волынский Юрий II Болеслав в грамоте к великому магистру Немецкого ордена Дитриху, от 20 октября 1335 года называл себя «dux totius Russiæ Minoris» («князь всея Малыя Руси»), хотя и он, и его предшественники именовали себя «Rex Russiæ» («Король Руси»), «Dux totius terræ Russiæ» («Князь всея земли Русской»), «Dux et Dominus Russiæ» («Князь и Господарь Руси»). В 1347 году император Иоанн Кантакузин в грамоте волынскому князю Любарту перечислил семь епархий Малой Руси, отнеся к ней и Смоленск, временно находившийся под влиянием Литвы. Епархии Среднего Поднепровья, связанные на тот момент единством церковной власти с Северо-Восточной Русью, продолжали считаться Великой Русью.

В конечном итоге названия «Великая Русь» и «Малая Русь» вышли на официальный уровень — константинопольский патриарх учредил (1361) две митрополии, одну — в «Малой Руси» («Микра Росия»), с центром в Новгородке и Галиче, другую в «Великой Руси» («Мегале Росия»), с центром в Киеве (номинально) и Москве (фактически).

Польского короля Казимира Великого (1310−1370) называли «королём Ляхии и Малой Руси», так как он распространил свою власть на значительную часть владений Юрия-Болеслава[9].

Согласно схеме Михаила Грушевского «Малая Русь» — это Галицко-Волынское княжество, а с его гибелью, вхождением его земель в состав Польши и Великого княжества Литовского, данное название «выходит из употребления»[10]. По версии Олега Трубачёва, название «малая» возникло как противопоставление уже устоявшемуся названию «Великая Русь», которое относилось к более северным землям и означало «внешняя», «новая» Русь.[11] Подобное деление известно и в Речи Посполитой и Королевстве Польском, где с 1411 года известна Малая Польша (Малопольша), а с 1257 — Великая Польша (Великопольша).