Az első fennmaradt okiratban 1246-ban Terra Rum néven kerül említésre a település, amely kifejezés földterületet jelöl. Ebben az időben valószínűleg nem lakott itt senki, emellett Rwm és Rom néven is emlegették a helyet. Háromszáz évvel később már RWM fortalicium, majd 1619-ben Rum oppidum szerepel a község megnevezésénél. Előbbi várra utal, míg utóbbi már mezővárosra.
A rumi Szent László templom a 13. században épült, később többször is átépítették, emiatt lehet, hogy mai állapotában három építészeti stílus jegyeit is magán viseli. Az első hivatalos említés alapján Móric tárnokmester fennhatósága alá tartozott, majd a Rumy család vált a kegyurává. Legutolsó fenntartója gróf Szécheny Imre volt, amikor az ő hatásköre alól kikerült, már a hívek kezdték el a templom karbantartását.
1418-ban kérvényezték, hogy a templom felvehesse Szent László nevét. 1928. április 28-án Huszár Mihály sárvári apát végezte el a templom szentelését a felújítások után.
1350-ben Rum és a Rábán átvezető hídja, valamint vele együtt több település is kikerült a Vas vármegyei főispán keze alól, és I. Lajos király saját hívének, Németh Jánosnak és Gergelynek, a Rumy család őseinek ajándékoza. Az 1400-as évekből a Rumy család révén maradtak fenn iratok, amelyből tájékozódhatunk a községről.
Rum vára többször is említésre kerül a hivatalos okiratokban, sőt korabeli török írásos emlékek is mesélnek az építményről. 1532-ben a török hadsereg a rumi várat is elfoglalta, miközben Bécs ellen vonult, a települést pedig felégették. A vár pontos helye már nem határozható meg. A település adózóinak száma az ezt követő években elég ingadozó, egyik évben 41-et említenek, három évtized múlva már csak 15-ről írnak, ami mögött a török vonulása állhat.
Az 1848-as események sem hagyták érintetlenül a települést. 1848. június 23-án Rumban választották meg a független magyar országgyűlés képviselőjének Széll Józsefet. Ez arra utal, hogy a mezőváros akkoriban fontos község lehetett. A szabadságharcokban katonaként is többen részt vettek Rumból.
1894-ben a Szombathely-Rum vonalon megindult a vasúti közlekedés. Ma egy emlékhellyel tisztelegnek az egykori útvonal előtt. Mögötte az egykori fűtőház továbbra is ott magasodik a régi időkre emlékeztetve, ugyanis a vasútvonal működése 1974. május 25-én megszűnt.
Rum másik nagy érdekessége a Széchenyi-kastély, amelyet Bezerédj-kastély néven is ismerhetnek az emberek. Kezdetben az utóbbi család tulajdonában volt, ők építették a 19. század első évtizedeiben, klasszicista stílusban. Később Széchenyi Péterhez került a kastély, aki erős átalakításokat végzett rajta. A második világháború idején a berendezési tárgyakat az elvonuló katonák tönkretették, a megmaradtakat a környékbeli települések lakói vitték magukkal.
Az elhagyatottá vált kastélyt egy minisztériumi intézkedés hatására gyógypedagógiai intézmény számára adták át az 1900-as évek közepén. Először a Siketnémák Állami Gyógypedagógiai Intézeteként működött a kastély, majd fokozatosan elnyerte jelenlegi funkcióját és 1965-től kialakult benne egy olyan intézmény, amely középsúlyos értelmi fogyatékos gyermekek nevelését és oktatását végzi.
