Toen op 9 mei 1924 in een zaal van Café Martinit aan de Kruiskade de oprichtingsvergadering van de RSV plaatshad, kon niemand van de vijfitg aanwezigen voorzien hoe de vlag van de RSV er in de toekomst bij zou hangen. Een vijftigtal arbiters woonde de eerste vergadering bij, waarvan een dertigtal zich aanmeldde. Mede-oprichter Frans Muys hield tijdens de bewuste vergadering een inleiding over het doel en nut van een op te richten scheidsrechtervereniging.
Marinus de Smaele werd op die gedenkwaardige 9e mei in 1924 tot voorzitter van de nieuwbakken vereniging gekozen. Als belangrijkste steunpilaren vond hij naast zich Herman van Gelderen, Cees Verhoef, Sam van Leeuwen, Frans Muys, Ton Magielsen, Wim Hendriks, Cees Visser en Siem Moerkerk.
Men verwachtte dat de RSV zou kunnen groeien tot zo'n 250 leden. Die verwachtingen waren niet te hoog. Bij het 50-jarig jubileum in 1974 had de RSV rond de 500 leden: 75% van de scheidsrechters in Rotterdam. Daarna daalde het ledental flink en de laatste jaren zijn ongeveer 110 personen lid.
De clubavonden vonden in de beginjaren plaats in Café 'De Kleine Kroon' van eigenaar Jan Delmee aan het Hofplein. Toen Delmee het fraaie pand noodgedwongen moest verlaten, verhuisde de RSV mee naar de Oostzeedijk in het toen deftige Kralingen. Rinus Huisman, de bekende voetballer van Excelsior, zwaaide daar de scepter. De clubavonden waren toen ook erg gezellig.
Na de periode Oostzeedijk nam de RSV haar intrek in de kantine aan de Gordelweg, waar op donderdag getraind werd en de clubavond gehouden werd. Het was nog de tijd van twee keer per week trainen: naast de donderdag was er training op dinsdag op Zuid bij Transvalia en op Noord bij DJS.
De periode aan de Gordelweg werd opgevolgd door het trainen op de sintelbaan van Varkenoord en de clubavonden werden gehouden in het Jeugdhonk van de SC Feyenoord. 23 Maart 2005 was een trieste dag: een brand verwoestte het Jeugdhonk. Niet alleen was het onderkomen weg, maar ook een groot deel van het archief dat de RSV daar bewaarde en de prijzenkast, door Henk Vriens gemaakt. Een interview over de brand, dat door Hart van Nederland werd uitgezonden, leverde een reactie op uit Breda, waar een kijker ons aanbood, een nieuw vaandel te maken
Tijdens het bouwen van de nieuwbouw werd de RSV opgevangen door DHZ. De intrek in 2006 in de nieuwbouw van Feyenoord, leverde nooit meer het echte clubgevoel op. In februari 2008 zegde Feyenoord eenzijdig het contract op. Daardoor werd de RSV gedwongen snel uit te zien naar een andere trainingsmogelijkheid. Deze werd gevonden in het clubgebouw van de SC Excelsior. Ondanks de vervelende aanleiding heeft de overgang de RSV veel meer gebracht dan bij Feyenoord het geval was: een goed onderkomen met uitstekende trainingsmogelijkheden en een prettige samenwerking met een betrouwbaar bestuur.
Jubilea werden in het verleden groots gevierd. In 1984 werd een jubileumboek gemaakt en werd een inzamelingsactie voor dove voetballers gehouden. In 1999 vierde de RSV het 75-jarig jubileum. De grandioze feestavond, waar zo’n kleine 300 leden met aanhang aanwezig waren, was een van de hoogtepunten. Het granieten jubileum in 2014 was soberder: de vereniging was inmiddels een stuk kleiner en de omstandigheden lieten uitbundige feesten niet meer toe.