Selom dominira župnom crkvom Imena Marijina izgrađena 1774. na mjestu ranije crkve Gospe od zdravlja koju je 1680. podigao župnik Vinko Pikot (umro 1705.). Njegova se nadgrobna ploča, skinuta iz poda crkve, danas nalazi pod zvonikom uz ulaz u crkvu. Raspitajte se u susjedstvu za ključ i pođite u ovu jednostavnu seosku crkvu koja čuva jedan od najznačajnijih spomenika hrvatske glagoljske baštine. Poznati Grdoselski ulomak ugrađen je u zid uz trijumfalni luk svetišta. To je dio ploče koja se nekoć nalazila najvjerojatnije u crkvi Sv. Ane na blagoj uzvisini istočnije od današnjeg sela. Iz ovog se, prilično složenog teksta, doznaje da je neki oltar posvećen u vrijeme dok je župom upravljao Golob iz Tinjana, a naručitelj gradnje bio je izvjesni Pankracije. Pretpostavlja se da je natpis nastao tijekom druge polovice 12. stoljeća u formativnom razdoblju uglate glagoljice pa danas predstavlja jedan od najznačajnijih spomenika hrvatske glagoljske baštine.

Današnje Grdoselo je zapravo zaselak Brdo. Razvaline grdoselskog kaštela nalaze se sjevernije od sela, u kanjonu Butonige. Prvi vlastelin prozvan po Grdoselu bio je dominus Artalupus de Gardosilla, koji se spominje 1250. godine u listini Filipa iz Kožljaka. Ova je osamljena kula koncem 13. stoljeća bila dom Henriku i Bertoldu vitezovima goričkog grofa Alberta II. Nakon što su rodovi Gorički i Devinski izumrli Grdoselo se našlo u rukama roda Walsee koji mu je daljnju sudbinu usko vezao uz Pazinsku grofoviju.

Poput mnogih istarskih gradova i sela Grdoselo nije bilo pošteđeno razaranja u Uskočkom ratu koji je od 1615. do 1618. godine bjesnio Istrom, a u koji su bili uvučeni austrijski i mletački podanici. Tijekom rata spaljeno je gotovo 90 posto kuća, uništeno je čak 97 posto stoke, a polovica je odraslih muškaraca ubijena ili oteta u roblje. Polovicom ožujka 1617. providur Tiepolo ranjen je nedaleko Lupoglava u zasjedi koju su postavili podanici Pazinske grofovije. Nekoliko dana kasnije uslijedila je odmazda. Vojska je lutala graničnim predjelima Grofovije gdje nije imala koga napasti niti što opljačkati, budući da su mnoga sela bila uništena, a ljudi s ostacima stoke sklonili se u utvrđene kaštele. Odlučili su zato postaviti zasjedu seljacima Grdosela koji su se sklonili u kaštel. Napadači su im namjeravali oteti stoku kad rano ujutro krenu na njive i pašnjake. Dva sata prije zore grdoselski su seljaci počeli izlaziti iz kaštela, no odmah su se razbježali kada su otkrili skrivene konjanike, koji su ih natjerali u bijeg. Prema Tiepolovu izvješću tada je Grdoseljanima oteto preko 50 volova. U Grdoselu je mletačka soldateska za tog napada spalila nekoliko kuća i dva mlina. Bili su to ujedno i posljednji dani slave starog Grdosela. Stabilizacijom političkih prilika kaštel je zapušten, a život se iz njegove okolice preselio u zaselak Brdo iz kojeg se razvilo današnje Grdoselo.