Xabier udalerriak bere izeneko gazteluaren inguruko lur-zerrenda txiki bat hartzen du. Gainera, Peña udalerri (egun, hutsik dago) zaharreko lurrak ditu, erabaki administratibo eta geografiko batez gehitu zitzaizkionak. Jakina, udalerriko monumenturik ospetsuena Xabierko gaztelua da, Frantzisko Xabierkoanafar unibertsalenaren jaioterria. XX. mendean Xabierko herria gaztelutik urrunago zegoen leku batera lekualdatu zenez, gero eta erromes gehiago zetozenez, herria sortu berria zela pentsatu ohi da, gazteluaren parean garatu zenean, X. mendetik, nahiz eta azken horrek eklipsatu. Gauzak horrela, Xabierren itxura, birkokatze horren aurretik, Erriberriren edo Martzillaren antzekoagoa zen.
