St. Pauls Church er oprindeligt bygget af portugeserne, men blev overtaget af hollaenderne og blev kaldt ved sit nuvarende navn. Under Portugesisk styre holdte den beroemte Francis Xavier Messe i denne kirke og proevede at goere de lokale kristne. Dog lykkedes det ikke.