在清朝年间，新街一带还是处于海边，每逢大潮来临，海水涌上，遍地泽国，先民们苦不堪言，后来大家一起在这个地方挖泥筑坝，逐渐在这个形成一个几米高，几十米宽的四方形土丘，每逢大潮来临，先民们便爬到上面躲避海水。

后来随着滩涂的淤积，海水逐渐退去，原本的滩涂地带，渐渐改良，变为良田。四方墩原来的作用不再，反而占着大片良田，于是大家将这片高地的土挖去，改造为良田。仅剩一米见宽的小土墩，诉说着往日的沧桑。

据当地的一位袁兴和老教师称，该地以前战争期间，处决犯人地方，有万人坑之说。后来又经常经常传出奇异事件，有人傍晚送馒头，莫名其妙少几条；一条史无前例的大蛇被人们在附近发现。。。。。等等相关传说更是使四方墩平添一份神秘色彩。