Làng Bình Ba nằm dưới chân của 3 ngọn núi chụm lại, là núi Ma Du, Hòn Cò và Mũi Nam. Truyền thuyết của ngư dân nơi đây kể lại rằng: núi Ma Du sở dĩ có tên gọi như vậy là vì xưa kia ở đây có người nấu rượu và ông ta sợ kẻ trộm tới cắp rượu nên đã đặt tên núi là “Ma Du” để hù dọa kẻ trộm khỏi lui tới; núi Hòn Cò là do chim cò thường tới đây ở, nên nhân dân gọi là Hòn Cò; núi Mũi Nam là do nằm về phía Nam của làng