女主人公海斯特*白兰跟丈夫从英国移居当时尚属英殖民地的美国波士顿，中途丈夫被印第安人俘虏，海斯特只身来到美国等待丈夫团聚。独自一人生活的海斯特婚姻生活原本就不幸福，他本来不爱丈夫罗杰*齐灵渥斯，一位畸形、伪善、博学的老医生。在一次姻缘巧遇中，海斯特和当地颇有名望的青年牧师相识相恋，最后这段不被世俗所容的秘密恋情因海丝特的怀孕而曝光。
清教权力机构以通奸罪惩罚海丝特*白兰，先是拘捕，后又令她胸前佩戴标志通奸的红字“A ” 字站在古老的邢台上示众。她的手中抱着这个罪孽的证据：一个出生仅数月的婴儿。在人们无情的注视下，她拒绝了年轻牧师阿瑟*丁梅斯代尔提出的忏悔并供出同犯的要求。这时，海丝特的丈夫罗杰*齐灵渥斯来到了镇上，发现了这个当众受辱的女人就是自己的妻子。他威胁海丝特不准说出两人的关系，他满怀仇恨地改名为罗杰*齐灵渥斯，以医生的身份暗中察访与海丝特通奸的同犯。
受过惩罚后，海丝特以罪妇的身份带着女儿珠儿在城外远离人群的一间小茅屋住了下来。她以做针线活为生，并细心照料着她的女儿珠儿，她的针线活成为全市的时尚，很多人请她缝制东西。海丝特的收入相对她的社会地位来说很不错，但她把多余的金钱和时间都投入到接济穷人身上去了，尽管人们对她横眉冷对。很快七年过去了，珠儿已成长为一个美丽可爱的小姑娘，她美丽脱俗，有着倔强的性格和充沛的精力，而海丝特因为不断热心接济和帮助别人，最终赢得了人们的尊敬，使胸前那本来代表耻辱的红字变成了美好善良德行的象征。
而经过多年的窥探，罗杰也认定了“道德伟大”的丁梅斯代尔牧师就是那个隐藏的同犯。于是他千方百计地接近牧师，打着牧师朋友和助手的旗号，对青年牧师旁敲侧击，冷嘲热讽，不断地在精神上对牧师进行折磨。牧师一方面受到自己和海丝特所犯罪过的良心谴责，另一方面又受到老医生的精神折磨，身体状况一日不如一日。他的夜晚出游，差点惊动全镇，令海丝特坚定了向牧师揭露老医生的真实身份的决心。
海丝特瞅准牧师到森林里散步的机会，带着小珠儿向牧师坦露一切，觉得这一切是因为自己的过错，没有及早向牧师说出罗杰*齐灵渥斯的真实身份。得到牧师的宽恕后，海丝特为使丁梅斯代尔逃离丈夫的阴影，决定带着女儿和他一起逃走，但却被罗杰发现，计划失败了。而对罗杰的恐惧和自己隐晦罪责的煎熬使丁梅斯代尔的健康每况愈下。终于在离开尘世前夕，他在全体教众的面前，挽着海丝特和他们的女儿珠儿登上了邢台，用生命为代价的深切忏悔换取了道德上的新生。
丁梅斯代尔牧师去世后，变化最大的是老罗杰*齐灵渥斯，他所有的精力都用来对付牧师了，现在牧师已去，医生也就没有方向了。不到一年，医生死去，把财产遗赠给了海丝特的女儿珠儿。海丝特*白兰带着女儿回到了英格兰，多年之后，又独自重返波士顿，继续生活，死后和牧师葬在了一起。
读后觉得海丝特是一个很伟大的女性，她勇敢地面对了自己所犯的错误，走过了被谴责的痛苦和磨难，用自己的善良改变了人们的看法，同时我也看到了 另外一群罪恶的人，那些人自己犯了错误或有罪过，但是没有被发现，没有被大告天下，他们不但没有为自己的行为忏悔，还刻薄的对待海丝特，我们生活中更多的是那种人，而却很少有海丝特的勇敢，只会用自己污秽的灵魂笑话讥讽他人的错误，这样只会加深自己的罪孽。更多的贪官都是被拘捕了才后悔，如果不被发现估计永远不会忏悔，多审视一下自己，及时改正自己，净化自己的灵魂，不要到死的那一天才悔悟，甚至死了都不悔悟。还有那个可怜的老医生罗杰，让自己9年的时间都生活在仇恨中，把自己所有的生活目标都建立在对别人的报复上，失去了报复的目标，自己却忘记了怎么活下去，不是自己的就放手吧，是对自己也是对他人的一种解放，失去一些东西，就会收获另外一种东西，永远记得要为自己好好活着，简单一些，再简单一些，生活本复杂，不要让这个繁杂的社会，繁杂的人，搅乱了自己。多审视自己的错，少发现别人的错，上帝给了人两只眼睛，是告诉人们，闭一只眼也可以看世界，有些时候就应该睁只眼闭只眼，看自己时双眼看，以正自己德行，看别人时糊涂一点，就会平衡很多，就会有更多的美好。
