我丈夫和其父母共建一座新房，后其弟要这座新房，本来协议钱还我们房子给他，协议有证人，父母，他们夫妻和我们夫妻签名并按手印，现在他们超过还钱日期约有六年一分不还，请问可以不要钱，要回房子吗？