Chùa được xây dựng vào thời kỳ Cảnh Hưng năm 1758, do Hương Hải thiền sư phá núi lập nên. Ban đầu, nơi đây chỉ là am nhỏ làm nơi trú ẩn của Ngài.

Sau này, đến đời đệ tử thứ 4, chùa được đông đảo người dân góp công xây dựng và đặt tên là Hải Tạng. Do bị tác động của gió bão gây hư hại nên năm 1848, chùa được dời đến vị trí hiện tại và tu sửa khang trang hơn.

Nằm trong số các chùa Hội An hấp dẫn du khách, chùa Hải Tạng được biết đến là điểm tâm linh gắn với truyền thuyết đặc biệt.

Tương truyền rằng ngày xưa có một con thuyền chở gỗ đi ngang qua Cù Lao Chàm thì trời tối nên họ dừng lại tại đảo để nghỉ ngơi. Nhưng những ngày sau đó trời bỗng dưng nổi giông lớn không ngừng, làm tàu không thể đi được. Sau vài ngày ở lại, có một người trong đoàn đã đến miếu cầu nguyện. Khi xin keo mới biết được rằng những cây gỗ họ đang chở phải để lại để xây chùa, không thể đem đi.

Cũng chính từ đó mà chùa được dựng lên, lấy tên Hải Tạng với hàm ý về sự quy tụ tam tạng kinh, mênh mông từ biển cả.

Không chỉ gắn liền với truyền thuyết tâm linh bí ẩn, chùa Hải Tạng còn gây ấn tượng với “4 không”: không trụ trì, không vàng mã, không điện đèn và không có không sư sãi.

Trước kia, chùa do hòa thượng Thích Hải Tạng trụ trì. Sau khi sư mất thì chùa không còn ai trụ trì nữa và vẫn do ban quản trị địa phương quản lý cho đến nay.

Có lẽ cũng chính vì những điều đặc biệt này mà du khách đến đây được cảm nhận trọn vẹn sự yên bình, thanh tịnh đến lạ.

Nằm trên hòn đảo hoang sơ, sở hữu cảnh sắc thiên nhiên hùng vĩ, bình yên, thơ mộng, chùa Hải Tạng hiện đã trở thành địa điểm du lịch trong chương trình khám phá Hội An nổi tiếng, được nhiều du khách ghé thăm.