Khi thấy dân cư thuần hậu, vào khoảng những năm đầu thế kỷ 20, ông Trần để tiền tài xây dựng một khu nhà thờ Khổng Tử, mục đích để dạy “dân luận và ái quốc”. Về sau, khu nhà thờ này trở thành gian chính điện, lại có thêm lầu Tiên, lầu Phật, lầu Trời được mở rộng chung quanh; có lầu Cấm làm gian tiền điện, có nhà đón khách, có cổng tam quan và lầu Dài chia làm hai phần: phần thượng dành cho các ban thờ còn phần hạ là nơi ăn nghỉ cho những ai lui tới thăm viếng.
Những năm kế tiếp, để đáp ứng nhu cầu sinh hoạt của người dân đảo, ông Trần cho xây thêm các dãy phố dành cho dân ngụ cư khi mới tới, trường học cho trẻ, nhà máy xay xát gạo, kho chứa thóc, nhà hội họp, khu chợ,… Vì tất cả đều được xây trong cùng một khu vực nên người dân nơi đây quen gọi chung bằng một cái tên giản dị là Nhà Lớn Long Sơn.
Xuất phát từ tính hỗn dung trong tôn giáo mà ông trao truyền, Nhà Lớn Long Sơn là một tổ hợp kiến trúc không tuân theo quy luật truyền thống với các khu nhà được xây xen kẽ nhau không cân xứng. Nội thất trong các gian thờ chính cũng khá đa dạng, thể hiện đủ đặc trưng ba miền với hoành phi, liễn đối, chân đèn, đỉnh trầm, độc bình, khánh thờ, sập gụ, tủ chè,… Sau khi ông mất, việc trông nom Nhà Lớn được tất cả người dân trên đảo đảm nhiệm, cứ luân phiên chia thành từng nhóm đều đặn lo việc cúng kiếng, sửa sang hay dọn dẹp cả khu nhà.
Hàng năm đảo Long Sơn có hai dịp lễ long trọng nhất là ngày vía Ông vào 20 tháng Chạp âm lịch và ngày Tết Trùng Cửu mồng 9 tháng 9. Vào hai ngày này, người dân tổ chức sắm sửa, dâng các sản vật địa phương lên ban thờ và làm lễ, thu hút rất nhiều khách tham dự từ các tỉnh miền Đông và Tây Nam Bộ cùng chia sẻ những tín điều của đạo Tứ Ân Hiếu Nghĩa.
Đạo Ông Trần, tuy nói là đạo, nhưng kỳ thực không có giáo chủ, không có kinh sách hay đền đài thờ phụng. Dựa trên ảnh hưởng của thầy mình, ông Trần chủ yếu phổ biến tinh thần Phật giáo dân dã có kết hợp thêm yếu tố Nho, Lão và tục thờ cúng tổ tiên theo hình thức cư sĩ, tu tại gia. Tức là tín đồ không cần câu nệ hình thức, không cần cắt tóc quy y, không cần thuộc làu kinh sách, mà tự sửa mình trong nếp sống hàng ngày, chăm lao động, chăm làm việc thiện và luôn kính ngưỡng ông bà tổ tiên.
Lúc sinh thời, ông Trần thường răn dạy rằng: “Tu không thành tiên, mà để thành Phật, thành người”. Quả vậy, đạo Ông Trần là sự thực hành đạo làm người trong đời sống thường ngày, thực hành liên lỉ cho đến khi trở nên tự nhiên như hơi thở, ai ai cũng đều sống có lý có tình, ngay thẳng và hiền hòa như một phần bản chất. Do đó mà người dân đảo Long Sơn đa phần đều chân chất giản dị mà vui tươi cởi mở; đời sống thanh bình, ít âu lo.