“พระครูถาวรวิริยคุณ” หรือหลวงพ่อคง ฐิตวิริโย เจ้าอาวาสรูปปัจจุบันและรูปแรกของ "วัดเขากลิ้ง" ตั้งอยู่หมู่ที่ ๒ บ้านเขากลิ้ง ต.แก่งกระจาน อ.แก่งกระจาน จ.เพชรบุรี ทั้งนี้ ท่านได้ธุดงค์ไปตามป่าเขาลำเนาไพร ตั้งแต่ จ.ชลบุรี ฉะเชิงเทรา นครปฐม ราชบุรี กาญจนบุรี จนกระทั่งธุดงค์มาถึงแก่งกระจาน ได้ปักกลดตรงบริเวณป่าไผ่ที่เป็นที่ตั้งวัดในปัจจุบัน

                ในเวลากลางคืนได้นั่งบำเพ็ญเพียรทางจิตอยู่ภายในกลด จนเวลาเที่ยงคืนได้เวลาจำวัด ในคืนหนึ่งได้ฝันว่า ตัวท่านเองได้เดินแบกกลดไปในป่าถึงแม่น้ำแห่งหนึ่งมีช้างเดินตามท่านมาด้วย ๓ เชือก ในความฝันท่านเดินข้ามแม่น้ำที่ลึกนั้นได้โดยไม่จม พร้อมกันนั้นช้าง ๓ เชือกได้เดินข้ามมาด้วย โดยไม่จมเช่นกัน 

                เมื่อตื่นจากความฝัน หลวงพ่อคงได้นั่งคิดตรึกตรองถึงความฝันนั้นอยู่หลายวัน แต่แก้ไม่ตกไม่รู้ว่าความฝันนั้นหมายถึงอะไร จนกระทั่งเดินทางไปกราบเรียนพระอุปัชฌาย์ของท่าน คือ พระครูญาณประยุติ (หลวงพ่อเรียน) เมื่อหลวงพ่อเรียนได้รับการเล่าแล้ว ท่านก็ทำนายความฝันนั้นให้ว่า "คุณคง คุณจะทำป่าตรงนั้นให้เป็นวัดขึ้นได้ในอนาคต แม้จะยากแสนยากอย่างไรก็จะประสบผลสำเร็จดุจดังที่คุณได้ข้ามแม่น้ำนั้นมาได้โดยปราศจากอุปสรรคใดๆ" ส่วนช้างที่ข้ามมาด้วยนั้น คือ บริวารผู้ที่จะให้การสนับสนุนให้สำเร็จ พระภิกษุคง ก็ได้กราบพระอุปัชฌาย์แล้วกล่าวคำว่า “สาธุ” รับเอาคำอวยพรที่พระอุปัชฌาย์ทำนายไว้ในใจตลอดจนกระทั่งได้ลงมือสร้างวัด

                หลวงพ่อคงได้ดำเนินการสร้างสำนักสงฆ์ขึ้นครั้งแรกเมื่อ พ.ศ.๒๕๑๓ ต่อมาได้ดำเนินการก่อสร้างพระอุโบสถจนแล้วเสร็จ เมื่อ พ.ศ.๒๕๒๕ และได้รับการประกาศแต่งตั้งให้เป็นวัดโดยกรมศาสนาอย่างเป็นทางการ เมื่อวันที่ ๒๔ กรกฎาคม ๒๕๒๘ พร้อมกันนั้นได้รับพระราชทานวิสุงคามสีมาจากพระบาทสมเด็จพระเจ้าอยู่หัว เมื่อวันที่ ๒๑ เมษายน ๒๕๒๙ เป็นต้นมาจนถึงปัจจุบัน และจัดงานปิดทองฝังลูกนิมิตผูกพัทธสีมา เมื่อ พ.ศ.๒๕๕๐

                จากการที่หลวงพ่อคง ฐิตวิริโย เป็นพระผู้มีความวิริยะอุตสาหะในการทำนุบำรุงพระพุทธศาสนาด้วยดีตลอดมา ท่านจึงได้รับแต่งตั้งให้ดำรงตำแหน่งฐานาจากท่านเจ้าคุณเทพฯ ผู้ช่วยเจ้าอาวาสวัดเบญจมบพิตร  ที่พระครูสังฆรักษ์ ต่อมาได้รับพระราชทานแต่งตั้งสมณศักดิ์เป็นพระครูสัญญาบัตรชั้นโทที่ “พระครูถาวรวิริยคุณ” จากชั้นโทเลื่อนเป็นพระครูชั้นเอกในชื่อพระราชทินนามเดิม และได้รับแต่งตั้งให้เป็นพระอุปัชฌาย์ ทำหน้าที่กุลบุตรผู้ที่เข้ามาขอบวชในบวรพระพุทธศาสนาจนถึงปัจจุบัน

                ปัจจุบันแม้ว่าวัยจะลวงเลยมาถึง ๙๒ ปี หากใครไปวัดเขากลิ้ง จะเห็นหลวงพ่อคง ออกมาตัดหญ้าทำความสะอาดบริเวณวัด โดยท่านบอกว่า "อาตมาตัดหญ้า กวาดวัด ปลูกต้นมาไม้ มาตั้งแต่เมื่อครั้งสร้างวัดใหม่ๆ หรือ ๕๐ ปี ก่อนโน้น และจะทำไปอย่างนี้จนสิ้นลมหายใจ เพราะถ้าพระไม่ทำวัดให้สะอาดแล้วใครที่ไหนมาช่วยทำ เมื่อญาติโยมเห็นก็เกิดความศรัทธา"