กรมหลวงชุมพรเขตอุดมศักดิ์ทรงมีความสามารถในการเดินเรือมาตั้งแต่ยังทรงเป็นนักเรียน ดังจะเห็นได้จากคราวที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเสด็จประพาสยุโรปครั้งแรก พระองคได้ทรงถือท้ายเรือพระที่นั่งมหาจักรีด้วยพระองค์เองตั้งแต่ประเทศลังกาไปจนถึงยุโรป ดังปรากฏในลายพระราชหัตถเลขาของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวพระราชทานมาถึงสมเด็จพระศรีพัชรินทราบรมราชินีนาถ ดังต่อไปนี้

“ในเวลาที่เขียนหนังสืออยู่นี้ อาภากรกับหลวงสุนทรมาถึง อาภากรโตขึ้นมากและขาวขึ้น เขามีเครื่องแต่งตัวเป็นมิดชิพแมนมาพร้อมแล้ว ฉันได้มอบให้อยู่ในใต้บังคับกัปตันเป็นสิทธิ์ขาด เว้นแต่วันนี้เขาอนุญาตให้มากินข้าวกับฉันวันหนึ่ง”

เมื่อพระองค์เสด็จกลับมาทรงรับราชการในกองทัพเรือ ก็ได้ทรงความสามารถในการนำเรือรบ “พระร่วง” จากยุโรปมายังประเทศไทยด้วยพระองค์เองซึ่งในเรือนั้นไม่มีทหารเรือชาวต่างประเทศเลย นับว่าพระองค์เป็นนายทหารเรือไทยคนแรกที่สามารถนำเรือรบจากยุโรปมายังเอเซีย

เรื่องของเรือรบหลวงพระร่วงนี้ เกิดขึ้นเมื่อปี ๒๔๕๗ เมื่อประชาชนชาวไทย ร่วมกันบริจาคเงิน เพื่อซื้อเรือรบมาไว้ป้องกันประเทศต่อมาพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวทรงพระราชทานนามเรือรบว่า เรือรบพระร่วงทรงพระราชทานทรัพย์ส่วนพระองค์จำนวน๘ หมื่นบาท และมีพระบรมวงศานุวงศ์ข้าราชการ พ่อค้าประชาชน ร่วมบริจาคเงินซื้อเรือรบเป็นอันมาก จนได้เงินถึง ๓,๕๑๔,๖๐๔บาท จนถึงปี พ.ศ. ๒๔๖๓ พลเรือเอก พระเจ้าบรมวงศ์เธอ กรมหลวงชุมพรเขตอุดมศักดิ์จึงได้รับพระมหากรุณาธิคุณ โปรดเกล้าฯ ให้ออกไปหาซื้อเรือรบยังทวีปยุโรป ปรากฏว่าพระองค์ได้เสด็จฯ ไปทรงเลือกซื้อเรือรบที่ประเทศอังกฤษ และทรงเลือกซื้อเรือเรเดียนต์ซึ่งเป็นเรือชนิดพิฆาตตอร์ปิโด อันเหมาะสมกับประเทศไทย เมื่อทรงซื้อเรือและตรวจรับเรียบร้อยแล้ว ก็ทรงนำเรือรบลำนี้ ซึ่งก็คือเรือรบพระร่วง เดินทางจากอังกฤษมาสู่ประเทศไทย มาถึงโดยสวัสดิภาพเมื่อวันที่ ๗ตุลาคม พ.ศ. ๒๔๖๓

พระกรณียกิจของพระองค์ ที่กล่าวมาข้างต้นนี้เป็นเรื่องที่ทรงมีต่อกิจการของกองทัพเรือในการวางรากฐานให้มั่นคง สำหรับพระจริยวัตรสำคัญอีกประการหนึ่งที่เป็นที่รักและเคารพของทุกคนคือ ความไม่ถือพระองค์ ทรงแสดงให้ประจักษ์และซาบซึ้งในพระคุณสมบัติส่วนนี้ตลอดพระชนมชีพ ดังที่มีเรื่องเล่าลือสืบมาว่า ทรงรักและเอาพระทัยใส่ชีวิตความเป็นอยู่ของลูกศิษย์และผู้ใต้บังคับบัญชาทั้งในเวลาและนอกเวลางาน เล่ากันว่าครั้งหนึ่งเวลาค่ำขณะประทับพักผ่อนที่วังนางเลิ้ง มีผู้วิ่งมาทูลว่า ทหารเรือชั้นผู้น้อยคนหนึ่งถูกรุมต่อยตีจากคู่ต่อสู้ที่ตลาดนางเลิ้ง เมื่อทรงรู้ข่าวก็เร่งเสด็จไปสถานที่เกิดเหตุทันที ทรงช่วยทหารเรือผู้นั้นให้รอดจากการถูกคู่วิวาทฟันด้วยการเอาพระองค์เข้ารับคมดาบโดยไม่เป็นอันตราย หรือโปรดเสด็จไปสู่ขอผู้หญิงให้ลูกศิษย์ด้วยพระองค์เองในฐานะพระอาจารย์มิใช่ในฐานะเจ้า หรือโปรดให้ตั้งฌาปนกิจสถานสำหรับทหารเรือขึ้น เพื่อช่วยในการฌาปนกิจศพทหารเรือทุกระดับชั้นอย่างสมเกียรติยศ เป็นต้น ทรงโปรดให้ทหารเรือทั้งหลาย เรียกพระองค์ท่านว่า เสด็จเตี่ย เพื่อตัดความยุ่งยากในการใช้ราชาศัพท์ และทรงรักและปกป้องทหารเรือทุกนาย จากเหตุการณ์ต่าง ๆ เหล่านี้ได้มีการขนานนามพระองค์ท่านว่าเป็น “พระบิดาแห่งทหารเรือไทย” ต่อมาได้มีการพิจารณา การใช้คำราชาศัพท์ที่ถูกต้องคือ คำว่า “พระบิดา” และ “องค์บิดา “ตามที่สมเด็จพระเจ้าพี่นางเธอ เจ้าฟ้ากัลยาณิวัฒนากรมหลวงนราธิวาสราชนครินทร์ ประทานคำแนะนำในการใช้ราชาศัพท์ คำว่า “พระบิดา” และ “องค์บิดา” ในโอกาสที่เสด็จเป็นองค์ประธานเปิดงานเทิดพระเกียรติสมเด็จพระมหิตลาธิเบศร อดุลยเดชวิกรม พระบรมราชชนก และทรงแสดงปาฐกถาเรื่อง พระราชกรณียกิจของ สมเด็จฯ พระบรมราชชนก ต่อการสาธารณสุขไทย เมื่อ ๒๑ มิถุนายน พ.ศ.๒๕๓๖ ถึงกรณีทรงขอให้หลายวงการ เว้นใช้คำว่า “พระบิดาแห่งแพทย์ไทย” ซึ่งใช้กันมานาน เปลี่ยนใช้คำว่า “องค์บิดา” แทน ส่วนคำว่า “พระอาจารย์” ใช้สำหรับพระสงฆ์ เช่น พระอาจารย์ฝั้น พระอาจารย์มั่น ไม่ว่าศิษย์จะเป็นใครก็ตาม สำหรับฆราวาสนั้นจะเป็นพระอาจารย์เมื่อมีศิษย์เป็นเจ้า เช่น นาย ก. เป็นพระอาจารย์ของสมเด็จพระเทพรัตนราชสุดาฯ แต่สมเด็จพระเทพรัตนราชสุดาฯ มิได้เป็นพระอาจารย์ของนักเรียนนายร้อย เพราะนักเรียนนายร้อยไม่ได้เป็นเจ้า เห็นเขาเรียกกันว่า “ทูลกระหม่อมอาจารย์” ด้วยหลักเกณฑ์เดียวกัน การแพทย์ หรือ การสาธารณสุข ไม่ได้เป็นเจ้า ก็ไม่น่าใช้คำว่า “พระบิดา” แต่บิดาเป็นเจ้า จึงเสนอให้ใช้องค์ ดังที่ใช้กันแล้วกับคำ องค์อุปถัมภ์ องค์ประธาน ไม่ได้ใช้ พระอุปถัมภ์ หรือ พระประธาน นอกจากนี้กรมกำลังพลทหารเรือ ได้ประสานกับ คุณเศวตธนประดิษฐ์ ที่ปรึกษาสำนักพระราชวัง ทราบว่า คำว่า “พระบิดา” จะใช้เป็นคำราชาศัพท์ในการเรียกพระชนกนาถของพระบาทสมเด็จพระเจ้าอยู่หัวเท่านั้น ในกรณีของบุคคลทั่วไปที่จะยกย่องเชิดชู ให้ใช้คำว่า “องค์บิดา” แทนซึ่งจะสอดคล้องตามที่ สมเด็จพระเจ้าพี่นางเธอฯ ทรงแนะนำการใช้ราชาศัพท์ไว้ เมื่อเป็นดังนี้ กองทัพเรือจึงมีประกาศกองทัพเรือแก้ไขให้ใช้คำว่า “องค์บิดาของทหารเรือไทย” แทนคำว่า “พระบิดาของกองทัพเรือไทย” เมื่อวันที่ ๑๙ เมษายน พ.ศ.๒๕๔๔

และต่อมา ได้มีประกาศกองทัพเรือ ในการขานพระนามของพระองค์อย่างเป็นทางการให้ใช้ว่า “พลเรือเอก พระเจ้าบรมวงศ์เธอพระองค์เจ้าอาภากรเกียรติวงศ์ กรมหลวงชุมพรเขตอุดมศักดิ์”และนี่ก็คือที่มาของพระสมัญญานามของ”องค์บิดาของทหารเรือ
ไทย”