1969年8月下旬，79岁高龄的胡志明病情恶化。尽管中国医疗组全力抢救，遗憾的是，在第4个医疗组的专机刚飞到广西上空，就得知胡志明已于当天上午9时47分停止了呼吸。结果，飞机不得不掉头返回北京。9月2日是越南的国庆日。鉴于当时越南的抗美救国斗争正处于关键时刻，越南政府为防国内局势动荡，决定将胡志明逝世的时间改为9月3日，并定于9月9日为胡志明举行国葬。对于胡志明的逝世，中国人民与越南人民一样，感到无比悲痛。
胡志明死前留下遗言，要求将他火化。但是新领导人未遵从他要求火葬的遗嘱，而是决定仿照列宁墓为他建造陵墓，胡志明的尸体由苏联专家进行了防腐处理，当时苏联专家携带医疗设备到越南为他进行尸体防腐后，放入水晶棺。他的遗体被保存下来，供后人瞻仰。
为了躲避美国飞机的狂轰滥炸，越南方面最初在距离河内30公里的一个热带丛林中修建了一个临时陵墓，并把胡志明的水晶棺藏在地下。
不久后，越南发现美军在距陵墓2公里的地方投下伞兵，以寻找被越南空军击落的飞行员，于是决定迅速将陵墓转移到一个山洞里，并为此专门修了一条山路。
为了确保转移工作的绝对安全，越南方面每修完一段山路，就让运送水晶棺的装甲车走过一段，然后立即将这段山路毁掉，再修下一段。就这样，水晶棺被秘密保存在这个山洞里，1975年8月29日，胡志明陵墓落成，颠沛流离6年之后，胡志明的水晶棺才被正式移入陵墓。
为了使胡志明遗体保存得尽善尽美，越南专家们付出了大量的心血。在整容方面，他们对遗体的每根胡须、每根头发，都精心保护，精心梳理；在做皮下注射前，对每一针从哪个方向刺入，他们都要进行仔细斟酌，务求达到最佳效果。
如今，40多年过去了，胡志明的遗体一直被保存在水晶棺内，每天都有成千上万名越南人怀着崇敬的心情去看望他们的领袖。