首 页 资讯 产业动态 发明·创新 探索·发现 科学麻辣烫 科技人物 专家讲坛 新基建

首页> 科技> 资讯

云南天文台:基于分布式存储,为天文观测构建新数据底座

2023年02月23日 18:53  |  来源: 人民政协网 分享到: 

晴空万里、群星璀璨的丽江高美古,在纳西语中的释义是“天气好、星星多、离天最近的地方”。这里的年平均晴天超200天,大气洁净透明,抬头可见满天的繁星、清晰的银河,近年来逐步成为国内重要的天文观测站点,逐步成为国内外天文工作者的观测圣地。建设在高美古的中国科学院云南天文台丽江观测站(以下简称丽江观测站),拥有独特的地理环境优势,经过多年的建设,逐步建设完成了2.4米、1.8米、1.6米等多种口径规格光学望远镜和一批小口径的远程/自动望远镜、日冕仪、射电望远镜等科学观测装置,云南天文台的南方天文观测集群已经初具规模。

随着天文观测需求的不断提升,天文观测所产生的观测数据量也越来越大,这也对数据存储和处理提出了更高的要求。为此,丽江观测站采用浪潮分布式存储构建三级数据存储平台,为天文研究乃至今后的数字经济产业研究提供有利的硬件平台支撑。

1

云南天文台丽江观测站的2.4米光学望远镜

天文观测仪器背后惊人的数据需求

丽江观测站拥有多种型号的天文望远镜,包括光学望远镜、日冕仪和射电望远镜,整个观测站的观测能力已经覆盖了从光学到射电的波段范围,每年能开展多项具有国际先进水平的天体物理观测和研究工作。

近些年随着新的天文观测技术快速发展,观测的广度和精度得到极大提升,让天文工作者更清晰地观测到天文目标,也更准确地验证已有物理模型。与此同时,新的天文观测仪器采集的数据量也有了量级的提升,如丽江观测站正在调试的云南大学1.6米多通道测光巡天望远镜,其中装置了3台大靶面的科学技术CCD相机,每个相机由4片9k*9k的芯片拼接而成,在观测过程中三台相机同时曝光,一次曝光就能产生近1GB的观测数据,一个观测夜的观测数据量近3TB,一年的原始观测数据接近1PB。如何有效的传输观测站众多望远镜观测采集的数据、支撑计算平台高效地分析和处理观测数据、安全存储原始数据和价值数据,给丽江天文观测站的观测数据管理提出了新的需求。

一是数据性能需求。在数据采集过程中,天文望远镜观测产生的数据,需要通过数据采集程序,实时地完成数据采集、数据预处理、计算、数据存盘等多个任务。在数据计算过程中,作为以数据为驱动的天文观测任务,科研计算平台需要存储集群平台提供数十GB/s聚合带宽的读写能力以保证计算任务并行的高效性。二是数据的长期保存需求。天文观测的原始数据要通过合理的生命周期管理系统进行永久归档保留,数据的自动化迁移归档、数据的安全性、归档数据长期保存成本、存储的易扩展性是数据归档存储考虑的重要因素。

分层存储方案满足不同天文数据的需求

丽江观测站为了满足天文科研工作者对望远镜观测数据的存储和分析处理过程中高带宽存储资源需求,采用了浪潮的计算节点和分布式存储搭建了三级分层的存储资源池,通过浪潮分布式存储高性能节点AS13000G5-H搭建高速存储层提供并行读写能力,满足前端多个计算节点同时在存储上进行数据读写的需求;采用浪潮分布式存储AS13000G5-M系列4U60高密节点提供2PB低速存储空间,用于存储前端回传的观测原始数据以及计算集群计算处理后的归档数据。

为天文观测任务提供性能保障

浪潮AS13000G5-H通过私有客户端,能够使接收到的数据并发写入每个数据节点,打破传统存储的单存储节点性能限制,通过RDMA协议,有效降低数据传输过程中的时延,进一步提升传输效率,单存储节点性能可达到GB/s读写带宽。通过并行文件系统可以添加更多的存储节点,性能和容量随节点数的增加而线性增长。

科研项目的阶段性增长可以按需满足、高效运维

为保障天文数据长期可靠保存、弹性扩展的需求,浪潮存储在架构和运维方面进行了创新。

扩展性方面,浪潮存储基于分布式存储架构支持灵活扩展,可随着天文科研项目需求横向扩展,运用独特的扩容算法,在扩容同时可保障业务性能无明显波动,性能与容量随着节点的扩展而线性增长,避免对现有接收业务和科研计算任务读写访问性能造成影响,满足了未来天文观测仪器设备提升的存储增长需求。

在可靠性方面,浪潮分布式存储采用纠删策略,允许多个节点损坏时业务不中断,保证观测任务以及计算任务7x24小时的连续业务访问,保障天文工作者科研项目顺利进行。同时还可搭配InView智能管理平台,对于天文观测海量数据中心的设备进行管理,提供容量、性能、故障等预测性分析等一系列智能化功能,帮助运维人员预防硬件潜在故障,同时降低存储的复杂性和维护成本。

占地260余亩丽江观测站园区里运行的光学望远镜每年都要执行数千次的观测任务,积累大量的原始观测数据,这些观测数据帮助科研工作者取得了大量研究成果,加速中国天文研究的发展。如借助2.4米望远镜光谱观测发现了数十个高红移类星体;通过系外行星的精确视向速度搜寻工作,已经发现若干颗系外行星候选源;擅长搜寻新的凌食系外行星系统的宽视场巡天望远镜(小口径望远镜),帮助科学家们发现了10多颗凌食系外行星候选体以及200多颗其它类型的变源。

未来云南天文台丽江观测站也将在此基础上,不断进行天文学高新技术创新,为天文学的科学应用研究服务提供高质量的观测数据,发挥南方天文观测集群的前沿作用,推动天文领域研究的快速发展,探索宇宙奥秘。

编辑:马嘉悦


人民政协报政协号客户端下载 >

PHP网站源码滁州SEO按天收费推荐海西网站搜索优化多少钱南通关键词按天计费哪家好遵义百度网站优化多少钱孝感SEO按效果付费报价张家口优化报价民治英文网站建设渭南seo优化多少钱宿州关键词排名报价塔城营销型网站建设报价承德网站推广工具报价揭阳网站推广工具推荐沈阳网站排名优化哪家好淮南网站搜索优化价格醴陵百度网站优化价格南京网站搜索优化报价坪山网站优化软件推荐开封百度网站优化排名思茅seo优化报价舟山品牌网站设计价格黔南百度标王报价盐城网站优化推广重庆SEO按效果付费推荐安庆英文网站建设毕节建网站报价扬州网站优化排名价格菏泽推广网站公司宜春网站推广系统哪家好德阳网站推广工具推荐周口设计公司网站歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

PHP网站源码 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化