亿信ABI

一站式数据分析平台

ABI(ALL in one BI)是亿信华辰历经17年匠心打造的国产化BI工具,技术自主可控。它打通从数据接入、到数据建模与处理、再到数据分析与挖掘整个数据应用全链路,可满足企业经营中各类复杂的分析需求,帮助企业实现高效数字化转型。

在线免费试用 DEMO体验 视频介绍

亿信ABI

一站式数据分析平台

亿信华辰深耕商业智能十多年,
打造一体化的填报、处理、可视化平台。

免费试用 产品详情

大数据建模需要学习哪些?

时间:2019-07-10来源:今日头条浏览数:1939

大数据一般指在数据量在10TB以上的数据集, 通常有以下5个特点:

1. 容量(Volume):数据量大,数据量的大小决定所考虑的数据的价值和潜在的信息;

2. 种类(Variety):

数据类型多,包括但不仅限于文本,音频,视频以及图片;

3. 速度(Velocity):指数据产生和获取的速度快;

4. 低价值密度(Value):数据中的有价值数据量级较小;

5. 真实性(Veracity): 数据质量因数据来源以及记录方式等影响因素的不同,会出现较大的差异,而这种差异性会极大程度地影响 数据分析的精确性;

简单说来,大数据建模就是指利用相关的计算机技术从大数据中挖掘数据特征,并用量化理论数学化数据特征关系以描述业务需求和模式的一种方法体系。

回到题主的问题上,我们要如何学习并掌握这个方法体系呢?

首先是丰富的理论知识储备

必须掌握和了解:计算机基础;数据分析软件;机器学习算法基础/进阶; 统计分析基本方法;计量模型体系以及数据库基础。

建模数据的抽取,清洗和加工以及建模算法的训练和优化会涉及大量的计算机语言和技术。比如:数据查询语言SQL;数据环境Hadoop和Spark;数据操作系统Linux; 数据分析软件R、Python、SAS、Matlab等。

特征工程涉及到统计/数学/信息论/计量等学科的基本概念。比如:变量的均值;分位数;峰度;谱;信息熵;cosi;衰退速率以及马氏距离等。

建模阶段涉及多种量化模型,比如:统计模型;计量模型;机器学习模型;复杂网络等。比较常见的模型有:回归分析模型;随机森林;时间序列;神经网络;SVM等。

想要在实际的项目中自如的运用这些模型算法,不仅仅需要了解基本的数学原理,还需要深入掌握对应的计算机语言实现。至少要会在主流的分析软件中调用算法包,更高阶的要求是能自己实现算法的编写和精进。只有这样才能相对正确地设计并依据实际数据结构优化算法,得到各方面表现都相对优异的模型。

其次是积累实战技能

实战是将理论和现实结合重要一环,对于那些无法在实际工作中积累大数据建模经验的同学来说,参加各平台的数据建模竞赛也许是个不错的选择。

已被谷歌收入旗下的美国著名大数据建模竞赛平台Kaggle、Analytics Vidhya平台上的Hackatons、国内天池大数据竞赛、DataCastle等都是比较不错的竞赛平台。

最后来说一说那些恐怕书本上较少能够直接获取,需要大量实践以及项目经验中获取知识。

比如特征工程中缺失值处理、特征构建、变换等等,取决于模型方法、数据、业务目标等。除了基于之前提到过的量化指标构造的特征,最后对模型表现贡献最多的特征往往是那些构造逻辑和业务逻辑挂钩非常紧密的特征。

这里举两个例子来说明。

例1:异常的交易风险,通常表明客户存在违约或者欺诈的风险,那么如何去构造特征来描述异常交易风险呢?

可以是统计指标方差、变异度、数学指标马氏距离;

也可以是业务逻辑“过去3天的交易金额相较于历史水平涨幅大于100%”。

后者显然不专属于任何一门学科,它来自于对业务的理解和消化。

例2:在构建线性模型时通常会对变量间的非线性关系做线性数学变换(Log),而在实际的操作中,需不需要做变换以及如何变换是与具体的模型形式挂钩的。

神经网络,随机森林等模型,是不需要做线性变换的,反而会倾向于对特征做离散化处理。

模型训练调整参数,需要在心中有一杆bias variance的秤,揣着一把奥卡姆剃刀,方能建一手好模。

同样,模型算法的选择需要考虑的不仅仅是模型表现,还需要考虑成本

因为建模是一方面,模型能够实施生产是另一方面。结构复杂和特征量大的模型往往意味着背后需要大量的计算资源,人力资源和时间资源支持。模型的现有表现和未来可能的衰减速度值不值得耗费大量人力物力去生产部署,部署后模型带来的效益是否能在长期内冲销成本也是建模人员需要去考虑的事情。

最最重要的是,需要意识到大数据建模只是解决问题的一种方法,与其他任何一种解决问题的途径手段在本质上并无不同。

建模前对业务目标的了解,对建模必要性的分析,对模型目标变量的刻画以及对建模样本的选取等问题反而比建模本身更值得引人关注。

以前端风控业务中的反欺诈识别为例,如何精确地定义欺诈行为是建模前需要解决的第一要事。如果对欺诈的定义有偏差,即使后续的算法表现优良,模型也无法最大程度地服务需求,基于不准确的定义识别出的“欺诈行为”不再符合对业务的定义,整个建模工作在某种程度上也失去了本来的意义。

就像是本来要找脸上有斑的人,由于错误的认为“斑”就是“痣”,最后找了脸上有痣的人,虽然脸上都有东西,但却再也不是对的人。

对于专业的modeler来说,真正花费在建模上时间恐怕不会超过他们日常工作的40%。

毕竟建模技术的实现容易,而让模型最大程度地的满足业务需求,发挥商业价值则需要花费非常多的心血。

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用

上一篇: 财务报表分析的主要意义体现在哪里...

下一篇: 数据分析的三大框架:底层技术、分析建模、工具选择...

  • 相关主题
  • 相关大数据问答
  • 相关大数据知识
数据共享交换管理 国家交通大数据中心 数据库和数据仓库 标准化 现代农业产业园大数据平台建设项目 企查查数据分析 大数据分析开发 什么数据分析软件好 数据标准化自然语言处理发展现状 ETL架构 数字化装置 指标调控管理信息系统 高中大数据分析 各项指标完成情况分析 企业税务查询系统

1 在建设新型能力时,如何对其进一步分解,形成可执行的任务?

2 大数据工具有哪些?

3 大数据分析展示平台

4 商业智能与决策支持

5 数据安全分级分类以什么颗粒度为宜?记录级还是字段级?

1 如何确保BI数据可视化的准确性和可靠性?

2 数据仓库、数据湖、数据中台的概念的区别

3 数据治理软件有哪些作用?企业要注意什么?

4 BI数据看板价值符合预期吗?来看看你就知道了

5 数据治理的作用

ABI一站式数据分析平台
产品功能
数据填报

对分析表中的数据进行补录或修改

数据处理

在可视化建模的同时同步完成ETL流程设计

大屏可视化

可任意制作酷炫灵动的图标和大屏

自助式分析

只需简单拖拽维度和指标即可生成相应的分析图表

预测挖掘

让繁琐复杂的数据挖掘过程变得简单易用

ABI一站式数据分析平台
相关产品
i@Report

数据采集汇总平台

EsDataFactory

数据工厂系统

EsPowerIndex

指标管理平台

亿信报表

专业高效的企业级报表工具

豌豆BI

自助式数据分析平台

酷屏

大屏可视化平台

智问

智能数据问答平台

豌豆DM

可视化数据挖掘平台

推荐文章
一劳永逸的日报月报制作方法,还不快来get
一劳永逸的日报月报制作方法,还不快来get

2023-05-17

亿信华辰全力打造金融统一监管报送平台,你值得拥有
亿信华辰全力打造金融统一监管报送平台,你值得拥有

2023-04-04

企业部署BI软件的意义及方法
企业部署BI软件的意义及方法

2023-03-07

怎么在不同部门之间统一数据指标?
怎么在不同部门之间统一数据指标?

2023-01-14

企业的指标怎么管理,这份指南讲明白了
企业的指标怎么管理,这份指南讲明白了

2022-10-17

最近文章

开启智能化决策新纪元:BI@GPT数字助理引领数据分析革命

BI@GPT: 引领BI领域革新,智能数字助理助力高效决策

数据资产融资带来银企新机遇

如何为数据资产定价?

推动数据资产入表落地,生态体系构建是关键

customer

在线咨询

PHP网站源码兰州模板制作多少钱果洛模板推广公司张家口网页设计公司凉山营销型网站建设多少钱营口百度爱采购推荐湛江关键词按天扣费推荐舟山关键词排名报价朝阳关键词按天计费公司铜仁SEO按天收费多少钱南联设计网站多少钱襄樊优秀网站设计推荐池州网站制作设计多少钱百色百度爱采购多少钱毕节seo哪家好南山网站定制报价新乡企业网站改版公司安康外贸网站设计报价荆门网站建设推荐南充网络营销报价德宏优秀网站设计多少钱襄阳网站定制多少钱衡阳SEO按天收费价格醴陵网站优化软件公司普洱网站优化天津至尊标王公司安顺关键词排名包年推广价格果洛网站改版哪家好安顺百度标王公司迪庆网站搜索优化多少钱泰州如何制作网站价格歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

PHP网站源码 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化