400-050-6600
当前位置:首页 - Q&A问答

Q&AQ&A问答

快速高效地分析大型复杂数据集的秘诀是什么?

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2021-05-07

您如何分析这个美丽的烂摊子?
深入研究,开始进行关联,绘图和建立多层次模型,然后意识到您可能必须控制一些变量并获得结果,但随后它与协变量B和C消失了,但是当您同时添加A时就消失了,然后您发现了一些看似健壮的东西,但是到目前为止,您已经进行了15项测试,因此也许是一个错误的肯定,因此您了解了交叉验证以及我什至在这里做了什么,什么时候成为星期五?但是严重的是,有时我们拥有的数据量超过了我们所知道的处理方式,承认还有更严重的问题,整天都在挖掘大型数据集,通常会尝试验证在新数据集上找到的任何结果,您也应该这样做!,这确实会占用您的时间,当您的目标是“逐渐了解内部和外部的数据”时,您也可能会陷入困境,我们经常听到统计学家的建议,我们应该做更多的探索性数据分析,绘制数据图等,这很有价值,但是不必了解欧洲社会调查的每个角落。看到一个模型如何受到与因变量几乎没有关系的10个不同的协变量的影响通常是没有效果的,您必须在某处画线并说“足够”!

我非常赞成可以解放我们选择的限制的想法
如果这听起来很矛盾将对此进行解释,在数据方面更多的选择并不总是更好。

解决方案 

1.以问题为导向
在查看数据之前,请确定您的主要问题 是什么 ,这些是您将要回答的问题,之后您将停止回答后可以发布哪些问题?不要太愤世嫉俗,但是在学术界,通常不是合在一起的有趣观察的集合,他们专注您也应该如此,以令人满意的方式(即通过检查结果的健壮性,排除其他解释)来回答一个纸上大小的问题所需的所有分析, 然后停止数据中的所有其他问题都不重要或不太重要,您以后随时可以再找他们。

2.与同事或实验室成员讨论数据
通过数据和分析与他们交谈,将使您头脑清醒,通过向他人解释某种事物来加深对某种事物的了解的想法通常称为 费曼技术,我是一个忠实的拥护者,他们也许能够建议数据中哪些是有趣的,哪些不是有趣的,请记住,您正在尝试产生对您的领域有价值的知识,因此有必要询问该领域的一些成员是否认为您的分析有价值。

3.详细记录您的尝试
大量的t检验和回归模型四处奔波,您可能最终会忘记之前运行了一些分析并最终再次运行它!此外,有时模型不能孤立地提供见解,而可以与其他模型结合使用,例如您运行模型A,预测变量A1会显示您不了解的效果,因此您会看到是否与其他一些东西相关,这也许可以解释它,您将建立模型B和尤里卡现在记录您的工作,解释每个测试,然后再进行下一个测试,不要只是在不考虑测试含义的情况下随意进行测试,进行测试以解决问题,是发现误报的好方法,如果您记笔记并解释运行过程中发生的事情,那么每个测试都会真正地教会您有关数据的一些知识。

4.设定分析的时间限制
设定一定的时间来进行分析,截止日期,甚至是自我强加的截止日期,对于澄清头脑也非常有用,在此时间之后未完成的所有数据工作将不得不等待另一天,如果您错过了一些重要的事情,这没什么大不了的,因为最终论文上的主管/同事/审阅者会找到它们,您甚至可以返回数据集,然后在有更多时间后再花几天时间,这还具有返回刷新的数据的优点,给自己一个时间限制。不要只是在数据上闲逛。

5.预注册

约束您将以正式方式进行的分析。在查看数据之前,写下要进行的分析, 预测是一个很好的工具,可以帮助您实现这一目标,由于许多其他原因,预注册非常出色,阅读它,或向您的开放科学方法警察询问更多信息。


最新开班信息

【武汉28期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2681


【北京108期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2645


【上海60期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2706


CPDA企业内训

https://www.cpda.cn/trainning/

 

大数据人才培养优秀合作机构 受邀参会 交流经验

https://www.chinacpda.com/data/detail/?id=2729


CPDA项目数据分析师为什么要更名?

https://www.chinacpda.com/question/4504.html


数据分析师最新开班信息

https://www.chinacpda.com/openclass/


数据分析师职业前景

https://www.chinacpda.com/career/


数据分析师考试时间

https://www.chinacpda.com/examine/


数据分析师职业资格认证

https://www.chinacpda.com/association/


海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

 

王兴海老师 高级经济师

https://www.chinacpda.com/shizi/9433.html

 

用数据改变人生,百万年薪不是梦,获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

 

大数据专业就业前景及就业方向如何?

https://www.chinacpda.com/wenti/11706.html

 

CPDA数据分析师学习方式和课程体系

https://www.chinacpda.com/xuexiarea/18089.html

 

数据分析师的职业进阶之路

https://www.chinacpda.com/zixun/4048.html

 

首个《中国大数据人才培养体系标准》正式发布!

https://www.chinacpda.com/dongtai/9669.html

 

CPDA数据分析师全国授权中心招募

https://www.chinacpda.com/recruit.php


数据分析免费试听课程

https://www.chinacpda.com/listen/


CPDA数据说给你带来精彩的视频案例讲解

https://www.chinacpda.com/videocenter/

 

数据分析师职业考核

https://www.chinacpda.com/examine/

 

数据分析师职业规划

https://www.chinacpda.com/career/

 

CPDA数据分析师授权中心

https://www.chinacpda.com/train/

 

数据分析相关动态

https://www.chinacpda.com/data/?page=9

 

数据分析师为您解答更多问题

https://www.chinacpda.com/qa/

 

数据分析案例展示

https://www.chinacpda.com/case/

 

查找您周边省份授权培训中心:

https://www.chinacpda.com/train/

 

2021年CPDA数据分析师线上报名:

https://www.chinacpda.com/baoming.php

 

CPDA数据分析明星导师:

https://www.chinacpda.com/startutor/

 

CPDA数据分析师培训优秀学员:

https://www.chinacpda.com/student/

 

全国免费客服热线:400-050-6600

中国商业联合会数据分析专业委员会


Prev article

为什么设置搜索分析就像清洁壁橱?

Next article

什么是神经搜索?

课程服务

认证服务

在线咨询