行业资讯
大数据分析的四个关键环节
什么是大数据? 随着大数据时代的到来，AI 概念的火热，人们的认知有所提高。为什么说大数据有价值?这是不是只是一个虚的概念?大家怎么考虑数据驱动问题?为什么掌握更多的数据就会更有效?这些问题很难回答，但是，大数据绝不是大而空洞的。信息论之父香农曾表示，信息是用来消除不信任的东西，比如预测明天会不会下雨，如果知道了今天的天气、风速、云层、气压等信息，有助于得出更准确的结论。所以大数据是用来消除不确…
使用数据进行决策时要避免3个陷阱
如今，数据不仅仅是营销领域的一个流行语。为了实现业务运作良好，企业需要关注如何改进，有效收集和分析数据。如果获得数据并使用它却没有促进改变，那么收集数据就没什么意义了。然而，在解释和使用数据来做出决策时也存在一些问题。它不像看起来那么简单，而且有一些陷阱需要避免。 (1) 锚定和调整 锚定和调整是指放弃锚点或大量投资于某一信息的想法，然后调整锚点。通常，锚点作为一个良好的起点，但数据可能表明应该…
数据挖掘知识点整理
1. 数据、信息和知识是广义数据表现的不同形式。 2. 主要知识模式类型有： 广义知识，关联知识，类知识，预测型知识，特异型知识 3. web挖掘研究的主要流派有： Web结构挖掘、Web使用挖掘、Web内容挖掘 4. 一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、数据挖掘以及模式评估等基本阶段。 5. 数据库中的知识发现处理过程模型有：阶梯处理过程模型，螺旋处…
导致大数据项目失败的4大痛点及应对策略
大数据项目通常不会因为单一的原因而失败，而且肯定不会仅仅出于技术原因。这些因素的组合有助于破坏大数据部署。业务战略、人员、企业文化、分析方法或分析工具的细微差别等因素，都可能导致大数据项目出现问题和失败，而这样的失败在数字化转型的过程中在所难免。 常见的痛点 一个成功并且可以获得收益的大数据项目通常包括以下一些特点： 一、预测基础设施需求 指数型增长的数据会对业务基础架构带来挑战，企业需要提前预…
如何让隐藏在大数据背后的价值发挥出来？
对于普通人来说，大数据离我们的生活很远，但它的威力已无所不在：信用卡公司追踪客户信息，能迅速发现资金异动，并向持卡人发出警示;能源公司利用气象数据分析，可以轻松选定安装风轮机的理想地点；瑞典首都斯德哥尔摩使用运算程序管理交通，令市区拥堵时间缩短一半……这些都与大数据有着千丝万缕的关系。 牛津大学教授维克托·迈尔-舍恩伯格在其新书《大数据时代》中说，这是一场“革命”，将对各行各业带来深刻影响，甚至…
掌握这五大技能，你也可以去应聘数据分析师
数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。几年前, 数据分析还是一个比较鲜见的职业。而今天，无论各行各业，它无处不在的闪烁着耀人的光芒。那么做数据分析需要掌握哪些技能呢? SQL和数据仓库是最需要的数据分析技术中的两项。 数据和统计数据似乎现在是很热门的行业。有数百种编程语言，工具和实践方法可以练习。 但是哪种技能在就业市场中需求最…
HBase原理——要弄懂的sequenceId
为什么需要sequenceId? HBase数据在写入的时候首先追加写入HLog，再写入Memstore，也就是说一份数据会以两种不同的形式存在于两个地方。那两个地方的同一份数据需不需要一种机制将两者关联起来?有的朋友要问为什么需要关联这两者，那笔者这里提出三个相关问题： 1. Memstore中的数据flush到HDFS文件中后HLog对应的数据是不是就可以被删除了?不然HLog会无限增长!那…
大数据时代必须破解的重大现实课题
当今，社会信息化和网络化的发展导致数据爆炸式增长，全球数据量大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。大数据时代已经到来，大数据渗透到各个行业领域，逐渐成为一种生产要素发挥着重要作用，成为未来竞争的制高点。然而，大数据掀起新一轮生产率提高和生活方式改变的同时，随之而来的是安全挑战，这是我们必须破解的重大现实课题。 大数据隐患 面临三大风险问题 数据生命周期安…
下一代数据分析：将如何改善企业与客户的互动？
2000年，彼得·莱曼(Peter Lyman)和哈尔·瓦里安(HalR. Varian)开展了一项史无前例的研究。用计算机存储术语来说，他们的目标是弄清楚全球每年产生多少原始数据。他们发现，在1999年，全球产生了大约1.5EB(相当于15亿GB)的非重复原始数据。 18年后的今天，我们正身处于数据爆炸的时代。现在，仅仅一天产生的数据量就可以轻松超过那个数字。据IBM表示，现在每天产生的数据量…
依据大数据分析实施“同产品不同价”策略真的好吗？
一个用着苹果Mac的用户在网上订酒店的时候，可能会被引导到价格更高的酒店?也许你会说，这怎么可能?但是，一些公司已经开始实施“同产品不同价”的订购策略，这已经成为现实。 你有没有想过，同样一件商品，一位在纽约的消费者看到的价格比在俄亥俄州的某位消费者看到的价格要高?同样的服务，一位在北京的医生要比在某个二三线城市的出租车司机支付更高的费用?一个用着苹果Mac的用户在网上订酒店的时候，可能会被引导…