行业资讯
Spark：超越Hadoop MapReduce
大数据对一些数据科学团队来说是 主要的挑战，因为在要求的可扩展性方面单机没有能力和容量来运行大规模数据处 理。此外，即使专为大数据设计的系统，如 Hadoop，由于一些数据的属性问题也很难有效地处理图数据，我们将在本章的其他部分看到这方面的内容。Apache Spark 与 Hadoop 类似，数据分布式存储在服务器的集群或者是“节点”上。 不同的是，Spark 将数据保存在内存(RAM)中，H…
数据中心资源向AWS迁移的四大挑战
很多企业将他们的数据中心资源向AWS中迁移，而更多的企业正在考虑向AWS中迁移数据中心资源。数据中心资源向AWS迁移能够带来很大的好处，AWS提供了一整套云计算服务，可以比企业自行构建数据中心更快、更经济地提供大型、可扩展的计算能力。AWS涵盖了近100项服务，包括了分析、计算、数据库、网络、存储、移动等等。 企业选择AWS的原因多种多样，可能涵盖了以下一个或多个原因：企业希望消除本地数据中心或…
精细化运营用数据作为决策才是专业之选
企业对于数据的驾驭，从最基本的获取到整合、治理、探索、分析、行动，这种全能力的建立已经比以往任何时候更为重要。毕竟人口红利已经过去，精细化运营，用数据作为决策才是专业之选。 精细化运营用数据作为决策才是专业之选 数据分析的意义 从行业的角度看， 数据分析是基于某种行业目的，有目的地进行收集、整理、加工和分析数据，提炼有价值信息的一个过程。再通过分析手段、方法和技巧对准备好的数据进行探索和分析，从…
广告和推荐系统部署机器学习模型的两种架构
广告和推荐系统是机器学习是最成熟的应用领域。那么广告和推荐系统是怎么在线上部署机器学习模型的呢？ 1.预测函数上线 刚刚学习机器学习时候，我认为广告和推荐系统过程如下图所示： 1）线下部分，从用户和广告（物品）属性抽取用户和物品特征，将抽取的特征合并进日志生成训练数据，训练机器学习模型； 2）线上部分，来了一个请求，从用户和广告（物品）属性抽取请求中的用户和物品的特征，将这些特征合并请求生成预测…
超融合架构：主数据存储使命之外
在主站点上实现的数据存储与工作负载广为人知——而与之对应二级站点则并非如此。也正因此，近年以来二级站点相比主站点，在体系结构方面发展甚缓。按照惯例，数据存储的主站点与应用程序直接读写、交互数据;工作负载的主站点上则负责程序运行，但并不一定用于支持最终用户。一级或二级应用程序(如ERP、CRM、Microsoft Exchange与SQL Server等)往往都被视为主站点上关键应用程序。在二级站…
零售业如何用Hadoop开启大数据之门？
在过去几年，全球零售商一直试图利用大数据创造价值。由于其大数据分析基础架构的限制，许多工作被一再推迟。Hadoop为这些零售商打开了新的大门，它可以解决他们在过去几年在大数据领域面临的许多问题和挑战。 Hadoop：跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的。核心代码主要是用Java编写的，但有一些是用C编写的。然而，它运行在一个称为MapRe…
一个资深数据人对数据挖掘解读
在银行做了两年的数据分析和挖掘工作，较少接触互联网的应用场景，因此，一直都在思考一个问题，“互联网和金融，在数据挖掘上，究竟存在什么样的区别”。在对这个问题的摸索和理解过程中，发现数据挖掘本身包含很多层次。并且模型本身也是存在传统和时髦之分的。本文就想聊聊这些话题。 一、数据挖掘的层次 一直想整理下对数据挖掘不同层次的理解，这也是这两年多的时间里面，和很多金融领域、互联网做数据相关工作的小伙伴，…
Hadoop面试中6个常见的问题及答案
你准备好面试了吗?呀，需要 Hadoop 的知识!!?不要慌!这里有一些可能会问到的问题以及你应该给出的答案。 Hadoop面试中6个常见的问题及答案 Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容：HDFS(Hadoop Distributed File…
什么是判别分析？判别分析的思想是什么？
判别分析是判别样品所属类型的一种分析方法，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。例如，在医学诊断中，一个病人肺部有阴影，医生要判断他患的是肺结核、肺部良性肿瘤还是肺癌。在这里，由肺结核病人、良性肿瘤病人，肺癌病人三类总体构成病人群体，病人属于这个三个总体之一，通过测得病人的指标（阴影的大小、边缘是否光滑，体温是多少...），利用判别分析就可…
自学成才的开发者有何优势和劣势？
热爱编程： 毫无疑问，自学成才的开发者有很多种优势。其中之一，就是他们特别热爱编程和解决问题。很多自学开发者之所以能够在没人帮助的情况下坚持这么长时间，就是出于他们对编程的热爱。 决心强、天赋高： 众所周知，编程学习是一个特别困难的事情，而自学编程的难度则会更高。他们能够坚持下来，除了对编程热爱之外，还说明了他们是非常有决心的人，而且有着较高的天赋。 记忆时间更长： 还发现了一个现象：当你自学一…