行业资讯
大数据应用价值发现的三大方法
关于大数据的讨论，一方面人们需要厘清大数据的概念，开发适用的大数据系统和工具，探索大数据的应用模式等，另一方面人们更关心如何将大数据的价值变现。这对于一个企业来说尤其重要，否则，收集和存储了大量的数据，消耗了大量的钱财，如果大数据不能被很好地利用，从经济上讲就是不合算的，这样的事情也不会长远。 大数据价值的发现与其所处的应用场景密切相关。概括起来，大数据价值发现可以划分为三大类：数据服务、数据分…
从算法原理，看推荐策略
推荐算法简介 目前的推荐算法一般分为四大类： 协同过滤推荐算法 基于内容的推荐算法 混合推荐算法 流行度推荐算法 协同过滤的推荐算法 协同过滤推荐算法应该算是一种用的最多的推荐算法，它是通过用户的历史数据来构建“用户相似矩阵”和“产品相似矩阵”来对用户进行相关item的推荐，以达到精准满足用户喜好的目的。比如亚马逊等电商网站上的“买过XXX的人也买了XXX”就是一种协同过滤算法的应用。 基于内容…
大数据时代下，区块链支付或将颠覆传统支付？
支付是金融交易中必不可少的一个环节。在信息技术和金融业务不断融合的大趋势下，网络支付体系和网络支付的方法发生了深刻的变化，网络支付的理论和实践正在向泛中心化的网络支付聚焦，基于区块链技术的支付成为当前研究的热点和重点。 传统支付与区块链支付 在传统支付模式下，资金的转移支付都是通过银行进行清算完成的。在银行间资金转移的过程中，如果发送银行和接收银行之间互相没有开立银行账户，他们将不得不依赖一个中…
巧用MapReduce+HDFS，海量数据去重的五大策略
随着存储数据信息量的飞速增长，越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。 重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展性有所帮助。 举个简单的例子：在专门为电信运营商定制的呼叫详单去重应用程序…
漏洞预警：Hadoop 未授权访问可导致数据泄露
近日，国外媒体报道全球hadoop服务器因配置不安全导致海量数据泄露，涉及使用Hadoop分布式文件系统(HDFS)的近4500台服务器，数据量高达5120 TB (5.12 PB)，经分析，这批数据泄露的近4500台HDFS服务器中以美国和中国为主。 事件原因： 互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响，攻击者针对HDFS的攻击删除了大多数目录，并会添加一个名为“NOD…
Hadoop不需认证导致数据泄漏
最近，有报导指全球hadoop 服务器因配置不安全导致大量数据泄漏，涉及使用 Hadoop 分布式文件系统(HDFS)的近 4500 台服务器，数据量高达 5120 TB (5.12 PB)，经分析，这批数据泄漏的近 4500 台 HDFS 服务器中以美国和中国为主。 Hadoop不需认证导致数据泄漏 互联网上暴露的 Hadoop 服务器如果没有配置认证均可能受影响，攻击者针对 HDFS 的攻击…
漫谈大数据环境下互联网行业数据仓库/数据平台的架构
一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途： 上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性;但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的 ，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用…
畅谈“智慧城市”中的视频大数据技术
现代社会的信息量正以飞快的速度增长，这些信息里又积累着大量的数据。预计到2025年，每年产生的数据信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理，以获取更多有价值的信息。在未来的“智慧城市”中，会有越来越大的结构化以及非结构化的数据。那么我们如何高效地存储和管理这些数据，如何分析这些数据呢?答案是：我们需要强有力的大数据处理系统进行支撑。 作为目前最火…
一个数据分析报告的框架，要分析数据，你先得有一个故事
一个项目到了汇总的时候，免不了形成一份相对完整的数据分析报告。报告也需要多种情况。按照应用场合可以划分多种类型：有的需要向上邮件汇报，有的需要给项目组里一个交代，有的是需要直接进行展示汇报等。按照项目类型也可以划分多种类型：新项目上线效果评估，AB test结果，日常数据汇总，活动数据分析等。文本也好，PPT也罢，数据分析报告核心的思路都是相通的。 1. 你要一个故事 我自己有个想法，就是产品经…
从数据分析的角度看用户忠诚度
一、什么是用户忠诚度 用户忠诚度指的是用户出于对企业或品牌的偏好而经常性重复购买的程度。对于网站来说，用户忠诚度则是用户出于对网站的功能或偏好而经常访问该网站的行为。根据客户忠诚理论，忠诚度可以由以下4个指标来度量： 1、重复购买意向(Repurchase Intention)：购买以前购买过的类型产品的意愿; 2、交叉购买意向(Cross-buying Intention)：购买以前为购买的产…