行业资讯
数据挖掘入门必看10个问题
导读： 要将庞大的数据转换成为有用的信息，必须先有效率地收集信息。 随着科技的进步，功能完善的数据库系统就成了更好的收集数据的工具。 如何做好数据挖掘 1 Data Mining 和统计分析有什么不同? 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计理…
多维分析中的 UV 与 PV
1. 概念 uv与pv 1.1 UV 与 PV 对于互联网产品来说，UV 与 PV 是两个非常常见的指标，并且通常都是分析的最基础指标。UV 一般来讲，是指使用产品（或产品某个功能）的独立用户数。PV 则来源于网站时代，一般指网站（或网站某个页面）的页面浏览量，在移动互联网时代，则一般会引申表示使用产品（或产品某个功能）的用户行为或者用户操作数量。 PV 和 UV 一般而言是互相影响，一起变化的…
浅谈数据挖掘与数据分析？
导读： 浅谈数据分析与数据挖掘?数据分析和数据挖掘都可以做为“玩数据”的方法论，两者有很多的共性，也有显著的差异。 从分析的目的来看，数据分析一般是对历史数据进行统计学上的一些分析，数据挖掘更侧重于机器对未来的预测，一般应用于分类、聚类、推荐、关联规则等。 数据分析(狭义)与数据挖掘的本质都是一样的，都是从数据里面发现关于业务的知识(有价值的信息)，从而帮助业务运营、改进产品以及帮助企业做更好的…
永不过时的K-Means算法
引言： 众所周知，数据挖掘算法并非十全十美，在某些情况下他们也会失效。 使用 K 均值算法（K-Means）时就可能会出现这种情况，当然此时你可以尝试一下另一种方法—— K 中心聚类算法（K-Medoids），也许效果会更好。 K 均值算法用于聚类时效果良好，而且在数据挖掘和机器学习领域，它也有着重要的地位。Psanchezcri 就曾在他的文章《将 K 均值方法用于金融时序回报率聚类》中，将…
想做数据分析师？先弄懂这10种分析思维吧
一、逻辑思维 逻辑思维即明白价值链，明白各项数据中的关系; 该方法的关键在于明白其中的关系要求你对这项工作要了解、熟悉，要细致和慎密，要清楚充分性和必要性的关系。 实际上也就是指：你需要那些数据?如何获得这些数据?数据之间的关系如何? 二、向上思维 在看完数据之后，要站在更高的角度去看这些数据，站在更高的位置上，从更长远的观点来看，从组织、公司的角度来看，从更长的时间段（年、季度、月、 周）来看…
数据分析，如何生成你需要的基础数据？
导读： 想要将数据分析、数据挖掘的作用最大化，数据的完整性总是必不可少的，因此，掌握一些生成基础数据的方法也非常重要。本期文章，我们以医疗场景为例，手把手教你生成基础数据。 我们在从事数据相关的项目过程中，数据梳理、数据整合和数据补全等工作需要占用大量的时间与精力，而进展到数据分析、数据挖掘阶段也对数据的完整性有着苛刻的要求。对于一个统计算法的验证与研究，也同样面临着根据自身业务情景特点，配置数…
如何用Python进行大数据挖掘和分析
导读： 联网创业离不开数据，如果能自己做个数据爬虫，那岂不是一件很美好的事情吗?其实自己做数据挖掘不是梦，学点Python的基本功能，5步就能让你成为一个爬虫高手! 来源：中国大数据
数据产品设计原则和架构实现(2)(下)
Trending Content 这个是Trending Content，平台上有很多人发布相关内容，市场营销产品有类似的服务。当时碰到主要的问题是客户不知道该发什么样的内容，或者该推广什么样的内容在平台上，因为很难知道哪些内容对用户更加重要，长远来看，我们做了这样的产品。给大家举一个例子，这里面我选了一个行业，在过去一个月里面，这些相关的主题是非常受欢迎的，比如Region、Segment等等…
数据产品设计原则和架构实现(3)
Engineering，我们面临的问题 首先我们需要Scalable， 需要很好的数据系统，帮你做很好的优化。 第二步是可视化，最后是Web Application Framework。 经过演化以后的状态 这是我们数据系统的图，这是从下到上的顺序。如果你们从第三方买数据，你需要让它走到你的系统里来。 另外是Kafka，从LinkedIn走出去的，我们当然要大量用Kafka做数据处理，然后放进来…
数据产品设计原则和架构实现(2)(上)
商业模式以及数据的重要性（Data） 这是2B端的一些产品。基于这样的业务模式，数据对我们是很重要的。 首先是有很多的用户和业务增长，伴随着很多用户和业务增长，它们产生了很多数据，现在由于大数据收集比较便宜，无数数据都被收集起来。最重要的是紫色和红色这块，如何通过大量数据的收集和积累，创造更多相关的产品和服务，让更多的用户愿意到你这个平台上面来。这是一个闭环的正向积累。很多公司，尤其创业型公司，…