行业资讯
Ribbon的饥饿加载(eager-load)模式
我们在使用Spring Cloud的Ribbon或Feign来实现服务调用的时候，如果我们的机器或网络环境等原因不是很好的话，有时候会发现这样一个问题：我们服务消费方调用服务提供方接口的时候，第一次请求经常会超时，而之后的调用就没有问题了。下面我们就来说说造成这个问题的原因，以及如何解决的方法。 问题原因 造成第一次服务调用出现失败的原因主要是Ribbon进行客户端负载均衡的Client并不是在…
数据集市的挑战是识别和处理数据安全
你怎么知道哪些数据需要保护?有的人把所有数据都封锁起来，这限制了需要数据的用户获取数据，大幅降低数据的价值。有的人可能会定义他们“认为”敏感的属性，这会使本应被保护的未知属性处于未被保护的险境。 有一些提供商在做PII探测，而且做得很好，堪为表率。你要找的提供商应该是已经开发出了作为数据打通(data on-boarding)一部分的流程和技术，在字段层面上及早发现可能敏感的模式。 大数据治理不…
关于大数据、AI，TalkingData有话要说
正如奇点大学执行总裁Kian Gohar所言，信息正在呈指数级爆发，其中计算能力、人工智能、传感器、机器人、交互模式、大众化应用的聚合技术等，除了为世界范围内数据的增长带来指数级飞跃外，并深刻改变着每个行业。 在此大背景下，TalkingData 首席执行官崔晓波也应时强调TalkingData未来的愿景是通过数据改变企业决策、改善人类生活，同时注重AI等技术创新和实践，致力于用数据驱动商业。…
关于Hadoop你需要知道的一些事项
除非你过去几年一直隐居，远离这个计算机的世界，否则你不可能没有听过Hadoop。全名Apache Hadoop,是一个在通用低成本的硬件上处理存储和大规模并行计算的一个开源框架。从2011年他的面世，他已经成为大数据领域最出名的平台。 如何工作的? Hadoop是从Google文件系统发源而来,并且他是一个用Java开发的跨平台的应用.核心组件有: Hadoop Common,拥有其他模块所依赖…
浅谈大数据和人工智能
自去年AlphaGo战胜李世石以来，AI的热度一致居高不下，将近期了解知识简单梳理，供大家学习和讨论。 什么是大数据?大数据时代，数据不再仅仅指数字或数字构成的，数据的范畴要大的多。包括：互联网上的任何内容，比如文字、图片以及视频;书籍中的文字内容;医院里包括医学影像在内的所有医学档案资料;公司里的设计图纸、设计文档等;科学研究中的各种观测数据以及历史研究成果;甚至我们人类活动本身，也可被看成一…
4种提高多维数据分析的方法
联机分析处理(OLAP)需要有即时的响应，因此其性能是至关重要的。虽然其结构较为简单，但是在处理各种大的数据立方体(data cubes)时，会涉及到大量的计算。常被称为OLAP(联机分析处理)的多维分析是一种交互式的数据分析过程，它包括：对于数据立方体(data cube)进行旋转(rotation)、切片与切块(slice and dice)、钻取(drill-down)等执行操作。其后端的…
实现数据科学研究结果可复制的十条规则
近年来，有越来越多的迹象表明，科研结果的可复现性出现了危机。对心理学和癌症生物学论文的检查发现，分别只有40%和10%的结果是可复现的。《自然》杂志在2016年对科研人员的调查结果显示：52%的科研人员认为存在严重的可复现性危机；70%的科学家试图复现另一位科学家的试验，但以失败告终；2013年，一群科研人员在一篇论文中，讲述了可复现性计算研究的十条规则。如果遵循这些规则，应该会产生更具可复现性…
大数据分析的“数据来源”
当我们谈到大数据分析，首先需要确定数据分析的方向和拟解决的问题，然后才能确定需要的数据和分析范围。大数据驱动的分析主要的挑战不是技术问题，而是方向和组织领导的问题，要确定方向，提出问题，需要对行业做深入的了解。当然，大数据分析最核心的，关于数据的来源更是至关重要的。 在数据量非常大的今天，如何以更高的效率获取到分析所需要的数据，如何利用这些数据反应最真实的情况，是业内不断探讨的议题。接下来，小编…
大数据与AI的融合对于人类来说究竟是促进发展，还是加速灭亡？
AI和大数据都是目前最热门的技术，如果这两者结合在一起，会发生什么呢?研究人员正在寻找通过与AI结合将大数据提升到更高水平的方法。大数据与AI的强强联合将会互相促进，促进行业更广泛、更深层的转变。 大数据和AI的收敛期望如何? 人工智能在大数据上的应用可以说是当今最重要的突破。它重新定义了企业在数据帮助下创造价值的方式。大数据的可用性也促进了机器学习取得很大突破，这在以前是不可能的。通过访问大量…
数据模型——数据仓库的灵魂
随着数据量的爆炸式增长，数据仓库或数据平台已经是每家企业或机构不可缺少的工具，而数据模型正是数据仓库的灵魂。 越来越多的业务，越来越多的信息化系统，让很多公司拥有了海量数据，但是分散的数据、隔离的系统，又形成了一个个数据孤岛。于是，为了利用好数据，各大公司纷纷建设了数据仓库，或者是最近升级为大数据平台之类的，但是，不同条线不同场景的数据又要如何整合到同一个仓库呢? 数据模型就此应运而生，通过高度…