LinkedIn知识图谱的构建与实践
技术文章 / 2017-09-24

你一定用过LinkedIn工作推荐和搜索排名,但你知道背后的知识图谱是如何构建并起到作用的吗 我们在LinkedIn公司内部广泛应用了机器学习技术来优化我们的产品:比如搜索结果排名、广告、新闻种子的更新,以及推荐人、工作机会、文章和学习机会等。这套技术栈的一个重要部分就是知识图谱,它为机器学习模型提供输入信号,也为LinkedIn产品提供了理解数据的通道。这篇文章里会介绍构建这套知识图谱的概况。 …

分布式MySQL集群方案,看看京东是怎么做的
技术文章 / 2017-09-24

背景 数据库作为一个非常基础的系统,任何一家互联网公司都会使用,数据库产品也很多,有Oracle、SQL Server 、MySQL、PostgeSQL、MariaDB等,像SQLServer/Oracle 这类数据库在初期可以帮业务搞定很多棘手的事情,我们可以花更多的精力在业务本身的发展上,但众所周知也得交不少钱。 涉及到钱的事情在公司发展壮大以后总是会回来重新审视这个事情的,在京东早期发展的过…

企业级大数据知识图谱产品构建与应用
技术文章 / 2017-09-24

原创 2016-08-21 黄桦 AI前线 在企业级大数据领域,明略数据在过去几年服务客户的过程中,创造性地引入大数据+知识图谱的思路,开发了一款名为SCOPA的大数据知识图谱产品,并且在公安、金融等多个领域取得了良好的实践效果。本分享将系统地介绍SCOPA产品的设计理念、总体功能以及核心技术优势,并阐述SCOPA产品如何应对客户的具体应用场景以及围绕SCOPA如何打造先进的大数据整体解决方案。 …

10亿级流数据交互查询,为什么抛弃MySQL选择VoltDB?
技术文章 / 2017-09-24

大数据时代,随着数据量的爆炸式增长,对于数据的处理速度要求也越来越高,以往基于MySQL的数据处理方案已无法满足大吞吐、低延迟的写入和高速查询的场景;百分点总结出了一套完整的解决方案,本文就带你一同了解VoltDB在流数据交互查询的应用实践。 流式数据交互查询场景 在百分点,每天有10亿条记录产生,针对这些大量实时产生的数据,不仅要做到实时写入,类似推荐调优、数据验证等查询要在秒级响应。有简单的单…

大量D3示例
技术文章 , 数据展现 / 2017-09-24

D3.js 是一个基于数据操作文档JavaScript库。通过使用HTML、SVG和CSS,可以帮助你给数据带来活力。D3重视Web标准为你提供现代浏览器的全部功能,而不是给你一个专有的框架。结合强大的可视化组件和数据驱动方式Dom操作。以下收集了1800+的 D3.js 示例。 113th U.S. Congressional Districts 20 years of the english …

大数据分析引擎Apache Flink: What, How, Why, Who, Where?
技术文章 / 2017-09-24

Apache顶级项目 Apache Flink是一个高效、分布式、基于Java实现的通用大数据分析引擎,它具有分布式 MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案,它支持批量和基于流的数据分析,且提供了基于Java和Scala的API。 从Flink官网得知,其具有如下主要特征: 1. 快速 Flink利用基于内存的数据流并将迭代处理算法深度集成到了系统的运行时中,…

kylin与superset集成实现数据可视化
技术文章 / 2017-09-22

转自:36大数据  Apache kylin是一个开源分布式引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。而superset是airbnb开源的一款数据可视化工具。 kylin在超大数据规模下仍然可以提供秒级甚至毫秒级sql响应的OLAP多维分析查询服务。而且对服务器内存的要求也不像spark sql那么高,经过多方面的优化,数据膨胀率甚至可以控制在100…

Apache Druid在Ubuntu 16.04下的安装和配置
技术文章 / 2017-09-22

Apache Druid在Ubuntu 16.04下的安装和配置   环境要求: Java 8 或以上 Linux,Mac OS X,或其他Unix类系统(Windows不支持) 8G 内存 2个vCPU   下载和安装Druid 在终端窗口执行下列命令:   下载druid安装包,(这里下载的是0.10.1版本): curl -O http://static.dru…

Debian / Ubuntu 环境下安装 Mariadb 10.0
技术文章 / 2017-09-20

Debian / Ubuntu 环境下安装 Mariadb 10.0 MariaDB 10.1 版是以 MariaDB 5.5 为基础, 加上移植自 MySQL 5.6 版的功能和自行开发的新功能。以下会介绍在 Debian 及 Ubuntu 用 apt-get 安装 MariaDB 10.0 的方法。 先安装需要的套件以及加入 MariaDB 的 apt-get key, 再建立 MariaDB…

开源大数据分析平台superset安装与配置
技术文章 / 2017-09-20

Superset最初由Airbnb开发,现已成为Apache旗下的开源项目,源码托管在github之上,由python编写。 目前可以支持Linux和OSX,好像还不支持windows。 首先是安装部署,其实官方文档写得很清楚了(http://superset.apache.org/installation.html#getting-started),这里把个人心得写出来,方便英文不好的朋友参考,…