GPU高速查询统计和典型场景:从“小时”到“毫秒”级的进化
技术文章 / 2017-09-24

本文是12月8日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号,点击“加群学习”,更多大牛一手技术分享等着你。 讲师介绍 杨旸:上海雅捷信息技术股份有限公司 产品总监。美国宾州州立大学电子工程硕士, 曾就职于易鲸捷、Cisco Systems,Eastman Kodak等;2000年开始从事分布式多媒体通信系统研发,历经电信运营商级的互联网电话、安全监控/电子病历/慢病管理大数据、OLTP-O...

一文掌握云数据库现状与前沿技术
技术文章 / 2017-09-24

「一切都会运行在云端」。现在越来越多的业务从自己维护基础设施转移到公有(或者私有)云上, 带来的好处也是无需赘述的,极大降低了 IaaS 层的运维成本,对于数据库层面来说的,以往需要很强的 DBA 背景才能搞定弹性扩容高可用什么的高级动作,现在大多数云服务基本都或多或少提供了类似的服务。 今天的分享主要集中在比较顶尖的云服务商的云数据库方案背后的架构,以及我最近观察到的一些对于云数据库有意义的工业...

怎样打造一个分布式数据库 | 数据库功能深度解析
技术文章 / 2017-09-24

在技术方面,我自己热衷于 Open Source,写了很多 Open Source 的东西,擅长的是 Infrastructure 领域。Infrastructure 领域现在范围很广,比如说很典型的分布式 Scheduler、Mesos、Kubernetes,另外它和 Microservices 所结合的东西也特别多。 Infrastructure 领域还有比如 Database 有分 AP(分...

MongoDB在58同城百亿量级数据下的应用实践
技术文章 / 2017-09-24

本文转载自极客邦培训(微信号: gittraining)。 58同城作为中国最大的生活服务平台,涵盖了房产、招聘、二手、二手车、黄页等核心业务。58同城发展之初,大规模使用关系型数据库(SQL Server、MySQL等),随着业务扩展速度增加,数据量和并发量演变的越来越有挑战,此阶段58的数据存储架构也需要相应的调整以更好的满足业务快速发展的需求。 MongoDB经过几个版本的迭代,到2.0.0...

优酷土豆的Redis服务平台化之路
技术文章 / 2017-09-24

1 Redis架构的方案经历阶段 1.1. 客户端分片 客户端分片: 优点 不依赖于第三方中间件,实现方法和代码自己掌控,可随时调整 这种分片机制的性能比代理式更好(少了一个中间分发环节) 可控的分发请求,分发压力落在客户端,无服务器压力增加 缺点 不能平滑的水平扩展节点,扩容/缩容时,必须手动调整分片程序 出现故障,不能自动转移,运维性很差 客户端得自己维护一套路由算法 升级复杂 1.2. Tw...

LinkedIn知识图谱的构建与实践
技术文章 / 2017-09-24

你一定用过LinkedIn工作推荐和搜索排名,但你知道背后的知识图谱是如何构建并起到作用的吗 我们在LinkedIn公司内部广泛应用了机器学习技术来优化我们的产品:比如搜索结果排名、广告、新闻种子的更新,以及推荐人、工作机会、文章和学习机会等。这套技术栈的一个重要部分就是知识图谱,它为机器学习模型提供输入信号,也为LinkedIn产品提供了理解数据的通道。这篇文章里会介绍构建这套知识图谱的概况。 ...

分布式MySQL集群方案,看看京东是怎么做的
技术文章 / 2017-09-24

背景 数据库作为一个非常基础的系统,任何一家互联网公司都会使用,数据库产品也很多,有Oracle、SQL Server 、MySQL、PostgeSQL、MariaDB等,像SQLServer/Oracle 这类数据库在初期可以帮业务搞定很多棘手的事情,我们可以花更多的精力在业务本身的发展上,但众所周知也得交不少钱。 涉及到钱的事情在公司发展壮大以后总是会回来重新审视这个事情的,在京东早期发展的过...

企业级大数据知识图谱产品构建与应用
技术文章 / 2017-09-24

原创 2016-08-21 黄桦 AI前线 在企业级大数据领域,明略数据在过去几年服务客户的过程中,创造性地引入大数据+知识图谱的思路,开发了一款名为SCOPA的大数据知识图谱产品,并且在公安、金融等多个领域取得了良好的实践效果。本分享将系统地介绍SCOPA产品的设计理念、总体功能以及核心技术优势,并阐述SCOPA产品如何应对客户的具体应用场景以及围绕SCOPA如何打造先进的大数据整体解决方案。 ...

10亿级流数据交互查询,为什么抛弃MySQL选择VoltDB?
技术文章 / 2017-09-24

大数据时代,随着数据量的爆炸式增长,对于数据的处理速度要求也越来越高,以往基于MySQL的数据处理方案已无法满足大吞吐、低延迟的写入和高速查询的场景;百分点总结出了一套完整的解决方案,本文就带你一同了解VoltDB在流数据交互查询的应用实践。 流式数据交互查询场景 在百分点,每天有10亿条记录产生,针对这些大量实时产生的数据,不仅要做到实时写入,类似推荐调优、数据验证等查询要在秒级响应。有简单的单...

大量D3示例
技术文章 , 数据展现 / 2017-09-24

D3.js 是一个基于数据操作文档JavaScript库。通过使用HTML、SVG和CSS,可以帮助你给数据带来活力。D3重视Web标准为你提供现代浏览器的全部功能,而不是给你一个专有的框架。结合强大的可视化组件和数据驱动方式Dom操作。以下收集了1800+的 D3.js 示例。 113th U.S. Congressional Districts 20 years of the english ...