用户画像不应脱离社会关系,谈复杂网络的关键技术和应用实践
技术文章 / 2017-09-24

本文是11月17日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号,点击“加群学习”,更多大牛一手技术分享等着你。 大家好,我来自天云大数据公司,我叫马敬涛,主要从事数据科学应用方面的工作。 今天我给大家分享的主题是“复杂网络理论及应用”,希望本次分享的内容能给大家带来一些启发,如果内容中有说的不妥的地方也请大家多多包涵并给予指教,多谢! 复杂网络概念及价值 在开始之前,我先澄清一个概念,那就是...

数据驱动在链家网搜索优化与推荐策略中的实践
技术文章 / 2017-09-24

本文是12月15日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号,点击“加群学习”,更多大牛一手技术分享等着你。 大家好,我叫严言,来自于链家网商业搜索部,现主要负责链家网推荐系统,用户画像,以及线上商机获取等相关工作,很高兴本次能有这样一个机会与大家一起沟通交流,今天的分享主要介绍下数据驱动策略,以及我在链家网工作中的一些实践。 Part I 背景与概念 1.数据的重要性与房产领域特殊性 2...

基于Spark的用户行为路径分析的产品化实践
技术文章 / 2017-09-24

本文是11月24日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号,点击“加群学习”,更多大牛一手技术分享等着你。 1)什么是用户行为路径 用户行为路径分析是互联网行业特有的一类数据分析方法,它主要根据每位用户在App或网站中的点击行为日志,分析用户在App或网站中各个模块的流转规律与特点,挖掘用户的访问或点击模式,进而实现一些特定的业务用途,如App核心模块的到达率提升、特定用户群体的主流路径...

4亿用户的LinkedIn数据产品设计原则和架构实现
技术文章 / 2017-09-24

在苹果WWDC大会之前,微软宣布了一个大新闻:262亿美元收购企业级社交平台LinkedIn,较之最近一次收盘价溢价50%。收购之后,LinkedIn将与微软Azure云平台和Office 办公套件深度整合,还将与微软其余企业级业务协作,并帮助微软实现社交梦想。早在2003年的时候,LinkedIn创始人因为“人际关系管理将在商业社会发挥巨大作用,而互联网能为其提供最好的工具”这个初心走到一起,创...

数据驱动管理竟成滴滴获10亿美元投资的最大黑手?
技术文章 / 2017-09-24

滴滴是成长非常迅速的公司之一,到目前为止可以说是中国做得最好的一个打车软件,现在已经不叫打车软件了,叫滴滴出行。 接下来就由滴滴的项目经理团队高级经理易芹芹给大家来分享,在滴滴内部是如何做好他们的管理的。 我是来自于滴滴工程生产力部的易芹芹,我们部门简称EP,今天我会带着大家去看一下,滴滴在高速发展的背后,我们都遇到了什么样的挑战,我们是怎么解决的? 其实管理方法肯定有很多,但是我今天想跟大家讲的...

深度 | 资深架构师教你一篇文看懂Hadoop
技术文章 / 2017-09-24

“昔我十年前,与君始相识。” 一瞬间Hadoop也到了要初中择校的年龄了。 十年前还没有Hadoop,几年前国内IT圈里还不知道什么是Hadoop,而现在几乎所有大型企业的IT系统中有已经有了Hadoop的集群在运行了各式各样的任务。 2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core Ha...

《架构师特刊:Hadoop十年回顾》迷你书免费下载
技术文章 / 2017-09-24

《架构师》是InfoQ针对高级技术开发和管理人员所推出的电子月刊。本期大数据特刊搜集了Hadoop十年回顾专栏的精华文章,希望通过盘点这一系列热点文章,带你回顾技术圈的生态状况,回顾以前,激励当下! 自从2006年Hadoop的缔造者们提交第一行代码已经过去了整整十年。有人说近来Hadoop核心社区活跃度下降,又面临如Spark和Mesos的强大挑战。Hadoop的现状如何,未来又会怎样? 下载方...

关键七步,用Apache Spark构建实时分析Dashboard
技术文章 / 2017-09-24

本文原文作者:Abhinav 译者:王庆 摘要:本文我们将学习如何使用Apache Spark streaming,Kafka,Node.js,Socket.IO和Highcharts构建实时分析Dashboard。 问题描述 电子商务门户(http://www.aaaa.com)希望构建一个实时分析仪表盘,对每分钟发货的订单数量做到可视化,从而优化物流的效率。 解决方案 解决方案之前,先快速看看...

Spark在GrowingIO数据无埋点全量采集场景下的实践
技术文章 / 2017-09-24

本文根据2016年7月北京IBM Spark沙龙上的分享讲稿整理而成。 大家好,我是来自GrowingIO的数据工程师付旗,今天跟大家分享的是我们GrowingIO在使用Spark中的经验,遇见的一些问题,以及我们修复的方法。在来之前,昨天晚上我在跟我们组同事讨论的时候,我说我发给他们简要写的我是GrowingIO的大数据工程师,我们组的几个工程师都非常的不屑,说现在大数据已经烂大街了,所以他们对...

是时候了解一些Spark生态系统中的图数据分析知识了
技术文章 / 2017-09-24

图结构可有效表示稀疏矩阵,因而图数据分析可用于实现大数据分析。对于Spark生态系统中的图处理系统GraphX,《Spark GraphX in Action》一书给出了详细的教程和典型用例,将教会读者如何使用GraphX和GraphFrames进行图分析。本文是Info对该书作者的访谈,内容包括图数据及分析技术、GraphX高效程序开发、图数据分析的趋势等。 如何定义图数据? Michael M...