在大数据领域业界研究多年，涉及Hadoop调优、分布式框架、Data Pipeline、实时系统等技术。目前董飞在硅谷创业公司Coursera从事数据工程师工作，他对于硅谷公司的大数据应用方面有着丰富的实战经验。
Coursera工程师 董飞
董飞首先介绍了Coursera （官网） ， 由美国斯坦福大学计算机 科学教授 Andrew Ng和Daphne Koller创办，旨在同世界顶尖大学合作，在线提供免费的网络公开课程，Coursera目前已经有117所大学提供的988门课程，已经有超过一千二百万学习者使用过。作为热门的在线教育项目，Coursera成功为学习者和课程提供方搭起了桥梁。
Coursera还与世界顶尖大学，例如斯坦福大学、密歇根大学、普林斯顿大学、宾夕法尼亚大学等都建立了深度合作关系，颁发证书认证。董飞表示，“大约30%的学者愿意付费购买证书，70%的VC用户则将这些证书发布到LinkedIn上，这为大家带来了双赢价值”。
Coursera推出的课程种类繁多，其中有一项叫“专项课程”，它也是Coursera最主要的收入之一。 ”专项课程“的成功之处在于 ：
60%的学习者表示他 们学习“专项课程”的动机 是通过“毕业项目”和“专 项课程签名认证证书”来展示 他们对知识的掌握 程度。
74%的学习者认 为“毕业项目”比理论课程 更具价值，理由是他们希 望利用“毕业项目”来解决实际 问题，同时获得行业 实践经验。
77%的学习者则认为 由行业从业人员和授课教 师共同设计和实施“毕业 项目”，比单单由授课教 师设计更有价值。
Coursera课程研究：靠数据来说话
Coursera 针对课程类别、各个国家以及不同领域的用户情况进行了数据统计和统计。 如下图数据显示：其中选择人文类的用户数最多，计算机科学次之，排在最末的是临床科学，这也说明其较为冷门。【注（）里代表的是这门课程的门数】
不同课程内容分类： 横坐标表示的是注册人数，注册人数越多，说明它越有吸引力。
通过下图可以看出： 红色代表是受欢迎度，颜色越深说明它关注度越强，比如美国、加拿大、中国香港等这些大学关注度比较高； 蓝色代表的是冷门，颜色越深说明它没有关注度，或者叫负相关度，比如法国。
各国大学关注度
学习者主要分为四种类型：
第一类：大学生，求知型，平均年龄15岁—20岁；
第二类：终生学习者（Enrichment learners），年龄分布较为均匀；
第三类：特定技能学习者（有点像极客），他们更喜欢接受新技术，尤其是20岁到30岁中间的人居多；
第四类：商业发展或升职技能， 比如有人想晋升或者想换个行业，这类用户会选择某个特定领域进行学习。
学者领域分布图
Coursera的技术架构
作为一家硅谷的在线教育项目创业公司，Coursera员工数约为180人，其中技术人员是80人左右，占比40%。 Coursera拥有1000万名学习者（这个用户数还在不断增长），面对全球不同时区的用户，如何保证最佳的用户体验？
在数据库的选择上，Coursera最初采用的是MySQL，但遇到的问题是，在高并发访问量和宕机时候会造成用户体验的大幅下降，于是Coursera将数据库迁移至Cassandra，其稳定性和易用性还不错。
在编程语言使用上，Coursera则选择了Scala。Scala面向对象，基于Scala可以调用所有JVM上面的东西， 虽然这听起来很酷，但很多公司还是不敢用。
Coursera技术架构图
Coursera底层架构100%部署于AWS上，因为 Coursera的大多数用户访问来自于（ PC）Web，但后来为了改进手机端的用户体验，工程师们利用 Swift来重写APP。
对于为何采用使用SOA？董飞认为，首先SOA架构能够做到弹性扩展，其次在于服务优先级，重用，简化，希望通过这种模式去推动整个技术的升级。” 硅谷有很多公司在使用 SOA，包括 Tumblr、BOX、LinkIN、NETFLIX、Amazon、eBay等。”
“而采用Rest框架的好处在于：所有API可外部化，易于调试，零技术锁定。”
Coursera架构中用到的软件
随后，董飞还和与会者交流了时下在硅谷的大数据应用浪潮和热门技术。
Gartner 公司每年发布技术趋势炒作图。今年和去年的图对比显示，物联网、自动驾驶汽车、消费级 3D 打印、自然语言问答等概念正在处于炒作的顶峰。而大数据已从顶峰滑落，NFC 和云计算接近谷底。
联系客服
