点击显示 收起
“大数据”时代已经降临。人们纷纷预测，它对国家、社会、经济、科学的发展和个人生活将产生巨大的价值，并将积极推进人类从“后工业时代”向“智慧经济”时代的发展。与此同时，大数据时代中大数据的采集、存储、传输、处理、应用等问题对各行各业的文化、组织、管理、方法、技术等等提出了崭新的挑战与变革。近日，由中国科协主办、中国系统仿真学会承办的“大数据时代对建模仿真的挑战与思考”新观点新学说沙龙在吉林召开。
来自中国工程院、中国科学院、国防大学、清华大学、国防科技大学、解放军理工大学等单位的专家学者展开了观点碰撞和学术研讨。
中国工程院院士李伯虎研究员指出，“大数据”是继云计算、物联网之后IT领域又一次颠覆性的技术变革。它对作为科学研究第三种范式“计算科学”中重要组成部分的“仿真科学”带来了新的机遇、挑战与变革。“以大数据为基础的第四范式是否成立？大数据方法对仿真建模带来了什么挑战？大数据方法对仿真建模带来了什么机遇？”这些问题都需要以“大数据、大价值、大变革”的视角进行深入探讨。
国防大学胡晓峰教授指出，大数据具有“规模性（Volume）、多样性（Variety）、高速性（Velocity）、价值性（Value）”等特征，最根本的是大数据带来了全新的思维和方式。首先是“从局部到全体”的思维，将大（所有）数据作为分析对象，对数据的处理完全不同于传统数据库，要变“池塘里抓鱼”为“大海里捕鱼”；其次是“从单纯到繁杂”的思维，接受数据的繁杂和不精确，抛弃对有条理和纯净数据的偏爱，容忍凌乱数据；再次是“从因果到关联”的思维，更强调相关性而非因果性，放弃对事情原委的追究，而代之以对相关性的接纳；最后是“从简单到深入”的思维，更强调深度和间接分析，将简单分析方法发展为大数据的深度分析方法。胡晓峰认为，大数据时代正是信息社会从“量变”走向“质变”的表征，或者说，信息化社会在大数据时代才算真正到来，建模仿真也许在这个门槛上会发生根本性的变化，需要重构仿真科学的体系，增强仿真科学的活力。大数据为整体分析提供了条件，更接近人类认知的模型。同时，大数据也带来了一些新思考，例如，大数据提供了一个解释不明现象的新颖视角，为复杂系统建模仿真提供了一种绕开理论直接走向应用的新途径。
本世纪以来，“大数据”摩尔定律表明：全球数据总量每两年就可以翻一番。“数据为王”的大数据时代已经到来。中国电子科技集团首席科学家王积鹏研究员认为，不断增强的数据存储和处理能力，提供了从大数据中筛选信息、以洞察世界的新方法。网络计算环境的变革，带来了以大数据为核心的科学研究第四范式，为仿真技术发展提供了新的挑战与机遇。大数据的作用首先在于产生价值，以满足服务需求，而不是解释为什么，或者发现知识。人们更多地依赖海量数据相关性分析作出理解和决策，通过数据关联、多人和多群体关联，形成群体智能，通过数据交互和挖掘，发现其价值。王积鹏研究员认为，大数据发展引发思维模式变革，是更多的利用全体数据，而不仅是随机样本；是注重混杂性数据，而不仅是精确性数据；是更好关注数据相关关系，而不仅是因果关系。大数据促进认知分析学发展，开辟了机器学习和智能科学研究的新途径。大数据技术应用将彻底改变社会管控方式，彻底改变人们学习、生活、工作模式。从近代科学技术发展史看，信息技术发展呈现了一个非常独特的现象，即：技术发展超前于相应科学理论的发展，以大数据为核心的第四范式发展也符合这种现象。它不仅对科学理论发展提出了巨大的挑战，同时也推进了人类社会生存与运作模式的变革。
科学遇到大数据，带来哪些挑战？清华大学肖田元教授认为，大数据可分为两大类：来自科学实验与工程的大数据和来自互联网的人类社会活动大数据。对于第一类的大数据的挑战，仿真范式采取“以大化小”，在还原论的指导下，基于已知小世界的规律，建立与运行模型，以发现有组织的更大更复杂的系统的因果规律。现在，日本等许多国家已经实现科学数据密集型运用，包括生命与医疗、粒子物理、天气预报、基因学、地震预报。而面对来自互联网的社会活动大数据，新型应用将致力于为实际的决策提供信息，最终目的是帮助科学家、研究人员、决策者及社会大众做出有充分信息依据的决定。用传统IT技术和软硬件工具无法在可容忍的时间内对其进行感知、获取、管理、处理和服务的数据集合。这就对传统科研范式提出了挑战，需要考察大数据时代科学研究的未来，探索支持科学研究新范式。仿真范式难以解决无组织的大世界的问题，数据密集方法基于统计分析可从整体上研究大世界的相关性。大数据时代数据密集型科学范式是面向大世界，无需定义边界，无需规定规模，只受限于数据，无需模型，不受还原论约束。作为一种整体论的解决方法，可不受时间、空间尺度影响，由数据发现涌现性、演化机制，适应开放复杂大系统的要求。基于数据及其关联网络形成的数据界，通过“机器学习”、数据挖掘，发现这些节点和链接的关联，从而获得整体的知识。通过“众包研究模式”使大规模科学研究成为可能，如Google“流感趋势”项目、地球引擎项目。肖田元教授认为，需要发展仿真范式，与数据密集型方法相融合，实现密集计算与密集数据的集成，以实现无组织的复杂的系统的因果规律的发现。
未来人才竞争：培养下一代数据科学家
本文作者王阳为IBM公司副总裁兼中国开发中心总经理。
科技发展改变生活，包括我们已经习惯了的一些生活方式。比如，看球这件事。以往，我们的经验是，拎上几打啤酒、叫上几个小伙伴，围坐在电视前，激动地看着、喊着。现下，如果你是个网球迷，并且想尝试一些新的看球体验的话，今年美网直播的时候，你手边一定会多一台电脑，这台电脑上的一个比分统计、分析的可视化平台，不但可以弥补你不能亲临四大满贯的遗憾，还能让你比现场观众更加透彻地分析和理解比赛。
这就是IBM的 SlamTracker。有了SlamTracker，掌握赛前基于双方交战记录而制定的关键指标，还有实时把握比赛的进程和重要比分，这些对于球迷来说变得都易如反掌。SlamTracker就像是一个比赛统计的大集合，它对整个比赛做出的非常详尽的统计，对于球迷而言，你可以查找自己关心的数据，这些统计数据的细化程度覆盖比赛的各个细节。在今年的美网中，更多中国观众在用SlamTracker观看比赛，尤其是李娜的比赛。
这种数字化的平台极大改善和创新了球迷的体验。在这种新体验背后，离不开大数据、云计算和一群被称为“数据科学家”（Data Scientist）的人。
在大数据时代，数据科学家们是炙手可热的人才。企业知道数据的大量存在，也知道它们的价值就如同没有被开采的矿藏，但要让这些数据产生商业价值，好像矿藏那样被开采出来，需要大量的专业从业人员。
数据科学家究竟是一群怎样的人，在怎样地工作呢？
我们可以简单地概括这样一群人的特征：一半科学家，一半思想家。
技术和信息系统领域专家、乔治城大学（Georgetown University）麦克唐纳商学院教授贝奇•佩奇•西格曼博士说：“随着软件、界面设计及相关领域的发展，今后分析大数据会变得更加容易。所以技术问题不会构成太大阻碍。对企业来说，更重要的是要有大量不光是会制作统计图表和分析表格，而是会利用手头信息优化决策的人才。”这些人才便是数据科学家。
数据科学家经常进行大量的实验数据分析来生成可视化的数据报表，利用数据产生独特的商业洞察，以帮助公司进行重大的基于数据的决策，而且逐渐成为了具有大数据技术能力的专业人士。他们能提出好的问题通过数据进行推理及对未来行为进行预测。
对商业的强烈敏感，以及处理商业问题的能力是数据科学家区别于传统职位的重要特点。优秀的数据科学家将不仅仅处理商业问题，他们还要有具备发现对于公司影响最大的问题的能力。
谁能成为数据科学家？
让我们先看这样一个统计分析：Schutt是一名在纽约Johnson研究实验室进行启动项分析研究的科学家，她现在还在哥伦比亚大学的统计系做兼职助理教授，讲授“数据科学导论”这门课。她经常邀请嘉宾到课堂上来介绍他们在数据科学上的职业生涯。Schutt将她认为是成功的数据科学家所共同具有的特点整合成两张表。
第一张表是数据科学家的共通特质和特点：许多人都拥有博士学位（虽然说学位并不是工作的必须条件）；他们学习的领域一般都与数量科学相关，比如统计学或者是数学；都有学习编程语言的能力以及解决问题的能力。
IBM的实践也验证了这一点。IBM每年在大数据及分析领域研发上投入高达30~40亿美元，拥有近9000名顾问和400 名数学家。而据IBM全球高级副总裁兼软件与系统科技集团总经理Steven A. Mills表示：IBM是全球数学博士最大的雇主。
对数据科学家来说，数学能力尤其是数学建模能力，是其必不可少的重要技能之一。因为他们必须要通过大量的数据产生对商业发展的洞察力，需要推理出数据上尚未显示出来的被掩盖的事实和趋势。这就要把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数据源，并整理成结果数据集，以便把蕴含在数据中的规律建议给产品经理和主管们，从而影响产品、流程和决策。数学建模等技术对于数据分析、数据发掘、决策支持等方面具有重要的意义。
除此之外，经典计算机科学(机器学习)和应用统计学位也是非常有效的数据科学家的起点。机器学习的重点是大规模数据处理和算法、结合软件开发技能，自然应用于真实世界组织数据。许多应用统计学科则将咨询能力、专业领域知识、以及关键方面有效的数据科学结合在一起。
为培养更多数据科学家，IBM创建了一个网上社区：BigDataUniversity.com，在这里信息技术专业人员或者相关专业学生可以学习到Hadoop、流计算、开源软件开发以及数据库管理等技能。
再来看Schutt的第二张单子，她认为高效的数据科学家都有共同的“思维习惯”，都是思想家，拥有好奇心，能坚持，并且充满道德感和正义感；同时也是头脑灵活的思考者，鼓励提问；他们力争达到思维和沟通时的高度的准确、清晰和精准；他们承担分析工作中可计算的风险、充满想象力并且喜爱创新；独立思考并相信持久学习的力量；而且，喜欢发现事物中的幽默之处并且是良好的倾听者，能够对其他人的需要感同身受。
这也给其他学科的人进入数据科学家领域提供了信心。事实上，我们看到一些看起来不相关专业的人，比如物理和音乐专业的人才，他们已经成功被一些公司的数据科学家团队录用——他们被看重的是能创造性地思考问题。他们也许对计算机科学知之甚少，但却懂得如何运用与众不同的方法看待大数据。
企业如何培养数据科学家？
当然，现在对企业而言，最根本的是这类人才的短缺。IBM已经与全球1000多所大学合作，打算未来构建一个输送数据科学家的“通道”：IBM Academic Initiative。该项目包括许多不同的内容，从访问IBM的大数据和分析软件，到专业课程以及由数据科学家参与的大学讲座。一些高等院校已经开始根据Academic Initiative实施新的学术倡议。例如，在美国密苏里大学工程计算机科学系，学院将在今年秋季开设一个新的本科课目。这项课目被称为“大数据分析”，是基于IBM的InfoSphere BigInsights和InfoSphere Streams软件去教学生关于在各种不同场景(静态的或者动态的，结构的或者非结构的)下如何处理数据，以及这些知识如何在企业决策中发挥作用。通过该项目，IBM将为更多以数据为驱动的工作和专业铺平道路，例如已经被我们熟知的“首席数据官”(CDO)，随着大数据继续在所有垂直领域的企业中发挥更重要的作用，对CDO的需求也将越来越高。
招收那些刚刚走出大学校园的聪明而有创意的人才，再把他们投入非常严格的实习计划中去。这对于拥有足够预算，以及高级人才辅导项目的大型组织来说，是个不错的办法。而对于小组织来说，更可行的办法是聘请专业的顾问，帮助招聘、培训、再整合和指导新鲜出校的数据科学家。数据科学家的广泛的能力将对小组织非常有用，但必须有像这样创新的方法以确保其有效性。
未来，数据科学家将越发地活跃在商业世界，也将致力于解决许多工业和学术领域的问题，比如，生物医学研究、信息学、疾病预防、政府、教育以及城市规划等。下一代数据科学家也将帮助改进公民的生活质量，加深经济和社会对人类行为的理解。社会应该致力于鼓励有前途的学生成为下一代数据科学家。（财富中文网）
数据科学家，科学第四范式的践行者
中云网 作者：陈弢
托马斯.库恩在《科学革命的结构》中指出，范式（paradigm）是一个群体共享的信仰、价值和技术等等。科学范式指的是科学发现中赖以运作的理论基础和实践的规范，是科学工作者们所遵从的普适的世界观和行为方式。它代表了人类思维的方式和根基，也是交流科学知识时所默认的共有法则。
在历史上，人类先后经历了经验、理论和计算的三个范式。基于铁球比羽毛更快落地的观察，亚里士多德总结说越重的物体降落越快，这就是最典型的基于经验的科学发现的范式。而在被无法阻挡的数据洪流冲击的今天，人们发现传统的三种科学发现模式已经不能在一些领域发挥有效的作用，比如分子生物学，社会科学。
于是，图灵奖的获得者Jim Gray提出了著名的第四范式（The Fourth Paradigm），也就是数据思维或者数据科学。由此，数据科学家也成为了第四范式的实际践行者这个群体的统称。在这篇文章里，咱们来探讨一下数据科学家跟科学的关系，他们的工作性质，以及面临的挑战等等。
数据科学家与科学
早前，在港科大计算机系读博士的时候听教授这样调侃，大意是：只有那些不能严格被算为科学而又想挤进科学的学科，才会在命名的时候加上“科学”二字作为后缀，比如计算机科学。这么算来，数据科学家就是一群很难算得上很科学的人，到底是不是这样呢？
在《大数据研究的科学价值》这篇文章里，李国杰院士给出了确定的结论：数据科学是关于数据的科学。尽管在现阶段，作为客观事物间接存在形式的“数据界”仍然依赖于各个领域的“物理世界”，其究竟有什么共性问题还不清楚。但是，过去的研究已经表明，不同领域的数据分析方法和结果存在一定程度的普适性。比如，电网数据分析的算法也可应用于供水和交通管理上。所以，数据科学目前还处在先做“白盒研究”的阶段，也就是说数据科学家们至少在5-10年内，还需要先协助其他领域的学者解决大数据带来的技术挑战问题。等到知识积累多了，很可能在“数据界”抽象出通用性较强的“黑盒模型”和普适规律。李院士指出，数据科学的发展很可能类似与数据库理论的建立：在经历了层次数据库、网状数据库多年实践之后，柯德发现了数据库应用的共性规律，建立了有坚实理论基础的关系模型。从而有力的证明了数据库中存在的共性理论。
在笔者十年的数据分析经历中，利用机器学习的各种模型，包括决策树、随机森林、贝叶斯网络、SVM等等，处理过分类、聚类、相关性分析等数据挖掘问题。而这些问题又是来源于中医、市场营销、计算广告学、社会学等截然不同的领域。可能在相当长的阶段，我们都是要为各个领域的业务服务，从解决目标领域的问题中来积累经验，帮助提炼数据思维中的共性问题。
数据科学家的工作
权威杂志《哈佛商业评论》宣布，数据科学家是二十一世纪最性感的职业。所谓性感，既代表着勾动人心的诱惑，又说明大家还不明确它干的到底是什么。
在现阶段，数据科学家的工作是很务实的。LinkedIn的首席数据科学家Manu Sharma在TiE Summit上接受采访时说，数据科学家的工作包括，采集数据，整理数据，建立正确的模型，测试模型，还要有一定的编程能力。通过这一系列工作，数据科学家开发出的数据应用不仅仅帮助开发创新的数据产品，从内部数据发现趋势和机会，更重要的是能推动LinkedIn的业务增长。回顾自己在数据分析领域所做的种种工作，笔者总结了数据科学家主要的工作为几个方面：
1. 数据的处理平台的搭建：包括公司的基础数据平台以及各个具体业务线的指标数据和日志数据平台。此步的设计和技术选型严重依赖于后两步的分析需求。
2. 历史数据的分析挖掘：包括跟各种产品线相关的业务分析，用户画像，用户行为分析，用户留存分析等等。类似的分析可以以图标或其他可视化的方式展现，目的是让业务决策者对于现状有清晰、系统、完整的认识，从而辅助其做出下一步的动作（action）。
3. 数据驱动的预测性分析：比如建立推荐模型并且利用模型对于未来的情况进行预测。在计算广告里面，点击率预估（CTR）模型就是能被用来给特定的人和场景推荐合适的广告。这一部分的工作是大数据挖掘下最有意义的工作，也是和产品线联系最紧密的部分。
不管数据科学家现在的工作范畴到底是如何界定，最近几年这个岗位的需求数量快速攀升。如今，所有规模的企业都在探索从大数据中挖掘出有价值的信息和可以转化成行动的洞察力。数据科学家具备从大数据掘金的能力，能为各行业的数据包括医疗数据、移动设备数据、社交媒体流数据等进行预测，带来巨大的商业价值。在未来5年数据科学家这一领域人才将出现供不应求的局面。McKinsey报告指出去年大数据强有力的增长。McKinsey同时预测在未来6年，仅在美国本土就可能面临缺乏14万至19万具备深入分析数据能力人才的情况，同时具备通过分析大数据并为企业做出有效决策的数据的管理人员和分析师也有150万人的缺口。
数据科学家的挑战
Kaggle是一个供数据科学家大显身手的众包平台，在这个平台上，数据科学家们可以看到真实的预测性分析需求和业务数据，选择感兴趣的作分析，并且能看到自己的分析效果的实时排名。Kaggle总裁兼首席科学家Jeremy Howard认为一个伟大的数据科学家应具备创新、坚韧、好奇、深厚技术这四项素质。具备数据收集、数据改写、可视化、机器学习、计算机编程等技术的数据科学家使数据驱动决策并主导产品。他们更喜欢用数据说话。
我们看到，为了进行大数据的分析，我们首先面临知识范畴的挑战：数据科学家需要有数据库系统及数据管理的知识来应对大量数据的导入和存储；同时必须掌握机器学习中的算法和模型处理预测性的需求；在整个过程中，统计学的概念和人工智能的理论都是指导我们选择正确、合适的分析方法和对分析结果进行评估的重要依据。所以，Bitly首席科学家HilaryMason认为数据科学家是融合数学、算法，并可从大数据中寻求问题答案的人。
相对于知识而言，理念上的突破对于数据科学家显得更为重要。很多数据科学家都具有深厚的统计学背景，而统计学的目标是从各种类型的数据中提取有价值的信息，给人以后见之明，但不强调对事物的洞察力（insight），不强调深度的知识。所以，如何从固有的统计思维突破到数据的思维，就是一大挑战。举例来说，在大数据分析领域，我们更多关心事物的相关性或者关联性。与传统的逻辑推理研究注重条件和结果之间的因果关系不同，相关分析是为了找出数据集里隐藏的相互关系网，一般用支持度、可信度和兴趣度来衡量。大数据分析的巨大驱动是商业盈利。就像在著名的啤酒尿布的例子中，可以这种相关性来采取措施增加企业利润，而不用去深究背后的内在规律和机制。
除此之外，交流合作的能力也是数据科学家普遍需要解决的自身问题。这儿的交流不仅仅指的是数据科学家内部的知识分享，技能学习，更重要的是向业务人员、运营同事、领域专家的虚心请教和学习。唯此，我们才能更清楚业务的需求，了解现有数据的特性和不足，再此基础上开发出针对性的数据产品。所以，分析人员不仅仅要醉心于技术，更要走进业务去采风，一方面普及数据挖掘的知识和功能，一方面收集需求。
结语
图灵奖获得者Jim Gray在总结了科学研究在人类历史上所先后经历的实验、理论和计算三个范式之后，提出了基于数据而思维的第四范式（The Fourth Paradigm）。在数据的洪流无法阻挡的今天，传统的科学模式确实不能在一些领域发挥有效的作用。而实际的业务场景中，经验+感觉的方式也必将会被数字+事实的决策所取代。所以，数据科学家们，让我们行动起来，为实现基于数据的探索（data exploration）和数据驱动的业务（data-drivenbusiness）努力吧。
