(一) 出访的基本情况
1) 邀请方
美国旧金山州立大学副校长Prof. Yanbo Wu
2)出访成员信息
序号 | 姓名 | 性别 | 工作单位 | 职务 |
1 | 方少红 | 女 | 华中科技大学 | 副教授 |
2 | 陈熙 | 女 | 首都经贸大学教育技术中心 | 工程师 |
3 | 王华 | 男 | 闽江师范高等专科学校计算机系 | 副主任 |
4 | 吴景岚 | 女 | 雷竞技(中国)官方网站计算机系教研室 | 主任 |
5 | 腾飞 | 女 | 西南交通大学 | 讲师 |
6 | 代飞 | 男 | 云南大学软件学院 | 副教授 |
7 | 朱艳萍 | 女 | 云南大学软件学院 | 讲师 |
8 | 钟键 | 男 | 吉首大学 | 讲师 |
9 | 杜军朝 | 男 | 西安电子科技大学 | 教授 |
10 | 褚华 | 女 | 西安电子科技大学 | 副教授 |
11 | 贺达江 | 男 | 怀化学院物电系 | 系主任 |
12 | 严权峰 | 男 | 湖南理工学院计算机学院 | 院长助理 |
13 | 钱英军 | 男 | 广东科贸职院信息工程系 | 副主任 |
14 | 刘洋 | 男 | 天软人才基地管理有限公司信息化部 | 系统工程师 |
15 | 胡东 | 男 | 中国国际人才交流基金会综合事务部 | 部长 |
16 | 苏妍 | 女 | 国家外专局培训中心 | 副处长 |
3)访问时间
2015.10.11— —2015.10. 23
4)访问内容
国务院2015年印发的《促进大数据发展行动纲要》指出:我国在大数据发展和应用方面已具备一定基础,拥有市场优势和发展潜力,但也存在政府数据开放共享不足、产业基础薄弱、缺乏顶层设计和统筹规划、法律法规建设滞后、创新应用领域不广等问题,亟待解决。因此,国家鼓励高校设立数据科学和数据工程相关专业,重点培养专业化数据工程师等大数据专业人才;并且提倡建立完善国际合作机制,积极推进大数据技术交流与合作,充分利用国际创新资源,促进大数据相关技术发展。
高等院校专业教师作为培养专业化数据工程师等大数据专业人才的主体,更应掌握并精通大数据关键技术、大数据应用、大数据产业需求等大数据相关技术和知识。为引进、学习国外大数据先进技术,实地考察国外大数据应用现状,提升高校教师大数据专业能力,中国国家外专局组织了此次出访美国 “大数据技术应用与产业升级”培训团。此次培训包括在旧金山州立大学和在纽约城市大学的培训,期间还参观美国思科公司、美国在线AOL公司和IBM公司Watson研究中心,并和相关的研究人员进行技术交流。具体培训内容如下:
4.1) 旧金山州立大学商学院Hamed Hasheminia助理教授
讲授主题:Introduction to Big Data
讲授内容:
大数据分析主要技术:
稀疏矩阵计算
并行计算
高斯过程模型
监督与非监督学习
统计推断
案例分析:
决策树方法用于市场细分
沃尔玛邮件题目的长短与频率制定
死刑记录挖掘与服刑时长决策分析
4.2) IBM研究院Ling Zong 博士:
讲授主题:Data Storage
讲授内容:
Big Data Storage Solution Triangle
Big Data Storage 架构
4.3) 金门大学公共管理系主任Jay Gonzalez教授:
讲授主题:Big Data and Policymaking
讲授内容:
U.S. Government “Data Bank
Policymaking
4.4)咨询专家John Choate先生
讲授主题:Data Security and Architecture
讲授内容:
Secure computations in distributed programming frameworks
Security “Best Practices” for non-related data stores
Secure data storage and transaction logs
End-point input validation/filtering
Real-time security/compliance monitoring
Scalable and privacy – preserving data mining and analytics
Cryptographically-enforced access control and secure communication
4.5)Big data innovation at Cisco
讲授主题:Cisco大数据应用案例
讲授内容:
Cisco大数据在零售产业里的应用
Cisco大数据在物联网里的应用
Cisco大数据在网络安全领域里的应用
4.6)Stanford大学Yang Yu博士
讲授主题:大数据和数据分析:概念、区别和应用
讲授内容:
竞争市场和垄断市场
大数据:魅化和泛化
数据分析的方法
案例:
语义分析
数据分析与宋朝那些事儿
美国电力市场
4.7)Prof. Liu, Columbia University
讲授主题:Data Science from a Statistic Perspect
讲授内容:
多学科合作:
Science- staticstics and mathmatic
Engineering- computer engineering, electrical engineering
难点:
Structural change
Spurious finding
案例:
EX1: 股市变化模型
Ex2: DNA序列断点识别
Ex3: Social network - Politic network, 参议员法案投票数据分析
Ex4: Item response theory model - 股票之间的相关性计算
4.8)AUTC公司总裁Aziz Ahmad先生
讲授主题:Big Data Solution in UTC
讲授内容:
Self introduction
What is Big Data
Characteristics of Big Data
Why Big Data
Big Data Analytics
Applications for Big Data Analytics
4.9)美国Cisco公司技术专家Robert Fosina
讲授主题:Big Data - Its Mainstream
讲授内容:
Mapping the landscape
Use Case
Why a different apporach?
Cisco offers
4.10)纽约城市大学商业管理系Sahan Sen教授
讲授主题:Big Data Analytics in Education
讲授内容:
The shared Learning Collaborative Data Model
Big data in adaptive of Personalized Learning
Adaptive Learning Management at Khan Academy
4.11)Visiting: AOL公司
讲授主题:大数据在AOL公司广告系统中的应用
讲授内容:
大数据中的安全问题
AOL公司广告系统架构
4.12)Visiting: IBM Watson Lab
讲授主题:大数据在AOL公司广告系统中的应用
讲授内容:
IBM Big Data Products
IBM CAMSS: Clients are focusing on the combined power of CAMSS
IBM Big Data Soulutions
IBM Watson Genomics
5)培训的师资
旧金山州立大学
商学院 Hamed Hasheminia助理教授
IBM研究院Ling Zong 博士
金门大学公共管理系主任Jay Gonzalez教授
天使投资咨询专家Victor Tong先生
Stanford大学
Yang Yu博士
纽约城市大学BMCC
AT公司资深咨询专家Brian Gurski先生
UTC公司总裁Aziz Ahmad先生
商业管理系Sahan Sen教授
亚裔研究所行政总监Joyce Moy女士
哥伦比亚大学
Jingchen Liu副教授
美国Cisco公司技术专家
美国在线AOL公司技术专家
美国IBM公司Watson Research Center技术专家
(二)出访取得的成果
在专业知识的学习上,取得了如下的成果:
大数据分析主要技术
稀疏矩阵计算
并行计算
高斯过程模型
监督与非监督学习
统计推断
优化与控制
分布式与多线程
决策分析案例
决策树方法用于市场细分
沃尔玛邮件题目的长短与频率制定
死刑记录挖掘与服刑时长决策分析
工人罢工与多伦多港口铁路建设策略分析
动物权益保护与加州鸡蛋价格制定
U.S. Government“Data Bank”
Congressional Budget Office
Pew Charitable Trusts
Public Policy Institute of California
Research Universities
Big Data Storage Solution Triangle
Where the data is stored?
How the data is accessed?
How the data is protected?
How the data is manage
Top 8 Security Chanllenges
Secure computations in distributed programming frameworks
Security “Best Practices” for non-related data stores
Secure data storage and transaction logs
End-point input validation/filtering
Real-time security/compliance monitoring
Scalable and privacy – preserving data mining and analytics
Cryptographically-enforced access control and secure communication
Granular access control
风险评估
互联网和移动互联网
电子商务
网络游戏
社区网站
博彩/彩票
外包服务
医疗保健
How Could Data Help Us?
推理
预测
干预
多学科合作
Science- staticstics and mathmatic
Engineering- computer engineering, electrical engineering
难点
Structural change
Spurious finding
Ex1: 股市变化模型
Ex2: DNA序列断点识别
Ex3: Social network - Politic network, 参议员法案投票数据分析
Ex4: Item response theory model - 股票之间的相关性计算
Developing the Ecosystem
Infrastructure
Education
Data
Service
Industry
Ex1: Best practices in government provides open data portals of New York
Ex2: Healthcare industry challenges- Mount Sinai Hospital in New York
Ex3: Big data education- new college scorecard
EX4: New York City-based startup Body Labs for fashion designers
Big Data Analytics
Examining large amount of data
Appropriate information
Identification of hidden patterns
Competitive advantage
Better business decisions: strategic and operational
Effective marketing, customer satisfaction, increased revenue
Big Data – The shared Learning Collaborative Data Model
Big data in adaptive of Personalized Learning
Individual learning needs of student
Blackboard as a learning support platform
Personalized life-long learning
Adaptive Learning Management at Khan Academy
IBM Big Data Products
IBM CAMSS: Clients are focusing on the combined power of CAMSS
IBM Big Data Soulutions
IBM Watson Genomics
(三)出访的启示和建议
1)大数据的理解
最早提出”大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来”“大数据”在金融、军事、生物等领域存在已久,今年来因为互联网和信息行业的发展而引起人们的关注。
大数据有四大特性:
Volume(数据量大):大数据的起始计量单位至少是P、E或Z。
Velocity(速度快时效高):这是大数据与传统数据挖掘的主要区别。已有的技术架构和路线无法高效处理如此海量的数据,因此大数据时代对我们驾驭数据能力提出了新的挑战。
Vareity(多样性):数据类型多,包括网络日志,音频、视频、图片等,这对数据处理能力提出更高的要求。
Veractiy(真实性): 随着物联网的广泛应用,信息感知无处不在,信息量巨大,但信息的价值密度较低,并且难免有许多信息是有偏差,不可靠的。如何通过机器学习算法迅速地实现数据的价值“提纯”,这是大数据时代亟待解决的难题。
对大数据的处理包括两种方式:理论先行,数据分析,数据验证;数据实验,理论在后。
2)大数据在美的应用现状
大数据的价值堪比石油和黄金。微博推特上新发的数据,社交网络上人们发表的议论等,华尔街的敛财高手们正在挖掘这些互联网的数据财富,用其判断市场走势,取得了丰硕的收益。大数据在美国已广泛应用到生活的方方面面:培训课堂我们了解了大数据在美国的一些应用,包括华尔街根据民众情绪抛售股票;对冲基金依据购物网站的顾客评论分析企业产品销售情况;根据求职网站的岗位数据,推断就业率;大数据在美国电力行业的应用现状,如家具智能电表,通过大数据分析,当用户用电量超过平均值时做出提醒,以减少用电量;政府依据大数据分析结果做出有关决策;奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好,从而做出决策,分配竞选资金到最有价值的区域;投资机构搜集上市企业声明,从中分析寻找即将破产的企业;美国疾病控制和预防中心根据网民的搜索数据,分析全球范围内病疫的传播状况等;大数据带零售业方面的应用,当点击推荐准确率提高1%将为它们带来数以10亿的收益,通过大数据分析,我们可将在线购物推荐系统提高10%-15%的成功率。
3)大数据在美国的产学研联合
美国产学研的机制很成熟,政府、大学、教授可以相互协作将大数据技术和产品商业化,并且帮助IPO。
高校之间有很强的联系,纽约城大和哥大、纽约大学有合作,和波士顿的哈弗、MIT也交流。高校和企业之间有很好的沟通和合作,大部分专家学者的大数据研究课题都是基于具体产业的研究,以分析、解决产业中的实际问题为目的。
这次接待方帮助联系了AOL和IBM Watson实验室,如果时间再充裕可以联系到FaceBook的参观交流。
4)大数据在教学科研中的思路
在教学方面
从国家层面,尽快形成大数据分析及应用人才培养行动纲领,从人才质量标准,专业设置及培养目标,核心课程,师资队伍培养,校企合作机制等方面,提出具体现实可行的行动纲领,并努力推进实施,确保在未来高科技产业竞争中处于有利地位。
从高校层面上,积极开展与大数据相关专业的融合研究与实践,开展大数据分析及应用人才培养的探索性工作,不同类型学校要各有侧重。构建大数据采集和分析基础平台,以工程应用项目为推手,开展大数据的应用研究,为大数据应用分析及应用人才培养,集聚课程资源及师资力量。
在积累一定研究和实际基础上,构建大数据课程体系的建设;加强相关技术的师资培训;营造校企深度合作的学生实践教学。
在科研方面
加强大数据技术的深入研究,产业界拟将Spark平台作为大数据处理技术的“OS”,Spark平台的研究与发展尚处于起步阶段,国内高校应加大投入研究力度。
和有大数据需求的企业合作,研发软件系统及平台,解决企业实际问题,帮助企业盈利。 和企业合作,申请国家的科研基金,解决大数据关键技术。
5) 在美生活体会
美国教授和管理人员很专业和敬业,注重细节,值得学习。所有接待方人员和培训教师,非常守时,培训课堂一应所需,在学员进入课堂前,完全准备妥当。Dean院长全程陪同培训和参观,始终面带微笑。培训环境干净整洁,一直有咖啡和茶,考虑学员不适应西餐口味,又将工作餐调整为自助餐;去IBM路上准备了快餐,提前向每位学员发放快餐调查问卷,根据每个人的口味自行选择。到IBM沃森实验室参观前,提前为司机师傅打印了彩色路线图。
物质巨大丰富,物件便宜,十年物价没有什么变化。美国人生活方式简单健康,热爱运动和健身,不热衷应酬。对人比较热情、友好
生态环境优美和谐,社会治理规范高效,文化价值多元包容。
(四)回国后需要跟踪落实及需督办事项
1)回国后继续消化和吸收美国培训的大数据技术;
2)和国外的科研人员建立学术联系,加强学术交流和合作;
3)根据培训的内容,逐渐构建大数据相关的课程体系;
4)构建和研究spark大数据平台;
5)基于已有资源和环境开展大数据分析及应用人才培养的探索性工作;
6)积极开展与大数据相关专业的融合研究与实践。
吴景岚
2015年10月28日