聚力名企共建課程，聯合培養高端人才
傳智教育與百度云平臺、帆軟、北京大數據研究院共同研發實戰型大數據課程，并持續為課程輸入高端大數據技術
-
百度云是中國最大的云計算平臺之一，與傳智教育共同制定和推廣大數據人才標準及人才培養方案，為大數據時代下未來教育的新體驗起到了促進和推動作用
-
帆軟領銜中國BI，榮獲“中國BI市場年度占有率第一”，與傳智教育強強聯手，開發BI專題課程，對 BI 工具的定義進行了重新梳理，并且從生態的角度描述了 BI 生態系統
-
北京大數據研究院由中關村管委會、海淀區政府、北京大學、北京工業大學四方共同支持建立，與傳智教育聯手共建互聯網、政務、醫療等行業課程
八大核心優勢，精心鍛造大數據學科
-
大規模集群部署調優
-
全方位布局數據中臺
-
大數據Python生態圈
-
大數據課程占比80%
-
多行業大型實戰項目
-
高級軟件工程師課程
-
IT行業標桿講師團隊
-
獨家Tlias教學系統
02.全方位布局數據中臺 完善“企業級”技能
DATA CENTER
● 參考阿里的數據中臺構建理論，設計數據資產化、創新敏捷化，平臺智能化、服務產品化等核心因素
● 涵蓋大數據計算服務、大數據開發套件、數據主題域倉庫、元數據管理、數據地圖、系統分析、影響域分析、主數據、數據治理、數據服務引擎及數據可視化等內容
● 手把手教會學員如何搭建數據中臺，學習通過數據技術，對海量數據進行采集、計算、存儲、加工，同時統一標準和口徑
03.大數據Python生態圈 PySpark/PyFlink/Alink
PYTHON
掌握大數據數據挖掘技術，提高多業務場景解決數據挖掘問題能力，
培養數據分析與挖掘核心競爭力，實現全棧大數據開發
-
PySpark技術棧
如何從大數據中發現和提取有價值的數據，使用數據挖掘SparkMI&MLlib等技術，達到數據價值化目標，助力于關鍵業務問題解決 -
PyFlink技術棧
通過ALink（Flink機器學習）達到數據價值化目標，同時利用TensorflowOnFlink解決深度學習能力，為學員在大數據+AI領域助力 -
數據科學全流程建模分析
從大數據數據采集、數據ETL、數據分析及機器學習建模構建全流程Pipeline，助力學員成為大數據高端人才
04.覆蓋核心技能 大數據課程占比80%
CORE SKILLS
- 大數據
基礎體驗課 - Java語言編程
- Hadoop技術棧
- 后端數據微服務
接口開發 - NoSQL存儲
- Flink技術棧
- Spark技術棧
-
主講內容
? Linux操作系統
? MySQL數據庫
? Kettle數據預處理
? Apache Superset可視化開發
? 電商運營指標分析可掌握的核心能力
1、掌握企業級ETL平臺的kettle；
2、掌握BI的可視化平臺Superset；
3、掌握kettle流式數據ETL處理設計思想；
4、掌握大數據企業開發中最常見的的linux的操作；
5、掌握一款主流數據庫管理工具DataGrip；
6、掌握企業MySQL的調優方案；
7、掌握大數據分析中數據全量及增量同步解決方案；
8、掌握生產環境中數據分析程序的部署解決方案。 -
主講內容
? 編程基礎
? 面向對象
? 常用類
? 集合操作
? IO操作
? Java基礎增強
? 爬蟲案例可掌握的核心能力
1、掌握Java程序基礎數據類型；
2、掌握開發中常用類如集合、IO流、常用類等操作；
3、掌握Java異常處理機制；
4、掌握反射、網絡編程、多線程開發；
5、掌握Jsoup的網絡爬蟲開發；
6、掌握JDBC數據庫連接操作；
7、掌握ETL數據處理和BI報表開發 。可解決的現實問題
具備JavaSE開發能力。
-
主講內容
? Linux操作系統高級
? 大數據基礎和硬件介紹
? Zookeeper
? HDFS
? MapReduce
? Yarn
? Hive可掌握的核心能力
1、掌握Shell命令；
2、掌握zookeeper原理并應用；
3、掌握HDFS的使用和MapReduce編程；
4、理解MapReduce原理和調優
5、掌握Yarn的原理和調優；
6、掌握Hive的使用和調優。可解決的現實問題
具備Hadoop開發能力、離線數據倉庫開發能力。
-
主講內容
? Spring
? Spring Boot
? Spring Cloud
? Spring Cloud搜索案例可掌握的核心能力
1、掌握SpringBoot整合SpringMVC開發；
2、掌握SpringBoot整合MyBatis開發；
3、掌握Eureka搭建；
4、掌握Feign的使用。可解決的現實問題
具備后端數據微服務接口開發，可勝任通過Spring技術架構完成微服務搭建?？赏瓿善髽I級數據微服務接口開發。
-
主講內容
? Redis存儲
? HBase存儲
? ELK可掌握的核心能力
1、掌握Redis原理及架構；
2、掌握Redis命令操作、數據結構；
3、掌握Hbase原理及架構；
4、掌握HBase命令操作、MapReduce編程；
5、掌握Phoneix二級索引優化查詢；
6、掌握ELK開發。可解決的現實問題
具備使用Hbase和Redis開發調優能力、ELK海量數據處理能力。
-
主講內容
? Kafka
? Flink流式計算
? Flink批處理
? Flink Core
? Flink SQL
? Flink綜合案例可掌握的核心能力
1、掌握Kafka原理及架構；
2、掌握KafkaStreams開發；
3、掌握基于Flink進行實時和離線數據處理、分析；
4、掌握基于Flink的多流并行處理技術；
5、掌握千萬級高速實時采集技術。可解決的現實問題
具備Kafka消息隊列開發和調優能力、Flink流式和批量數據開發能力。
-
主講內容
? Scala語言
? Spark core
? Spark sql
? SparkStreaming
? Structure streaming/p>可掌握的核心能力
1、掌握Scala語言基礎、數據結構；
2、掌握Scala語言高階語法特性；
3、掌握Spark的RDD、DAG、CheckPoint等設計思想；
4、掌握SparkSQL結構化數據處理，Spark On Hive整合；
5、掌握SparkStreaming整合Kafka完成實時數據處理；
6、掌握SparkStreaming偏移量管理及Checkpoint；
7、掌握StructureStreaming整合多數據源完成實時數據處理。可解決的現實問題
具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力。
05.多行業大型實戰項目 完整還原真實業務場景
PROJECTS
“大廠級”深度項目
基于熱門行業領域
聯合專家顧問團
研發“大廠級”深度項目
基于企業真實項目
企業真實項目
拒絕項目DEMO
拒絕脫離市場需求
多行業大型項目
項目實戰占比超40%
涵蓋電商、證券、物流、
教育、出行等行業
企業真實研發環境
置身其中
體驗真實企業研發環境
為進入企業提前準備
-
今日指數證券
-
星途車聯網
-
客快物流
-
知行教育
-
智數電商
-
千面電商
-
天知票務反爬蟲
-
蜂鳥DMP廣告分析
-
萬網信號
-
項目簡介
實時監控證券市場的市場每日的業務交易，實現對證券市場交易數據的統計分析
搭建監察預警體系，包括：預警規則管理，實時預警，歷史預警，監察歷史數據分析等
股市行情交易數據實時采集、實時數據分析、多維分析，即席查詢，實時大屏監控展示項目特色
◆ 高性能處理，流處理計算引擎采用的是Flink，實時處理100萬筆/s的交易數據
◆ 基于企業主流的實時流處理技術框架：Flume、Kafka、Flink、Hbase等
◆ 基于ELK的批業務數據處理，可進行大數據量多維分析
◆ Hbase5日內秒級行情億級規模，MySQL5日內分時行情千萬級規模
◆ T-5日內實時行情響應耗時毫秒級，T-5日外的歷史行情響應耗時秒級 -
-
項目簡介
涵蓋完整車聯網業務場景，包含駕駛行程、電子圍欄、遠程診斷等真實業務
通過QBOX車輛終端數據收集，并解析為QSP數據、QCS數據、充電數據、HU數據
提供實時計算服務與離線計算服務，并通過API接口以報表和大屏展示分析結果數據項目特色
海量數據處理，系統15分鐘內收集的新能源車輛的數據超過千萬條
基于Hive、HBase、HDFS數據存儲
基于Kafka數據傳輸
基于Flink全棧數據處理
基于Nginx做反向代理、LSV和Keepalived負載均衡和高可用 -
-
項目簡介
基于一家大型物流公司研發的智慧物流大數據平臺，日訂單上千萬
圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等
提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求，并針對數據分析結果，提出具有中觀指導意義的解決方案項目特色
涵蓋離線業務、實時業務
ClickHouse實時存儲、計算引擎
Kudu + Impala準實時分析系統
基于Docker搭建異構數據源，還原企業真實應用場景
以企業主流的Spark生態圈為核心技術，例如：Spark、Spark SQL、Structure Streaming -
-
項目簡介
建立集團數據倉庫，統一集團數據中心，把分散的業務數據集中存儲和處理
項目從需求調研、設計、版本控制、研發、測試到落地上線，涵蓋了項目的完整工序
挖掘分析海量用戶行為數據，定制多維數據集合，形成數據集市，供各個場景主題使用。項目特色
掌握離線數倉的分層與建模， 從需求、設計、研發、測試到落地上線的完整項目流程。
大量教育大數據的真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力。
包括海量數據場景下如何優化配置、拉鏈表的具體應用、新增數據和更新數據的抽取和分析、hive函數的具體應用、
ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。 -
-
項目簡介
分析來自全品類B2B2C電商系統，以電商核心流程為主線進行數據分析，支撐運營
建立基于用戶的全面分析體系，從多個維度建立基于用戶的運營體系
實時分析用戶訪問流量、訂單、店鋪等運營指標項目特色
采用可Kettle同步MySQL數據采集方案； 采用JS埋點 + Flume實時用戶點擊行為數據采集方案
采用Spark on hive數據倉庫解決方案； 采用Apache開源項目Superset可視化方案
采用Kylin交互式快速數據分析方案； 采用Canal進行MySQL業務數據實時采集方案
采用Flink對數據進行實時ETL處理解決方案； 采用Flink + Druid實時數倉解決方案
采用HBase + Phoenix明細數據實時查詢方案； 采用開源平臺Azkaban調度方案 -
-
項目簡介
基于垂直電商平臺構建的用戶全方位畫像，完整抽取出一個用戶的信息全貌
業務圍繞商品、訂單、用戶基礎信息及行為信息等數據
實現用戶和商品基礎標簽、組合標簽、微觀畫像、標簽查詢等業務場景，提供了企業級多方位業務決策分析項目特色
采用 Spark 進行指標分析，并通過Spark MLLib建立數據挖掘模型
使用 HBase 存儲標簽數據
使用 CDH 管理集群
使用自動化腳本部署集群
使用 Oozie 搭建自動化提交平臺 -
-
項目簡介
限制偽裝技術越來越強的爬蟲訪問和惡意占座行為，開發的大數據實時防爬工具
旅游行業和出行行業通用的防爬規則，提升行業競爭優勢
完整高效通用的實時處理流程：數據采集、數據預處理、實時識別預警、離線分析
包含狀態監控、反爬指標配置、運營指標監控展示等功能項目特色
使用Lua進行數據采集，實現并發量的最大化，降低高并發時的數據丟失
采用Kafka，實現各模塊的解耦，利用Kafka的高吞吐和可持久化的特性為平臺提升穩定性
利用Spark Streaming實現數據的實時計算,完成從數據預處理到爬蟲黑名單的計算
Spark的狀態監控功能，實時掌握Spark的運行狀態
使用SparkSQL實現數據可視化相關指標的離線計算 -
-
項目簡介
采用企業中真實的手機應用訪問數據，找到廣告系統中適應的人群，促進精準廣告投放
建立用戶畫像系統，通過系統中的畫像特征，篩選出符合廣告主投放要求的用戶
建立完整商圈庫，通過商圈庫確保廣告在在各個城市商圈的有效投放項目特色
使用Apache Kudu作為核心數據存儲
基于高德地圖API打造自有商圈庫，方便管理、更新
基于GraphFrames海量數據圖計算
使用Zeppelin進行可視化查詢與展示 -
-
項目簡介
基于手機測速軟件采集數據對手機網速、上行下行流量、信號強度等信息進行宏觀分析
計算用戶附近移動、聯通、電信信號強弱、不同方位信號強弱
對比各家運營商提供有力的參考數據，如同一地標三家運營商信號強度項目特色
使用Echarts技術實現前端數據展示，與地圖相關的報表使用百度地圖提供的API。
實時接入mysql，不影響線上系統的正常使用，將數據發送到大數據平臺
實時數據處理流程使用Canal+Flume+Kafka+SparkStreaming等技術
離線計算使用HDFS+Hive+Azkaban等技術 -
06.高級軟件工程師課程 拓展職場升值必備技能
LESSON
高級軟件工程師課程
- 大數據組件源碼
深度解釋 - 大數據數據結構
- 大數據運維
- 數據科學
- 直通大廠面試題
-
大數據數據計算
大數據數據存儲
大數據數據采集
1-MapReduce核心源碼解析
2-Hive核心源碼解析
3-Spark核心源碼解析4-Flink技術核心源碼解析
5-Flink技術監控及調優
6-Yarn源碼及性能調優1-Hbase核心源碼
2-HDFS核心源碼解析
3-Kafka底層源碼解析4-Druid技術監控及調優
5-Elasticsearch源碼解析及調優1-Flume核心源碼解析
2-Cannel核心源碼解析3-DataX核心源碼解析
4-性能調優加強 -
分布式協調系統與
分布式通信原理及算法集群資源管理與調度算法
大數據常用的算法及數據結構
基礎數據結構
1-序列化與遠程過程調用框架
2-消息隊列
3-應用層多播通信及Gossip協議4-Chubby鎖服務
5-大數據組件的應用1-資源異質性與工作負載異質性
2-搶占式調度與非搶占式調度
3-資源管理與調度系統范型4-資源調度策略(調度器算法)
5-大數據組件的應用1-哈希分片（Hash Partition）
2-虛擬桶（Virtual Buckets）
3-一致性哈希（Consistent Hashing）
4-范圍分片（Range Partition）5-布隆過濾器（Bloom Filter）
6-SkipList數據結構
7-LSM樹
8-LZSS算法9-Cuckoo哈希
10-大數據組件的應用1-線性表、鏈表、堆棧、隊列
2-樹、二叉樹及森林
3-圖數據結構4-排序和查找算法
5-大數據組件的應用 -
集群運維監控
大規模集群快速部署
基礎加強
1-Grafana監控
2-配置Grafana的zabbix數據源
3-內存buffer/cache/父子進程/swap/io隊列等4-Docker容器+監控
5-Kafka監控/Yarm監控/Spark&Flink作業監控1-基于Linux系統的常用服務的安裝配置，快速部署
2-基于Apache Ambari的Hadoop集群的供應、管理和監控3-Cloudera Manager部署
4-AWS的EMR部署1-Shell編程及Python語言加強
2- 掌握高級系統設置（SELinux、防火墻、DNS等）
3-性能調優加強 -
數據科學案例實戰分析
數據分析方法論
統計學基礎
基于實際業務場景案例結合數據分析與統計學完成數據科學案例全棧數據分析
1-數據分析六步曲
2-數據分析方法論(包括杜邦分析法、漏斗圖分析法、矩陣關聯分析法等 )
3-數據圖表業務數據可視化及圖表分析描述性統計、概率、離散型隨機變量分布，連續型隨機變量法分布、二元概率分布及抽樣分布、假設檢驗、統計過程和質量控制
-
07.IT行業標桿講師團隊 傳授解決問題能力
TEACHERS
-
人才篩選
-
技術考核
-
定制個人培訓方案
-
教育心理學培訓
-
教育方法培訓
-
模擬教學
-
培訓考核
-
培訓結果驗收
-
180天強化模式
-
正式授課
-
孟老師
對Hadoop、Spark、Flink等大數據體系有深入研究，有豐富的離線計算和實時計算經驗。曾主導及參與空軍總部裝備信息化系統、國家衛星氣象中心FY3C地面監測系統、用戶畫像系統、分布式爬蟲系統、BI系統、歷史數據在線查詢系統、采集系統等項目的開發。
-
曹老師
阿里云大數據ACP專業認證工程師，多年大數據開發及教育培訓經驗，主導開發過房地產公司ERP系統、在線教育大數據分析平臺、高校招生咨詢大數據集成系統、電商推薦系統等項目。熟悉Java、Scala、Python等編程語言，擅長Spark、Hadoop、Flink等大數據主流技術。
-
張老師
專注于億級用戶規模的大數據平臺研發建設和研發，歷任項目經理、高級大牛、技術總監等職務，主導設計游戲一體化運營平臺、通用大數據任務調度平臺實現公司各部門集群資源共享、離線任務數據分析平臺構建等，精通 C/C++、C#、Hadoop、Scala、Spark、Flink等有深入研究。
-
張老師
多年大數據技術經驗，具有多年Hadoop、Flink、HBase、kafka、Redis、Flume、Spring Cloud等從業經驗，先后服務于上交所、上海銀行、中國郵政等，參與數據中心和電商平臺的大數據及JAVA EE的平臺設計和具體實施。
-
趙老師
人工智能領域技術大牛，多年模式識別和數據挖掘開發經驗，主導研發多項國家和省級科研項目，專注ML/DL/PR/KG領域相關算法的應用，曾負責企業級信貸風控模型和智能醫療數據平臺開發，對Hadoop、Spark、Tensorflow和PyTorch等大數據、人工智能技術有多年企業實踐經驗。
-
唐老師
從事多年互聯網和大數據平臺研發，主導和參與電商、醫療、通信等領域的項目開發，具有豐富的行業解決方案經驗，對Hadoop、Kafka、Hive等大數據生態領域技術有深入研究。擅長教學和應用實踐結合的方式為學員分享技術，驅動學員技術的應用性、思維的擴散性。
-
趙老師
從事多年爬蟲與大數據開發與教學，對大數據的主流框架有著深入的理解，如hadoop、kafka、hive等，參與并主導的項目涉及分布式電商,數據爬取,離線分析等多個行業,授課邏輯嚴謹，條理清晰，注重學生獨立解決問題的能力。
-
聞老師
高級互聯網軟件工程師，曾擔任某物流公司CRM開發團隊TL。多年大數據領域研發經驗。擅長分布式開發和離線處理計算。對Hadoop、Flume、kafka、spark、ELK等大數據生態領域技術有一定的實踐經驗。
-
周老師
曾任IBM項目經理，主導IBM Platform KPI BI系統開發、e-support全球PMR智能調度分發系統開發；曾任國內大型中間件供應商，項目經理，主導國內最大的智能加油機供應商、大型鍛造廠CRM、統一服務平臺（ESB）項目研發、以及企業級BI項目。擅長Hadoop、Spark、Flink、Kylin、Druid等大數據技術有深入研究。
-
陳老師
多年大數據研發，擔任過大數據工程師、項目經理、大數據架構師，曾主導企業級大數據平臺建設和多項大數據項目研發，對Hadoop、HBase、Spark等大數據計算引擎深入理解以及項目實際經驗。參與基于Flink的實時反欺詐風控、實時地鐵故障預警等流式計算平臺的設計和研發。
-
孔老師
先后在途牛旅游網、卓望集團等公司擔任過經理、架構師和總監等職務。擅長服務端的高可用及性能提升，熟悉常見的開源框架、微服務治理及海量數據性能優化。曾負責和參與途牛旅游網的超級自由行、資源搜索等項目；負責江蘇移動的家庭網絡電視平臺架構等。
-
李老師
多年開發和教學經驗,精通C/C++，JavaEE，MySQL,Hadoop等技術,曾任職于中國電子科技集團公司第七研究所，擔任高級研發工程師，曾參與移動公司RFID智能資產管理系統,中石油智能化數據分析系統等項目,講課風格：幽默風趣、通俗易懂、深入淺出。
-
王老師
軟件工程學士,熟練掌握Java,Android,大數據技術,專注于JavaEE企業級應用開發,曾主導研發河南省畜牧局OA,河南省地稅局移動OA,中國移動渠道分析平臺,審計署(鄭州)內部考核自動化分析系統。
-
魏老師
多年資深大數據開發工程師經驗，先后涉足Java、大數據、云計算等領域，熟悉大數據服務開發與云計算平臺開發，專注于互聯網APP后臺數據統計、分析、建模等流程；熟悉車輛網領域云計算平臺開發，擁有豐富的企業級大數據應用架構及開發經驗。
-
孫老師
擁有5年大數據項目開發經驗，參與過千億級數據項目，精通hive、spark、flink等大數據開發工具。對技術一直抱有很大的熱情，喜歡研究各種新技術。主張快樂學習，由淺入深，讓學生輕松掌握課堂上教學的知識。
-
康老師
多年的項目研發與教學經驗，具有豐富的企業級數據倉庫和實時大數據開發經驗。精通Greenplum等分布式關系型數據庫，Hadoop大數據，Flink實時流計算等大數據軟件開發及企業級數據倉庫開發，曾供職于德邦公司、東風汽車子公司、宇信科技、易愛科技等企業，先后擔任過高級軟件開發工程師，項目架構師。
-
曹老師
高級大數據開發工程師，曾擔任某互聯網公司大數據部門TL。負責主導了多個0到1大數據平臺的落地實施，并在其中擔任主力研發人員。具有多年大數據領域和云平臺研發經驗，曾管理維護上PB級數據量的大規模集群，有海量數據的實際處理經驗。精通Java、Scala、Python等多種開發語言。
-
江老師
具有多年大數據項目開發實戰經驗，先后參與過東南大學水聲實驗室、佳通、SPDB等不同行業的大數據平臺的開發及實施，一直從事于HPC、云計算及大數據平臺的研發，擁有豐富的大數據開發經驗，對數據倉庫、實時大數據平臺、數據挖掘等領域有較深的研究。
適合哪些人群學習？
-
應屆大學畢業生
缺乏工作經驗和技能，對未來沒有明確的規劃，期望通過學習大數據躋身IT行業的人員
-
預轉行人員
目前工作待遇不理想，上升空間有限或已進入職業瓶頸期，想要突破轉行的人員
-
大數據技術愛好者
有較強的思維邏輯能力，應對復雜業務場景處理，對大數據技術感興趣的人員
-
有基礎尋求提升
具有一定的大數據技術理論基礎，需要了解大數據技術在實際業務中如何使用的人員
傳智教育大數據學員構成
統計數據顯示，無論你是非計算機專業或計算機專業，沒有工作經驗或有一定工作經驗，都可以學大數據課程就業方向，是職業長遠發展的起點
-
國家政策支持
大數據寫入政府工作報告，被列入國家發展戰略，助力中國經濟從高速增長轉向高質量發展 -
就業領域廣泛
不管是傳統領域，還是新興領域，都需要大數據人才進行大數據的采集、分析、開發、應用等 -
人才缺口巨大
各大主流招聘網站信息年增長189%，大數據人才缺口巨大，十大高薪職業之一，供求比超過1:14
精英社區，助你打造IT職業生態圈
好口碑，學員更認可的大數據課程
2012年至今始終堅持以嚴謹態度對待教研教學，為學員提供高品質課程，用實力鑄就好口碑!
