要處理大數據，開發人員需要了解他們正在處理的業務問題，以及部署架構和數據。爲了瞭解大數據，我們採訪了21家公司的22位高管，他們正在幫助
客戶管理和優化他們的數據，以推動業務價值。我們的問題是：開發者在大數據項目上需要什麼技能?
瞭解業務問題
1. 從數據中心的角度來看工作。你有什麼數據、你想知道什麼、你要怎麼填補空白來解決問題?
2. 開發人員需要各種技能來處理大數據項目，其中包括以下三項至關重要的技能：A. 清楚地瞭解公司內部的業務目標範圍，以及這些技術如何與各種技術保持一致。B. 在應用程序的中，開發人員需要了解他們正在處理的數據集的商業價值。C. 開發人員作爲一個組織的一部分，需要有能夠構建和管理一個應用程序的能力。
3. 瞭解用例並找出最佳解決方案堆棧。培養核心基礎人才。理解數學結構、框架和模型。瞭解業務應用程序 ---如何將信息用於業務。有許多工具可以直觀地減少初始難度。正如上述，技能的完美結合涉及統計、數學知識、數據建模經驗、編程經驗以及商業領域的敏銳度。儘管找到具有完美技能組合的個人是相當難得的，但某些工具集和系統可以減輕對編程經驗的需求，幫助數據建模部分，甚至減少對深入瞭解預測背後的數學模型。
部署體系結構
1. 未來是AI / ML的，同時也別忘了微服務。在雲中與AI / ML工具結合起來，這需要不同的、更大的願景。
2. 瞭解雲、微服務、本地分佈和安全性。
3. 瞭解流行的開源系統的架構，跟上趨勢。
數據
1. 雖然開發人員掌握了開發流程，但爲了擴展平臺將會幫助理解Kafka。你不必手動完成所有的編碼工作，將會有其他工具來消除連接性問題。
2. 利用數據結構來簡化流程。使用數據作爲容器和微服務的一般資源。智能製造更有針對性和反應性的過程。看質量問題和根本原因。讓工作更容易，這樣他們就能做出更多的貢獻。
3. 集成資源來構建應用程序和推薦引擎。補充
軟件堆棧、ML庫和計算資源。結構化數據，使其易於使用。
4. 擁抱非關係數據模型，如文檔和半結構化。爲了分析的目的，經常需要對數據進行非規範化處理。
5. 理解結構、維度和變量的基本數據詞彙。瞭解一個給定的變量可以做什麼樣的分析。
6. 如何處理大規模的數據。多用戶的併發性應用程序開發人員可以快速獲取語言瞭解數據生態系統的工作原理。
7. 開發人員需要使用編程語言、概率和統計，應用數學和算法來獲得機器學習的上升趨勢。他們還需要了解數據的上下文，最終用戶將如何使用數據，以及如何重用數據。他們需要考慮分佈式計算和架構，將數據管理恰當地分離到不同的區域，以保持大數據架構的組織性，敏捷性和安全性。DevOps原則也需要被應用到。通過參與整個
軟件交付流程，數據專家可以幫助其他團隊瞭解軟件在生產中面臨的數據挑戰類型。
8. 數據工程和數據科學是一個大的分支。雖然對數據科學的基本知識只需要有所掌握，但對不同數據技術的深入瞭解卻是必要的。儘管NoSQL很受歡迎，但SQL仍然是查詢數據的標準。開發人員需要了解不同的部署選項——雲本地、容器和流行的部署選項。對數據庫和系統概念(如一致性保證、事務邊界、系統體系結構、保證和職責等)的良好理解將幫助開發人員瞭解環境、對技術進行分類、並識別他們應該研究的技術。
其他
1. 瞭解使用Apache Spark的AI/ML的開源選項。不要侷限於大型框架，簡化的框架可能更實用。
2. 對於Hadoop、MapReduce和Python來說，所需的技能非常不同。大多數開發人員都對這些技術有一定的興趣。決定某一項技術，集中精力深入到那個領域。在JavaScript、Node、Java或移動設備上使用iOS構建應用程序。在分析中，有很多SQL，它不會消失。C和c++對性能有好處。Java和Python可能擁有最多的數據庫支持。
