資訊

從初創到頂級技術公司,都在用哪些數據科學技術棧?

大數據文摘出品來源:medium編譯:睡不著的iris
說到技術棧,你能想到什么?
組織在構建自己專屬的技術棧時,會使用到各種不同的相似技術。但也存在一些趨勢,如果你正在組建一個新的團隊、組織或公司的時候,一開始你可能需要效仿某個現成的技術棧,再依據需求來構建自己的技術棧,還需要對一些過時的技術進行升級。
medium上的一位博主最近與數據工程師、數據科學家和分析師交流后,總結了技術棧信息,并分享了每個部分都有哪些最常使用的棧,至于云服務選擇、容器、CI/CD工具等應用和模型部署相關的技術,就留給工程師和DevOps伙伴們來探索。
一起看看。

公司A—SaaS創業公司

數據庫:MySQL數據倉庫:PostgreSQL, SnowflakeETL:Embulk, Python, Airflow可視化:Redash, Metabase人工智能/機器學習:暫無

公司B—AI創業公司

數據庫:PostgreSQL數據倉庫:PostgreSQL + StitchETL:大量使用Python可視化:Matplotlib, TensorBoard (sorta?)人工智能/機器學習:無處不在的TensorFlow,部分Sklearn或開始嘗試使用

公司C—中型技術公司

數據庫:MongoDB (NoSQL), 或遷移至 DynamoDB (NoSQL)數據倉庫:Amazon RedshifETL:Airflow, Python可視化:什么都有一些人工智能/機器學習:投入可觀

公司D—大量分析需求的大型組織

數據庫:SQL Server (幾乎鐘情于Azure SQL DB)數據倉庫:Azure Synapse (SQL DW), SnowflakeETL:Azure Data Factory, Python可視化:Tableau, Power BI分析:什么都有一點人工智能/機器學習:什么都有一點

公司E—較少分析需求的大型組織

數據庫:Redis, SQL Server數據倉庫:Azure Databricks (Spark)ETL:Azure Data Factory, Python可視化:Redash人工智能/機器學習:隨機一次性使用,或依據用戶偏好來

公司F—中型數據公司

數據庫:MySQL(其他基本用的很少)數據倉庫:Hive (以Hive為主,其他隨意)ETL:50 種不同工具 (有些夸張,但真沒什么結構)可視化:使用各種主流可視化工具人工智能/機器學習:什么都有,看用戶偏好

公司G—技術公司(頂尖數據文化)

數據庫:MySQL, Cassandra (NoSQL), 定制其他數據庫數據倉庫:Hadoop&定制/從頭開始構建ETL:各種用例所需的棧都不同,該公司對技術棧選型所考慮的因素比較多……最終自己開發了不少ETL工具,或使用現成的工具可視化:常用的有Python庫、R和Tableau,但也會自己開發一些工具,并將工具開源人工智能/機器學習:采用TensorFlow框架實現深度學習,常見的機器學習標準庫,自行開發各類用于模型管理、追蹤指標的工具
最高效的方法是直接效仿,但你得搞清楚他們都能幫忙你做什么,才可以用好。比如同是學習勒布朗·詹姆斯電影,你可能成為一個好的籃球選手,你可以花費大量時間來研究他的比賽,或模仿他的比賽方式來提升球技,但你終究不是詹姆斯。如果你和我一樣,遠沒有詹姆斯那樣的超能力,也不能跳過天花板,你就需要研究如何在比賽中表現得更好,變得更加優秀。
需要注意的是,很多技術我都沒有列出,你可能也發現了其中缺少一些流行的技術,例如Impala(Hadoop引擎)、Rapidminer(分析工具)、R(編程語言)、PyTorch(機器學習庫)等。如果你沒有看到自己喜歡的技術,請不要生氣,這只能說明我只訪談了小部分人,他們沒有用到這些技術。 相關報道:

https://towardsdatascience.com/some-common-data-science-stacks-7525477c0dd0

我還沒有學會寫個人說明!

憋了這么久,阿里云數據庫再放大招

上一篇

馬斯克放話:6個月內公測衛星互聯網!顛覆5G的將不是6G

下一篇

你也可能喜歡

從初創到頂級技術公司,都在用哪些數據科學技術棧?

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃
重庆时时彩官网直播开奖 湖北省体彩11选5开奖结果 六合开奖结果 安徽11选5今天开奖结果查询 萬赢在线配资 藏宝阁两肖两码会员料 江苏快3基本走势图和值和跨度 股票分析软件破解版 排列3投注技巧 快乐双彩最新开奖公告 东方电气股票分析 淘股王 中国重工股票吧 正规黑龙江11选5走势图 七星彩中奖规则及奖金 pk10计划人工在线计划 网上炒股APP