數(shù)據(jù)湖的發(fā)展契機(jī)，來源于近年來的AI熱潮和云計(jì)算、5G的發(fā)展，在日益發(fā)展的海量數(shù)據(jù)時(shí)代，數(shù)據(jù)已成為企業(yè)發(fā)展的核心資產(chǎn)，通過構(gòu)建適用于大數(shù)據(jù)的底層架構(gòu)，圍繞Hadoop提供語義一致性、數(shù)據(jù)治理和安全性。Hadoop作為數(shù)據(jù)湖最常用的解決方案之一，其的部署和需求仍然很大并且正在增長。在最近的一項(xiàng)涉及235名受訪者的調(diào)查中，

大數(shù)據(jù)經(jīng)過了多年的發(fā)展，以Hadoop生態(tài)為核心的大數(shù)據(jù)框架已經(jīng)十分成熟，這個(gè)過程伴隨著對(duì)存儲(chǔ)需求的不斷變化，從而演進(jìn)出了數(shù)據(jù)湖的概念以及在數(shù)據(jù)湖存儲(chǔ)方面的幾個(gè)新需求特征：如數(shù)據(jù)的分布組織與元數(shù)據(jù)的高效管理；存儲(chǔ)和計(jì)算分離，大幅降低成本；數(shù)據(jù)全生命周期管理；多訪問協(xié)議支持達(dá)到All in One的存儲(chǔ)能力；具備數(shù)據(jù)的智

2019年將近尾聲,談到截止目前,2019年星環(huán) 科技 所取得成績,創(chuàng)始人孫元浩做了一些簡單的總結(jié)。 “第一,從產(chǎn)品線來說,從2017年開始,星環(huán)科技已經(jīng)基本確定三條產(chǎn)品線,大數(shù)據(jù)產(chǎn)品是主要產(chǎn)品線,而人工智能機(jī)器學(xué)習(xí)平臺(tái)和容器的智能大數(shù)據(jù)云平臺(tái),是圍繞客戶在使用大數(shù)據(jù)基礎(chǔ)軟件的基礎(chǔ)需求上

【編者按】雖然大數(shù)據(jù)依然如日中天，但該領(lǐng)域曾經(jīng)的領(lǐng)頭羊 Cloudera 、Hortonworks 和 MapR 三家公司最近卻步履蹣跚，多少掩蓋了其幾分風(fēng)光。Cloudera 和 Hortonworks 合并，而 MapR 開始裁員。與此同時(shí)，大數(shù)據(jù)領(lǐng)域的 Elastic 、Mongo

Tom Reilly, chief executive officer of Cloudera Inc. 今年6月6日，Hadoop 商業(yè) 公司Cloudera突然暴跌了40%，一時(shí)間引發(fā)了大家激烈的討論，在這些討論之中，最具代表性的觀點(diǎn)便是Cloudera的暴跌代表著Hadoop的隕落。

Tom Reilly, chief executive officer of Cloudera Inc.文｜郭華今年6月6日，Hadoop商業(yè)公司Cloudera突然暴跌了40%，一時(shí)間引發(fā)了大家激烈的討論，在這些討論之中，最具代表性的觀點(diǎn)便是Cloudera的暴跌代表著Hadoop的隕落。但我認(rèn)為Cloudera的暴

快手大數(shù)據(jù)架構(gòu)工程師鐘靚近日在 A2M 人工智能與機(jī)器學(xué)習(xí)創(chuàng)新峰會(huì)分享了題為《SQL on Hadoop 在快手大數(shù)據(jù)平臺(tái)的實(shí)踐與優(yōu)化》的演講，主要從 SQL on Hadoop 介紹、快手 SQL on Hadoop 平臺(tái)概述、SQL on Hadoop 在快手的使用經(jīng)驗(yàn)和改進(jìn)分析、快手 SQL on Ha

HDFS作為Hadoop生態(tài)系統(tǒng)的分布式文件系統(tǒng)，它被設(shè)計(jì)用來存儲(chǔ)海量數(shù)據(jù)，特別是TB、PB量級(jí)別的數(shù)據(jù)。它的設(shè)計(jì)的初衷也是存儲(chǔ)大文件，而如果HDFS上存在大量的小文件，會(huì)對(duì)系統(tǒng)性能帶來嚴(yán)重的問題。本文想跟大家聊下小文件的處理。本文的小文件是指那些大小比HDFS的block (Hadoop 2.x的默認(rèn)大小128MB)

【編者按】在 開源 已經(jīng)逐漸成為一種政治正確的時(shí)候，開源項(xiàng)目最終會(huì)走向哪里？本文針對(duì)Cloudera和Hortonworks的宣布合并一事進(jìn)行發(fā)問，回溯 Hadoop 的商業(yè)化和合并前后歷程，試圖尋找這一答案。 本文首發(fā)于IT經(jīng)理世界，作者李昊原；