Vineyard 是一个专为云原生环境下大数据分析场景中端到端工作流提供内存数据共享的分布式引擎,我们很高兴宣布 Vineyard 在 2021 年 4 月 27 日被云原生基金会(CNCF)TOC 接受为沙箱(Sandbox)项目。
在2020年5月北京BGP机房网络质量评测报告中,世纪互联博兴位居榜首,世纪互联星光和光环新网酒仙桥分列第二名和第三名。另外排名前十的还有秦淮望京、天地祥云木樨园、蓝汛首鸣、光环新网东环广场、企商在线晓月苑、迅安联创大族及通管数据中心马连道。
摘要:常见存储算法结构涵盖:哈希存储,B 、B+、B*树存储,LSM树存储引擎,R树,倒排索引,矩阵存储,对象与块,图结构存储等等。
摘要:Hash索引有两个明显的限制:(1)当key的数量很多时,维护Hash索引会给内存带来很大的压力;(2)区间查询很低效。如何对这两个限制进行优化呢?这就轮到本文介绍的主角,LSM树,出场了。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
摘要:Redis是一种支持Key-Value等多种数据结构的存储系统。
SQLite是一个C语言库,是一个小巧、快速、独立、可靠性很高、功能全面的SQL数据库引擎。SQLite是世界上最常用的数据库引擎。在所有的手机里和大部分计算机里,在人们每天使用的无数的软件里,都有他的存在。
Jeff Dean 在他关于分布式系统的 ppt 中列出了“每个程序员都应该了解的数字(Numbers Everyone Should Know)”,对计算机各类操作的耗时做了大致估计。这些数字在很多地方都很有用。
Fluid 本质上是一个云原生环境下的数据密集型应用的高效支撑平台。本文将向大家介绍 Fluid 项目是如何将数据密集型应用更高效地运行于 K8s 环境中的。
随着 5G/ 芯片 / 区块链等等新技术的不断成熟、云计算的普及和云原生时代带来的诸多便捷,开发者和架构师们眼前的挑战也不再只是 0-1 的建设问题,技术如何更多地带来业务价值成为了一个值得讨论的话题。
深度学习或者AI的出现,改变了我们以往的解决问题的编程方式,不再是代码上直观的表达。
在以容器为应用运行载体的Kubernetes平台上,运行AI训练和推理任务,正逐步成为AI厂商以及AI应用在企业落地的热点和首选。这两年,国内外陆续有相关的研究报告在关注这两个前沿技术的结合和突破,与之相关的工具和创新型企业也不断涌现。
5.17是什么节日呢?
近日,面向未来的下一代存储厂商「焱融科技」宣布完成1.2亿元A+轮融资,本轮融资由海松资本领投,同创伟业、开普云泛海基金跟投,老股东耀途资本加注,云岫资本担任独家财务顾问。
当今数字芯片技术飞速发展,数字半导体芯片已经渗透到社会生活的各个领域,从消费电子产品、工业自动化设备到航天技术都能看到半导体芯片技术的身影。国家在芯片技术上的投入和重视程度也提升到战略层面,芯片设计制造正在成为新一代的国之重器。
在说NVMe之前,我们觉得有必要先聊一聊NVM(Non-Volatile Memory),即非易失性内存。从名字上看就知道,NVM是一种类内存式(访问及寻址方式类似)的设备,它必须具备高速读写数据的能力,但它和普通内存的区别在于Non-Volatile,即在关机后再打开电源也可以
摘要:BlockManager 是 spark 中至关重要的一个组件,在spark的运行过程中到处都有 BlockManager 的身影,只有搞清楚 BlockManager 的原理和机制,你才能更加深入的理解 spark。
SSD已经成为非常普遍的存储介质了,如今NVMe硬盘又进一步将SATA SSD的性能提升了近十倍。对于大多数人说,只是介质和性能上的变化,普通人甚至IT工程师会简单地认为,只要使用了SSD,存储系统访问数据的性能也会随之获得数百倍性能的提升,事实真的是这样吗?
很多刚刚进入存储行业或者想要转行到分布式存储行业的工程师,经常有困惑,就是“一名分布式存储工程师的技能树是怎样的?”
随着微服务与云的发展,分布式架构的需求变得越来越普遍,传统的 SQL 结构化存储方案已经跟不上脚步, NoSQL 便出现了。DCache 作为基于 TARS 的分布式 NoSQL 缓存系统,完美支持 TARS 服务,本系列文章将着重介绍 DCache 的安装与使用。
Prometheus 是当下最流行的监控平台,它的主要职责是从各个目标节点中采集监控数据,后持久化到本地的时序数据库中,并向外部提供便捷的查询接口。本文尝试探讨 Prometheus 存储层的演进过程,信息源主要来自于 Prometheus 团队在历届 PromConf 的分享。
MySQL的一系列学习笔记,会尽量从底层原理的角度来分析MySQL的性能优化
这些年,阿里云原生 etcd 服务发生了翻天覆地的变化,这篇文章主要分享一下 etcd 服务在面对业务量大规模增长下遇到的问题以及我们是如何解决的,希望对读者了解 etcd 的使用和管控运维提供经验分享。
伴随大家对稳定性重视程度的不断提升、社区可观测性项目的火热,可观测性成了一个很热门的话题,站在不同角度会产生不同理解。 我们从软件开发的生命周期出发,尝试形成对可观测性的一个宏观理解,并从SRE和Serverless两个角度具化可观测性的理解以及实践。
在《一文读懂 K8s 持久化存储流程》一文我们重点介绍了 K8s 内部的存储流程,以及 PV、PVC、StorageClass、Kubelet 等之间的调用关系。接下来本文将将重点放在 CSI(Container Storage Interface)容器存储接口上,探究什么是 CSI 及其内部工作原理。
很多人看着 K8s 成为最热门的开源技术,都纷纷开始学习 K8s,但也有很多人在抱怨 K8s 太复杂了。
伴随大家对稳定性重视程度的不断提升、社区可观测性项目的火热,可观测性成了一个很热门的话题,站在不同角度会产生不同理解。 我们从软件开发的生命周期出发,尝试形成对可观测性的一个宏观理解,并从SRE和Serverless两个角度具化可观测性的理解以及实践。
近日阿里巴巴开源了其云原生容器镜像加速技术,它推出的 overlaybd 镜像格式,相比于传统的分层 tar 包文件格式,实现了基于网络的按需读取,从而使得容器可以快速启动。
K8s在一个承上启下的位置,云原生用户使用K8s目的是为了交付和管理应用,包括灰度发布、扩容缩容等。但对用户来说,实现这些能力,通过直接操作K8s API难免有些复杂。那如何才能简单使用K8s的技术,实现按需使用,最终实现降本增效呢?答案就是Knative。
只有自己吃自己的狗粮,自己做的东西才不“🐶”。Serverless Devs 自发展之处到现在,它的成长是迅速的,这很大一部分的原因是“我们在吃自己的狗粮”,我们相信,如果自己都用不爽的东西,大家一定很难用的起来。
企业级SSD在存储系统的部署运维过程中,有时会需要收集日志信息做进一步问题调试分析,传统的做法是一些SSD厂商会自定义命令和工具进行收集,但不同SSD厂商工具和命令格式不尽相同,这就为存储系统的运维带来很高的运维成本。有些存储系统对SSD要求十分严格,
Kruise 是 Cruise 的谐音,'K' for Kubernetes,寓意 Kubernetes 上应用的航行和自动巡行,它满载着阿里巴巴多年在大规模应用部署、发布与管理最佳实践,以及阿里云 Kubernetes 服务数千客户的需求沉淀。
本文将从数据特点、性能表现、扩展性等方面出发,对区块链存储模块的数据库选型及定向优化进行介绍。
完整的区块链系统内部一定会包含一个「存储模块」,整体而言,区块链系统确实可以起到持久化数据的作用。但是如果直接将区块链系统看作是一个数据库,也是有待商榷的。我们来分析一下传统数据库系统的运行机制以及区块链系统内部存储模块的功能职责。
IPFS是点对点协议InterPlanetaryFileSystem的简称,它是一个面向全球的、点对点的分布式版本文件系统,试图将所有具有相同文件系统的计算设备连接在一起。IPFS云算力挖矿搭建【李生I32可4z77薇z558可掂】IPFS云算力挖矿技术