随着云计算的普及与云原生的广泛应用,越来越多的从业者、决策者清晰地认识到“云原生化将成为企业技术创新的关键要素,也是完成企业数字化转型的最短路径”,企业应用上云已经不仅仅是一种趋势,更是现代企业开发模式的必然要求。
随着云数据库业务规模不断扩大,用户对安全审计、性能智能分析等高级特性的要求越来越高。如何安全审计SQL?如何快速定位性能异常?如何保护数据库安全?是每个云厂商不得不思考的问题。
CloudQuery 2021年第一场直播强势来袭!3月30日,CloudQuery将发布 v1.3.5,我们将在直播中为大家逐一讲解从 v1.3.2 - v1.3.5 增加的新特性,感兴趣的同学们不要错过,赶紧报名入群吧~
子查询(Subquery)的优化一直以来都是 SQL 查询优化中的难点之一。关联子查询的基本执行方式类似于 Nested-Loop,但是这种执行方式的效率常常低到难以忍受。
SQL不同于与其他编程语言的最明显特征是处理代码的顺序。在大数编程语言中,代码按编码顺序被处理,但是在SQL语言中,第一个被处理的子句是FROM子句,尽管SELECT语句第一个出现,但是几乎总是最后被处理。
使用外键时会使锁升级,并行度下降。例如,不使用外键的时候,只需要锁一张表,当使用外键后,需要锁两张表。
很早出现的NoSql数据库
MySQL到ClickHouse数据同步原理及实践。
摘要: 使用Spark SQL进行ETL任务,在读取某张表的时候报错:“IOException: totalValueCount == 0”,但该表在写入时,并没有什么异常。
实现 sql 类似 select max(date) 效果
Apache Calcite是一个基础的软件框架,能够为许多流行的开源数据处理系统提供查询处理、优化和查询语言的能力支持。其灵活、可嵌入且可扩展的架构设计使得Apache Calcite在大数据处理框架上,成为一个很好的选择。
数据是无价的,所以生产环境中定时备份数据库显得尤为重要。备份能防止服务器故障和人为误操作带来的数据丢失。
摘要: 使用Spark SQL进行ETL任务,在读取某张表的时候报错:“IOException: totalValueCount == 0”,但该表在写入时,并没有什么异常。
今天和大家聊一聊SQL server的内存管理,说之前我们需要先提出一个问题,SQL Server到底是如何使用内存的?弄清楚如何使用之后,才能谈如何管理。
摘要:为了解决过多依赖 Hive 的问题, SparkSQL 使用了一个新的 SQL 优化器替代 Hive 中的优化器, 这个优化器就是 Catalyst。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
摘要:Spark SQL是用于处理结构化数据的模块。与Spark RDD不同的是,Spark SQL提供数据的结构信息(源数据)和性能更好,可以通过SQL和DataSet API与Spark SQL进行交互。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
摘要: 使用Spark SQL进行ETL任务,在读取某张表的时候报错:“IOException: totalValueCount == 0”,但该表在写入时,并没有什么异常。
一款跨平台免费的开源 SQL 编辑器和数据库管理器!
解读:InnoDB支持事物、行级锁、并发性能更好,CPU及内存缓存页优化使得资源利用率更高。
今天和大家聊一聊SQL server的内存管理,说之前我们需要先提出一个问题,SQL Server到底是如何使用内存的?弄清楚如何使用之后,才能谈如何管理。
什么是 DBA 和开发者的快乐星球?一体化数据管控云平台 CloudQuery 带你研究~
什么是 DBA 和开发者的快乐星球?一体化数据管控云平台 CloudQuery 带你研究~欢迎观看 CloudQuery 使用教程系列之 No.5 组织架构,在本节视频中你将了解如何使用 CloudQuery 管理组织架构。
摘要:数字化时代下,华为云数据管理服务DAS基于AI技术,于近期推出了智能SQL分析(包括慢SQL发现、SQL透视)、workload级别索引推荐、存储空间预测等运维特性,加上原有的数据库运维能力,构成了一个完整的数据库运维生态,加速数据运维自动化、智能化进程,
如何限制各部门仅可查看属于本部门的某些非敏感数据?亦或如何给使用者指定查看某些特定行或某些列的权限? PostgreSQL 的权限控制非常完善,它在各个级别上都具有广泛的安全功能。本文将看一下在 PostgreSQL 中利用行级安全和列级安全如何来解决上述问题。
查找某一事务中的完整 SQL 是一个慢工细活,考察 DBA 的诸多细节知识储备,同时考验 DBA 的耐心,但确实是非常实用的 DBA 必备运维技能。 本文从运维实践的角度浅析了一下,欢迎大家来从底层原理/源码的角度探讨更高效的结论和方法。
摘要:百万级、千万级数据处理,核心关键在于数据存储方案设计,存储方案设计的是否合理,直接影响到数据CRUD操作。总体设计可以考虑一下几个方面进行设计考虑: 数据存储结构设计;索引设计;数据主键设计;查询方案设计。
写在前面: 大家好,我是强哥,一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验, 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。
本文是字节跳动数据质量平台针对流式数据质量监控的技术调研及选型思考。
摘要:采用 SQL 作为数据查询和分析的入口是一种数据全栈的思路。
摘要:为了解决过多依赖 Hive 的问题, SparkSQL 使用了一个新的 SQL 优化器替代 Hive 中的优化器, 这个优化器就是 Catalyst。
摘要:结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序。
什么是 DBA 和开发者的快乐星球?一体化数据管控云平台 CloudQuery 带你研究~欢迎观看 CloudQuery 使用教程系列之 No.5 组织架构,在本节视频中你将了解如何使用 CloudQuery 管理组织架构。