Zero to Snowflake
概述 欢迎来到Snowflake!这本入门级指南专为数据库和数据仓库管理员和架构师设计,将帮助您浏览 Snowflake 界面,并向您介绍我们的一些核心功能。注册 Snowflake 的 30 天免费试用版,并按照此实验练习进行操作。一旦我们介绍了基础知识,您就可以开始处理自己的数据,并像专业人士一样深入研究 Snowflake 的更高级功能。
先决条件:
使用 Snowflake 30 天免费试用环境
熟悉SQL、数据库概念和对象的基本知识
熟悉 CSV 逗号分隔文件和 JSON 半结构化数据
学习内容
如何创建schema、database、table、view和Virtual Warehouse。
如何加载结构化和半结构化数据。
如何对Snowflake中的数据执行分析查询,包括表之间的联接。
如何克隆对象。
如何使用Time Travel撤销错误。
如何创建角色和用户,并授予他们权限。
如何安全轻松地与其他帐户共享数据。
如何在 Snowflake Data Marketplace 中使用数据集。
准备实验环境 如果您尚未注册,请 ...
Snowflake注册
Snowflake注册1、Snoflake注册 Snowflake为开发者提供了30天400美元的免费的额度,用完为止。注册地址:https://signup.snowflake.com/
2、注册步骤
打开连接 https://signup.snowflake.com/ ,从上至下依次填写表单 姓名、邮箱、公司名、职位、国家,点击CONTINUE(最好使用outlook或google邮箱注册,国内邮箱可能会出现失败的情况);
选择Snowflake edition和Cloud provider,这里选择了Enterprise和Amazon Web Services,区域选择Tokyo(离国内进),点击GET STARTED;
调查问卷,选择跳过;
注册完成,邮箱验证激活;
登录自己刚刚注册填写的邮箱,查看是否收到了一封标题为Activate your Snowflake account的邮件,如果没收到,看一下垃圾邮件里,点击CLICK TO ACTIVATE,记住下面的这个链接 https://rwmpdkz-lr40722.snowflakecomputi ...
Tasks
1f37575f0c0b67305a80dfd8d3c8b78838e17f808b8b8714ebaaf916bcb49aac3473c4b105b1c04a20b0d106fb1ea8c028d38b1b41fc61e3cfff1a41daa348a9b20c2d045de384c29fbbd1c7917642c72cfca81d147ddab1ef82f67ebb6f56b95ca881dd4b0bdc1f6b302b9d63679f42875fe9b8731f7578c4c38aba500062829cd2e6e4da0b70870d397ec6be588e45dbff0d351ada0ec1118ca72c2b5b12ea9e81d4f54141dbf20099696c8895b6982a37659f9077127c687b3b2c0d69222a056785dfb5e13e3580e4d00411c9955951d4f53fbf19edb470ed3ee5a791f9f60f7e3d4b4a4988297d9758850b929f9514e73b7524e5973a1 ...
Database Change Management with Schemachange and GitHub
1. Overview 本指南将提供有关如何使用 GitHub Actions 为 Snowflake 构建简单的 CI/CD 管道的分步说明。我希望这将为您提供足够的详细信息,以便您开始使用 Snowflake 和 GitHub Actions 进行 DevOps 之旅。 DevOps 关注软件应用程序的自动化开发、发布和维护。因此,DevOps非常广泛,涵盖了整个软件开发生命周期(SDLC)。用于管理整个SDLC的软件工具环境很复杂,因为有许多不同的必需功能/工具,包括:
需求管理
项目管理(瀑布式、敏捷/Scrum)
源代码管理(版本控制)
生成管理 (CI/CD)
测试管理 (CI/CD)
发布管理 (CI/CD)
本指南将主要重点介绍如何利用 GitHub 的 GitHub Actions 服务对 Snowflake 进行自动化发布管理。此外,为了在 Snowflake 中管理数据库对象/更改,将使用 schemachange 数据库更改管理 (DCM) 工具。
先决条件 本指南 ...
Snowflake 开发规范拟定 v1.0
Snowflake 数据仓库开发规范 v1.0
版本号
修订日期
修订人
修订说明
v1.0
2024-01-13
LiuZhu
初步拟定命名规范、分层规范、代码格式规范等
1. 命名规范1.1 数据库命名规范
所有的数据库名称应 全部大写,使用下划线分隔词语。
避免使用保留关键字作为数据库名。
例如:RAW_DATA
1.2 表命名规范
所有的表名 全部大写,使用下划线分隔词语。
表名应该清晰地反映表的内容。
避免使用保留关键字作为表名。
例如:CUSTOMER_DETAILS
1.3 列命名规范
所有的列名 全部大写,使用下划线分隔词语。
列名应该清晰地反映列的内容。
避免使用保留关键字作为列名。
例如:CUSTOMER_ID
1.4 事实表命名规范
事实表的名字应该以 FACT_ 开头,后接表达该表内容的名词,使用大写字母并用下划线分隔词语。
事实表的名字应该清晰地反映表的内容。
例如:FACT_SALES
1.5 维度表命名规范
维度表的名字应该以 DIM_ 开头,后接表达该表内容的名词,使用大写字母并用下划线分隔词语。
维度表的名字应该清晰地反 ...
Snowflake❄
Snowflake:一个革命性的云数据平台1. 什么是Snowflake? Snowflake是一种云数据仓库,它提供了一个全面的、基于SQL的数据分析解决方案。Snowflake以其独特的架构和优秀的性能,赢得了许多企业的青睐。它的设计理念是将计算和存储分离,使得用户可以独立地调整这两个方面,以满足自身的需求。
2. Snowflake的特点2.1 传统数仓 - 计算与存储耦合
传统数据仓库通常采用的是计算和存储耦合的架构(Shared-nothing Architecture)。在这种架构中,每个节点都有自己的计算资源和存储空间,数据被横向分布在各个节点上。计算过程中,每个节点只需处理其自身存储的数据。 这种架构的优点在于理论上速度很快,因为它减少了数据在各节点间的传输时间,并且在数据处理过程中不会出现资源争抢的情况。然而,这种架构也有一些明显的缺点,包括:
数据分布不均匀,因为数据需要预先分配到各个节点,而每个节点只处理其自身的数据;
节点的增加或减少操作相当复杂,因为大量数据需要重新分配; ...
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick Start
Create a new post1$ hexo new "My New Post1"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites1$ hexo deploy
More info: Deployment
