chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

小美找到了做數(shù)據(jù)產(chǎn)品經(jīng)理的師兄小帥看了看。

小帥：你這個(gè)查詢(xún)有問(wèn)題，業(yè)務(wù)系統(tǒng)的sql不能直接搬來(lái)用。

小美：我看長(zhǎng)得差不多啊，除了多了個(gè)分區(qū)外，不都是sql嗎？

小帥：你現(xiàn)在建的是Hive查詢(xún)，Hive SQL雖說(shuō)和SQL非常相似，但是一些細(xì)節(jié)上還是有區(qū)別的。

一、Hive SQL是什么？

Hive是大數(shù)據(jù)領(lǐng)域常用的數(shù)據(jù)倉(cāng)庫(kù)組件，可以借助查詢(xún)語(yǔ)言SQl將HDFS上存儲(chǔ)的結(jié)構(gòu)化文件映射成一張數(shù)據(jù)庫(kù)表，并提供類(lèi)SQL查詢(xún)功能。Hive-SQL就是這個(gè)”類(lèi)SQL查詢(xún)功能”。Hive-SQL與SQL基本上一樣，因?yàn)楫?dāng)初的設(shè)計(jì)目的，就是讓會(huì)SQL不會(huì)編程MapReduce的也能完成處理數(shù)據(jù)工作。

【拓展】Hive-SQL是如何轉(zhuǎn)化為MapReduce任務(wù)的呢？整個(gè)編譯過(guò)程分為六個(gè)階段：

1) Antlr定義SQL的語(yǔ)法規(guī)則，完成SQL詞法，語(yǔ)法解析，將SQL轉(zhuǎn)化為抽象語(yǔ)法樹(shù)AST Tree
2) 遍歷AST Tree，抽象出查詢(xún)的基本組成單元QueryBlock
3) 遍歷QueryBlock，翻譯為執(zhí)行操作樹(shù)OperatorTree
4) 邏輯層優(yōu)化器進(jìn)行OperatorTree變換，合并不必要的ReduceSinkOperator，減少shuffle數(shù)據(jù)量
5) 遍歷OperatorTree，翻譯為MapReduce任務(wù)
6）物理層優(yōu)化器進(jìn)行MapReduce任務(wù)的變換，生成最終的執(zhí)行計(jì)劃

這里簡(jiǎn)單介紹一下其中的幾個(gè)關(guān)鍵部分：

Antlr：Antlr是一種語(yǔ)言識(shí)別的工具，用來(lái)實(shí)現(xiàn)SQL的詞法和語(yǔ)法解析，完成包括詞法分析、語(yǔ)法分析、語(yǔ)義分析、中間代碼生成等過(guò)程。使用時(shí)只需要編寫(xiě)對(duì)應(yīng)的語(yǔ)法文件，定義詞法和語(yǔ)法替換規(guī)則即可。

抽象語(yǔ)法樹(shù)AST Tree：經(jīng)過(guò)詞法和語(yǔ)法解析后，使用 Antlr 的抽象語(yǔ)法樹(shù)語(yǔ)法Abstract Syntax Tree，將輸入語(yǔ)句轉(zhuǎn)換成抽象語(yǔ)法樹(shù)，方便后續(xù)進(jìn)一步的處理。

QueryBlock：AST Tree仍然非常復(fù)雜，不夠結(jié)構(gòu)化，不方便直接翻譯為MapReduce程序，AST Tree轉(zhuǎn)化為QueryBlock就是將SQL進(jìn)一步抽象和結(jié)構(gòu)化。QueryBlock是一條SQL最基本的組成單元，包括三個(gè)部分：輸入源，計(jì)算過(guò)程，輸出。簡(jiǎn)單來(lái)講一個(gè)QueryBlock就是一個(gè)子查詢(xún)。我們?cè)诓榭碒iveSQL查詢(xún)?nèi)罩緯r(shí)會(huì)看到一個(gè)個(gè)流程塊，這就是分拆出來(lái)的QueryBlock。

小美的查詢(xún)語(yǔ)句中用了HAVING子句，這個(gè)是Hive不支持的，可以用子查詢(xún)來(lái)代替。然后小帥為小美講了講HiveSQL的基本語(yǔ)法。

常用的顯示命令

show databases;   -- 查看有哪些庫(kù)
show tables;    -- 查看當(dāng)前庫(kù)下有哪些表
show partitions;    -- 查看分區(qū)
show functions;    -- 羅列所有的函數(shù)
describe extended table_name;    -- 查看表的結(jié)構(gòu)，字段，分區(qū)等情況

常用庫(kù)、表操作

create database name;  -- 創(chuàng)建數(shù)據(jù)庫(kù)

create [external]table [if not exists] table_name --創(chuàng)建表，指定表名。external 表示創(chuàng)建的表是否為外部表，不加此項(xiàng)則為內(nèi)部表。if not exists 表示該表不存在時(shí)創(chuàng)建該表，否則忽略異常。

[(col_name data_type [comment col_comment], ...)] -- 創(chuàng)建字段，指定字段類(lèi)型、注釋

[comment table_comment]  -- 表的注釋

[partitioned by(col_name data_type [comment col_comment], col_name_2 data_type_2, ...)] -- 指定分區(qū)，要注意分區(qū)字段不能出現(xiàn)的建表的字段中

[clustered by(col_name, col_name_2, ...)] [sorted by (col_name [ASC|DESC], ...)] into num_buckets buckets] -- 分桶

[row format row_format]

[stored as file_format]  -- 指定存儲(chǔ)文件類(lèi)型。textfile純文本數(shù)據(jù)，sequencefil壓縮數(shù)據(jù)（可節(jié)省存儲(chǔ)空間）。

[location hdfs_path]  -- 存儲(chǔ)路徑

create table table_name like old_table_name;   -- 使用like關(guān)鍵字復(fù)制表結(jié)構(gòu)

alter table table_name rename to new_table_name;  -- 更改表名

alter table table_name add columns (col_name data_type comment 'col_comment');   -- 增加一個(gè)字段并添加注釋

alter table table_name replace columns (col_name data_type, col_name_2 data_type_2);   -- 刪除列

alter table table_name add [if not exists] partition_name; -- 增加分區(qū)

alter table table_name drop partition_name, partition_name_2;   -- 刪除分區(qū)

常用數(shù)據(jù)操作

insert into table_1 select * from table_2;  -- 在table_1后追加數(shù)據(jù)

insert overwrite table_1 select * from table_2;  -- 先將table_1中數(shù)據(jù)清空，然后添加數(shù)據(jù)

常用查詢(xún)操作

HiveSQL的查詢(xún)語(yǔ)句結(jié)構(gòu)和SQL一致，除了前面提到的HAVING子句問(wèn)題外，還需要注意的是HiveSQL中沒(méi)有not null，當(dāng)字段為null時(shí)，使用\n代替。 

三、Hive SQL常用函數(shù)

小美的查詢(xún)中有兩處函數(shù)調(diào)用錯(cuò)誤：

1) 用了GROUP_CONCAT()函數(shù)，這個(gè)在HiveSQL中沒(méi)有，但是可以用CONCAT_WS()函數(shù)代替；

2) 是substring_index()函數(shù)，這個(gè)應(yīng)該替換成split()函數(shù)。

然后小帥為小美講了講Hive中的常用函數(shù)。

• 數(shù)學(xué)函數(shù)

bin(int d)      -- 計(jì)算二進(jìn)制值d的string值
rand(int seed)       -- 返回隨機(jī)數(shù),seed是隨機(jī)因子
round(double d,int n)  -- 返回保留n位小數(shù)的近似d值
floor(double d)       -- 返回小于d的最大整值
ceil(double d)       -- 返回大于d的最小整值

日期函數(shù)

current_date()  -- 返回當(dāng)前日期

unix_timestamp()  -- 返回當(dāng)前時(shí)間的unix時(shí)間戳，也可指定某一特定日期。如unix_timestamp('2021-01-13','yyyy-mm-dd')=1610513364

from_unixtime()  -- 返回unix時(shí)間戳的日期。如selectfrom_unixtime(unix_timestamp('2021-01-13','yyyy-mm-dd'),'yyyymmdd')='20210113'

to_date(string timestamp)   -- 返回時(shí)間字符串中的日期部分，如to_date('2021-01-0100:00:00')='2021-01-01'

year(date)    -- 返回日期date的年，如year('2021-01-01')=2021

month(date)   -- 返回日期date的月，如month('2021-01-01')=1

day(date)   -- 返回日期date的天，如day('2021-01-01')=1

weekofyear(date)  -- 返回日期date位于該年第幾周，如weekofyear('2021-01-01')=1

datediff(date1, date2)  -- 返回日期date1與date2相差的天數(shù)，如datediff('2021-01-01','2021-01-02')=1

date_add(date，int1)   -- 返回日期date加上int1的日期，如date_add('2021-01-01'，2)='2021-01-03'

date_sub(date，int1)   -- 返回日期date減去int1的日期，如date_sub('2021-01-03'，2)='2021-01-01'

months_between(date1，date2)  -- 返回date1與date2相差月份，如months_between('2021-03-01'，'2021-01-01')=2

add_months(date，int1)  -- 返回date加上int1個(gè)月的日期，int1可為負(fù)數(shù)。如add_months('2021-02-01'，-1)='2021-01-01'

last_day(date)   -- 返回date所在月份最后一天。如last_day('2021-01-01')='2021-01-31'

next_day(date，day1)  -- 返回日期date后下個(gè)星期day1的日期。day1為星期X的英文前兩字母如next_day('2021-01-013'，'MO') 返回'2021-01-18'

trunc(date，string1)  -- 返回日期所在月的第一天或所在年的第一天。String1可為年(YYYY/YY/YEAR)或月(MONTH/MON/MM)。如trunc('2021-01-13'，'MM')='2021-01-01'，trunc('2021-02-01'，'YYYY')='2021-01-01'

字符串函數(shù)

length(string)  -- 返回字符串長(zhǎng)度

concat(string1，string2)  -- 返回拼接string1及string2后的字符串

concat_ws(sep, string1,string2)  -- 返回按指定分隔符sep拼接后的字符串

lower(string)  -- 返回小寫(xiě)字符串，同lcase(string)。

upper(string)  -- 返回大寫(xiě)字符串，同ucase(string)。

ascii(string)   -- 返回字符串第一個(gè)字符的ascii值。

space(int1)   -- 返回int1長(zhǎng)度的空格字符串。

trim(string)  -- 去掉字符串左右空格。

ltrim(string)   -- 去掉字符串左空格。

rtrim(string)   -- 去掉字符串右空格。

repeat(string，int1)  -- 返回重復(fù)string字符串int1次后的字符串。

reverse(string)  -- 返回string反轉(zhuǎn)后的字符串。如reverse('abc')='cba'

lpad(string，len1，pad1)  -- 以pad1字符左填充string字符串，至len1長(zhǎng)度。如rpad('abc',5,'1')='11abc'。

rpad(string，len1，pad1)  -- 以pad1字符右填充string字符串，至len1長(zhǎng)度。如rpad('abc',5,'1')='abc11'。

split(string，pat1)  -- 以pat1正則分隔字符串string，返回?cái)?shù)組。如split('a,b,c',',') = ["a","b","c"]

substr(string，index1，int1)  -- 從index位置起截取int1個(gè)字符。如substr('abcde',1,2)='ab'

regexp_replace(string1,string2, string4)   --正則表達(dá)式替換函數(shù)。將字符串1中的符合正則表達(dá)式string2的部分替換為string3。如regexp_replace(‘a(chǎn)bcde, ‘b|c|d’, ”)=’ae’

聚合函數(shù)

count(col)  -- 統(tǒng)計(jì)行數(shù)
sum(col)  -- 統(tǒng)計(jì)指定列和
avg(col)  -- 統(tǒng)計(jì)指定列平均值
min(col)  -- 返回指定列最小值
max(col)  -- 返回指定列最大值

窗口函數(shù)

row_number() over(partitiion by .. order by .. )  -- 根據(jù)partition排序，相同值取不同序號(hào)，不存在序號(hào)跳躍

rank() over(partition by ..  order by ..)   -- 根據(jù)partition排序，相同值取相同序號(hào)，存在序號(hào)跳躍

dense_rank() over(partition by .. order by ..)   -- 根據(jù)partition排序，相同值取相同序號(hào)，不存在序號(hào)跳躍

lag(col，n) over(partition by .. order by ..)  --查看當(dāng)前行的上第n行

lead(col，n) over(partition by .. order by ..) -- 查看當(dāng)前行的下第n行

轉(zhuǎn)換函數(shù)

cast(col as dtype)  --將指定值轉(zhuǎn)換為指定數(shù)據(jù)類(lèi)型dtype，如字符串到整型的轉(zhuǎn)換

判斷函數(shù)

NVL(expr1, expr2)  -- 如果第一個(gè)參數(shù)為空則顯示第二個(gè)參數(shù)，反之則顯示第一個(gè)參數(shù)。常用于非空判斷，如nvl(table1.name, '') <> ''

NVL2(expr1, expr2，expr3)  -- 如果第一個(gè)參數(shù)為空則顯示第二個(gè)參數(shù)，反之則顯示第三個(gè)參數(shù)

NULLIF(expr1, expr2)   -- 如果第一個(gè)參數(shù)和第二個(gè)參數(shù)相等則返回空(NULL)，否則返回第一個(gè)參數(shù)

Coalesce(expr1,expr2, expr3….exprn)  -- 返回參數(shù)序列中第一個(gè)非空參數(shù)

解析函數(shù)

regexp_extract(string1,string pattern, int1)   -- 正則表達(dá)式解析函數(shù)。將字符串string1按照正則表達(dá)式pattern的規(guī)則拆分，返回int1指定的字符。如regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 1)=’the’，regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 2)=’bar’

Size(map（,）)  -- 返回map集合的個(gè)數(shù)。如size(map(1,’a’,2,’b’))=2。

find_in_set(string1, string strList)  -- 返回string1在strlist中第一次出現(xiàn)的位置，strlist是用逗號(hào)分割的字符串（集合）。如果沒(méi)有找string1，則返回0.

parse_url(string url_string, stringpartToExtract [, string keyToExtract])  --url解析函數(shù)，partToExtract的有效值為：HOST,PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO。如parse_url(‘ 

&k2=v2#Ref1′,‘QUERY’, ‘k1′)=’v1’

get_json_object(string json_string,string path)  -- json解析函數(shù)。解析json的字符串json_string，返回path指定的內(nèi)容。如果輸入的json字符串無(wú)效，那么返回NULL。

行列轉(zhuǎn)換

concat_ws(sep, collect_set(col1))   -- 多行轉(zhuǎn)一列，以sep分隔符分隔。collect_set在無(wú)重復(fù)的情況下也可以collect_list()代替。collect_set()去重，collect_list()不去重

lateral view explode(split(col1,  sep))  -- 一列轉(zhuǎn)多行。