曾經認為Hive自帶的函數應該可以cover住我的日常所需,心想那些需要使用自定義函數的場景是不是太奇葩,誰知命運弄人,自己還是碰上了。
需求很簡單,我需要模擬Oracle中的SYS_GUID()函數,生成一個32位的字母數字隨機串。
代碼如下:超級簡單實用
import java.util.Random;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.udf.UDFType;
import org.apache.hadoop.io.Text;
@UDFType(deterministic = false)
public class HiveUDFOracleSysguid extends UDF {
private Random random = new Random();
private Text result = new Text();
public Text evaluate(int length) {
result.set(getCharAndNumr(length));
return result;
}
private String getCharAndNumr(int length) {
StringBuffer val = new StringBuffer();
for (int i = 0; i < length; i++) {
String charOrNum = random.nextInt(2) % 2 == 0 ? "char" : "num"; // 輸出字母還是數字
if ("char".equalsIgnoreCase(charOrNum)) // 字符串
{
int choice = 65; // 大寫字母65,小寫字母96
val.append((char) (choice + random.nextInt(26)));
} else if ("num".equalsIgnoreCase(charOrNum)) // 數字
{
val.append(String.valueOf(random.nextInt(10)));
}
}
return val.toString();
}
}
部署
步驟一:
打包該類,上傳到集群中,進入hive cli;
步驟二:
將jar包添加到hive的classpath中:
hive> add jar /home/hive-tools-sysguid-for-oracle.jar;
步驟三:
基於自定義UDF類創建自定義函數:
hive> create temporary function sys_guid as 'cn.bigdata.tools.HiveUDFOracleSysguid';
其中,sys_guid 是自己命名的函數名稱,將用於hive sql中,cn.bigdata.tools.HiveUDFOracleSysguid是類名。
執行
和內置函數使用方法一樣:
select sys_guid(32) from sp_t_re_valid_service limit 20;
填坑記錄
但,如果僅僅按照以上模板改寫,最終運行時會遇到一個很噁心的問題:
生成隨機串的邏輯只被執行了一遍,所有行的該字段字符串都是一樣的,並不會像預想的那樣,即每行一個隨機串。
該問題請教了無數知名公司的大蝦都沒給出解決方案,查閱無數篇“UDF開發詳解”類博客也沒找到解藥,情急之下靈機一動,想到了HIVE內置的rand()函數,功能其實和我這個類似,但是rand()就能很好的每行輸出一個隨機數,所以決定從rand()的源碼找答案。
rand()函數的實現類是 org.apache.hadoop.hive.ql.udf.,各位可自行查閱。
我先將核心邏輯拷貝到自己的UDF中測試了一下,發現問題還是存在,核心邏輯只被執行了一遍,每行的對應字段都是相同的數字。
出現該現象是好事,因為問題的關鍵肯定在源碼核心邏輯以外的某個角落!
通過觀察核心邏輯以外可能對該結果造成影響的代碼,發現了@UDFType(deterministic = false),該註解指定了當前UDF的類型是否是確定性,默認為true,然而,rand()的源碼中將該屬性設置為了false!
經測試,@UDFType(deterministic = false)果然是結症所在,加上這句註解後,我的UDF可以正常執行了,每行輸出不同的32位隨機字母數字串,over。
閱讀更多 大數據與機器學習 的文章