20200507 - saas行为路径支持用户群 2020

私有部署：

1. sdkv前端发起请求 -> 用户群临时表（hdfs）
	2. sdkv -> redis -> publish_key
	3. python(redis_subscribe.py) -> publish_key -> spark -> 用户群临时表（hdfs）-zgid
	4.....

kudu(t+0) + hdfs(t+1)
	impala-shell

saas:
	1. sdkv前端发起请求 -> 用户群临时表（redshift）? -> v2_xxx -> s3(rs -> s3【sql】)
	2. sdkv -> redis -> publish_key
	3. python(redis_subscribe.py) -> publish_key -> spark -> 用户群临时表（redshift）-zgid
	4.....

s3(t+0) + redshift(t+1)

psql -h zhugeio-group0.ctysrjucrpx0.cn-north-1.redshift.amazonaws.com.cn -p 5439  -d zhugeioedw -U sdk -tc "unload(select * from v2_table) to 's3://zhugeio/user/hive/warehouse/zhugeio.db/v2_tablexxx/data' credentials 'aws_access_key_id=AKIAPDBF4PDDM2UBD42A;aws_secret_access_key=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' parallel OFF ALLOWOVERWRITE delimiter '\t';"

sql:

unload('select * from v2_group_data_63605_20200507_2877062') to 's3://zhugeio/user/hive/warehouse/zhugeio.db/v2_group_data_63605_20200507_2877062/data' credentials 'aws_access_key_id=AKIAPDBF4PDDM2UBD42A;aws_secret_access_key=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' parallel OFF ALLOWOVERWRITE delimiter '\t';
	
	461_0_20200507_20200513_0_0_0_1_v2_group_data_461_20200514_2894311_v2_new

vanki

韬光养晦，静待时机

创建： 2020-05-07 20:36:37

更新： 2020-05-14 20:07:01

20200507 - saas行为路径支持用户群 2020

TA的最新笔记

TA的最热笔记

欢 迎

登录

新朋友 注册

注册

老朋友 登录

20200507 - saas行为路径支持用户群 2020

TA的最新笔记

TA的最热笔记

欢迎

新朋友注册

老朋友登录