菜单
登录注册
欢 迎
登录
自动登录
忘记密码?
新朋友
注册
注册
老朋友
登录
笔记内容为空!
TA的笔记树 >>
20200507 - saas行为路径支持用户群
2020
私有部署: 1. sdkv前端发起请求 -> 用户群临时表(hdfs) 2. sdkv -> redis -> publish_key 3. python(redis_subscribe.py) -> publish_key -> spark -> 用户群临时表(hdfs)-zgid 4..... kudu(t+0) + hdfs(t+1) impala-shell saas: 1. sdkv前端发起请求 -> 用户群临时表(redshift)? -> v2_xxx -> s3(rs -> s3【sql】) 2. sdkv -> redis -> publish_key 3. python(redis_subscribe.py) -> publish_key -> spark -> 用户群临时表(redshift)-zgid 4..... s3(t+0) + redshift(t+1) psql -h zhugeio-group0.ctysrjucrpx0.cn-north-1.redshift.amazonaws.com.cn -p 5439 -d zhugeioedw -U sdk -tc "unload(select * from v2_table) to 's3://zhugeio/user/hive/warehouse/zhugeio.db/v2_tablexxx/data' credentials 'aws_access_key_id=AKIAPDBF4PDDM2UBD42A;aws_secret_access_key=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' parallel OFF ALLOWOVERWRITE delimiter '\t';" sql: unload('select * from v2_group_data_63605_20200507_2877062') to 's3://zhugeio/user/hive/warehouse/zhugeio.db/v2_group_data_63605_20200507_2877062/data' credentials 'aws_access_key_id=AKIAPDBF4PDDM2UBD42A;aws_secret_access_key=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' parallel OFF ALLOWOVERWRITE delimiter '\t'; 461_0_20200507_20200513_0_0_0_1_v2_group_data_461_20200514_2894311_v2_new
vanki
我对普通的人类没有兴趣,你们只要是有外星人、未来人、异世界人、超能力者, 就尽管来找我吧!以上!
浏览:
1017
创建:
2020-05-07 20:36:37
更新:
2020-05-14 20:07:01
TA的最新笔记
RedShift常用使用
elasticsearch连接常见问题
20200507 - saas行为路径支持用户群
tomcat隐藏版本号
仓库时间转时间戳
mysql备份库
tomcat7升级8接口参数特殊符号引发的问题
SpringBoot 自定义任务(ThreadPoolTaskScheduler)工具类
java集合处理工具类
Charles破解
TA的最热笔记
java异步http请求工具类(org.asynchttpclient)
Lantern(蓝灯)下载地址
java基于spring.redisTemplate实现分布式锁工具类
Kotlin + SpringBoot + JPA(Hibernate) + Repository自定义方法
iTerm2主题配置与常用技巧
IDEA汉化
Sequel Pro连接mysql8打开数据库报错
centos-Hadoop2.7.3完全分布式搭建(HA)
SpringBoot上传文件报错(The temporary upload location [..] is not valid)
mac常用软件