admin/docusaurus
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

同步现在的代码

Browse Source
This commit is contained in:
linghutianhao
2026-08-14 15:28:57 +08:00
parent 5eab53a777
commit 8b6b8e7ab7
66 changed files with 7248 additions and 1248 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/相寓资料/Doris说明.md
+241
View File
@@ -0,0 +1,241 @@
---
sidebar_position: 10
title: Doris说明
---
# Doris说明
### DWD表开发
```properties
1.加yml配置
2.加step sql文件
3.create_table_all.sql写好记录
decimalv3 小数精度
BIGINT 主键
INT 常规数字
datetime
varchar 字符
4.定时任务加执行地址 http://10.1.67.76:19999/
5.window执行完定时自动加入
```
### 网页说明
##### 数据集
```
1.新增数据集: 录入已创建的dwd表
2.dwd表新增了字段: 图表来源-更多-编辑数据集, 选择列-从原数据同步列 (交换数据集是啥?)
3.增加指标: 图表来源-更多-编辑数据集, 选择指标-增加条件
4.删除亮哥的指标: 后缀加 _del
```
##### 图表
```
```
##### 看板
```
1.可以全局筛选, 可以局部筛选, 可以联动筛选
2.展示:
数量不要小数
金额不要小数
比率用1位小数
```
##### sql工具箱
```
```
### code对应表
```
city_id -> city_name
1 北京
2 杭州
5 苏州
6 太原
7 天津
8 南京
9 上海
15 成都
18 郑州
19 无锡
20 武汉
67 广州
672 广州PARK
contract_state_code -> contract_state
1000100070001 已签约
1000100070003 已作废
1000100070004 已续约
1000100070005 解约中
1000100070006 已解约
1000100070008 续约中
1000100070009 签约中
1000100070010 草稿
signing_route_code -> signing_route
--非太原/太原
1000100790001/1000100820001 AMS纸版签约
1000100790002/1000100820002 APP电子签约
contract_type_code -> contract_type
SF 委托
CF 承租
property_check_state_code -> property_check_state
1000300270001 待审核
1000300270002 审核已通过
1000300270003 审核未通过
1000300270004 待补充
1000300270005 待客户确认
jy_type_code -> jy_type
--非太原/太原
1000100800010001/1000100830010001 AMS纸质解约
1000100800010002/1000100830010001 APP电子解约
```
##### ODS是原材料，DWD是清洗好的零件，DWS是组装好的半成品，那么ADS就是摆在货架上成品。
### ods
```properties
设计ods表,数据类型按全城市的最大值创建
#流程
定时去拉去AMS的数据到ods表 , 链路猜测是ogg->spark->ods
全量定时: 每天全刷
增量定时: 几分钟一刷
```
### dwd
```properties
application.yml 里配置了dwd需要执行哪些sql
dwd-micro: 业务
dws-ads-micro: 数据组用
zipper: ods备份表,比如监控到发生变化,就insert一条,时间是zip_valid_start,对应字段在项目的superset_fields_xxx文件
classpath配置里dwd的建表语句,写法像视图,11
${group}: sfContract
${dwdTable}: dwd_fact_sf
${odsTable}: ods_wk_sf_contract
${odsTables}: 都写的这个,但是实际用的时候还是odsTable
${isFull}: 是否全量
${lookbackSeconds}: 增量数据,前60秒的,一般不用
${jobParam}: XXL-JOB参数
${initSplitPredicate}: isFull=true且数据量很大时, 拆成多个小任务执行
```
### 自己尝试
```yml
dwd_fact_agreement:
enabled: true
ods-tables:
ods_wiwj_agreement_info:
enabled: true
sql-files:
- classpath:sql/dwd/sfContract/dwd_fact_sf_agreement_step1.sql
```
```sql
--委托协议测试表
DROP TABLE IF EXISTS warehouse.dwd_fact_agreement;
CREATE TABLE IF NOT EXISTS warehouse.dwd_fact_agreement (
dw_cityid INT COMMENT '城市ID',
agreement_id BIGINT COMMENT '协议ID',
city_name VARCHAR(20) COMMENT '城市',
contract_id BIGINT COMMENT '合同ID',
contract_type VARCHAR(40) COMMENT '协议类型(收房出房)',
confer_id BIGINT COMMENT '协议类型字典',
confer_name BIGINT COMMENT '协议类型名称',
status VARCHAR(100) COMMENT '协议风控审核状态',
letdatechange VARCHAR(2) COMMENT '首个招租期是否变更',
cycleLetDaysChange VARCHAR(2) COMMENT '托管招租期是否变更',
create_time DATETIME COMMENT '创建时间',
--共通
op_type VARCHAR(20) COMMENT '是否被物理删除',
etl_time DATETIMEV2(3) DEFAULT CURRENT_TIMESTAMP(3) COMMENT 'ETL 加载时间'
)
UNIQUE KEY(dw_cityid, agreement_id)
COMMENT '委托协议测试表'
DISTRIBUTED BY HASH(dw_cityid, agreement_id) BUCKETS 16
PROPERTIES (
"replication_num" = "3",
"enable_unique_key_merge_on_write" = "true"
);
```
##### [dwd_fact_sf_agreement_step1.sql](C:\project\doris-microbatch-executor\src\main\resources\sql\dwd\sfContract\dwd_fact_sf_agreement_step1.sql)
```sql
INSERT INTO dwd_fact_agreement
(
dw_cityid,
agreement_id,
city_name,
contract_id,
contract_type,
confer_id,
confer_name,
status,
letdatechange,
cycleLetDaysChange,
create_time,
op_type,
etl_time
)
SELECT
s.dw_cityid as dw_cityid,
s.ID as agreement_id,
dc.dict_name as city_name,
s.CONTRACTSID as contract_id,
s.CONTRACTTYPE as contract_type,
s.CONFERID as confer_id,
ods_conferid.DICTNAME as confer_name,
s.STATUS as status,
detail.letdatechange AS letdatechange,
detail.cycleLetDaysChange AS cycleLetDaysChange,
s.CREATETIME as create_time,
s.op_type,
s.etl_time
FROM ${odsTable} s
left join dict_config dc on dc.dict_id = s.dw_cityid and dc.dict_type = 'city'
left join ods_taw_system_dicttype ods_conferid on ods_conferid.dw_cityid = s.dw_cityid and ods_conferid.dictid = s.conferid
LEFT JOIN (
SELECT
dw_cityid,
CONFERID,
MAX(CASE WHEN name = 'letDateChange' AND value = 'Y' THEN 'Y' ELSE 'N' END) AS letdatechange,
MAX(CASE WHEN name = 'cycleLetDaysChange' AND value = 'Y' THEN 'Y' ELSE 'N' END) AS cycleLetDaysChange
FROM ods_wiwj_agreement_detail_info
WHERE name IN ('letDateChange', 'cycleLetDaysChange')
GROUP BY dw_cityid, CONFERID
) detail ON detail.dw_cityid = s.dw_cityid AND detail.CONFERID = s.id
INNER JOIN dwd_batch_window b
ON b.dwd_group = '${group}'
AND b.dwd_table = '${dwdTable}'
AND b.ods_table = '${odsTable}'
WHERE s.pos > b.batch_start_pos
AND s.pos <= b.batch_end_pos
AND s.CONTRACTTYPE = 'SF';
```
docs/相寓资料/_category_.json
+8
View File
@@ -0,0 +1,8 @@
{
"label": "相寓资料",
"position": 1,
"link": {
"type": "generated-index",
"description": "相寓系统资料"
}
}
docs/相寓资料/上线相关.md
+53
View File
@@ -0,0 +1,53 @@
---
sidebar_position: 99
title: 上线相关
---
# 上线相关
### 替换
#### 北京替换文件
```
theme.css
applicationContext-all.xml
applicationContext-hession.xml
applicationContext-interface-task.xml
applicationContext-solr.xml
applicationContext-resources.xml
bankconfig-alipay.xml
acp_sdk.properties
pay_zfb_config.properties
server-config.properties
web.xml
pos-config.properties
signatrue-ruleNo.properties
role-config.properties
cuxEbsLog.jsp
unionpay_config.properties
jrProperties.properties）
```
#### 分公司替换文件
```
server-config.properties
role-config.properties
rabbitmq
roleId-houseViewNum.properties
signatrue-ruleNo.properties
applicationContext-solr.xml
applicationContext-resources.xml
applicationContext-ehcache.xml
applicationContext-all.xml
applicationContext-interface-task.xml
bankconfig-alipay.xml
bankconfig-wxpay-V3-app.xml
bankconfig-wxpay-V3-wx.xml
applicationContext-solr.xml
pay_zfb_config.properties
role-config.properties
pos-config.properties
web.xml
unionpay_config.properties
jrProperties.properties
```
{/* truncate */}
docs/相寓资料/系统相关.md
+162
View File
@@ -0,0 +1,162 @@
---
sidebar_position: 1
title: 系统相关
---
# 系统相关
## 各系统地址
| 类型 | 地址 | 备注 |
| :----------------- | :----------------------------------------------------------- | :------------------------------ |
| 数据对接平台 | http://dts-yscvue.1zu.com/ | 前端 |
| | http://dts-ysc.1zu.com | 后端 |
| 催缴中台测试 | srvmid-testvue.1zu.com | 前端 |
| | srvmid-test.1zu.com | 后端 |
| 催缴中台预生产 | https://srvmidtest.1zu.com:20031/ | admin/srvmid@220930 |
| 催缴中台测试猫头鹰 | base_url=http://srvmidtest.1zu.com:20099/ | |
| 禅道地址 | https://zentao-xy.1zu.com/zentaopms/www/my/ | |
| 相寓+APP | https://www.pgyer.com/xiangyu-crm-android-test | |
| 相寓测试APP | https://testapp.1zu.com/ | admin/testappXY@123 |
| yapi | http://testall.1zu.com:20061/group/154 | |
| mq | http://rabbitmq-web.cbs-public.sit-2.private.com/#/ | |
| solr | https://solrtest.1zu.com/solr/index.html#/ | |
| | https://solrtest.1zu.com/solr/index.html#/home/dataimport/dataimport | |
| git | http://testall.1zu.com:20027 | uNCz3DhERDjM |
| 日志测试 | https://vrtest.1zu.com/xiangyulog/init | xiangyuLog/7_LjIh0hkRF3z |
| 日志生产 | https://videovr.1zu.com/xiangyulog/init | 废弃 |
| | https://xylog-down.1zu.com/xiangyulog/init | 最新 |
| 云闪付账号 | https://open.unionpay.com/tjweb/support/faq/mchlist?id=4 | |
| | 6226 0900 0000 0048/张三/510265790128303/18100000000/ 123456 | 示例 |
| 定时 | http://xy-job-test.1zu.com/jobadmin/ | xytest/Kp8@Qw7$Rt3# |
| PINPOINT | pinpoint.1zu.com | |
| superset 数仓 | https://superset-test.1zu.com/ | 8349076/8349076xy |
| IT中心网盘 | \\10.1.74.52\控股相寓it公用 | xiangyu/YTVh7> xydev/Q{'<'}[MT= |
| 相寓官网业主推荐 | https://www.1zu.com/contract/contractOnline.htm | 应该crm接手废弃了 |
| | http://10.1.74.43:8087/contract/contractOnline.htm | 本地 |
| 签章服务器 | http://10.10.115.205:9230/Seal/login.do | 已改为本地签 |
| | http://10.10.115.204:9230/Seal/login.do | |
| | D:\IT_center\40_开发\10_计划\房源-委托-组织架构\签章证书 | |
| 前后端分离项目安装 | D:\IT_center\99_文档工具\10_相关软件工具\srvmid | |
| | http://101.251.221.146:20024/admin/admin/login.htm | admin/123456 |
| 委托组计划地址 | D:\IT_center\40_开发\10_计划\房源-委托-组织架构\开发计划 | |
| 总结/计划 | D:\IT_center\70_述职\2022年 | |
| 脚本上传位置 | D:\projects\IT_center\60_发布\01_上线配套的脚本页面设置等 | |
| 数据库码表 | D:\IT_center\40_开发\数据库密码表_新.xlsx | |
| 地图坐标网站 | https://api.map.baidu.com/lbsapi/getpoint/index.html | |
| 图片背景透明 | https://www.aigei.com/bgremover/ | |
## 开发维护文档
| 类型 | 地址 | 备注 |
| :----------- | :------------------------------------------------------------ | :----------- |
| 催缴中台 | D:\IT_center\40_开发\01_中台管理\01开发基准 | 开发规范书 |
| | D:\IT_center\40_开发\01_中台管理\03设计书 | 维护字典 |
| 数据对接平台 | D:\IT_center\40_开发\05_数据对接平台\01设计相关\字典管理.xlsx | 维护字典 |
| | D:\IT_center\40_开发\05_数据对接平台\04环境更新脚本 | 上线脚本存放 |
## svn地址
| 类型 | 地址 |
| :-------------------------- | :-------------------------------------------------------------------------------------------- |
| 所有资料 | https://10.20.126.1/svn/IT_center |
| 代码-北京 | https://10.20.126.1/svn/src_houtai/5i5j/branch/SrcPhase4_Api_20161129_Ver29787 |
| | https://10.20.126.1/svn/src_houtai/5i5j/branch/SrcPhase4_Houtai_20161129_Ver30394 |
| 代码-杭州 | https://10.20.126.1/svn/src_houtai/5i5j/branch/SrcPhase4_Api_20210818_Ver102341_HZ |
| | https://10.20.126.1/svn/src_houtai/5i5j/branch/SrcPhase4_Houtai_20210818_Ver103075_HZ |
| 代码-无锡 | https://10.20.126.1/svn/src_houtai/5i5j/branch/api_FenGongSi_FeiShouFang_20171107_Ver32829 |
| | https://10.20.126.1/svn/src_houtai/5i5j/branch/Houtai_feiShouFang_shangHai_20190318_Ver55441 |
| 代码-苏州、南京、郑州、天津 | https://10.20.126.1/svn/src_houtai/5i5j/branch/api_FenGongSi_FeiShouFang_20171107_Ver32829 |
| | https://10.20.126.1/svn/src_houtai/5i5j/branch/Houtai_FenGongSi_FeiShouFang_20171107_Ver32465 |
| 代码-太原 | https://10.20.126.1/svn/src_houtai/5i5j/branch/api_FenGongSi_ShouFang_20180402_Ver42086 |
| | https://10.20.126.1/svn/src_houtai/5i5j/branch/Houtai_FenGongSi_ShouFang_20180402_Ver42157 |
| 代码-成都、武汉、广州 | https://10.20.126.1/svn/src_houtai/5i5j/branch/SrcPhase4_Api_cdxyDirect_20221118_Ver122104 |
| | https://10.20.126.1/svn/src_houtai/5i5j/branch/SrcPhase4_Houtai_cdxyDirect_20221118_Ver123302 |
| 代码-上海 | https://10.20.126.1/svn/src_houtai/5i5j/branch/api_SH_20230406_Ver129717 |
| | https://10.20.126.1/svn/src_houtai/5i5j/branch/Houtai_SH_20230406_Ver129724 |
| 代码-APP中台 | https://10.20.126.1/svn/src_houtai/5i5j/branch/ams_mid |
| 相寓官网 | https://10.20.126.1/svn/it_center/10_后台/20_代码/supplier/xiangyu |
| | https://10.20.126.1/svn/it_center/10_后台/20_代码/supplier/common-xiangyu |
| | https://10.20.126.1/svn/it_center/10_后台/20_代码/supplier/api_xiangyu |
## git地址
| 类型 | 地址 |
| :---------------- | :---------------------------------------------------------------------------- |
| 代码-数据对接中台 | git clone http://zhupengying@testall.1zu.com:20027/r/5i5j_xy_datalink.git |
| | git clone http://zhupengying@testall.1zu.com:20027/r/5i5j_xy_datalink_vue.git |
| vr | git clone https://git.1zu.com/r/5i5j_vr.git |
| spark | git clone https://git.1zu.com/r/5i5j_bigdata.git |
## 个人资料
| 类型 | 地址 | 备注 |
| :------- | :------------------------------------------------ | :--------------------- |
| 企业邮箱 | 令狐天昊/linghutianhao@xiangyulife.com/Xiangyu123 | |
| 公司wifi | 5I5J-WLAN | 使用员工编号和密码登录 |
## 软件安装
| 类型 | 地址 | 备注 |
| :------------- | :--------------------------------------------------------------------------- | :-------------------- |
| AMS软件 | \IT_center\99_文档工具\50_安全浏览器\21_WebClient\SayHiSetup_bjtest_v4.1.exe | |
| | 在安装目录下创建Config.ini | 下方配置 |
| cbs软件 | MyBrowser | 疑似 60_CBS安全浏览器 |
| 催缴中台猫头鹰 | D:\Program Files (x86)\5i5j\GJBrowser_cjzt_self45 | |
| mp文件 | \IT_center\99_文档工具\10_相关软件工具\MockPlus | 慕客 |
```
[BaseConfig]
'北京测试
base_url=http://testall.1zu.com:20009/
[TestConfig]
__app__log__severity___=debug
__show__test__menu___=yes
```
## 项目启动事项
### AMS
#### 文档
D:\IT_center\99_文档工具\10_相关软件工具\idea 配置AMS.doc
#### tomcat VM
```
-XX:PermSize=728M
-XX:MaxPermSize=1024M
-Xms256m
-Xmx1024m
-Dfile.encoding=UTF-8
-Djava.library.path="D:\develop\opencv\build\java\x64"
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=$LOG_DIR/java.hprof"
```
#### opencv
D:\IT_center\99_文档工具\10_相关软件工具\opencv-2.4.13.6-vc14.exe
#### 配置文件修改(前期可不修改)
```
picUploadUrlAliOSS=http\://10.1.74.43:8080/newPath/
picUploadUrlOSS=http\://10.1.74.43:8080/newPath/
picUploadUrl=http\://10.1.74.43:8080/newPath/
picUploadPath=D\:/images/
webServerUrl = http://localhost:8080
```
#### idea编译内存不足
Build -> Compiler -> Share build process heap size (Mbytes): 最少3000
#### 本地签章
D:\program\signSrc\ 目录下的东西
### 中台
#### 文档
D:\IT_center\40_开发\01_中台管理\04manual\中台开发环境构筑说明书.xlsx
#### opencv
D:\develop\opencv\build\java\x64\opencv_java2413.dll 放到 C:\WINDOWS\System32\ 之下
或者(未实践) opencv_java341.dll 复制到jre/bin
或者(未实践) -Djava.library.path="D:\develop\opencv\build\java\x64"
### 机器码
#### AMS机器码
admin-系统设置-安全管理-设备信息列表管理-新增设备
#### cbs机器码
各城市管理员账号- 设备管理 - 添加网络?(ipconfig /all 删掉中间的'-') - 配置设备
### pom oracle
-mvn install:install-file -Dfile="D:\tools\Oracle_10g_10.2.0.4_JDBC_ojdbc14.jar" -DgroupId=com.oracle -DartifactId=ojdbc14 -Dversion=10.2.0.4.0 -Dpackaging=jar