FINISH

2019-41

• 帮一中队核对警综和全国禁毒的情况
• 调整数据流相关的代码 结构 合并之前分散在多个DAG中的代码 期间处理了多个bug
• 修复首页的升降幅时间段有误
• 调整社会化管控数据源配置
• 将使用的数据原表和我们系统中的表名进行对应
• 加上源系统的链接方式 整理源系统中的表对应目标系统中的表
• 整理相关的密码
• 将 dynamic partition 的配置放到spark的启动文件中
  • hive.exec.dynamic.partition.mode=nonstrict
  • hive.exec.max.dynamic.partiitions=100000
  • hive.exec.mac.dynamic.partitions.pernode=100000
• 删除因为导出建的ORC表
• 将下载后的parquet表也变成每天一个分区(80%)
  • 检查下警综相关的数据是不是全部都是每天一个分区一个文件
  • 增加单元测试判断是否每个分区只有一个文件
  • 110警情变成非分区表 且每天全量

2019-42

• 将下载后的parquet表也变成每天一个分区(90%)
  • 跑完之后重新跑hotelpeople和barpeople看看是否报错
  • 将部分表判断是否重复的数据变成近一年 防止数据过大大致错误
  • 全国禁毒 吸毒人员 涉毒人员 没有变成一个文件
• 重跑周六的数据
• 删除数据库名 drug_monitor
• 改改PPT
• to_orcl有一个错了很久
• 完成毒情标准化数据（70%）
• 完成财富调查数据

2019-43

• 添加一个获取全市各个派出所的接口
• 完成毒情标准化数据（70%）
• 污水监测地图json原始经纬度数据提供
• 增加HTTP服务用于储存附件内容
  • js编译的附件
  • 财务调查的附件
• 省警综案件看看使用分区表还是索引
  • 调整dz_sjz_case的分区
  • 或者直接在solve_time建索引
• 调整前端部署的方式
• 街镇级毒情查询有误,有部分数据不能得到查询结果
• 初验部分修改
  • 重构数据流后月度数据报错
  • 市级毒情发布后增幅有误

2019-44

• 检查下判断每个分区只有一个文件的脚本是否可用
• 从ncip导入的笔录数据时间条件有误
• 市 区 街镇 超过了这个时间后会有bug
• 为单元测试增加shuffle的数量
• 增加警综吸涉毒人员 修复首次吸涉毒人员不在最后的 dz_people 中的情况
• dz_people,增加吸毒人员的情况
• 一中队核对人员没有录入全国禁毒

2019-47

• 财富调查增加模糊查询接口 限制不能同一人同一案创建两条记录
• 吸涉毒人员情况增加省警综人员状态
• 写gzjd的试运行文件
• 寻找污水监测中的PDF->word方案
• 协助迁移存储
• 北京标书

2019-48

• 一中队数据对比
• 全国禁毒案件变成全部人员 全部案件 全部关系
• 转化全库身份证中的x 全部转成大写
• 检查省警综案件情况
  • 统一了案件的来源表
  • 修改web代码
• 将每日的增量数据和mysql中的数据相互更新
• 重新处理了省警综案件信息和省警综案件文书信息

2019-49

• 增加省警综数据 立案数 破案数回填功能
• 删除了后端没有使用的代码和表,并合并了相同service和contronller
• 修复电子笔录NPE
• 将PGIS相关的四张表合并成一张表
• 部门表的内容和用户所属的部门
• 修复省警综-文书每月数据流报错
• 财富调查导入

2019-50

• 服务器掉电,导致要重启服务器中的全部服务,数据库意外掉电不能正常启动
• 一中队常规数据对比
• 一中队非常规工作,对比警综剔除移交外地的嫌疑人后,案件满足三个嫌疑人的案件,但是全国禁毒没有录入,或者录入的时候认为这个案件是非团伙案件的
• 财富调查交互改进的讨论
• 数据对标
• 社会化管控查获地区bug
• 人员签名图片及汇总未签名人员

2019-51

• 收集并更新了用户的警号

• 用户表单登录验证

• 前后端新的部署脚本

• 删除了mysql表之后删除 data workflow 中的值 backfill 20191202 - 20191208

  • 20191208以后的都是成功的

• 接全省人口数据

• 全国禁毒的数据少了不少

• 市一级预警数得分不对

• 部分省警综数据还是使用人员扩展信息关联

待完成

• 同步到ES的数据少了
• 案件是否有部分是没有关联到嫌疑人的(警综的辅警说可以存在)
• 省警综案件统计数据要尽量正确
• 全市案件和两打两控关于警综的数据要正确
• 接入新的人员通话数据
  • 我们这边判断人属于什么类型
  • 拿到人机对应关系
  • 看看不同的位置区小区号是不是同一个经纬度
• 涉毒效能评估 -> 110涉毒警情 -> 判断警情是否有效 -> 之后要将该警情从统计中去除
• ambari自动重启失败的任务
• 街镇毒情增加吸毒人员所属派出所情况
  • 俊哥催着急
• 重点人员推荐 增加一个选择框 选择人员类型 是否有前科(吸毒 涉毒) NIS嫌疑人
  • 完成后和海珠的华哥说一下
• 街镇毒情 管控人员统计 管控吸毒人员分布 加一个缓存
• gzga_test 警综案件表太大了 仅保存今年的数据看看
• ES有比较多的问题,在Ambari中不能启动,其中一个slave不能启动
• jd的机器,ip->101新格式化了raid5磁盘
• 将前后端的部署方式变成一样的