1人投标
收藏
已收藏
¥{[getMoney(30000)]}
预算
30
天计划工期
收藏
已收藏
¥{[getMoney(30000)]}
预算
30
天计划工期
{[ job.pattern_id != 9 ? '项目详情' : '职位详情']}
简介
本项目是某国外电商平台的工具站的后台模块开发,为平台的卖家提供产品分析的功能;
功能需求:
数据采集;
数仓搭建与数据开发;
API接口开发;
架构:
使用Lambda函数调用requests库进行数据采集;
stepfunction做任务调度;
Lambda函数采集到的数据发送到Kafka,使用Kafka Connector将数据写入到S3中;
使用EMR/EMR Serverless 进行数据处理;
部署api服务到ECS,使用Redis或者MySQL作为api服务的数据源;
FastAPI开发后台接口;
有大数据开发经验;
有爬虫开发经验;
熟悉python、java,对Spark、Hadoop大数据技术精通,熟练使用 MySQL、Postgres 等关系型数据库,熟悉Redis,Kafka等中间件;
对云原生的开发模式比较了解,做过相关项目;
参与项目的开发成员需要提前全面了解项目和代码管理工具 Coding 的使用方法;
时间较为自由充裕,可以在工作日的工作时间进行沟通交流。
{[modal.content]}