早在2016年,传智教育黑马程序员打造了线下实体班Python+人工智能就业班,以Web和人工智能-数据科学双核心,培训了AI开发人员20000+。
现在,传智教育黑马程序员又要打造线下实体班:人工智能AI进阶班。 人工智能AI进阶班面向编程零基础、有数学基础的学员,培养AI算法工程师、图像与视觉处理(CV)开发工程师、自然语言处理(NLP)开发工程师。
强大的教学和研发团队(10+年团队课程设计经验、4+年AI教学实施团队)保证每一阶段的课程都精益求精、最短知识路径。人工智能AI进阶班课程由研发团队录制好双元产品,AI讲师亲自课堂演绎。
全程有7个阶段。机器学习阶段覆盖10+经典算法、15+实战案例;图像与视觉处理(CV)阶段内容涉及Tensorflow框架、图像分类、检测、分割、OpenCV,CV案例8+;自然语言处理(NLP)阶段内容涉及PyTorch框架、经典NLP算法和网络、分类应用、序列标注、机器翻译、阅读理解、垂直领域问答系统、NLP案例8+。项目阶段4个大项目(每个项目天数8+,6选4);AI算法强阶段内容涉及立体视觉与SLAM、强化学习、分布式机器学习、进化学习、论文复现。
课程设计训练学员使用AI算法构建业务流的能力,训练学员AI算法实用性、拓展性、创新性,论文复现的能力。比如AI在线医生项目以AI算法为主线,实战构建企业业务流,微信小程序、知识图谱、web和数据库开发。详见课程大纲。
CV和NLP实战案例采用当下热点案例;CV和NLP实战项目来源于一线企业;项目由30+研发团队合力研发,聘请一线大牛研发工程师。详见课程大纲。
依托传智教育精益求精的课程设计风格,课程设计环节已考虑消化吸收,让零基础小白、预转行的开发工程师都能顺利入行。解决AI行业入门难、学习难、精通难、学习周期长的痛点。详见课程大纲。
本课程适合于:具有本科及以上学历的技术小白、预转行的开发工程师等。
注:获取更多免费学习视频+资料+笔记,请加QQ:2632311208。
全日制脱产,每周5天上课, 上两天课休息一天的上课方式(实际培训时间可能因法定节假日等因素发生变化)
部分校区可能会根据实际情况有所调整,详情可询咨询老师 点击咨询
人工智能AI进阶班--基础班课程大纲 | |||
所处阶段 | 主讲内容 | 技术要点 | 学习目标 |
第1阶段: python基础编程 |
Python第一个程序 | 变量、标识符和关键字、输入和输出、数据类型转换 | 可掌握的核心能力: 掌握Python基础语法, 具备基础的编程能力。 可解决的现实问题: 能够熟练使用Python技术完成针对小问题的程序编写。 |
条件控制语句和循环语句 | 比较关系运算符、逻辑运算符、三目运算符、while循环、for循环、break和continue | ||
容器类型 | 列表、元组、字典、有序字典、公共函数、字符串 | ||
函数 | 函数的定义和调用、不定长参数函数、匿名函数、递归函数、可变和不可变类型 | ||
文件操作 | 文件打开和关闭、文件的读写、os模块文件与目录相关操作、文件应用案例 |
本课程适合于:具有本科及以上学历的技术小白、预转行的开发工程师等。
注:获取更多免费学习视频+资料+笔记,请加QQ:2632311208。
全日制脱产,每周5天上课, 上两天课休息一天的上课方式(实际培训时间可能因法定节假日等因素发生变化)
部分校区可能会根据实际情况有所调整,详情可询咨询老师 点击咨询
人工智能AI进阶班--就业班课程大纲 | |||
所处阶段 | 主讲内容 | 技术要点 | 学习目标 |
第二阶段 : python高级和系统编程 |
面向对象 | 面向对象介绍、类的定义和对象的创建、添加和获取对象属性、init方法、私有方法和私有属性、继承、多态、类方法、对象方法、静态方法 | 可掌握的核心能力: 1、能够熟练掌握Python的进阶语法的使用; 2、掌握logging模块,能够进行日志处理; 3、掌握Python中的re模块的使用, 能够实现对字符串进行复杂模式匹配; 4、能够理解与掌握基础的数据结构和算法思想,具备编程解决问题的能力。 可解决的现实问题: 1、能够使用Python编写脚本程序解决基础应用问题; 2、能利用数据结构和算法思想去解决实际问题。 |
异常处理 | 捕获异常、异常的传递、自定义异常 | ||
模块和包 | 模块介绍、模块的导入、模块中的 __all__、模块中 __name__ 的作用、包的介绍、包的导入 | ||
Python高级语法 | property属性、with语句和上下文管理器、闭包、装饰器、迭代器、生成器、深拷贝与浅拷贝、Python内存管理、垃圾回收 | ||
Python常用标准库 | sys模块、logging模块、正则表达式的介绍、re模块的使用、正则表达式的演练 | ||
案例:员工管理系统 | 显示菜单、新建名片、删除名片、修改名片、查看名片、退出系统 | ||
数据结构与算法 | 时间复杂度、空间复杂度、Python内置类型性能分析、顺序表;链表:链表和链表的应用;队列:队列概念、队列的实现与应用、双端队列;排序和搜索算法:冒泡排序、选择排序、插入排序、快速排序、搜索、常见算法效率;散列表;二叉树:树的引入、二叉树、二叉树的遍历、二叉树扩展。 | ||
Linux系统使用 | CentOS操作系统介绍与使用、Linux命令使用、Linux命令选项的使用、远程登录和远程拷贝、vi编辑器使用、CentOS软件安装和软件卸载 | 可掌握的核心能力: 1、能够熟练使用Linux操作系统; 2、掌握网络编程相关技术, 能够实现网络间数据通信; 3、掌握程序设计开发中多任务实现方式。 可解决的现实问题: 能够基于Linux操作系统理解与开发多任务的网络程序。 |
|
网络编程 | IP地址的介绍、端口和端口号的介绍、socket的介绍、基于TCP通信程序开发 | ||
多任务编程 | 多任务介绍、进程的使用、线程的使用、线程同步与互斥锁、死锁介绍、协程的使用、进程线程协程的对比 | ||
Web基础应用:HTTP协议 | HTTP协议介绍、HTTP通讯过程、curl命令使用、urllib与requests模块使用 | 可掌握的核心能力: 1、能够理解HTTP通讯; 2、能够理解前端开发技术; 3、能够掌握基本的Web后端开发技能。 可解决的现实问题: 能够基于Django框架开发Web后端接口。 |
|
Web基础应用:前端基础 | HTML概述及基本结构、HTML标签介绍、CSS载入方式、CSS属性入门、JavaScript语法介绍、jQuery介绍、JSON、AJAX | ||
AI开发所需Web应用:Django框架 | Django框架简介和MVT设计模式;Django工程搭建:环境安装、创建工程和子应用、定义视图和路由;Django工程配置:配置文件的使用、路由匹配、路由定义的位置和解析的顺序、静态文件、展示静态文件 | ||
取URL查询参数、提取请求体数据、提取请求头数据、其他常用请求对象属性;响应HttpResponse:HttpResponse的使用、JsonResponse的使用;RESTful API风格介绍;前端和后端接口对接 | |||
第三阶段: 机器学习 |
科学计算库 | 人工智能概述、机器学习定义、机器学习工作流程; 机器学习算法分类、算法模型评估、Azure机器学习平台实验、机器学习基础环境安装与使用 |
可掌握核心能力: 1、掌握数据科学库的使用; 2、掌握数据基本处理的方法。 可解决的现实问题: 对实际工作中收集到数据进行数据可视化、基本分析,提取有价值信息。 |
Matplotlib库使用:Matplotlib架构介绍、Matplotlib基本功能实现、Matplotlib实现多图显示、Matplotlib绘制各类图形 | |||
Numpy库使用:Numpy运算优势、数组的属性、数组的形状、Numpy实现数组基本操作、Numpy实现数组运算 | |||
Scipy使用:常数和特殊函数、拟合与优化、线性代数(含方程组求解)、数值积分和插值 | |||
pandas库使用:pandas基本数据操作、DataFrame、Series、MultiIndex、panel、pandas画图、文件读取和存储、缺失值处理、数据离散化、数据合并、交叉表和透视表、分组和聚合;案例:电影数据分析 | |||
数学及统计初步及Python库实现:统计学习(比较检验/假设检验/交叉验证t检验); 混淆矩阵相关(错误率与精度/查准率/查全率) |
|||
数值计算方法初步及Python库实现:线条抽样、牛顿及拟牛顿法、拉格朗日对偶性;曲线拟合(含插值及多项式逼近) | |||
数值计算方法初步及Python库实现:矩阵相关计算 | |||
机器学习 (算法篇) |
sklearn介绍、sklearn获取数据集、seaborn介绍、数据可视化、数据集划分 | 可掌握核心能力: 1、掌握机器学习中处理数据的方法; 2、理解经典的机器学习算法原理; 3、掌握机器学习中工作的具体流程。 可解决的现实问题: 1、把实际工作、生活中遇到的问题转换为可以用机器学习解决的模型; 2、实现针对不同问题,选择不同算法模型,同时在该模型的基础上,对该算法进行调优。 市场价值: 机器学习算法工程师,具备对数据进行分析、挖掘的能力,可以进行机器学习模型的搭建和优化。 注:项目实训会随着社会热点调整 |
|
特征工程与模型优化:特征工程、特征预处理、归一化、标准化、特征选择、特征降维;交叉验证、网格搜索模型保存和加载、欠拟合、过拟合 | |||
KNN算法api及kd树及稀疏存储;欧式距离、曼哈顿距离、切比雪夫距离、闵氏距离、标准化欧式距离、余弦距离、汉明距离、杰卡德距离、马氏距离、KNN中k值的选择、kd树;案例:鸢尾花种类预测 | |||
线性回归概念和api与原理剖析;损失函数:误差平方和,交叉熵;梯度下降算法:FGD、SGD、mini-batch、SAG;模型优化:数据归一化、优化器的选择;正则化线性模型:Lasso回归、岭回归、Elastic Net;线性回归算法案例:波士顿房价预测 | |||
逻辑回归概念api和原理:判定边界、动态规划、sigmoid、对数似然损失; 二分类问题:ROC曲线、AUC指标、ROC曲线的绘制; 案例:癌症分类预测 |
|||
决策树算法原理和api使用:基本流程/划分选择、信息增益/增益率/基尼指数; 决策树的构建和剪枝:剪枝处理/预剪枝/后剪枝/ID3/CART; 条件熵和交叉熵:连续与缺失值处理、多变量决策树、熵的计算; 案例:泰坦尼克号乘客生存预测优化 |
|||
朴素贝叶斯原理和api函数:半朴素贝叶斯分类器、贝叶斯网、马尔科夫毯; 概率分布:多项式分布、高斯分布、条件概率、贝叶斯编程及A/B测试; 朴素贝叶斯案例:情感分析、垃圾邮件及答案的标注 |
|||
SVM算法原理:感知机学习策略及算法收敛性、线性可分及异或不可分、对偶问题及KKT、SMO算法、软间隔与正则化、支持向量回归; 核函数:最简单的核函数距离、相似性函数、常用核函数(GBF和Gassian)、核函数对比 SVM案例:红酒口感预测及对比分析;病理诊断及分析预测 |
|||
聚类算法:kmeans流程和质心、EM算法原理及高斯混合模型 评价指标及优化:内部指标、外部指标、优化方法(二分kmeans,kmeans++)、SC系数/CH系数 聚类算法案例:探究用户对物品类别的喜好细分,对地图上的点进行聚类 |
|||
集成学习与bagging:随机森林概述、训练算法 AdaBoost算法和使用:训练误差分析、广义加法模型 各种AdaBoost算法:离散型AdaBoost、实数型AdaBoost、LogitBoost、Gentle型AdaBoost;实现:弱分类器的选择、样本权重削减 案例实践:手写数字图片识别 |
|||
马尔可夫链蒙特卡罗:采样、蒙特卡罗、建议分布,马尔可夫链、Metropolis-Hastings算法、模拟退火、Gibbs采样 案例:睡眠数据案例分析 |
|||
图模型:近似推断、创建贝叶斯网络;马尔可夫随机场;隐马尔可夫模型:前向算法、Viterbi算法、Baum-Welch或前向后向算法;跟踪方法:卡尔曼滤波 、粒子滤波 | |||
高斯过程回归:添加噪声、高斯过程回归的实现、学习参数; 高斯过程分类:拉普拉斯近似、计算后验、高斯过程分类的实现; 高斯综合案例实践 |
|||
机器学习项目实训 | 1、《绝地求生》玩家排名预测 2、客户价值分析系统 |
||
第四阶段 : 深度学习与图像与视觉处理(CV) |
神经网络 | 神经网络基础:神经网络:感知机、与、或、异或问题;softmax 反向传播原理:批量学习和在线学习、反向传播算法、改善反向传播算法性能的试探法 案例:实现多层神经网络 |
可掌握核心能力: 1、熟悉深度学习主要及前沿网络模型的架构原理及在实际业务场景中的应用; 2、掌握深度学习在计算机视觉中的应用,包括但不限于分割检测识别等等; 3、掌握实际工作中深度学习的具体流程,数据及标注处理,建模训练,及模型部署应用等。 可解决的现实问题: 1、可实现物体(人体,人脸,通用目标)检测,跟踪与识别,道路交通及工业环境险情发现等多领域的深度学习解决方案; 2、能够对图像处理、人脸算法,或者对于各种深度学习框架实现的算法进行调优。 市场价值: 可胜任深度学习算法工程师,图像与计算机视觉算法工程师等,并持续优化与迭代算法。 |
TensorFlow框架 | Tensorflow框架基础:图、会话、张量、OP Tensorflow高级API:数据读取tf.data、模型tf.kears、训练tf.MirroedStrategy、导出tf.SavedModel等API应用" |
||
图像与视觉处理介绍 | 计算机视觉定义、计算机视觉发展历史;计算机视觉技术和应用场景、计算机视觉知识树和几大任务 | ||
目标分类和 经典CV网络 |
CNN:感受野、卷积、零填充、过滤器大小、多通道卷积、全连接层 | ||
卷积网络结构:LeNet5、AlexNet、VGG、Inception、GoogleNet、残差网络 | |||
深度学习正则化与算法优化:L1、L2、DroupOut、BN、SGD、RMSProp、Adagrad、Adam | |||
TF分布式训练:TF Strategy;迁移学习:TensorFlow HUB | |||
模型压缩:模型剪枝、参数压缩、二进制网络 | |||
目标分类实战案例:ImageNet分类;Apache Flink极客挑战赛——垃圾图片分类 | |||
目标检测和经典CV网络 | 目标检测任务与数据集介绍:检测任务目的、常见数据集、应用场景 | ||
RCNN:交并比、map、非极大抑制NMS、正负样本;SPPNet:SPP层映射 | |||
FastRCNN:ROI Pooling;FasterRCNN:RPN、代价函数、训练流程与结果分析、FPN与FasterRCNN结合 | |||
YOLOv1、YOLOv2、YOLOv3:结构与工作流程、代价函数、anchor、维度聚类、细粒度与多尺度特征、先验框与代价函数 | |||
SSD:Detector & classifier、SSD代价函数、特征金字塔 | |||
目标检测实战案例:COCO数据集上目标检测 | |||
目标分割和经典CV网络 | 目标分割任务类型、数据集 | ||
全卷积FCN网络:网络结构、跳级连接、语义分割评价标准、结果分析 | |||
U-Net:拼接特征向量;Dilated Convolutions:聚合多尺度的信息、context module | |||
PSPNet:金字塔池化模块;Deeplab:串行部署 ASPP | |||
Mask-RCNN:结构介绍、ROI Align与Pooling对比、代价函数介绍、端到端联合训练 | |||
目标分割实战案例 | |||
OpenCV库与图像处理基础 | 基本的OpenCV代码、IplImage数据结构、读写图像 | ||
基本的灰度变换函数 :灰度直方图、灰度的线性变换、灰度对数变换、伽玛变换、灰度阈值变换、分段线性变换 | |||
直方图处理:图像矩特征点度量特征、全局直方图、局部区域直方图、散点图和3D直方图、OpenCV实践 | |||
几何变换:翻转、剪裁、遮挡、图像算数、图像金字塔、OpenCV几何变换操作 | |||
形态学:形态学定义、连通性、二值操作、平滑、梯度、纹理分割及OpenCV实践 | |||
OpenCV库与图像处理进阶 | 边缘检测技术:边缘检测的目的和模型、噪声、导数算子、Marr-Hildreth边缘检测器、基于模板的边缘检测、Canny Edge边缘检测器、Shen-Castan(ISEF)边缘检测器、彩色边缘、OpenCV边缘检测操作 | ||
特征检测和描述:哈里斯角点检测、Shi-Tomasi角落探测器、SIFT、SURF、FAST、ORB、霍夫变换 | |||
视频操作:读取摄像头、读取视频、视频写入 | |||
空间滤波:平滑空间滤波器、锐化空间滤波器、拉普拉斯算子、空间滤波综合及OpenCV实践 | |||
OpenCV综合实战案例 | |||
cv综合案例实训 | 热点垃圾分类、火焰及险情识别检测、水果识别分类、手势姿态识别估计 | ||
第五阶段: 深度学习与自然语言处理(NLP) |
pytorch工具与神经网络基础 | pytorch入门:pytorch的介绍、安装、张量概念、基本运算 | 可掌握核心能力: 1、掌握pytorch的安装和使用; 2、理解神经网络涉及的关键点。 可解决的现实问题: 1、能够使用pytorch搭建神经网络; 2、能够有效的理解有关深学习的知识。 |
神经网络基础:神经网络介绍;感知机、梯度、反向传播;梯度、反向传播 | |||
数据操作:数据加载器、迭代数据集 | |||
使用pytorch完成手写字识别 | |||
自然语言处理NLP介绍 | NLP介绍:对话系统简介、NLU简介、文本生成简介、机器翻译简介、实际应用场景:智能客服、翻译、机器人写作、作文打分 | 可掌握核心能力: 1、掌握NLP领域前沿的技术解决方案; 2、掌握NLP相关知识的原理和实现; 3、掌握传统序列模型的基本原理和使用; 4、掌握非序列模型解决文本问题的原理和方案。 可解决的现实问题: 1、构建基本的语言翻译系统模型; 2、构建基本的文本生成系统模型; 3、构建基本的文本分类器模型; 4、使用ID-CNN+CRF进行命名实体识别; 5、使用fasttext进行快速的文本分类。 市场价值: 胜任多数企业中中级NLP工程师的职位。 |
|
自然语言处理NLP开发HelloWorld案例 | 从法语到英语的翻译模型:获取数据集与数据处理,模型构建(构建编码器类、构建解码器类、构建解码器端的注意力机制类),模型训练与评估 | ||
文本预处理 | 常见文本分析方案和工具;常用的文本向量化方法、word2vec原理、工具、Embedding层、文本对齐:文本对齐的原因、依据、工具;文本数据增强:数据增强方法、工具 | ||
RNN及变体 | RNN结构解析、优缺点;LSTM结构解析、作用、实现剖析;bi-LSTM的解析与实现;GRU结构解析、作用、实现;bi-GRU的解析与实现;seq2seq框架介绍、seq2seq中使用bi-GRU | ||
案例:训练生成莎士比亚风格文章的模型 | |||
Transfomer | Attention机制原理、作用、实现;self-attention机制的原理、作用、实现;Multi-head attention原理、作用、实现;positional encoding;Transfomer实现 | ||
案例:训练区分Quora中非真实问题的文本分类器 | |||
传统的序列模型 | HMM原理、实现、优劣势;ME原理、实现、优劣势;CRF原理、实现、优劣势 | ||
非序列模型解决文本问题 | ID-CNN原理、结构、实现;fasttext原理、结构、实现 | ||
案例:使用膨胀卷积+CRF实现命名实体识别 |
第六阶段: 项目阶段 |
项目阶段之:实时人脸识别检测项目(CV) | ||
人脸识别项目是一个基于深度学习的可通过实时摄像头采集视频人脸数据,也可以进行批量图片输入进行批量自动化识别人脸,对于视频输入,可实现人脸的跟踪,标注姓名,性别,情绪(开心,生气,自然)等信息并对进入视频的陌生人进行报警的系统实战项目。 | |||
技术亮点: 1、数据库管理,可随时查询人脸库中的人脸信息,或对特定的人脸信息进行修改、删除等操作; 2、人脸检测:扫描”加“判别”在图像范围内扫描,再逐个判定候选区域是否是人脸; 3、状态判别:识别出人脸的性别、表情等属性值的一项技术,最新的一些基于深度学习的人脸属性识别也具有一个算法同时输入性别、年龄、姿态等属性值的能力; 4,人脸识别:识别出输入人脸图对应身份的算法,它的输入一个人脸特征,通过和注册在库中N个身份对应的特征进行逐个比对,找出“一个”与输入特征相似度最高的特征,否则返回“不在库中”并进行报警。 能掌握的技术: 1、EigenFace,FisherFace,LBPH及人脸双属性图; 2、Hausdorff距离的动态人脸图像定位; 3、PCA、ICA、LDA和EP在人脸识别上的综合运用; 4、基于PyQt5的GUI编程模块及信号槽机制。 |
|||
章节 | 课程 | 知识点 | |
1 | 项目概述 | 系统架构设计、项目关键技术说明 | |
项目业务需求分析、项目业务流程设计 | |||
2 | 环境部署 | 系统介绍项目开发环境概述、DLib框架源码编译、项目工程文件创建 | |
项目开发环境配置、项目性能优化设置 | |||
基于PyQt5的GUI编程模块及信号槽机制 | |||
人脸识别解决方案分析及数据源处理 | |||
3 | 人脸识别项目流程方案 | 业务理解,任务拆解 | |
目标检测模型实现 | |||
目标关键点模型实现:输入标注数据、数据预处理、数据增强 | |||
人脸校正实现及目标条件分析 | |||
识别模型实现:人脸对齐、人脸比对和活体检测等全部技术环节的代码设计、运行演示和执行结果输出 | |||
模型验证:检测、关键点回归、识别验证方案 | |||
4 | 人脸识别核心技术 | 基于Dlib与OpenCV等的核心技术流梳理 | |
实时人脸特征点对齐,人脸比对的实现 | |||
实时活体检测:眨眼与张嘴实现 | |||
实时视频采集及图片抓拍的实现 | |||
实现视频抓拍:逐帧抓取,逐帧识别 | |||
人脸检测HOG及特征点检测ERT | |||
5 | 静态人脸识别系统 | 通用形变模型的创建:轮廓特征点的选取及变形模型 | |
人脸局部特征探测:逐步求精定位法 | |||
数学算子及模板的构建和探测:眼睛,嘴巴和鼻子模型 | |||
人脸图像的双属性图 | |||
6 | 动态人脸识别系统 | 动态人脸识别系统框架及马尔科夫训练模型 | |
Hausdorff距离的动态人脸图像定位 | |||
特征子空间与动态图像分割 | |||
人脸区域检测和人脸特征点标定的算法实现机制 | |||
动态人脸图像识别中外界影响的处理 | |||
6 | 模型训练及测试 | 人脸区域特征样本标注 | |
人脸检测模型训练及测试 | |||
人脸特征点样本标注 | |||
人脸特征点模型训练及测试 | |||
人脸识别之EigenFace | |||
人脸识别之FisherFace及Gabor算法 | |||
人脸识别之LBPH | |||
7 | 项目总结 | PCA、ICA、LDA和EP在人脸识别上的应用优劣比较总结 | |
Dlib人脸检测器模块优化提升方法总结 | |||
整体方案前向推断集成总结 | |||
局部特征分析技术,模板匹配,图匹配技术优化方案总结 | |||
智能交通项目(CV) | |||
智能交通项目是一个可跟踪路面实时车辆通行状况,并逐帧记录不同行车道车流量数目的深度学习项目,“车辆自动计数系统”由计数系统、图像抓拍系统、实时监控录像系统组成,在视频中可看出每个车辆的连续帧路径,该项目可拓展性强,可根据企业业务外接计费结算系统、LED显示系统、语音播报系统、供电防雷系统等。 | |||
技术亮点: 1、利用卡尔曼滤波最优滤波方程对建立的交通流系统状态方程、观测方程; 2、采用背景差分法对在检测区的车辆进行检测和跟踪; 3、利用DGPS/DR组合车辆定位中各子系统的模型对车辆定位提高精度; 4,利用Haar Adaboost 自定义目标检测对过往的车辆进行检测、计数和分类。 能掌握的技术: 1、Haar Adaboos与粒子滤波技术; 2、车辆外形标注,识别,训练的工程化方法实践; 3、利用CV,CA,CTRA,CTRV等高级运动模型构造卡尔曼滤波实现车流跟踪; 4、基于基于迁移学习的其它类型识别模型训练。 |
|||
章节 | 课程 | 知识点 | |
1 | 项目概述 | 系统架构设计、项目关键技术说明 | |
项目业务需求分析、项目业务流程设计 | |||
2 | 环境部署 | 系统介绍项目开发环境概述、Tensorflow框架、项目工程文件创建 | |
项目开发环境配置、项目性能优化设置 | |||
视频数据源的Python读入及逐帧识别 | |||
交通流量解决方案分析及数据源处理 | |||
3 | 智能交通项目流程方案 | 业务理解,任务拆解 | |
目标检测模型实现 | |||
图像理解框架及马尔方法 | |||
图像视频理解:运动目标检测与跟踪主流工程实践方法 | |||
视频背景建模与前景选取实践 | |||
4 | 车辆跟踪核心技术 | 背景建模实现:基于视频的运动目标分割 | |
前景探测:运动目标车辆的检测与跟踪 | |||
基于光流的目标跟踪实践 | |||
基于均值偏移的目标跟踪实践 | |||
基于粒子滤波的目标跟踪实践 | |||
卡尔曼滤波实践 | |||
5 | 流量统计核心技术 | 首先采用背景差分法和卡尔曼滤波算法对在检测区的车辆进行检测和跟踪; | |
使用经过检测、处理的被测车辆图像触发距其最近的相机进行图形分割; | |||
通过LDA分类器对分段车辆的几何形状及外观特征进行正确地分类. | |||
实现滤波,参照DELOS算法实现对城市快速路的事故检测 | |||
6 | 模型训练及项目主流程 | 车辆区域特征样本标注 | |
车辆检测模型训练及测试 | |||
深度学习CNN建模,建立车辆分类器 | |||
系统逐帧采集视频图像并检测车辆 | |||
为检测到每个车辆目标初始化卡尔曼滤波器,通过卡尔曼滤波器逐帧匹配目标进行位置预测; | |||
对比检测位置与预测位置,逐帧链接前景图像,获取车辆的跟踪路径。 | |||
7 | 项目总结 | HEVC压缩域等的车流量检测应用优劣比较总结 | |
帧间差分法、图像阈值分割和数学形态学的运动目标检测方法总结 | |||
结合智能优化算法对其改进的遗传算法—克隆选择遗传算法比较总结 | |||
CT图像肺结节自动检测项目(CV) | |||
CT图像肺结节自动检测项目是一个可针对X光胸片的肺部结节自动检测方法,并应用深度学习方法在CT图像上进行智能肺结节检测,结合计算机视觉技术和深度学习网络,AI能够自动完成对可疑病灶区域的标记和预诊断,提高了医生的工作效率,降低了误诊率和漏诊率。 | |||
技术亮点: 1、将全局自适应阈值法应用于肺部医学图像的分割中,通过迭代寻取最优阈值完成对躯干部分的去除; 2、利用边界跟踪等多种方法相结合完成对肺实质的提取成像; 3、利用Faster R-CNN肺结节检测+3D-CNN模型进行病灶发现; 4,U-Net肺结节分割+3D-CNN模型降低深度学习诊断错误率。 能掌握的技术: 1、医学影像(DICOM格式)进行转换,变为通用图像格式(PNG),以便用于深度学习模型训练; 2、结合哈希算法及DNN网络的数据处理能力对肺结节的语义级别特征进行深度提取; 3、用改进的FCM算法完成对ROI在图像增扩基础上进一步提取; 4、将直方图统计特性和隶属度函数优化结合起来对算法进行优化。 |
|||
章节 | 课程 | 知识点 | |
1 | 项目概述 | 系统架构设计、项目关键技术说明 | |
项目业务需求分析、项目业务流程设计 | |||
2 | 环境部署 | 系统介绍项目开发环境概述、SimpleITK医学影像处理库使用、Keras项目工程文件创建 | |
项目开发环境配置、项目性能优化设置 | |||
数据源的处理及增强 | |||
RBDcm工具及图像统计 | |||
3 | CT图像肺结节自动检测项目流程方案 | 业务理解,任务拆解 | |
目标检测模型实现 | |||
肺部实质形态的图像分割 | |||
肺结节的检测及结节分割 | |||
结节特征的判别及病理诊断 | |||
4 | 医疗影像数据转换 | DICOM CT图像预处理归一化,二值化,阈值分割等操作 | |
读取图片DICOM,截取像素转Cube并存储为PNG | |||
用USM锐化的方法对图像中的结节信号进行增强 | |||
图像增强,旋转,平移等,提高数据集的拓展性 | |||
准备U-net训练数据并进行数据标记 | |||
对图像进行分割实现肺部有效区域提取 | |||
5 | 核心技术 | 在胸片上用滑动窗口的方法切取小块,下采样后输入进网络进行分类,得到整张胸片的候选结节区域 | |
对所得CT面积图像阈值分割排除掉大量假阳性病例 | |||
结合深度哈希算法,实现检索过程由粗到精的有效操作 | |||
对ROI进行旋转、缩放、平移或平移、缩放、旋转、复合中2种或以上的组合操作提升网络鲁棒性 | |||
6 | 模型训练及项目主流程 | Faster R-CNN肺结节检测+3D-CNN模型进行病灶发现 | |
U-Net肺结节分割+3D-CNN模型降低错误率 | |||
实现U-Net网络的构建的训练 | |||
实现3D-CNN的网络结构,并加载训练好的权重 | |||
进行预测并获取获取U-Net预测结果的中心点坐标(x,y) | |||
优化主要网络如CNN、DNN和SAE等 | |||
7 | 项目总结 | 总结使得深度卷积神经网络可以充分提取肺结节的特征的优化方法 | |
对哈希算法及DNN网络的数据处理能力对肺结节的语义级别特征进行深度提取经验的总结 | |||
对深度学习网络根据标准模糊C均值算法进行改进 | |||
项目阶段之:泛娱乐推荐系统项目(CV+推荐) | |||
推荐系统的在当下的火爆程度毋庸置疑,个性化推荐的需求也是每一个toC产品应该实现的目标。我们的泛娱乐推荐系统使用主流的Retrive-Ranking(召回-排序)架构。该推荐系统的主要目标: 通过向用户推荐更合适的帖子, 增加用户交互行为(点赞,评论,转发,收藏等), 进而增加用户平均使用时长。同时满足的用户体验要求: 多样性,新颖性和数据合理性。在排序模块即AI部分,我们将从模型选择,超参数调优,损失函数机器优化方法等多维度深层次进行剖析,诠释为何我们能够推荐出满足用户“嗨点”的作品。 | |||
技术亮点: 1、丰富的召回策略帮助我们尽可能多的覆盖不同用户对产品推荐的不同需求, 进而提升用户粘度; 2、金字塔召回机制:海量数据下实时响应用户行为变化; 3、更加科学合理的构建双画像,保证原始数据的准确,为模型收敛奠定基础; 4、分布式训练减少了大型模型训练时间,加速模型调优效率, 更好的利用深度模型发掘海量数据价值; 5、使用wide-deep模型进行排序,在类似工程推荐项目中已经取得成功, eg, google play 提升3.9%。 |
|||
章节 | 课程 | 知识点 | |
1 | 整体系统概述与搭建 | 背景介绍 | |
环境配置 | |||
系统搭建 | |||
业务流实现 | |||
2 | 构建双画像 | neo4j安装与使用 | |
cypher语句学习与深入 | |||
标签体系设计 | |||
用户画像与帖子画像的实现 | |||
3 | 多召回策略 | 多召回策略的设计原理 | |
多召回策略实现 | |||
4 | 召回金字塔 | 召回金字塔机制原理 | |
召回金字塔实现 | |||
5 | 规则过滤器服务 | 规则过滤器的设计原理 | |
规则过滤器实现 | |||
6 | 模型的选择与实现 | 正负样本的定义标准 | |
正负样本的采集与评估指标 | |||
模型特征的选择准则 | |||
模型特征的定义与实现 | |||
wide-deep模型的选用 | |||
7 | 模型的结构与参数 | LR与MLP学习 | |
wide-deep模型结构与参数分析 | |||
8 | 损失函数与优化方法 | 二分类交叉熵损失函数详解 | |
FTRL优化方法详解 | |||
Adagrad优化方法详解 | |||
9 | 超参数调优 | 超参数调优理论发展 | |
网格搜索与随机搜索 | |||
贝叶斯优化 | |||
10 | 使用gcp进行模型训练 | gcp的基本使用方法 | |
构建gcp规范下的模型 | |||
使用gcp进行超参数调优 | |||
使用gcp进行优化训练方案 | |||
11 | 模型评估与部署 | 模型的评估 | |
深度模型的部署方案 | |||
推荐系统的总体检验标准 | |||
12 | 基于图像和视频分析的人脸推荐解决方案 | opencv 视频处理:视频解码,图像基本处理 | |
mtcnn人脸检测算法:p-net、r-net、o-net级联,分类+框回归+关键点回归 | |||
inception resnet v2提取人脸特征:人脸区域提取出128/512个特征值 | |||
mlp 人脸特征分类:神经网络基于人脸特征做分类 | |||
人脸特征提取用到的loss函数原理 | |||
model 服务器端部署:基于tensorflow serving | |||
13 | 基于图像和视频分析的场景推荐解决方案 | opencv 视频处理:视频解码,图像基本处理 | |
nasnet/inception resnet v2 场景分类:cnn提取图片特征进行分类 | |||
model 服务器端部署:基于tensorflow serving | |||
14 | 基于图像和视频分析的表情推荐解决方案 | opencv 视频处理:视频解码,图像基本处理 | |
mtcnn人脸检测算法:p-net、r-net、o-net级联,分类+框回归+关键点回归 | |||
人脸矫正:基于人脸关键点对齐 | |||
cnn提取人脸特征进行分类 | |||
model 服务器端部署:基于tensorflow serving | |||
15 | 基于图像和视频分析的姿态推荐解决方案 | opencv 视频处理:视频解码,图像基本处理 | |
mask r-cnn 检测人体关键点:先检测人体,然后检测人体骨骼关键点 | |||
mlp关键点分类:神经网络基于人体关键点做分类 | |||
model 服务器端部署:基于tensorflow serving | |||
在线医生项目(NLP) | |||
在线医生项目是一个基于自然语言理解方向的问答机器人。类似的应用,还有百度地图的小度、天猫精灵、淘宝小蜜,招商银行的小招等。该项目结合医学知识图谱、深度学习、对话管理、微信公众号开发等技术,旨在降低首医成本,为患者提供基本医学诊断意见服务。 技术层面包含语音识别、自然语言理解、对话管理以及自然语言生成等环节,其中又包含领域识别,用户意图识别,槽位填充,对话状态追踪,对话策略等技术细节。功能上为患者提供根据症状信息给出诊断意见任务与就近治疗任务。通过学习该课程,学生可以了解多轮多任务对话系统的技术点以及业务流程 |
|||
技术亮点: 1、基于大规模知识图谱技术与自然语言处理在医疗领域的应用场景; 2、基于语音识别与语音生成技术的与患者语音沟通的交互方式; 3、基于微服务架构的人工智能产品; 4、基于端到端以及结合知识库的多轮多任务对话系统网络结构。 能掌握的技术: 1、数据清洗以及知识抽取、知识图谱构建; 2、图数据库neo4j相关技术点及基本操作; 3、Pipeline方式与end-to-end流程设计方式以及不同; 4、mem2seq模型论文到代码实现方案; 5、微信公众号接口开发以及第三发api接口集成。 技术解决方案: 1、端到端任务对话系统解决; 2、知识图谱与深度学习结合解决方案; 3、深度学习模型微服务化以及负载均衡处理解决方案; 4、多领域对话系统集成方案。 |
|||
章节 | 课程 | 知识点 | |
1 | 项目介绍 | 生活类任务对话系统介绍 | |
在线医生项目介绍 | |||
2 | 聊天机器人入门 | 申请公众号、搭建微信开发环境 | |
安装werobot以及常用接口实现 | |||
Demo:你说我学与图尚往来 | |||
案例:配置自己的机器人 | |||
3 | 数据爬取 | 爬取专业医疗知识网站 | |
数据筛选,清理不完备数据 | |||
数据提取定位以及知识抽取数据准备 | |||
医学问答数据提取 | |||
疾病、症状知识抽取 | |||
4 | 医学知识图谱 | 知识图谱介绍 | |
知识图谱在医疗领域的应用 | |||
知识存储各大厂商介绍 | |||
Neo4j安装环境搭建 | |||
Python调用neo4j并完成数据插入与查询操作 | |||
案例:完成基于知识图谱的对话机器人 | |||
5 | 医学命名实体识别 | 命名实体识别介绍 | |
命名实体识别在医学方面的应用 | |||
BiLSTM+CRF模型原理介绍 | |||
BiLSTM+CRF模型实现 | |||
IDCNN模型原理介绍 | |||
IDCNN模型实现 | |||
案例:疾病与症状命名实体识别 | |||
6 | 任务对话系统(Pipeline方法) | 任务对话系统介绍 | |
自然语言理解介绍-领域识别 | |||
自然语言理解介绍-用户意图识别 | |||
语义槽介绍以及在任务对话系统中的作用 | |||
语义槽设计 | |||
命名实体识别在语义槽中的应用 | |||
语义槽实现 | |||
对话管理-对话状态追踪介绍 | |||
对话状态追踪实现 | |||
对话管理-对话策略介绍 | |||
对话策略实现 | |||
项目:基于pipeline的对话系统实现 | |||
7 | 论文学习与转化 | Mem2seq的来龙去脉以及论文解读 | |
模型对比:包括与seq2seq以及+attention | |||
准备训练数据 | |||
Mem2seq模型实现 | |||
8 | 任务对话系统 (end-to-end方法) |
端到端对话系统介绍 | |
基于端到端模型Mem2seq的项目介绍 | |||
项目:基于端到端的任务对话系统部署上线 | |||
智能文本分类-NLP基础设施项目(NLP) | |||
中文标签化系统是NLP基础任务的综合系统,同时又是NLP应用的基础设施。根据文本信息,给出对应的预定义标签将能够有效的支持用户画像,推荐系统等。同时,对于高阶NLP任务,如对话,翻译,寓意蕴含等在语料分类上将有很大的帮助。 | |||
技术亮点: 1、搭建多模型训练服务,保证在训练过程中,进行资源监控和分配,得以最高效率在有限资源内进行模型训练; 2、搭建多线程并行预测服务, 为了满足性能要求,这里我们将利用多线程的方式,并对每一个获得结果做最后综合处理; 3、图谱权重更新, 随着模型的预测完成,将使用预测概率更新在该路径权重,最后根据权重计算规则,获得最后结果; 4、使用n-gram特征工程, 来捕捉词序对结果的影响; 5、使用fasttext模型,适应在语料变化大,模型数量规模大,模型上下线频繁的场景。 |
|||
章节 | 课程 | 知识点 | |
1 | 整体系统概述与搭建 | 背景介绍 | |
环境配置 | |||
输入预处理 | |||
输出规范处理 | |||
2 | 构建标签词汇图谱 | 标签的制定 | |
词汇的采集 | |||
构建图谱 | |||
实现查询与修改逻辑 | |||
基于模型的权重更新 | |||
3 | fasttext模型与特征工程 | fasttext发展简介 | |
fasttext模型结构与参数解析 | |||
fasttext的选用原因 | |||
n-gram特征使用 | |||
4 | 损失函数与优化方法 | fasttext的损失函数解析 | |
fasttext的优化方法解析 | |||
使用keras实现fasttext | |||
5 | 多模型训练服务 | 单模型训练流实现 | |
多模型训练服务搭建 | |||
多模型训练API开发 | |||
算力资源分配设计原理 | |||
算力资源分配主逻辑实现 | |||
多模型训练服务实验与部署 | |||
6 | 单模型微服务部署 | 模型格式详解 | |
h5格式如何转为pb格式 | |||
使用tensorflow-seving封装 | |||
7 | 多模型预测服务 | 模型预测主服务搭建 | |
多线程与多进程的比较 | |||
模型并行预测的实现 |
注:实时人脸识别检测项目、智能交通项目、在线医生项目、智能文本分类项目为主讲项目;其他2个项目会赠送。主讲项目会根据就业热点进行更新迭代,以上课安排为准。
第七阶段: AI算法强化和面试强化阶段(赠送串讲) |
人工智能AI算法强化 | ||
自编码器 | 自编码器:应用举例、欠完备自编码器、正则自编码器、表示能力、层的大小和深度、随机编码器和解码器、去噪自编码器、变分自编码器、实践案例 | 可掌握核心能力: 1、理解算法和模型的分布式实现及加速原理 2、深入理解常用算法及数据结构,尤其是深度学习、增强学习等相关领域,及对模式识别,概率统计、最优化等算法原理及应用 可解决的现实问题: 1、具备丰富并行算法库的能力; 2、跟进行业最新深度学习算法相关先进技术,研究并应用的学习算法,持续提升模型的精准性和鲁棒性 市场价值: 可胜任算法工程师,并能对机器学习,深度学习等前沿技术的研发储备和平台建设,结合未来实际应用场景,提供一定技术解决方案。 |
|
对称权重与深度置信网络 | 积极学习-Hopfield网络:联想记忆、实现联想记忆、能量函数、Hopfield网络的容量、连续Hopfield网络 随机神经元-玻尔兹曼机:受限玻尔兹曼机、CD算法的推导、监督学习、RBM作为定向置信网络、综合实操演练 |
||
进化学习 | 遗传算法:字符串表示、评价适应度、种群、产生后代、选择父母 | ||
遗传算子:交叉、变异、精英法、比赛法和小生境 | |||
遗传算法应用:图着色、间断平衡、示例-背包问题、示例-四峰问题、遗传算法的缺陷、用遗传算法训练神经网络 | |||
与采样结合的进化学习、遗传程序;实操演练 | |||
分布式机器学习 | 分布式机器学习基础:通信、一阶确定性算法、 二阶确定性算法、非凸随机优化算法 | ||
分布式机器学习模型:基本概述、基于模型加和的聚合方法、基于模型集成的聚合方法 | |||
分布式机器学习算法:基本概述、同步算法、异步算法、同步和异步的对比与融合、模型并行算法 | |||
分布式机器学习理论:基本概述、收敛性分析、加速比分析、泛化分析" | |||
分布式机器学习系统:1 基本概述、基于IMR的分布式机器学习系统、基于参数服务器的分布式机器学习系统、基于数据流的分布式机器学习系统 | |||
案例实践 | |||
强化学习 | 学习情境与马尔科夫决策过程:学习情境、马尔科夫决策过程 | ||
策略:定义、策略值、策略评估、最优策略 | |||
规划算法:值迭代、策略迭代、线性规划 | |||
学习算法:随机逼近、TD(0)算法、Q-学习算法、SARSA、TD(λ)算法 、大状态空间 | |||
实践案例:综合案例实践 | |||
数据结构和算法强化 | |||
数据结构强化 | 无向图:表示无向图的数据类型、深度优先搜索、寻找路径、广度优先搜索、连通分量、符号图 | 可掌握核心能力: 1、培养扎实的算法设计,数据结构功底; 2、深入理解算法及数据结构中的经典问题。 可解决的现实问题: 1、将贪心及动态规划等算法用于实际问题的建模分析; 2、深入理解算法和模型调优方式及优缺点。 市场价值: 可胜任算法工程师,并能对机器学习,深度学习等前沿技术的研发储备和平台建设,结合未来实际应用场景,提供一定技术解决方案。 |
|
有向图:有向图的数据类型、有向图中的可达性、环和有向无环图、有向图中的强连通性 | |||
最小生成树:原理、加权无向图的数据类型、最小生成树的API和测试用例、Prim算法、Prim算法的即时实现、 Kruskal算法 | |||
最短路径:最短路径的性质、加权有向图的数据结构、最短路径算法的理论基础、Dijkstra算法、无环加权有向图中的最短路径算法、一般加权有向图中的最短路径问题 | |||
案例实践:综合实操演练 | |||
动态规划初步 | 动态规划初步:钢条切割、矩阵链乘法、动态规划原理、最长公共子序列、最优二叉搜索树 | ||
案例实践,综合实操演练 | |||
贪心算法 | 贪心算法原理及应用:活动选择问题、贪心算法原理、赫夫曼编码、拟阵和贪心算法、用拟阵求解任务调度问题 案例实践:综合实操演练 |
||
数据结构与算法的Python实现 | 穷举搜索、回溯法、减而治之、分而治之、变而治之、贪心法、迭代改进、动态规划 | ||
计算机视觉CV强化 | |||
立体视觉与SLAM | 视觉系统参数模型:针孔模型、双目模型及极线几何、多摄像机模型 | 可掌握核心能力: 1、熟悉机器视觉或计算机视觉的理论和方法,理解结构光视觉(激光三角测量)、双目立体视觉(多目交汇测量)、条纹相位测量等常用方法; 2、深入理解并能应用相机精密标定方法,并能基于3D点云数据,进行配准、分割和特征识别等算法开发,建立3D点云图处理的算法模型。 可解决的现实问题: 1、能够基于感知到的地图要素(标识牌,车道线等),理解高精度地图快速建图的算法的过程; 2、综合运用经典SLAM技术,多视角几何基础理论以及三维重建方法进行业务实践。 市场价值: 能够对室内导航视觉SLAM算法进行研发,包括视觉、惯性、激光SLAM算法研发,传感器标定,三维重建,等SLAM相关方向。 |
|
相机的标定:内外参数的标定、畸变及矫正、常见的标定方法、zhang氏标定、空间5种坐标系的转换 | |||
摄影测量和立体视觉:3D视觉任务、射影几何学基础、单透视摄像机、从多视图重建场景、双摄像机和立体感知、三摄像机和三视张量、由辐射测量到3D信息 | |||
基于深度学习的立体视觉匹配:全卷积网络的匹配代价计算、代价聚合、视差计算、优化以及视差提炼常见的标定方法 | |||
视觉SLAM案例实践:三维空间刚体运动、相机与图像基本操作、非线性优化、视觉测量 | |||
点云处理 | 点云处理技术的基础理论:点云处理技术的基础理论、方法以及主要内容 | ||
点云数据的重建方法:基于特征和基于切片的点云重建方法,点云数据的获取方案,点云的去噪、压缩、配准方法,以及点云空洞的插值方法 | |||
点云数据及模型的质量评价:点云配准过程中的误差传播模型,三维模型的质量评定方法 | |||
点云数据处理技术:常用的海量点云数据处理技术以及三维图像库 | |||
点云处理实践 |
备注:人工智能AI技术热点会随着市场不断变化,本课程也会紧跟AI就业技术热点;本课程大纲仅供参考,实际课程内容可能在授课过程中发生更新或变化,具体授课内容最终以各班级课表为准。
具备一定开发经验的Python开发工程师、爬虫、人工智能工程师,进行职业拓展。
注:获取更多免费学习视频+资料+笔记,请加QQ:2632311208。
在线学习
随到随学,详情可询咨询老师 点击咨询
人工智能AI职业方向拓展课--课程大纲 | ||
数据处理方向拓展 | ||
章节/方向 | 课程 | 知识点 |
数据分析和可视化 | 统计学基础 | 描述统计,统计推断、汇总分类变量,图形显示数据、概率的性质,条件概率、泊松分布,二元分布等 |
BI理论和可视化 | BI(商业智能)基本概念和应用场景、维度建模技术、FineBI数据可视化分析、Tableau数据可视化分析 | |
数据分析案例 | 风控数据挖掘方法,机器学习评分卡、迁移学习 Hadoop、Hive、数仓建模理论、电商数仓搭建 |
|
数据处理方向拓展 | Python爬虫基础 | 爬虫基础、requests模块、数据提取、Selenium、抓包反爬与反反爬方案、MongoDB数据库、Scrapy爬虫框架、Appium的使用、爬虫案例 |
爬虫热点项目库 | 代理池、斗鱼弹幕、京东爬虫、失信人被执行人名单、selenium深入使用 | |
爬虫高薪课 | 数据抓包、基于Docker的爬虫开发环境搭建;爬虫去重原理、simhash、信息摘要算法、布隆过滤器;基于redis的持久化请求队列、消息队列技术、断点续爬、增量采集;正则、jsonpath、xpath等数据提取、pyexecjs、js2py;基于mongodb、postgresql、mysql的数据存储;IO设计模式、协程原理、Asyncio、Tornado、Gevent等异步IO库;爬虫架构实现、爬虫反爬分析与应对 | |
推荐系统方向增强 | ||
基于大数据架构 推荐基础专业课 |
推荐系统介绍 | 推荐系统概念、推荐系统架构、评估和常见问题 |
推荐系统算法 | 协同过滤推荐算法、基于内容推荐算法 | |
Hadoop | Hadoop简介、HDFS、MapReduce和YARN | |
Hive | Hive简介、Hive数据模型及常用操作、Hive综合案例 | |
HBase | HBase的原理和常用Shell命令、HappyBase操作HBase | |
SparkCore | Spark简介和RDD的常用算子介绍、SparkCore案例 | |
SparkSQL | SparkSQL概念和DataFrame简介、Spark SQL案例 | |
SparkStreaming | SparkStreaming概念及常用API介绍、Spark Streaming处理有状态操作 | |
泛娱乐推荐系统项目 | 项目简介: 推荐系统的在当下的火爆程度毋庸置疑,个性化推荐的需求也是每一个toC产品应该实现的目标。我们的泛娱乐推荐系统使用主流的Retrive-Ranking(召回-排序)架构。该推荐系统的主要目标: 通过向用户推荐更合适的帖子, 增加用户交互行为(点赞,评论,转发,收藏等), 进而增加用户平均使用时长。同时满足的用户体验要求: 多样性,新颖性和数据合理性。在排序模块即AI部分,我们将从模型选择,超参数调优,损失函数机器优化方法等多维度深层次进行剖析,诠释为何我们能够推荐出满足用户“嗨点”的作品。 |
技术亮点: 1、丰富的召回策略帮助我们尽可能多的覆盖不同用户对产品推荐的不同需求, 进而提升用户粘度; 2、金字塔召回机制:海量数据下实时响应用户行为变化; 3、更加科学合理的构建双画像,保证原始数据的准确,为模型收敛奠定基础; 4、分布式训练减少了大型模型训练时间,加速模型调优效率, 更好的利用深度模型发掘海量数据价值; 5、使用wide-deep模型进行排序,在类似工程推荐项目中已经取得成功, eg, google play 提升3.9%。 |
整体系统概述与搭建 | 背景介绍、环境配置、系统搭建、业务流实现 | |
构建双画像 | neo4j安装与使用、cypher语句学习与深入;标签体系设计、用户画像与帖子画像的实现 | |
多召回策略 | 多召回策略的设计原理、多召回策略实现 | |
召回金字塔 | 召回金字塔机制原理、召回金字塔实现 | |
规则过滤器服务 | 规则过滤器的设计原理、规则过滤器实现 | |
模型的选择与实现 | 正负样本的定义标准、正负样本的采集与评估指标;模型特征的选择准则、模型特征的定义与实现;wide-deep模型的选用 | |
模型的结构与参数 | LR与MLP学习;wide-deep模型结构与参数分析 | |
损失函数与优化方法 | 二分类交叉熵损失函数详解;FTRL优化方法详解、Adagrad优化方法详解 | |
超参数调优 | 超参数调优理论发展、网格搜索与随机搜索;贝叶斯优化 | |
使用gcp进行模型训练 | gcp的基本使用方法、构建gcp规范下的模型;使用gcp进行超参数调优、使用gcp进行优化训练方案 | |
模型评估与部署 | 模型的评估、深度模型的部署方案;推荐系统的总体检验标准 | |
基于图像和视频分析的人脸推荐解决方案 | opencv 视频处理:视频解码,图像基本处理;mtcnn人脸检测算法:p-net、r-net、o-net级联,分类+框回归+关键点回归;inception resnet v2提取人脸特征:人脸区域提取出128/512个特征值;mlp 人脸特征分类:神经网络基于人脸特征做分类;人脸特征提取用到的loss函数原理;model 服务器端部署:基于tensorflow serving | |
基于图像和视频分析的场景推荐解决方案 | nasnet/inception resnet v2 场景分类:cnn提取图片特征进行分类 | |
基于图像和视频分析的表情推荐解决方案 | mtcnn人脸检测算法:p-net、r-net、o-net级联,分类+框回归+关键点回归;人脸矫正:基于人脸关键点对齐;cnn提取人脸特征进行分类 | |
基于图像和视频分析的姿态推荐解决方案 | mask r-cnn 检测人体关键点:先检测人体,然后检测人体骨骼关键点;mlp关键点分类:神经网络基于人体关键点做分类 | |
黑马头条推荐系统项目 | 项目简介: 黑马头条推荐系统建立在海量用户与海量文章之上,使用Lambda架构整合实时计算和离线计算,借助分布式环境提升计算能力;使用Flume收集用户的点击、浏览、收藏等行为,建立用户画像和文章画像,并存储于HDFS集群;通过离线Spark SQL计算建立HIVE特征中心,存储到HBase集群;通过ALS、LR、Wide&Deep等机器学习与深度学习、推荐算法进行智能推荐,达到千人千面的用户推荐效果 |
项目特色: 1、ABTest实验平台; 2、用户反馈收集 ; 3、实时计算平台; 4、离线计算分析平台; 5、召回算法模型; 6、排序算法模型 ; 7、用户画像建模; 8、文章画像建模; 9、基于Lambda大数据架构进行数据处理。 |
离线计算 | 文章画像构建;用户画像构建;用户召回集合;离线spark排序模型;特征中心平台 | |
在线计算 | 实时日志分析;实时召回集;热门与新文章 | |
实时推荐 | ABTest实验中心;推荐中心服务 | |
深度排序模型 | TensorFlow基础;TensorFlow进阶;深度学习与排序模型;CTR模型部署与测试 | |
人工智能专业增强 | ||
图像与视觉处理CV专业增强 | CV相关案例库:视频中场景识别、垃圾图片分类案例、Flappy Bird的深度强化学习、画风融合和迁移、画风融合及生成、姿态估计及处理 | DeepLearning的网络结构+数据集增强方法+CNN提取图像特征和组合特征的特点;EfficientNet+图片分类优化技巧+分布式任务队列Celery构建企业级应用神经网络自适应匹配不同风格画作与写实画风融合;OpenPose,DeepCut,动作捕捉和增强现实等等 |
自然语言处理 NLP专业增强 |
NLP相关案例库:IMDB影评情感分析、MSCOCO图像说明生成、莎士比亚风格的文本生成、模型并行与分布式的最佳实践、西班牙与到英语的机器翻译、应用于bert模型的动态量化技术 | seq2seq模型架构+InceptionV3的迁移预训练+attention机制的GRU模型、GRU模型生成概率分布+randomcategorical结果选择、attention机制的RNN模型+机制的原理与改进方、模型并行+分布式基本理论与实践、大型模型bert上的动态量化技术等等 |
场景识别项目 | 项目简介:视频场景识别是视频内容结构化的重要基础。场景信息是视频内容推荐、广告位推荐、视频自动化标注、分类的重要依据。本项目涉及如何快速构建深度学习模型完成场景识别,通过模型分辨率、宽度、深度、超参数等调整模型性能,科学构建业务数据,以及多CNN模型级联集成学习方法,快速提高场景识别准确率和满足业务需求 | 技术亮点: 1、基于多模型级联学习的场景识别解决方案 2、浅CNN模型+深CNN模型集成学习+mlp模型预判场景 3、基于模型分辨率、宽度、深度的高效模型容量调整方法 4、科学构建业务数据集,提高模型学习质量 5、视频场景片段高效合并算法优化模型泛化能力 |
数据构建 | 开源数据集构建;业务数据集构建;数据增强和质量控制方法 | |
单CNN模型训练 | 模型选型方法;梯度更新方法选择;学习率设置方法;loss曲线分析 | |
CNN模型结构、容量分析 | 卷积核设计;模型分辨率设定;图像特征数量与模型宽度;高级图像特征与模型深度 | |
多CNN模型级联学习 | 浅CNN模型选型方法;深CNN模型选型方法;深CNN模型集成学习;mlp模型预判场景类别 | |
模型性能评估与部署 | 影视剧场景识别准确率评估;影视剧场景识别精确率评估;影视剧场景识别能力与业务指标评估;模型web服务部署 | |
在线商品检测项目 | 在线商品检测项目是一个基于图像方向的一个目标检测的项目。类似的项目应用如淘宝拍立淘等。该项目结合当前CV领域常用工具、深度学习、目标检测算法、微信小程序对接、百度机器人对接等技术,能够为用户或者消费者拍摄的照片、视频中存在的目标做出标记与类别判断。 该项目使用的技术包括图像领域中目标检测YOLO,SSD等算法做模型训练,输入模型的数据使用OpenCV进行读取处理,并进行data argumentation、多GPU模型训练及部署等。通过学习该课程能够掌握对物体检测的技术点以及业务流程 |
技术亮点: 1、使用OpenCV作为图像与视频的读取工具; 2、基于端到端的目标检测算法YOLO、SSD系统结构; 3、使用数据增强技术进行图片的处理增加泛化能力; 4、使用Web server + TensorFlow serving Client完成前端对接; 5、使用Docker + TensorFlow serving部署模型; 6、使用Label image进行图像的标注存储; 7、进行微信公众号接口开发; 8、使用百度机器人平台对接项目检测服务。 |
项目介绍和深度学习 | 目标检测项目演示、目标检测架构、技术介绍、神经网络算法优化、神经网络基础与原理;案例: tf.keras实现神经网络图片分类 | |
卷积网络 | 卷积神经网络介绍与原理、神经网络调优与BN、经典分类网络结构、CNN实战与迁移学习;案例:VGG迁移学习进行图像识别 | |
深度学习正则化 | 偏差、方差、L1与L2、Dropout正则化、早停止法、数据增强、神经网络调优、Batch Normal | |
CV目标检测算法 | 物体检测算法-RCNN、SPPNet、Fast-RCNN、Faster-RCNN、YOLO、SSD;案例:SSD算法进行图片预测 | |
项目构建 | 数据集的制作与处理、商品检测模型训练、多GPU训练、NMS处理、Matplotib标记;商品检测模型导出 | |
项目部署对接 | OpenCV Python、案例:视频流数据物体检测;Docker开启Tensorflow serving服务、TensorFlow serving client实现、Docker开启Web服务;百度机器人平台接口对接 | |
百度服务平台拓展 | 服务访问方式、人脸识别、物体识别、文字识别、 语音识别与合成、语言处理基础技术 |
|
小智同学聊天机器人项目 | 智能客服项目是一个自然语言处理的项目,实现的功能类似于电商等平台的智能客服。在用户遇到基础的问题的时候,可以和智能客服进行基础的对话,从而解决问题,减少了人工客服的工作量;整个客服项目包含两个部分:闲聊部分和问答部分。项目涉及了70%的自然语言处理的知识点,包括分词、词向量的训练、seq2seq模型、attention、BeamSearch等内容。 | 本项目能掌握的技术: 1、深度学习中的梯度爆炸、梯度消失原理和解决方法、RELU和ELU、Batch Normalization; 2、文本分类和意图识别的常见方法; 3、 fastText的使用和原理、Seq2Seq、注意力机制、BeamSearch; 4、. 常见检索模型的实现方法和流程; 5、基于簇修建的相似度计算类方法; 6、基于tfidf的文本向量化方法; 7、基于BM25的文本向量化方法; 8、基于深度学习的文本向量化方法; 9、孪生神经网络的搭建; 10、深度模型中self-attenion的原理和实现、池化。 |
循环神经网络 | word embedding;案例:完成情感分类练习;循环神经网络;梯度爆炸和梯度消失原理和解决方法;pytorch中的序列化容器;案例:使用循环神经网络完成情感分类 | |
项目准备和fasttext实现意图识别 | 需求分析和项目流程介绍;语料准备和基础api的实现;常见意图识别的方法;fasttext的使用方法;fasttext的原理;使用fasttext完成项目代码的封装 | |
Seq2seq实现闲聊机器人 | Seq2Seq模型原理;案例:使用Seq2seq完成基础的预测任务;使用seq2seq完成聊天机器人;优化:使用attention优化模型效果;优化:使用BeamSearch优化预测效果 | |
问答机器人实现 | 问答模型的介绍和流程分析;问答模型中召回模型的实现;优化:召回模型的优化;问答模型中排序模型的实现;优化:排序模型的优化 | |
基于Transformer的 语音识别项目 |
项目简介: 本项目使用Transformer模型结构来实现端到端的语音识别,项目分为三部分,第一部分介绍语音特征提取;第二部分讲解Transformer模型结构以及模型训练;第三部分讲解模型在安卓的的移植实现。 |
项目特色: 1、基于Transformer的端到端语音识别; 2、模型冻结技术生成pb格式模型文件; 3、简洁快速部署在移动端。 |
语音特征提取 | 开源语音数据介绍;语音特征提取流程和原理;语音特征提取实现 | |
Transformer模型的实现和训练 | 相关依赖说明;实现步骤;tfrecord格式数据保存和加载;Transformer模型实现;Transformer模型封装;Transformer模型训练;Beam Search解码;使用MagicData数据训练模型 | |
模型在安卓端的移植 | 录音权限;音频采集实现;特征提取;模型加载和预测 | |
Web开发方向拓展 | ||
Web-Django 框架与项目 |
Django框架 | Git源代码管理、Redis缓存、VUE介绍、Vue基本语法、ES6语法、VUE 生命周期、Django框架介绍、Django模型、ORM及数据库操作、视图及模板、Django中间件 |
美多商城-前台项目 | 购物电商平台项目编码、前后端不分离模式、数据库-读写分离、Django高级第三方模块、FastDFS分布式文件系统、Celery异步操作、Vue双向绑定、Docker 入门、Crontab定时任务、页面静态化、在线支付、Nginx+uWSGI部署 | |
美多商城-MIS系统项目 | 前后端分离模式、VUE进阶-组件式开发、Django REST framwork、统计、权限管理、商品数据管理、日志管理、用户管理 | |
Web-Flask 框架与项目 |
项目部署 | Docker 进阶、uWSGI、Nginx进阶、性能优化 |
Flask框架 | Flask框架、路由定义及视图函数、蓝图、SQLAlchemy | |
黑马头条Web项目 | 黑马头条项目是一款汇集科技资讯、技术文章和问答交流的用户移动终端产品。黑马头条提供用户移动App端、自媒体PC Web端和系统MIS PC Web端三大应用,让用户轻松获取最新资讯,发布资讯文章。对接推荐系统,收集埋点数据、获取推荐结果;对接AI系统,提供聊天机器人通讯平台。 | 项目特色: 1、使用Flask-RESTful实现REST API; 2、灵活使用SQLAlchemy的数据库ORM解决方案; 3、采用企业的Gitflow工作流开发; 4、采用企业级的缓存方案; 5、使用gRPC与推荐系统和AI系统对接; 6、采用Elasticsearch搜索引擎7、使用socket.io实现即时通讯; 8、使用APScheduler实现定时任务; 9、使用RabbitMQ消息队列 ; 10、引入极验行为验证。 |
黑马头条是一款个性化科技资讯推荐类阅读产品,类似于今日头条,产品包含用户阅读端App、作者自媒体运营端PC Web站点和系统运营管理后台PC Web站点三个部分 | 虚拟机账号说明、ssh远程工具使用 | |
项目搭建与介绍 | 黑马头条产品介绍、原型图与UI图说明、技术架构说明、gitlab服务器使用、Yapi接口管理工具使用 | |
数据库方案 | 数据库设计:数据库表设计、数据库表设计注意事项、建表SQL说明;SQLAlchemy使用:深层理解ORM映射、SQLAlchemy安装与配置、定义映射模型类、数据增删改查、事物;分布式ID:分布式ID方案介绍、雪花算法介绍、时钟回拨问题;数据库优化:理解索引、SQL优化、数据库优化;Redis数据库进阶:redis事务、redis持久化、redis哨兵、redis cluster | |
Git工作流 | Gitflow工作流介绍、工作流分支命名、冲突解决方法;头条项目目录说明、web开发调试方法总结、项目运行方式配置 | |
认证方案 | 注册登录需求说明;jwt原理回顾、中间件实现、装饰器实现、刷新机制、禁用问题 | |
对象存储方案 | 图片存储(头像、文章图片)需求说明;对象存储介绍、七牛对象存储使用、头像上传、CDN介绍 | |
缓存方案 | 缓存架构、缓存数据、缓存有效期、redis过期与内存淘汰、缓存使用模式与更新、缓存穿透与缓存雪崩;用户缓存设计、redis持久保存数据设计、用户缓存实现、统计数据存储实现 | |
定时任务方案 | APScheduler安装、使用流程、调度器、执行器、触发器、配置方法;定时修正统计数据任务原、定时修正统计数据实现 | |
RPC方案 | 推荐文章列表需求说明;RPC介、gRPC介绍、RPC开发流程、IDL语法、IDL编写、IDL编译、gRPC服务器编写、gRPC客户端编写;文章推荐接口实现 | |
即时通讯方案 | 即时消息通知需求说明;即时消息方案介绍、websocket介绍、socket.io介绍;socket.io使用编写、在线聊天实现、APP端在线通知实现 | |
搜索方案 | 文章搜索与自动补全需求说明;Elasticsearch简、倒排索引、搜索原理、IK分词、curl使用;创建文章索引、数据初始导入、新数据同步、搜索原始API介绍、文章搜索实现;创建自动补全索引、数据初始导入、新数据同步、自动补全原始API介绍、自动补全实现 | |
单元测试 | 单元测试介绍、assert、unittest使用方法、使用单元测试测试自动补全接口 | |
部署相关 | gunicorn介绍、使用;supervisor介绍、使用 | |
传智云课堂项目 | 传智云课堂项目是提供IT职业在线课程的学习平台,为即将和已经加入IT领域的技术人才提供在线学习服务。用户通过录播学习掌握IT技能。项目包括门户、学习中心、评论系统、教学管理中心、系统管理中心等平台构成,为学生提供学习服务。 | 技术亮点: 1、RabbitMQ消息队列; 2、Logstash+ElasticSearch 全文检索; 3、Oauth2+JWT; 4、FastDFS+GridFS分布式文件系统; 5、Nuxt.js服务端渲染; 6、APScheduler+FFmpeg+Nginx+Video.js+ HLS视频处理及点播技术方案; 7、大文件断点续传技术 WebUploader; 8、APScheduler+MQ完成分布式事务控制解决方案。 |
搭建开发环境 | DRF开发环境搭建 | |
CMS系统开发 | CMS前端开发;CMS页面管理开发;CMS页面静态化;RabbitMQ研究;MonoDB数据库操作;GridFS使用;页面预览;页面发布 | |
课程管理 | 我的课程;课程管理实战;课程文件管理;分布式文件系统FastFDS;课程详情页静态化;课程预览;课程发布 | |
课程搜索 | ElasticSearch研究;Logstash;课程搜索服务;搜索前端 Nuxt.js | |
媒资管理 | 媒体文件上传断点续传;调用第三方程序; 视频处理进程;我的媒资;媒资与课程计划关联;课程发布存储媒资信息; | |
在线学习HLS | 在线点播解决方案;播放器;学习页面查询课程计划;学习页面获取视频播放地址; | |
用户授权认证 | JWT认证;用户登录与注册;用户授权 | |
分布式事务 | 分布式事务解决方案; Apscheduler定时任务;订单服务定时发送消息;自动添加选课开发 | |
项目部署 | Git/Gitlab代码管理,Gunicorn,Supervisor |
每晚对学员当天知识的吸收程度、老师授课内容难易程度进行评分,老师会根据学员反馈进行分析,对学员吸收情况调整授课内容、课程节奏,最终让每位学员都可以跟上班级学习的整体节奏。
为每个就业班都安排了一名优秀的技术指导老师,不管是白天还是晚自习时间,随时解答学员问题,进一步巩固和加强课上知识。
为了能辅助学员掌握所学知识,黑马程序员自主研发了6大学习系统,包括教学反馈系统、学习难易和吸收分析系统、学习测试系统、在线作业系统、学习任务手册、学员综合能力评定分析等。
末位辅导队列的学员,将会得到重点关心。技术辅导老师会在学员休息时间,针对学员的疑惑进行知识点梳理、答疑、辅导。以确保知识点掌握上没有一个学员掉队,真正落实不抛弃,不放弃任何一个学员。
从学员学习中的心态调整,到生活中的困难协助,从课上班级氛围塑造到课下多彩的班级活动,班主任360度暖心鼓励相伴。
小到五险一金的解释、面试礼仪的培训;大到500强企业面试实训及如何针对性地制定复习计划,帮助学员拿到高薪Offer。