5小时实战AI语音识别与翻译助手App开发Workshop 课程安排

课程大纲

AI Engineering and AI Intergration
Azure AI Service&TTS
前置条件
微软云Azure AI Service 提前注册
课程内容
1. Icebreaking，导师自我介绍，学员自我介绍 - 0-10分
2. AI 简介 - 10-20分
3. AI是什么葫芦里的什么药
4. AI是什么药（是什么，能干什么）
5. AI是什么葫芦（几种实现技术）
6. 传统算法
7. 深度学习
8. 机器学习
9. 大语言模型（机器学习的一种分支）
10. AI相关的几个典型岗位
11. Algorithm Engineer (算法工程师 - 大牛)
12. Hyperparameter tuning engineer （调参侠）
13. Prompt Engineer （提示工程师 - 调整优化提示）
14. Application Engineer (应用工程师 - 大部分的程序员， 调用AI的API实现商业价值)
15. AI在澳洲的企业应用 - 20-30分
16. Optus的应用案例
17. Optus 机器人
18. Optus 数字人
19. Service NSW的应用案例
20. 客户输入自然语言的理解
21. 语言之间的翻译
22. Azure AI Service 的简要介绍 - 30-40分
23. Azure是什么？Azure有什么？
24. Azure AI Service 是什么？有什么？
25. 演示Azure Protal - 40-50分
微软云 Azure
前置条件
1. Azure提前注册
课上
1. 老师带着学生建立 Azure的TTS服务，Azure Speech服务
2. copy tts服务的SSH，到前端使用
Task 1 通过回传文件方式播放语音
1. Reactjs ，写一个form，包括 input，和 submit
2. 点击提交，文字传输到 API Server，然后API server去cal Azure TTS服务
3. Azure TTS服务，会返回一个AI生成的语音。Response through API Server
4. 前端拿到语音文件，在前端自动播放。
Task2
1. 在Task 1的基础上，实现实时播放，文字传输多少，前端播放多少
2. Streaming模式
Task3：Multiple AI Service
1. 在Task2的基础上，实现回传翻译 （AI Translate）
2. 我输入的是中文字，回传的是英文翻译后的语音
Task4: Real-time 翻译
1. 在Task3基础上，前端开启microphone，前端语音输入英文
2. 后端实现real-time传输
3. Azure 开启Real-time 语音+translate
4. 最后返回给前端，中文
Integrate Azure AI Service and Streaming
课程内容
1. Warmup，回顾上一节的练习和下一步练习 - 0-10分
2. 回顾后端获取短期token
3. 下一步：前端用token通过Stream 模式和AI Service通讯，
4. 跟随练习说明，写一个React App，调用后端获取token， 并进行Stream实现TTS和STT - 10-40分
5. 调用上面的后端获取token
6. 从麦克风录音转换成文字
7. 上传文件转换成文字
8. 文字阅读（文字转语音）
9. 文字阅读的暂停和继续
10. 实现STT和TTS - Pros & Cons ？
11. 讨论：继续优化Azure AI（1）练习的安全性 - 40-55分
12. 跟随练习说明更新上一节的 .net 后端应用，提供一个API，接受一个音频文件，调用Azure AI转化成文字，并作为Reponse 返回 - 55-80分
13. 增加一个API endpoint /api/VoiceController/upload 接受一个webm文件
14. 保存文件并转换成wav
15. 调用SpeechRecognizer 把文件传至Azure识别出文字
16. 返回文字到Response
17. 练习解释： 为什么要转换成wav - 80-85分
Integrate Azure AI and OpenAI
Part1 课程内容
1. 上次课程（Azure语音转文字和翻译）的回顾 - 0-5
2. Generative AI - 5-20分
3. 几个最常见的Generative AI产品
4. ChatGPT 和 Open AI 简介
5. ChatGPT vs OpenAI
6. Open AI API 简介 及其 价钱 - 20-30分
7. Open AI Platform - 30-45分
8. Assistant
9. Playground
10. Other
11. 在澳洲企业的实际应用案例 （如何玩转Prompt）- 45-65
12. Employment Hero - 简历阅读和评判
13. Service NSW - ChatGPT 与 Azure CLU的PK
14. 练习：Open AI API 初体验 - Open AI Playground 的体验 - 65-85分钟
Part 2课程内容
1. 基于上一章练习（Azure AI 2）的后端应用，改动后端API，提供同样的语音转文字功能，但背后调用的是Open AI，而不是Azure AI - 0-20 分钟
2. 调用Open AI 的 Rest API 把文件传至OpenAI识别出文字
3. 返回文字到Response
4. 整合上一节应用的前端测试（原则上前端无任何改动，实际上需要有一处小改动）- 20-25 分钟
5. 基于上一节的后端应用，改动后端API，提供翻译功能 - 25-40分
6. 调用Open AI 的 Rest API 把文件传至OpenAI翻译出文字
7. 返回文字到Response
8. 前端不需要改动，测试
9. 做一个chatgpt的马甲：基于上一节的后端应用实现语音输入，文字回答 - 40-65分
10. 演示：在自己的机器上装一个ChatGPT的大语言模型：Ollama - 65-75分
11. AI 体验的小结和讨论 - 75-85分