2024 AWS 生成式 AI 創新產業應用日
1.Opening
算力層，平台層，應用層
Amazon應用： 影像產生，假評價阻擋，音樂產生，購物助理，輔助建立物流中心，Amazom Q Business， Amazon Q Developer
算法重於算力
Data is the future oil
The foundation for AI is in the CLOUD
Amazon Bedrock: broad choice of model
AI21labs, Aamazon, Meta, stability.ai
生成式AI互動範例：詢問車輛保險
使用者輸入 -> 提示工程 -> LLM回應
應用：依草稿產出完整設計圖
三預測：
會使用AI的人較出眾
自然語言是下一個程式語言
內嵌式AI與機器人
2.智邦
AI發展歷程：
2018：部門成立
2019：2D AOI
2020：3D AOI
2022：使用Amazon平台
雲地混合式架構，各site工程師收集資料上傳，再分享給各site
AI訓練方式：自動記錄程序，記錄影像，以AI標記資料集，確認資料集，訓練模型，佈署模型
智邦AOI檢測能力，優於傳統2D AOI
智慧製造解決方案：4K IP cam記錄檢測 (以影片展示成品與配件裝箱時的辨識狀況)
效益：檢測時間減少90%
生成式AI辦公助手：提供界面讓user發問
應用：
自然語言產出報表
CodeGen
叫修記錄上傳共享
智邦AI應用平台：微服務，AWS
智慧製造相關事項可聯絡：mike_shen@accton.com
3.趨勢科技
2005開始以ML作anti-spam
使用AWS建立responsible AI
LLM應用生命週期：
data, model and agent, app and use
負面案例；
南韓AI公司不當使用個人資料
Open source LLM造成公司資料外流
駭客以提示注入工程取得機敏資料
Learn architecture
https://trend-tw.com/PN0kB
以AI gateway確保AI使用安全
總結：AI的使用帶來新的風險挑戰
4.Kkday
GraghRAG：基於knowledge gragh的RAG
Graph：基於關聯的數據模型，包含Node 與Edge
運用場景：social network...
Knowledge graph：連結不同資料來源，改善搜尋結果，增強AI/ML
GraghRAG生成步驟：
1.知識圖自動生成
2.回答問題
GraghRAG架構範例
優點：
找出最相關數據來源
尋找關聯數據潛在來源
使用已驗證資料
使用相關數據豐富主題
GraghRAG應用範例：旅途規劃
Amazon Neptune：圖形資料運算全託管雲端資料庫
Amazon Neptune Analytic: Amazon Neptune分析引擎
支援的程式框架：Llamaindex, langchain
傳統搜尋：
嵐山賞楓，拆兩個詞搜尋：嵐山，賞楓
加入AI：京都，一日遊，包車
透過LLM建立knowledge graph，目前使用Claude 3 Haiku
Future work:
Data source 多元
Parsing
Knowledgde gragh, vector darabase
RAG
Applications
5.Gogolook
Ideation, exection, governance
Build data foundation
找適合工具，Generative AI stack：application, LLM, infrastructure
三大主要業務：
消費者防詐，企業防詐，金融科技服務
AI如何改善whoscall流程：
現有流程與挑戰：資料來源多，人工理解與貼標
考量成本，穩定性，跨語言
建立正確資料集，給予LLM更多必要細節
以AI歸納提供建議標籤，若仍有不足再人工處理
開發流程：
商務需求，提示設計，模型選擇，評估，測試..
Whoscall新功能： 以拍照方式進行詐騙判斷
總結：
與AWS合作效益，使用OpenSearch、RedRock
6.AccuHit
生成式AI價值：新體驗，生產力，洞見，創意
系統：
CDP：跨渠道顧客數據平台
NIX：對話式商務應用平台
FLOW.ai：企業級AI方案，使用向量資料庫
使用Amazon CodeBuild, CodePipeline, Bedrock
行銷案例：唯豐肉鬆
建立行銷文本資料庫，匯入舊文案，排除不相關資料
蒐集，清洗，貼標，萃取，驗證
強化專屬AI訓練：50%採舊有文案，50%採現有產品資訊
成效：
1.開銷減少，行銷委外費-75%
2.貼文產能提升
3.效益增加：推文開封率+5%
4.營收成長：同期YOY+89萬
大語言模型在商品推薦的應用：用戶資料，商品資料，用戶行為
以LLM解決標籤製作困境：提供資料，標籤探索，探索結果，呈現
其他事項：
RAG效能檢測
提示工程
微調大語言模型
Agents
導入RAG痛點：AI答覆正確性，知識庫資料即時性
RAG系統性能量測七指標
