2024年12月5日 星期四

Python: openpyxl.utils.exceptions.IllegalCharacterError

久未更動的程式, 突然出現error:


  File "C:\Users\XXX\AppData\Local\Programs\Python\Python38-32\lib\site-packages\openpyxl\cell\cell.py", line 159, in check_string

    raise IllegalCharacterError

openpyxl.utils.exceptions.IllegalCharacterError


原因是有範圍為8進制 [\000-\010]|[\013-\014]|[\016-\037] 的字元.

查了查, 最終發現應是使用者貼資料到系統時, 字串第1個字元是 HEX 16 , 不知從哪複製來的.


治標方式:


from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE

...

v_item = ILLEGAL_CHARACTERS_RE.sub(r'', v_item)


治本, 還是要修正源頭資料.


Ref:

1.openpyxl.utils.exceptions.IllegalCharacterError报错原因及解决办法

  https://www.cnblogs.com/hengdin/p/16996512.html


2.openpyxl.utils.exceptions.IllegalCharacterError 错误原因分析及解决办法

  https://blog.csdn.net/javajiawei/article/details/97147219


3.pandas写入excel时报错openpyxl.utils.exceptions.IllegalCharacterError解决

https://blog.csdn.net/koxb/article/details/131718681



2024年12月3日 星期二

Python: 畫甘特圖

Python: 畫甘特圖

1.使用 Matplotlib , 主要是 broken_barh()

2.使用plotly.express


Ref:

1.Python | Basic Gantt chart using Matplotlib

https://www.geeksforgeeks.org/python-basic-gantt-chart-using-matplotlib/


2.plotting job scheduling chart in Python

https://stackoverflow.com/questions/65183169/plotting-job-scheduling-chart-in-python


3.Gantt Charts in Python

https://plotly.com/python/gantt/


2024年10月15日 星期二

2024 AWS 生成式 AI 創新產業應用日

 2024 AWS 生成式 AI 創新產業應用日


1.Opening


算力層,平台層,應用層


Amazon應用: 影像產生,假評價阻擋,音樂產生,購物助理,輔助建立物流中心,Amazom Q Business,  Amazon Q Developer


算法重於算力


Data is the future oil


The foundation for AI is in the CLOUD 


Amazon Bedrock: broad choice of model 

AI21labs, Aamazon, Meta, stability.ai


生成式AI互動範例:詢問車輛保險


使用者輸入 -> 提示工程 -> LLM回應


應用:依草稿產出完整設計圖


三預測:

會使用AI的人較出眾

自然語言是下一個程式語言

內嵌式AI與機器人



2.智邦


AI發展歷程:

 2018:部門成立

 2019:2D AOI

 2020:3D AOI

 2022:使用Amazon平台


雲地混合式架構,各site工程師收集資料上傳,再分享給各site


AI訓練方式:自動記錄程序,記錄影像,以AI標記資料集,確認資料集,訓練模型,佈署模型


智邦AOI檢測能力,優於傳統2D AOI


智慧製造解決方案:4K IP cam記錄檢測 (以影片展示成品與配件裝箱時的辨識狀況)

效益:檢測時間減少90%


生成式AI辦公助手:提供界面讓user發問


應用:

自然語言產出報表

CodeGen

叫修記錄上傳共享


智邦AI應用平台:微服務,AWS


智慧製造相關事項可聯絡:mike_shen@accton.com



3.趨勢科技


2005開始以ML作anti-spam


使用AWS建立responsible AI


LLM應用生命週期:

data, model and agent, app and use


負面案例;

南韓AI公司不當使用個人資料

Open source LLM造成公司資料外流

駭客以提示注入工程取得機敏資料


Learn architecture 

https://trend-tw.com/PN0kB


以AI gateway確保AI使用安全


總結:AI的使用帶來新的風險挑戰



4.Kkday


GraghRAG:基於knowledge gragh的RAG


Graph:基於關聯的數據模型,包含Node 與Edge 


運用場景:social network...


Knowledge graph:連結不同資料來源,改善搜尋結果,增強AI/ML


GraghRAG生成步驟:

1.知識圖自動生成

2.回答問題


GraghRAG架構範例


優點:

 找出最相關數據來源

 尋找關聯數據潛在來源

 使用已驗證資料

 使用相關數據豐富主題


GraghRAG應用範例:旅途規劃


Amazon Neptune:圖形資料運算全託管雲端資料庫


Amazon Neptune Analytic: Amazon Neptune分析引擎


支援的程式框架:Llamaindex, langchain


傳統搜尋:

  嵐山賞楓,拆兩個詞搜尋:嵐山,賞楓

  加入AI:京都,一日遊,包車


透過LLM建立knowledge graph,目前使用Claude 3 Haiku


Future work:

Data source 多元

Parsing

Knowledgde gragh, vector darabase

RAG

Applications



5.Gogolook


Ideation, exection, governance


Build data foundation


找適合工具,Generative AI stack:application, LLM, infrastructure


三大主要業務:

消費者防詐,企業防詐,金融科技服務


AI如何改善whoscall流程:

 現有流程與挑戰:資料來源多,人工理解與貼標

 考量成本,穩定性,跨語言

 建立正確資料集,給予LLM更多必要細節

 以AI歸納提供建議標籤,若仍有不足再人工處理


開發流程:

商務需求,提示設計,模型選擇,評估,測試..


Whoscall新功能: 以拍照方式進行詐騙判斷


總結:

與AWS合作效益,使用OpenSearch、RedRock



6.AccuHit


生成式AI價值:新體驗,生產力,洞見,創意


系統:

 CDP:跨渠道顧客數據平台

 NIX:對話式商務應用平台

 FLOW.ai:企業級AI方案,使用向量資料庫


使用Amazon CodeBuild, CodePipeline, Bedrock


行銷案例:唯豐肉鬆

 建立行銷文本資料庫,匯入舊文案,排除不相關資料

 蒐集,清洗,貼標,萃取,驗證

 強化專屬AI訓練:50%採舊有文案,50%採現有產品資訊


成效:

1.開銷減少,行銷委外費-75%

2.貼文產能提升

3.效益增加:推文開封率+5%

4.營收成長:同期YOY+89萬


大語言模型在商品推薦的應用:用戶資料,商品資料,用戶行為


以LLM解決標籤製作困境:提供資料,標籤探索,探索結果,呈現


其他事項:

 RAG效能檢測

 提示工程

 微調大語言模型

 Agents


導入RAG痛點:AI答覆正確性,知識庫資料即時性


RAG系統性能量測七指標




2024年3月22日 星期五

Delphi: 解決早期版本Delphi unicode問題的工具: TMS Unicode Component Pack

由於Delphi 7不支援unicode, 造成越南文顯示及儲存的亂碼問題, 變通作法為:

1.英文windows加語言包

2.資料庫連接方式從BDE改成ADO


有找到個工具, TMS Unicode Component Pack , 但實際效果還要再測.


Ref:

1.TMS Unicode Component Pack

https://www.tmssoftware.com/site/tmsuni.asp


2.delphi 支持越南文的问题(200分)

http://wedelphi.com/t/314997/