twinkle-ai

/

gemma-3-4B-T1-it

like 38

Follow

Twinkle AI 170

twinkle-ai團隊您好，我是同樣在研究將語言模型繁體中文化以實現本土化語言模型的研究人員，我主要的研究專注於function-calling 為此對 BFCL 也有一定的了解，對此我想了解你們在測試數據，我嘗試在BFCL v3 (包含multi-turn)上測試你們所訓練出來的模型，其中測試結果與你們所放上的數據相差甚遠，因此有幾個問題想要問 :

因為我看到你們的測試只有放上 single-turn的相關資料(Simple, Multiple, Parallel, Parallel Multiple)且沒有分 live 以及 non-live，因此推測你們使用的版本為 v1 版本的測試資料，想知道我的推測是否屬實?

其次是想了解 BFCL 的測試是否是原始的版本 (純英文的函數呼叫能力測試)，還是有經過修改 (自行翻譯 BFCL 資料集使其能評估中文的函數呼叫能力，像是這個由MTK 製作的版本 https://github.com/mtkresearch/function-calling-leaderboard-for-zhtw)?

再者想知道你們在 BFCL 上面的測試所使用的調用工具 (BFCL 裡面的 Handler 等配置) 是否有針對你們所訓練出來的模型做額外的調整還是直接沿用 google/gemma-3-4b-it 的既有配置