每經(jīng)AI快訊，5月9日，MiniMax官微發(fā)長文回應(yīng)M2系列模型無法說出馬嘉祺一事，提供了對“嘉祺識別”問題的完整排查過程和技術(shù)思考。MiniMax表示，其從分詞器版本對齊、embedding統(tǒng)計分布、語義近鄰檢索、預(yù)訓(xùn)練與后訓(xùn)練模型的few-shot對比實(shí)驗(yàn)、后訓(xùn)練數(shù)據(jù)頻次統(tǒng)計以及對全詞表lm_head變化幅度的排序掃描等多個維度進(jìn)行了排查。最終定位到的原因是：“嘉祺”在分詞器中被合并為一個獨(dú)立token，但該token在后訓(xùn)練數(shù)據(jù)中出現(xiàn)頻次極低，導(dǎo)致模型在后訓(xùn)練中逐漸遺忘了對該token的生成能力。