Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

混合精度の利用 + bfloat16のオプション追加 #52

Open
nadare881 opened this issue Jun 3, 2023 · 0 comments
Open

混合精度の利用 + bfloat16のオプション追加 #52

nadare881 opened this issue Jun 3, 2023 · 0 comments
Labels
enhancement New feature or request

Comments

@nadare881
Copy link
Contributor

nadare881 commented Jun 3, 2023

RVCの訓練では混合精度を利用しています。
混合精度はモデルのパラメータをfloat32で保存し、計算の数値だけfloat16で計算することでfloat32の精度とfloat16の速度のいいとこどりをする手法です。
https://www.tensorflow.org/guide/mixed_precision?hl=ja
現状学習のコードを見ると、float16利用の時モデルの方もfloat16にしてしまっているので修正します。

  • 指数部がfloat32で仮数部を小さくすることでfloat32と同じ桁の幅を表現できるbfloat16というのもあり、transformerではこちらの方が安定しやすいのでoptionにbfloat16も追加し選べるようにします。

緊急ではないのでゆっくりめに進めます。

@ddPn08 ddPn08 added the enhancement New feature or request label Jun 8, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

2 participants