自學資源

這堂課是使用來自 OpenAI 和 Azure OpenAI 的多個核心資源建構的，作為術語和指南的參考。以下是一個非全面的清單，供您自行學習之用。

1. 主要資源

Title/Link	Description
Fine-tuning with OpenAI Models	微調通過在提示中訓練更多範例來改進少量學習，節省成本，提高回應品質，並實現低延遲請求。了解來自OpenAI的微調概述。
What is Fine-Tuning with Azure OpenAI?	了解什麼是微調（概念），為什麼你應該關注它（激勵問題），使用什麼數據（訓練）和衡量品質
Customize a model with fine-tuning	Azure OpenAI服務允許你使用微調來定制我們的模型以適應你的個人數據集。了解如何使用Azure AI Studio、Python SDK或REST API進行微調（過程）選擇模型。
Recommendations for LLM fine-tuning	LLMs在特定領域、任務或數據集上可能表現不佳，或可能產生不準確或誤導性的輸出。什麼時候應該考慮微調作為解決方案？
Continuous Fine Tuning	連續微調是選擇已經微調過的模型作為基礎模型並在新的訓練範例集上進一步微調的迭代過程。
Fine-tuning and function calling	使用函式呼叫範例微調你的模型可以通過獲得更準確和一致的輸出來改進模型輸出——具有類似格式的回應和成本節省
Fine-tuning Models: Azure OpenAI Guidance	查閱此表以了解哪些模型可以在Azure OpenAI中進行微調，以及這些模型在哪些地區可用。如有需要，查閱它們的token限制和訓練數據到期日期。
To Fine Tune or Not To Fine Tune? That is the Question	這個30分鐘的2023年10月AI Show節目討論了幫助你做出這個決定的優點、缺點和實際見解。
Getting Started With LLM Fine-Tuning	這個AI Playbook資源帶你了解數據需求、格式化、超參數微調以及你應該知道的挑戰/限制。
Tutorial: Azure OpenAI GPT3.5 Turbo Fine-Tuning	學習建立一個範例微調數據集，準備微調，建立微調工作，並在Azure上部署微調模型。
Tutorial: Fine-tune a Llama 2 model in Azure AI Studio	Azure AI Studio允許你使用基於UI的工作流程來定制大型語言模型以適應你的個人數據集_適合低代碼開發者_。請參見此範例。
Tutorial:Fine-tune Hugging Face models for a single GPU on Azure	本文描述了如何使用Hugging Face transformers函式庫在單個GPU上與Azure DataBricks + Hugging Face Trainer函式庫一起微調Hugging Face模型。
Training: Fine-tune a foundation model with Azure Machine Learning	Azure Machine Learning中的模型目錄提供了許多你可以為特定任務微調的開放原始碼模型。試試這個模組是來自AzureML生成式AI學習路徑
Tutorial: Azure OpenAI Fine-Tuning	使用W&B在Microsoft Azure上微調GPT-3.5或GPT-4模型允許對模型性能進行詳細跟蹤和分析。本指南擴展了OpenAI微調指南中的概念，提供了Azure OpenAI的具體步驟和功能。

2. 次要資源

此部分捕捉了值得探索的額外資源，但我們在本課中沒有時間涵蓋。它們可能會在未來的課程中涵蓋，或作為後續作業選項，在以後的日期進行。現在，使用它們來建立您自己在此主題周圍的專業知識和知識。

Title/Link	Description
OpenAI Cookbook: Data preparation and analysis for chat model fine-tuning	此筆記本用作預處理和分析用於微調聊天模型的聊天數據集。它檢查格式錯誤，提供基本統計資訊，並估算微調成本的代幣數量。請參見: Fine-tuning method for gpt-3.5-turbo。
OpenAI Cookbook: Fine-Tuning for Retrieval Augmented Generation (RAG) with Qdrant	此筆記本的目的是通過一個全面的範例來演示如何為檢索增強生成（RAG）微調OpenAI模型。我們還將整合Qdrant和少樣本學習來提升模型性能並減少捏造。
OpenAI Cookbook: Fine-tuning GPT with Weights & Biases	Weights & Biases (W&B) 是AI開發者平台，提供訓練模型、微調模型和利用基礎模型的工具。首先閱讀他們的OpenAI Fine-Tuning指南，然後嘗試Cookbook練習。
Community Tutorial Phinetuning 2.0 - fine-tuning for Small Language Models	認識Phi-2，微軟的新小型模型，功能強大且緊湊。本指南將引導您微調Phi-2，展示如何建立獨特的數據集並使用QLoRA微調模型。
Hugging Face Tutorial How to Fine-Tune LLMs in 2024 with Hugging Face	這篇博客文章將引導您如何在2024年使用Hugging Face TRL、Transformers和數據集微調開放LLMs。您將定義一個使用案例，設定開發環境，準備數據集，微調模型，測試評估，然後部署到生產環境。
Hugging Face: AutoTrain Advanced	帶來更快更簡單的最先進機器學習模型訓練和部署。 Repo 有適合Colab的指南和YouTube影片指導，用於微調。反映了最近的local-first更新。請閱讀AutoTrain documentation。