日韩欧美看国产,欧美精品一二三四,懂色av一区二区三区在线播放,久久噜噜亚洲综合

如何在 A4000 GPU 上運(yùn)行 Gemma 2模型?捷智算云平臺(tái)演示詳解
發(fā)布時(shí)間: 2024-08-26 11:27

人工智能 (AI) 可以解決世界上一些最大的問題,但前提是每個(gè)人都擁有使用它的工具。2024 年 6 月 27 日,人工智能技術(shù)領(lǐng)域的領(lǐng)先企業(yè)谷歌推出了Gemma 2 9B 和 27B,這是一組輕量級(jí)、先進(jìn)的人工智能模型。這些模型采用與著名的 Gemini 模型相同的技術(shù)構(gòu)建,使更多人能夠使用人工智能,標(biāo)志著人工智能民主化的重要里程碑。


Gemma 2 有兩種大小:90 億 (9B) 和 270 億 (27B) 個(gè)參數(shù),上下文長(zhǎng)度為 8K 個(gè) token。谷歌聲稱該模型比第一代 Gemma 模型性能更好、效率更高。Gemma 2 還包含必要的安全改進(jìn)。27B 模型非常強(qiáng)大,可以與兩倍于其大小的模型相媲美,并且可以在單個(gè) NVIDIA H100 Tensor Core GPU 或 TPU 主機(jī)上運(yùn)行,從而降低成本。


捷智算平臺(tái)以實(shí)惠的價(jià)格提供強(qiáng)大的 H100 和 A4000 等 GPU,為 AI 開發(fā)帶來革命性變化,讓更多研究人員和開發(fā)人員能夠運(yùn)行先進(jìn)的輕量級(jí)模型。借助其基于云的平臺(tái),用戶可以輕松訪問高性能 NVIDIA GPU,而成本僅為傳統(tǒng)基礎(chǔ)設(shè)施的一小部分。


捷智算云平臺(tái)通過降低進(jìn)入門檻并啟用 Gemma 2 等先進(jìn)模型來實(shí)現(xiàn)人工智能的民主化,從而實(shí)現(xiàn)人工智能的包容性和加速進(jìn)步。那么如何在 A4000 GPU 上運(yùn)行 Gemma 2模型?下面以捷智算云平臺(tái)進(jìn)行演示,為大家詳細(xì)介紹一下!


需要輕量級(jí)模型


輕量級(jí) AI 模型對(duì)于使先進(jìn)技術(shù)更易于獲取、更高效、更具成本效益和更可持續(xù)至關(guān)重要。它們支持各種應(yīng)用。此外,這些模型推動(dòng)創(chuàng)新并應(yīng)對(duì)全球各種挑戰(zhàn)。


輕量級(jí)模型在各個(gè)領(lǐng)域都必不可少的原因如下:


  • 速度:由于規(guī)模和復(fù)雜性降低,輕量級(jí)模型通常具有更快的推理時(shí)間。這對(duì)于實(shí)時(shí)或近實(shí)時(shí)數(shù)據(jù)處理應(yīng)用(如視頻分析、自動(dòng)駕駛汽車或在線推薦系統(tǒng))至關(guān)重要。

  • 計(jì)算要求低:輕量級(jí)模型通常比大型模型需要更少的計(jì)算資源(例如內(nèi)存和處理能力)。這使得它們適合部署在功能有限的設(shè)備上,例如智能手機(jī)、物聯(lián)網(wǎng)或邊緣設(shè)備。

  • 可擴(kuò)展性:輕量級(jí)模型更易于跨多種設(shè)備或用戶進(jìn)行擴(kuò)展。這種可擴(kuò)展性對(duì)于用戶群廣泛的應(yīng)用程序(例如移動(dòng)應(yīng)用程序)尤其有利,因?yàn)樵谶@些應(yīng)用程序中部署大型模型可能不可行。

  • 成本效益:輕量級(jí)模型可以降低與部署和維護(hù) AI 系統(tǒng)相關(guān)的運(yùn)營(yíng)成本。它們消耗更少的能源,并且可以在更便宜的硬件上運(yùn)行,使企業(yè)和開發(fā)人員更容易獲得它們,并且更經(jīng)濟(jì)。

  • 在資源受限的環(huán)境中部署:在互聯(lián)網(wǎng)連接不可靠或帶寬有限的環(huán)境中,輕量級(jí)模型可以有效運(yùn)行,而無需持續(xù)訪問云服務(wù)。

  • 像 Gemma 2 這樣的輕量級(jí)模型至關(guān)重要,因?yàn)樗鼈冊(cè)试S更多人和組織利用先進(jìn)的人工智能技術(shù),推動(dòng)創(chuàng)新,并為各種挑戰(zhàn)創(chuàng)造解決方案,同時(shí)注意成本和可持續(xù)性。


Gemma 2 簡(jiǎn)介


Gemma 2 是 Google 最新推出的開源大型語言模型 (LLM),其模型參數(shù)有 90 億 (gemma-2-9b) 和 270 億 (gemma-2-27b),包括指令微調(diào)變體。這些模型在大量數(shù)據(jù)集上進(jìn)行訓(xùn)練 — — 27B 版本有 13 萬億個(gè)標(biāo)記,9B 版本有 8 萬億個(gè)標(biāo)記 — — 其中包括網(wǎng)絡(luò)數(shù)據(jù)、英文文本、代碼和數(shù)學(xué)內(nèi)容。Gemma 2 的上下文長(zhǎng)度為 8,000 個(gè)標(biāo)記,由于數(shù)據(jù)管理的改進(jìn)和訓(xùn)練數(shù)據(jù)集的擴(kuò)大,它在語言理解和文本生成等任務(wù)中提供了增強(qiáng)的性能。Gemma 2 在寬松的許可下發(fā)布,支持重新分發(fā)、商業(yè)使用、微調(diào)和衍生作品,促進(jìn)了人工智能應(yīng)用的廣泛采用和創(chuàng)新。一些技術(shù)增強(qiáng)包括交錯(cuò)局部全局注意力和群組查詢注意力。此外,2B 和 9B 模型利用知識(shí)提煉而不是下一個(gè)標(biāo)記預(yù)測(cè),從而相對(duì)于其大小具有更優(yōu)異的性能,并且是比其大 2-3 倍的模型具有競(jìng)爭(zhēng)力的替代方案。


Gemma2 性能


在 Gemma 2 的訓(xùn)練過程中,我們遵守了嚴(yán)格的安全規(guī)程。其中包括篩選訓(xùn)練前數(shù)據(jù),并針對(duì)各種指標(biāo)進(jìn)行全面測(cè)試,以檢測(cè)和解決潛在的偏見和風(fēng)險(xiǎn)。


Gemma 2 性能


Gemma 2 的 9B 和 27B 指令評(píng)估


探索 Gemma 2 的強(qiáng)大功能:捷智算平臺(tái)演示


我們已成功使用 Ollama 和 NVIDIA RTX A4000 測(cè)試了該模型!查看我們關(guān)于下載 Ollama 和訪問任何 LLM 模型的有用文章。此外,Gemma2 可與 Ollama 無縫協(xié)作。


準(zhǔn)備好下載模型并開始嗎?


在開始之前,讓我們收集一些有關(guān) GPU 配置的信息。


nvidia-smi




ollama run gemma2


您會(huì)驚訝于使用先進(jìn)的 A4000 機(jī)器檢索模型的速度有多快!只需幾秒鐘,您就可以與模型進(jìn)行精彩的聊天。


1、發(fā)人深省的問題:神經(jīng)網(wǎng)絡(luò)如何工作,并解釋其關(guān)鍵組成部分?


轉(zhuǎn)眼間,模型就生成了輸出。


2、兩難問題:假設(shè)你是一名醫(yī)生,有五個(gè)病人,他們都需要器官移植才能活下來,但你沒有任何器官。有一天,一個(gè)擁有兼容器官的健康人被送進(jìn)醫(yī)院進(jìn)行例行檢查。如果你使用這個(gè)健康人的器官,你可以拯救你的五個(gè)病人。然而,這意味著犧牲來例行檢查的健康人。你應(yīng)該怎么做?為什么?


3、編碼:編寫一個(gè)函數(shù),通過填充空單元格來解決數(shù)獨(dú)難題。數(shù)獨(dú)難題是一個(gè) 9x9 網(wǎng)格,目標(biāo)是填充網(wǎng)格,使每行、每列以及九個(gè) 3x3 子網(wǎng)格中的每一個(gè)都恰好包含一次從 1 到 9 的數(shù)字??諉卧裼米址??!北硎?。


輸出:-


def solveSudoku(puzzle):

    """

    Solves a Sudoku puzzle.


    Args:

        puzzle (list): A list of strings representing the Sudoku puzzle.


    Returns:

        list: A list of strings representing the solved Sudoku puzzle.

    """


    # Iterate over the rows, columns, and subgrids.

    for row in range(9):

        for col in range(9):

            if puzzle[row][col] == '.':

                # Check if the number is already in the row, column, or subgrid.

                for i in range(9):

                    if puzzle[row][i] != '.' and puzzle[i][col] != '.' and puzzle[row][col] == puzzle[i][col]:

                        continue


                # Find the possible numbers for the cell.

                possible_numbers = set()

                for i in range(1, 10):

                    if not is_valid(puzzle, row, col, i):

                        possible_numbers.add(i)


                # Try each possible number.

                for number in possible_numbers:

                    puzzle[row][col] = str(number)

                    if solveSudoku(puzzle):

                        return puzzle

                    puzzle[row][col] = '.'


    # If no solution is found, return the original puzzle.

    return puzzle



# Helper function to check if a number is valid for a cell.

def is_valid(puzzle, row, col, number):

    for i in range(9):

        if puzzle[row][i] == str(number) or puzzle[i][col] == str(number):

            return False

    for i in range(3):

        for j in range(3):

            if puzzle[row // 3 * 3 + i][col // 3 * 3 + j] == str(number):

                return False

    return True

```


**Explanation:**


* The `solveSudoku` function iterates over the rows, columns, and subgrids of the Sudoku puzzle.

* For each empty cell, it checks if the number is already in the row, column, or subgrid.

* It then finds the possible numbers for the cell and tries each one.

* If a solution is found, it returns the solved puzzle. Otherwise, it returns the original puzzle.

* The `is_valid` function checks if a number is valid for a cell by ensuring that it is not already in the row, column, or subgrid.


**Example Usage:**


```python

# Example Sudoku puzzle.

puzzle = [

    ['5', '3', '.', '.', '7', '8', '.', '.', '.'],

    ['.', '7', '4', '6', '.', '5', '8', '9', '.'],

    ['.', '.', '8', '.', '9', '1', '.', '6', '.'],

    // ... Rest of the puzzle.

]


# Solve the Sudoku puzzle.

solution = solveSudoku(puzzle)


# Print the solved puzzle.

print(solution)

```


結(jié)論


SOTA 模型 Gemma 2 所展示的進(jìn)步在 AI 領(lǐng)域具有開創(chuàng)性意義。Gemma 2 的配置利用了 90 億和 270 億個(gè)參數(shù),展示了性能、效率和關(guān)鍵安全性的提升。它可以與兩倍于其大小的模型相媲美,并且可以在單個(gè) NVIDIA Tensor Core GPU 或 TPU 主機(jī)上經(jīng)濟(jì)高效地運(yùn)行,使更廣泛的開發(fā)人員和研究人員能夠使用高級(jí) AI。Gemma 2 的開源性質(zhì)、廣泛的培訓(xùn)和技術(shù)增強(qiáng)凸顯了其卓越的性能,使其成為 AI 技術(shù)的關(guān)鍵發(fā)展。

粵公網(wǎng)安備 44030502006483號(hào)、 粵ICP備15047669號(hào)
  • 捷易科技聯(lián)系人
  • 主站蜘蛛池模板: 贵溪市| 隆安县| 天津市| 临湘市| 南澳县| 许昌县| 长寿区| 扎兰屯市| 耒阳市| 富平县| 依安县| 乌拉特前旗| 齐河县| 许昌市| 和硕县| 襄樊市| 搜索| 金秀| 宁远县| 通城县| 东莞市| 舟曲县| 上饶市| 内丘县| 泽普县| 乐昌市| 渭南市| 米易县| 柳州市| 彭阳县| 繁昌县| 金湖县| 平昌县| 金门县| 新邵县| 吴川市| 广灵县| 讷河市| 同仁县| 延津县| 文山县|