047. Как запустить LLM (generative AI) на AWS

AWS на русском

内容由Viktor Vedmich提供。所有播客内容（包括剧集、图形和播客描述）均由 Viktor Vedmich 或其播客平台合作伙伴直接上传和提供。如果您认为有人在未经您许可的情况下使用您的受版权保护的作品，您可以按照此处概述的流程进行操作https://zh.player.fm/legal。

11M ago 30:51

MP3•单集首页

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM: •Amazon Bedrock - сервис для быстрого запуска популярных моделей •Amazon SageMaker JumpStart - кастомные модели в пару кликов •Hugging Face Estimator - доступ к библиотеке моделей Hugging Face •Развертывание в контейнерах ECS и на GPU-инстансах EC2 •AWS Lambda - какие особенности надо учесть при таком запуске С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте. Слушайте, пробуйте! Ссылки упомянутые во время подкаста:

Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0
Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference
Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae
Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c
Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2