Building Large Language Models from Scratch
Idioma: inglés
Editorial: APRESS L.P. Mai 2026, 2026
- Tapa blanda
- Nuevo
Librería: Rheinberg-Buch Andreas Meier eK, Bergisch Gladbach, AlemaniaRheinberg-Buch Andreas Meier eK
Vendedor de AbeBooks desde 17 de noviembre de 2008
Condición: Nuevo
EUR 64,19
Cantidad disponible: 2 disponibles
Añadir al carritoDescripción del artículo del vendedor
Neuware -This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs) from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.Starting from the essentials, you ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level an essential skill for scaling real-world LLMs. You ll also gain mastery over the phases of training that define today s leading models:Pretraining - Building general linguistic and semantic understanding.Midtraining - Expanding domain-specific capabilities and adaptability.Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.By the end of this book, you ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.What You ll LearnHow to configure and optimize your development environment using PyTorchThe mechanics of tokenization, embeddings, normalization, and attention mechanisms.How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.How to integrate custom CUDA kernels to accelerate transformer computations.The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks. 530 pp. Englisch.…
N° de ref. del artículo 9798868822964
- Título
- Building Large Language Models from Scratch
- Autor
- Dilyan Grigorov
- Editorial
- APRESS L.P. Mai 2026
- Año de publicación
- 2026
- Estado
- Neu
- Encuadernación
- Taschenbuch
- Idioma
- inglés
- ISBN 13
- 9798868822964
- Peso del artículo
- 1032 gramos
- Dimensiones
- 254x178x30 mm
This book is a complete, hands-on guide to designing, training, and deploying your own Large Language Models (LLMs)―from the foundations of tokenization to the advanced stages of fine-tuning and reinforcement learning. Written for developers, data scientists, and AI practitioners, it bridges core principles and state-of-the-art techniques, offering a rare, transparent look at how modern transformers truly work beneath the surface.
Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level―an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:
- Pretraining - Building general linguistic and semantic understanding.
- Midtraining - Expanding domain-specific capabilities and adaptability.
- Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
- Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.
The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.
By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.
What You’ll Learn
- How to configure and optimize your development environment using PyTorch
- The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
- How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
- How to integrate custom CUDA kernels to accelerate transformer computations.
- The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
- Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
- How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.
Who this book is for:
Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.
“Sinopsis” puede pertenecer a otra edición de este título.
Acerca del autor
Dilyan Grigorov is a software developer with a passion for Python software development, generative deep learning & machine learning, data structures, and algorithms. He is an advocate for open source and the Python language itself. He has 16 years of industry experience programming in Python and has spent 5 of those years researching and testing Generative AI solutions. His passion for them stems from his background as an SEO specialist dealing with search engine algorithms daily. He enjoys engaging with the software community, often giving talks at local meetups and larger conferences. In his spare time, he enjoys reading books, hiking in the mountains, taking long walks, playing with his son, and playing the piano.
“Acerca de” puede pertenecer a otra edición de este título.
Rheinberg-Buch Andreas Meier eK
Bergisch Gladbach, Alemania
Vendedor de AbeBooks desde 17 de noviembre de 2008
Tarifas de envío de Alemania a Estados Unidos de America
| Artículo | De 5 a 15 días hábiles | De 2 a 4 días hábiles |
|---|---|---|
| Primer artículo | EUR 23,00 | EUR 35,99 |
Métodos de pago
- Giro bancario
- PayPal
Descripción de la tienda
Online Buchhandel
Información empresarial del vendedor
Rheinberg-Buch Andreas Meier eK
Alemania
Condiciones de venta
Rheinberg-Buch Inh. Andreas Meier e.K.
Inhaber: Andreas Meier
De-Gasperi-Str. 8
51469 Bergisch Gladbach
Deutschland
Tel.: +4922049671181
Fax: +4922049671189
E-Mail: info@rheinberg-buch.de
Registergericht: Amtsgericht Köln
Registernummer: HRA 26456
Umsatzsteuer-Identifikationsnummer: DE122062682
Wir sind zur Teilnahme an einem Streitbeilegungsverfahren vor einer Verbraucherschlichtungsstelle weder verpflichtet noch bereit.
Derecho al desistimiento
Si es un consumidor, puede rescindir el contrato de acuerdo con lo siguiente. Por consumidor se entiende cualquier persona física que actúe con fines ajenos a su actividad comercial, empresarial, oficio o profesión.
Información sobre el derecho de desistimiento
Derecho legal de desistimiento
Tiene derecho a rescindir este contrato en un plazo de 14 días sin dar ningún motivo.
El periodo de desistimiento vencerá a los 14 días desde que usted, o un tercero que no sea el transportista e indicado por usted, adquiera la posesión física del último bien o del último lote o pieza.
Para ejercer el derecho de desistimiento, complete de forma electrónica y envíe una declaración clara en nuestro sitio web, desde "Mis compras" en "Mi cuenta". Le enviaremos sin demora un acuse de recibo de dicho desistimiento a través de un soporte duradero (por ejemplo, por correo electrónico).
Para cumplir con el plazo de desistimiento, basta con que envíe su comunicación relativa al ejercicio del derecho de desistimiento antes de que venza el periodo de desistimiento.
Efectos del desistimiento
Si rescinde este contrato, le reembolsaremos todos los pagos que hayamos recibido de usted, incluidos los gastos de envío (excepto los gastos adicionales que surjan si elige un tipo de envío que no sea el tipo de envío estándar más económico que ofrecemos).
Podemos hacer una deducción del reembolso por la pérdida de valor de cualquier bien suministrado, si la pérdida es el resultado de una manipulación innecesaria por su parte.
Efectuaremos el reembolso sin demoras indebidas y, a más tardar, 14 días después de que se nos informe de su decisión de rescindir este contrato.
Efectuaremos el reembolso utilizando el mismo medio de pago que utilizó para la transacción inicial, a menos que haya acordado expresamente lo contrario; en cualquier caso, no incurrirá en ningún cargo como resultado de dicho reembolso.
Podremos retener el reembolso hasta que hayamos recibido los bienes o hasta que nos haya presentado una prueba de que los ha devuelto, lo que ocurra primero.
Deberá devolver los bienes o entregarlos a Rheinberg-Buch Andreas Meier eK, Bergisch Gladbach, Germany, +49 02204-9671181, sin demoras indebidas y, en cualquier caso, en un plazo máximo de 14 días a partir del día en que nos comunique su desistimiento del presente contrato. El plazo se cumple si devuelve la mercancía antes de que venza el periodo de 14 días. Tendrá que asumir los gastos directos de devolución de los bienes. Usted solo es responsable de la disminución del valor de los bienes como resultado de una manipulación distinta a la necesaria para establecer la naturaleza, las características y el funcionamiento de los bienes.
Excepciones al derecho de desistimiento
El derecho de desistimiento no se aplica a lo siguiente:
- La entrega de periódicos, diarios o revistas, con la excepción de los contratos de suscripción; y
- El suministro de contenido digital que no se proporcione en un soporte tangible (por ejemplo, en un CD o DVD) si, al hacer el pedido, aceptó que podíamos empezar a entregarlo y que no podría desistir una vez iniciada la entrega.
Condiciones de envío
Der Versand ins Ausland findet IMMER mit DHL statt. Auch nach Österreich verschicken wir nur mit DHL! Daher Standardversand == Luftpost!