Why hasn't GenAI scaled up yet?

(article en fran?ais en seconde partie)

If there's one firmly established model when studying new technological offerings, akin to the famous Moore's Law, it's the Gartner Hype Cycle.

What about GenAI, which meets all the criteria of a promising technological offering?

It's clear that we've quickly reached the faous Peak of Inflated Expectations. I would describe this phase as a moment of maximum excitement, where everyone finds themselves dreaming that everything — absolutely everything — could be handled by statistical text algorithms. And that's without even mentioning the increasingly developing multimodal models.

It's true that between the sensational chatbot unveiled by OpenAI, the way the general public suddenly embraced AI that had finally become tangible, and the announcements — sometimes tinged with sensationalism — from consulting firms relayed by the press, everything contributes to placing GenAI at the center of all attention, but also of all fantasies.

What I find interesting today is that if we've reached the famous peak, it means that disillusionment has already begun. I take as evidence this article from "Les échos" published on May 29, 2024, which draws on a McKinsey analysis. In essence, it indicates that it's time to focus on use cases that truly have an impact. Because, we're told, the promises haven't been fulfilled. Translation: we haven't scaled up yet!

Not yet, not so simply

The initial promises haven't been fulfilled yet, because reality is proving more complex than it appeared! I have my "hype cycle" in mind, and I think we'll need to go through a few intermediate stages. I share this analysis that calls for more pragmatism, after the flood of announcements promising increased productivity of 30% with just a few prompts. I'll spare you the predictions about employment. But wasn't all this eminently predictable? Just as the sequence of events is, in fact.

Every time I have the chance to discuss with one of our clients about their own progress in GenAI, I ask them how many use cases they've identified. As this technology has a very broad impact across the entire value chain of the company, we quickly end up with hundreds of use cases for each company. We take advantage of this to evaluate and quantify them in terms of potential gains, acceleration of processing times, perceived quality, and cost savings.

The logical next step would be implementing the use cases with the most value. However, we now need to scale up. And it's not simple unit prompts, even extremely well-written ones, that allow for the realization of the most impactful cases. Because unsurprisingly, the implementations that are most likely to profoundly change companies often turn out to be the most complex to achieve. I will now try to explain why.

From iteration to automation.

Most tasks performed in a company are ultimately quite repetitive. The company provides a good or service that has demonstrated sufficient strengths, on multiple occasions, to sell and differentiate itself in its market. The excellence of the worker, like that of the musician, often comes from having "practiced their scales": repetition forges experience and know-how. It also allows for the intelligence of gesture and task, which know how to adapt to specificities and subtle variations often requiring human expertise.

Unsurprisingly, the levers for scaling up are mainly found in the repetition of similar tasks, which can be automated in whole or in part. The more these tasks require excellence, the greater the potential gains.

GenAI offers a truly innovative approach because, for the first time, it allows for the automation and iteration of tasks that are not all perfectly identical. It brings contextual adaptation (note that I deliberately avoid using the word "intelligence" here). This characteristic distinguishes these approaches from the RPA (Robotic Process Automation) we used until now. Extracting data from a set of documents such as CVs or reports, regardless of their presentation or content? Generating contextualized problem-solving leads based on the company's experience? The automation of iterative tasks on unstructured data — this is one of the essential criteria for scaling up.

What's exciting about this technology is that it allows us to question the entire value chain of the company. If the promise is increased productivity and enhanced quality, it's indeed the company's processes that should be our primary focus. Strategy and Business Process Management (BPM) then become our main concerns. The famous use cases I mentioned at the beginning of this article should naturally flow from this. However, even if they are the result of collaborative reflections or well-conducted brainstorming sessions, it's highly likely that they only reflect the immediate concerns of a few individuals. As such, they risk not having the transformative impact necessary to revolutionize your company.

Automation Readiness Score (ARS)

I have therefore developed an approach to evaluate the relevance of GenAI-based automation according to use cases. It's a score — the ARS (Automation Readiness Score) — adaptable to the specificities of each industry and company.

The construction of the score first relies on the numerator variables, which favor the use case as described previously: the number of iterations and a complexity score for each repeated task. The number of iterations is scaled to avoid overshadowing other variables (see the second formula).

In the denominator, we find ratings evaluating the complexity of implementation, the risks involved, and the ease — or lack thereof — of maintaining the use case.

These values can be adjusted according to the importance your company places on them, which will undoubtedly spark interesting and in-depth discussions. I have also included an industry-specific index to further refine the evaluation.

The detailed description of the implementation of the ARS score and its calculation will be the subject of an upcoming publication in the coming weeks, with examples. I will notably address the methods for calculating the different scores, such as that of complexity.

You will thus be able to scrutinize your use cases and determine those that truly deserve to be automated. Of course, there will always be borderline cases that should have been considered. What a windfall! These are as many additional opportunities! Let's hurry to create the conditions conducive to their emergence.

When we told you data was important...

GenAI is a remarkable technology, but it's not magic. In terms of generation, the adage "garbage in, garbage out" remains more relevant than ever. Mastering one's data — and let's dare to say it, the representation of the company's knowledge — is a sine qua non condition for success.

LLMs (and their "little brothers", the SLMs) are already very advanced and often capable of generating seemingly satisfactory answers. However, the result is only valuable if it's accurate, not just if it seems plausible. This bias is now known, and it's precisely what we're trying to avoid in most business use cases. To achieve this, it's crucial to provide the system with accurate and relevant information to enrich our query. This is the principle of Retrieval-Augmented Generation (RAG).

This relevant information often constitutes the core knowledge of the company. It must be known, located, and classified to be used wisely.

Caution: for most use cases, building a database of thousands of example documents will be useless if they are to serve as models for generation. Instead, prioritize relevant documents! Avoid obsolete documents or those that don't meet the expected output quality (remember: "garbage in, garbage out").

If you want to automate your commercial responses, don't flood your knowledge base with all your previous responses. Prefer the most recent responses that are most representative of your current expertise.

Moreover, the data sources to be identified and the extraction techniques sometimes differ considerably. Vector databases are ideal for semantics, but it's not necessary to store all your CRM data in them. It's up to the RAG (Retrieval-Augmented Generation) system to adapt and know how to extract relevant information about your client directly from your CRM.

Why not develop GenAI-assisted tools to qualify, classify, and model your vast documentary sources? Create from the start a continuous feed chain that, beyond a simple initial switch, will ensure the permanent maintenance of your knowledge base (thus avoiding the limitation of LLMs to information dating from their training). When you send a new commercial proposal, make sure it's natively referenced so that the lessons it contains are immediately exploitable.

Recent work highlights the use of knowledge graphs associated with LLMs for information representation and retrieval. This topic deserves an in-depth article as its promises are vast. This approach not only improves the compactness and accuracy of knowledge representation but also offers an interesting solution for data segregation — a crucial issue in generation processes. Indeed, you wouldn't want a user to access confidential information via a text generated by an overly "talkative" RAG. To be closely watched, therefore.

If you have so far postponed knowledge management and unstructured data projects, it's high time to review your strategy. These elements prove crucial to fully exploit the potential of GenAI and reap all its benefits.

Orchestration: The key to scaling GenAI

Implementing significant transformations, those that achieve a high level of performance and reliability, cannot be done with a simple prompt, as previously highlighted. For true scaling, more sophisticated tools are necessary. Gartner recently introduced the concept of BOAT (Business Orchestration & Automation Technologies), emphasizing the importance of orchestration in the effective exploitation of GenAI. This concept encompasses all the technologies and practices needed to integrate and automate AI processes within business operations.

At the heart of this approach, the orchestrator plays a crucial role in organizing, selecting, and sequencing tasks assigned to AI. It's not just about GenAI, but a complete ecosystem of tools ranging from large language models like GPT to smaller models capable of running locally, as well as specialized machine learning algorithms and traditional deterministic approaches. This sophisticated orchestration also integrates MLOps (Machine Learning Operations) and LLMOps practices to ensure efficient deployment and maintenance of models in production.

To effectively handle complex processes with high business impact, it is necessary to design advanced processing chains. These chains combine multiple calls to GenAI algorithms, integrate them with other types of algorithms, and most importantly, constantly verify the consistency and quality of results. This vigilance is all the more crucial as statistical algorithms can tend to "hallucinate", that is, produce incorrect or inconsistent information, a phenomenon that can be amplified in long and iterative processing chains.

In business environments where accuracy is paramount, explainability and transparency of AI models also become major issues. Companies must understand how and why a decision was made by a model to ensure regulatory compliance and maintain stakeholder trust. This requires close collaboration between AI and human experts, with the latter supervising and validating results, bringing their judgment and expertise.

To meet these requirements, the orchestrator must integrate robust control mechanisms capable of scrutinizing, comparing, and analyzing results in real-time to ensure their reliability. These verification mechanisms, which can themselves innovatively call upon GenAI, are essential for maintaining the quality and consistency of outputs.

To further optimize, the orchestrator should be agnostic in terms of both LLM and cloud. This flexibility would allow its deployment on-premise or in a private cloud, leveraging hybrid LLMs. Thus, the orchestrator could act as an LLM broker, selecting the most appropriate or economically advantageous model for each task. Critical functions, such as compliance monitoring and sensitive data processing, would be entrusted to fine-tuned on-premise SLMs. In a FinOps logic, the orchestrator would play a crucial role in optimizing costs related to numerous LLM requests, which could potentially explode in terms of tokens. It could not only optimize these costs but also simulate execution in advance to alert about potentially costly processes.

I also recommend that the orchestrator become the mandatory passage point for GenAI uses in the company. IT services are right to fear "shadow GenAI", as the risks of information dispersion and loss of data control are very real, not to mention the costs induced by redundant subscriptions to scattered services. If your orchestrator acts as a hub, it allows for creating a safer tool and uniting the company around a common approach. I am aware of the difficulty of such an approach, especially as all market vendors will try to integrate their own GenAI strategy within their products. Are you really going to want to disperse your data in the LLMs of your ERP, CRM, ITSM, and others?

The orchestrator positions itself at the heart of a holistic approach, allowing for the effective integration of GenAI into processes while ensuring rigorous control and continuous adaptation to business needs.

The team

I implied it earlier, but teams are crucial in the implementation and exploitation of these new technologies. It's not just about initial implementation, but also about sustaining and continuously improving the project. While the "prompt engineer" seemed to be the emblem of new AI professions in business, it's clear that projects going beyond simple prompts require varied skills... which will need to be skillfully orchestrated. Indeed, as with any "hyped" approach (and this one undoubtedly is!), you'll notice that many collaborators will want to get involved, each considering that initiatives should be led under their aegis. Although the formula may seem worn out, it is crucial that the general management fully commits. This is all the more important as there is a real risk of missing the boat while your competitors are making the turn.

Obviously, you will engage consultants and business specialists to help you automate the most relevant processes for your activity. However, this will not exempt you from also involving legal services, the DPO, and all executives in charge of security.

It's also wise to think about pivotal roles and the projects that stem from them as part of your deployment. Here's a non-exhaustive list of roles you might need to create:

• Data specialists identify, organize, and exploit relevant data that will be used to contextualize LLMs. Their role is to ensure that the information provided to the models is high-quality, up-to-date, and structured in a way that optimizes the relevance of responses generated by AI. They don't create LLMs, but effectively adapt them to the specific context of the company.
• LLM and Machine Learning specialists select, adapt, and optimize language and machine learning models. They are the reference points for LLM, SLM, and fine-tuning, mastering the latest advances, associated costs, and legal implications. Their role encompasses technological monitoring of new models, evaluation of optimal usage strategies, management of technical, economic, and legal aspects, implementation and optimization of models for specific company needs, as well as advising on best practices for exploiting LLMs and SLMs.
• The LLM application architect designs the overall architecture of LLM-based applications. They ensure the seamless integration of GenAI models into the company's existing infrastructure, reconciling technical constraints and business needs. They model workflows and processing pipelines integrating GenAI models, ensuring their efficiency, scalability, and compliance with security and privacy standards. Their mission encompasses performance optimization and resource management. They design robust systems capable of efficiently managing variable workloads while taking into account the specific constraints of LLMs, such as latency and availability.
• Prompt engineers create and optimize prompts that will guide GenAI models. They aim to obtain accurate and relevant results by formulating queries in a way that fully exploits the capabilities of the models, which they must master perfectly. They could be compared to database specialists and SQL language experts. However, their pivotal role requires that they neglect neither business aspects nor technical considerations.
• Application developers create interfaces and systems allowing end users to interact with GenAI models. They develop applications that integrate generative AI functionalities into the company's tools.

Take away

In light of the previous reflections, the tools I have the opportunity to co-create, and the deployments I can organize or follow, I offer you some non-exhaustive paths and reflections on your company's GenAI project.

Supporting users

First, let's avoid classic pitfalls: recurrent misunderstandings, unjustified blockages, conflicts between services, or hasty decisions.

Instead, favor a genuine change management program, initiated upstream. Train the entire company on concepts and issues (including top management, and not superficially!), dispel fears, establish a common vocabulary. You will thus create the conditions for constructive dialogue between the many teams called upon to collaborate.

The why before the what before the how

I can't help but ask you this question that I systematically ask myself to push the limits we often impose on ourselves: "What would you do if your company was born with GenAI?" What if, from the start, you had no constraints to implement all these ideas that represent so many major transformations?

In this case, without any barriers, what would you seek to optimize to gain a significant advantage for you, your collaborators, and that would really make a difference for your customers? In other words, what are the tasks to entrust to GenAI that will have a real impact, and to what extent? Once you have formed your conviction, you can ask yourself what you really want to implement and how to do it.

Equip yourself, organize yourself

I'm quite in favor of deploying a generic tool for your users. They are often called "playgrounds," and they already provide real services by offering functionalities similar to ChatGPT or its competitors. Choose a "build or buy" approach depending on how you conceive your information system, but already think about using sophisticated tools such as orchestrators and studios that will soon flourish among major IT players. Quickly create an organization that allows you to launch important projects and avoid multiplying small use cases which, when cumulated, quickly become expensive without necessarily being transformative.

Think about operating your systems

We agree on deploying uses that count, are structuring, and act at the heart of your company's value? Then they require all your attention, with dedicated teams for their operation and tools (such as your orchestrator) that optimize their performance over time. Don't forget the foolproof data management strategy that you will have taken care to put in place. Finally, keep in mind that the security of your data — and all the projects that accompany it — is not accessory. It's often even a "show-stopper" for what seemed to be a good idea. So, include this variable and the experts from the beginning of your reflections.

I will simply conclude by emphasizing that GenAI itself will help you deploy it. I'm a computer scientist, I appreciate recursive processes — you can't change who you are! Rely on your LLMs to create your training and teach your users how to prompt. Your playground and the agents you will create there can become assistants that will accelerate deployment. But above all, quickly move beyond the experimentation stage: the best way to reach Gartner's productivity plateau and realize this huge promise we've been made for two years is to scale up now.

Pourquoi la GenAI n’est-elle pas encore passée à l’échelle ?

S'il y a bien un modèle solidement ancré lorsqu'on étudie les nouvelles offres technologiques, à l'instar de la fameuse loi de Moore, c'est le cycle de Hype du Gartner.

Qu'en est-il de la GenAI, qui réunit tous les critères d'une offre technologique prometteuse ?

Force est de constater que nous avons rapidement atteint le fameux Peak of Inflated Expectations. Je qualifierais cette phase de moment d'excitation maximale, où chacun se surprend à rêver que tout — absolument tout — pourrait être traité par des algorithmes textuels statistiques. Et ce, sans même parler des modèles multimodaux qui se développent de plus en plus.

Il est vrai qu'entre le chatbot sensationnel dévoilé par OpenAI, la manière dont le grand public s'est soudainement emparé de l'IA devenue enfin tangible, et les annonces — parfois teintées de sensationnalisme — des cabinets de conseil relayées par la presse, tout concourt à placer la GenAI au centre de toutes les attentions, mais aussi de tous les fantasmes.

Ce que je trouve intéressant aujourd'hui, c'est que si nous avons atteint le fameux peak, c'est que la désillusion a déjà commencé. J'en veux pour preuve cet article des échos paru le 29 mai 2024, qui reprend une analyse McKinsey. En substance, il indique qu'il est temps de se concentrer sur les cas d'usage qui ont vraiment de l'impact. Car, nous explique-t-on, les promesses ne sont pas au rendez-vous. Traduction : on n'est pas encore passé à l'échelle !

Pas encore, pas si simplement

Les promesses initiales ne sont pas encore au rendez-vous, car la réalité s'avère plus complexe qu'il n'y paraissait ! J'ai bien mon ? cycle du hype ? en tête, et je pense qu'il faudra passer par quelques étapes intermédiaires. Je partage cette analyse qui appelle à plus de pragmatisme, après le déferlement d'annonces promettant une productivité accrue de 30 % en quelques prompts. Je vous épargne les prédictions sur l'emploi. Mais tout cela n'était-il pas éminemment prévisible ? Tout comme l'est d'ailleurs la suite des événements.

Chaque fois que j'ai la chance d'échanger avec l'un de nos clients sur ses propres avancées en matière de GenAI, je lui demande combien de cas d'usage il a identifiés. Cette technologie ayant un impact très large sur l'ensemble de la cha?ne de valeur de l'entreprise, on se retrouve rapidement avec des centaines de cas d'usage pour chaque entreprise. Nous en profitons d'ailleurs pour les évaluer et les chiffrer en termes de gains potentiels, d'accélération des temps de traitement, de qualité per?ue et d'économies réalisées.

La suite logique serait l'implémentation des cas d'usage ayant le plus de valeur. Seulement voilà, il faut maintenant passer à l'échelle. Et ce ne sont pas de simples prompts unitaires, même extrêmement bien rédigés, qui permettent de réaliser les cas les plus impactants. Car sans surprise, les mises en pratique qui ont le plus de chances de changer en profondeur les entreprises s'avèrent souvent être les plus complexes à réaliser. Je vais maintenant tenter de vous expliquer pourquoi.

De l’itération à l’automation.

La plupart des taches effectuées en entreprise sont finalement assez répétitives. L'entreprise fournit un bien ou un service qui a démontré suffisamment d'atouts, dans de multiples occasions, pour se vendre et se différencier sur son marché. L'excellence de l'ouvrier, comme celle du musicien, passe souvent par le fait d'avoir ? fait ses gammes ? : la répétition forge l'expérience et le savoir-faire. Elle permet aussi l'intelligence du geste et de la tache, qui savent s'adapter aux spécificités et aux subtiles variations nécessitant souvent l'expertise humaine.

Sans surprise, les leviers de passage à l'échelle se trouvent principalement dans la répétition de taches similaires, automatisables en tout ou partie. Plus ces taches requièrent d'excellence, plus les gains potentiels sont importants.

La GenAI offre une approche véritablement novatrice, car pour la première fois, elle permet d'automatiser et d'itérer sur des taches qui ne sont pas toutes parfaitement identiques. Elle apporte une adaptation contextuelle (notez que j'évite délibérément l'utilisation du mot ? intelligence ? ici). Cette caractéristique distingue ces approches de la RPA (Robotic Process Automation) que nous utilisions jusqu'à présent. Extraire des données d'un ensemble de documents tels que des CV ou des comptes rendus, quelle que soit leur présentation ou leur contenu ? Générer des pistes de résolution de problèmes contextualisées en s'appuyant sur l'expérience de l'entreprise ? L'automatisation de taches itératives sur des données non structurées — voilà l'un des critères essentiels du passage à l'échelle.

Ce qu'il y a de passionnant dans cette technologie, c'est qu'elle permet de remettre en question l'ensemble de la cha?ne de valeur de l'entreprise. Si la promesse est celle d'une productivité accrue et d'une qualité renforcée, ce sont bien les processus de l'entreprise qui doivent retenir notre attention en priorité. La stratégie et le Business Process Management (BPM) deviennent alors nos premières préoccupations. Les fameux cas d'usage que j'évoquais au début de cet article doivent en découler naturellement. Cependant, même s'ils sont le fruit de réflexions collaboratives ou de séances de brainstorming bien menées, il est fort probable qu'ils ne reflètent que les préoccupations immédiates de quelques individus. En tant que tels, ils risquent de ne pas avoir l'impact transformateur nécessaire pour révolutionner votre entreprise.

Automation Readiness Score (ARS)

J'ai donc développé une approche pour évaluer la pertinence d'une automatisation basée sur la GenAI selon les cas d'usage. Il s'agit d'un score — l'ARS (Automation Readiness Score) — adaptable aux spécificités de chaque industrie et entreprise.

La construction du score s'appuie d'abord sur les variables du numérateur, qui favorisent le cas d'usage comme décrit précédemment : le nombre d'itérations et une note de complexité pour chaque tache répétée. Le nombre d'itérations est mis à l'échelle pour éviter d'éclipser les autres variables (voir la deuxième formule).

Au dénominateur, on trouve des notations évaluant la complexité de mise en ?uvre, les risques encourus et la facilité — ou non — de maintenance du cas d'usage.

Ces valeurs peuvent être ajustées selon l'importance que votre entreprise leur accorde, ce qui suscitera sans doute des discussions intéressantes et approfondies. J'ai également inclus un indice spécifique à chaque industrie pour affiner davantage l'évaluation.

Vous trouverez un exemple en annexe de cet article. La description détaillée de la mise en ?uvre du score ARS et son calcul feront l'objet d'une publication à venir dans les prochaines semaines. J'y aborderai notamment les méthodes de calcul des différentes notes, comme celle de la complexité.

Vous allez donc pouvoir passer au crible vos cas d'usage et déterminer ceux qui méritent vraiment d'être automatisés. Certes, il y en aura toujours à la limite, que l'on aurait d? prendre en compte. Quelle aubaine ! Ce sont autant d'opportunités supplémentaires ! Empressons-nous donc de créer les conditions propices à leur éclosion.

Quand on vous disait que la donnée était importante …

La GenAI est une technologie remarquable, mais elle n'a rien de magique. En matière de génération, l'adage ? garbage in, garbage out ? reste plus pertinent que jamais. Ma?triser ses données — et osons le dire, la représentation des connaissances de l'entreprise — est une condition sine qua non de réussite.

Les LLMs (et leurs ? petits frères ?, les SLMs) sont déjà très avancés et souvent capables de générer des réponses en apparence satisfaisantes. Cependant, le résultat n'a de valeur que s'il est exact, et pas seulement s'il semble plausible. Ce biais est désormais connu, et c'est précisément ce que l'on cherche à éviter dans la plupart des cas d'usage en entreprise. Pour y parvenir, il est crucial de fournir au système des informations précises et pertinentes pour enrichir notre requête. C'est le principe du Retrieval-Augmented Generation (RAG).

Ces informations pertinentes constituent souvent le c?ur du savoir de l'entreprise. Elles doivent être connues, localisées et classifiées pour être utilisées à bon escient.

Attention : pour la plupart des cas d'usage, constituer une base d'exemples de milliers de documents ne servira à rien si ces derniers doivent servir de modèles en matière de génération. Il faut plut?t privilégier les documents pertinents ! évitez les documents obsolètes ou ceux qui ne répondent pas au niveau de qualité attendu en sortie (rappelez-vous : ? garbage in, garbage out ?).

Si vous souhaitez automatiser vos réponses commerciales, n'inondez pas votre base de connaissances avec l'ensemble de vos réponses précédentes. Préférez les réponses les plus récentes et les plus représentatives de votre savoir-faire actuel.

Par ailleurs, les sources de données à identifier et les techniques d'extraction diffèrent parfois considérablement. Les bases de données vectorielles s'avèrent idéales pour la sémantique, mais il n'est pas nécessaire d'y stocker l'intégralité des données de votre CRM. C'est au système de RAG (Retrieval-Augmented Generation) de s'adapter et de savoir extraire l'information pertinente sur votre client directement depuis votre CRM.

Pourquoi ne pas développer des outils assistés par la GenAI pour qualifier, classifier et modéliser vos immenses sources documentaires ? Créez dès le départ une cha?ne d'alimentation continue qui, au-delà d'une simple bascule initiale, assurera l'entretien permanent de votre base de connaissances (évitant ainsi la limitation des LLMs aux informations datant de leur entra?nement). Lorsque vous envoyez une nouvelle proposition commerciale, assurez-vous qu'elle soit nativement référencée pour que les enseignements qu'elle contient soient immédiatement exploitables.

Les travaux récents mettent en lumière l'utilisation de graphes de connaissances associés aux LLMs pour la représentation et la restitution d'information. Ce sujet mérite un article approfondi tant ses promesses sont vastes. Cette approche améliore non seulement la compacité et la précision de la représentation des connaissances, mais offre également une solution intéressante pour la ségrégation des données — un enjeu crucial dans les processus de génération. En effet, vous ne voudriez pas qu'un utilisateur accède à des informations confidentielles via un texte généré par un RAG trop ? bavard ?. à surveiller de près, donc.

Si vous avez jusqu'ici repoussé les projets de gestion des connaissances et de données non structurées, il est grand temps de revoir votre stratégie. Ces éléments s'avèrent cruciaux pour exploiter pleinement le potentiel de la GenAI et en tirer tous les bénéfices.

L'orchestration : clé du passage à l'échelle de la GenAI

La mise en ?uvre de transformations significatives, celles qui obtiennent un haut niveau de performance et de fiabilité, ne peut se faire avec un simple prompt, comme souligné précédemment. Pour un véritable passage à l'échelle, des outils plus sophistiqués sont nécessaires. Gartner a récemment introduit le concept de BOAT (Business Orchestration & Automation Technologies), soulignant l'importance de l'orchestration dans l'exploitation efficace de la GenAI. Ce concept englobe l'ensemble des technologies et pratiques nécessaires pour intégrer et automatiser les processus d'IA au sein des opérations commerciales.

Au c?ur de cette approche, l'orchestrateur joue un r?le crucial en organisant, choisissant et séquen?ant les taches confiées à l'IA. Il ne s'agit pas uniquement de GenAI, mais d'un écosystème complet d'outils allant des très grands modèles de langage comme GPT aux modèles plus petits capables de fonctionner en local, en passant par des algorithmes de machine learning spécialisés et des approches déterministes traditionnelles. Cette orchestration sophistiquée intègre également des pratiques de MLOps (Machine Learning Operations) et de LLMOps pour assurer le déploiement et la maintenance efficaces des modèles en production.

Pour traiter efficacement les processus complexes à fort impact sur l'entreprise, il est nécessaire de concevoir des cha?nes de traitement avancées. Ces cha?nes combinent de multiples appels à des algorithmes de GenAI, les intègrent avec d'autres types d'algorithmes, et surtout, vérifient en permanence la cohérence et la qualité des résultats. Cette vigilance est d'autant plus cruciale que les algorithmes statistiques peuvent avoir tendance à "halluciner", c'est-à-dire à produire des informations incorrectes ou incohérentes, un phénomène qui peut s'amplifier dans des cha?nes de traitement longues et itératives.

Dans les environnements d'entreprise où la précision est primordiale, l'explicabilité et la transparence des modèles d'IA deviennent également des enjeux majeurs. Les entreprises doivent comprendre comment et pourquoi une décision a été prise par un modèle pour garantir la conformité réglementaire et maintenir la confiance des parties prenantes. Cela nécessite une collaboration étroite entre l'IA et les experts humains, ces derniers supervisant et validant les résultats, apportant leur jugement et leur expertise.

Pour répondre à ces exigences, l'orchestrateur doit intégrer des mécanismes de contr?le robustes, capables de scruter, comparer et analyser les résultats en temps réel pour garantir leur fiabilité. Ces mécanismes de vérification, qui peuvent eux-mêmes faire appel de manière innovante à la GenAI, sont essentiels pour maintenir la qualité et la cohérence des outputs.

Pour optimiser davantage, l'orchestrateur devrait être agnostique tant en matière de LLM que de cloud. Cette flexibilité permettrait son déploiement on-premise ou dans un cloud privé, exploitant des LLMs hybrides. Ainsi, l'orchestrateur pourrait agir comme un courtier de LLM, sélectionnant le modèle le plus approprié ou économiquement avantageux pour chaque tache. Les fonctions critiques, telles que la surveillance de conformité et le traitement de données sensibles, seraient confiées à des SLMs on-premise fine-tunés. Dans une logique de FinOps, l'orchestrateur jouerait un r?le crucial en optimisant les co?ts liés aux nombreuses requêtes LLM, pouvant potentiellement exploser en termes de tokens. Il pourrait non seulement optimiser ces co?ts, mais aussi simuler l'exécution en amont pour alerter sur les processus potentiellement co?teux.

Je préconise également que l'orchestrateur devienne le point de passage obligé des usages de la GenAI dans l'entreprise. Les services IT ont raison de craindre le ? shadow GenAI ?, car les risques de dispersion de l'information et de perte de contr?le des données sont bien réels, sans oublier les co?ts induits par la redondance de souscriptions à des services disséminés. Si votre orchestrateur agit comme un hub, il permet de créer un outil plus s?r et de fédérer l'entreprise autour d'une approche commune. Je suis conscient de la difficulté d'une telle démarche, d'autant plus que tous les éditeurs du marché vont tenter d'intégrer leur propre stratégie GenAI au sein de leurs produits. Allez-vous vraiment vouloir disperser vos données dans les LLMs de votre ERP, de votre CRM, de votre ITSM, et autres ?

L'orchestrateur se positionne au c?ur d'une approche holistique, permettant d'intégrer efficacement la GenAI dans les processus tout en assurant un contr?le rigoureux et une adaptation continue aux besoins de l'entreprise.

L’équipe

Je le sous-entendais précédemment, mais les équipes sont cruciales dans la mise en place et l'exploitation de ces nouvelles technologies. Il ne s'agit pas seulement de l'implémentation initiale, mais aussi de la pérennisation et de l'amélioration continue du projet. Si le ? prompt engineer ? semblait être l'emblème des nouveaux métiers de l'IA en entreprise, il est clair que les projets dépassant les simples prompts nécessitent des compétences variées… qu'il faudra orchestrer habilement. En effet, comme pour toute approche ? hype ? (et celle-ci l'est incontestablement !), vous remarquerez que de nombreux collaborateurs souhaiteront s'impliquer, chacun considérant que les initiatives devraient être menées sous son égide. Bien que la formule puisse sembler éculée, il est crucial que la direction générale s'engage pleinement. C'est d'autant plus important qu'il existe un risque réel de rater le coche alors que vos concurrents prennent le virage.

évidemment, vous engagerez des consultants et des spécialistes métiers pour vous aider à automatiser les processus les plus pertinents pour votre activité. Cependant, cela ne vous dispensera pas d'impliquer également les services juridiques, le DPO et tous les cadres en charge de la sécurité.

Il est aussi judicieux de réfléchir aux r?les pivots et aux chantiers qui en découlent dans le cadre de votre déploiement. Voici une liste non exhaustive des r?les que vous pourriez être amené à créer :

• Les spécialistes data identifient, organisent et exploitent les données pertinentes qui serviront à contextualiser les LLM. Leur r?le est de s'assurer que les informations fournies aux modèles sont de haute qualité, à jour et structurées de manière à optimiser la pertinence des réponses générées par l'IA. Ils ne créent pas les LLM, mais les adaptent efficacement au contexte spécifique de l'entreprise.
• Les spécialistes LLM et Machine Learning sélectionnent, adaptent et optimisent les modèles de langage et d'apprentissage automatique. Ils sont les référents en matière de LLM, SLM, et fine-tuning, ma?trisant les dernières avancées, les co?ts associés, et les implications juridiques. Leur r?le englobe la veille technologique sur les nouveaux modèles, l'évaluation des stratégies d'utilisation optimales, la gestion des aspects techniques, économiques et légaux, la mise en ?uvre et l'optimisation des modèles pour les besoins spécifiques de l'entreprise, ainsi que le conseil sur les meilleures pratiques d'exploitation des LLM et SLM.
• L'architecte applications LLM con?oit l'architecture globale des applications basées sur les LLM. Il assure l'intégration harmonieuse des modèles GenAI dans l'infrastructure existante de l'entreprise, en conciliant contraintes techniques et besoins métiers. Il modélise les flux de travail et les pipelines de traitement intégrant les modèles GenAI, veillant à leur efficacité, leur évolutivité et leur conformité aux normes de sécurité et de confidentialité. Sa mission englobe l'optimisation des performances et la gestion des ressources. Il con?oit des systèmes robustes, capables de gérer efficacement les charges de travail variables tout en prenant en compte les contraintes spécifiques des LLMs, telles que la latence et la disponibilité.
• Les prompt engineers créent et optimisent les prompts qui guideront les modèles GenAI. Ils visent à obtenir des résultats précis et pertinents en formulant les requêtes de manière à exploiter pleinement les capacités des modèles, qu'ils doivent ma?triser parfaitement. On pourrait les comparer aux spécialistes des bases de données et du langage SQL. Cependant, leur r?le pivot exige qu'ils ne négligent ni les aspects métier ni les considérations techniques.
• Les développeurs d'applications créent les interfaces et les systèmes permettant aux utilisateurs finaux d'interagir avec les modèles GenAI. Ils développent les applications qui intègrent les fonctionnalités de l'IA générative dans les outils de l'entreprise.

Take away

à la lumière des réflexions précédentes, des outils que j'ai l'occasion de co-créer et des déploiements que je peux organiser ou suivre, je vous propose quelques pistes et réflexions — non exhaustives — sur le chantier GenAI de votre entreprise.

Accompagner les utilisateurs

Tout d’abord, évitons les écueils classiques : incompréhensions récurrentes, blocages injustifiés, conflits entre services ou décisions hatives.

Privilégiez plut?t un véritable programme d'accompagnement au changement, initié en amont. Formez l'ensemble de votre entreprise aux concepts et aux enjeux (y compris la direction générale et pas de manière superficielle !), dissipez les craintes, établissez un vocabulaire commun. Vous créerez ainsi les conditions d'un dialogue constructif entre les nombreuses équipes appelées à collaborer.

Le pourquoi avant le quoi avant le comment

Je ne peux m'empêcher de vous poser cette question que je me pose systématiquement pour repousser les limites que nous nous imposons souvent : ? Que feriez-vous si votre entreprise était née avec la GenAI ? ? Et si, dès le départ, vous n'aviez aucune contrainte pour mettre en ?uvre toutes ces idées qui représentent autant de transformations majeures ?

Dans ce cas, sans aucune barrière, que chercheriez-vous à optimiser pour obtenir un avantage significatif pour vous, vos collaborateurs et qui ferait vraiment la différence pour vos clients ? En d'autres termes, quelles sont les taches à confier à la GenAI qui auront un réel impact, et dans quelle mesure ? Une fois que vous vous serez fait votre conviction, vous pourrez vous demander ce que vous souhaitez réellement implémenter et la manière de le faire.

Outillez vous, organisez vous

Je suis assez partisan de déployer un outil générique à destination de vos utilisateurs. On les appelle souvent les ? playgrounds ?, et ils rendent déjà de vrais services en proposant des fonctionnalités similaires à ChatGPT ou ses concurrents. Choisissez une approche de ? build or buy ? selon la manière dont vous concevez votre système d'information, mais pensez d'ores et déjà à l'utilisation d'outils sophistiqués tels que les orchestrateurs et les studios qui ne vont pas tarder à fleurir chez les grands acteurs de l'IT. Créez rapidement une organisation qui vous permette de lancer les chantiers d'importance et d'éviter de multiplier les petits cas d'usage qui, cumulés, co?tent rapidement cher sans forcément être transformants.

Pensez à opérer vos systèmes

Nous sommes d'accord pour déployer des usages qui comptent, sont structurants et agissent au c?ur de la valeur de votre entreprise ? Alors ils nécessitent toute votre attention, avec des équipes dédiées à leur fonctionnement et des outils (tels que votre orchestrateur) qui en optimisent la performance dans le temps. N'oubliez pas non plus la stratégie de gestion des données à toute épreuve que vous aurez pris soin de mettre en place. Enfin, gardez à l'esprit que la sécurité de vos données — et tous les chantiers qui l'accompagnent — n'est pas accessoire. C'est même souvent un ? show-stopper ? pour ce qui semblait être une bonne idée. Alors, incluez cette variable et les experts dès le début de vos réflexions.

Je conclurai simplement en soulignant que la GenAI elle-même vous aidera à la déployer. Je suis informaticien, j'apprécie les processus récursifs — on ne se refait pas ! Appuyez-vous sur vos LLMs pour créer vos formations et apprendre à vos utilisateurs à prompter. Votre playground et les agents que vous allez y créer peuvent devenir autant d'assistants qui accéléreront le déploiement. Mais surtout, dépassez rapidement le stade des expérimentations : le meilleur moyen d'atteindre le plateau de productivité du Gartner et de concrétiser cette énorme promesse qu'on nous fait depuis deux ans, c'est maintenant de passer à l'échelle.