Artificial Intelligence and the strike of actors and voice actors in the United States - (Portuguese translation below)

Arriving in Brazil, on a long flight from Dubai, I am interviewed, in the context of the North American voice actors and actors strike, about the impact of artificial intelligence on dubbing processes. An article published (in Portuguese) by the Terra portal can be found at https://www.terra.com.br/byte/inteligencia-artificial-ja-ameaca-profissionais-da-voz-veja-o-que-esta-em-jogo,2f3380317b65c75fdc5033452cfb2b32o8r9eaph.html. But, as this is an interesting use case from several perspectives of analysis, I also decided to share with you the full questions asked in the interview, along with my answers:

1. How can artificial intelligence be applied in the dubbing of original animations and what are the main technical challenges to be overcome in this process?

Artificial intelligence is on the verge of making the dubbing profession obsolete and completely replacing it, as is the case in many other professions that a few years ago we thought were immune to the obsolescence caused by automation, either because of their intellectual or creative content, or because of their link to specific cultural or behavioral contexts. The technology required for this massive replacement is essentially available and is likely to be radically improved in the near future. This includes technologies for speech understanding, recognition and synthesis, lip movements, adaptation of phrasing and interpretive emphasis, and other cultural and localization aspects of the different dubbed versions.

?

2. With the actors' strike in Hollywood, including voice actors, what solutions can artificial intelligence offer to ensure the continuity of animation production without compromising the quality of the characters' voices?

The voice actors' strike is just a trigger, meant to speed up a process that is already inexorably under way. The replacement of human dubbing will occur gradually, and the quality of dubbing will be progressively improved, especially in aspects related to dependence on cultural and locational factors in general. The quality of the characters' voices will be ensured, not only from ever more efficient algorithms for synthesizing voice timbres and adaptation of lip movement, but also from a faithful interpretative adaptation in relation to aspects of intonation, phrasing, and emphasis. Of course, there are commercial, economic, socio-political, regulatory, and cultural issues to be resolved in the short term. Immediate obvious examples are the need to adapt actors' contracts to cover the intellectual property aspects related to the use of their voices and to deal with unemployment in the sector. It must be remembered that this technological evolution does not only make voice actors unemployed, but also affects an entire production chain of these contents, involving technicians and managers. Naturally, as always happens, some new jobs and markets will be created. Specialized technicians will be needed in the use, adaptation, operation, and maintenance of the new tools. Commercial “as a service” dubbing initiatives are likely to emerge. On the other hand, other sectors and activities may benefit from the emergence and maturity of these new tools. For example, in videoconferences, courses and international events, each participant or speaker can be seen and heard speaking the recipient's preferred language. For these use cases, there are ongoing developments of telepresence systems, also incorporating other emerging capabilities such as holographic techniques, general virtual/augmented reality, and metaverses. In this case, there are still technological issues to be resolved, such as the need to run speech comprehension and conversion algorithms in real time and deal with performance and latency issues of telecommunications networks and services. But I believe that such limitations will be quickly overcome, creating a perspective of expanded markets even for new professional areas (schools and universities, theater groups, etc.)

?

3. With the advancement of voice synthesis, how can AI be used to create custom synthetic voices that resemble traditional voice actors and what are the limitations of this technology?

I believe that in the medium and long term, in most cases, the conversion process will incorporate automatic dubbing in the voice of the original actors. This can even help to overcome some of the restrictions and cultural barriers that currently exist in many countries, related to the experience with dubbed content. On the other hand (there is always another side), it will also end up accelerating the process, which has already begun, of progressive unemployment of an entire chain of workers involved in the production of subtitles for foreign content. In the short term, there may be a demand for converting the voices of current human voice actors (for example, because the public is already used to them), which would possibly give some remuneration to these professionals.

?

4. Artificial intelligence can impact the creativity and originality of voiced characters' performances. How do you believe that AI can contribute to improving the interpretation of characters without making them predictable and standardized?

It is a mistake to assume that automatic dubbing in the future will have a quality like what we experience today in terms of content stored in specialized services. In addition to faithful voice timbre, phrasing and emphasis will be converted and cultural and locational factors, even the most sophisticated ones, will be appropriately transposed. Even in cases like Brazil (where the quality of dubbing and cultural transposition is recognized as one of the best in the world) it is predictable that, with the advancement of algorithms, the services leave nothing to be desired.

?

5. What are the ethical challenges that artificial intelligence presents in voice acting, especially regarding the use of synthetic voices that can replace traditional voice actors?

Some of these challenges have already been mentioned above. Naturally, ethical issues, in general, need to be better studied and understood, including to facilitate the development and introduction of responsive regulatory frameworks, which allow, at the same time, to lessen or mitigate the undesirable effects in the new foreseeable scenarios and not deter or discourage scientific-technological development.

?

6. How can AI be used to streamline the dubbing process, increase productivity, and reduce production costs in the entertainment industry?

As I argued earlier, the use of AI in dubbing processes can positively impact the production of content for global broadcast via cinema and television. On the one hand, dubbing costs can likely be reduced, production deadlines can be shortened and the unforeseen events arising from problems and human failures can be substantially reduced or eliminated. On the other hand, as I also commented, the new tools, once matured, massified and allied with other emerging telepresence tools, could allow for a movement of expansion and creation of new markets in the entertainment industry, in segments such as the theater, and also spill over to other industries, such as communication, information, conferences and education, etc., expanding markets and possibly bringing a cost reduction effect due to the increase in scale.

?

7. Considering the ever-evolving landscape of artificial intelligence, what are the future prospects for voice acting and how can AI be an ally or a threat to professional voice actors?

Considering the most likely predictable scenarios, it does not seem to be the case that the evolution of AI applied to voice acting can be an ally to professional voice actors. On the one hand, recent history indicates that any attempts to repress or limit, through regulatory means, the progress and application of these tools (as we have already begun to witness, for example through declarations and notes from unions) are destined to fail, useless and possibly harmful, bearing in mind the identifiable interests of important parts of society and consumers. What could perhaps be a viable flag for professional dubbing actors is the appropriation of parts of the economic gains provided by the fall in costs and gains in scale, through appropriate fiscal and regulatory mechanisms, to finance educational programs or subsidies aimed at reducing or mitigating the painful effects of unemployment caused by yet another use case of artificial intelligence.

-------------------------------------------------------------------

Inteligência Artificial e a greve de atores e dubladores nos Estados Unidos

Chegando ao Brasil, em um longo voo vindo de Dubai, sou entrevistado, no contexto da greve de dubladores e atores norte-americanos, a respeito do impacto da inteligência artificial nos processos de dublagem. Uma matéria, publicada pelo portal Terra, pode ser encontrada em https://www.terra.com.br/byte/inteligencia-artificial-ja-ameaca-profissionais-da-voz-veja-o-que-esta-em-jogo,2f3380317b65c75fdc5033452cfb2b32o8r9eaph.html. Mas, como esse é um caso de uso interessante sob vários prismas de análise, resolvi também compartilhar com vocês a íntegra das quest?es formuladas na entrevista, juntamente com minhas respostas:

1.Como a inteligência artificial pode ser aplicada na dublagem de anima??es originais e quais s?o os principais desafios técnicos a serem superados nesse processo?

A inteligência artificial está prestes a tornar obsoleta e substituir integralmente a profiss?o de dublador, a exemplo do que ocorre em muitas outras profiss?es que há poucos anos julgávamos imunes à obsolescência provocada pela automa??o, seja por seu conteúdo intelectual ou criativo, seja por sua vincula??o a contextos culturais ou comportamentais específicos. A tecnologia necessária a essa substitui??o massiva encontra-se essencialmente disponível e será provavelmente melhorada de forma radical no futuro próximo. Isso compreende tecnologias de compreens?o, reconhecimento e síntese de voz, movimentos de lábios, adapta??o de fraseamento e ênfase interpretativa e outros aspectos culturais e de localiza??o das diferentes vers?es dubladas.

2. Com a greve dos atores em Hollywood, incluindo os dubladores, quais solu??es a inteligência artificial pode oferecer para garantir a continuidade da produ??o de anima??es sem comprometer a qualidade das vozes dos personagens?

A greve dos dubladores é apenas um gatilho, destinado a acelerar um processo que já se encontra inexoravelmente a caminho. A substitui??o da dublagem humana ocorrerá paulatinamente e a qualidade da dublagem será progressivamente melhorada, sobretudo nos aspectos ligados à dependência em rela??o a fatores culturais e de localiza??o em geral. A qualidade das vozes das personagens será assegurada, n?o só a partir de algoritmos cada vez mais eficientes de síntese de timbres de voz e adapta??o do movimento labial, mas também de uma adapta??o interpretativa fiel em rela??o a aspectos de entona??o, fraseamento e ênfase. é claro que há quest?es comerciais, econ?micas, sociopolíticas, regulatórias e culturais a serem resolvidas a curto prazo. Exemplos óbvios imediatos s?o a necessidade de adaptar os contratos de atores para cobrir os aspectos de propriedade intelectual relacionados ao uso de suas vozes e de lidar com o desemprego no setor. é preciso lembrar que essa evolu??o tecnológica n?o desemprega somente os dubladores, mas alcan?a também toda uma cadeia de produ??o desses conteúdos, envolvendo técnicos e gestores. Naturalmente, como sempre acontece, alguns novos empregos e mercados ser?o criados. Ser?o necessários técnicos especializados na utiliza??o, adapta??o, opera??o e manuten??o das novas ferramentas. Provavelmente surgir?o iniciativas comerciais de dublagem “as a service”. Por outro lado, outros setores e atividades poder?o ser beneficiados com o surgimento e maturidade dessas novas ferramentas. Por exemplo, em videoconferências, cursos e eventos internacionais cada participante ou palestrante poderá ser visto e ouvido falando a língua de preferência do destinatário. Para esses casos de uso, existem desenvolvimentos em andamento de sistemas de telepresen?a, incorporando igualmente outros recursos emergentes, como técnicas holográficas, de realidade virtual/aumentada em geral e metaversos. Nesse caso, existem ainda quest?es tecnológicas a resolver, como a necessidade de executar os algoritmos de compreens?o e convers?o de fala em tempo real e lidar com quest?es de desempenho e latência de redes e servi?os de telecomunica??es. Mas acredito que tais limita??es ser?o rapidamente superadas, criando uma perspectiva de mercados ampliados até para novas áreas profissionais (escolas e universidades, grupos de teatro, etc.)

?

3. Com o avan?o da síntese de voz, como a IA pode ser usada para criar vozes sintéticas personalizadas que se assemelhem a dubladores tradicionais e quais s?o as limita??es dessa tecnologia?

Acredito que a médio e longo prazos, na maior parte dos casos, o processo de convers?o incorporará dublagem automática na própria voz dos atores originais. Isso pode ajudar inclusive a superar algumas das restri??es e barreiras culturais atualmente existentes em muitos países, relacionados à experiência com conteúdos dublados. Por outro lado (sempre há um outro lado), vai acabar também acelerando o processo, que já come?ou, de desemprego progressivo de toda uma cadeia de trabalhadores envolvidos com a produ??o de legendas para conteúdos estrangeiros. No curto prazo, pode ser que haja demanda para convers?o das vozes dos atuais dubladores humanos (por exemplo porque o público já está acostumado com elas), o que possivelmente daria alguma sobrevida de remunera??o para esses profissionais.

4. A inteligência artificial pode impactar a criatividade e a originalidade das performances dos personagens dublados. Como você acredita que a IA pode contribuir para aprimorar a interpreta??o dos personagens sem torná-las previsíveis e padronizadas?

é um engano supor que a dublagem automática futura terá qualidade semelhante à que experimentamos, hoje em dia, em rela??o aos conteúdos armazenados nos servi?os especializados. Além do timbre de voz fiel, o fraseamento e a ênfase ser?o convertidos e os fatores culturais e de localiza??o, mesmo os mais sofisticados, ser?o adequadamente transpostos. Mesmo em casos como o brasileiro (onde reconhecidamente a qualidade de dublagem e transposi??o cultural é das melhores do mundo) é previsível que, com o avan?o dos algoritmos, os servi?os nada deixem a desejar.

5. Quais s?o os desafios éticos que a inteligência artificial apresenta na dublagem, especialmente em rela??o ao uso de vozes sintéticas que podem substituir dubladores tradicionais?

Alguns desses desafios já foram mencionados acima. Naturalmente, as quest?es éticas, em sua generalidade, precisam ser mais bem estudadas e compreendidas, inclusive para propiciar o desenvolvimento e introdu??o de arcabou?os regulatórios responsivos, que permitam, ao mesmo tempo, minorar ou mitigar os efeitos indesejáveis nos novos cenários previsíveis e n?o deter ou desestimular o desenvolvimento científico-tecnológico.

6. Como a IA pode ser usada para otimizar o processo de dublagem, aumentar a produtividade e reduzir os custos de produ??o na indústria do entretenimento?

Como argumentei anteriormente, o emprego da IA nos processos de dublagem pode impactar positivamente a produ??o de conteúdos para difus?o global via cinema e televis?o. Por um lado, os custos de dublagem podem provavelmente ser reduzidos, os prazos de produ??o podem ser encurtados e os imprevistos decorrentes de problemas e falhas humanas podem ser substancialmente reduzidos ou eliminados. Por outro lado, como também comentei, as novas ferramentas, uma vez amadurecidas, massificadas e aliadas a outras emergentes de telepresen?a poder?o permitir um movimento de expans?o e cria??o de novos mercados na indústria de entretenimento, em segmentos como o teatro, e também transbordar para outras indústrias, como as de comunica??o, informa??o, conferências e educa??o, etc., alargando mercados e possivelmente trazendo um efeito de barateamento pelo aumento de escala.

7. Considerando o cenário em constante evolu??o da inteligência artificial, quais s?o as perspectivas futuras para a dublagem e como a IA pode ser uma aliada ou uma amea?a para os dubladores profissionais?

Considerando os cenários previsíveis mais prováveis, n?o parece ser o caso de que a evolu??o da IA aplicada à dublagem possa ser aliada dos dubladores profissionais. Por um lado, a história recente indica que quaisquer tentativas de reprimir ou limitar, por via regulatória, o progresso e a aplica??o dessas ferramentas (como já come?amos a testemunhar, por exemplo através de declara??es e notas de sindicatos) s?o destinadas a fracassar, inúteis e possivelmente prejudiciais, tendo em vista os interesses identificáveis de partes importantes das sociedades e dos públicos consumidores. O que sim talvez possa ser uma bandeira viável para os dubladores profissionais é a apropria??o de partes dos ganhos econ?micos proporcionados pela queda de custos e ganhos de escala, através de mecanismos fiscais e regulatórios adequados, para subsidiar programas educacionais ou subsídios voltados a minorar ou mitigar os efeitos dolorosos do desemprego provocado por mais esse caso de uso da inteligência artificial.