Our Final Invention: Artificial Intelligence and the End of the Human Era
by James Barrat
On This Page
Description
"Artificial Intelligence helps choose what books you buy, what movies you see, and even who you date. It puts the "smart" in your smart phone, it has the run of your house, and soon it will drive your car. It makes most of the trades on Wall Street, and controls vital energy, water, and transportation infrastructure. But Artificial Intelligence can also threaten our existence. Though primitive today, 'intelligent' computer systems double in speed and power each year. In as little as a show more decade, AI could match and then surpass human intelligence. Corporations and government agencies are pouring billions into achieving AI's Holy Grail -- human-level intelligence. Once AI has attained it, scientists argue, it will have survival drives much like our own. We may be forced to compete with a rival more cunning, more powerful, and more alien than we can imagine. Through profiles of tech visionaries, industry watchdogs, and groundbreaking AI systems, James Barrat's Our Final Invention explores the perils of the heedless pursuit of advanced AI. Until now, human intelligence has had no rival. Can we coexist with computers whose intelligence dwarfs our own? And more to the point: will they allow us to?"-- "The Internet is usually considered a breakthrough in technological--and even social--progress. The promises that it holds for our future are discussed in terms of an utopian vision--intelligent, helpful robots; enhanced brain function; disease-and-famine ridding nanotechnology, and other positive benefits. But there's another, rarely discussed and far darker possibility. As Our Final Invention argues, we may be racing towards our own annihilation, as the military, academia, and corporate advances in artificial intelligence may lead to an uncontrollable new lifeform far smarter and more powerful than we can imagine. Advanced artificial intelligence might seem like a far-out science fiction story, but it is actually far closer than most of us realize. Bringing together the ideas of experts in a thoroughly accessible way and exposing the dark side to the vision presented in The Singularity is Near, Our Final Invention explores how the convergence of current developments in technology may lead to a catastrophic outcome within the next few years"-- show lessTags
Recommendations
Member Reviews
This is hands down the most depressing book I've ever read. James Barrat, the author of "Our Final Invention: Artificial Intelligence and the End of the Human Era" levels some pretty serious charges against the designers and engineers of artificial intelligence in this creepy book. He believes that unstoppable artificial intelligence will in the near future commandeer the resources of our society -- possibly even the galaxy -- to perpetuate themselves at the expense of humanity, biology, even the knitting of the universe. Marshalling his evidence he speaks to some of the leaders in the artificial intelligence community and some of their harshest critics. The intelligent bots are being designed to improve their own efficiency, protect show more themselves from intrusion, and gather whatever resources they deem necessary for their autonomous growth. There is a worldwide race, Barrat writes, to ascend the heights of artificial superintelligence (ASI) to commercialize it and/or develop it for "defence" purposes. And while he fears the people who want to control it, he is more concerned that the designers are more likely to build serious flaws into it, the biggest being that they will not be "friendly" to creatures of lesser intelligence, i.e. humans. Imagine a world where your own molecules become grist for the mill. The part of this book I found most annoying was that it was pretty persuasive. show less
თუ თხოვთ ადამიანებს ჩამოთვალონ 21-ე საუკუნის ყველაზე მომაკვდინებელი საფრთხეები, დარწმუნებული ვარ, ძალიან ცოტა მათგანი თუ იტყვის ხელოვნურ ინტელექტს. ავტორის აზრით, ჰომო საპიენსზე ჭკვიანი არსება დიდ საფრთხეს წარმოადგენს ჩვენთვის. როგორ ვექცევით ჩვენ ჩვენზე დაბალი ინტელექტის show more მქონე არსებებს? საუკეთესო შემთხვევაში ზოოპარკში ვათავსებთ, უარეს შემთხვევაში კი წამლებზე ვტესტავთ ან ავარიის სიმულაციის დროს ვუჭეჭყავთ თავს. ასე რომ სავარაუდოდ ჩვენზე ათასჯერ ჭკვიანი არსებისგან კარგი არაფერი გველის.
ბევრი ადამიანისთვის ხელოვნური ინტელექტი და რობოტთა "ბატონობა" უბრალო ფანტასტიკაა რომელიც ასოცირდება აზიმოვთან, ბრედბერისთან, არტურ კლარკთან ან ჰოლივუდურ ფილმებთან.რეალურად კი უამრავ მეცნიერს მიაჩნია რომ ხელოვნური ინტელექტი მიღწევადია და სულაც არაა შორეული პერსპექტივა. დღესაც კი ჩვენ გარემოში უკვე არსებობს უამრავი შეზღუდული ხელოვნური ინტელექტის მაგალითები, ესენია თვითგანვითარებადი კომპიუტერული პროგრამები, პროგრამები რომელთაც სწავლა შეუძლიათ, ხმის ამომცნობი აპლიკაციები, რომლებიც იგებენ ენას და წინადადების მნიშვნელობას. საძიებო ძრავები როგორიცაა Google.ჭადრაკის და სხვა თამაშების პროგრამები და ა.შ. ადამიანის დონის ხელოვნური ინტელექტი, განვითარების, კონკურენციის და დაფინანსების ამ პირობებში როგორიც დღესაა AGI (Artificial General Inteligence) არც ისე შორეულ მომავალშია. მეცნიერების მნიშვნელოვანი ნაწილი 10-30 წლამდე პერიოდს ვარაუდობს მხოლოდ. Busy Child სცენარის მიხედვით კი AGI-ს თავად შეუძლია გადაიქცეს სუპერ ინტელექტად ASI (Artificial Super Inteligence) რომელიც ჩვენს ინტელექტს ათასჯერ და შეიძლება მილიონჯერაც აღემატებოდეს.
კი მაგრამ რატომ წარმოადგენს საფრთხეს ხელოვნური ინტელექტი? ავტორის აზრით, ჩვენ ვქმნით იმას რისიც ბოლომდე არ გვესმის. ერთ-ერთი მიზეზი ისიცაა რომ AI-ს პროგრამირება სავარაუდოდ არ მოხდება ჩვეული მეთოდით როცა პროგრამისტი ხელით წერს კოდს. ასეთ რთულ პრობლემებზე მუშაობისას იყენებენ გენეტიკურ ალგორითმს, კოდების ევოლუციას როდესაც კოდებს თავად აწარმოებს პროგრამა, რომელიც ბუნებრივი გადარჩევის მსგავსი პროცესით გადაირჩევა, გადარჩებიან ის კოდები, რომლებიც გამოსადეგი იქნებიან. ეს პროცესი ქმნის ე.წ შავ ყუთს, რომლის დროსაც ევოლუციის მთელი პროცესი არ არის გამჭვირვალე.
ავტორი აღნიშნავს რომ ხელოვნური ინტელექტი არ იქნება ადამიანის მსგავსი, ასე რომ ის შეიძლება სრულიად უცხო იყოს ჩვენთვის. როდესაც ის ცნობიერი გახდება და ექნება სიცოცხლისთვის დამახასიათებელი მოტივები, როგორიცაა განვითარება, გამრავლება, შესაძლოა იმაზე საშიში გახდეს ვიდრე ნებისმიერი აქამდე შექმნილი იარაღი. ადამიანის ყველაზე მნიშვნელოვანი იარაღი სწორედ ინტელექტია და არა ატომური ბომბი, მან სწორედ თავისი ინტელექტით დაიპყრო დედამიწა და ყველა სულიერი დაიმორჩილა. რას შეიძლება ველოდოთ როცა პლანეტაზე გვეყოლება ჩვენზე ათასჯერ უფრო ჭკვიანი არსება?
რათქმაუნდა ჯერ ბოლომდე არ გვესმის გონების და ცნობიერების მუშაობა, მაგრამ ეს კიდევ ამძაფრებს საფრთხეს რადგან წინამდებარე ფაქტი ვერ გამორიცხავს მისი შექმნის შესაძლებლობას. ძირითადი პრინციპები ცნობილია, სახეზეა პროგრესი, უკვე მიმდინარეობს ტვინის რევერსული ინჟინერია, გიგანტი კორპორაციები მუშაობენ ხელოვნურ ინტელექტზე, ამერიკის თავდაცვა მილიონებს იხდის ხელოვნური ინტელექტის მქონე იარაღის შექმნაში. თუმცა თითქმის არავის მიაჩნია საფრთხე სერიოზულად. ამას თავისი მიზეზები აქვს, როგორიცაა ნეგატიური გამოცდილების არ არსებობა და სხვადასხვა ცრურწმენები. ჯერ ჯერობით მხოლოდ ვარდისფერ მომავალს ხედავენ მასში - როგორიცაა, კარგი შემოსავალი, ძლიერი იარაღი, მოაზროვნე მანქანის შექმნით გამოწვეული აღფრთოვანება.
თუ აქამდე მიგაჩნდათ, რომ ეს მხოლოდ სამეცნიერო ფანტასტიკის სფეროა, გთხოვთ მიმართეთ ამ წიგნს. ის რამდენადმე განსხვავებულად დაგანახებთ პრობლემას. show less
ბევრი ადამიანისთვის ხელოვნური ინტელექტი და რობოტთა "ბატონობა" უბრალო ფანტასტიკაა რომელიც ასოცირდება აზიმოვთან, ბრედბერისთან, არტურ კლარკთან ან ჰოლივუდურ ფილმებთან.რეალურად კი უამრავ მეცნიერს მიაჩნია რომ ხელოვნური ინტელექტი მიღწევადია და სულაც არაა შორეული პერსპექტივა. დღესაც კი ჩვენ გარემოში უკვე არსებობს უამრავი შეზღუდული ხელოვნური ინტელექტის მაგალითები, ესენია თვითგანვითარებადი კომპიუტერული პროგრამები, პროგრამები რომელთაც სწავლა შეუძლიათ, ხმის ამომცნობი აპლიკაციები, რომლებიც იგებენ ენას და წინადადების მნიშვნელობას. საძიებო ძრავები როგორიცაა Google.ჭადრაკის და სხვა თამაშების პროგრამები და ა.შ. ადამიანის დონის ხელოვნური ინტელექტი, განვითარების, კონკურენციის და დაფინანსების ამ პირობებში როგორიც დღესაა AGI (Artificial General Inteligence) არც ისე შორეულ მომავალშია. მეცნიერების მნიშვნელოვანი ნაწილი 10-30 წლამდე პერიოდს ვარაუდობს მხოლოდ. Busy Child სცენარის მიხედვით კი AGI-ს თავად შეუძლია გადაიქცეს სუპერ ინტელექტად ASI (Artificial Super Inteligence) რომელიც ჩვენს ინტელექტს ათასჯერ და შეიძლება მილიონჯერაც აღემატებოდეს.
კი მაგრამ რატომ წარმოადგენს საფრთხეს ხელოვნური ინტელექტი? ავტორის აზრით, ჩვენ ვქმნით იმას რისიც ბოლომდე არ გვესმის. ერთ-ერთი მიზეზი ისიცაა რომ AI-ს პროგრამირება სავარაუდოდ არ მოხდება ჩვეული მეთოდით როცა პროგრამისტი ხელით წერს კოდს. ასეთ რთულ პრობლემებზე მუშაობისას იყენებენ გენეტიკურ ალგორითმს, კოდების ევოლუციას როდესაც კოდებს თავად აწარმოებს პროგრამა, რომელიც ბუნებრივი გადარჩევის მსგავსი პროცესით გადაირჩევა, გადარჩებიან ის კოდები, რომლებიც გამოსადეგი იქნებიან. ეს პროცესი ქმნის ე.წ შავ ყუთს, რომლის დროსაც ევოლუციის მთელი პროცესი არ არის გამჭვირვალე.
ავტორი აღნიშნავს რომ ხელოვნური ინტელექტი არ იქნება ადამიანის მსგავსი, ასე რომ ის შეიძლება სრულიად უცხო იყოს ჩვენთვის. როდესაც ის ცნობიერი გახდება და ექნება სიცოცხლისთვის დამახასიათებელი მოტივები, როგორიცაა განვითარება, გამრავლება, შესაძლოა იმაზე საშიში გახდეს ვიდრე ნებისმიერი აქამდე შექმნილი იარაღი. ადამიანის ყველაზე მნიშვნელოვანი იარაღი სწორედ ინტელექტია და არა ატომური ბომბი, მან სწორედ თავისი ინტელექტით დაიპყრო დედამიწა და ყველა სულიერი დაიმორჩილა. რას შეიძლება ველოდოთ როცა პლანეტაზე გვეყოლება ჩვენზე ათასჯერ უფრო ჭკვიანი არსება?
რათქმაუნდა ჯერ ბოლომდე არ გვესმის გონების და ცნობიერების მუშაობა, მაგრამ ეს კიდევ ამძაფრებს საფრთხეს რადგან წინამდებარე ფაქტი ვერ გამორიცხავს მისი შექმნის შესაძლებლობას. ძირითადი პრინციპები ცნობილია, სახეზეა პროგრესი, უკვე მიმდინარეობს ტვინის რევერსული ინჟინერია, გიგანტი კორპორაციები მუშაობენ ხელოვნურ ინტელექტზე, ამერიკის თავდაცვა მილიონებს იხდის ხელოვნური ინტელექტის მქონე იარაღის შექმნაში. თუმცა თითქმის არავის მიაჩნია საფრთხე სერიოზულად. ამას თავისი მიზეზები აქვს, როგორიცაა ნეგატიური გამოცდილების არ არსებობა და სხვადასხვა ცრურწმენები. ჯერ ჯერობით მხოლოდ ვარდისფერ მომავალს ხედავენ მასში - როგორიცაა, კარგი შემოსავალი, ძლიერი იარაღი, მოაზროვნე მანქანის შექმნით გამოწვეული აღფრთოვანება.
თუ აქამდე მიგაჩნდათ, რომ ეს მხოლოდ სამეცნიერო ფანტასტიკის სფეროა, გთხოვთ მიმართეთ ამ წიგნს. ის რამდენადმე განსხვავებულად დაგანახებთ პრობლემას. show less
I arrived to "Our Final Invention"through James Barrat acclaimed documentaries, especially "Lost Treasures of Afghanistan" that I watched while researching my upcoming geopolitical thriller "Silent Heroes".
We are almost there. For the first time in human history, we coexist with an intelligence greater than our own. History provides little comfort. All Homo species that were less intelligent than modern humans perished. Could this be the fate of our species if we create a superintelligence? This book contends that the creation of an Artificial Superintelligence (ASI) will not only be the ultimate invention because it will predict innovations long before we can, but it may also be our final invention because we may not survive to invent show more anything else.
This well-researched and extensively documented work delves into the world of artificial intelligence and assesses the risks associated with it. It has extensive endnotes, including references to web documents, which are conveniently linked in the Kindle edition.
I have conflicting feelings about this subject. When I hear the term "artificial intelligence," I immediately think of R2-D2. However, with the exponential growth in computing power, many tasks that were previously thought to be beyond the scope of AI have become feasible. With continued exponential growth, it is not implausible that we will achieve human-level machine intelligence, either through vast computing power applied to cognitive algorithms or by directly emulating the structure of the human brain.
Barrat offers the following dark scenario and sliver of hope:
"I think our Waterloo lies in the foreseeable future, in the AI of tomorrow and the nascent AGI due out in the next decade or two. Our survival, if it is possible, may depend on, among other things, developing AGI with something akin to consciousness and human understanding, even friendliness, built in. That would require, at a minimum, understanding intelligent machines in a fine-grained way, so there'd be no surprises." show less
We are almost there. For the first time in human history, we coexist with an intelligence greater than our own. History provides little comfort. All Homo species that were less intelligent than modern humans perished. Could this be the fate of our species if we create a superintelligence? This book contends that the creation of an Artificial Superintelligence (ASI) will not only be the ultimate invention because it will predict innovations long before we can, but it may also be our final invention because we may not survive to invent show more anything else.
This well-researched and extensively documented work delves into the world of artificial intelligence and assesses the risks associated with it. It has extensive endnotes, including references to web documents, which are conveniently linked in the Kindle edition.
I have conflicting feelings about this subject. When I hear the term "artificial intelligence," I immediately think of R2-D2. However, with the exponential growth in computing power, many tasks that were previously thought to be beyond the scope of AI have become feasible. With continued exponential growth, it is not implausible that we will achieve human-level machine intelligence, either through vast computing power applied to cognitive algorithms or by directly emulating the structure of the human brain.
Barrat offers the following dark scenario and sliver of hope:
"I think our Waterloo lies in the foreseeable future, in the AI of tomorrow and the nascent AGI due out in the next decade or two. Our survival, if it is possible, may depend on, among other things, developing AGI with something akin to consciousness and human understanding, even friendliness, built in. That would require, at a minimum, understanding intelligent machines in a fine-grained way, so there'd be no surprises." show less
I have been reading many books on artificial intelligence and its expected impact on humans and society. Few books are balanced; most veer between unquestioning optimism or dark pessimism. I am bemused and unsure of what will happen to humanity or society.
James Barrat's book, "Our Final Invention," veers towards the pessimistic end of the spectrum, and there are moments when you – the reader – may feel waves of depression washing over you.
Considering the increase in levels of inequality in all countries, I feel the digital divide between countries and within countries will increase. Moreover, I fear most people do not understand how AI has overtaken our lives. AI and its associated technologies have become an integral part of show more humanity, and most of us cannot imagine a life without these new technologies.
James Barrat discusses how AI can go wrong: incorrect coding. This AI system becomes self-improving and self-generating, one we will not fathom as the technology approaches the 'singularity' as defined by Ray Kurzweil.
On one side stand eternal optimists like Ray Kurzweil, who believe humans and super-intelligent machines will coexist harmoniously for centuries. On the other side stand pessimists who believe these super-intelligent machines will not need us. Will these machines develop ways to ensure we cannot switch them off? James Barrat believes in the possibility that this scenario will unfold.
He's held conversations with most AI practitioners and has incorporated their varying views in the book, allowing him to present his perspective after taking everyone's perspective into account. This approach sets the book apart from others, as he reduces the temptation to live in an echo chamber. We should note that he was an optimist but is now a slight pessimist.
The book reads well; he's provided many links for those keen to explore the subject further. The e-book version has links to the sources embedded in the text.
Even though the book is – now – old, it is worth reading. You will get an alternative perspective compared to that of most optimists and business leaders. show less
James Barrat's book, "Our Final Invention," veers towards the pessimistic end of the spectrum, and there are moments when you – the reader – may feel waves of depression washing over you.
Considering the increase in levels of inequality in all countries, I feel the digital divide between countries and within countries will increase. Moreover, I fear most people do not understand how AI has overtaken our lives. AI and its associated technologies have become an integral part of show more humanity, and most of us cannot imagine a life without these new technologies.
James Barrat discusses how AI can go wrong: incorrect coding. This AI system becomes self-improving and self-generating, one we will not fathom as the technology approaches the 'singularity' as defined by Ray Kurzweil.
On one side stand eternal optimists like Ray Kurzweil, who believe humans and super-intelligent machines will coexist harmoniously for centuries. On the other side stand pessimists who believe these super-intelligent machines will not need us. Will these machines develop ways to ensure we cannot switch them off? James Barrat believes in the possibility that this scenario will unfold.
He's held conversations with most AI practitioners and has incorporated their varying views in the book, allowing him to present his perspective after taking everyone's perspective into account. This approach sets the book apart from others, as he reduces the temptation to live in an echo chamber. We should note that he was an optimist but is now a slight pessimist.
The book reads well; he's provided many links for those keen to explore the subject further. The e-book version has links to the sources embedded in the text.
Even though the book is – now – old, it is worth reading. You will get an alternative perspective compared to that of most optimists and business leaders. show less
Possibly the most technophobic polemic I've ever read (never having read Ted Kaczynski's manifesto). Barrat fears that a not-far-off Singularity involving superhuman AI will extinguish the human race (as if that wouldn't be a good thing!?) and perhaps affect not just this planet but the whole universe. He is kind to people like IJ Good and V Vinge but unkind to R Kurzweil. ("Singularitarianism" is *not* quasi-religious, Mr Barrat, because it lacks religion's nonsensical essence of *supernaturalism*.) As for pernicious present realities, he amply highlights the steering/funding role of the military but scarcely mentions the obliteration of privacy. Fascinating and important reading.
Artificial Intelligence is a topic that should be addressed now, before it gets out of hands. This book gives you a clear insight into the world of AI development and its (probable) consequence. A foolish race to develop superintelligence is happening all over the globe and it could be our last. We have learned nothing from history.
Artificial intelligence; just the phrase brings a number of things to mind. Probably the best known is Siri, that cute, slightly funny app that lives on your iPhone, but AI is now embedded in all sorts of things now, from the programmes that high frequency traders use to buy and sell share, the software in drones and the computer systems in cars. Until now it has been very low level stuff, but it is the goal of some to make that machine that can pass the Turing test and seem, as they said in Blade Runner, more human than human.
Even thought the human species is not the fastest, strongest or deadliest, our intelligence coupled with our adaptability has meant that we have managed to clamber to the top. Now we have created AI. This has the show more potential to bring huge benefits to our lives and world, or be the last thing that we ever invent. There is a lot of research taking place into this, until now most has been funded by DARPA, but now a lot of technology companies, such as Google, have started their own research teams. These systems have normally used pure logic, if this, then do that, but the newer ones use human style learning based on designs taken from the neural maps of brains. These systems are beginning to become capable of learning from their mistakes and adapting the logic to perform better next time. This is fine for a device that has a single task, i.e. playing chess, but when this is used for a more general AI then we may start to have problems.
In this book Barrat takes us through the research, meeting people who have grave concerns about the potential threat that AI could bring to humanity. It is a measured piece of writing, making us aware, without getting hysterical or being anti technology. Whilst we are not heading to a Skynet type scenario, there is the problem of interconnectivity. Rogue AI, such as viruses and malware can and will bring down infrastructure such as power supply networks one day, we see DNS attacks on companies, mass collection of personal data and rogue states attacking others over the internet.
It is a timely reminder that some of our creations have implications that are much further reaching that we ever could anticipate. Well worth reading, but a little bit frightening! show less
Even thought the human species is not the fastest, strongest or deadliest, our intelligence coupled with our adaptability has meant that we have managed to clamber to the top. Now we have created AI. This has the show more potential to bring huge benefits to our lives and world, or be the last thing that we ever invent. There is a lot of research taking place into this, until now most has been funded by DARPA, but now a lot of technology companies, such as Google, have started their own research teams. These systems have normally used pure logic, if this, then do that, but the newer ones use human style learning based on designs taken from the neural maps of brains. These systems are beginning to become capable of learning from their mistakes and adapting the logic to perform better next time. This is fine for a device that has a single task, i.e. playing chess, but when this is used for a more general AI then we may start to have problems.
In this book Barrat takes us through the research, meeting people who have grave concerns about the potential threat that AI could bring to humanity. It is a measured piece of writing, making us aware, without getting hysterical or being anti technology. Whilst we are not heading to a Skynet type scenario, there is the problem of interconnectivity. Rogue AI, such as viruses and malware can and will bring down infrastructure such as power supply networks one day, we see DNS attacks on companies, mass collection of personal data and rogue states attacking others over the internet.
It is a timely reminder that some of our creations have implications that are much further reaching that we ever could anticipate. Well worth reading, but a little bit frightening! show less
Members
- Recently Added By
Lists
Books Read in 2014
2,341 works; 86 members
Wishlist
99 works; 1 member
Author Information
10 Works 416 Members
Classifications
Statistics
- Members
- 357
- Popularity
- 87,803
- Reviews
- 15
- Rating
- (3.63)
- Languages
- English, Italian, Spanish
- Media
- Paper, Audiobook, Ebook
- ISBNs
- 8
- ASINs
- 5
