«Другого для него исхода не вижу, как ссылку в Сибирь на поселение» — гуманно написал на прошении Бакунина император. Гуманизм решения заключался прежде всего в том, что генерал-губернатором Восточной Сибири был близкий родственник Бакунина — дядя по материнской линии — Н.Н. Муравьев – Амурский.
5 марта 1857 года перед Бакуниным с скрипом раскрылись двери Шлиссельбургской крепости и он, заехав на сутки в Премухино проститься с родными, в конце марта – начале апреля оказался уже на новом месте — в Томске.
В марте 1859 года, благодаря хлопотам Муравьева-Амурского, он был переведен на жительство в Иркутск, где поступил на службу сначала в Амурскую компанию, позднее в золотопромышленное предприятие Бенардаки. Н. А. Белоголовый в своих воспоминаниях говорит, что из всех писем его иркутских знакомых было видно, как Бакунин восстановил против себя всю передовую молодежь тем, что «всецело примкнул к генерал-губернаторской партии». В Сибири во времена Муравьева-Амурского образовалось сильное общественное мнение. Выдающуюся роль в нем играли Петрашевский, декабристы и передовые местные люди. Этой «общественной» партии, одушевленной прогрессивными идеями своего времени, противостояла партия официальных людей, чиновников и приближенных генерал-губернатора, которые пользовались своей властью далеко не в интересах общества. Около Муравьева образовался тесный кружок из приезжих лицеистов и правоведов (Муравьев не любил студентов), занимавших важнейшие посты в администрации края. К этому кружку и примкнул Бакунин, став в неприязненные отношения прежде всего к Петрашевскому, непримиримейшему из врагов Муравьева-Амурского. Белоголовый с недоумением говорит о том, что «занятие такой позиции так категорически противоречило всей репутации и предшествовавшей деятельности знаменитого агитатора, что становило всех в тупик и могло быть объяснено только тем, что Бакунин, попавши в Иркутск на поселение, был встречен с родственным радушием генерал-губернатором Муравьевым. В этом недоумении чувствуется отраженный свет деятельности «знаменитого агитатора» анархического периода: воспоминания свои Белоголовый писал после смерти Бакунина. Но те же недоуменные вопросы встречаем мы и в других источниках, рисующих пребывание Бакунина в Сибири. Бакунин «не прикасался к черни. — Он плавал по верхушкам» (В. Милютин. «Губернаторство Н. И. Муравьева», «Исторический Вестник», 1888 года).
Эта близость к «верхушкам», враждебное отношение к сибирским «демократам», политическая умеренность ярче всего сказались в отношении Бакунина к сановному дяде, графу Муравьеву-Амурскому. Из писем Бакунина к Герцену и Огареву всем известно увлечение его генерал-губернатором Восточной Сибири. В своем «Ответе Колоколу», говоря о Петрашевском и Муравьеве, Бакунин пишет, что выбирать между этими двумя — значит выбирать между «благородным человеком» — и... Петрашевским.
Над самоотверженной борьбой, которую вел Петрашевский с всесильным «хозяином» края и его ставленниками, за которую он подвергался гонениям, арестам и высылкам, Бакунин открыто издевался. Протестующие заявления, которыми Петрашевский засыпал столицу, министерство, Сенат, Бакунин называл интригами и ябедой и уверял, совершенно ложно, конечно, будто Петрашевский пишет на генерал-губернатора доносы в III отделение. «Грязный агитатор», — обзывал он Петрашевского. — Честь и личное достоинство для него — понятия чужестранные. Клевета и ложь — его мелкая монета».
И в противовес фигуре этого человека он выставлял графа Муравьева. Муравьев — «один из лучших и полезнейших людей в России», — уверяет он Герцена. «Он решительный демократ. Он благороден, как рыцарь, чист, как мало людей в России» — и мы, т.-е. Бакунин, Герцен и Огарев — «можем назвать его безусловно нашим».
А ведь Муравьев, это нам доподлинно известно, вовсе не был таким рыцарем без страха и упрека, каким изображал его неумеренный апологет. «Либерал и деспот, демократ и татарин» — образно определил Муравьева Герцен. Это определение слишком суммарно. Демократ и либерал на словах, татарин и деспот на деле, — такова будет исторически более правильная его характеристика. Это был сатрап, ничуть не хуже и ничуть не лучше других сатрапов, терзавших Россию. «Произвол и беззаконие», с которыми яростно сражался Петрашевский, были столь же для Муравьева характерны, как либеральные фразы. Он не обманул этими фразами иркутского общества. Не сумел обмануть и Петрашевского. В этом именно обстоятельстве лежат причины неприязни либеральничавшего генерал-губернатора к неподкупному ссыльному. Петрашевский, впервые увидев Муравьева в Шилкинской тюрьме в 1858 г., несмотря на все его любезности, на вопрос Львова, что он думает о Муравьеве, ответил фразой из игроков Гоголя: «Это штабс-капитан из той же компании», т.е. что он такой же политический шулер, как другие.
Но Бакунин, очарованный «демократизмом» сановного дяди, ничего этого не замечал, не видел, да и не хотел видеть. Он был далек от настроений, которыми жила иркутская ссылка. Он мечтал о возвращении в Россию, чтобы принять посильное участие в строительстве русской жизни. Никаких анархических, бунтовских планов в его голове не было. Еще в 1860 году, за год до побега — тогда положение Муравьева было еще крепко — Бакунин писал Герцену: «Теперь надо в Россию, чтобы искать людей, вновь познакомиться со старыми и открыть новых, чтобы ознакомиться живее с самою Россиею и постараться угадать, что от нее ожидать, можно (чего) нельзя». И дальше он говорит о революции, но вскользь, бегло, словно чувствуя себя обязанным придать радикальный оттенок своим планам. А письмо это шло Герцену с верной оказией и опасаться Бакунину было нечего.
Не помышляя о побеге, Бакунин всей душой стоял за Муравьева, защищая его от нападок, которые появились в «Колоколе». Заступничество за генерал-губернатора, особенно после прогремевшей дуэли муравьевского фаворита Беклемишева с чиновником Неклюдовым, — дуэли, которую все, знавшие обстоятельства дела, считали подлым убийством, —совершенно уронило Бакунина в глазах не только иркутян, но и самого Герцена. «Я вам верю, — говорил Герцен Белоголовому, привезшему материалы по делу о деятельности муравьевской клики. Рассказ ваш заставляет тускнеть образ героя Бакунина. Материалов, привезенных Белоголовым, Герцен не напечатал — слишком неприглядную тень бросали они на Бакунина. Но не напечатал также последнего письма Бакунина в защиту Муравьева.