题主所谓的《雅尔塔协定》规定北方四岛归苏联的观点，存在概念和逻辑不严格、不严密的问题，实际上该协定的内容并不是那么简单。
北方四岛到底是不是属于千岛群岛
要想真正确认北方四岛是不是属于千岛群岛，就必须将1945年的《雅尔塔协定》和1875年日本和俄罗斯的土地互换约定《库页岛千岛群岛交换条约》联系一起看。
1945年的《雅尔塔协定》中关于日本的规定是：
“斯大林同意在击败德国以后三个月内，加入对日本作战。苏联战胜日本后，将可收复库页岛南部、获得千岛群岛，并保障其在大连港、中东铁路、南满铁路的利益，以及恢复俄罗斯海军在旅顺口的租赁作为报酬。”
别看这好像很多的一样，其实就是一句话——这些所有的土地和权益都是沙俄在日俄战争前所拥有的——千岛群岛除外。
在1905年日本和俄罗斯签署了《朴茨茅斯和约》之后，日本从沙俄手中夺取了这些权益。因此，1945年的《雅尔塔协定》其实就是苏联要求夺回被日本夺取的土地和权益。这点非常重要。
在1855年的日俄《日俄和亲通好条约》中规定了北方四岛属于日本，千岛群岛(不含北方四岛)属于沙俄。这个状况，在1875年日本和沙俄相互交换库页岛南部和千岛群岛之后，就改变了。
即：既然苏联在1945年《雅尔塔协定》要收复因1905年《朴茨茅斯和约》失去的土地和权益，就意味着千岛群岛就不应该在内。即便千岛群岛在内，也不能包括北方四岛，因为沙俄自愿出让的千岛群岛并不包括北方四岛。既然沙俄承认北方四岛不是沙俄的，那么苏联占领北方四岛，就是抢占和侵占。
这就是日本为什么坚持要回收北方四岛的原因!沙俄自愿交换的千岛群岛并不包括北方四岛，现在俄罗斯竟然声称北方四岛属于千岛群岛，岂非强盗!
但苏联和俄罗斯为什么坚持北方四岛属于千岛群岛呢?其理由和依据是什么呢?
最大的理由和原因就在于1875年日本得到俄罗斯的千岛群岛后的行政区划问题——日本在自愿交换得到千岛群岛把北方四岛和千岛群岛放进共同管辖区域，作为千岛国的一部分。
管辖北方四岛的北海道根室振兴局
1905年到1945年北方四岛的行政区划
在1875年日本和俄罗斯自愿交换土地之前，北方四岛分布属于北海道的千岛国和根室国进行管辖：国后岛和择捉岛两个大岛归千岛国管辖，色丹岛和齿舞岛归根室国管辖。
千岛国主要的治理是在择捉岛，一个岛就设置了四个郡：择捉郡、振别郡、纱那郡、蘂取郡。
1875年，日本通过自愿交换得到沙俄的千岛群岛后，在那里设置得抚郡、新知郡、占守郡三个郡，并归千岛国管辖。
1885年，根室国花咲郡的色丹岛被设立色丹郡，并归为千岛国管辖，至此根室国只管理着北方四岛的齿舞岛，直到1945年被苏联占领。
1897年，北海道厅设立根室支厅和纱那支厅，管理原先千岛国和根室国的辖地。根室支厅管理国后岛、色到岛、从沙俄得到的千岛群岛三郡。纱那支厅管理择捉岛。
1903年12月，根室支厅和纱那支厅合并。北方四岛再次和千岛群岛放在同一机构管辖。
2010年，根室支厅改为根室振兴局。
下图是根室振兴局的行政区划地图
根室振兴局管辖范围，A.齿舞群岛、B.色丹岛、C.国后岛、D.择捉岛、1.根室市、2.别海町、3.中标津町、4.标津町、5.罗臼町、6.色丹村、7.泊村、8.留夜别村、9.留别村、10.纱那村、11.蘂取村
即：北方四岛，除了齿舞岛一直是根室支厅管理之外，国后、择捉、色丹三岛都曾经被千岛国进行管理，最后由根室支厅进行全部管理。
从日本的性质区划历史来看，北方四岛和千岛群岛两次被合并，分布被划归为千岛国(千岛国从来没有管理过齿舞岛)和根室支厅进行管理。但不如何如划分，日本在北方四岛和千岛群岛的管理上，就是以择捉岛为中心进行管辖。
因此，在1903年之后，北方四岛和千岛群岛就被日本放在一起进行管理。这个行政区划，成为俄罗斯认为北方四岛是千岛群岛一部分的关键证据!